[php,mysql] Mysql insert of fopen

[Verwijderd]

Ik ben bezig met een script, ik moet het binnenkort gaan testen op een nogal grote website. Ik wil het aantal bezoekers tracken door middel van een insert als de pagina geladen wordt. Daarnaast wil ik bijhouden waar welke bezoeker op klikt en hoevaak.
Elke bezoeker klikt ongeveer 3x. Dus dat zijn al 4 inserts per bezoeker.
De site krijgt 750k per dag * 4 inserts, dus 3000.000 inserts / 86400 sec = 35 inserts per seconde.

Ik ben dus bang dat de server dit niet gaat trekken.
Wat is een beter oplossing?
Een file wegschrijven, en die elke 5 min leeg halen.
Alleen wat nou als er 2 bezoekers tegelijk komen, dan kan het niet in de file worden weggeschreven, of komt het dan ook in een soort que netzoals bij mysql?

Iemand nog suggesties?

[Pelle]

Wat is er mis met het analyseren van de logfiles van je webserver?

[Verwijderd]

Pelle schreef op 08 september 2004 @ 11:01:
Wat is er mis met het analyseren van de logfiles van je webserver?

ten eerste is dat op elke server anders, en het script moet makkelijk te installeren zijn.
ten tweede kan ik dan moeilijk een onderscheid maken tussen dingen die ik wel wil tracken en dingen die ik niet wil tracken.

[kmf]

Pelle schreef op 08 september 2004 @ 11:01:
Wat is er mis met het analyseren van de logfiles van je webserver?

Als je awstats of webalizer bedoeld, dat kan nogal veel van je resources eisen voor een bepaald periode. VOor mijn site doet ie zo'n 2 minuten over om de logs door te spitten, en ik heb het al op "per uur" gezet. Zo'n plotselinge load is niet leuk, in mijn geval betekent dat de site voor een paar minuten heel traag wordt.

Voor de TS. veel forumsoftware hebben een ingebouwde "record click"-functie om te zien waar een gebruiker nou uithangt.
Ik heb geen enkel idee hoe jouw server in elkaar zit, maar mijn forum trekt 1633511 hits per dag (uit awstats) dat is dus ietsie meer dan jouw 750k. En de functie om de gebruikers te tracken staat nog steeds aan. Dus..... een mysql-query zal niet zo'n probleem moeten zijn.

Ik heb trouwens een dedicated server met een P4 2,4ghz en 2GB RAM. Mijn gemiddelde load is wel 2-3.

[Verwijderd]

ok, het maakt ook niet zo veel uit of ie het trekt of niet
ik wil eigelijk gewoon weten of het "sneller/beter/minder serverload" is om het met een text file te doen of een andere manier dan mysql.

[ Voor 6% gewijzigd door Verwijderd op 08-09-2004 15:59 ]

[Verwijderd]

Domweg data toevoegen aan een text file met append, kost haast geen resources/tijd. Die text file kun je dan later weer analyseren als het rustig is op je server, bijv. s nachts. Tenzij je real-time rapporten wilt maken.

[Guru Evi]

Wat is de load en configuratie van de huidige server. 35 inserts/seconde wil ik ook niet doen op mijn Pentium 3 700Mhz met een IDE schijf maar met een Dual Xeon 2,8Ghz met U320 SCSI schijven is dat niet zo een probleem.

Anders zou je een aparte databaseserver moeten zien te krijgen (indien betaalbaar) als je zoiets moet doen. Urchin vb. op een aparte server is goed werkbaar. Die haalt gewoon per ftp de logfiles binnen en verwerkt die.

Het is ook te zien wat je wilt. Wil je maar eenmaal per dag die dingen verwerken, zou ik gaan voor een textfile. Heeft je site 24/7 ongeveer dezelfde load of je wilt realtime stats, dan zou ik gaan voor een database-like toepassing

[ Voor 22% gewijzigd door Guru Evi op 08-09-2004 16:18 ]

[Banpei]

Guru Evi schreef op 08 september 2004 @ 16:15:
Wat is de load en configuratie van de huidige server. 35 inserts/seconde wil ik ook niet doen op mijn Pentium 3 700Mhz met een IDE schijf maar met een Dual Xeon 2,8Ghz met U320 SCSI schijven is dat niet zo een probleem.

35 inserts per seconde moet absoluut geen enkel probleem zijn, zelfs nog voor een P1. Het hangt er eerder vanaf wat, hoeveel je gaat inserten, hoeveel gebruikers zijn er tegelijkertijd bezig zijn en hoe de database in elkaar zit.

Beweringen gebaseerd op "natte vingerwerk" slaan nergens op: natuurlijk kan een Dual Xeon met U320 SCSI meer verstouwen dan een P3 met IDE.

[kmf]

Verwijderd schreef op 08 september 2004 @ 15:58:
ok, het maakt ook niet zo veel uit of ie het trekt of niet
ik wil eigelijk gewoon weten of het "sneller/beter/minder serverload" is om het met een text file te doen of een andere manier dan mysql.

zoals eerder gezegd is domweg data in een textfile pompen sneller en minder resource intensief dan met databases.

Maar als je deze daarna weer eens wilt gaan doorspitten dan kies ik toch liever voor mysql.

1: als je je textfile moet analyseren, kan je net zo goed de weblogs analyseren.
2: als je de weblogs niet kan hebben, kan je met databases tenminste je data goed ordenen.

[Helox-in-a-box]

mysql moet dat makkelijk trekken lijkt mij.
En voordeel is dat je veel makkelijker stats kan genereren als je het in een table stopt.

en aangezien DarkHunter al eerder dit had gezegt nmlijk:

Verwijderd schreef op 08 september 2004 @ 11:04:
[...]

ten eerste is dat op elke server anders, en het script moet makkelijk te installeren zijn.
ten tweede kan ik dan moeilijk een onderscheid maken tussen dingen die ik wel wil tracken en dingen die ik niet wil tracken.

Wegschrijven naar een file zal ook redelijk intensief zijn (disc access?) terwijl je met mysql een Heap aan kan maken.

[ Voor 11% gewijzigd door Helox-in-a-box op 08-09-2004 17:54 ]

[Verwijderd]

kijk es naar de shared memory functions van php!

ben zelf ook van plan het aantal (unieke) bezoekers op m'n site te gaan tracken en twas de bedoeling dat hierin te gaan opslaan elke keer als de pagina geladen wordt.

[EDIT]
kun je altijd dit shared memory om de zoveel tijd in een tabelletje dumpen wat je een hoop inserts scheelt.

[ Voor 23% gewijzigd door Verwijderd op 08-09-2004 21:56 ]

[Verwijderd]

die shared memory functies zien er wel ok uit. Ik denk dat ik dat maar is ga gebruiken, samen met mysql.

[FireFoz]

Dit shared memory ziet er wel interessant uit, ik ken het verder niet. Zijn er andere hier die hier ervaring mee hebben?