[PHP4 & MySql] Log probleem

[FireDrunk]

voor mijn stagebedrijf ben ik bezig met het schrijven van een netwerk monitor applicatie met php icm MySql (voor statistieken)

wat ik niet wilde was dat het opvragen van een pagina lang zou duren daarom heb ik gekozen voor een scriptje wat loopt en logs wegschrijft in een mysql database.
het probleem is nou dat bij het opvragen van de logs met php zelf het zo traag gaat dat het script al nog een keer gelopen heeft,
dit komt omdat ik elke 30 seconden het script laat lopen om een zo directe kijk op het netwerk te geven,

het probleem is nu dat als het programma een weekend aanstaat de log tabel zon 500000 rijen bevat,
en dan heb ik nog niet eens alle routers/switches/servers erin gezet,

de oplossing waar ik aan zat te denken was om logs te verwijderen volgens een bepaald patroon,
dus ik geef ze een volgnummer mee in de trant van 1 2 3 4 5 6 en ik verwijder steeds 2,4,6 als ze een uur oud zijn (zodat ik toch een aqurate monitor heb en ook nog eens statistieken kan genereren)

maar, waar ik bang voor ben is dat dit wel helpt, maar dat als de applicatie 6 maanden loopt (en er alsnog 500000 rijen in de database zitten) hij weer traag word...

heeft er iemand een goed idee over het loggen van deze gegevens?

[ShellGhost]

Is het niet mogelijk om 1x keer in de maand automatisch een dump te maken van je database?
Dus een backup die alsnog kan inzien naderhand?

Ik weet zelf totaal niks van MySql, maar misschien een idee.

[FireDrunk]

kan maar ik wil het zo automatisch mogelijk houden en dan is het programma aan het begin van de maand snel en aan het eind traag...
beetje omslachtig.
het liefst zie ik een verandering in mijn manier zodat het programma altijd snel is,
maar bedankt voor je input

[ShellGhost]

Kan je dan niet twee databases naast elkaar draaien?
Eentje waar de meest actuele data op staan en de ander waar de "oude" data op staat die elke dag of elke week gevult wordt?

Op die manier houdt je de "live" versie lekker snel en kan je terug kijken door de andere aan te spreken en kan je toch een history aanleggen.

[ Voor 32% gewijzigd door ShellGhost op 17-10-2005 10:35 . Reden: iets vergeten... :) ]

[FireDrunk]

dat is nog niet eens zo'n slecht idee, dat ga ik even verder uitpluizen, ik zal de voortgang wel posten

[ Voor 4% gewijzigd door FireDrunk op 17-10-2005 10:37 . Reden: moet je niet doen :) ]

[GX]

Je kan ook met dat script welke elke 30 seconden loopt gewoon de statistieken pagina genereren in HTML; dan is je database ook "overbodig", heb je vaak de actuele statistieken, en het scheelt je meer scriptjes schrijven/uitvoeren waardoor de server het allicht ook rustiger heeft

[FireDrunk]

dus met php een file schrijven?

[GX]

Je deed het in PHP, dus ja, waarom niet? Je zou op z'n minst kunnen kijken wat servervriendelijker is, en het lijkt me duidelijk dat een statisch HTML bestandje sneller uitgeworpen wordt dan een PHP file welke iedere keer opnieuw gegenereert moet worden.

[FireDrunk]

hmm... zit wat in.. maar de database hou ik voor de ip adressen/locaties/types
want het word een tool die meerdere mensen gaan gebruiken en ook zon 120 routers in komen
en om dat nou hard in te klussen lijkt me overbodig..
maar het genereren van een php file is nog niet zon gek idee,
ik zal eens proberen,
ik ben nou aan het kijken naar wat 2 databases kan opleveren (1 live, en 1 history)

[GX]

2 Databases is met verschillende data per IP wat handiger dan een statisch bestand ja en dan zou ik het niet op mijn manier aanpakken..

Edit:

Ik heb het een tikje verkeerd begrepen. Ik dacht dat je per kijkende user een ander overzicht zou maken, na nogmaals lezen is dit niet het geval; dus wil ik je alsnog aanraden om gewoon deze methode te gebruiken.
Het mooie is namelijk dat je al een script hebt dat het overzicht creëert, het enige wat je dus nog moet doen per 30 seconden is dat script uitvoeren, en de output daarvan in een html zetten. Op die manier heb je nog steeds wat ik bedoelde.

Mocht ik het na mijn 2e leespoging weer verkeerd hebben mag je dit natuurlijk helemaal negeren.

[ Voor 70% gewijzigd door GX op 17-10-2005 11:28 ]

[FireDrunk]

oke, toch bedankt voor het meedenken

[W3lta]

Ben je verplicht op Mysql te gebruiken? Ik heb zo de indruk dat je na een bepaalde tijd wel een zeer grote database zal hebben.
En wat is het effect van het scriptje op de load van de server?

[sig69]

Ik weet niet wat voor overzicht de php file voor het bekijken van statistieken genereert, maar ik kan me voorstellen dat daar het een en ander efficienter kan als dat zo lang duurt.