Kon ff niet echt een goeie titel verzinnen die de hele lading dekt... maar zal proberen een schets te geven van mijn probleem:
Ik draai al een behoorlijk aantal maanden een zelf gemaakt statistiekenpakket op mn eigen website en op die van een aantal klanten. Op zich draait dat heel leuk en werkt het verder best goed. Maar omdat ik de performance wil verbeteren met het oog op de toekomst ben ik wat gaan brainstormen over de opzet van het geheel.
huidige situatie:
Op dit moment wordt alle informatie bij de eerste hit van een bezoeker verwerkt. Dat houdt in dat als een bezoeker via een zoekmachine binnen komt dit gelijk verwerkt wordt, zoekwoorden uit de referer gefilterd, os, browser en screen gegevens verwerkt... en ga zo maar door. Dit kost 0,04 seconde per hit wat inhoudt dat ik 25 hits per seconde kan verwerken wat ik persoonlijk niet waanzinnig veel vindt, maar voor het gebruik op dit moment wel ruim voldoende is.
nieuwe situatie:
In de nieuwe situatie wil ik alles kaler opslaan, geen referers etc strippen en verwerken, maar alles kaal opslaan. Dan wil ik elk dag of maand een vertaalslag maken naar een historische opslag iets, waarmee ik gelijk ook al wat informatie ga uitsplitsen en verwerken. En met dat iets bedoel ik een xml file (per user die aan het systeem hangt) of een database. Of zijn er andere goeie mgelijkheden?
En daar wil ik eigenlijk eens wat ideeën over horen. Ik had met mn collega de discussie en hij hield het op XML voor de historische data en ik had het idee om het gewoon in de db te plaatsen zodat alles makkelijker te queryen is en ik een klant makkelijker verschillende maanden / jaren of wat dan ook kan laten vergelijken. Zeker het inrichten van een XML file waarin een heleboel (redelijk complexe) data in gezet moet gaan worden lijkt me behoorlijk lastig. Daarnaast is het volgens mij ook langzamer dan een db om aan de juiste gegevens te komen en heb je meer IO dan met het gebruik van een db.
Ik ben dus benieuwd naar menningen / tips etc over het opslaan van historische data voor zulk soort analysesystemen om het zo maar te noemen, mn collega kon me niet voldoende overtuigen van het gebruik van XML en neig ik zelf naar het gebruik van een db. Brand los
Ik draai al een behoorlijk aantal maanden een zelf gemaakt statistiekenpakket op mn eigen website en op die van een aantal klanten. Op zich draait dat heel leuk en werkt het verder best goed. Maar omdat ik de performance wil verbeteren met het oog op de toekomst ben ik wat gaan brainstormen over de opzet van het geheel.
huidige situatie:
Op dit moment wordt alle informatie bij de eerste hit van een bezoeker verwerkt. Dat houdt in dat als een bezoeker via een zoekmachine binnen komt dit gelijk verwerkt wordt, zoekwoorden uit de referer gefilterd, os, browser en screen gegevens verwerkt... en ga zo maar door. Dit kost 0,04 seconde per hit wat inhoudt dat ik 25 hits per seconde kan verwerken wat ik persoonlijk niet waanzinnig veel vindt, maar voor het gebruik op dit moment wel ruim voldoende is.
nieuwe situatie:
In de nieuwe situatie wil ik alles kaler opslaan, geen referers etc strippen en verwerken, maar alles kaal opslaan. Dan wil ik elk dag of maand een vertaalslag maken naar een historische opslag iets, waarmee ik gelijk ook al wat informatie ga uitsplitsen en verwerken. En met dat iets bedoel ik een xml file (per user die aan het systeem hangt) of een database. Of zijn er andere goeie mgelijkheden?
En daar wil ik eigenlijk eens wat ideeën over horen. Ik had met mn collega de discussie en hij hield het op XML voor de historische data en ik had het idee om het gewoon in de db te plaatsen zodat alles makkelijker te queryen is en ik een klant makkelijker verschillende maanden / jaren of wat dan ook kan laten vergelijken. Zeker het inrichten van een XML file waarin een heleboel (redelijk complexe) data in gezet moet gaan worden lijkt me behoorlijk lastig. Daarnaast is het volgens mij ook langzamer dan een db om aan de juiste gegevens te komen en heb je meer IO dan met het gebruik van een db.
Ik ben dus benieuwd naar menningen / tips etc over het opslaan van historische data voor zulk soort analysesystemen om het zo maar te noemen, mn collega kon me niet voldoende overtuigen van het gebruik van XML en neig ik zelf naar het gebruik van een db. Brand los
Dat waren voor mij ook argumenten om gebruik te maken van historytables in plaats van het hippe XML wat ikzelf ook niet zie als opslag medium in mijn situatie.
