[Alg] gegevens uit database cachen *

[Zoolander]

Stel je haalt een bulk data (10000 records) op uit een DB,
en dat zijn bijvoorbeeld persoonsgegevens.
Stel dat je dan wil sorteren op achternaam, terwijl die dat standaard op voornaam doet kan ik me voorstellen dat je opnieuw de query submit met een andere sort-by. Maar,

stel ik werk met php ( ) en ik wil voorkomen dat ik elke keer de DB moet lastigvallen met die query...
Hoe cache ik die dan zodat de gebruiker gemakkelijk de opgehaalde resultaten kan sorten? (XML ofzo?)

Of kan ik maar beter gewoon WEl die query laten uitvoeren?
Geen idee dus welke aspecten hierbij komen kijken -> snelheid, veiligheid, gemak, serverload?

Dank alvast

[gorgi_19]

stel ik werk met php ( ) en ik wil voorkomen dat ik elke keer de DB moet lastigvallen met die query...
Hoe cache ik die dan zodat de gebruiker gemakkelijk de opgehaalde resultaten kan sorten? (XML ofzo?)

Waar denk je dat een database voor dient? Wat is er mis met een query uitvoeren? Als je x maal per minuut dezelfde query uitvoert, kan je denken aan caching, maar nergens uit je verhaal blijkt dat je vaak dezelfde query uit voert.

[ Voor 20% gewijzigd door gorgi_19 op 21-01-2004 00:46 ]

[Voutloos]

^{Stel dat je je vraag wel durft te stellen en al die stel datjes weg laat.}

Het hangt van het gebruik af. Maar voor belasting van de DB maakt 1 SORT niet zoveel uit. Pas als je meerdere joins doet en dan gaat sorten neemte de belasting stevig toe.

Verder is dit ook goed te testen als je die DB nu al hebt. Doe maar een query zonder en query met.

[Zoolander]

Nou, nee. Die query wordt niet vaak gebruikt.
Ik denk dat 10x per minuut max is en 2x per minuut de norm.
En dan ook nog eens max 20x per dag max.
Maar ik dacht vooral dat cachen veel sneller was. En qua joins: 2 max per query.

Dus gewoon DBje zijn werk laten doen?

[ Voor 24% gewijzigd door Zoolander op 21-01-2004 00:55 ]

[_Thanatos_]

Je gebruikt PHP, maar ik ga er stiekem niet vanuit dat je MySQL gebruikt. Volgens mij cachet MSSQL (om maar wat te noemen) de resultaten ook wel zonder order by, zeker als dat over meerdere queries het enige verschil is. Dan hoeft ie alleen nog maar het gecachete resultaat te sorteren, en als daar dan een index op ligt is dat natuurlijk retesnel. Of is MSSQL's cacheing niet zó slim?

En wat doet MySQL eigenlijk? Zijn hier MySQL goeroe's?

[Zoolander]

_Thanatos_ schreef op 21 januari 2004 @ 00:54:
Je gebruikt PHP, maar ik ga er stiekem niet vanuit dat je MySQL gebruikt. Volgens mij cachet MSSQL (om maar wat te noemen) de resultaten ook wel zonder order by, zeker als dat over meerdere queries het enige verschil is. Dan hoeft ie alleen nog maar het gecachete resultaat te sorteren, en als daar dan een index op ligt is dat natuurlijk retesnel. Of is MSSQL's cacheing niet zó slim?

En wat doet MySQL eigenlijk? Zijn hier MySQL goeroe's?

Goede vraag ook: kan je die cache makkelijk aanroepen? (vanuit PHP)
En ja: ik gebruik (tuurlijk ) MySQL

[Voutloos]

_Thanatos_ schreef op 21 januari 2004 @ 00:54:
Je gebruikt PHP, maar ik ga er stiekem niet vanuit dat je MySQL gebruikt. Volgens mij cachet MSSQL (om maar wat te noemen) de resultaten ook wel zonder order by, zeker als dat over meerdere queries het enige verschil is. Dan hoeft ie alleen nog maar het gecachete resultaat te sorteren, en als daar dan een index op ligt is dat natuurlijk retesnel. Of is MSSQL's cacheing niet zó slim?

En wat doet MySQL eigenlijk? Zijn hier MySQL goeroe's?

MySQL doet ook caching, maar dan iets brakker. En bij veel joins en sort gaat het opeens _veel_ trager.
_{Ben geen guru.}

[ Voor 4% gewijzigd door Voutloos op 21-01-2004 00:58 ]

[Beaves]

Als je toch een echte database wilt gebruiken maar je er geen geld voor wilt betalen, ga dan voor PostgreSQL, dat is een gratis database die wel (bijna) alle feature's heeft die een database zoals MS SQL of Oracle ook hebben.

[_Thanatos_]

Goede vraag ook: kan je die cache makkelijk aanroepen? (vanuit PHP)

En dat is juist het mooie: dat gaat automatisch al door de gecachete query naar de server te slingeren

Maarja, dan moet het wel goed werken dus... misschien dat het in MySQL 5.x eindelijk goed zit. Anders zou je idd naar Postgres of hoe-heet-die-andere-open-source-DB-server-ook-al-weer

/edit
ohja, Firebird bedoelde ik...

[ Voor 7% gewijzigd door _Thanatos_ op 21-01-2004 01:17 ]

[.oisyn]

* titelfix

[4VAlien]

Ik heb ook MySQL caching aanstaan, en met een aantal tijds intensieve queries die een klein resultaat hebben werkt het bij mij prima.

[bigtree]

Zoolander schreef op 21 januari 2004 @ 00:40:
stel ik werk met php ( ) en ik wil voorkomen dat ik elke keer de DB moet lastigvallen met die query...
Hoe cache ik die dan zodat de gebruiker gemakkelijk de opgehaalde resultaten kan sorten?

Je zou een sessie kunnen maken met de resultaten in een array. Als een gebruiker *binnen* zijn laatste zoekopdracht wil sorteren kan je die array anders sorteren. Op deze manier ontlast je de database maar ik betwijfel of het sneller is dan nogmaals een query uitvoeren met een andere sort-by. MySQL kan namelijk veel sneller sorteren dan PHP. Zeker als je goede indexen maakt.

[Olaf van der Spek]

Is het niet mogelijk met JavaScript de sort client-side uit te voeren?

[_Thanatos_]

Wel bikkel als je dat voor elkaar krijgt. Je bent immers met je javascript afhankelijk van hoe de html uitgepoept wordt. Met DOM kun je een heel eind komen, maar sorteren is denk ik geen kattepis, en het is natuurlijk traag (zeker als je de school-methode gebruikt ).

OTOH, als het nou geen webapplicatie, dan is sorten op de client natuurlijk prima mogelijk met eoa QuickSort functie/methode.

[Olaf van der Spek]

Een tabel vullen via JavaScript is goed te doen (doet Tweakers ook).
Sorteren voor vullen lijkt mij ook nog wel te doen.

Zou wel relaxed zijn in bijvoorbeeld de pricewatch.

[_Thanatos_]

Ik gok (heb niet gekeken) dat de PW de tabel in javascript *opbouwt* en niet een bestaande platte html-tabel populeert met gegevens. Sorteren van een tabel zou namelijk die vaardigheid vereisen en dat is echt wel heel wat pittiger dan een stuk javascript wat html laten uitpoepen. En bij PW-tabellen zou het zeer zeer traag gaan (de pagina's laten zich nu al pas na een paar seconden zien en dat ligt niet aan m'n internetverbinding).

[Olaf van der Spek]

Waarom is het nodig om een platte tabel te vullen?
Is het niet mogelijk een div ofzo in JS leeg te maken en opnieuw te vullen (weer met een tabel, maar dan anders gesorteerd)?

[thomaske]

client-side tabellen sorteren: sortTableRows (van: creative8500)