dion_b schreef op 25 May 2003 @ 15:37:
[...]
Die artikel heeft conclusies waar je 99% van de tijd geen zak aan hebt, zie mijn reactie op de frontpage:
code:
1
2
3
| Daarbij komt dat Sandra een goed algemeen testtooltje is,
maar veel te grof als het op memory scores aankomt. Het is
ook allerminst gevoelig voor latency effecten. |
Dat ligt (in dit geval) niet eens heel specifiek aan Sandra. Het is een benchmark die geheugen
bandbreedte test, en wat probeert hij te testen? De invloed van
latency.
Nogal logisch dat latency settings weinig tot geen invloed hebben op de maximale bandbreedte, welke benchmark je ook gebruikt om die bandbreedte te testen. Een bandbreedte benchmark probeert gewoon zoveel mogelijk (niet van elkaar afhankelijke!) reads van het geheugen te doen. Of het gevraagde geheugen daarbij laat of vroeg arriveert - aka latency - doet er daarbij niet toe. Maar in echte programma's is het vaak wel degelijk relevant hoe snel een gevraagd stukje geheugen beschikbaar is aan de CPU (omdat daar vaak andere dingen van af hangen), en is het relatief irrelevant hoeveel bytes/sec er gelezen kunnen worden (al verschilt dat sterk per applicatie). Dat beeld wordt overigens ietwat vertroebeld door technieken als prefetching, waarbij beschikbare brandbreedte wordt geruild voor schijnbare lagere latency.
Een latency benchmark zou ook niet helemaal goed geweest zijn, aangezien dat niet de real-life impact laat zien. Maar het zou wel een stuk beter geweest zijn, zodat je in ieder geval kon zien welke invloed de geteste settings op de latency hebben (ipv op de bandbreedte, waarop ze vrijwel gegarandeerd geen effect hebben).
Het nuttigst zijn in dit soort gevallen nog altijd een aantal "real-life benchmarks". Te denken valt aan (video, audio) encoding, games, en rekenkundige benchmarks (eight queens, compilen, e.d.).
Dus: inderdaad, jammer dat er zoveel tijd is gestoken in een serie benchmarks die verder niet nuttig zijn.