Server benchmarks

[maartenvdv737]

Ik ben op zoek naar server benchmarks om een referentiewaarde af te leiden voor een groot aantal servers. De benchmark zal een soort indicatie moeten geven van het nuttige werk dat de machine onder maximale load kan leveren.

Hiervoor heb ik al gekeken naar VMMark, die dit doet voor onderandere de VMWare esxi. Echter, niet alle machines zijn VM hosts. Daarnaast zijn er veel tools voor het benchmarken voor CPU, HD IO etc, maar dit is niet wat ik zoek. Een oplossing als PCMark voor servers zou prima zijn, zodat ook een vergelijking kan worden getrokken met andere type machines.

Ik ben overigens bekend met SPEC benchmarks, maar deze moet je laten uitvoeren door een derde partij, en ik wil enkel inzicht krijgen in de performance van de machines voor eigen gebruik.

Ook zag ik dat Tweakers een ServerMark heeft, maar heb niet kunnen vinden of die ook voor derden te gebruiken is?

[dion_b]

Misschien handig om "server" te definieren.

Er is geen enkele referentiewaarde dat een sluitende maat voor performance geeft voor alle denkbare vormen van applicaties waar servers voor gebruikt worden

Bovendien is het kant-en-klaar kopen van een server maar het begin. Hoe zo'n ding geconfigureerd wordt zal misschien weinig aan je SPEC benches veranderen, maar kan een verschil als dag en nacht in performance betekenen (flauw voorbeeld: T.net en Fok zijn van vergelijkbaar omvang, Fok heeft aanzienlijk meer hardware staan, maar door brakke config en queries is performance en betrouwbaarheid lager dan T.net).

Wat je hier vraagt *kan* niet bestaan in een vorm dat nuttig is.

[Boudewijn]

Sowieso, wat wil je ermee benchmarken? "nuttig werk" is heeeeeeeeel rekbaar

[maartenvdv737]

Nuttig werk verschilt nogal per machine en welke taak hij moet uitvoeren. Ik ben echter niet geinteresseerd of de machine optimaal geconfigureerd is voor een specifieke taak, wat ik wil meten is het stroomverbruik bij het uitvoeren van een server benchmark. Deze benchmark moet voor alle machines een zo breed mogelijk belasting vormen. Door het stroomverbruik te combineren met de benchmark performance resultaten kan je een grove referentiewaarde schatten per server.

VMMark doet iets dergelijks, maar dus alleen voor VMWare hosts. Daarbij komt dat er nogal wat licensie kosten verbonden zijn aan de benchmark, waardoor het uitvoeren van benchmarks met meerdere tiles een prijzige aangelegenheid wordt.

Naast servers zou ik iets vergelijkbaars willen doen voor switches en andere datacenter machinerie.


Weet iemand of de ServerMark 2006 van Tweakers publiek beschikbaar is?

[daft_dutch]

maartenvdv737 schreef op dinsdag 17 februari 2009 @ 16:58:
Weet iemand of de ServerMark 2006 van Tweakers publiek beschikbaar is?

Elke nieuwe server van T.net wordt aan een test onderworden en die tests heb ik wel eens gelezen.

ff zoeken denk ik

[ Voor 3% gewijzigd door daft_dutch op 18-02-2009 07:57 ]

[Kees]

daft_dutch schreef op woensdag 18 februari 2009 @ 07:56:
[...]

Elke nieuwe server van T.net wordt aan een test onderworden en die tests heb ik wel eens gelezen.

ff zoeken denk ik

Niet elke nieuwe server testen wel heel uitgebreid; soms alleen stresstests

Anyway, qua testing is het heel erg belangrijk dat je de server test met wat hij gaat doen. Een webserver testen als mailserver is niet echt nuttig, laat staan als databaseserver. Het is dus een kwestie van servers testen op wat hun taak wordt.

Dus het is niet echt mogelijk om een server te testen, want een server is geen compleet geheel maar een samenwerking van geheugen, CPU, storage en software. En als je een ding veranderd dan kan het al zijn dat je test volledig anders uitkomen. Om maar een voorbeeld te noemen; als je een geweldige database machine hebt, dan zal hij anders scoren als je te weinig of genoeg (/teveel) geheugen erin stopt, zelfde voor de cpu, zelfde voor de storage, zelfde of je test met MSSQL, MySQL of Oracle. Als je een mailserver test, dan hangt de performance ook nog eens af van welk filesystem je gebruikt. Kortom, er zijn teveel variablen om een complete testsuite te vinden, want servers zijn te specifiek.

That said, het is prima mogelijk om vaak tests te vinden waarin een CPU getest wordt, of een storage. Als je dat vervolgens combineert met genoeg geheugen en ene goede install, dan hoef je opzich weinig meer te testen aan het systeem zelf.

Kortom; een indicatie van hoeveel nuttig werk een machiene gaat kunnen verzetten is een kwestie van de machienes goed kennen en monitoren en is redelijk lastig van te voren te bepalen als je de desbetreffende werklast nog nooit in actie gezien hebt.

[maartenvdv737]

Hoe werkt de Server Mark 2006 van tweakers? Hebben jullie specifieke testen voor webservers/fileservers/databaseservers/loadbalancers ontworpen?

VMMark doet iets vergelijkbaars. Opzich prima manier om je systemen te testen. Dat de config of type database uit maakt voor de resultaten van je benchmarks vind ik niet meer dan logisch. Echter, op het moment dat een systeem geleverd wordt zou je het met standaard config prima kunnen benchmarken met een algemene load (op CPU, geheugen, Disk IO etc) en dat uitzetten tegen het energieverbruik (in idle en tijdens hoge load). Het gaat hierbij slechts om een indicatie van de zuinigheid van de machine t.o.v. andere machines die aan eenzelfde benchmark onderworpen zijn.

Is iemand bekend met een dergelijke algemene load test? Ook ben ik nog steeds geïnteresseerd naar Server Mark 2006 van Tweakers. Wellicht kan iemand me verwijzen naar degene die hier over gaat?