[Algemeen] FLOPS benchmarking

[smoking2000]

Door mijn werkzaamheden als maintainer en developer van qd en de reverse engineering zaken die daar bij komen kijken, nu de recente v6 Folding@Home client nieuwe data in het queue.dat bestand wegschrijft, ben ik waarschijnlijk het aantal FLOPS wat de client gemeten heeft op de CPU van het systeem tegen het lijf gelopen.

De Folding@Home client doet bij het starten een bepaalde benchmark o.i.d. waar bij een crash van de client (of een strategische `kill -9`) de MEGAFLOPS ACCOUNTING output ook met de gebruiker gedeeld wordt. Een of meer van de waardes in de MA worden waarschijnlijk in de queue.dat weggeschreven, evenals andere eigenschappen van het systeem (MB RAM installed, CPU type, OS type, Performance Fraction, Up/Download rates, etc).

De enige waarde die interessant is voor een DC client die ik nog niet in de queue.dat terug heb kunnen vinden is de floating point performance van de CPU. Wel is er nog een veld in de queue.dat waar ik de betekenis nog niet zeker van weet, maar waarvan ik bij zeker weet dat dit het aantal FLOPS dat een enkele CPU (core) kan halen is. Om dit te verifiëren wil ik graag mijn CPUs gaan testen met LINPACK, LAPACK of een dergelijk pakket om zelf de FLOPS van mijn systemen vast te kunnen stellen.

Zijn er DPCers op de hoogte van, of hebben ervaring met, benchmark applicaties die de routines LINPACK en co gemakkelijk kunnen draaien op een UNIX systeem (Linux, Mac OS X, FreeBSD en/of OpenBSD) ? In mijn zoektocht kom ik alleen de libraries zelf tegen, maar geen kant en klare applicaties die daar gebruik van maken (behalve die java app op netlib.org). Mijn dank is bij voorbaat groot

[smoking2000]

Ik heb uiteindelijk flops.c van Al Aburto gevonden via Paolo Carlini in de SSE2 benchmarks thread op de GCC mailing list.

Ook heb ik een aantal andere benchmark scripts gevonden die allen o.a. gebruik van deze flops.c maken, zoals jwm-bench van Jason Wm. Mitchell.

Deze flops.c is erg veel gebruikt, ondanks dat het origineel lastig is terug te vinden. Zo zijn er flops.c benchmark resultaten te vinden op de netlib.org site, zij aan zij met Linpack en SPEC benchmarks.

[DukeBox]

Uit mijn ervaring met rendering (waar over het algemeen ook doorbelast wordt op aantal flops) is het niet iets waar je echt goed mee kan vergelijken. Extra instructie set's, L1/L2 cache, prediction enz. Kan een cpu met lage flops sneller iets uit laten voeren dan een met een hoge flops.

[smoking2000]

True, en ook is flops.c niet 100% gelijk aan wat Gromacs doet, want die is gecompileerd met de Intel Compiler & Math Libraries, en flop.c gewoon met GCC & glibc. Maar de cijfers kloppen goed genoeg om mijn vermoeden te bevestigen:

flops.c

code:

   FLOPS C Program (Double Precision), V2.0 18 Dec 1992
   Module     Error        RunTime      MFLOPS
                            (usec)
   -------------------------------------------
     1      4.0146e-13      0.0130   1074.9179

queue.dat

code:

$ ./qd -if ./testcases/osiris-smp-v6-20080302/
qd released FOR TEST ONLY (fr EXPERIMENTAL)
Queue version 5.01
Current index: 5

[...]

 Index 5: folding now 1760.00 pts (104.495 pt/hr) 5.7 X min speed; 56.4% complete
   server: 171.64.65.64:8080; project: 2653, "Protein in POPC"
   Folding: run 10, clone 61, generation 66; benchmark 0; misc: 500, 200
   issue: Sun Mar  2 08:17:10 2008; begin: Sun Mar  2 08:17:19 2008
   expect: Mon Mar  3 01:07:53 2008; due: Thu Mar  6 08:17:19 2008 (4 days)
   preferred: Wed Mar  5 08:17:19 2008 (3 days)
   core URL: http://www.stanford.edu/~pande/Linux/x86/Core_a1.fah (V1.74)
   CPU: 1,0 x86; OS: 4,0 Linux
   smp cores: 4
   passkey: 1b3c7827ab7316027050bce4a21b31ab
   flops: 1062447162 (1062.447162 megaflops)
   assignment info (le): Sun Mar  2 08:17:10 2008; A4041649
   CS: 171.64.122.76; P limit: 524286976
   user: [DPC]_Fatal_Error_Group0Sm0ke0ut; team: 92; ID: 9E3B81209D0E757D; mach ID: 1
   work/wudata_05.dat file size: 2974144; WU type: Folding@Home

Average download rate 543.971 KB/s (u=4); upload rate 68.935 KB/s (u=4)
Performance fraction 0.826786 (u=4)
Average pph: 106.131, ppd: 2547.15, ppw: 17830.1, ppy: 930322