[Folding@Home] CLI Snelheid

[cHoc]

Zoals eerder gemeld (ander topic) doe ik ook mee aan de stampede. En wel met twee machines
*1 Quad CPU IBM Netfinity, 4x Xeon 550Mhz, 3GB mem ECC Reg.
*2 Dual CPU zelfbouw, 2x Xeon 2.4Ghz HT, 1GB mem ECC Reg dual chann. Asus PU-DL mobo.
Op de Netfinity zijn de 4 clients verdeelt over 2 SCSI HD's, op de 2.4Ghz zitten ze alle 4 op 1 ATA HD.
De Netfinity heeft bij de processes in totaal 29 processes staan en de 2.4Ghz heeft er 40, maar alleen de CLI's halen hun CPU usage, de rest is standaard laag.

Beide draaien windows 2003, en beide machientjes draaien elk 4 Command line clients, deze zijn ook allemaal hetzelfde in de instellingen. Beide machines doen ook niks anders dan de CLI's afwerken.
Nou zit dat dus te rammelen vanaf afgelopen zaterdagmiddag, en wat mij opvalt is dat de Netfinity sneller gaat dan de de andere bak.
De Netfinity heeft een totaal pakket te behappen van 4x 5.000.000 steps en zit daarmee nu op 2.100.000 steps gedaan (~40% gedaan).
De 2.4Ghz bak heeft een totaal pakket te behappen van 4x 1.250.000 steps, en zit daarmee nu op 675.000 steps gedaan (~50% gedaan).

De Netfinity is duidelijk sneller, al zou je dat gezien de processor snelheid niet zeggen, de 2.4Ghz heeft dan wel HT wat iets trager kan zijn dan een volledige 2.4Ghz processor, maar dat zal niet zoveel schelen. kwa afwerktijden zijn er ook geen grote verschillen te ontdekken, de ene werkt een blok af in ongeveer 1,5 uur (2.4Ghz), en de ander in ongeveer 2 uur (Netfinity) en daar tussen zitten geen grote verschillen tussen de CLI's op elke machine (enkele minuten hooguit).

Ligt dit dan misschien aan de soort Protein dat je krijgt om te folden, de ene machine heeft andere proteins te folden dan de andere machine. Of is er toch wat anders aan de hand?

Ik heb gezocht, maar er was niet iets specifiek over de CLI van F@H te vinden, en verschillen tussen de bepaalde sytemen zul je altijd wel hebben, maar ik vind dit wel een rare situatie.
Ik had ook wel verwacht dat de de beide machines of 5.000.000 of 1.250.000 zouden ontvangen....
Beide staan wel op bigpackets ontvangen.

[NLSchutP]

Je kunt met je dual 2.4 Xeon HT beter de VMWare + Linux SMP client draaien...

Maar heb je per CLI versie ook opgegeven welke core ID deze zou moeten hebben?
Heb je per CLI ook een aantal flags meegegeven? -local moet wanneer je meerdere cores hebt lopen,
-verbosit 9 levert een uitgebreid log op
-forceasm gaat SSE instructies forceren
-advmethods levert nieuwe en eventueel zelfs beta WU's op

[JohFraEl]

Voor zover ik weet zit er wel behoorlijk verschil in de WorkUnits onderling en de rekentijd vs waardering die je kan scoren. Op FahWiki staat een heel stuk over cores wat iets uitlegt over de verschillende berekeningen en waar sommige cores gebruik van maken zoals SSE. Hierdoor kunnen ook verschillen ontstaan in performance van verschillende systemen.

De rest kunnen de aanwezige folding-guru's vast wel uitleggen!

[SpaceDok]

Pskutte schreef op maandag 02 april 2007 @ 23:45:
Je kunt met je dual 2.4 Xeon HT beter de VMWare + Linux SMP client draaien...

Mmmm, de VMWare met Linux SMP oplossing werkt alleen met CPU's die x64 aankunnen. Kan die Xeon dat wel?

[Bubbles]

Mijn gok is dat die Xeon's nog geen EMT64 instructies mee hebben gekregen. Je kan eventueel de windows SMP client proberen, maar je zit denk ik wel aan de ondergrens van de deadlines te kijken met die snelheid.
Verder is er een paar dagen terug hier ook een stuk voorbij gekomen over het gebruik van HT: Het heeft bij Folding@Home weinig nut om dan 2 clients te gebruiken per core. De berekeningen worden over dezelfde units gedaan, dus zitten ze op elkaar te wachten en valt er weinig rendement te halen uit HT. Aangeraden wordt om daar een single client op te laten draaien, daar het op die manier sneller werkt voor je overige applicaties, mocht je die gebruiken.

Wat betreft de performance: Nogmaals, let niet op het aantal steps wat moet worden uitgevoerd. Dit zegt vrijwel niets over wat voor een snelheid je haalt. Zoek de WU project nummers op, kijk ze na op de site van Stanford en ga daar kijken hoeveel punten je voor dat project krijgt. Er zitten projecten bij de 40 punten opleveren, maar ook projecten die 1100+ punten kunnen opleveren (voor de singlecore clients, dat is). Dit puntenverschil is puur afhankelijk van hoe lang je op zo'n unit bezig bent.

[smoking2000]

cHoc schreef op maandag 02 april 2007 @ 23:36:
Ligt dit dan misschien aan de soort Protein dat je krijgt om te folden, de ene machine heeft andere proteins te folden dan de andere machine. Of is er toch wat anders aan de hand?

Dit komt hoogst waarschijnlijk omdat je beide procs met een andere simulatie bezig zijn in hun WU, zoals eerder gepost werd.

Neem eens een kijken je in je Work Unit history in je queue.dat bestand met qd (HOWTO) om de verschillen tussen je clients te checken.

Of kijk eens naar hoe andere clients aan het vouwen zijn.

Ik heb gezocht, maar er was niet iets specifiek over de CLI van F@H te vinden, en verschillen tussen de bepaalde sytemen zul je altijd wel hebben, maar ik vind dit wel een rare situatie.

Elke client heeft documentatie in de FAH Wiki, ik kan het weten, want ik heb het geschreven

Voor de CLI, is dat Clients Overview: Text-only Console Client, en daarnaast de betreffende client, traditionele CPU client, of SMP client.

Over het feit dat een client CLI of GUI type is valt weinig over te melden. De cores zijn het zelfde, de client voert ook dezelfde handelingen uit. De CLI client is flexibeler, de GUI makkelijker in gebruik voor noobs. Qua performance doet de CLI het een ietsiepietsie beter omdat je geen overhead van de GUI erbij hebt.

Voor het zoeken naar info mbt tot F@H kan je het beste eerst de FAH Wiki raadplegen, gevolgt door het Folding-Community support forum, GoT /5 en Google.

In de Wiki willen we in principe alle info hebben, maar de project communicatie loopt via hun website, en postings op het support forum.

[cHoc]

Pskutte schreef op maandag 02 april 2007 @ 23:45:
Maar heb je per CLI versie ook opgegeven welke core ID deze zou moeten hebben?
Heb je per CLI ook een aantal flags meegegeven? -local moet wanneer je meerdere cores hebt lopen,
-verbosit 9 levert een uitgebreid log op
-forceasm gaat SSE instructies forceren
-advmethods levert nieuwe en eventueel zelfs beta WU's op

Jazekers, core ID’s 1 t/m 4
-forceasm staat aan op beide machines
En -advmethods geloof ik ook
-verbosit 9 weet ik niet, maar dan staat dat op beide machines aan of uit…

Bubbles schreef op dinsdag 03 april 2007 @ 02:06:
Mijn gok is dat die Xeon's nog geen EMT64 instructies mee hebben gekregen. Je kan eventueel de windows SMP client proberen, maar je zit denk ik wel aan de ondergrens van de deadlines te kijken met die snelheid.
Verder is er een paar dagen terug hier ook een stuk voorbij gekomen over het gebruik van HT: Het heeft bij Folding@Home weinig nut om dan 2 clients te gebruiken per core. De berekeningen worden over dezelfde units gedaan, dus zitten ze op elkaar te wachten en valt er weinig rendement te halen uit HT. Aangeraden wordt om daar een single client op te laten draaien, daar het op die manier sneller werkt voor je overige applicaties, mocht je die gebruiken.

Wat betreft de performance: Nogmaals, let niet op het aantal steps wat moet worden uitgevoerd. Dit zegt vrijwel niets over wat voor een snelheid je haalt. Zoek de WU project nummers op, kijk ze na op de site van Stanford en ga daar kijken hoeveel punten je voor dat project krijgt. Er zitten projecten bij de 40 punten opleveren, maar ook projecten die 1100+ punten kunnen opleveren (voor de singlecore clients, dat is). Dit puntenverschil is puur afhankelijk van hoe lang je op zo'n unit bezig bent.

Dat gok je goed , dit zijn geen EMT64 Processoren.

Ik kan later, als hij dit nu heeft afgewerkt, eens de Windows SMP client proberen.
Dat met die steps is nu duidelijk, daar had ik nog niet naar gekeken.
Ik heb nu dan dus gezien dat met WU’s met meer punten en speciaal voor SMP clients bedoelt dat deze ook een hogere deadline hebben, dus dat zou geen probleem moeten zijn.
Daarnaast zijn de deadlines van de huidige WU’s die ik nu doe 40 of 53 dagen, en de 2.4Ghz is morgen ongeveer klaar (na 4 dagen), de Netfinity donderdag (na 5 dagen), dus daar blijf ik nu ook erg ruim onder.

smoking2000 schreef op dinsdag 03 april 2007 @ 06:37:
[...]


Dit komt hoogst waarschijnlijk omdat je beide procs met een andere simulatie bezig zijn in hun WU, zoals eerder gepost werd.

Neem eens een kijken je in je Work Unit history in je queue.dat bestand met qd (HOWTO) om de verschillen tussen je clients te checken.

Of kijk eens naar hoe andere clients aan het vouwen zijn.


[...]


Elke client heeft documentatie in de FAH Wiki, ik kan het weten, want ik heb het geschreven

Voor de CLI, is dat Clients Overview: Text-only Console Client, en daarnaast de betreffende client, traditionele CPU client, of SMP client.

Over het feit dat een client CLI of GUI type is valt weinig over te melden. De cores zijn het zelfde, de client voert ook dezelfde handelingen uit. De CLI client is flexibeler, de GUI makkelijker in gebruik voor noobs. Qua performance doet de CLI het een ietsiepietsie beter omdat je geen overhead van de GUI erbij hebt.

Voor het zoeken naar info mbt tot F@H kan je het beste eerst de FAH Wiki raadplegen, gevolgt door het Folding-Community support forum, GoT /5 en Google.

In de Wiki willen we in principe alle info hebben, maar de project communicatie loopt via hun website, en postings op het support forum.

Bedankt voor de info, zeer behulpzaam. Ik had dus niet op de goede plekken gezocht

Dan nog ff een OT vraagje, mag het ??, als je met 4 WU's klaar bent, krijg je dan ook 4x punten? of valt dat wat "tegen"

[Verwijderd]

NAja, ik wil ook nog een ander argument inbrengen. Ik heb de CLI-clienten nu reeds een aantal jaren op de achtergrond draaien (worden als service gestart). Er is er nog nooit een "gaan hangen", en ik heb er vrijwel nooit last van.

Wat mij betreft is/zijn de F@H-clienten de beste clienten die je kunt draaien, en dus ook in productieomgevingen.

[smoking2000]

cHoc schreef op dinsdag 03 april 2007 @ 08:56:
Jazekers, core ID’s 1 t/m 4
-forceasm staat aan op beide machines
En -advmethods geloof ik ook
-verbosit 9 weet ik niet, maar dan staat dat op beide machines aan of uit…

Verbosity staat by default op 3, -verbosity 9 moet je zelf meegeven. Op de FAH Wiki staat onder de How tos gedocumenteerd hoe je dit moet doen voor de verschillende clients (als service, command line/interactive).

Ik heb nu dan dus gezien dat met WU’s met meer punten en speciaal voor SMP clients bedoelt dat deze ook een hogere deadline hebben, dus dat zou geen probleem moeten zijn.
Daarnaast zijn de deadlines van de huidige WU’s die ik nu doe 40 of 53 dagen, en de 2.4Ghz is morgen ongeveer klaar (na 4 dagen), de Netfinity donderdag (na 5 dagen), dus daar blijf ik nu ook erg ruim onder.

De SMP client is een zogenoemde High Performance Client. Wat inhoud dat ze bedoelt zijn om heel snel resultaten in te leveren, waardoor in een kortere tijd grotere simulaties gedaan kunnen worden. Hierom staan de Preferred en Final Deadline op een erg korte tijd ~4 dagen. De SMP client dient 24/7 te draaien, en nagenoeg dedicated. Voor "normaal" gebruik is nogsteeds de CPU client.

Dan nog ff een OT vraagje, mag het ??, als je met 4 WU's klaar bent, krijg je dan ook 4x punten? of valt dat wat "tegen"

Als je 4 WUs op 1 systeem draait met 4 instanties van de CPU client krijg je gewoon de punten voor elke WU. SMP WUs zijn meer waard omdat ze gezien worden als 4 CPU WUs (er draaien standaard 4 threads, daarom is een 4-way aangeraden boven een dual core). Ook zijn alle SMP WUs zogenaamde BigWUs (ze hebben meer RAM requirements), daarvoor krijgen die WUs nog een bonus. SMP WUs vallen niet tegen, tenzij je een Mobile CPU hebt als de AMD Turion X2 die je veel in laptops vind. Een van onze members heeft zn SMP client moeten vervangen met 2x CPU client omdat hij de deadlines niet haalde.

[cHoc]

Had ik toch niet goed gekeken bij die SMP WU's, maar die zijn idd erg kort.
Ik kan dus beter 4 CLI's blijven draaien, want anders zit ik altijd met de deadline, want of ik haal hem net, of net niet, of ik overschrijdt hem volledig, Ze staan nu allebij ook dedicated 24/7 aan.... dus dat is erg nutteloos om dan de SMP client te installeren.

Thnx allen. we en door

[DaOverclocker]

Nou als je dus bekijkt hoeveel punten een SPM WU opleverd, ga je het wel een aantal keer proberen hoor Het leverd echt veel meer punten op dan 4x een normale draaien.

[cHoc]

Ik heb gezien hoeveel punten ik ervoor kan krijgen, maar ik heb zoals ik de CLI's nu bezig zie, zal ik die deadlines moeilijk halen, en dus minder punten. Maar als ik daarnaast bv. toevallig 4x p1487_DPPC_DOPC_CHOL krijg te grazen, met een preffered deadline van 47, dan krijg ik als ik daar klaar mee ben 4x 1161.00 punten.

Nou zal dat wel toevallig zijn als ik die 4x krijg, maar er is best kans dat ik er een aantal krijg die 500+ punten geeft na completion, en dan tikt het ook aan.

Toch zijn de punten voor mij bijzaak, het is leuk dat je daarmee een ranking krijgt en zo, maar het project heeft de hoofdzaak, en als ik dan werk inlever moeten ze er wel wat aan hebben.

[SandStar]

cHoc schreef op woensdag 04 april 2007 @ 11:15:
Toch zijn de punten voor mij bijzaak, het is leuk dat je daarmee een ranking krijgt en zo, maar het project heeft de hoofdzaak, en als ik dan werk inlever moeten ze er wel wat aan hebben.