[Folding@Home] Announce: Client monitor voor Linux

[smoking2000]

fci-0.10.2 released.

Tijdens het ontbijt zat ik naar de Expected WUs te kijken, en om een goed beeld te kunnen vormen hoever alle clients waren die vandaag verwacht worden om te flushen, miste ik de progress.

Deze heb ik dus maar toegevoegd en een nieuwe release geupload

Van t weekend verwacht ik tevens een apache2 compatible versie te hebben

[Schapie]

smoking2000 schreef op donderdag 19 januari 2006 @ 07:00:
[...]

SandStar had in den beginnen met v0.1 ook nog Apache2, ik heb iemand van CustomPC geprobeerd met Apache2 aan de gang te helpen, en iemand van Team: DFI-Street mailde me met wat eerste patches tijdens mn vakantie, maar dat was nog zonder Apache2::Upload code. De server waar de fci install van ons team op draait, was eerst ook apache2 en die is voor fci naar apache 1.3 gedowngrade. Ik weet zeker dat ik nu alsnog wat mensen ben vergeten...

Je bent dus zeker niet de enige.
Apache2 word best veel gebruikt, maar Apache 1.3 heeft nog het meeste van de markt. Apache2 is een goede keus als je PHP draait, gezien het verbeterde thread model van Apache2.

Ok dat is altijd leuk omtehoren. (Had er niet voor niets al bijgezegd hier maar dat was dus ook niet helemaal waar.) En dat zal idd de reden zijn dat mijn host Apache 2 gebruikt omdat er voornamelijk php opstaat en het tevens een server is die sinds een paar maanden in de lucht is.

Dat is nodig voor de dependency op Image::Magick, en rasmol heeft deze X libs ook nodig.
Deze zijn nodig om plaatjes te genereren van de proteines door met rasmol en xyz2pdb het current.xyz bestand te converteren.

Onder Debian based distros kan je alleen de X libraries installeren, maar niet alle Linux distros hebben X zo modulair gemaakt.

Met X.org 7.0 is X.org standaard modulair, dus zal het op andere distros mogelijk ook makkelijker worden om alleen hetgeen wat je nodig hebt te installeren op headless servers e.d.

Tot die tijd is het mogelijk nodig om wat veel X related zooi te moeten installeren omdat X daar zelf op depend, terwijl Image::Magick dat alleen op de libraries doet.

Ik had zelf ook een tijdje een Debian machine niet erg ingewikkeld om op te zetten. Alhoewel de configuratie daarna wel wat pittiger is. Jammer genoeg is het moederbord van dat systeem overleden aan brakke condensatoren. Dus ik denk dat ik daar wel uit kom met het nodige gebruik van google.
Image::Magick komt me iig bekend voor van een gallery script dat ik een keer getest heb.

[ Voor 3% gewijzigd door Schapie op 19-01-2006 21:38 ]

[smoking2000]

smoking2000 schreef op donderdag 19 januari 2006 @ 09:32:
[...]
Van t weekend verwacht ik tevens een apache2 compatible versie te hebben

Het is dus zover. Apache2 compatibiliteit is ingebouwt en getest.

Het werkt op zowel Debian Stable aka Sarge als op Unstable aka SID.
Andere distros gebruiken mogelijk een afwijkende SERVER_SOFTWARE string in de environment van apache2, waardoor de apache versie autodetectie niet goed gaat, dan moet je ff met de hand $apache2 op 1 zetten in de twee index.pl files.

Update:
Ik heb nog wat verder zitten testen, en ben nog wat dingen tegengekomen.

Het is te laat om daar nu nog aan te werken... komt later weer...

Schapie schreef op donderdag 19 januari 2006 @ 21:36:
[...]

Ik had zelf ook een tijdje een Debian machine niet erg ingewikkeld om op te zetten. Alhoewel de configuratie daarna wel wat pittiger is. Jammer genoeg is het moederbord van dat systeem overleden aan brakke condensatoren. Dus ik denk dat ik daar wel uit kom met het nodige gebruik van google.
Image::Magick komt me iig bekend voor van een gallery script dat ik een keer getest heb.

Debian is idd een wat meer hardcore distro. Maar als je eenmaal door hebt hoe het werkt, is het erg aangenaam.

Image::Magick is naast GD wss de meest gebruikte graphical tool in de UNIX wereld. Bijna elke scripting taal heeft er wel een hook naar

[ Voor 8% gewijzigd door smoking2000 op 21-01-2006 02:50 ]

[smoking2000]

fci-0.11 released

Na vrijdagnacht twee servers over hun zeik gehaalt te hebben met de toen nog buggy versie van v0.11, heb ik met een fris hoofd vandaag het probleem opgelost

De ondestaande Apache versies werkt de server versie detectie correct.

code:

Apache/1.3.34 (Debian) mod_perl/1.29
Apache/2.0.55 (Debian) mod_apreq2-20050712/2.1.3-dev mod_perl/2.0.1 Perl/v5.8.7

Zolang de servernaam in met 'Apache/1' of 'Apache/2' begint kan mijn code de versie uitvogelen. Mocht de versie string afwijken, omdat je je software versie niet openbaar wilt maken bv, dan moet met de hand de variabele $apache2 op 1 gezet worden.

Sinds deze release heeft FCI trouwens ook zijn eigen hippe HTTP header

[ Voor 8% gewijzigd door smoking2000 op 22-01-2006 22:57 ]

[smoking2000]

fci-0.12 released

Deze keer heb ik een nieuwe pagina toegevoegd: Performance.
Net als de Expected WUs pagina haalt deze pagina zijn info uit de geuploade qd output van de clients.

Op de pagina staan de clients welke een performance fraction in hun qd-output hebben, gesorteerd op performance, met tevens hun (Average) Points Per Hour/Day/Week/Year

Zoals altijd maakt de FCI site van Fatal Error Group al gebruik van deze release, en is daar dus een voorbeeld te vinden:
http://fci.fatalerrorgroup.com/performance.html

Als je niet bekent bent met de Performance Fraction:
The Performance Fraction of the Folding@Home client is the value "calculated by the client as a benchmark of the system's ability to complete work units quickly. It is a sliding window average of the fraction of the deadline time remaining when a unit is completed, weighted over the recorded number of units. The number of units is capped at four, exactly as it is for the network download and upload rates."
http://fahwiki.net/index.php/Performance_Fraction_%28PF%29

[SandStar]

Eindelijk tijd voor update gehad
Alles lijkt te werken met een copy past update.
Moest alleen weer ff mn passwords instellen maar die zijn misschien ook verloren gegaan toen ik ongeveer mn hele server aan het recompilen was.

new features looking good

[smoking2000]

Nice!

Tja, ik heb eigenlijk niet echt bij stil gestaan om upgrade instructies bij te voegen.
Als je alle files die gewijzigt zijn overschijft met de nieuwe versie is dat over het algemeen genoeg.
En anders hoef je alleen een backup te maken van $docroot/settings/config-data/config, daar staan al je custom instellingen in.

De client kan je idd gewoon overschrijven. En het is aan te raden om qd en qdinfo.dat mee te nemen daarin. Tenzij je de fci server up-to-date houdt met download-qd-files.pl, want je client updaten automatisch de qd files vanaf je server als er recentere versies zijn.

Zoals vandaag, omdat ik een paar bugs heb gefix waar ik door Calxalot van Team MacOS X op gewezen was nadat qd niet meer compileerde op OSX
http://linuxminded.xs4all.nl/?target=software-qd-tools.plc

[SandStar]

ik zat zo eens wat na te denken.
Ik heb in een windows netwerk 1 pc met activeperl en zo'n 14 pc's die dat niet hebben.

Zou ik niet gewoon vanaf die ene pc gewoon 14 fci-clients kunnen starten met verschillende (remote) directories? Ik ben bevoorrecht met een account in de domain admins groep dus qua rechten kan ik overal wel bij (c$ share).

[smoking2000]

Is geen probleem. fci-client.pl en diens helper qd moeten de files in de F@H directory kunnen lezen, dat kan direct of via het netwerk met NFS/SMB/etc.

Een van onze FEG members draait fci-client.pl voor 3 anderen die via een Samba mount hun F@H directory beschikbaar maken op zijn workstation. Dat is basically wat jij ook wilt, toch?

[SandStar]

yip... gaan we vanavond maar eens realiseren

Mn P3 500 gaat het nog zwaar krijgen

[smoking2000]

Ik heb nog wel een 500 Mhz liggen + Mobo, kan je er een dual van maken als je zelf een soldeerbout hebt

[SandStar]

Bij het updaten van mn stanford files:

Error: Invalid Project Summary URL! (http://fah-web.stanford.edu/psummaryC.html)

Die's toch wel goed dacht ik...
Gloednieuwe fci install
(maar dat wist je al )

[smoking2000]

De URL is idd correct.

Die error kan je krijgen als er geen project summary URL is opgegeven, wat bij jou niet het geval is.
De andere mogelijkheid is als een HTTP HEAD request naar die URL geen status 200 OK retourneerd.

Ik heb download-stanford-files.pl nog eens gerunt met --verbose, en bij mij worden alle 3 de files geupdate. Mogelijk lag de webserver van Stanford er even uit?
Desnoods even met de hand een HEAD request naar die URL doen om te kijken wat de response bij jouw is:

code:

bas@anubis:~/tmp/fci$ HEAD http://fah-web.stanford.edu/psummaryC.html
200 OK
Connection: close
Date: Fri, 07 Apr 2006 09:43:35 GMT
Accept-Ranges: bytes
ETag: "8c114-cb88-443628e4"
Server: Apache/1.3.27 (Linux/SuSE) PHP/4.3.1
Content-Length: 52104
Content-Type: text/html
Last-Modified: Fri, 07 Apr 2006 08:55:00 GMT
Client-Date: Fri, 07 Apr 2006 09:43:40 GMT
Client-Peer: 171.67.89.94:80
Client-Response-Num: 1

[SandStar]

code:

l4mer tmp # HEAD http://fah-web.stanford.edu/psummaryC.html
500 Can't locate HTML/HeadParser.pm in @INC (@INC contains: /etc/perl /usr/lib/perl5/site_perl/5.8.7/i686-linux /usr/lib/perl5/site_perl/5.8.7 /usr/lib/perl5/site_perl /usr/lib/perl5/vendor_perl/5.8.7/i686-linux /usr/lib/perl5/vendor_perl/5.8.7 /usr/lib/perl5/vendor_perl /usr/lib/perl5/5.8.7/i686-linux /usr/lib/perl5/5.8.7 /usr/local/lib/site_perl .)
Content-Type: text/plain
Client-Date: Fri, 07 Apr 2006 08:52:39 GMT
Client-Warning: Internal response

Dat ziet er bekend uit

(je ssh login is er nog als je wilt kijken)

[ Voor 5% gewijzigd door SandStar op 07-04-2006 11:54 ]

[smoking2000]

Ah, LWP probleempje dus.

HEAD via de shell is namelijk dezelfde als dat gebruikt wordt in LWP::Request, waarmee ik in fci-client.pl een URL check, wat op zijn beurt weer gebruik maakt van HTTP::Request.

code:

smoking2000@l4mer ~ $ locate HeadParser.pm
/usr/lib/perl5/vendor_perl/5.8.7/i686-linux-thread-multi/HTML/HeadParser.pm

Het path /usr/lib/perl5/vendor_perl/5.8.7/i686-linux-thread-multi/ staat niet in je @INC, dus kan de module niet gevonden worden door perl.

Mogelijk LWP opnieuw installeren (/usr/portage/dev-perl/libwww-perl/)?
Of met een van de andere ebuilds?

Eventueel ook /usr/portage/dev-perl/HTML-Parser/ opnieuw installeren, gezien dit een dependency is, welke moeilijk doet als ik HTML/* naar ./ copieer voor testing...

[ Voor 13% gewijzigd door smoking2000 op 07-04-2006 12:20 ]

[SandStar]

Nieuwe server:
/usr/lib/perl5/vendor_perl/5.8.7/i686-linux-thread-multi/HTML/HeadParser.pm

oude server:
/usr/lib/perl5/vendor_perl/5.8.7/i686-linux/HTML/HeadParser.pm

[smoking2000]

oude server path is correct, op de nieuwe zou hij dus of in het houde path moeten komen, of zou de nieuwe path aan @INC toegevoegd moeten worden...

[SandStar]

smoking2000 schreef op vrijdag 07 april 2006 @ 12:18:
Ah, LWP probleempje dus.

HEAD via de shell is namelijk dezelfde als dat gebruikt wordt in LWP::Request, waarmee ik in fci-client.pl een URL check, wat op zijn beurt weer gebruik maakt van HTTP::Request.

code:

smoking2000@l4mer ~ $ locate HeadParser.pm
/usr/lib/perl5/vendor_perl/5.8.7/i686-linux-thread-multi/HTML/HeadParser.pm

Het path /usr/lib/perl5/vendor_perl/5.8.7/i686-linux-thread-multi/ staat niet in je @INC, dus kan de module niet gevonden worden door perl.

Mogelijk LWP opnieuw installeren (/usr/portage/dev-perl/libwww-perl/)?
Of met een van de andere ebuilds?

Eventueel ook /usr/portage/dev-perl/HTML-Parser/ opnieuw installeren, gezien dit een dependency is, welke moeilijk doet als ik HTML/* naar ./ copieer voor testing...

dat laatste was mooie fix!

[SandStar]

Weet ook al hoe het denk ik gekomen is... ik had eerst apache met mdm-worker oid geinstalleerd. Wat weer vereiste dat ik perl compilde met ithreads.

Gisteren heb ik dat weer een keer teruggezet.

Ik ga denk ik zo ff alle system packages hercompilen.

[smoking2000]

Goed dat het werkt, maar jammer van de idle cycles voor je F@H client

[SandStar]

ach, het heeft ook weer wat opgeleverd. Doordat fci weer normaal werkte zag ik dat een client vast stond. Daar ff folding herstart en kon ie weer verder.

zo meteen ff 700 punten flushen

[smoking2000]

fci-0.12.1 released

Het enige wat gefixt is, is de URL voor het Work Units certificaat van Stanford in usernames.plc.

De bug was al een hele tijd gefixt, maar ik had deze nog niet officieel gereleased, dus bijdeze

[SandStar]

wist niet eens dat je wat deed met dat certificaat

[smoking2000]

Tuurlijk gebruik ik die.

FCI is voornamelijk een centrale verzamelplaats van de F@H data sources, waarvan de clients het belangrijkst zijn.
In FCI 1.0 zitten bv ook de teamstats verwerkt.
Alle data die ik op de server heb, staat op de webpage en vanuit de gedetailleerde pagina's kan je naar Stanford doorklikken. Bv naar je usersummary page, of die van je team, de project description pages of de certificaten in dit geval

[SandStar]

Kreeg laatste tijd flink wat problemen door een apache2 wat nogal wat ram verbruikte bij FCI.
Op zich vaag probleem sinds ik het niet bij apache 1.33 had maar pas bij 1.34 en 2.0.54 de kop op stak.

Bij 2.2 met een httpd.conf met sterk verminderd aantal maxclients en stuff gaat het nu wel redelijk.
Mn swap wordt iig niet meer aangesproken. Bak doet verder niets waardoor 512mb ram toch wel afdoende zou moeten zijn...

Hoe ziet jouw httpd.conf eruit qua max connecties?

[smoking2000]

Op de server waar ik ook FCI voor FEG op draai:

code:

Timeout 300
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 15
MinSpareServers 5
MaxSpareServers 10
StartServers 5
MaxClients 150
MaxRequestsPerChild 100

server: apache 1.3.33

En op de Apache2 install:

code:

Timeout 300
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 15

<IfModule prefork.c>
StartServers         5
MinSpareServers      5
MaxSpareServers     10
MaxClients          20
MaxRequestsPerChild  0
</IfModule>

<IfModule worker.c>
StartServers         2
MaxClients         150
MinSpareThreads     25
MaxSpareThreads     75
ThreadsPerChild     25
MaxRequestsPerChild  0
</IfModule>

<IfModule perchild.c>
NumServers           5
StartThreads         5
MinSpareThreads      5
MaxSpareThreads     10
MaxThreadsPerChild  20
MaxRequestsPerChild  0
AcceptMutex fcntl
</IfModule>

server: apache 2.0.55

Deze server draait met libapache2-mpm-worker, het worker threading model voor Apache2.

Let wel, deze Apache2 gebruik ik alleen om FCI op te testen, maar wordt niet in productie gebruikt en krijgt dus ook praktisch geen load.

Verder zijn de configs zo goed als de default in Debian. In principe staat alleen userdir uitgeschakeld.

[ Voor 9% gewijzigd door smoking2000 op 25-04-2006 16:03 ]

[smoking2000]

Eerste release van de nieuwe 1.0 branch!

Zie de geheel herziende OP:
smoking2000 in "\[Folding@Home] Announce: Client monitor ..."

Eindelijk

[SandStar]

wooohooooooo!

[JohFraEl]

ships nou zit ik in een loop in dit topic

Proficiat, goeie bevalling

[smoking2000]

fci-1.0 released!

FCI 1.0 is een complete rewrite van de 0.x code, en heeft veel te lang op zich laten wachten.
Maar het wachten is over, FCI 1.0 is uit!

Zie voor meer informatie de OP of http://fci.bile.nl

[smoking2000]

fci-1.1 released!

Deze release zijn voornamelijk serverside wijzigingen aangebracht, waar nu standaard inactive usernames, teams, clients en projects niet meer getoont worden. Dit is te togglen met een link op elke pagina. Zo vervuilen clients die al uren (of zelfs langer) geen nieuwe upload meer hebben gedaan het overzicht niet.

Ook is het timen van de requests verbeterd, deze worden nu gedaan met Benchmark i.c.m. Time::HiRes i.p.v. op de wall clock te kijken. De execution time wordt getoont aan het eind van een client upload in de output van de FCI server, en als comment onderaan elke web pagina.

Verder is er ook een minimale aanpassing gemaakt aan de FCI client die alleen Windows gebruikers treft. STDERR wordt nu standaard naar STDOUT geredirect voor de systeminfo commando's.

[Grubeater]

Vanmiddag even aan de gang gegaan, ik krijg nu alleen deze error op mijn server (http://www.grubeater.nl/fci/):

code:

Error running usernames.plc:
Bizarre copy of HASH in refgen at (eval 74) line 651.

Gebeurt bij alle menu's/*.plc bestanden en het verschilt natuurlijk op welke regel het voorkomt.


Bij het uploaden vanaf een client krijg ik een zelfde soort probleem:

code:

grubeater@grubeater-fah2:~/.fci$ fci-client.pl --verbose --dir /home/grubeater/fah/ --url http://grubeater.nl/fci/index.pl --username blaataap --password  ************
Checking paths for qd binary ... 
 /usr/local/bin/qd
Found qd at: /usr/local/bin/qd

Checking paths for qdinfo.dat file ... 
 /usr/share/fci/qdinfo.dat
 /usr/local/share/fci/qdinfo.dat
Found qdinfo.dat at: /usr/local/share/fci/qdinfo.dat

Verifying fci directory: /home/grubeater/.fci/ ... Exists.

Updating path of qd binary ... 
 /home/grubeater/.fci/qd
Using qd at: /home/grubeater/.fci/qd

Updating path of qdinfo.dat file ... 
 /home/grubeater/.fci/qdinfo.dat
Using qdinfo.dat at: /home/grubeater/.fci/qdinfo.dat

Verifying file permissions and existance:
 Checking: /home/grubeater/.fci/ ... OK
 Checking: /home/grubeater/.fci/qdinfo.dat ... OK
 Checking: /home/grubeater/.fci/qd ... OK
 Checking: /home/grubeater/fah/queue.dat ... OK
 Checking: /home/grubeater/fah/work/current.xyz ... OK
 Checking: /home/grubeater/fah/client.cfg ... OK
 Checking: /home/grubeater/fah/FAHlog.txt ... OK
 Checking: /home/grubeater/fah/FAHlog-Prev.txt ... OK
 Checking: /home/grubeater/fah/unitinfo.txt ... OK
 Checking: /home/grubeater/.fci/fci-client.conf ... MISSING! (OK, not required)

Upload URL: http://grubeater.nl/fci/index.pl
Verifying access to URL ... Success!

Updating qd files.
Retrieving URL: http://grubeater.nl/fci/qd-data/qdinfo.dat ... Success
Reading file from disc: /home/grubeater/.fci/qdinfo.dat ... Done.

  Local version: 2008-12-25
Fetched version: 2009-01-28

  Local functional revision: 071
Fetched functional revision: 072

Fetched version is more recent.
Saving file to disc: /home/grubeater/.fci/qdinfo.dat ... Done.
Not updating qd binary, use --update-qd to also update the binary.
The binary will only be updated if there is a more recent functional revision.
Finished updating qd files.

Running qd binary to parse the Folding@Home client files.
Executing: "/home/grubeater/.fci/qd" -n "/home/grubeater/.fci/qdinfo.dat" -f "/home/grubeater/fah/" -x

Composing list of files to upload:
 Checking: /home/grubeater/fah/FAHlog.txt ... Upload.
 Checking: /home/grubeater/fah/MyFolding.html ... Upload.
 Checking: /home/grubeater/fah/FAHlog-Prev.txt ... Upload.
 Checking: /home/grubeater/fah/work/current.xyz ... Upload.
 Checking: /home/grubeater/fah/unitinfo.txt ... Upload.
 Checking: /home/grubeater/fah/client.cfg ... Upload.

Looking up CPU and RAM information:
 CPU: Intel(R) Core(TM)2 Quad  CPU   Q9300  @ 2.50GHz 2499.995 MHz 64 KB Cache
 RAM: 2057288 kB

Looking up Operating System information.
Reading file from disc: /etc/debian_version ... Done.
 Name    : Ubuntu 8.10 intrepid
 Version : Linux 2.6.27-9-generic
 Hardware: x86_64
 Uptime  :  20:51:14 up 7 days,  1:05,  2 users,  load average: 2.80, 2.69, 2.65

Uploading data to the server ... Success.

##############################[ Server Response ]##############################

FCI Server v1.1: Receiving new upload on 2009-01-28 22:07:45.

Checking client version...
v1.0 or newer, no conversion required.

Upload parameters validated.

Client      : grubeater-fah2
OS Name     : Ubuntu 8.10 intrepid
OS Version  : Linux 2.6.27-9-generic
OS Hardware : x86_64
OS Uptime   : 20:51:14 up 7 days,  1:05,  2 users,  load average: 2.80, 2.69, 2.65
CPU         : Intel(R) Core(TM)2 Quad  CPU   Q9300  @ 2.50GHz 2499.995 MHz 64 KB Cache
RAM         : 2057288 kB
FCI Version : 1.1
IP Address  : 192.168.2.3
Hostname    : 192.168.2.3
User-Agent  : fci-client/1.1

Creating data directory for grubeater-fah2 : client-data/grubeater-fah2/

Saved qd data to client-data/grubeater-fah2/qd-data.xml.new

Creating empty qd-data.xml file.

Saved unitinfo.txt file to disc.

Saved MyFolding.html file to disc.

Saved client.cfg file to disc.

Saved FAHlog-Prev.txt file to disc.
Copying FAHlog-Prev.txt to FAHlog-Complete.txt

Saved FAHlog.txt file to disc.
Appending FAHlog.txt to FAHlog-Complete.txt

Saved current.xyz file to disc.

Saving uploaded client information in client.xml.
Saved client information to: client-data/grubeater-fah2/client.xml.new

Creating empty client.xml

Checking if project of xyz file is seen before.
Extracted from xyz file:
 Work Unit : p2665_IBX in water
   Project : 2665
<div style='color: #FF0000'>Error running upload.plc: <pre>Not a HASH reference at (eval 27) line 477.
</pre></div><br><hr>
Execution time: 8.47377 wallclock secs ( 5.53 usr +  0.13 sys =  5.66 CPU)

##############################[ Server Response ]##############################

[ Voor 94% gewijzigd door Grubeater op 28-01-2009 22:24 ]

[smoking2000]

Grubeater schreef op woensdag 28 januari 2009 @ 20:17:
Vanmiddag even aan de gang gegaan, ik krijg nu alleen deze error op mijn server (http://www.grubeater.nl/fci/):

code:

Error running usernames.plc:
Bizarre copy of HASH in refgen at (eval 74) line 651.

Gebeurt bij alle menu's/*.plc bestanden en het verschilt natuurlijk op welke regel het voorkomt.


Bij het uploaden vanaf een client krijg ik een zelfde soort probleem:

code:

Checking if project of xyz file is seen before.
Extracted from xyz file:
 Work Unit : p2665_IBX in water
   Project : 2665
<div style='color: #FF0000'>Error running upload.plc: <pre>Not a HASH reference at (eval 27) line 477.
</pre></div><br><hr>
Execution time: 8.47377 wallclock secs ( 5.53 usr +  0.13 sys =  5.66 CPU)

Volgens mij staan de permissies niet goed, wat zijn de rechten van /var/www/fci/xml-data/known-projects.xml?

De FCI server gaat namelijk op zn smoel bij het checken of het project al bestaat in de known-projects.xml file.

[Grubeater]

smoking2000 schreef op donderdag 29 januari 2009 @ 09:14:
[...]


Volgens mij staan de permissies niet goed, wat zijn de rechten van /var/www/fci/xml-data/known-projects.xml?

De FCI server gaat namelijk op zn smoel bij het checken of het project al bestaat in de known-projects.xml file.

De rechten staan op 777 dus dat zou moeten werken lijkt me, maar er is niets veranderd.
Wat valt er nog meer te controleren?

[smoking2000]

777 is niet aan te raden, het is voldoende om je normale user lid te maken van de group www-data, en de FCI server files 664 te hebben met jou user als owner en www-data als group. Zo kunnen zowel jij als de web server de FCI server files schrijven. sudo usermod -G www-data <username>

Ik vermoed dat de eerste run van de diverse script niet in de juiste volgorde is gegaan waardoor het e.e.a. niet meer klopt. Ik zou opnieuw installeren met de installer na eerst /var/www/fci en de crontab regels verwijdert te hebben:
sudo ./install.pl --client --server --verbose --force --owner <username> --group www-data

Vervolgens, voordat de eerste client een upload heeft gedaan, is het verstandig om de diverse data sources te updaten:
/usr/local/bin/fci-update-stanford-files.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-update-jmol-projects.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-update-qd-files.pl --dir /var/www/fci/ -v

Laat nu een client een upload doen, om vervolgens op de server met de hand de eerste update te doen:
/usr/local/bin/fci-update-xml-files.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-generate-queue-graphs.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-update-fahstats.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-update-eoc-stats.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-update-project-images.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-update-xml-files.pl --dir /var/www/fci/ -v

De tweede run van fci-update-xml-files.pl zorgt ervoor dat de EOC en Kakaostats data verwerkt worden, de eerste run zijn deze nog niet aanwezig, en kunnen dat ook nog niet zijn omdat er eerst username data aanwezig moet zijn die door fci-update-xml-files.pl gegenereerd wordt.

Wanneer de scripts met de hand het juiste resultaat hebben geboekt, kunnen de cronjobs geinstalleerd worden

[ Voor 51% gewijzigd door smoking2000 op 30-01-2009 13:16 ]

[smoking2000]

fci-1.2 released!

Deze release heeft een bugfix voor fci-update-xml-files.pl om deze op de juiste wijze de status van nieuwe clients te detecteren. En deze release kent verder alleen andere wijzigingen aan de serverside, die overigens geen betrekking hebben op de problemen van Grubeater.

In de web interface word nu gebruik gemaakt van de nieuwe username_link(), team_link(), client_link() en project_link() functies, waarmee de links naar de betreffende items getoont worden en diens optionele markeringen. Deze markeringen worden gebruikt om de gebruiker te wijzen op elke noemenswaardige staten:
I - Inactieve username, team, client of project.
* - Nieuwe client (diens eerste upload is opgenomen in deze update)
! - De huidige work unit is verwacht na de final deadline (clients only)
! - De huidige work unit is verwacht na de preferred deadline (clients only)

De huidige work unit markeringen maakten al deel uit van FCI 1.0, en zijn nu uitgebreid met de twee nieuwe markeringen. Overigens hebben de markeringen ook elk hun eigen kleur, maar die staat UBB mij niet toe te gebruiken op GoT, zie mijn post op FoldingForum.org voor deze post in het Engels en met kleuren.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[Grubeater]

Mijn fci installatie kan nu met clientuploads overweg, maar de hash fouten blijven. Misschien een fout in perl die bij Ubuntu server 8.10 zit?

En hoe kun je het beste fci updaten?

[ Voor 12% gewijzigd door Grubeater op 30-01-2009 17:16 ]

[smoking2000]

Ik heb even op jouw FCI server gekeken en ik zie de hashfouten idd ook, en weet al waardoor deze komen. Ik vermoed dat op Ubuntu strictere perl conventie wordt afgedwongen, omdat ik dit probleem nog niet op Debian ben tegengekomen. Ik ben op het moment aan het testen in mijn Ubuntu 8.10 VM.

Met betrekking tot FCI updaten. Daar is de installer niet (altijd) geschikt voor. Het beste is te kijken naar welke files aangepast zijn in de ChangeLog en deze met de hand te copieren. Je wilt niet dat je XML files overschreven worden, dus copy www/*pl* /var/www/fci/ is vaak genoeg. Eventueel ook voor de settings/ directory.
Indien index.pl is gewijzigt dien je ook apache opnieuw te starten met restart of force-reload omdat deze gecached wordt door mod_perl.

[ Voor 45% gewijzigd door smoking2000 op 30-01-2009 18:37 ]

[smoking2000]

fci-1.2.1 released!

Deze release heeft bugfixes voor de 'Bizarre copy of HASH in refgen' errors, welke getriggered worden op Apache 2 maar niet op Apache 1.3.x. Tevens is er minimale aanpassing gemaakt aan de installatie instructies voor Arch, Debian, Gentoo & Mandriva met betrekking tot de PerlOptions, de voorbeeld apache config is nu weer gelijk aan die in apache-conf.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[Grubeater]

De problemen met uploaden zijn opgelost, maar nu heb ik het volgende probleem.

De afbeeldingen van de projecten worden niet gecreëerd, bij settings->project->[project#] krijg ik de volgende foutmelding bij het genereren van een still image file, de andere afbeeldiingen Rotating Molecule en XYZ 180° geven geen foutmelding maar worden ook niet gemaakt.

code:

Error

Changing working directory to: /var/www/fci/

Validating project: 2665 ... 
Project validated.

Going to generate an image with RasMol.

Generating RasMol script.
Using tempate: rasmol-data/rasmol-still.script
Reading file from disk: rasmol-data/rasmol-still.script ... Done.
Generating script commands for type: still
Placing commands in template.
Saved RasMol script to: project-data/p2665.still.script

Running RasMol on the .pdb file with the generated script.

(rasmol:17318): Gtk-WARNING **: cannot open display: 
Resizing image.
Use of uninitialized value at /usr/local/bin/fci-update-project-images.pl line 728
Successfully generated image of type still for project 2665

De link naar de lokatie van de Still image is http://grubeater.nl/fci/HASH(0xba888d68) waarbij het hexidecimale deel tussen de haakjes bij iedere refresh veranderd. Normaal zou het http://grubeater.nl/fci/project-data/p<project#>.jpg moeten zijn neem ik aan.

[smoking2000]

Ik vrees dat de project data voor 2665 gecorrumpeerd waardoor enkele lege tags in de known-projects.xml terecht zijn gekomen, check dit in /var/www/fci/xml-data/known-projects.xml. Je kan dan het gehele project (<project>...</project>) verwijderen uit known-projects.xml en de project data /var/www/fci/project-data/p2665.*, en vervolgens een nieuwe upload doen om het project opnieuw te laten verwerken.

Met betrekking tot de Gtk warning, uit documentation/INSTALL.Debian:

quote: http://fci.bile.nl/?target=install.plc&os=Debian

The rasmol binary shipped with Debian in /usr/bin/rasmol is actually a wrapper
script, use the FCI Settings web interface to update the path of rasmol to:
/usr/lib/rasmol/rasmol.32

On Ubuntu /usr/bin/rasmol is managed by the alternatives system, and is linked
to rasmol-gtk by default, but the FCI server needs rasmol-classic. You don't
have to reconfigure the alternatives system to use rasmol-classic, you can
bypass it using the FCI Settings web interface to update the path of rasmol to:
/usr/lib/rasmol/rasmol.32

PS, je moet ook de nieuwe stylesheet.css copieren, nu hebben de markers geen kleur

[ Voor 4% gewijzigd door smoking2000 op 31-01-2009 11:46 ]

[Grubeater]

Het path naar rasmol stond inderdaad fout, hierna kon ik wel de afbeeldingen genereren. Volgens mij is de project data dus niet corrupt, maar was het een fout veroorzaakt door rasmol.

[smoking2000]

fci-1.2.2 released!

Deze release heeft een bugfix voor usernames.plc, de client list werd niet correct getoont bij elke username en had alleen 'n/a'. Verder is er een minimale wijziging voor projects.plc waar de ongebruikte sort parameter uit verwijdert is. En als laatst worden in team-stats.plc de inactive teams en usernames niet meer standaard getoont.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.2.3 released!

Deze release kent slechts een bugfix voor team-stats.plc waar de link naar de team stats stuk was wanneer de team naam gebruikt werd.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.2.4 released!

Bugfix release, fci-update-xml-files.pl was stuk:

code:

Undefined subroutine &main::parse_delta called at ./fci-update-xml-files.pl line 209.

FCI v1.3 is al sinds 2009-02-01 in ontwikkeling, maar is nog niet klaar voor release, maar diens versie (v0.3) van
fci-update-xml-files.pl is in deze release al opgenomen.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[Grubeater]

Vanaf fci 1.2.3 had ik geen problemen meer, natuurlijk zal ik wel updaten naar fci 1.2.4.

[smoking2000]

Als je geen problemen ondervond is het niet per se nodig te upgraden van 1.2.3 naar 1.2.4, maar het kan natuurlijk wel. Deze release is meer voor mensen die met v1.2.3 hun eerste install doen en merken dat hij niet werkt.

[smoking2000]

fci-1.3 released!

smoking2000 schreef op donderdag 12 februari 2009 @ 22:19:
FCI v1.3 is al sinds 2009-02-01 in ontwikkeling, maar is nog niet klaar voor release, maar diens versie (v0.3) van fci-update-xml-files.pl is in deze release al opgenomen.

Bij deze dan

Het heeft allemaal wat langer geduurt dan ik in eerste instantie had geplant, maar ja:
"We release, only when it's ready"

Waarom het allemaal zo lang heeft moeten duren heb ik in de release annoucement opgenomen die ik zojuist op Folding Forum heb gepost. Het heeft me een halve dag gekost om te schrijven, mede door eindeloze onderbrekeningen met telefonische support verzoeken van vrienden, en ik moet zo de deur uit voor bier, dus ik vertaal het deze keer niet als jullie het niet erg vinden.

Wel wil ik nog graag opmerken dat de fci-update-eoc-stats.pl bugfix speciaal voor Grubeater is gemaakt, omdat ik op zijn FCI server zag dat hij probeert een niet bestaande account in de EOC stats op te vragen (DeApen0DeApen).

quote: http://foldingforum.org/v...=14&t=8109&p=88495#p88495

New release of FCI: v1.3

Quite a few significant changes in this release, one of the reasons why it took more time to complete than usual since the 1.0 release.

New Feature: Access Control

This release's most prominent feature is the complete overhaul of the authentication functionality, which has been replaced by more powerful access control functionality. It introduces the concept of client accounts, and enhances the user accounts.

In previous releases you could only configure authentication for the main web interface (including client uploads) or only client uploads in the default realm, and you could also configure authentication for the client-data and settings web interface. Now you can configure authentication for every data directory on the FCI server.

In the design of the FCI server it's still the intention that only client uploads, client-data and the settings interface should be protected by authentication, which is therefor the default configuration. But the FCI administrator is now able to choose to protect all or any of the other data directories too, e.g. an FCI administrator may chose to enable authentication for the stanford-data directory to disallow people downloading its data files. You might want to do this if you pay for your bandwidth and don't want people wasting it by downloading your copy of daily_user_summary.txt (which is 25.64 MB at the time of writing).

The new access control functionality manages the access for the client and user accounts by granting access to protected directories. A directory is only protected if its ACL is enabled. There is an ACL for every web accessible directory, there also is one ACL governing client uploads, which is now separately configured from the main authentication, but is overruled by the main ACL if that's enabled. There is also an ACL for client-data which is a bit special. Because client accounts now exist, it's possible to allow an individual client access to only its own client-data. If the client-data ACL is enabled, every (enabled) client account has access to the top level client-data directory, but only the client itself has access to its client specific client-data directory. The user account of each clients contact is also granted access to the client specific client-data directories. This allows you to authenticate for the Client Data realm using your user account, and be granted access to all your clients client-data directories automatically.

Because this type of access control is now possible, there are now direct links to the uploaded client data files on every client page in the FCI web interface. This allows you to immediately access e.g. your FAHlog.txt if you notice in FCI that your client is hanging. In previous releases only the FCI administrator had this ability by manually entering the URL to the file and authenticating using the credentials configured for the client-data site. Now every FCI user can access the client data uploaded by his own clients (assuming he has been sent his user account credentials, and the user account is configured as the contact for his clients by the FCI administrator).

The client accounts are slightly enhanced user accounts. A client account is only required for registered clients. A registered client has its own password (username is the client name prefixed with 'client_') which guarantees that it is the only client allowed to overwrite its client files on the FCI server. This feature is useful if you are not the administrator of all the FCI clients on your server and would not like your other users being able to overwrite your client data when they use a client name identical to one of your clients.

Every client in FCI can be assigned a contact (it's not assigned by default). A contact is the user account for the administrator of that client. If you are the admin of more than one FCI client it's recommended to use your user account credentials to authenticate against the FCI server, because the user account set as the contact for a client is also allowed to overwrite the data of the client in question. If you are trying to overwrite the client data for a client that your are not the contact of, access will be denied (403 Forbidden). As an FCI user you may choose to request registration of your clients for the same reasons.

The user and client accounts are now also stored centrally. Instead of having a separate .htpasswd file in each directory to protect as in previous FCI releases, all accounts are now stored in the same .htpasswd file and access to the various directories is implemented using .htgroups now. Also instead of having only one account (usually the FCI administrator account) for each protected directory, multiple accounts can be granted access. A special group of users, those with administrator privileges, can also be granted access to each ACL via a single setting (Allow Administrator). This allows you to e.g. allow all FCI administrator accounts access to the client-data of all clients (even those it's not the contact of).

New Feature: FAH Client & Operating System icons

Aka the "FCI is starting to look more like Nagios every release" feature. This release adds icons for the FAH client type (tooltip shows the exact type and version details), and operating system icons (with the details as far as provided by the FCI client: Linux distro and kernel versions, Windows favor en kernel version, or FreeBSD/OpenBSD release, or just which major OS in the case of pre-1.0 FCI clients that didn't send detailed OS info).

These icons make it much easier to identify what system your FCI & FAH client are running on, and to make a distinction between the FCI clients and their relative performance. The FCI server for Fatal Error Group for instance shows a happy mix of clients on Windows XP, Windows Vista, Debian, various releases and flavours of Ubuntu, and one lonely Mac.

To easily see what kind of FAH client is running, the icons have a distinct color. The SMP client is [color=#00FF00]green[/color], the GPU client is [color=#FF0000]red[/color], and the CPU client is [color=#0000FF]blue[/color]. These colors (or colours if you so prefer :ewink:) were chosen because they're primary colors, and quite conveniently red and blue are on one side of the color wheel and green is on the other. This nicely illustrates the difference between the High Performance (GPU & SMP) clients and the classic (CPU) client.

New Feature: Support for Slackware (Client & Server)

In my effort to support all the major Operating Systems on which the FAH client may be run, I've updated the installer & installation instructions to support Slackware Linux too. Slackware was not initially supported with the FCI 1.0 release because it took me too much time (both wallclock and CPU) to setup a Slackware VM and compile all the software required for FCI. But since I also support Gentoo, I finally took the (wallclock) time to setup the VM and allowed VMware the (CPU) time of the FAH client to compile all the software. Fortunately I didn't have to compile apache, which came with the default (full) installation.

Installation instructions on the FCI project website: INSTALL.Slackware

Improved Functionality: Client State Markers

The client state markers now include more detailed information in their tooltip. The progress state warning ([color=#FF9900]![/color]) & critical ([color=#FF0000]![/color]) markers now include the time between the preferred & final deadline and the expected time of completion.

The inactive client state marker ([color=#AAAAAA]I[/color]) now includes the time since the last upload in its tooltip. The client state marker for new clients ([color=#FFCC00]*[/color]) also includes this information in its tooltip for its first upload.

There is now also a client state marker for general error conditions ([color=#FF0000]e[/color]). This is currently used when the qd-data uploaded by the FCI client contained an error, e.g. qd could not read the queue.dat on the client.

Another new client state marker is for when fci-update-xml-files.pl detects that the FAH client is shutdown ([color=#FF0000]s[/color]), its tooltip only shows the same message as the last line of the FAHlog.txt: Folding@Home Client Shutdown.

Bugfix: fci-update-eoc-stats.pl

As a precautionary measure fci-update-eoc-stats.pl would quit if it encountered an error (not 200 OK) while downloading the EXTREME Overclocking Folding@Home Stats. If it tried to download the stats for a user that doesn't exist in the stats (yet), EOC would return with an error (404 Not Found) causing fci-update-eoc-stats.pl to stop downloading the stats for all the other users too. Now the script will try continue to download the stats for the other users, but if it encounters errors for 5 users, it will still quit. This is to make sure the EOC server is not continuously sent erroneous requests.

Not a bugfix, but a minor enhancement. The sleep time between requests is now configurable using the -s or --sleep commandline argument. The minimum sleep time is 1 second, the default is 2 seconds. The default used to be 1 second, but was incremented to 2 because the EOC server sometimes returned a warning in HTML for the XML request that corrupted the XML file cached by the FCI server. The HTML warning told the user to wait a minute between requests. The 1 minute sleep time is not enforced by the EOC server as you might expect (the XML FAQ says: "Try to rate limit your queries. By that I mean don't try to make a couple dozen queries in one second."), and 2 seconds has currently shown to be the safe default.

Bugfix: fci-client.pl

This release also includes a fix for the problem that newer versions of the downloaded qdinfo.dat are not used by the FCI client if the date in the version string is the same as that of the qdinfo.dat already on disk. It also saves the downloaded qdinfo.dat to disk if the pg date of the downloaded qdinfo.dat is newer than the one on disk, even if the date in the version strings is identical.

Minor Changes

fci-update-jmol-projects.pl has been updated to know about the Jmol abbreviation for the new 0x14 core: GROGPU2-MT (Jmol: GG2MT).

fci-update-project-images.pl has been updated to redirect the output of the rasmol command (both STDOUT & STDERR) to /dev/null. This is a nice fix if you have your cron configured to email you any output of your cronjobs. You don't want an email every time the script generates images for recently added known-projects, you only want emails if it encounters an error while doing this. At least I do.


Since this release includes a new version of fci-client.pl it's highly recommended that any FCI client you admin are updated to this new release.


The lastest FCI release (and previous releases) can be downloaded from the project website:
http://fci.bile.nl/?target=downloads.plc

Or you can use the direct link:
http://fci.bile.nl/downloads/fci-1.3.tar.gz

[smoking2000]

fci-1.3.1 released!

Bugfix release, er zaten een paar kleine fouten in zowel de FCI client als server die niet optraden op mijn omgeving. Zie ook: http://foldingforum.org/v...14&t=8109&start=15#p88615

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[ Voor 9% gewijzigd door smoking2000 op 15-03-2009 11:43 ]

[smoking2000]

fci-1.3.2 released!

Wederom een bugfix release, bij nieuwe installs was de nieuwe ACL functionaliteit stuk. Zie ook: http://foldingforum.org/v...14&t=8109&start=15#p88695

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.3.3 released!

Wederom een bugfix release, bij nieuwe installs kon de img en rasmol-data ACL niet toegepast worden.
Zie ook: http://foldingforum.org/v...=14&t=8109&p=89091#p88949

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.3.4 released!

quote: http://foldingforum.org/v...=14&t=8109&p=89667#p89667

* Added explicit support for MEPIS instead of treating it as Debian.
* Automatically use /usr/lib/rasmol/rasmol.32 if this exists (as used by Debian [, MEPIS & Ubuntu], Gentoo, Slackware & Mandriva. If the distro package of rasmol is not installed, /usr/bin/rasmol or /usr/local/bin/rasmol will be used if one of these exist. If none of these exist, the rasmol binary shipped with FCI is installed into /usr/local/bin/. On FreeBSD /usr/local/bin/rasmol-32 is used automatically, or the same fall-back mechanism will be used.
* It's now forbidden to delete the only client or user listed in respectively clients.xml or users.xml. This keeps XML::Simple happy, and the ACLs as sane as possible.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[Grubeater]

Kun je ook een update how-to maken, zoals je mij eerder hebt uitgelegd?

[smoking2000]

Upgraden is niet echt makkelijk met deze versie, maar ik zal vanavond eens iets bijelkaar tikken voor upgrades vn 1.2.3 -> 1.3.4

[smoking2000]

In het kort komt het upgraden van FCI Client neer op:

code:

sudo cp fci-1.3.5/client/fci-client.pl /usr/local/bin/fci-client.pl
sudo cp fci-1.3.5/client/qd /usr/local/bin/qd
sudo cp fci-1.3.5/client/qdinfo.dat /usr/local/share/fci/qdinfo.dat

En voor FCI Server op:

code:

cp 
sudo cp fci-1.3.5/www/*pl* /var/www/fci/
sudo cp fci-1.3.5/www/settings/*pl* /var/www/fci/settings/

Afhankelijk van welke versie je komt, moeten nieuwe XML files, images, e.d. gecopieerd worden. Maar je wilt je bestaande stanford-data files bijvoorbeeld nooit overschrijven, want die in FCI zijn lege dummy files. Ook wil je je files in xml-data & site-data niet overschrijven als deze al bestaan, want anders verlies je je geschiedenis en configuratie.

Om dit alles makkelijk te makken, heb ik upgrade functionaliteit in de installer ingebouwt, dat stond toch al op de planning voor de volgende release

En dus is fci-1.3.5 released!

code:

* install.pl: Don't use a constant as dirhandle in copy_directory(). Also
  added support for upgrades of existing FCI installs using -u or --upgrade.
  When upgrading, all existing files will be overwritten with those in the
  FCI tarball, except for stanford-data, qd-data, xml-data & site-data. The
  stanford-data files are never overwritten, not even when forced. The qd-data,
  xml-data and site-data files are only overwritten when forced. New keys are
  added to the to the existing site-data/permissions.xml if those keys only
  exist in the source. When forced, the source permissions.xml will overwrite
  the target.
* client/fci-client.pl: Updated to v1.2.2 to properly reflect the changes in
  FCI v1.3.4.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.4 released!

code:

* Finished implementation of fci-client.conf usage. You can now save
  almost all commandline arguments in the ~/.fci/fci-client.conf
  by running fci-client.pl with the arguments you want to save, and
  --save-config. This will save the arguments and their values in
  fci-client.conf which will be loaded the next time fci-client.pl is run. You
  can overrule the configuration loaded from fci-client.conf using the
  commandline arguments.

* Add (GPU) projects to the known-projects.xml if they're not already listed.
  Projects were only added to the list if they uploaded a current.xyz file for
  that project, but GPU clients don't produce this file anymore.

* Removed unused subroutine update_known_project() from www/upload.plc.]

Zie ook het draadje op FoldingForum.org waar deze features eerder ter sprake kwamen:
http://foldingforum.org/v...=14&t=8109&p=90176#p90049


Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.4.1 released!

Minor bugfix release, deze had ik over het hoofd gezien:

code:

* Don't send missing projects that don't have an .xyz file in 
  scripts/fci-jmol-missing-projects.pl.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.4.2 released!

Minor bugfix release, touching both the FCI client and server:

code:

FCI Server: Improved OS image regex for the various Windows XP names. 
FCI Client: Don't put 'Debian' in the general LSB DISTRIB_CODENAME, 
this only needs to be done for MEPIS. (broke Ubuntu detection)

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.4.3 released!

Minor bugfix release, met alleen FCI server wijzigingen naar aanleiding van een bugreport in het FCI draadje op FoldingForum.org.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.5 released!

quote: http://foldingforum.org/v...4&t=8109&start=105#p94581

New features in this release include RRD based graphs for the EOC data, these graphs cover 1 year of history for each username.
This feature requires that the Perl module RRDs and its dependencies are installed. See the INSTALL documentation for more information how to install the new dependencies of FCI: RRDs & Date::Format (TimeDate).

New features in this release include RRD based graphs for the EOC data, these graphs cover 1 year of history for each username.

Also new in this release is WMI based hardware & OS info detection on Windows, besides the CPU, RAM & OS info already detected by previous FCI client versions, this version also includes the load (of the 1st CPU) together with the uptime. And it also reports the 1st GPU detected. A future release will support multiple CPUs & GPUs, but this requires more drastic changes in the framework.

The bug in fci-update-xml-files.pl where it would corrupt the XML files it updates if it did not find any client-data to process, has also been fixed in this release. You don't have to upload client-data before the first fci-update-xml-files.pl run anymore, but this is still recommended though.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.6 released!

Het heeft teveel tijd gekost, maar hij is er dan eindelijk. Ook het schrijven van de release announcement heeft me teveel tijd gekost, dus hou ik het bij het posten van het origineel in het Engels:

---

New release of FCI: v1.6

It seems like forever since the last release (v1.5.1), but that was only a few months ago (v1.5.1 was released Wed Nov 18, 2009). It has been far too long since the last major release (v1.5 was released Wed Apr 15, 2009 9:13 pm). Approximately 9 months is not very good in the release early, release often department. You can have a baby in that time frame, although you may not want to release early and often in that case

This release resembles the v1.3 release (Sat Mar 14, 2009) a bit, introducing some major new features. But this release took much longer to get done. At least I beat Duke Nukem Forever

New Feature: FahChart-like TPF graphs for the current WU using jQuery Flot

This is the first feature of FCI that requires javascript. I've long sought for some way to integrated FahCharts features in FCI, it was a unique application that allowed you to inspect the TPF at each completed step in the graph. Now you can do this in FCI too thanks to the wonderful jQuery Flot plotting library, you can even click through to the line in the FAHlog on which the step in question was completed (good for inspecting peaks).

Example:


These TPF graphs are displayed on the client page, and on the project page if the trajectory a client is working on is selected.

New Feature: Trajectory tracking for projects

Next to the individual projects, each trajectory for a project is now also tracked in the expanded known-projects. Each project now has its own known-project XML file in which the general project information is stored, just like it is in the known-projects XML file listing all known-projects. But the project specific known-project XML file also stores a list of trajectories the FCI clients have worked on. If a current.xyz file is availble the project images will be stored per trajectory as well.

A project page for which the trajectory is specified (by clicking a trajectory link) will now highlight the client running the trajectory, and the TPF graph if available.

(click for full size 774x1033)

This feature is not fully implemented yet, because the TPF data for the trajectory is not stored for completed WUs, only for the currently active WUs. This will be addressed in a future release of FCI, where a client list will also be shown for completed WUs.

New Feature: Queue History RRD graphs

RRD graphs are now also generated for the following queue values:
- Current PPD
- Speed
- Progress (%)
- Flops
- Performance Fraction
- Average PPD

All values are for the current work unit, except the Performance Fraction and Average PPD, these are queue averages of multiple WUs.

New Feature: FCI server support on OpenSUSE

With the release of OpenSUSE 11.2 it's now possible to get all FCI servers dependencies installed, so I got to update the supported OSes in the start post.
In previous releases everything except libapreq2 was available, a working build is now available thanks to the openSUSE Build Service.

Improved Functionality: Slightly more intelligent FCI client

The FCI client now knows about a few known issues and how to handle them a bit more intelligently. It will no longer upload the current.xyz if it likely doesn't belong the work unit the FAH client is currently work on. This can happen with some SMP cores which no longer generate the current.xyz, but this is also one of the files the FahCores don't clean up (all the time). So if the current.xyz is was not modified in the time between the start of the current WU, and the time FCI client runs it will be skipped.

The reason why a file is skipped for upload is now displayed too, and can be one of the following:
- Nonexistent, the file simply does not exist.
- Unreadable, the file cannot be read.
- Commandline Override, --skip-<file> is used on the commandline.
- Configuration Override, skip-<file> is set in fci-client.conf.
- Unverifiable (current.xyz specific), there is no usable qd info to determine if the current.xyz likely belongs to the current WU or not.
- Not Current (current.xyz specific), the file was not modified in the time between the current WU started and the time FCI client runs.
- Filesize Limit (unitinfo.txt specific), the filesize exceeds 512 KB (150-200 is normal).

GPU detection is now also supported on Linux, FreeBSD and Mac OS X. On Linux if you have an Nvidia GPU and have the nvidia-settings utility installed, it will send more detailed information to the FCI server including the GPU core temp, amount of VRAM and driver version. For other GPUs only the name reported by lspci for the device is used.

Improved Functionality: Cleaner upload output

Mostly a cosmetic change, prettifying the server reponse sent to the FCI client after upload processing. But the upload processing is handled more uniformly behind the scenes now too.

Improved Functionality: Automatic Apache2 detection on Gentoo

Gentoo is the only distro that does not include the version of apache in the SERVER_SOFTWARE environmental variable on which FCI relies to detect the if Apache 2.x is used. It still assumes that Apache 1.3.x is used, although apache2 is more common these days. I recently stumbled upon the magical MOD_PERL_API_VERSION variable which allows automatic detection to work on Gentoo too. No need to modify index.pl to set $apache2 manually anymore.

Improved Functionality: New Client State Markers

Client hanging (h), this marker is shown for clients where no progress (of the currently active WU) was detected for the time of the last 2 frames. So if the time qd was executed is greater than the time it took to complete the last 2 frames added to the time of the last detected progress (completed frame). This way of classifying a client as hung can produce false positives when qd is run during a slow frame (one taking much longer than the last two frames), but this is almost always restored after the next FCI update (when more progress has been made). So when you see this marker for one of your clients you'll want to check its FAHlog.txt to see if it's justified, you may also want to check one the client locally if more progress may have been made since its last FCI client upload. The tooltip of the marker will so the time since last progress, e.g. "No progress for 1 hour 3 minutes 53 seconds". This marker is also known as the Shadowtester marker, who requested it some time ago now (Fri Mar 27, 2009).

Unable to get work (w), this marker is shown for clients whose last activity in the FAHlog.txt are "Attempt X to get work failed, and no other work to do" and "Waiting before retry" lines. This allows you to see why your clients are not showing any progress and linger at the bottom of the Expected WUs list.

EUE limit exceeded (e), this marker is shown for clients whose last line in the FAHlog.txt shows "EUE limit exceeded. Pausing 24 hours", which is usually preceded by a not so nice UNSTABLE_MACHINE event. This one is for rhavern who requested it some time ago now too (Tue Apr 14, 2009).

Improved Functionality: Installer now sets the default apache group for all supported OSes

Previously you were required to invoke install.pl using --group <grouname> to have the permissions set correctly for any OS other than those using 'www-data' (Debian, Ubuntu & Mepis). The installation instructions mentioned which groupname was used by default on each supported OS, this knowledge is now also available in the installer itself.

The installer has also been updated to create the parts of the /usr/local/ tree it needs if it doesn't existing on Mac OS X. Apple has learned not to pollute /usr/local/ with its system installed software as it did in Tiger, but removing it entirely is a bit drastic.

Bugfix: Team 0 now supported

This release has several team 0 fixes, and should now properly support members of this team.

Fixing this bug made me see some of the creative usernames (containing special characters) used in team 0, giving the XML parser a hard time. It was kind of silly to convert the teamstats text files to XML anyway, it was initially done for consistency with the other code, but there is a negative performance benefit to added the extra XML tags to the teamstats data. So we just parse the text file now, and stopped using the XML file. The XML teamstats files will be deleted on the first update with the new version of fci-update-stanford-files.pl, so upgrades to this new version clean up these files automatically.

Bugfix: Begun date used when Issued date is not set

The new v5 work servers initially didn't set the issue date as reported by qd anymore, so FCI cannot rely on the existence of an issue timestamp anymore. In cases where no issue timestamp is known, the begin timestamp is used.

This mostly affected the Assigned Projects page now using either the Issued date or the Begun date which ever is available (tooltip show which value is used), and to a lesser extent the Projects page which displayed the Issued date initially but now uses the Begun date.

Bugfix: fci-update-eoc-stats.pl

Fixed return value and verbose output in save_file(), so the error condition of an unwritable file is properly handled. Also, when the stats for a user cannot be downloaded, continue to the next username instead of quiting the program.

Not a bug, but a feature (although the lack of this feature could be considered a bug). I've added the --sleep <n>/-s <n> option, use -s to set the number of seconds to sleep between requests to the EOC server. Minimum sleep time is 1 second.

Minor Changes

fci-update-xml-files.pl Added support for extracting the client type from the qd data, that was added to qd released 5 December 2009 (fr 076). Before only the client.cfg was used.
The unitinfo.txt is no longer parsed (this was done if certain values could not be parsed from the qd data), the file is now only provided for personal inspection if it was uploaded in the first place.
Arguments in the client.cfg (extra_parms) and those used on the commandline (logged in FAHlog.txt on Arguments: lines) are now merged instead of concatenated, so double arguments are no longer displayed in the web interface.

fci-update-jmol-projects.pl Added mapping for new cores (A3 => GRO-A3, A4 => GRO-A4, PM => ProtoMol), and handle empty contact columns by setting the value to 'n/a' as used in FCI (Jmol uses 'NA').

convert-rrd.pl The script I used to convert all FCIs RRDs from 32bit to 64bit in the scripts/extra/ directory of the FCI tarball. It may be useful to others who need to migrate RRDs created on a 32bit server to a 64bit one.

Since this release includes a new version of fci-client.pl it's highly recommended that any FCI client you admin are updated to this new release.


The lastest FCI release (and previous releases) can be downloaded from the project website, or you can use the direct link.


For the next release, I'm planning to include support for the new (BigAdv) bonus scheme, but for this I need testers with dual quad machines to test an experimental qd release that I'm preparing for that. I'm hoping that jimerickson, Magic-Michael, and possibly others are willing to help out with testing this. Please get in touch via PM if you want to help test the new qd with bigadv support.

Beta team members using FCI should also get in touch via PM to get the super secret info on to how to include the beta projects in FCI so the beta status is indicated on the project page. Since the other psummary pages are not public yet (although the links leaked in an early version of the new project summary pages), I assume this information is still considered for beta team members only.

---

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[smoking2000]

Uit een PM op FF.org, de geheime instructies om de beta projecten in FCI v1.6 op te nemen:

You'll want to download the secret version of the stanford-files.xml file.

This area of the website is password protected, the username is the argument for normal beta WUs and the password the one for BigAdv beta WUs (with or without '-' prefix, both user/pass combinations are valid).

Copy the file to your FCI xml-data/ directory and run fci-update-stanford-files.pl to update.

[SandStar]

thanks! ik ben weer up2date

[smoking2000]

Zoals ook op FF.org gepost, zit ik met het volgende.

Ik ben bijna klaar met het integreren van de nieuwe bonus punten in FCI, maar ben ik er nog niet uit op welke manier ik dit in PPD grafieken wil verwerken.

Welke optie heeft jullie voorkeur als FCI gebruikers?

Enkele Y-as


Dubbele Y-as


Laat je voorkeur horen middels de Doodle poll, thanks!

[SandStar]

woei! polls zijn cool

1e plaatje vind ik er overzichtelijker uit zien

[PeaceNlove]

Ook al gebruik ik het niet, toch is de 1e beter

[smoking2000]

Thanks voor de feedback, dit is precies de bedoeling van het in de groep gooien.

Ik heb zelf ook m'n twijfels over de 2e, maar ik kijk er naar met een bevooroordeelde developer blik. Dus maar eens het oor te luisteren gooien bij mijn gebruikers.

[Bubbles]

SandStar schreef op zaterdag 13 februari 2010 @ 13:53:
woei! polls zijn cool

1e plaatje vind ik er overzichtelijker uit zien

Ik heb altijd een beetje hekel aan grafiekjes met dubbele assen. Maakt het inderdaad altijd minder overzichtelijk, dus: met hem ^^

[SandStar]

is het een idee om de server status page van stanford ook mee te nemen? Dat je bijv per client kan zien dat ie probs heeft met uploaden omdat de server is kwestie in "reject" mode is?

oh en persoonlijk vind ik het wel mooi om core type te zien onder het clients overzicht
Naast "Project" oid.

[ Voor 24% gewijzigd door SandStar op 16-02-2010 17:30 ]

[smoking2000]

SandStar schreef op dinsdag 16 februari 2010 @ 15:42:
is het een idee om de server status page van stanford ook mee te nemen? Dat je bijv per client kan zien dat ie probs heeft met uploaden omdat de server is kwestie in "reject" mode is?

In het verleden heb ik al eens gespeelt met het integreren van de serverstats, maar dat was weinig lol. Het is weer van die ouderwets brakke HTML om te parsen, waar je elke keer je parser voor moet aanpassen als ze weer eens wat wijzigen of er iets stuk is. Er zijn tab separated text versies van alle server logs beschikbaar, maar dan moet je weer voor elke server zijn log downloaden + parsen (~21 MB aan data totaal, zojuist gemeten). Het is kiezen tussen twee kwaden, en dat doe ik liever niet.

Ik wou in eerste instantie ook een Servers pagina in FCI, een beetje ala de projects pagina met een overzicht van de huidige status. Maar wat je verder met die data moet? Je kan er weinig zinnigs mee doen. Ik zou wat fahinfo.org doet over kunnen nemen (servers have been identified as broken because they are either in REJECT mode or their TCP communication is DOWN), maar verder?

SandStar schreef op dinsdag 16 februari 2010 @ 15:42:
oh en persoonlijk vind ik het wel mooi om core type te zien onder het clients overzicht
Naast "Project" oid.

Het nummer (0xa3), de naam (GRO-A3), of beide?

Met de 3 nieuwe bonus kolommen erbij zijn de overzichts tabellen wel erg breed geworden. Je hebt niet meer genoeg aan 1024x768, met de core naam erbij is 1280x1024 waarschijnlijk ook al niet genoeg meer. Een of andere jQuery hack op de tabellen om kollomen te kunnen togglen zou een uitkomst zijn, kan iedereen zelf kiezen welke ze willen. Maar dat gaat veel tijd kosten, dus zal niet op de korte termijn gebeuren.

[SandStar]

ahja, ik had de nieuwste versie van FCI nog niet gezien maar als ik bij jullie team kijk dan staat het idd wel redelijk vol.

Zou het mogelijk zijn het anders als comment in de project link toe te voegen? Dus dat als je kijkt naar ClientA in het overzicht en je gaat met je muis over het project nummer dat je dan niet "detailed project information" maar zoiets als GRO-A3...

Edit:
Ik zie nu dat het ook makkelijk te zien is via "Assigned Projects".
Wellicht beter om het dan idd te laten voor wat het is

[ Voor 15% gewijzigd door SandStar op 17-02-2010 01:04 ]

[smoking2000]

fci-1.6.1 released!

Het resultaat van de poll was overduidelijk in voorkeur voor de enkele Y-as:



De PPD graphs in deze versie zijn dus als volgt geworden:



Verdere info over deze release uit de release announcement op FoldingForum.org:

---

New release of FCI: v1.6.1

New Feature: Support for the new Bonus Points

Since qd is able to calculate the bonus points from functional revision 081, FCI can use this data as well. The Bonus Points, Bonus PPD and Bonus Factor are displayed in additional columns next to the normal Points and PPD. As seen in my earlier posts, the Bonus PPD is also included in the PPD Graphs. RRDs for these new values are also added to the client queue history.

For the bonus points data to be available, you'll have to update qd on your FCI clients to at least fr 081. qd fr082 introduces an alternate PPD calculation which doesn't account for the progress, but asssumes the WU is completed at the expected date. This data is preferred for PPD values used in FCI, if the alternate PPD values are not availble, it will fallback to the points per hour and multiply by 24 as was done before.

So you'll want to run all your FCI clients at least once with --update-qd if you don't always do so already, to have the FCI client download the latest qd from your FCI server.

New Dependency: Math::Round

With the work to add support for the Bonus Points to the PPD Graphs also came the opportunity to set smarter maximum values for the graphs. I chose to use nhimult() from Math::Round for this. Most OSes on which FCI Server is supported provide a package for Math::Round, although some require some more work (Gentoo: g-cpan & OpenSUSE: OpenSUSE Build Service). The installation instructions have been updated to include instructions for Math::Round.

The Great Renaming: Credits -> Points

As Usenet saw the Great Renaming back in 1987 to provide a better naming scheme, so sees FCI its own Great Renaming today.

Due to popular demand, the column formally known as Credit has been renamed to Points to be more in line with the naming used by most users .

This renaming includes the keys used in the XML files generated by FCI. The exception are the XML files populated with data from the psummary and team/user stats files, whose upstream naming is adopted.

New Feature: Extended Team Information

Similar to the extinfo used in Nagios, this version of FCI ships with support for additional team information. For now this are only the team website URL, and URL to its logo. These will be shown on the team page in FCI next to the team information, smiliar to how they're shown atop of the team stats page at Stanford.

I've provided a pre-populated team-extinfo.xml with the team info of a handful of teams. A management interface is available in the Settings web interface, with which you can add more.

Improved Functionality: Show 'Passkey: Yes' in client configuration section

When a clients uses a passkey, this now also displayed on its client page in the configuration section as 'Passkey: Yes', similar to the 'Passkey found' line logged in FAHlog.txt.

Bugfix: Client Type parsing from client.cfg

fci-update-xml-files.pl will no longer overwrite the client type when parsing the client.cfg if the client type was already parsed from the qd data. This caused an incorrect type (0 No Preference) to be reported for clients which do have a client type configured (Advmethods, BigAdv, etc), but only stored in the queue.dat not also in the client.cfg (e.g. because it was set using a commandline argument).

Bugfix: Argument parsing from FAHlog.txt

fci-update-xml-files.pl will forget about the arguments it parsed from a previous FAH client startup, to properly reflect the current situation. It now also properly merges arguments from FAHlog with those in the client.cfg.

Bugfix: Don't show disfunctional TPF graph in IE

As expected, the jQuery Flot TPF graphs are not support in Internet Explorer. So these will no longer be shown for users of IE. Advanced features, require advanced browers such as Firefox, Safari, Chrome, or Opera.

Flot v0.6 possibly improves support for IE browers, but I haven't tested this version yet.

Minor Changes

clients.plc Align filesizes to the right in the Client Files list on detailed client pages.

---

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

Het is natuurlijk vanzelfsprekend dat de nieuwe extinfo voor DPC standaard mee geleverd wordt

[ Voor 3% gewijzigd door smoking2000 op 21-02-2010 21:17 ]

[SandStar]

Een update van server lijkt niet helemaal te werken? Bonus Factor staat overal op 1.

Clean install lijkt bij iemand anders wel correct te werken

Edit:

ok, lijkt langzaam weg te trekken. 2 clients laten het nu wel correct zien.
Rest zal wel volgen

[ Voor 27% gewijzigd door SandStar op 22-02-2010 00:57 ]

[smoking2000]

SandStar schreef op maandag 22 februari 2010 @ 00:30:
Een update van server lijkt niet helemaal te werken? Bonus Factor staat overal op 1.

Je wilt altijd de laatste functional revision van qd op je FCI clients gebruiken, zeker bij een nieuwe release van FCI server. Dus --update-qd is your friend

smoking2000 schreef op zondag 21 februari 2010 @ 21:13:
For the bonus points data to be available, you'll have to update qd on your FCI clients to at least fr 081. qd fr082 introduces an alternate PPD calculation which doesn't account for the progress, but asssumes the WU is completed at the expected date. This data is preferred for PPD values used in FCI, if the alternate PPD values are not availble, it will fallback to the points per hour and multiply by 24 as was done before.

So you'll want to run all your FCI clients at least once with --update-qd if you don't always do so already, to have the FCI client download the latest qd from your FCI server.

[SandStar]

smoking2000 schreef op maandag 22 februari 2010 @ 06:47:
[...]


Je wilt altijd de laatste functional revision van qd op je FCI clients gebruiken, zeker bij een nieuwe release van FCI server. Dus --update-qd is your friend


[...]

Dat was het eerste wat ik deed. Maar ik zie toch nog clients met een BF van 1.0 terwijl ze een A3 unit hebben en een qd versie van 20-2-2010 (fr 082)

Hoe debug ik dit?

[smoking2000]

Ik zag idd dat vrijwel al je clients de meest recente qd hadden, behalve c4mper. Die draait nog qd released 15 April 2009 (fr 073).

Om vast te stellen waarom geen bonus punten getoont worden (door qd), begin met de bonus checklist om te bepalen of de betreffende client voor zijn huidige WU ook daadwerkelijk in aanmerking komt voor de bonus:

quote: http://teammacosx.org/for...=63&t=3957&st=#entry55599

qd will only show bonus points if all the following conditions are met:
* Greater than zero points (pts)
* The final deadline is known (due: N days)
* The preferred deadline is known (preferred: N days)
* The project has greater than zero kfactor (kfactor)
* The approximate assignment time of the WU is known (issue or begin)
* The end or expect date of the WU is known (end or expect)
* A passkey is stored in the queue.dat for the WU (passkey)
* The WU is not deleted (status)
* WU completion is (expected) before the preferred deadline

Projects which have no kfactor (or 0.00) listed on the psummary won't have bonus pts displayed by qd. Nor will projects for which the expected time of completion cannot be calculated (e.g. because no progress was parsed). The most likely cause for no bonus pts being displayed is that the passkey is not stored in the queue.dat for that WU. This value gets written to the queue.dat when the FAH client unpacks the new WU it got assigned if the passkey is configured in the client.cfg.

There was a brief period in which the passkey was no longer written to the queue.dat sometime after the release of the v6 FAH client, but the recently it reappeared. I'm not sure where it's decided to store the passkey in the queue.dat or not, whether that is the FAH client (most likely) or the FahCore, or possibly some negotiation between them or between the FAH client and the Work Server. If it turns out that the passkey is not reliably written to the queue.dat despite it always being configured in the client.cfg, I'll remove this requirement and assume that you're liable for the bonus (and that a passkey is configured). I alreeady assume that you have met the 80% before deadline, and that you've already completed 10 A2 or A3 WUs. All Stanfords bonus requirements that qd cannot know will be assumed, since the bonus points is an indication anyway. Upload failures are not accounted for, for instance too.

Het topic op TeamMacOSX.org wat ik quote is van dit weekend waar geen bonus punten getoont werden voor een WU waarop dit wel van toepassing zou zijn. Dit werd veroorzaakt door het ontbreken van de passkey in de queue.dat voor die WU. Zie ook mijn iets uitgebreidere post

Om kort te stellen wat je moet doen, is de qd met de hand te draaien op de betreffende machine (~/.fci/qd -n ~/.fci/qdinfo.dat -iaf <path/naar/folding-dir>) en verifieren dat alle prerequisites uit de checklist aanwezig zijn. (-a is hierin een essentieel argument voor qd, zonder -a zal de passkey nooit getoont worden zelfs als deze aanwezig is).

[SandStar]

erwin@c4mper ~/.fci $ qd -v
qd released 20 February 2010 (fr 082); qd info 21 February 2010 (update-qd.pl)

lijkt de goede?

edit:

hmm hier gaat iets mis

~/.fci/qd -n ~/.fci/qdinfo.dat -iaf /home/erwin/folding/
qd released 15 April 2009 (fr 073); qd info 21 February 2010 (update-qd.pl)
** NOTICE: This version of "qd" is out of date (info file is fr 082). **
qd executed Mon Feb 22 14:12:11 CET 2010 (Mon Feb 22 13:12:11 UTC 2010)
Queue version 6.00

edit2:

Doh! gevonden...
2 qd installaties op die pc. als ik in directory ging staan en qd -v deed pakte hij de algemene en niet degene in mn .fci map.

[ Voor 71% gewijzigd door SandStar op 22-02-2010 14:21 ]

[smoking2000]

Dat lijkt idd de goede, maar in je edit lijkt hij een andere qd te gebruiken.

Waarschijnlijk heb je in je current working directory ook nog een qd en/of qdinfo.dat staan, die FCI client om die reden gebruikt?

In de verbose FCI client output moet je kunnen zien waar hij qd binaries vind en welke hij kiest om te gebruiken.

[SandStar]

yup, fixed
zie edit

[smoking2000]

Last dat ook je probleem met bonus punten op?

Zo niet, dan ben jij waarschijnlijk de 2e gebruiker waarvoor de passkey niet structureel in de queue.dat wordt geschreven, en moet ik meer prio geven aan de update van qd hiervoor.

[SandStar]

yep, ziet er nu goed uit!

[SandStar]

Een paar linux installs van mij willen een nieuwe Date-Calc versie gaan installeren:

code:

[ebuild     U ] dev-perl/Date-Calc-6.3 [5.4] 166 kB

Nu kan ik mij ergens herinneren dat bepaalde versies niet helemaal lekker werkten. Iemand van TCF heeft ooit eens FCI op de laatste debian unstable/testing/alpha/whatever geinstaleerd en die trok allemaal perl libraries binnen die niet compatible waren.

Ben jij toevallig op de hoogte van versies waar we vanaf moeten blijven?

[smoking2000]

Nope, naar mijn weten werken alle versies.

Ik weet wel dat de Debian versie een pure perl implementatie van het Date::Calc backend gebruikt, terwijl de module op CPAN en in andere distros het XS (C) backend gebruikt.

Zolang de API niet is gewijzigd (wat zeldzaam is voor veel gebruikte modules als deze) zou het moeten werken.

[SandStar]

ah verhelderend
Meteen duidelijk waarom het op debian dus van die rare resultaten gaf. Thanks!

[smoking2000]

fci-1.6.2 released!

Uit de release announcement:

---

Most of the old changes for this release have been available in Subversion for some time already, this is the first official release in which these changes are included. For those of you wanting to stay current can track the changes in SVN which should always apply to the last offical release. All distruptive changes for the next release are done elsewhere.

This new release includes all the changes from SVN and some important bugfixes.

Bugfix: Support for Date::Manip 6.xx delta format

fci-update-xml-files.pl now handles the new delta format used in Date::Manip 6.xx when formatting its deltas.

Bugfix: Psummary parsing

fci-update-stanford-files.pl now handles the new project description URL containing ."overusingIPswillbebanned", and email addresses in the contact field.

Status changes for the project summary are now only displayed in verbose mode so you no longer get an email from cron with only project status changes.

Improved Functionality: Client state markers

fci-update-xml-files.pl is now able to detect core download errors for which the client state marker c is used, and upload failures for the current work unit indicated by u. Links to the lines in the FAHlog where these events were detected are displayed as a warning on the client page.

Improved Functionality: Client history RRD graphs

The average upload and download rates are now also plotted. the values are retrieved from the queue.dat by qd, not from the FAHlog.

Minor Changes

team-stats.plc Removed link to the XML file which is no longer used.

All show/hide inactive links in the web interface now use the rel='nofollow' attribute to prevent webcrawlers from following these links.

---

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[smoking2000]

fci-1.6.3 released!

De vorige release was niet voldoende om alle issues met de nieuwe Date::Manip te fixen, op FF.org werden nogsteeds errors gerapporteerd. Zojuist heb ik deze issues kunnen reproduceren op mijn Ubuntu 10.04 VM wat deze release heeft getriggerd.

Uit de release announcement:

---

Bugfix: More support for Date::Manip 6.xx

Using 'now' instead of 'today' in time_format(). It also only accepts numeric values to prevent it choking on 'n/a' values, which causes problems for clients without TPF values.

fci-generate-queue-graphs.pl also had a time_format() subroutine but this was not used outside of some debug code that has since been removed. So this subroutine has been removed too.

Minor Changes

fci-update-jmol-projects.pl Added mapping for code abbreviation: OG => OPENMMGPU

---

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[SandStar]

Ik heb voornamelijk nog 1.6.1 clients rondlopen. Moet ik die nog updaten?
Server net wel succesvol naar 1.6.3 gekregen

[smoking2000]

De client heeft nog geen changes gezien, dus die hoeven nog niet upgrade te worden.

[smoking2000]

fci-1.7 released!

Eindelijk tijd gehad om even te gaan zitten en een nare bug te pletten die deze nieuwe release als maar ophield. Ook het opzetten van Trac en op vakantie gaan hebben niet bij gedragen aan een vlotte release. Met de winter in het vooruitzicht zal dat vast beter worden.

Uit de release announcement:

---

The most important change in this release is that project image generation has moved from client upload time to XML processing time. Doing image generation during client upload processing broke in recent releases of Slackware and Arch Linux. This change also has the nice side-effect that client upload are handle much more quickly now which will allow for more concurrent uploads.

This is the first release to use the new URL for the project website in my own domain: http://fci.linuxminded.nl/.

Many thanks to my teammate BiLe for hosting the subdomain for the past 5 years. And with the move to my own domain I also set up rudimentary project management with Trac which gives us a bug tracker, a documentation wiki, and another SVN browser: http://fci.linuxminded.nl/trac/ The Wiki is a work in progress, and submitting new tickets requires registration.

This new release includes all the changes from SVN and some important bugfixes. The installer was enhanced to also generate fci-client & fci-server crontab files ready for copying to /etc/cron.d/ and the apache configuration is auto generated as well.

The FCI client has seen a minor improvement, it also reports the fan speed if nvidia-settings reports this on Linux. Upgrading your FCI clients to this version is only required if you want to use this feature.

---

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[smoking2000]

fci-1.7.1 released!

Uit de release announcement:

---

Mostly a bugfix release, with some minor enhancements.

Bugfix: fci-update-xml-files.pl

Adds project number to the XML files again. The project number is already known through the filename, but it should also be included in the XML itself.

Bugfix: fci-update-stanford-files.pl

Now always uses the new URL for projects descriptions, which contains '.overusingIPswillbebanned', even if the project summary page still lists the old URL. This chnages should make it generate much less cron mails

Bugfix: fci-update-jmol-projects.pl

Also imports the kfactor from Jmol projects.

Bugfix: install.pl

Fixed FCI client installation op OpenBSD.

Minor Changes

clients.plc now shows the time it took to complete a WU in each Queue index.

fci-update-stanford-files.pl now downloads the bzip2 compressed daily user & team summary files instead of the plain text ones. You can change the new default to plain text in the Settings interface. This of course requires that the bzip2 package is installed, which it is by default on most of the supported operating systems, but not all (e.g. Debian).

---

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[smoking2000]

fci-1.7.2 released!

Uit de release announcement:

---

Only 1 minor change to support the new progress format in the FAHlog by new GPU3 cores:

[10:56:06] Completed 87% ( 43499999 steps out of 50000000) 

---

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[smoking2000]

fci-1.7.3 released!

Uit de release announcement:

---

It look likes the new progress format is in use now, I had to update the parser again because it's similar to the old format, but still differs too much:

[06:34:55] Completed  21000000 out of 50000000 steps (42%).

---

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[smoking2000]

Drie dagen geleden zag ik dat er een nieuwe (stable) firmware voor m'n Fritz!Box 7340 was, onder andere met IPv6 support. Direct na het installeren van de firmware update heb ik dus een IPv6 prefix bij XS4ALL aangevraagd, waarna ik even later een mooie dual stack op m'n modem had draaien, en het mooi vooruitzicht om IPv6 op alle hosts in mijn netwerk te configureren. Dit is zojuist voltooid, en zodra de DNS change is overal gepropageerd is, heeft het ook nog de finishing touch.

Vanaf dan is de FCI project website ook beschikbaar via IPv6: http://fci.ipv6.linuxminded.nl/
De FCI server die ik voor Fatal Error Group draai via: http://fci-feg.ipv6.linuxminded.nl/
En mijn algemene website met FAH tools, qd-tools, e.d. via: http://ipv6.linuxminded.nl/

[ Voor 6% gewijzigd door smoking2000 op 19-11-2010 23:42 ]

[smoking2000]

fci-1.7.4 released!

Uit de release announcement:

---

Mostly a bugfix release, with some minor enhancements.

Bugfix: fci-update-xml-files.pl

Don't overwrite the qd supplied client type with the one listed in the client.cfg, Required for correctly detecting -bigadv when type=3 (-advmethods) is set in the client.cfg.

Minor Changes

clients.plc now shows the time expected to complete a WU. This was already present for completed WUs, now also for WUs not yet completed but have an expected date available.

The installation instructions for various OSes were updated to reflect current versions.

---

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[smoking2000]

fci-1.7.5 released!

Uit de release announcement:

---

Mostly a bugfix release, with some minor enhancements.

Bugfix: fci-update-xml-files.pl

Checking for a day changes was broken if the times from the FAHlog were within skipped the daylight saving time hour, the FAHlog dates are in UTC which doesn't use daylight savings.

Minor Changes

fci-update-jmol-projects.pl Updated mapping for new FahCore abbreviations.

clients.plc If only points per hour data is available, convert it to points per day.

---

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[smoking2000]

fci-1.8 released!

Uit de release announcement:

---

I've long sought an interactive molecule viewer for web browser that doesn't use Java, and now I've finally found one: ChemDoodle Web Components by iChemLabs. A really cool chemical toolkit in Javascript using jQuery. It has build in support for PDB files, which FCI already uses for RasMol to generate project images. An interactive project image is now also available for project how provide a current.xyz, which sadly are rare these days. But my FCI server has collected quite some over the years, so it's not as useless as it may seem. See for example: Project 10900 Abeta40_mono_s

Rendering some of the larger molecules such as p2672 IBX in water & p2669 IBX in water will put a bit of a strain on your system, but the smaller molecules such as p3907 & p1584 A7pp2_298K_03 are rendered in a breeze. I think it's worth it for such cool tools.

I'll expect a future release of FCI to use this to render the project images for the v7 client using its protein command, when my FAHClient Remote Interface Perl Implementation is ready. The FCI server can then act as a caching proxy between the web browser and FAHClient, also converting the PyON data to proper JSON to have a realtime feed or cached view of the last protein state that you can interact with. So you wont have to allow direct connections from the Internet to your FAHClient.

My overall development has slowed down quite a bit in pas months, due to busyness at work and elsewhere. But after the new v.7.1.33 and v7.1.38 open beta releases I've picked up development of the remote interface implementation again, but development is still slow.

---

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[smoking2000]

fci-1.8.1 released!

Helaas een bugfix release omdat de recent geintroduceerde ChemDoodle Web Components de jQuery Flot TPF graphs had gesloopt. Hierbij is Flot geupgrade van v0.5 naar v0.7.

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[smoking2000]

fci-1.8.2 released!

Slechts wat kleine changes:

fci-update-eoc-stats.pl gefixed om te stoppen na 5x geen XML stats opgehaald te hebben. Dit werd voorheen alleen gedaan voor requests met een non 200 OK status code. Zo gedraagd het script zich beter wat de recente load issues bij EOC betreft. Bij hoge load krijg je een waarschuwing in HTML ipv de XML stats, maar deze word wel geserveerd met een 200 OK status code.

ChemDoodle Web Components geupdate naar v4.4.1, voornamelijk voor de bugfixes in gl-matrix v1.0.1.

Installatie instructies geupdate voor FreeBSD 8.2, OpenBSD 5.0, OpenSUSE 12.1 & Arch Linux 2011.08.19.

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[smoking2000]

fci-1.8.3 released!

Als kerst cadeau proxy support aan FCI client toegevoegd, wat eigenlijk vanaf dag 1 er al in had moeten zitten.

Beter laat dan nooit zullen we maar denken

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[smoking2000]

fci-1.8.4 released!

In deze release zijn Stats boxes onder de Username & Team lists toegevoegd, na vriendelijk verzoek van een long time user.

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.