[Folding@Home] Announce: Client monitor voor Linux

[smoking2000]

SandStar schreef op woensdag 19 oktober 2005 @ 13:56:
[...]


Als ik kan helpen met de smp machines... ik heb het volgende staan:
Dual Xeon 1.8 (met HT dus 4 cpu's) (win2k)
Dual P3 733 (linux)
Dual Opteron 252 (winxp)
Xeon 3.2 HT

Als je de release candidates voor fci-1.0 zou willen testen wanneer die er komen, zou dat geweldig zijn.
Dat kan ik de SMP specifieke code nog even fixen voor de daadwerkelijk release.

Ik ben nu bezig om alle geuploade data te verwerken in XML files, waarna ik de webpage ga herschrijven. De client is al voor 95% klaar.

Maar een daadwerkelijke test release kan nog even op zich laten wachten, gezien nog niet alle componenten af zijn.

[smoking2000]

fci-0.8.2 released.

In alle scripts en files de gewijzigde url van stanford geupdate.

Alle qd binaries geupdate naar mijn geupdate versie met support voor Win2K3
Meest up2date versies van: qdinfo.dat, psummaryC.html, daily_team_summary.txt & daily_user_summary.txt

Tevens is de DNS voor fci.bile.nl aangepast, als de primary server eruit licht, neemt mijn mirror de requests aan voor de site

[smoking2000]

fci-0.8.3 released.

psummary2qdinfo.pl ging nat op project 1312 welke geen "Number of Atoms" in zn table row had staan. regex herschreven :-)

Tevens is het script ook los van de rest van fci te downloaden, wel aan te raden als je al 0.8 of later draait
http://linuxminded.xs4all.nl/software/psummary2qdinfo.pl.gz

[smoking2000]

fci-0.9 released.

Niet veel spannende ontwikkelingen, behalve dat je nu eindelijk de OS en CPU data van qd op de client
pagina kunt zien :-)

Verder zitten er updated binaries van qd bij, welke zijn geupdate en opnieuwe gecompileerd. Gezien ze eerst van UTC uitgingen, nu local time.

mbt qd heb ik binnenkort nog een announcement, ik heb namelijk qd-tools bijna af. qd-tools is een verzameling tools om qd.c en qdinfo.dat up to date te houden met de wijzingen in psummaryC.html. En documentatie over qd en qdinfo.dat om de maintainance van qd zonder Dick Howell te vergemakkelijken :-)

[smoking2000]

fci-0.9.1 released.

Bij het testen van qdiprint kwam ik erachter dat ik al die tijd de project credit history verkeerd genereerde wanneer er een project veranderde. Ik heb dus alle update scripts, sources en binaries gerelateerd aan qd geupdate.

Dit alles heb ik gereleased als qd-tools v0.2.
http://linuxminded.xs4all.nl/?target=software-qd-tools.plc

Gezien fci ook gebruik maakt van mijn qd binaries en updates voor qdinfo.dat heb ik alle qd gerelateerde files gesynct met qd-tools v0.2 en deze gereleased als fci v0.9.1

[SandStar]

moet toch maar eens updaten dan

[smoking2000]

fci-0.9.2 released.

Zoals mogelijk al wel bekend, zijn er een aantal project die meer dan 999.00 credits waard zijn.

Dit zorgde ervoor dat de source van qdinfo.dat en qd.c niet mooi meer gealigned was.
Ik heb mijn update scripts in qd-tools gefixt om nu 6 characters voor de credits te gebruiken.
(intern worden de credits als credits*100 opgeslagen, dus bv project 2360 als 129400)

Gezien psummary2qdinfo.pl ook bij fci zit, heb ik hier ook een bug fix release voor.
Als je alleen het script wilt updaten kan je die ook afzonderlijk downloaden van de qd-tools website:
http://linuxminded.xs4all.nl/?target=software-qd-tools.plc

Tevens heb ik alle qd binaries en qdinfo.dat in deze fci release gesync met de nieuwste versies uit qd-tools.

Van qd-tools is nu ook v0.2.1 gereleased, behalve deze cosmetische bug fix zit er ook een man page voor qdinfo.dat bij, wat de file layout beschrijft. Zo kunnen we toch zonder hulp van Dick Howell zijn tools beter begrijpen en onderhouden
Yay voor Open Source

[smoking2000]

fci-0.9.3 released.

Wederom een bugfix release.

Ditmaal heb ik de URLs naar de qd website geupdate. Sinds enkele weken is de website van Dick Howell offline, gelukkig hebben zowel TheWeatherMan als ikzelf een mirror. Ik link nu naar mijn mirror.

Tevens heb ik het qd update gedeelte wederom geupdate, download-qd-files.pl is terug met geupdate URLs naar de binaries en qdinfo.dat en gefixte logic. psummary2qdinfo.pl is nu niet meer nodig, de qd files (zowel qdinfo.dat als de qd binary) worden nu geupdate van de versie die ik maintain.
Was wel hard nodig gezien qd 032 crasht op projecten die meer dan 655.35 credits waard zijn.

Uiteraard ook qd en qdinfo.dat naar de laatste release (033) geupdate.

Leuke side note: de qd die ik maintain word nu ook gebruikt door finstall

[ Voor 1% gewijzigd door smoking2000 op 28-12-2005 14:14 . Reden: laatste release is 033 natuurlijk ]

[SandStar]

nice
zit zelf nog steeds bij 0.8... binnenkort maar ff updaten

[smoking2000]

fci-0.9.4 released.

Wederom een bugfix release.

Een van onze team members gebreukte een client name (pwcca) die deel was van een reeds bestaande client name (pwccaa), en zo doende werd zijn info niet geupdate omdat fci dacht dat die client al bestond.
Deze regular expression is gefixt
Als je deze fix wilt gebruiken in een bestaande fci 0.9.x installatie, is het alleen nodig om www/index.pl en www/settings/index.pl te copieren.

Na in de vorige update de qd update routine te hebben gefixt aan de serverzijde, heb ik dit nu ook voor fci-client.pl gedaan, dit was ik schandelijk vergeten
Voor het successvol autoupdaten van qd en qdinfo.dat is het dus nodig om overal deze geupdate fci-client.pl te installeren

Tevens zijn qd en qdinfo.dat ook naar de laatste release (034) geupdate.

Deze release is interessant omdat ik in deze release van qd XML output heb gehackt.
Vooral handig als je zelf qd gebruikt voor andere monitors naast fci.

In fci-1.0 is leeft de data van hele serverside backend in XML files, en dit scheelt weer een conversie slag
fci-1.0 laat alleen nog wel even op zicht wachten, ik besteend mijn tijd atm aan (te) veel F@H related projecten, dus alles gaat wat langzamer...

[smoking2000]

fci-0.10 released.

Na het verzoek van SandStar naar aanleiding van een post van mij, waarin ik het verwachte aantal credits voor vandaag aan de hand van fci poste, ben ik aan het dev'en geslagen.

Wat resulteerde in een nieuwe fci release

Dit maal met een geheel nieuwe pagina op de site met de clients gesorteerd op datum waarop verwacht word dat de clients klaar zijn met de WU.

Voor een voorbeeld zie de fci site van FEG: http://fci.fatalerrorgroup.com/expected-wus.html

Ook staat nu bij de client overzichten de verwachte flush datum.

Deze nieuwe features zijn alleen nuttig als de client de output van qd verzenden, wat sinds fci-0.3 standaard is

[JohFraEl]

Ziet er koel uit!!!

Ben zelf nog niet zo ver maar als ik m'n Linux-bakkie heb draaien ga ik fci ook in gebruik nemen

Nice work, smoking2000 !!

[Anoniem: 120371]

Hier staat massa's tekst, en ik was er spijtig genoeg niet van in het begin bij. Ik heb even de openingspost bekeken, en er is dus (logisch ook) een server nodig die alle clients kunnen bereiken. Nu, mijn vraag: hiervoor is dan ook een vast IP nodig binnen mijn netwerk denk ik zo dan, of hoe zit dat?
Misschien is dit erges behandeld, (of heb ik iets fout) maar ik heb spijtig genoeg te weinig tijd om dit alles door te nemen... Noem me lui en weiger gerust mijn verzoek, maar ik had een excuus.

Knap werk hoor

Black Box

[SandStar]

Anoniem: 120371 schreef op dinsdag 17 januari 2006 @ 17:28:
Hier staat massa's tekst, en ik was er spijtig genoeg niet van in het begin bij. Ik heb even de openingspost bekeken, en er is dus (logisch ook) een server nodig die alle clients kunnen bereiken. Nu, mijn vraag: hiervoor is dan ook een vast IP nodig binnen mijn netwerk denk ik zo dan, of hoe zit dat?
Misschien is dit erges behandeld, (of heb ik iets fout) maar ik heb spijtig genoeg te weinig tijd om dit alles door te nemen... Noem me lui en weiger gerust mijn verzoek, maar ik had een excuus.

Knap werk hoor

Black Box

Idd vast ip nodig of vaste hostname

[Anoniem: 120371]

Ok, ik heb een host voor een website bij een bedrijf (LAMP configuratie). Kan ik daar iets mee aanvangen? Voor de rest isser voor een Belg die het goedkoop wil houden niet echt een andere optie...

[SandStar]

Anoniem: 120371 schreef op dinsdag 17 januari 2006 @ 17:37:
Ok, ik heb een host voor een website bij een bedrijf (LAMP configuratie). Kan ik daar iets mee aanvangen? Voor de rest isser voor een Belg die het goedkoop wil houden niet echt een andere optie...

zolang die host apache 1.3* met mod_perl heeft en nog paar andere cpan modules

Maar ik host het ook gewoon thuis hoor. trekt niet zo veel bandbreedte. Ik heb helaas niet echt een vast ip maar dat vang ik op door gebruik te maken van no-ip.org

[smoking2000]

Anoniem: 120371 schreef op dinsdag 17 januari 2006 @ 17:28:
Hier staat massa's tekst, en ik was er spijtig genoeg niet van in het begin bij. Ik heb even de openingspost bekeken, en er is dus (logisch ook) een server nodig die alle clients kunnen bereiken. Nu, mijn vraag: hiervoor is dan ook een vast IP nodig binnen mijn netwerk denk ik zo dan, of hoe zit dat?
Misschien is dit erges behandeld, (of heb ik iets fout) maar ik heb spijtig genoeg te weinig tijd om dit alles door te nemen... Noem me lui en weiger gerust mijn verzoek, maar ik had een excuus.

Knap werk hoor

Black Box

Zoals SandStar ook al zei, een vast IP is niet per se nodig, een dyndns kan ook. Als je client maar op IP of DNS basis de webserver kunnen vinden.

Alles wat nodig is om het werkend te krijgen, staat in de INSTALL file.
Mocht dat niet duidelijk genoeg zijn, laat het weten zodat ik dat kan verduidelijken/uitbreiden/andersinds helpen..

[smoking2000]

fci-0.10.1 released.

Een kleine bugfix/cosmetische ingreep.

De tijden waarop er per datum geflusht word, werd niet gesorteerd, de volgorde was die waarin de tijden in de verschillende qd-output files gevonden werden.
Nu word de array gesorteerd op chronologische volgorde

[Schapie]

Bedenk mij net dat m'n host apache heeft draaien en even gekeken of mod_perl ook daar op draait en idd die draait er ook op. Het is wel apache 2 maar dat zou ook moeten werken nu niet waar.

* Schapie heeft door het overlijden van een oude pc nog steeds geen inhome servertje op linux.

[smoking2000]

Nope, Apache2 gaat niet werken.

mod_perl2 voor apache2 heeft een aantal veranderingen waardoor mijn code niet meer wil werken.
Ik heb geprobeerd om fci op apache2 te laten draaien met apache2 specifieke code, maar daarin krijg ik de file upload code niet werkend. En zonder de mogelijkheid om files te uploaden is er weinig nut...

Voorheen loopte ik door de verschillende geuploade bestanden dmv:

code:

my $r = Apache->request;
...
my $apr = Apache::Request->new($r);
...
for my $upload ($apr->upload) {
  do_stuff();
}

maar in mod_perl2 werkt dat niet meer omdat $upload->next() niet meer bestaat (de upload is nu zelfs een aparte module).

Volgens de documentatie zou ik de APR::Request::Param::Table API moeten gebruiken om over de uploads te loopen, maar dat krijg ik met geen mogelijkheid aan de praat.

Als ik een Apache2 guru weet te strikken krijg ik het mogelijk wel aan de praat, maar momenteel blijft ik wel op Apache 1.3, dat werkt gewoon. Tevens ken ik geen Apache2 guru, noch was google mijn vriend op dit punt...

Dit is wat jammer voor mensen die geen controle over hun server hebben, maar helaas.

Patches en/of werkende Apache2::Upload code is natuurlijk welkom

edit:

Ik heb in de OP vermeld dat fci momenteel alleen nog op Apache 1.3 werkt...

[ Voor 6% gewijzigd door smoking2000 op 18-01-2006 17:12 ]

[Schapie]

Ik kwam er ook zojuist achter dat ik niet genoeg rechten op de server heb om een aantal benodigde dingen aan te passen zoals httpd.conf. Het zit me dus niet echt mee.

Toch maar weer eens een machine aan de praat zien te krijgen. Eentje heeft iig een overleden moederbord en de ander iets met de voeding.

[Anoniem: 120371]

* Anoniem: 120371 gaat even een Linux servertje opzetten! Daarna ff dyndns toestanden raadplegen (wist niet eens dat dit bestond en enig verdiepingswerk in die services is vereist) en dan koetjes monitore!! :d:d

Black Box

[smoking2000]

smoking2000 schreef op woensdag 18 januari 2006 @ 17:07:
Nope, Apache2 gaat niet werken.

[...]

Volgens de documentatie zou ik de APR::Request::Param::Table API moeten gebruiken om over de uploads te loopen, maar dat krijg ik met geen mogelijkheid aan de praat.

Als ik een Apache2 guru weet te strikken krijg ik het mogelijk wel aan de praat, maar momenteel blijft ik wel op Apache 1.3, dat werkt gewoon. Tevens ken ik geen Apache2 guru, noch was google mijn vriend op dit punt...

Gezien er nu al behoorlijk vaak naar apache2 compatibility is gevraagt ben ik nog eens wat gaan zoeken... Het duurde even, m'n pizza is inmiddels koud en teveel hetzelfde gelezen te hebben, heb ik code gevonden om uploads te handlen met apache2

Ik ga t nog even wat verder testen en dan een nieuwe release voorbereiden

[Anoniem: 120371]

En daarvoor heb ik zo veel moeite gedaan (zeker vijf klikken) om aan een 1.3 Apache versie te geraken voor mn servertje

Anyway, doe die update maar, kwestie van een moderner servertje te hebben. We lezen het hier wel.

[smoking2000]

Sorry 'bout that.
Ik ben soms nogal way impulsief...

Maar een troost, het is niet zo 1,2,3 geport...

Apache2 gaat anders om met zn environment, voornamelijk z'n working directory, dit moet ik aanpassen in al m'n code.

Onderstaande constructies wil ik zoveel mogelijk vermijden zonder via een Makefile oid, de source te moeten herschrijven. En zoveel mogelijk dezelfde code voor zowel apache 1.3 als apache2 te gebruiken, dus ik ben nog wel een paar dagen aan het testen.

code:

if ($apache2) { 
     &apache_13_way() 
} 
else { 
    &apache2_way() 
}

Ik ben dus nog wel even aan het experimenteren en testen de komende dagen...
Dus je kan nog gerust 1.3 blijven draaien, die word toch ook het meest uitvoering getest

[Schapie]

smoking2000 schreef op woensdag 18 januari 2006 @ 21:08:
[...]


Gezien er nu al behoorlijk vaak naar apache2 compatibility is gevraagt ben ik nog eens wat gaan zoeken... Het duurde even, m'n pizza is inmiddels koud en teveel hetzelfde gelezen te hebben, heb ik code gevonden om uploads te handlen met apache2

Ik ga t nog even wat verder testen en dan een nieuwe release voorbereiden

Volgens mij ben ik de enige die er hier omvraagt.
Maar als het mogelijk is zo het wel leuk zijn idd.
Ik ga dan iig wel weer eens kijken naar die brakke pc'tjes van mij en ik ga eens met m'n broertje overleggen hoe het precies zit met onze host. (Hij is de php-man en ik de hardewaren-man. )

[SandStar]

ik had ook wat X modules nodig....
Wel manier gevonden om de deps een beetje in te korten. Over 2 weken tijd om die theorie te testen. Hopelijk werkt het dan ook zonder X server.

[smoking2000]

Schapie schreef op donderdag 19 januari 2006 @ 00:05:
[...]


Volgens mij ben ik de enige die er hier omvraagt.
Maar als het mogelijk is zo het wel leuk zijn idd.
Ik ga dan iig wel weer eens kijken naar die brakke pc'tjes van mij en ik ga eens met m'n broertje overleggen hoe het precies zit met onze host. (Hij is de php-man en ik de hardewaren-man. )

SandStar had in den beginnen met v0.1 ook nog Apache2, ik heb iemand van CustomPC geprobeerd met Apache2 aan de gang te helpen, en iemand van Team: DFI-Street mailde me met wat eerste patches tijdens mn vakantie, maar dat was nog zonder Apache2::Upload code. De server waar de fci install van ons team op draait, was eerst ook apache2 en die is voor fci naar apache 1.3 gedowngrade. Ik weet zeker dat ik nu alsnog wat mensen ben vergeten...

Je bent dus zeker niet de enige.
Apache2 word best veel gebruikt, maar Apache 1.3 heeft nog het meeste van de markt. Apache2 is een goede keus als je PHP draait, gezien het verbeterde thread model van Apache2.

SandStar schreef op donderdag 19 januari 2006 @ 00:09:
ik had ook wat X modules nodig....
Wel manier gevonden om de deps een beetje in te korten. Over 2 weken tijd om die theorie te testen. Hopelijk werkt het dan ook zonder X server.

Dat is nodig voor de dependency op Image::Magick, en rasmol heeft deze X libs ook nodig.
Deze zijn nodig om plaatjes te genereren van de proteines door met rasmol en xyz2pdb het current.xyz bestand te converteren.

Onder Debian based distros kan je alleen de X libraries installeren, maar niet alle Linux distros hebben X zo modulair gemaakt.

Met X.org 7.0 is X.org standaard modulair, dus zal het op andere distros mogelijk ook makkelijker worden om alleen hetgeen wat je nodig hebt te installeren op headless servers e.d.

Tot die tijd is het mogelijk nodig om wat veel X related zooi te moeten installeren omdat X daar zelf op depend, terwijl Image::Magick dat alleen op de libraries doet.

[smoking2000]

fci-0.10.2 released.

Tijdens het ontbijt zat ik naar de Expected WUs te kijken, en om een goed beeld te kunnen vormen hoever alle clients waren die vandaag verwacht worden om te flushen, miste ik de progress.

Deze heb ik dus maar toegevoegd en een nieuwe release geupload

Van t weekend verwacht ik tevens een apache2 compatible versie te hebben

[Schapie]

smoking2000 schreef op donderdag 19 januari 2006 @ 07:00:
[...]

SandStar had in den beginnen met v0.1 ook nog Apache2, ik heb iemand van CustomPC geprobeerd met Apache2 aan de gang te helpen, en iemand van Team: DFI-Street mailde me met wat eerste patches tijdens mn vakantie, maar dat was nog zonder Apache2::Upload code. De server waar de fci install van ons team op draait, was eerst ook apache2 en die is voor fci naar apache 1.3 gedowngrade. Ik weet zeker dat ik nu alsnog wat mensen ben vergeten...

Je bent dus zeker niet de enige.
Apache2 word best veel gebruikt, maar Apache 1.3 heeft nog het meeste van de markt. Apache2 is een goede keus als je PHP draait, gezien het verbeterde thread model van Apache2.

Ok dat is altijd leuk omtehoren. (Had er niet voor niets al bijgezegd hier maar dat was dus ook niet helemaal waar.) En dat zal idd de reden zijn dat mijn host Apache 2 gebruikt omdat er voornamelijk php opstaat en het tevens een server is die sinds een paar maanden in de lucht is.

Dat is nodig voor de dependency op Image::Magick, en rasmol heeft deze X libs ook nodig.
Deze zijn nodig om plaatjes te genereren van de proteines door met rasmol en xyz2pdb het current.xyz bestand te converteren.

Onder Debian based distros kan je alleen de X libraries installeren, maar niet alle Linux distros hebben X zo modulair gemaakt.

Met X.org 7.0 is X.org standaard modulair, dus zal het op andere distros mogelijk ook makkelijker worden om alleen hetgeen wat je nodig hebt te installeren op headless servers e.d.

Tot die tijd is het mogelijk nodig om wat veel X related zooi te moeten installeren omdat X daar zelf op depend, terwijl Image::Magick dat alleen op de libraries doet.

Ik had zelf ook een tijdje een Debian machine niet erg ingewikkeld om op te zetten. Alhoewel de configuratie daarna wel wat pittiger is. Jammer genoeg is het moederbord van dat systeem overleden aan brakke condensatoren. Dus ik denk dat ik daar wel uit kom met het nodige gebruik van google.
Image::Magick komt me iig bekend voor van een gallery script dat ik een keer getest heb.

[ Voor 3% gewijzigd door Schapie op 19-01-2006 21:38 ]

[smoking2000]

smoking2000 schreef op donderdag 19 januari 2006 @ 09:32:
[...]
Van t weekend verwacht ik tevens een apache2 compatible versie te hebben

Het is dus zover. Apache2 compatibiliteit is ingebouwt en getest.

Het werkt op zowel Debian Stable aka Sarge als op Unstable aka SID.
Andere distros gebruiken mogelijk een afwijkende SERVER_SOFTWARE string in de environment van apache2, waardoor de apache versie autodetectie niet goed gaat, dan moet je ff met de hand $apache2 op 1 zetten in de twee index.pl files.

Update:
Ik heb nog wat verder zitten testen, en ben nog wat dingen tegengekomen.

Het is te laat om daar nu nog aan te werken... komt later weer...

Schapie schreef op donderdag 19 januari 2006 @ 21:36:
[...]

Ik had zelf ook een tijdje een Debian machine niet erg ingewikkeld om op te zetten. Alhoewel de configuratie daarna wel wat pittiger is. Jammer genoeg is het moederbord van dat systeem overleden aan brakke condensatoren. Dus ik denk dat ik daar wel uit kom met het nodige gebruik van google.
Image::Magick komt me iig bekend voor van een gallery script dat ik een keer getest heb.

Debian is idd een wat meer hardcore distro. Maar als je eenmaal door hebt hoe het werkt, is het erg aangenaam.

Image::Magick is naast GD wss de meest gebruikte graphical tool in de UNIX wereld. Bijna elke scripting taal heeft er wel een hook naar

[ Voor 8% gewijzigd door smoking2000 op 21-01-2006 02:50 ]

[smoking2000]

fci-0.11 released

Na vrijdagnacht twee servers over hun zeik gehaalt te hebben met de toen nog buggy versie van v0.11, heb ik met een fris hoofd vandaag het probleem opgelost

De ondestaande Apache versies werkt de server versie detectie correct.

code:

Apache/1.3.34 (Debian) mod_perl/1.29
Apache/2.0.55 (Debian) mod_apreq2-20050712/2.1.3-dev mod_perl/2.0.1 Perl/v5.8.7

Zolang de servernaam in met 'Apache/1' of 'Apache/2' begint kan mijn code de versie uitvogelen. Mocht de versie string afwijken, omdat je je software versie niet openbaar wilt maken bv, dan moet met de hand de variabele $apache2 op 1 gezet worden.

Sinds deze release heeft FCI trouwens ook zijn eigen hippe HTTP header

[ Voor 8% gewijzigd door smoking2000 op 22-01-2006 22:57 ]

[smoking2000]

fci-0.12 released

Deze keer heb ik een nieuwe pagina toegevoegd: Performance.
Net als de Expected WUs pagina haalt deze pagina zijn info uit de geuploade qd output van de clients.

Op de pagina staan de clients welke een performance fraction in hun qd-output hebben, gesorteerd op performance, met tevens hun (Average) Points Per Hour/Day/Week/Year

Zoals altijd maakt de FCI site van Fatal Error Group al gebruik van deze release, en is daar dus een voorbeeld te vinden:
http://fci.fatalerrorgroup.com/performance.html

Als je niet bekent bent met de Performance Fraction:
The Performance Fraction of the Folding@Home client is the value "calculated by the client as a benchmark of the system's ability to complete work units quickly. It is a sliding window average of the fraction of the deadline time remaining when a unit is completed, weighted over the recorded number of units. The number of units is capped at four, exactly as it is for the network download and upload rates."
http://fahwiki.net/index.php/Performance_Fraction_%28PF%29

[SandStar]

Eindelijk tijd voor update gehad
Alles lijkt te werken met een copy past update.
Moest alleen weer ff mn passwords instellen maar die zijn misschien ook verloren gegaan toen ik ongeveer mn hele server aan het recompilen was.

new features looking good

[smoking2000]

Nice!

Tja, ik heb eigenlijk niet echt bij stil gestaan om upgrade instructies bij te voegen.
Als je alle files die gewijzigt zijn overschijft met de nieuwe versie is dat over het algemeen genoeg.
En anders hoef je alleen een backup te maken van $docroot/settings/config-data/config, daar staan al je custom instellingen in.

De client kan je idd gewoon overschrijven. En het is aan te raden om qd en qdinfo.dat mee te nemen daarin. Tenzij je de fci server up-to-date houdt met download-qd-files.pl, want je client updaten automatisch de qd files vanaf je server als er recentere versies zijn.

Zoals vandaag, omdat ik een paar bugs heb gefix waar ik door Calxalot van Team MacOS X op gewezen was nadat qd niet meer compileerde op OSX
http://linuxminded.xs4all.nl/?target=software-qd-tools.plc

[SandStar]

ik zat zo eens wat na te denken.
Ik heb in een windows netwerk 1 pc met activeperl en zo'n 14 pc's die dat niet hebben.

Zou ik niet gewoon vanaf die ene pc gewoon 14 fci-clients kunnen starten met verschillende (remote) directories? Ik ben bevoorrecht met een account in de domain admins groep dus qua rechten kan ik overal wel bij (c$ share).

[smoking2000]

Is geen probleem. fci-client.pl en diens helper qd moeten de files in de F@H directory kunnen lezen, dat kan direct of via het netwerk met NFS/SMB/etc.

Een van onze FEG members draait fci-client.pl voor 3 anderen die via een Samba mount hun F@H directory beschikbaar maken op zijn workstation. Dat is basically wat jij ook wilt, toch?

[SandStar]

yip... gaan we vanavond maar eens realiseren

Mn P3 500 gaat het nog zwaar krijgen

[smoking2000]

Ik heb nog wel een 500 Mhz liggen + Mobo, kan je er een dual van maken als je zelf een soldeerbout hebt

[SandStar]

Bij het updaten van mn stanford files:

Error: Invalid Project Summary URL! (http://fah-web.stanford.edu/psummaryC.html)

Die's toch wel goed dacht ik...
Gloednieuwe fci install
(maar dat wist je al )

[smoking2000]

De URL is idd correct.

Die error kan je krijgen als er geen project summary URL is opgegeven, wat bij jou niet het geval is.
De andere mogelijkheid is als een HTTP HEAD request naar die URL geen status 200 OK retourneerd.

Ik heb download-stanford-files.pl nog eens gerunt met --verbose, en bij mij worden alle 3 de files geupdate. Mogelijk lag de webserver van Stanford er even uit?
Desnoods even met de hand een HEAD request naar die URL doen om te kijken wat de response bij jouw is:

code:

bas@anubis:~/tmp/fci$ HEAD http://fah-web.stanford.edu/psummaryC.html
200 OK
Connection: close
Date: Fri, 07 Apr 2006 09:43:35 GMT
Accept-Ranges: bytes
ETag: "8c114-cb88-443628e4"
Server: Apache/1.3.27 (Linux/SuSE) PHP/4.3.1
Content-Length: 52104
Content-Type: text/html
Last-Modified: Fri, 07 Apr 2006 08:55:00 GMT
Client-Date: Fri, 07 Apr 2006 09:43:40 GMT
Client-Peer: 171.67.89.94:80
Client-Response-Num: 1

[SandStar]

code:

l4mer tmp # HEAD http://fah-web.stanford.edu/psummaryC.html
500 Can't locate HTML/HeadParser.pm in @INC (@INC contains: /etc/perl /usr/lib/perl5/site_perl/5.8.7/i686-linux /usr/lib/perl5/site_perl/5.8.7 /usr/lib/perl5/site_perl /usr/lib/perl5/vendor_perl/5.8.7/i686-linux /usr/lib/perl5/vendor_perl/5.8.7 /usr/lib/perl5/vendor_perl /usr/lib/perl5/5.8.7/i686-linux /usr/lib/perl5/5.8.7 /usr/local/lib/site_perl .)
Content-Type: text/plain
Client-Date: Fri, 07 Apr 2006 08:52:39 GMT
Client-Warning: Internal response

Dat ziet er bekend uit

(je ssh login is er nog als je wilt kijken)

[ Voor 5% gewijzigd door SandStar op 07-04-2006 11:54 ]

[smoking2000]

Ah, LWP probleempje dus.

HEAD via de shell is namelijk dezelfde als dat gebruikt wordt in LWP::Request, waarmee ik in fci-client.pl een URL check, wat op zijn beurt weer gebruik maakt van HTTP::Request.

code:

smoking2000@l4mer ~ $ locate HeadParser.pm
/usr/lib/perl5/vendor_perl/5.8.7/i686-linux-thread-multi/HTML/HeadParser.pm

Het path /usr/lib/perl5/vendor_perl/5.8.7/i686-linux-thread-multi/ staat niet in je @INC, dus kan de module niet gevonden worden door perl.

Mogelijk LWP opnieuw installeren (/usr/portage/dev-perl/libwww-perl/)?
Of met een van de andere ebuilds?

Eventueel ook /usr/portage/dev-perl/HTML-Parser/ opnieuw installeren, gezien dit een dependency is, welke moeilijk doet als ik HTML/* naar ./ copieer voor testing...

[ Voor 13% gewijzigd door smoking2000 op 07-04-2006 12:20 ]

[SandStar]

Nieuwe server:
/usr/lib/perl5/vendor_perl/5.8.7/i686-linux-thread-multi/HTML/HeadParser.pm

oude server:
/usr/lib/perl5/vendor_perl/5.8.7/i686-linux/HTML/HeadParser.pm

[smoking2000]

oude server path is correct, op de nieuwe zou hij dus of in het houde path moeten komen, of zou de nieuwe path aan @INC toegevoegd moeten worden...

[SandStar]

smoking2000 schreef op vrijdag 07 april 2006 @ 12:18:
Ah, LWP probleempje dus.

HEAD via de shell is namelijk dezelfde als dat gebruikt wordt in LWP::Request, waarmee ik in fci-client.pl een URL check, wat op zijn beurt weer gebruik maakt van HTTP::Request.

code:

smoking2000@l4mer ~ $ locate HeadParser.pm
/usr/lib/perl5/vendor_perl/5.8.7/i686-linux-thread-multi/HTML/HeadParser.pm

Het path /usr/lib/perl5/vendor_perl/5.8.7/i686-linux-thread-multi/ staat niet in je @INC, dus kan de module niet gevonden worden door perl.

Mogelijk LWP opnieuw installeren (/usr/portage/dev-perl/libwww-perl/)?
Of met een van de andere ebuilds?

Eventueel ook /usr/portage/dev-perl/HTML-Parser/ opnieuw installeren, gezien dit een dependency is, welke moeilijk doet als ik HTML/* naar ./ copieer voor testing...

dat laatste was mooie fix!

[SandStar]

Weet ook al hoe het denk ik gekomen is... ik had eerst apache met mdm-worker oid geinstalleerd. Wat weer vereiste dat ik perl compilde met ithreads.

Gisteren heb ik dat weer een keer teruggezet.

Ik ga denk ik zo ff alle system packages hercompilen.

[smoking2000]

Goed dat het werkt, maar jammer van de idle cycles voor je F@H client

[SandStar]

ach, het heeft ook weer wat opgeleverd. Doordat fci weer normaal werkte zag ik dat een client vast stond. Daar ff folding herstart en kon ie weer verder.

zo meteen ff 700 punten flushen

[smoking2000]

fci-0.12.1 released

Het enige wat gefixt is, is de URL voor het Work Units certificaat van Stanford in usernames.plc.

De bug was al een hele tijd gefixt, maar ik had deze nog niet officieel gereleased, dus bijdeze

[SandStar]

wist niet eens dat je wat deed met dat certificaat

[smoking2000]

Tuurlijk gebruik ik die.

FCI is voornamelijk een centrale verzamelplaats van de F@H data sources, waarvan de clients het belangrijkst zijn.
In FCI 1.0 zitten bv ook de teamstats verwerkt.
Alle data die ik op de server heb, staat op de webpage en vanuit de gedetailleerde pagina's kan je naar Stanford doorklikken. Bv naar je usersummary page, of die van je team, de project description pages of de certificaten in dit geval

[SandStar]

Kreeg laatste tijd flink wat problemen door een apache2 wat nogal wat ram verbruikte bij FCI.
Op zich vaag probleem sinds ik het niet bij apache 1.33 had maar pas bij 1.34 en 2.0.54 de kop op stak.

Bij 2.2 met een httpd.conf met sterk verminderd aantal maxclients en stuff gaat het nu wel redelijk.
Mn swap wordt iig niet meer aangesproken. Bak doet verder niets waardoor 512mb ram toch wel afdoende zou moeten zijn...

Hoe ziet jouw httpd.conf eruit qua max connecties?

[smoking2000]

Op de server waar ik ook FCI voor FEG op draai:

code:

Timeout 300
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 15
MinSpareServers 5
MaxSpareServers 10
StartServers 5
MaxClients 150
MaxRequestsPerChild 100

server: apache 1.3.33

En op de Apache2 install:

code:

Timeout 300
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 15

<IfModule prefork.c>
StartServers         5
MinSpareServers      5
MaxSpareServers     10
MaxClients          20
MaxRequestsPerChild  0
</IfModule>

<IfModule worker.c>
StartServers         2
MaxClients         150
MinSpareThreads     25
MaxSpareThreads     75
ThreadsPerChild     25
MaxRequestsPerChild  0
</IfModule>

<IfModule perchild.c>
NumServers           5
StartThreads         5
MinSpareThreads      5
MaxSpareThreads     10
MaxThreadsPerChild  20
MaxRequestsPerChild  0
AcceptMutex fcntl
</IfModule>

server: apache 2.0.55

Deze server draait met libapache2-mpm-worker, het worker threading model voor Apache2.

Let wel, deze Apache2 gebruik ik alleen om FCI op te testen, maar wordt niet in productie gebruikt en krijgt dus ook praktisch geen load.

Verder zijn de configs zo goed als de default in Debian. In principe staat alleen userdir uitgeschakeld.

[ Voor 9% gewijzigd door smoking2000 op 25-04-2006 16:03 ]

[smoking2000]

Eerste release van de nieuwe 1.0 branch!

Zie de geheel herziende OP:
smoking2000 in "\[Folding@Home] Announce: Client monitor ..."

Eindelijk

[SandStar]

wooohooooooo!

[JohFraEl]

ships nou zit ik in een loop in dit topic

Proficiat, goeie bevalling

[smoking2000]

fci-1.0 released!

FCI 1.0 is een complete rewrite van de 0.x code, en heeft veel te lang op zich laten wachten.
Maar het wachten is over, FCI 1.0 is uit!

Zie voor meer informatie de OP of http://fci.bile.nl

[smoking2000]

fci-1.1 released!

Deze release zijn voornamelijk serverside wijzigingen aangebracht, waar nu standaard inactive usernames, teams, clients en projects niet meer getoont worden. Dit is te togglen met een link op elke pagina. Zo vervuilen clients die al uren (of zelfs langer) geen nieuwe upload meer hebben gedaan het overzicht niet.

Ook is het timen van de requests verbeterd, deze worden nu gedaan met Benchmark i.c.m. Time::HiRes i.p.v. op de wall clock te kijken. De execution time wordt getoont aan het eind van een client upload in de output van de FCI server, en als comment onderaan elke web pagina.

Verder is er ook een minimale aanpassing gemaakt aan de FCI client die alleen Windows gebruikers treft. STDERR wordt nu standaard naar STDOUT geredirect voor de systeminfo commando's.

[Grubeater]

Vanmiddag even aan de gang gegaan, ik krijg nu alleen deze error op mijn server (http://www.grubeater.nl/fci/):

code:

Error running usernames.plc:
Bizarre copy of HASH in refgen at (eval 74) line 651.

Gebeurt bij alle menu's/*.plc bestanden en het verschilt natuurlijk op welke regel het voorkomt.


Bij het uploaden vanaf een client krijg ik een zelfde soort probleem:

code:

grubeater@grubeater-fah2:~/.fci$ fci-client.pl --verbose --dir /home/grubeater/fah/ --url http://grubeater.nl/fci/index.pl --username blaataap --password  ************
Checking paths for qd binary ... 
 /usr/local/bin/qd
Found qd at: /usr/local/bin/qd

Checking paths for qdinfo.dat file ... 
 /usr/share/fci/qdinfo.dat
 /usr/local/share/fci/qdinfo.dat
Found qdinfo.dat at: /usr/local/share/fci/qdinfo.dat

Verifying fci directory: /home/grubeater/.fci/ ... Exists.

Updating path of qd binary ... 
 /home/grubeater/.fci/qd
Using qd at: /home/grubeater/.fci/qd

Updating path of qdinfo.dat file ... 
 /home/grubeater/.fci/qdinfo.dat
Using qdinfo.dat at: /home/grubeater/.fci/qdinfo.dat

Verifying file permissions and existance:
 Checking: /home/grubeater/.fci/ ... OK
 Checking: /home/grubeater/.fci/qdinfo.dat ... OK
 Checking: /home/grubeater/.fci/qd ... OK
 Checking: /home/grubeater/fah/queue.dat ... OK
 Checking: /home/grubeater/fah/work/current.xyz ... OK
 Checking: /home/grubeater/fah/client.cfg ... OK
 Checking: /home/grubeater/fah/FAHlog.txt ... OK
 Checking: /home/grubeater/fah/FAHlog-Prev.txt ... OK
 Checking: /home/grubeater/fah/unitinfo.txt ... OK
 Checking: /home/grubeater/.fci/fci-client.conf ... MISSING! (OK, not required)

Upload URL: http://grubeater.nl/fci/index.pl
Verifying access to URL ... Success!

Updating qd files.
Retrieving URL: http://grubeater.nl/fci/qd-data/qdinfo.dat ... Success
Reading file from disc: /home/grubeater/.fci/qdinfo.dat ... Done.

  Local version: 2008-12-25
Fetched version: 2009-01-28

  Local functional revision: 071
Fetched functional revision: 072

Fetched version is more recent.
Saving file to disc: /home/grubeater/.fci/qdinfo.dat ... Done.
Not updating qd binary, use --update-qd to also update the binary.
The binary will only be updated if there is a more recent functional revision.
Finished updating qd files.

Running qd binary to parse the Folding@Home client files.
Executing: "/home/grubeater/.fci/qd" -n "/home/grubeater/.fci/qdinfo.dat" -f "/home/grubeater/fah/" -x

Composing list of files to upload:
 Checking: /home/grubeater/fah/FAHlog.txt ... Upload.
 Checking: /home/grubeater/fah/MyFolding.html ... Upload.
 Checking: /home/grubeater/fah/FAHlog-Prev.txt ... Upload.
 Checking: /home/grubeater/fah/work/current.xyz ... Upload.
 Checking: /home/grubeater/fah/unitinfo.txt ... Upload.
 Checking: /home/grubeater/fah/client.cfg ... Upload.

Looking up CPU and RAM information:
 CPU: Intel(R) Core(TM)2 Quad  CPU   Q9300  @ 2.50GHz 2499.995 MHz 64 KB Cache
 RAM: 2057288 kB

Looking up Operating System information.
Reading file from disc: /etc/debian_version ... Done.
 Name    : Ubuntu 8.10 intrepid
 Version : Linux 2.6.27-9-generic
 Hardware: x86_64
 Uptime  :  20:51:14 up 7 days,  1:05,  2 users,  load average: 2.80, 2.69, 2.65

Uploading data to the server ... Success.

##############################[ Server Response ]##############################

FCI Server v1.1: Receiving new upload on 2009-01-28 22:07:45.

Checking client version...
v1.0 or newer, no conversion required.

Upload parameters validated.

Client      : grubeater-fah2
OS Name     : Ubuntu 8.10 intrepid
OS Version  : Linux 2.6.27-9-generic
OS Hardware : x86_64
OS Uptime   : 20:51:14 up 7 days,  1:05,  2 users,  load average: 2.80, 2.69, 2.65
CPU         : Intel(R) Core(TM)2 Quad  CPU   Q9300  @ 2.50GHz 2499.995 MHz 64 KB Cache
RAM         : 2057288 kB
FCI Version : 1.1
IP Address  : 192.168.2.3
Hostname    : 192.168.2.3
User-Agent  : fci-client/1.1

Creating data directory for grubeater-fah2 : client-data/grubeater-fah2/

Saved qd data to client-data/grubeater-fah2/qd-data.xml.new

Creating empty qd-data.xml file.

Saved unitinfo.txt file to disc.

Saved MyFolding.html file to disc.

Saved client.cfg file to disc.

Saved FAHlog-Prev.txt file to disc.
Copying FAHlog-Prev.txt to FAHlog-Complete.txt

Saved FAHlog.txt file to disc.
Appending FAHlog.txt to FAHlog-Complete.txt

Saved current.xyz file to disc.

Saving uploaded client information in client.xml.
Saved client information to: client-data/grubeater-fah2/client.xml.new

Creating empty client.xml

Checking if project of xyz file is seen before.
Extracted from xyz file:
 Work Unit : p2665_IBX in water
   Project : 2665
<div style='color: #FF0000'>Error running upload.plc: <pre>Not a HASH reference at (eval 27) line 477.
</pre></div><br><hr>
Execution time: 8.47377 wallclock secs ( 5.53 usr +  0.13 sys =  5.66 CPU)

##############################[ Server Response ]##############################

[ Voor 94% gewijzigd door Grubeater op 28-01-2009 22:24 ]

[smoking2000]

Grubeater schreef op woensdag 28 januari 2009 @ 20:17:
Vanmiddag even aan de gang gegaan, ik krijg nu alleen deze error op mijn server (http://www.grubeater.nl/fci/):

code:

Error running usernames.plc:
Bizarre copy of HASH in refgen at (eval 74) line 651.

Gebeurt bij alle menu's/*.plc bestanden en het verschilt natuurlijk op welke regel het voorkomt.


Bij het uploaden vanaf een client krijg ik een zelfde soort probleem:

code:

Checking if project of xyz file is seen before.
Extracted from xyz file:
 Work Unit : p2665_IBX in water
   Project : 2665
<div style='color: #FF0000'>Error running upload.plc: <pre>Not a HASH reference at (eval 27) line 477.
</pre></div><br><hr>
Execution time: 8.47377 wallclock secs ( 5.53 usr +  0.13 sys =  5.66 CPU)

Volgens mij staan de permissies niet goed, wat zijn de rechten van /var/www/fci/xml-data/known-projects.xml?

De FCI server gaat namelijk op zn smoel bij het checken of het project al bestaat in de known-projects.xml file.

[Grubeater]

smoking2000 schreef op donderdag 29 januari 2009 @ 09:14:
[...]


Volgens mij staan de permissies niet goed, wat zijn de rechten van /var/www/fci/xml-data/known-projects.xml?

De FCI server gaat namelijk op zn smoel bij het checken of het project al bestaat in de known-projects.xml file.

De rechten staan op 777 dus dat zou moeten werken lijkt me, maar er is niets veranderd.
Wat valt er nog meer te controleren?

[smoking2000]

777 is niet aan te raden, het is voldoende om je normale user lid te maken van de group www-data, en de FCI server files 664 te hebben met jou user als owner en www-data als group. Zo kunnen zowel jij als de web server de FCI server files schrijven. sudo usermod -G www-data <username>

Ik vermoed dat de eerste run van de diverse script niet in de juiste volgorde is gegaan waardoor het e.e.a. niet meer klopt. Ik zou opnieuw installeren met de installer na eerst /var/www/fci en de crontab regels verwijdert te hebben:
sudo ./install.pl --client --server --verbose --force --owner <username> --group www-data

Vervolgens, voordat de eerste client een upload heeft gedaan, is het verstandig om de diverse data sources te updaten:
/usr/local/bin/fci-update-stanford-files.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-update-jmol-projects.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-update-qd-files.pl --dir /var/www/fci/ -v

Laat nu een client een upload doen, om vervolgens op de server met de hand de eerste update te doen:
/usr/local/bin/fci-update-xml-files.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-generate-queue-graphs.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-update-fahstats.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-update-eoc-stats.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-update-project-images.pl --dir /var/www/fci/ -v
/usr/local/bin/fci-update-xml-files.pl --dir /var/www/fci/ -v

De tweede run van fci-update-xml-files.pl zorgt ervoor dat de EOC en Kakaostats data verwerkt worden, de eerste run zijn deze nog niet aanwezig, en kunnen dat ook nog niet zijn omdat er eerst username data aanwezig moet zijn die door fci-update-xml-files.pl gegenereerd wordt.

Wanneer de scripts met de hand het juiste resultaat hebben geboekt, kunnen de cronjobs geinstalleerd worden

[ Voor 51% gewijzigd door smoking2000 op 30-01-2009 13:16 ]

[smoking2000]

fci-1.2 released!

Deze release heeft een bugfix voor fci-update-xml-files.pl om deze op de juiste wijze de status van nieuwe clients te detecteren. En deze release kent verder alleen andere wijzigingen aan de serverside, die overigens geen betrekking hebben op de problemen van Grubeater.

In de web interface word nu gebruik gemaakt van de nieuwe username_link(), team_link(), client_link() en project_link() functies, waarmee de links naar de betreffende items getoont worden en diens optionele markeringen. Deze markeringen worden gebruikt om de gebruiker te wijzen op elke noemenswaardige staten:
I - Inactieve username, team, client of project.
* - Nieuwe client (diens eerste upload is opgenomen in deze update)
! - De huidige work unit is verwacht na de final deadline (clients only)
! - De huidige work unit is verwacht na de preferred deadline (clients only)

De huidige work unit markeringen maakten al deel uit van FCI 1.0, en zijn nu uitgebreid met de twee nieuwe markeringen. Overigens hebben de markeringen ook elk hun eigen kleur, maar die staat UBB mij niet toe te gebruiken op GoT, zie mijn post op FoldingForum.org voor deze post in het Engels en met kleuren.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[Grubeater]

Mijn fci installatie kan nu met clientuploads overweg, maar de hash fouten blijven. Misschien een fout in perl die bij Ubuntu server 8.10 zit?

En hoe kun je het beste fci updaten?

[ Voor 12% gewijzigd door Grubeater op 30-01-2009 17:16 ]

[smoking2000]

Ik heb even op jouw FCI server gekeken en ik zie de hashfouten idd ook, en weet al waardoor deze komen. Ik vermoed dat op Ubuntu strictere perl conventie wordt afgedwongen, omdat ik dit probleem nog niet op Debian ben tegengekomen. Ik ben op het moment aan het testen in mijn Ubuntu 8.10 VM.

Met betrekking tot FCI updaten. Daar is de installer niet (altijd) geschikt voor. Het beste is te kijken naar welke files aangepast zijn in de ChangeLog en deze met de hand te copieren. Je wilt niet dat je XML files overschreven worden, dus copy www/*pl* /var/www/fci/ is vaak genoeg. Eventueel ook voor de settings/ directory.
Indien index.pl is gewijzigt dien je ook apache opnieuw te starten met restart of force-reload omdat deze gecached wordt door mod_perl.

[ Voor 45% gewijzigd door smoking2000 op 30-01-2009 18:37 ]

[smoking2000]

fci-1.2.1 released!

Deze release heeft bugfixes voor de 'Bizarre copy of HASH in refgen' errors, welke getriggered worden op Apache 2 maar niet op Apache 1.3.x. Tevens is er minimale aanpassing gemaakt aan de installatie instructies voor Arch, Debian, Gentoo & Mandriva met betrekking tot de PerlOptions, de voorbeeld apache config is nu weer gelijk aan die in apache-conf.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[Grubeater]

De problemen met uploaden zijn opgelost, maar nu heb ik het volgende probleem.

De afbeeldingen van de projecten worden niet gecreëerd, bij settings->project->[project#] krijg ik de volgende foutmelding bij het genereren van een still image file, de andere afbeeldiingen Rotating Molecule en XYZ 180° geven geen foutmelding maar worden ook niet gemaakt.

code:

Error

Changing working directory to: /var/www/fci/

Validating project: 2665 ... 
Project validated.

Going to generate an image with RasMol.

Generating RasMol script.
Using tempate: rasmol-data/rasmol-still.script
Reading file from disk: rasmol-data/rasmol-still.script ... Done.
Generating script commands for type: still
Placing commands in template.
Saved RasMol script to: project-data/p2665.still.script

Running RasMol on the .pdb file with the generated script.

(rasmol:17318): Gtk-WARNING **: cannot open display: 
Resizing image.
Use of uninitialized value at /usr/local/bin/fci-update-project-images.pl line 728
Successfully generated image of type still for project 2665

De link naar de lokatie van de Still image is http://grubeater.nl/fci/HASH(0xba888d68) waarbij het hexidecimale deel tussen de haakjes bij iedere refresh veranderd. Normaal zou het http://grubeater.nl/fci/project-data/p<project#>.jpg moeten zijn neem ik aan.

[smoking2000]

Ik vrees dat de project data voor 2665 gecorrumpeerd waardoor enkele lege tags in de known-projects.xml terecht zijn gekomen, check dit in /var/www/fci/xml-data/known-projects.xml. Je kan dan het gehele project (<project>...</project>) verwijderen uit known-projects.xml en de project data /var/www/fci/project-data/p2665.*, en vervolgens een nieuwe upload doen om het project opnieuw te laten verwerken.

Met betrekking tot de Gtk warning, uit documentation/INSTALL.Debian:

quote: http://fci.bile.nl/?target=install.plc&os=Debian

The rasmol binary shipped with Debian in /usr/bin/rasmol is actually a wrapper
script, use the FCI Settings web interface to update the path of rasmol to:
/usr/lib/rasmol/rasmol.32

On Ubuntu /usr/bin/rasmol is managed by the alternatives system, and is linked
to rasmol-gtk by default, but the FCI server needs rasmol-classic. You don't
have to reconfigure the alternatives system to use rasmol-classic, you can
bypass it using the FCI Settings web interface to update the path of rasmol to:
/usr/lib/rasmol/rasmol.32

PS, je moet ook de nieuwe stylesheet.css copieren, nu hebben de markers geen kleur

[ Voor 4% gewijzigd door smoking2000 op 31-01-2009 11:46 ]

[Grubeater]

Het path naar rasmol stond inderdaad fout, hierna kon ik wel de afbeeldingen genereren. Volgens mij is de project data dus niet corrupt, maar was het een fout veroorzaakt door rasmol.

[smoking2000]

fci-1.2.2 released!

Deze release heeft een bugfix voor usernames.plc, de client list werd niet correct getoont bij elke username en had alleen 'n/a'. Verder is er een minimale wijziging voor projects.plc waar de ongebruikte sort parameter uit verwijdert is. En als laatst worden in team-stats.plc de inactive teams en usernames niet meer standaard getoont.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.2.3 released!

Deze release kent slechts een bugfix voor team-stats.plc waar de link naar de team stats stuk was wanneer de team naam gebruikt werd.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.2.4 released!

Bugfix release, fci-update-xml-files.pl was stuk:

code:

Undefined subroutine &main::parse_delta called at ./fci-update-xml-files.pl line 209.

FCI v1.3 is al sinds 2009-02-01 in ontwikkeling, maar is nog niet klaar voor release, maar diens versie (v0.3) van
fci-update-xml-files.pl is in deze release al opgenomen.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[Grubeater]

Vanaf fci 1.2.3 had ik geen problemen meer, natuurlijk zal ik wel updaten naar fci 1.2.4.

[smoking2000]

Als je geen problemen ondervond is het niet per se nodig te upgraden van 1.2.3 naar 1.2.4, maar het kan natuurlijk wel. Deze release is meer voor mensen die met v1.2.3 hun eerste install doen en merken dat hij niet werkt.

[smoking2000]

fci-1.3 released!

smoking2000 schreef op donderdag 12 februari 2009 @ 22:19:
FCI v1.3 is al sinds 2009-02-01 in ontwikkeling, maar is nog niet klaar voor release, maar diens versie (v0.3) van fci-update-xml-files.pl is in deze release al opgenomen.

Bij deze dan

Het heeft allemaal wat langer geduurt dan ik in eerste instantie had geplant, maar ja:
"We release, only when it's ready"

Waarom het allemaal zo lang heeft moeten duren heb ik in de release annoucement opgenomen die ik zojuist op Folding Forum heb gepost. Het heeft me een halve dag gekost om te schrijven, mede door eindeloze onderbrekeningen met telefonische support verzoeken van vrienden, en ik moet zo de deur uit voor bier, dus ik vertaal het deze keer niet als jullie het niet erg vinden.

Wel wil ik nog graag opmerken dat de fci-update-eoc-stats.pl bugfix speciaal voor Grubeater is gemaakt, omdat ik op zijn FCI server zag dat hij probeert een niet bestaande account in de EOC stats op te vragen (DeApen0DeApen).

quote: http://foldingforum.org/v...=14&t=8109&p=88495#p88495

New release of FCI: v1.3

Quite a few significant changes in this release, one of the reasons why it took more time to complete than usual since the 1.0 release.

New Feature: Access Control

This release's most prominent feature is the complete overhaul of the authentication functionality, which has been replaced by more powerful access control functionality. It introduces the concept of client accounts, and enhances the user accounts.

In previous releases you could only configure authentication for the main web interface (including client uploads) or only client uploads in the default realm, and you could also configure authentication for the client-data and settings web interface. Now you can configure authentication for every data directory on the FCI server.

In the design of the FCI server it's still the intention that only client uploads, client-data and the settings interface should be protected by authentication, which is therefor the default configuration. But the FCI administrator is now able to choose to protect all or any of the other data directories too, e.g. an FCI administrator may chose to enable authentication for the stanford-data directory to disallow people downloading its data files. You might want to do this if you pay for your bandwidth and don't want people wasting it by downloading your copy of daily_user_summary.txt (which is 25.64 MB at the time of writing).

The new access control functionality manages the access for the client and user accounts by granting access to protected directories. A directory is only protected if its ACL is enabled. There is an ACL for every web accessible directory, there also is one ACL governing client uploads, which is now separately configured from the main authentication, but is overruled by the main ACL if that's enabled. There is also an ACL for client-data which is a bit special. Because client accounts now exist, it's possible to allow an individual client access to only its own client-data. If the client-data ACL is enabled, every (enabled) client account has access to the top level client-data directory, but only the client itself has access to its client specific client-data directory. The user account of each clients contact is also granted access to the client specific client-data directories. This allows you to authenticate for the Client Data realm using your user account, and be granted access to all your clients client-data directories automatically.

Because this type of access control is now possible, there are now direct links to the uploaded client data files on every client page in the FCI web interface. This allows you to immediately access e.g. your FAHlog.txt if you notice in FCI that your client is hanging. In previous releases only the FCI administrator had this ability by manually entering the URL to the file and authenticating using the credentials configured for the client-data site. Now every FCI user can access the client data uploaded by his own clients (assuming he has been sent his user account credentials, and the user account is configured as the contact for his clients by the FCI administrator).

The client accounts are slightly enhanced user accounts. A client account is only required for registered clients. A registered client has its own password (username is the client name prefixed with 'client_') which guarantees that it is the only client allowed to overwrite its client files on the FCI server. This feature is useful if you are not the administrator of all the FCI clients on your server and would not like your other users being able to overwrite your client data when they use a client name identical to one of your clients.

Every client in FCI can be assigned a contact (it's not assigned by default). A contact is the user account for the administrator of that client. If you are the admin of more than one FCI client it's recommended to use your user account credentials to authenticate against the FCI server, because the user account set as the contact for a client is also allowed to overwrite the data of the client in question. If you are trying to overwrite the client data for a client that your are not the contact of, access will be denied (403 Forbidden). As an FCI user you may choose to request registration of your clients for the same reasons.

The user and client accounts are now also stored centrally. Instead of having a separate .htpasswd file in each directory to protect as in previous FCI releases, all accounts are now stored in the same .htpasswd file and access to the various directories is implemented using .htgroups now. Also instead of having only one account (usually the FCI administrator account) for each protected directory, multiple accounts can be granted access. A special group of users, those with administrator privileges, can also be granted access to each ACL via a single setting (Allow Administrator). This allows you to e.g. allow all FCI administrator accounts access to the client-data of all clients (even those it's not the contact of).

New Feature: FAH Client & Operating System icons

Aka the "FCI is starting to look more like Nagios every release" feature. This release adds icons for the FAH client type (tooltip shows the exact type and version details), and operating system icons (with the details as far as provided by the FCI client: Linux distro and kernel versions, Windows favor en kernel version, or FreeBSD/OpenBSD release, or just which major OS in the case of pre-1.0 FCI clients that didn't send detailed OS info).

These icons make it much easier to identify what system your FCI & FAH client are running on, and to make a distinction between the FCI clients and their relative performance. The FCI server for Fatal Error Group for instance shows a happy mix of clients on Windows XP, Windows Vista, Debian, various releases and flavours of Ubuntu, and one lonely Mac.

To easily see what kind of FAH client is running, the icons have a distinct color. The SMP client is [color=#00FF00]green[/color], the GPU client is [color=#FF0000]red[/color], and the CPU client is [color=#0000FF]blue[/color]. These colors (or colours if you so prefer :ewink:) were chosen because they're primary colors, and quite conveniently red and blue are on one side of the color wheel and green is on the other. This nicely illustrates the difference between the High Performance (GPU & SMP) clients and the classic (CPU) client.

New Feature: Support for Slackware (Client & Server)

In my effort to support all the major Operating Systems on which the FAH client may be run, I've updated the installer & installation instructions to support Slackware Linux too. Slackware was not initially supported with the FCI 1.0 release because it took me too much time (both wallclock and CPU) to setup a Slackware VM and compile all the software required for FCI. But since I also support Gentoo, I finally took the (wallclock) time to setup the VM and allowed VMware the (CPU) time of the FAH client to compile all the software. Fortunately I didn't have to compile apache, which came with the default (full) installation.

Installation instructions on the FCI project website: INSTALL.Slackware

Improved Functionality: Client State Markers

The client state markers now include more detailed information in their tooltip. The progress state warning ([color=#FF9900]![/color]) & critical ([color=#FF0000]![/color]) markers now include the time between the preferred & final deadline and the expected time of completion.

The inactive client state marker ([color=#AAAAAA]I[/color]) now includes the time since the last upload in its tooltip. The client state marker for new clients ([color=#FFCC00]*[/color]) also includes this information in its tooltip for its first upload.

There is now also a client state marker for general error conditions ([color=#FF0000]e[/color]). This is currently used when the qd-data uploaded by the FCI client contained an error, e.g. qd could not read the queue.dat on the client.

Another new client state marker is for when fci-update-xml-files.pl detects that the FAH client is shutdown ([color=#FF0000]s[/color]), its tooltip only shows the same message as the last line of the FAHlog.txt: Folding@Home Client Shutdown.

Bugfix: fci-update-eoc-stats.pl

As a precautionary measure fci-update-eoc-stats.pl would quit if it encountered an error (not 200 OK) while downloading the EXTREME Overclocking Folding@Home Stats. If it tried to download the stats for a user that doesn't exist in the stats (yet), EOC would return with an error (404 Not Found) causing fci-update-eoc-stats.pl to stop downloading the stats for all the other users too. Now the script will try continue to download the stats for the other users, but if it encounters errors for 5 users, it will still quit. This is to make sure the EOC server is not continuously sent erroneous requests.

Not a bugfix, but a minor enhancement. The sleep time between requests is now configurable using the -s or --sleep commandline argument. The minimum sleep time is 1 second, the default is 2 seconds. The default used to be 1 second, but was incremented to 2 because the EOC server sometimes returned a warning in HTML for the XML request that corrupted the XML file cached by the FCI server. The HTML warning told the user to wait a minute between requests. The 1 minute sleep time is not enforced by the EOC server as you might expect (the XML FAQ says: "Try to rate limit your queries. By that I mean don't try to make a couple dozen queries in one second."), and 2 seconds has currently shown to be the safe default.

Bugfix: fci-client.pl

This release also includes a fix for the problem that newer versions of the downloaded qdinfo.dat are not used by the FCI client if the date in the version string is the same as that of the qdinfo.dat already on disk. It also saves the downloaded qdinfo.dat to disk if the pg date of the downloaded qdinfo.dat is newer than the one on disk, even if the date in the version strings is identical.

Minor Changes

fci-update-jmol-projects.pl has been updated to know about the Jmol abbreviation for the new 0x14 core: GROGPU2-MT (Jmol: GG2MT).

fci-update-project-images.pl has been updated to redirect the output of the rasmol command (both STDOUT & STDERR) to /dev/null. This is a nice fix if you have your cron configured to email you any output of your cronjobs. You don't want an email every time the script generates images for recently added known-projects, you only want emails if it encounters an error while doing this. At least I do.


Since this release includes a new version of fci-client.pl it's highly recommended that any FCI client you admin are updated to this new release.


The lastest FCI release (and previous releases) can be downloaded from the project website:
http://fci.bile.nl/?target=downloads.plc

Or you can use the direct link:
http://fci.bile.nl/downloads/fci-1.3.tar.gz

[smoking2000]

fci-1.3.1 released!

Bugfix release, er zaten een paar kleine fouten in zowel de FCI client als server die niet optraden op mijn omgeving. Zie ook: http://foldingforum.org/v...14&t=8109&start=15#p88615

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[ Voor 9% gewijzigd door smoking2000 op 15-03-2009 11:43 ]

[smoking2000]

fci-1.3.2 released!

Wederom een bugfix release, bij nieuwe installs was de nieuwe ACL functionaliteit stuk. Zie ook: http://foldingforum.org/v...14&t=8109&start=15#p88695

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.3.3 released!

Wederom een bugfix release, bij nieuwe installs kon de img en rasmol-data ACL niet toegepast worden.
Zie ook: http://foldingforum.org/v...=14&t=8109&p=89091#p88949

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.3.4 released!

quote: http://foldingforum.org/v...=14&t=8109&p=89667#p89667

* Added explicit support for MEPIS instead of treating it as Debian.
* Automatically use /usr/lib/rasmol/rasmol.32 if this exists (as used by Debian [, MEPIS & Ubuntu], Gentoo, Slackware & Mandriva. If the distro package of rasmol is not installed, /usr/bin/rasmol or /usr/local/bin/rasmol will be used if one of these exist. If none of these exist, the rasmol binary shipped with FCI is installed into /usr/local/bin/. On FreeBSD /usr/local/bin/rasmol-32 is used automatically, or the same fall-back mechanism will be used.
* It's now forbidden to delete the only client or user listed in respectively clients.xml or users.xml. This keeps XML::Simple happy, and the ACLs as sane as possible.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[Grubeater]

Kun je ook een update how-to maken, zoals je mij eerder hebt uitgelegd?

[smoking2000]

Upgraden is niet echt makkelijk met deze versie, maar ik zal vanavond eens iets bijelkaar tikken voor upgrades vn 1.2.3 -> 1.3.4

[smoking2000]

In het kort komt het upgraden van FCI Client neer op:

code:

sudo cp fci-1.3.5/client/fci-client.pl /usr/local/bin/fci-client.pl
sudo cp fci-1.3.5/client/qd /usr/local/bin/qd
sudo cp fci-1.3.5/client/qdinfo.dat /usr/local/share/fci/qdinfo.dat

En voor FCI Server op:

code:

cp 
sudo cp fci-1.3.5/www/*pl* /var/www/fci/
sudo cp fci-1.3.5/www/settings/*pl* /var/www/fci/settings/

Afhankelijk van welke versie je komt, moeten nieuwe XML files, images, e.d. gecopieerd worden. Maar je wilt je bestaande stanford-data files bijvoorbeeld nooit overschrijven, want die in FCI zijn lege dummy files. Ook wil je je files in xml-data & site-data niet overschrijven als deze al bestaan, want anders verlies je je geschiedenis en configuratie.

Om dit alles makkelijk te makken, heb ik upgrade functionaliteit in de installer ingebouwt, dat stond toch al op de planning voor de volgende release

En dus is fci-1.3.5 released!

code:

* install.pl: Don't use a constant as dirhandle in copy_directory(). Also
  added support for upgrades of existing FCI installs using -u or --upgrade.
  When upgrading, all existing files will be overwritten with those in the
  FCI tarball, except for stanford-data, qd-data, xml-data & site-data. The
  stanford-data files are never overwritten, not even when forced. The qd-data,
  xml-data and site-data files are only overwritten when forced. New keys are
  added to the to the existing site-data/permissions.xml if those keys only
  exist in the source. When forced, the source permissions.xml will overwrite
  the target.
* client/fci-client.pl: Updated to v1.2.2 to properly reflect the changes in
  FCI v1.3.4.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.4 released!

code:

* Finished implementation of fci-client.conf usage. You can now save
  almost all commandline arguments in the ~/.fci/fci-client.conf
  by running fci-client.pl with the arguments you want to save, and
  --save-config. This will save the arguments and their values in
  fci-client.conf which will be loaded the next time fci-client.pl is run. You
  can overrule the configuration loaded from fci-client.conf using the
  commandline arguments.

* Add (GPU) projects to the known-projects.xml if they're not already listed.
  Projects were only added to the list if they uploaded a current.xyz file for
  that project, but GPU clients don't produce this file anymore.

* Removed unused subroutine update_known_project() from www/upload.plc.]

Zie ook het draadje op FoldingForum.org waar deze features eerder ter sprake kwamen:
http://foldingforum.org/v...=14&t=8109&p=90176#p90049


Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.4.1 released!

Minor bugfix release, deze had ik over het hoofd gezien:

code:

* Don't send missing projects that don't have an .xyz file in 
  scripts/fci-jmol-missing-projects.pl.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.4.2 released!

Minor bugfix release, touching both the FCI client and server:

code:

FCI Server: Improved OS image regex for the various Windows XP names. 
FCI Client: Don't put 'Debian' in the general LSB DISTRIB_CODENAME, 
this only needs to be done for MEPIS. (broke Ubuntu detection)

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.4.3 released!

Minor bugfix release, met alleen FCI server wijzigingen naar aanleiding van een bugreport in het FCI draadje op FoldingForum.org.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.5 released!

quote: http://foldingforum.org/v...4&t=8109&start=105#p94581

New features in this release include RRD based graphs for the EOC data, these graphs cover 1 year of history for each username.
This feature requires that the Perl module RRDs and its dependencies are installed. See the INSTALL documentation for more information how to install the new dependencies of FCI: RRDs & Date::Format (TimeDate).

New features in this release include RRD based graphs for the EOC data, these graphs cover 1 year of history for each username.

Also new in this release is WMI based hardware & OS info detection on Windows, besides the CPU, RAM & OS info already detected by previous FCI client versions, this version also includes the load (of the 1st CPU) together with the uptime. And it also reports the 1st GPU detected. A future release will support multiple CPUs & GPUs, but this requires more drastic changes in the framework.

The bug in fci-update-xml-files.pl where it would corrupt the XML files it updates if it did not find any client-data to process, has also been fixed in this release. You don't have to upload client-data before the first fci-update-xml-files.pl run anymore, but this is still recommended though.

Meer informatie over deze release (en vorigen) in de ChangeLog:
http://fci.bile.nl/?target=downloads.plc

[smoking2000]

fci-1.6 released!

Het heeft teveel tijd gekost, maar hij is er dan eindelijk. Ook het schrijven van de release announcement heeft me teveel tijd gekost, dus hou ik het bij het posten van het origineel in het Engels:

---

New release of FCI: v1.6

It seems like forever since the last release (v1.5.1), but that was only a few months ago (v1.5.1 was released Wed Nov 18, 2009). It has been far too long since the last major release (v1.5 was released Wed Apr 15, 2009 9:13 pm). Approximately 9 months is not very good in the release early, release often department. You can have a baby in that time frame, although you may not want to release early and often in that case

This release resembles the v1.3 release (Sat Mar 14, 2009) a bit, introducing some major new features. But this release took much longer to get done. At least I beat Duke Nukem Forever

New Feature: FahChart-like TPF graphs for the current WU using jQuery Flot

This is the first feature of FCI that requires javascript. I've long sought for some way to integrated FahCharts features in FCI, it was a unique application that allowed you to inspect the TPF at each completed step in the graph. Now you can do this in FCI too thanks to the wonderful jQuery Flot plotting library, you can even click through to the line in the FAHlog on which the step in question was completed (good for inspecting peaks).

Example:


These TPF graphs are displayed on the client page, and on the project page if the trajectory a client is working on is selected.

New Feature: Trajectory tracking for projects

Next to the individual projects, each trajectory for a project is now also tracked in the expanded known-projects. Each project now has its own known-project XML file in which the general project information is stored, just like it is in the known-projects XML file listing all known-projects. But the project specific known-project XML file also stores a list of trajectories the FCI clients have worked on. If a current.xyz file is availble the project images will be stored per trajectory as well.

A project page for which the trajectory is specified (by clicking a trajectory link) will now highlight the client running the trajectory, and the TPF graph if available.

(click for full size 774x1033)

This feature is not fully implemented yet, because the TPF data for the trajectory is not stored for completed WUs, only for the currently active WUs. This will be addressed in a future release of FCI, where a client list will also be shown for completed WUs.

New Feature: Queue History RRD graphs

RRD graphs are now also generated for the following queue values:
- Current PPD
- Speed
- Progress (%)
- Flops
- Performance Fraction
- Average PPD

All values are for the current work unit, except the Performance Fraction and Average PPD, these are queue averages of multiple WUs.

New Feature: FCI server support on OpenSUSE

With the release of OpenSUSE 11.2 it's now possible to get all FCI servers dependencies installed, so I got to update the supported OSes in the start post.
In previous releases everything except libapreq2 was available, a working build is now available thanks to the openSUSE Build Service.

Improved Functionality: Slightly more intelligent FCI client

The FCI client now knows about a few known issues and how to handle them a bit more intelligently. It will no longer upload the current.xyz if it likely doesn't belong the work unit the FAH client is currently work on. This can happen with some SMP cores which no longer generate the current.xyz, but this is also one of the files the FahCores don't clean up (all the time). So if the current.xyz is was not modified in the time between the start of the current WU, and the time FCI client runs it will be skipped.

The reason why a file is skipped for upload is now displayed too, and can be one of the following:
- Nonexistent, the file simply does not exist.
- Unreadable, the file cannot be read.
- Commandline Override, --skip-<file> is used on the commandline.
- Configuration Override, skip-<file> is set in fci-client.conf.
- Unverifiable (current.xyz specific), there is no usable qd info to determine if the current.xyz likely belongs to the current WU or not.
- Not Current (current.xyz specific), the file was not modified in the time between the current WU started and the time FCI client runs.
- Filesize Limit (unitinfo.txt specific), the filesize exceeds 512 KB (150-200 is normal).

GPU detection is now also supported on Linux, FreeBSD and Mac OS X. On Linux if you have an Nvidia GPU and have the nvidia-settings utility installed, it will send more detailed information to the FCI server including the GPU core temp, amount of VRAM and driver version. For other GPUs only the name reported by lspci for the device is used.

Improved Functionality: Cleaner upload output

Mostly a cosmetic change, prettifying the server reponse sent to the FCI client after upload processing. But the upload processing is handled more uniformly behind the scenes now too.

Improved Functionality: Automatic Apache2 detection on Gentoo

Gentoo is the only distro that does not include the version of apache in the SERVER_SOFTWARE environmental variable on which FCI relies to detect the if Apache 2.x is used. It still assumes that Apache 1.3.x is used, although apache2 is more common these days. I recently stumbled upon the magical MOD_PERL_API_VERSION variable which allows automatic detection to work on Gentoo too. No need to modify index.pl to set $apache2 manually anymore.

Improved Functionality: New Client State Markers

Client hanging (h), this marker is shown for clients where no progress (of the currently active WU) was detected for the time of the last 2 frames. So if the time qd was executed is greater than the time it took to complete the last 2 frames added to the time of the last detected progress (completed frame). This way of classifying a client as hung can produce false positives when qd is run during a slow frame (one taking much longer than the last two frames), but this is almost always restored after the next FCI update (when more progress has been made). So when you see this marker for one of your clients you'll want to check its FAHlog.txt to see if it's justified, you may also want to check one the client locally if more progress may have been made since its last FCI client upload. The tooltip of the marker will so the time since last progress, e.g. "No progress for 1 hour 3 minutes 53 seconds". This marker is also known as the Shadowtester marker, who requested it some time ago now (Fri Mar 27, 2009).

Unable to get work (w), this marker is shown for clients whose last activity in the FAHlog.txt are "Attempt X to get work failed, and no other work to do" and "Waiting before retry" lines. This allows you to see why your clients are not showing any progress and linger at the bottom of the Expected WUs list.

EUE limit exceeded (e), this marker is shown for clients whose last line in the FAHlog.txt shows "EUE limit exceeded. Pausing 24 hours", which is usually preceded by a not so nice UNSTABLE_MACHINE event. This one is for rhavern who requested it some time ago now too (Tue Apr 14, 2009).

Improved Functionality: Installer now sets the default apache group for all supported OSes

Previously you were required to invoke install.pl using --group <grouname> to have the permissions set correctly for any OS other than those using 'www-data' (Debian, Ubuntu & Mepis). The installation instructions mentioned which groupname was used by default on each supported OS, this knowledge is now also available in the installer itself.

The installer has also been updated to create the parts of the /usr/local/ tree it needs if it doesn't existing on Mac OS X. Apple has learned not to pollute /usr/local/ with its system installed software as it did in Tiger, but removing it entirely is a bit drastic.

Bugfix: Team 0 now supported

This release has several team 0 fixes, and should now properly support members of this team.

Fixing this bug made me see some of the creative usernames (containing special characters) used in team 0, giving the XML parser a hard time. It was kind of silly to convert the teamstats text files to XML anyway, it was initially done for consistency with the other code, but there is a negative performance benefit to added the extra XML tags to the teamstats data. So we just parse the text file now, and stopped using the XML file. The XML teamstats files will be deleted on the first update with the new version of fci-update-stanford-files.pl, so upgrades to this new version clean up these files automatically.

Bugfix: Begun date used when Issued date is not set

The new v5 work servers initially didn't set the issue date as reported by qd anymore, so FCI cannot rely on the existence of an issue timestamp anymore. In cases where no issue timestamp is known, the begin timestamp is used.

This mostly affected the Assigned Projects page now using either the Issued date or the Begun date which ever is available (tooltip show which value is used), and to a lesser extent the Projects page which displayed the Issued date initially but now uses the Begun date.

Bugfix: fci-update-eoc-stats.pl

Fixed return value and verbose output in save_file(), so the error condition of an unwritable file is properly handled. Also, when the stats for a user cannot be downloaded, continue to the next username instead of quiting the program.

Not a bug, but a feature (although the lack of this feature could be considered a bug). I've added the --sleep <n>/-s <n> option, use -s to set the number of seconds to sleep between requests to the EOC server. Minimum sleep time is 1 second.

Minor Changes

fci-update-xml-files.pl Added support for extracting the client type from the qd data, that was added to qd released 5 December 2009 (fr 076). Before only the client.cfg was used.
The unitinfo.txt is no longer parsed (this was done if certain values could not be parsed from the qd data), the file is now only provided for personal inspection if it was uploaded in the first place.
Arguments in the client.cfg (extra_parms) and those used on the commandline (logged in FAHlog.txt on Arguments: lines) are now merged instead of concatenated, so double arguments are no longer displayed in the web interface.

fci-update-jmol-projects.pl Added mapping for new cores (A3 => GRO-A3, A4 => GRO-A4, PM => ProtoMol), and handle empty contact columns by setting the value to 'n/a' as used in FCI (Jmol uses 'NA').

convert-rrd.pl The script I used to convert all FCIs RRDs from 32bit to 64bit in the scripts/extra/ directory of the FCI tarball. It may be useful to others who need to migrate RRDs created on a 32bit server to a 64bit one.

Since this release includes a new version of fci-client.pl it's highly recommended that any FCI client you admin are updated to this new release.


The lastest FCI release (and previous releases) can be downloaded from the project website, or you can use the direct link.


For the next release, I'm planning to include support for the new (BigAdv) bonus scheme, but for this I need testers with dual quad machines to test an experimental qd release that I'm preparing for that. I'm hoping that jimerickson, Magic-Michael, and possibly others are willing to help out with testing this. Please get in touch via PM if you want to help test the new qd with bigadv support.

Beta team members using FCI should also get in touch via PM to get the super secret info on to how to include the beta projects in FCI so the beta status is indicated on the project page. Since the other psummary pages are not public yet (although the links leaked in an early version of the new project summary pages), I assume this information is still considered for beta team members only.

---

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

[smoking2000]

Uit een PM op FF.org, de geheime instructies om de beta projecten in FCI v1.6 op te nemen:

You'll want to download the secret version of the stanford-files.xml file.

This area of the website is password protected, the username is the argument for normal beta WUs and the password the one for BigAdv beta WUs (with or without '-' prefix, both user/pass combinations are valid).

Copy the file to your FCI xml-data/ directory and run fci-update-stanford-files.pl to update.

[SandStar]

thanks! ik ben weer up2date

[smoking2000]

Zoals ook op FF.org gepost, zit ik met het volgende.

Ik ben bijna klaar met het integreren van de nieuwe bonus punten in FCI, maar ben ik er nog niet uit op welke manier ik dit in PPD grafieken wil verwerken.

Welke optie heeft jullie voorkeur als FCI gebruikers?

Enkele Y-as


Dubbele Y-as


Laat je voorkeur horen middels de Doodle poll, thanks!

[SandStar]

woei! polls zijn cool

1e plaatje vind ik er overzichtelijker uit zien

[PeaceNlove]

Ook al gebruik ik het niet, toch is de 1e beter

[smoking2000]

Thanks voor de feedback, dit is precies de bedoeling van het in de groep gooien.

Ik heb zelf ook m'n twijfels over de 2e, maar ik kijk er naar met een bevooroordeelde developer blik. Dus maar eens het oor te luisteren gooien bij mijn gebruikers.

[Bubbles]

SandStar schreef op zaterdag 13 februari 2010 @ 13:53:
woei! polls zijn cool

1e plaatje vind ik er overzichtelijker uit zien

Ik heb altijd een beetje hekel aan grafiekjes met dubbele assen. Maakt het inderdaad altijd minder overzichtelijk, dus: met hem ^^

[SandStar]

is het een idee om de server status page van stanford ook mee te nemen? Dat je bijv per client kan zien dat ie probs heeft met uploaden omdat de server is kwestie in "reject" mode is?

oh en persoonlijk vind ik het wel mooi om core type te zien onder het clients overzicht
Naast "Project" oid.

[ Voor 24% gewijzigd door SandStar op 16-02-2010 17:30 ]

[smoking2000]

SandStar schreef op dinsdag 16 februari 2010 @ 15:42:
is het een idee om de server status page van stanford ook mee te nemen? Dat je bijv per client kan zien dat ie probs heeft met uploaden omdat de server is kwestie in "reject" mode is?

In het verleden heb ik al eens gespeelt met het integreren van de serverstats, maar dat was weinig lol. Het is weer van die ouderwets brakke HTML om te parsen, waar je elke keer je parser voor moet aanpassen als ze weer eens wat wijzigen of er iets stuk is. Er zijn tab separated text versies van alle server logs beschikbaar, maar dan moet je weer voor elke server zijn log downloaden + parsen (~21 MB aan data totaal, zojuist gemeten). Het is kiezen tussen twee kwaden, en dat doe ik liever niet.

Ik wou in eerste instantie ook een Servers pagina in FCI, een beetje ala de projects pagina met een overzicht van de huidige status. Maar wat je verder met die data moet? Je kan er weinig zinnigs mee doen. Ik zou wat fahinfo.org doet over kunnen nemen (servers have been identified as broken because they are either in REJECT mode or their TCP communication is DOWN), maar verder?

SandStar schreef op dinsdag 16 februari 2010 @ 15:42:
oh en persoonlijk vind ik het wel mooi om core type te zien onder het clients overzicht
Naast "Project" oid.

Het nummer (0xa3), de naam (GRO-A3), of beide?

Met de 3 nieuwe bonus kolommen erbij zijn de overzichts tabellen wel erg breed geworden. Je hebt niet meer genoeg aan 1024x768, met de core naam erbij is 1280x1024 waarschijnlijk ook al niet genoeg meer. Een of andere jQuery hack op de tabellen om kollomen te kunnen togglen zou een uitkomst zijn, kan iedereen zelf kiezen welke ze willen. Maar dat gaat veel tijd kosten, dus zal niet op de korte termijn gebeuren.

[SandStar]

ahja, ik had de nieuwste versie van FCI nog niet gezien maar als ik bij jullie team kijk dan staat het idd wel redelijk vol.

Zou het mogelijk zijn het anders als comment in de project link toe te voegen? Dus dat als je kijkt naar ClientA in het overzicht en je gaat met je muis over het project nummer dat je dan niet "detailed project information" maar zoiets als GRO-A3...

Edit:
Ik zie nu dat het ook makkelijk te zien is via "Assigned Projects".
Wellicht beter om het dan idd te laten voor wat het is

[ Voor 15% gewijzigd door SandStar op 17-02-2010 01:04 ]

[smoking2000]

fci-1.6.1 released!

Het resultaat van de poll was overduidelijk in voorkeur voor de enkele Y-as:



De PPD graphs in deze versie zijn dus als volgt geworden:



Verdere info over deze release uit de release announcement op FoldingForum.org:

---

New release of FCI: v1.6.1

New Feature: Support for the new Bonus Points

Since qd is able to calculate the bonus points from functional revision 081, FCI can use this data as well. The Bonus Points, Bonus PPD and Bonus Factor are displayed in additional columns next to the normal Points and PPD. As seen in my earlier posts, the Bonus PPD is also included in the PPD Graphs. RRDs for these new values are also added to the client queue history.

For the bonus points data to be available, you'll have to update qd on your FCI clients to at least fr 081. qd fr082 introduces an alternate PPD calculation which doesn't account for the progress, but asssumes the WU is completed at the expected date. This data is preferred for PPD values used in FCI, if the alternate PPD values are not availble, it will fallback to the points per hour and multiply by 24 as was done before.

So you'll want to run all your FCI clients at least once with --update-qd if you don't always do so already, to have the FCI client download the latest qd from your FCI server.

New Dependency: Math::Round

With the work to add support for the Bonus Points to the PPD Graphs also came the opportunity to set smarter maximum values for the graphs. I chose to use nhimult() from Math::Round for this. Most OSes on which FCI Server is supported provide a package for Math::Round, although some require some more work (Gentoo: g-cpan & OpenSUSE: OpenSUSE Build Service). The installation instructions have been updated to include instructions for Math::Round.

The Great Renaming: Credits -> Points

As Usenet saw the Great Renaming back in 1987 to provide a better naming scheme, so sees FCI its own Great Renaming today.

Due to popular demand, the column formally known as Credit has been renamed to Points to be more in line with the naming used by most users .

This renaming includes the keys used in the XML files generated by FCI. The exception are the XML files populated with data from the psummary and team/user stats files, whose upstream naming is adopted.

New Feature: Extended Team Information

Similar to the extinfo used in Nagios, this version of FCI ships with support for additional team information. For now this are only the team website URL, and URL to its logo. These will be shown on the team page in FCI next to the team information, smiliar to how they're shown atop of the team stats page at Stanford.

I've provided a pre-populated team-extinfo.xml with the team info of a handful of teams. A management interface is available in the Settings web interface, with which you can add more.

Improved Functionality: Show 'Passkey: Yes' in client configuration section

When a clients uses a passkey, this now also displayed on its client page in the configuration section as 'Passkey: Yes', similar to the 'Passkey found' line logged in FAHlog.txt.

Bugfix: Client Type parsing from client.cfg

fci-update-xml-files.pl will no longer overwrite the client type when parsing the client.cfg if the client type was already parsed from the qd data. This caused an incorrect type (0 No Preference) to be reported for clients which do have a client type configured (Advmethods, BigAdv, etc), but only stored in the queue.dat not also in the client.cfg (e.g. because it was set using a commandline argument).

Bugfix: Argument parsing from FAHlog.txt

fci-update-xml-files.pl will forget about the arguments it parsed from a previous FAH client startup, to properly reflect the current situation. It now also properly merges arguments from FAHlog with those in the client.cfg.

Bugfix: Don't show disfunctional TPF graph in IE

As expected, the jQuery Flot TPF graphs are not support in Internet Explorer. So these will no longer be shown for users of IE. Advanced features, require advanced browers such as Firefox, Safari, Chrome, or Opera.

Flot v0.6 possibly improves support for IE browers, but I haven't tested this version yet.

Minor Changes

clients.plc Align filesizes to the right in the Client Files list on detailed client pages.

---

Meer informatie over deze release (en vorigen) in de ChangeLog op de FCI download pagina.

Het is natuurlijk vanzelfsprekend dat de nieuwe extinfo voor DPC standaard mee geleverd wordt

[ Voor 3% gewijzigd door smoking2000 op 21-02-2010 21:17 ]