Hoofdcategorieën
Topicacties

[Folding@Home] Announce: Client monitor voor Linux

Pagina: 1 2 3 4 5 6 7 last

Reageer Nieuw Topic
dpkg-reconfigure reality

Het moest een keer gebeuren, anders gebeurt het nooit. Uitstel leidt tot afstel, zei een wijs persoon ooit eens. Tevens heb ik de release-policy van de 1.0 release van FCI afgekeken van Debian: "Release when it's ready". B)

FCI v1.0-alpha staat online!
http://fci.bile.nl/downloads/fci-1.0-alpha4.tar.gz
quote:
"And there was much rejoicing."
Voor Fatal Error Group draaide ik de 1.0 code al voor onze FCI server:
http://fci.fatalerrorgroup.com

Een paar dagen terug was 1.0 feature-complete nadat ik de Time Per Frame code in productie had genomen. :)

De 4e alpha release is nu publiek dus ik ga ook terug naar de originele release-policy: release early, release often. B)

New and Improved in Folding@Home Client Info v1.0:
  • Client-side
    • FreeBSD, OpenBSD & Mac OS X support
    • De meest informatieve F@H client files, via fci-client.pl
    • Inhoud van de queue.dat, via fci-client.pl icm qd's XML output
    • Betere Operating System detectie
  • Server-side
    • XML backend, voor diverse client- en server-side tools
    • De mod_perl webapp is veel efficiënter door modularisatie
    • Scheduling van specifieke scripts ipv real-time parsing bij elke request naar de website
    • Backwardscompatible met fci-clients >= v0.5.5
    • Automatische archivering van project images via de geuploade current.xyz files
    • Gebruik van de extra info beschikbaar in de andere clients files
    • PPD informatie op verschillende niveaus
    • PPD grafieken van de WUs in de queue.dat
    • Time Per Frame informatie
    • Gebruik van EXTREME Overclocking Folding@Home Stats XML user summaries
    • Links naar fahstats.com user summaries
En meer!

De documentatie is nog niet helemaal af, maar de code werkt.
Er zijn een aantal Perl modules nodig om FCI te draaien en te installeren, maar dit staat al wel gedocumenteerd. :)
Er is ook een installer, install.pl, maar deze is nog niet helemaal af. Na het installeren van de Perl modules kan je de FCI client installeren met:
code:
1
perl install.pl --client

Voor hulp, vragen, suggesties, patches, en meer. Laat het me weten, en ik implementeer het in de volgende release. :)

smoking2000 wijzigde dit bericht 06-10-2007 10:48 (197%)
Reden: v1.0-alpha is uit!

Zandster
Berichten: 3.299
Reg. datum: 17 oktober 2002

_/-\o_
Ik ga het dit weekend meteen uitproberen :)

There are three kind of lies: Lies, Damn Lies, and Statistics

Folding extremist
Berichten: 983
Reg. datum: 12 augustus 2003

Ik moet nog even 3 maandjes wachten, dan ga ik het ook zeker eens uitproberen :) Op mijn laptop stond linux, maar reisferfs is 2 dagen geleden gecrashed. Resultaat: reinstall en gezien ik geen cds bij me had (alleen een cd voor ftp installatie, geen optie hier met max 40 kB/s download) is het nu windows geworden...

Maar ik hou het in de gaten en het ziet er leuk uit! Keep up the good work :)
dpkg-reconfigure reality

Nieuwe versie gereleased:
fci-0.1.2
2005-01-29

* TODO: created todo list
* README: added url to fci announcement at Gathering of Tweakers and add contact email
* INSTALL: rewrote permission related part in the Server Installation part
* www/index.pl: rewrote permission check routines and small fixes
* www/client-data/: set correct permission for fresh installs
* client/fci-client.pl: small fixes
* helper-scripts/download-stanford-files.pl: small fixes

Tevens is de demo site nu gemirrored op een server met wat meer CPU power, wat wel nodig is als de 2 stats files van Stanford real-time geparsed worden.
In v0.2 komt de mogelijkheid om statische html paginas te genereren ipv het load intensive real-time mod_perl script. :)
Zandster
Berichten: 3.299
Reg. datum: 17 oktober 2002

Wat voor server raad je aan?

Ik gebruik momenteel een P3 540 met 640mb ram als server. Maar als ik hoor dat het best intensief kan zijn vraag ik mij of hoe mn server dat gaat trekken...

There are three kind of lies: Lies, Damn Lies, and Statistics

dpkg-reconfigure reality

ik draai het zelf op een AMD 2400+/1280MB, daar draait het prima real-time op.
De server waar de site op draait is een PIII 500/768MB, en dat is best intensief (enkele seconden wachten op pagina waar de stanford pagina's voor geparsed moesten worden (usernames, teams)).
Iets ala 1 Ghz zou ook nog best ala minute de pagina's real-time moeten kunnen genereren.

Probeer het eens uit zou ik zeggen, ik kan verder niet goed beoordelen wat nodig is. Meer testdata kan ik goed gebruiken :)

V0.2 kan je binnen 2 maanden uiterlijk verwachten, daar zal dit probleem in getackeled worden.
dpkg-reconfigure reality

quote:
SandStar schreef op zondag 30 januari 2005 @ 20:51:
Wat voor server raad je aan?

Ik gebruik momenteel een P3 540 met 640mb ram als server. Maar als ik hoor dat het best intensief kan zijn vraag ik mij of hoe mn server dat gaat trekken...

2 maanden was de deadline die ik mezelf gesteld had, maar gister heb ik het script geschreven en vandaag is het echt klaar, iets eerder dan geplanned :)

Statische HTML is nu dus ook mogelijk :*)

Ik heb het getest met een site waar 2 clients hun gegevens naar hebben geupload, met 2 verschillende usernames in hetzelfde team. Server: PIII 500Mhz, 768 MB RAM.
Voorheen deed een de server er 30 sec. over om de Usernames pagina real-time te genereren, en 20 sec. om de Gedetailleerde Username pagina real-time te genereren. (Deze zijn het meest load intensief)
Het script doet er 50 sec. over om de gehele site te converteren naar html. :)

De release:
fci-0.2
2005-02-01

* TODO: updated
* README: fixed typo
* INSTALL: add section for generating static html pages
* www/teams.plc: fixed username url
* helper-scripts/create-static-html-from-mod_perl.pl: created script to save the static html to disc
Zandster
Berichten: 3.299
Reg. datum: 17 oktober 2002

http://pr0ner.no-ip.org/folding/index.pl

Working :)

Morgen ff static html versie uitproberen :D
en clients toe gaan voegen...

prachtig programma!

edit: 2e client toegevoegd, wel te merken in load...
static html eerst maar toevoegen en daarna rest van clients :)

benieuwd of ik het ook op windows bakken aan praat krijg

SandStar wijzigde dit bericht 07-02-2005 00:39 (37%)

There are three kind of lies: Lies, Damn Lies, and Statistics

dpkg-reconfigure reality

quote:
SandStar schreef op maandag 07 februari 2005 @ 00:19:
http://pr0ner.no-ip.org/folding/index.pl

Working :)

Morgen ff static html versie uitproberen :D
en clients toe gaan voegen...

prachtig programma!

edit: 2e client toegevoegd, wel te merken in load...
static html eerst maar toevoegen en daarna rest van clients :)

benieuwd of ik het ook op windows bakken aan praat krijg

Thanks! :)

Ik kan alvast verklappen dat in v0.3 waar ik atm mee bezig ben ook de mogelijkheid zit om je queue.dat te parsen, dmv qd.
Dit zal er wel voor zorgen dat de client niet meer onder Windows zal werken in eerste instantie, later zal in de windows versie van qd ook integreren.

In principe hoef je alleen het path naar de betreffende files te weizigen naar "the Windows way", om het onder Windows met ActivePerl of Cygwin te laten werken. Dit kan of door het script te editten of dmv commandline parameters.
In v0.3 of later wil ik dit in een configuratie parameter oid plaatsen, of gewoon met een aparte Windows release, zodat het "out of the box" werkt.

Mental note: wacht met posten als je net je bed uitgerolt bent

smoking2000 wijzigde dit bericht 07-02-2005 11:20 (24%)

Zandster
Berichten: 3.299
Reg. datum: 17 oktober 2002

quote:
smoking2000 schreef op maandag 07 februari 2005 @ 07:22:
[...]

Thanks! :)

Ik kan alvast verklappen dat in v0.3 waar ik atm mee bezig ben ook de mogelijkheid zit om je queue.dat te parsen, dmv qd.
Dit zal er wel voor zorgen dat de client niet meer onder Windows zal werken in eerste instantie, later zal in de windows versie van qd ook integreren.

In principe hoef je alleen het path naar de betreffende files te weizigen naar "the Windows way", om het onder Windows met ActivePerl of Cygwin te laten werken. Dit kan of door het script te editten of dmv commandline parameters.
In v0.3 of later wil ik dit in een configuratie parameter oid plaatsen, of gewoon met een aparte Windows release, zodat het "out of the box" werkt.

Mental note: wacht met posten als je net je bed uitgerolt bent


Dus voor windows alleen ActivePerl nodig? Daar zitten die losse zooi zoals Getopt::Mixed in?

Ik ga morgenavond mn windows clients toevoegen :)

There are three kind of lies: Lies, Damn Lies, and Statistics

dpkg-reconfigure reality

quote:
SandStar schreef op maandag 07 februari 2005 @ 17:36:
[...]


Dus voor windows alleen ActivePerl nodig? Daar zitten die losse zooi zoals Getopt::Mixed in?

Ik ga morgenavond mn windows clients toevoegen :)
Ik weet niet welke modules er standaard in ActivePerl zit, maar ik neem aan niet meer dan een UNIX installatie van Perl. Dus de non-standard modules als GetOpt::Mixed zal je nog even van CPAN moeten halen en compileren.
dpkg-reconfigure reality

Nieuwe versie gereleased:
fci-0.3

* qd geintegreerd met fci-client.pl voor het parsen van queue.dat en server-side de parsing van de qd output toegevoegd, verder weinig spannende ontwikkelingen
Zandster
Berichten: 3.299
Reg. datum: 17 oktober 2002

quote:
smoking2000 schreef op maandag 07 februari 2005 @ 19:45:
[...]

Ik weet niet welke modules er standaard in ActivePerl zit, maar ik neem aan niet meer dan een UNIX installatie van Perl. Dus de non-standard modules als GetOpt::Mixed zal je nog even van CPAN moeten halen en compileren.
compilen voor windows... das iets nieuws...
* SandStar opent google maar

There are three kind of lies: Lies, Damn Lies, and Statistics

Zandster
Berichten: 3.299
Reg. datum: 17 oktober 2002

Is het misschien een idee om in een volgende release een kleine beveiliging in te bouwen dat niet iedereen zn stats op je server kan dumpen? Dat je clients een '--password ****' meesturen ofzow.

De load valt wonderbaarlijk mee! Ik draai het nog steeds op een P3 540Mhz met 640MB ram en zo'n 6 clients en het is met realtime perl nog prima te doen. In het begin was het pittig traag maar hij lijkt te boel lekker te cachen ofzow...

Windows clients toevoegen ben ik nog niet aan toegekomen, wel uitgevonden hoe het zou moeten werken. Gaan we vanavond aan werken.

Ook maar ff upgraden van 0.2 naar 0.4 :D

There are three kind of lies: Lies, Damn Lies, and Statistics

dpkg-reconfigure reality

quote:
SandStar schreef op donderdag 10 februari 2005 @ 15:32:
Is het misschien een idee om in een volgende release een kleine beveiliging in te bouwen dat niet iedereen zn stats op je server kan dumpen? Dat je clients een '--password ****' meesturen ofzow.

De load valt wonderbaarlijk mee! Ik draai het nog steeds op een P3 540Mhz met 640MB ram en zo'n 6 clients en het is met realtime perl nog prima te doen. In het begin was het pittig traag maar hij lijkt te boel lekker te cachen ofzow...

Windows clients toevoegen ben ik nog niet aan toegekomen, wel uitgevonden hoe het zou moeten werken. Gaan we vanavond aan werken.

Ook maar ff upgraden van 0.2 naar 0.4 :D

HTTP Auth & SSL staan in de TODO, dit wil ik als eerst gaan implementeren. Zat ik gister aan te denken (great minds think alink ;) )

Is een minimale aanpassing, maar ik wil het beheer makkelijker maken met een configure frontend, waar dit ook in komt te hangen.

Even snel een side note: 0.4 is een beetje snel gereleased, het kan zijn dat hier en daar nog kleine dingen niet helemaal correct zitten. Hier bedoel ik voornamelijk de permissie check op de server.

Tevens de meegeleverde qd alleen voor Linux, maar ook hier geldt met een minimale aanpassing moet ook de Windows binary werken.

Thanks voor het meedenken, en ik verwacht 0.5 eind volgende week oid, iig HTTP auth moet dan mogelijk zijn, SSL kan wat langer op zich laten wachten.
Zandster
Berichten: 3.299
Reg. datum: 17 oktober 2002

unitinfo.txt = Name: p1140_RIBO_FSpeptide_EXT
psummary = p1140_RIBO_FSpeptide_EXT_nospring

ook iets op te vinden?

edit:
windows client aan de praat gekregen (l4gg3r)

SandStar wijzigde dit bericht 10-02-2005 21:07 (38%)

There are three kind of lies: Lies, Damn Lies, and Statistics

dpkg-reconfigure reality

Hmmm... dat zou afgavangen moeten zijn op regel 411:
code:
1
elsif($name ne '' && $wu_name =~ /^$name/) {


$wu_name is hier p1140_RIBO_FSpeptide_EXT_nospring en $name is hier p1140_RIBO_FSpeptide_EXT, de regex zou hem moeten pakken...

Zou je kunnen kijken of je de bovenstaande regel daadwerkelijk in index.pl hebt staan in de subrouting parse_psummary().
Ik heb namelijk wel een paar bugs gefixt en opnieuw gereleased als 0.2 ipv het te releases als een nieuwe bugfix release, misschien dat je nog een oude 0.2 hebt...

[update]
Ik heb net even in je client-data/project-list gekeken en daar staat het volgende in:


code:
1
2
3
4
5
6
p1134_RIBO_FSpeptide_EXT:pr0ner
p874_p53dimer874:c4mp3r
p1801_Collagen_PPG10_refolding:tux
p1122_ribo_solvent2:Apollo
p874_p53dimer874:Zeus-1
p1801_Collagen_PPG10_refolding:Zeus-2
:l4gg3r



Om de een of andere reden heeft de server de projectname niet opgeslagen bij het uploaden. Misschien was het project nog niet in de psummary.html van Stanford toe het werdt geupload?

Een tijdelijke fix is om zelf even client-data/project-list aan te passen, door de regel

code:
1
:l4gg3r

te vervangen met
code:
1
p1140_RIBO_FSpeptide_EXT_nospring:l4gg3r


Maar de kans is groot dat bij de volgende upload die regel weer fout gegenereerd wordt. Als het bovenstaande probleem niet van toepassing is.

Een iets betere oplossing is de de volgende regel toe te voegen aan generate_project_list() in index.pl

code:
1
$wu_info{wu_name} = $unitinfo{name} if(!$wu_info{wu_name});

net boven de regel
code:
1
$data .= "$wu_info{wu_name}:$client\n";

[/update]

smoking2000 wijzigde dit bericht 11-02-2005 07:39 (52%)

dpkg-reconfigure reality

v0.5 released
fci-0.5

Nu met bugfixes, authenticatie en configuratie interface :)
Zandster
Berichten: 3.299
Reg. datum: 17 oktober 2002

We hebben weer wat te doen morgenavond :D

There are three kind of lies: Lies, Damn Lies, and Statistics

dpkg-reconfigure reality

v0.5.1 released
fci-0.5.1

Er zat een nare bug in het script wat van de dynamische pagina's static html maakt.
De URL werden niet goed herschreven, waardoor de halve site vol zat met broken links
Zandster
Berichten: 3.299
Reg. datum: 17 oktober 2002

wil niet :'(

http://pr0ner.no-ip.org/folding/index.pl

als ik naar clients ga zie ik ten eerste niet waar ze mee bezig zijn en ten tweede als ik daar via een omweg wel ben zie ik alleen maar een opsomming van de files .xyz etc etc

wat doe ik verkeerd?

There are three kind of lies: Lies, Damn Lies, and Statistics

dpkg-reconfigure reality

quote:
SandStar schreef op woensdag 16 februari 2005 @ 18:47:
wil niet :'(

http://pr0ner.no-ip.org/folding/index.pl

als ik naar clients ga zie ik ten eerste niet waar ze mee bezig zijn en ten tweede als ik daar via een omweg wel ben zie ik alleen maar een opsomming van de files .xyz etc etc

wat doe ik verkeerd?
Je doet niets verkeerd, ik heb per ongeluk www/clients.plc overschreven met www/settings/clients.plc. http://images.fok.nl/s/bloos.gif
De clients.plc die er nu stond was dus die uit de configuratie interface, en niet de normale.

Ik heb het meteen gefixt: fci-0.5.2
Zandster
Berichten: 3.299
Reg. datum: 17 oktober 2002

windows systeem:

Error: cannot read xyz file

Verwijzing gaat ergens niet goed denk ik... misschien optie om xyz upload te disablen als het niet gaat werken op windows clients?

edit 1:
En met deze gaat ie op zn bek bij "cannot read client directory"
fci-client.pl --url http://pr0ner.no-ip.org/folding/index.pl --client l4gg3r --dir "C:\Program Files\FAH\" --config "C:\Program Files\FAH\client.cfg" --unitinfo "C:\Program Files\FAH\unitinfo.txt"

Werkte nog bij 0.2

edit 2:

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
$cfg{unitinfo_file} = $cfg{folding_dir}.'unitinfo.txt';
$cfg{config_file}   = $cfg{folding_dir}.'client.cfg';
$cfg{xyz_file}      = $cfg{folding_dir}.'/work/current.xyz';

# get command line parameters
Getopt::Mixed::init("url=s client=s dir=s config=s unitinfo=s xyz=s useragent=s username=s password=s verbose help update-qd qd-url=s");
while (my ($option, $value) = nextOption()) {
    if($option eq 'help') {
        print_usage();
        Getopt::Mixed::cleanup();
        exit;
    }
    if($option eq 'dir') {
        $cfg{folding_dir} = $value;

        $cfg{unitinfo_file} = $cfg{folding_dir}.'unitinfo.txt';
        $cfg{config_file}   = $cfg{folding_dir}.'client.cfg';
        $cfg{xyz_file}      = $cfg{folding_dir}.'/work/current.xyz';



en zo doet ie het weer wel.
/work ipv work gedaan....
en met:

code:
1
--dir "C:\Program Files\FAH"

Hoewel het parsen van unitinfo.txt nog steeds niet lekker gaat denk ik... zie site

SandStar wijzigde dit bericht 16-02-2005 23:29 (113%)

There are three kind of lies: Lies, Damn Lies, and Statistics

dpkg-reconfigure reality

l4gg3r was 1 van je Windows machines toch?

Dan denk ik dat ik al weet wat er aan de hand is, met het parsen van de files hield ik geen rekening met het feit dat Windows \r\n als linefeed character gebruikt waar Linux slecht \n gebruikt.

Ik heb de subroutines aangepast, en een nieuwe index.pl online gezet, zou je deze willen uitproberen?
index.pl.gz

Je zal wel even op l4gg3r opnieuw fci-client.pl moet runnen, de routines die ik heb aangepast worden namelijk aangeroepen bij een nieuwe upload.

smoking2000 wijzigde dit bericht 17-02-2005 10:37 (16%)
Reden: extra info

Zandster
Berichten: 3.299
Reg. datum: 17 oktober 2002

quote:
smoking2000 schreef op donderdag 17 februari 2005 @ 07:42:
l4gg3r was 1 van je Windows machines toch?

Dan denk ik dat ik al weet wat er aan de hand is, met het parsen van de files hield ik geen rekening met het feit dat Windows \r\n als linefeed character gebruikt waar Linux slecht \n gebruikt.

Ik heb de subroutines aangepast, en een nieuwe index.pl online gezet, zou je deze willen uitproberen?
index.pl.gz

Je zal wel even op l4gg3r opnieuw fci-client.pl moet runnen, de routines die ik heb aangepast worden namelijk aangeroepen bij een nieuwe upload.
Fixed :)

There are three kind of lies: Lies, Damn Lies, and Statistics

Pagina: 1 2 3 4 5 6 7 last



VNU Media logo Powered by True

© 1998 - 2008 Tweakers.net - Alle rechten voorbehouden

Uitgever van: