Linux Cluster met (open)MOSIX

woensdag 5 februari 2003 18:16

Je kunt prima LAN-booten (zoals dat in linux terminalserver project gebeurt). docs

Acties:

Verwijderd

Hoi weer

Om op alle vragen meteen een antwoord te geven:

De cluster staat in het hok van Uvis, een studentenvereniging op de Hogeschool van Utrecht. Omdat deze vereniging mede mogelijk wordt gemaakt door de HvU qua sponsering ed, hebben we geen stroomrekening om ons zorgen over te maken.
De reden dat we 486's hebben ipv bijvoorbeeld 2,4 Ghz computers is simpelweg omdat we nog 486's hadden liggen, net als de pentium 75. Nieuwe nodes vinden we bij een dump-hok van de HvU. Een andere reden is dat we simpelweg niet voor de performence gaan, maar gewoon willen leren clusteren. Er wordt op het moment software voor geschreven in de vorm van Mandelbrot (fractal) software. Dit is een mooi onderwerp, omdat er weinig IO bij komt kijken en processen ook lang in leven blijven. Het spawnen van een proces kost namelijk veel tijd. Zeker als dit erg vaak gebeurt, loopt de overhead nogal op.

De cluster draait slackware 8.1, maar op een bijzondere manier. We hebben een 2 nieuwe kernels gemaakt:
1 voor de 'clients', de 486's
1 voor de 'server', de pentium 75.

De server draait een volledige linux, met tty's en al van Slackware 8.1
De clients echter, boot via een bootfloppy. Hiervan starten ze linux, die vervolgens via DHCP een IP en root-path geven. De server heeft dus een DHCPd en NFSd draaien. De clients starten via NFS (wat dus root is na de flop) een paar hele kleine scriptjes voor het aanzetten van het clusteren enzo. Voor de rest kunnen ze werkelijk niks. Ze hebben geen mogelijkheid tot inloggen en zijn alleen afhankelijk van het migraten van processen van de server. De server is dan ook de enige machine waar op ingelogged wordt. Als je hierop een programma start, zal dit dus door openmosix verdeelt worden.

Cleas

woensdag 5 februari 2003 18:49

Acties:

woensdag 5 februari 2003 19:35

Cleas schreef een goede uitleg:

Just curious

Heb je wel eens overwogen om MFS te gebruiken in plaats van NFS voor het netboot-gebeuren? Je hebt MFS toch draaien in verband met Openmosix.
Het zou je setup nog minimalistischer maken, en in de Openmosix docs claimt men dat MFS sneller is dan elk ander netwerk file-system.

Acties:

Verwijderd

AlterEgo:

Daar heb je een heel goed punt eigenlijk. Het punt is alleen dat je voor NFS een parameter kan meegeven aan de kernel die het rootpad beschrijft. Anders kan het ook nog via DHCP gebeuren dacht ik. Ik ben er niet zeker van of dit ook mogelijk is voor MFS (DHCP iig niet, maar parameter bij lilo oid weet ik niet). Ik zal er eens naar kijken, want het zou heel handig kunnen zijn.

We zijn net bezig met het kijken voor een upgrade naar 'versie 2.0'.
Daar willen we misschien ook gebruik maken van BootRommen op de NIC's, zodat ze allemaal tegelijk kunnen starten (iig meer dan 1 tegelijk).
Ook willen we kijken naar een nieuwe versie van OpenMosix. Misschien is dit wel een goed plan. Wel denk ik dat het misschien teveel moeite is, aangezien de 'clients' alleen booten vanaf NFS en verder oneindig staan te loopen eigenlijk (ze hebben immers niks te doen).
Ook wil ik zelf kijken of er andere computers (buiten hetzelfde subnet) er aan kunnen hangen. We hebben namelijk nog een stuk of 7 Pentium 133's staan, die zeer geschikt zijn.

Verder ben ik bezig te kijken of er niet een p2p-achtige structuur haalbaar is. Dit is op dit moment slechts een visie, maar zou wel eens erg krachtig kunnen worden. Hierbij vormen computers een cluster, en die clusters weer een soort supercluster enz enz enz...in een boomstructuur zeg maar. Dit staat echter volledig in de kinderschoenen (lees: mijn gedachten

)

Cleas

P.s. ik ben begonnen met een HOWTO te schrijven over wat we gedaan hebben. Hier blijk ik namelijk een cijfer voor te kunnen krijgen voor een vak op school

woensdag 5 februari 2003 21:58

Acties:

donderdag 6 februari 2003 09:27

Cleas: Grote plannen

Ik zat net de Openmosix howto nog eens door te lezen, op zoek naar ideeen over mfs als remote boot filesysteem. Na nog meer lezen (LTSP; Diskless Nodes) weet ik nog steeds niet zeker of het kan via MFS: die remote boot procedures zijn allemaal gebaseerd op NFS lijkt het. Waarom is me niet geheel duidelijk.

Die Openmosix howto heeft nog enige gaten/verouderingen en "to be verifieds" enzo (no flame intended).
Misschien kun je twee vliegen in 1 klap slaan door de "officiele" howto een grondige face-lift te geven, als onderdeel van je school-project. Just a thought.

Acties:

Verwijderd

AlterEgo:

Juh, idd grote plannen

IK wil gewoon kijken of het mogelijk is. Op die manier zou je kleine clusters (qua performance) mooi aan elkaar kunnen knopen met bijvoorbeeld een andere cluster van dit formaat.

Om terug te komen op het MFS gedoe. Ik denk dat het niet handig is in mijn geval. NFS bied namelijk de optie om een pad (bij mij /export/client_root) bij de andere machine te mounten als root. Ik denk niet dat dit via MFS kan. Wat ik van MFS begreep is dat het via /proc oid de andere computers bereikt. Je kan het iig niet mounten afaik. Dan valt natuurlijk het hele plan in het water. Het voordeel van NFS is nu ook Dat ik een aparte root-dir op de 'server' heb die de root is van de clients. Hier kan ik makkelijk in prutsen.
Ik denk dus dat ik bij NFS blijf, aangezien ik niet denk dat je MFS kan mounten.

cleas

donderdag 6 februari 2003 09:30

Acties:

Verwijderd

AlterEgo:
Over de HOWTO. Ik ben meer van plan een HOWTO te maken over hoe wij het aangepakt hebben. Dat gaat aan de ene kant verder dan alleen OpenMOSIX, namelijk ook oplossingen voor problemen met het root NFS gedoe. Aan de andere kant heb ik dingen als autodiscovery nooit succesvol aan de praat gekregen.

Ik kan dus maar 1 ding zeggen: Go schop de OpenMosix devel-team

Cleas

donderdag 6 februari 2003 09:36

Acties:

donderdag 6 februari 2003 10:32

hmm, met dit systeem is het dus mogelijk 1 server te installen en eventuele clients te laten booten vanaf een cd? (zonder verdere software op de hdd)

Dat vraag ik omdat we voor school eventueel een project kunnen gaan doen met grid computing, waarbij we hele lokalen van 40 pc's (p III 1 GHz, 256 Mbyte en meer) tot onze beschikking hebben maar men niet blij is met een complete herinstallatie van die systemen

Acties:

Verwijderd

op deze manier hebben alle mensen die door de week sysadmin spelen in een kantoor/school elk weekend een super computer tot hun beschikking...

donderdag 6 februari 2003 10:41

Acties:

xychix

FreeBSD Rules !

Nu word het wel interessant.. ik zal ook eens naar die bootcd kijken, op Windesheim Zwolle hebben ze dan ook aardig rekencapaciteit.... ik zou eens een lokaaltje kunnen opeisen en een test kunnen draaien.

Every failure offers you a new opportunity! | Lokatie database|GoT - Notepad

donderdag 6 februari 2003 11:02

Acties:

donderdag 6 februari 2003 12:33

Verwijderd schreef op 06 februari 2003 @ 09:27:
Om terug te komen op het MFS gedoe. Ik denk dat het niet handig is in mijn geval. NFS bied namelijk de optie om een pad (bij mij /export/client_root) bij de andere machine te mounten als root. Ik denk niet dat dit via MFS kan. Wat ik van MFS begreep is dat het via /proc oid de andere computers bereikt. Je kan het iig niet mounten afaik. Dan valt natuurlijk het hele plan in het water. Het voordeel van NFS is nu ook Dat ik een aparte root-dir op de 'server' heb die de root is van de clients. Hier kan ik makkelijk in prutsen.
Ik denk dus dat ik bij NFS blijf, aangezien ik niet denk dat je MFS kan mounten.

cleas

Feitelijk mount je MFS wel. Er staat een entry in je fstab mfs_mnt, en alle root dirs van alle PC's in het cluster zie ik terug in mijn /mfs/<PC1,PC2,PC3> directory.
Dus dat is het knelpunt zeker niet.
Wat ik vermoed, is dat het heel lastig wordt om de bootprocedure over een ander netwerk FS dan NFS te laten lopen: diskless nodes, LTSP, ClumpOS, alles lijkt per se van de DHCP/NFS network boot procedure gebruik te maken.
Op de LTSP site staat een gedetailleerde beschrijving van de bootprocedure, en daaruit denk ik op te maken dat het de kernel is, die netwerk booten alleen via nfs ondersteunt.
Als iemand info heeft die het tegendeel aantoont: heel graag

Acties:

donderdag 6 februari 2003 12:50

Verwijderd schreef op 06 februari 2003 @ 10:32:
op deze manier hebben alle mensen die door de week sysadmin spelen in een kantoor/school elk weekend een super computer tot hun beschikking...

dat is ook de bedoeling van het project bij ons op school, rekenpower voor de Bioinformatica die zich met berekeningen aan aminozuren bezighouden..

Acties:

Verwijderd

AlterEgo:

Een ander probleem is nog dat de 'server' steeds het hoogste node-nummer heeft. Dan zou ik dus bij het bijvoegen van nodes de config elke keer moet veranderen. Het IP blijft wel steeds hetzelfde, dus dan is NFS wel handiger denk ik.

Cleas

donderdag 6 februari 2003 13:45

Acties:

Verwijderd

Cleas

Zou je niet onder elke post je naam willen typen ? Dat hebben we liever niet op GoT. Dank u

donderdag 6 februari 2003 14:51

Acties:

Verwijderd

Maar zou dit ook bruikbaar zijn voor (film)gimp, mencoder en gcc?

[ Voor 16% gewijzigd door Verwijderd op 06-02-2003 14:52 ]

donderdag 6 februari 2003 15:55

Acties:

deadinspace

The what goes where now?

Verwijderd schreef op 06 February 2003 @ 14:51:
Maar zou dit ook bruikbaar zijn voor (film)gimp, mencoder en gcc?

Nee, ik vrees van niet. Dat soort programma's gebruiken veel shared memory (als ze al überhaupt multi-process zijn), of ze zijn multi-threaded (wat al praktisch shared mem impliceert).

Clusters zijn leuk om mee te spelen, maar doorgaans niet geschikt voor "gewone" software. Voor beowulf moet je specifiek coden, en voor dingen als Mosix moet je bij het schrijven van een programma er wel rekening mee houden in het ontwerp.

donderdag 6 februari 2003 17:38

Acties:

Verwijderd

Bij het afspelen van een film dan wordt er niet gemigrate. Bij GCC kan het wel, daar is pmake voor bij OpenMosix.

Ik heb zelf zeer goede ervaringen met teambuilder van trolltech .oa. een kernel gebakken op m'n P300 en een 2,0gHz. En ik kan je vertellen dat dat heel wat sneller ging

edit typefouten

[ Voor 5% gewijzigd door Verwijderd op 06-02-2003 17:40 ]

donderdag 6 februari 2003 18:59

Acties:

Verwijderd

compukid:

ik sluit me volledig aan bij wat deadinspace zei. Ik wilde alleen wel zeggen dat proggen met pipelines wel werken.

Gimp zou best eens kunnen werken. Het start als ik het goed begrepen heb een nieuw proces voor het effect dat jij kiest. Aangezien er maar 1 effect tegelijk gekozen kan worden, denk ik dat je er niet zo veel aan hebt. Hoe dat bij FilmGimp is weet ik niet, die wil ik nog eens testen

Mencoder weet ik ook niet. Ik denk van niet eigenlijk, aangezien het 1 grote app is. Transcoder zou wel eens kunnen werken.

Gcc werkt. Je moet als optie -j # meegeven met voor het # het aantal processen dat je wilt. Ik heb begrepen dat je altijd 1 disk-proces wil, dus dat je je aantal nodes-1 wilt nemen.

Onthoud wel dat hoe meer comminucatie er is tussen de aparte processen, hoe meer het op de snelheid van je netwerk een beroep gaat doen. Ik raad je dan ook aan, als je een snelle cluster hebt, 100 of misschien wel 1000 Mbit te gebruiken, als niet je netwerk als bottle-neck wilt.

donderdag 6 februari 2003 19:02

Acties:

Verwijderd

RooieHoed:

kan je een indicatie geven van de vooruitgang qua performance?

En zou je eens een complete beschrijving van de nodes en het netwerk van die cluster kunnen geven? Ik ben namelijk erg benieuwd naar vooral de netwerk-eisen.

donderdag 6 februari 2003 19:52

Acties:

donderdag 6 februari 2003 20:32

RooieHoed:
GCC werkt, met hoge -j-waarden, maar: matig.
Distcc is veel effectiever dan openmosix als het om compileren gaat. De levensduur van de individuele threads bij compilatie is te kort voor effectieve proces-migratie.

Cleas:
de node-nummers veranderen "nooit": die liggen vast in /etc/mosix.map (tenzij je die dynamisch laat opbouwen, maar ik weet niet of dat kan (kun je hostanames gebruiken in plaats van IP-adressen?). Ik gebruik vaste IP's.

Acties:

Verwijderd

AlterEgo:

Als er nodes bij komen, pas ik /etc/mosix.map natuurlijk wel aan
dus dan zorg ik er voor dat de "server" het hoogste nummer heeft. Zo is het nou eenmaal opgezet

ja, je kan (zie man) namen uit /etc/hosts gebruiken ipv IP's.

Ik gebruik ook vaste IP's dus

vrijdag 7 februari 2003 17:59

Acties:

Verwijderd

CLEAS:
Ik heb geen specifieke voouitgang geven qua performance omdat ik de boel toen niet gelogd had.
Ik heb gewoon via knoppix teambuilder geinstallerd, het ging over een 10 mbit netwerk. Bij teambuilder
kan je dan een flag meegeven zodat de data gecompressed wordt. Voor meer nuttige info zie
http://www.trolltech.com/products/teambuilder/index.html
Dit is wel de comercial version, voor thuis gebruik is er teambuilder personal.

Alterego:
Je hebt gelijk met het feit dat het bij openmosix te lang duurt om dat succesvol te migreren. Er is wel pmake maar daar heb ik nog niet mee gewerkt. Als alles goed gaat dan heb ik volgende week m'n eerste openmosix cluster (P1 300 met 96mb, P1 120 met 24mb; 100mbit FD).

Ik heb op internet betere verhalen over teambuilder gelezen dan over distcc, ook grafieken gezien.
Als ik m'n cluster heb dan ga ik tests draaien met teambuilder, distcc en openmosix. Die zal ik dan wel op GoT gooien. Als je nog leuke ideeen hebt om te compileren, ik zit nu aan een standaard kernel te denken, dan merk ik het nog wel op 't forum.

vrijdag 7 februari 2003 19:17

Acties:

zaterdag 8 februari 2003 09:40

Interessant spul RooieHoed.
Ik ben nu bezig met Openmosix 1.4 op een Atlon 2000+, een Duron 1200 en een Pentium 166MMX, en wil zeker wat benchmarks gaan draaien.

Experiment 1: via distcc gentoo op de Pentium vanaf stage 1

Het schijnt te kunnen.
Ik ga me zeker eens verdiepen in teambuilder, want daar heb ik nooit echt iets van gehoord.

Acties:

Verwijderd

AlterEgo en RooieHoed:

GAAF! Hou me op de hoogte!

Ik ga trouwens binnenkort op bezoek bij Sara (www.sara.nl). Daar hebben ze gigantische clusters staan. Ik zou je aanraden met een slabbetje om de website eens te bekijken. Vooral TERAS is erg mooi, gezien het feit dat zelfs het OS over de nodes wordt verdeelt.

zaterdag 8 februari 2003 10:03

Acties:

Verwijderd

RooieHoed:

Als je een duidelijk verschil wilt zien, kan je heel goed X eens compilen. Op mijn XP 1800+ duurde het namelijk 45 min. Misschien is dit bij je cluster wel 2/3e van de tijd oid. Dan kan je ook mooi de voor- en nadelen zien denk ik.

zaterdag 8 februari 2003 19:41

Acties:

Verwijderd

Weet jij hoe lang het duurt omzoiets te compilen op een P1 300?

Ik kan je verzekeren dat dat errug lang gaat duren, daar wil ik dus geen test mee doen.
Je hebt wel gelijk dat ik met X wel errug goed kan kijken wat de performance winst is.

Maar een standaard kernel doet er normaal ongeveer een uur over.
Die tijd heb ik wel als het gaat om runnen van test.

zondag 9 februari 2003 10:56

Acties:

Verwijderd

RooieHoed:

hmmm..misschien heb je gelijk

een kernel is idd iets beter dan

ik zou er dan een time voor zetten, zodat je algemene load ed kan zien na afloop, net als de exacte tijd van het compilen. Houd alleen wel rekening met het feit dat de 2e keer het grootste deel van het compilen al is gedaan. Als je echt wilt vergelijken, moet je dus na de 1e keer de kernel source er weer overheen proppen.

zondag 9 februari 2003 11:18

Acties:

maandag 10 februari 2003 17:57

Eendracht maakt macht

Verwijderd schreef op 05 februari 2003 @ 19:35:
AlterEgo:
Verder ben ik bezig te kijken of er niet een p2p-achtige structuur haalbaar is. Dit is op dit moment slechts een visie, maar zou wel eens erg krachtig kunnen worden. Hierbij vormen computers een cluster, en die clusters weer een soort supercluster enz enz enz...in een boomstructuur zeg maar. Dit staat echter volledig in de kinderschoenen (lees: mijn gedachten )

Dat bestaat al, en heet grid-computing. http://www.globus.org/ heeft wel interessamte info.

_-= Erikje =-_ schreef op 06 February 2003 @ 12:33:
[...]

dat is ook de bedoeling van het project bij ons op school, rekenpower voor de Bioinformatica die zich met berekeningen aan aminozuren bezighouden..

Ik wil niet flauw doen, maar zou je voor een productie omgeving niet iets inzetten dat het hobby stadium ontstegen is ? We gebruiken hier met succes Rocks. een op Redhat gebaseeerde distro om snel en makkelijk een cluster in de lucht te schoppen.

If you don’t have enough time, stop watching TV.

Acties:

Verwijderd

jvhaarst :

Dat is echt sweeet

Ik vraag me alleen af of je met een gemiddelde ADSL connectie niet een gigantische bottle-neck krijgt en in hoeverre je dan de boel ophoudt.
Heb jij er ervaring mee, of ken je mensen die het doen atm?
Zo ja, dan zou ik graag eens een grid-je opzetten/joinen

maandag 10 februari 2003 19:08

Acties:

dinsdag 11 februari 2003 08:54

Eendracht maakt macht

Ik ken een collega die met Globus aan het prutsen is, hij wil/mag zo dadelijk gaan spelen in het Grid van Sara. Niet slecht dus.

Maar je kunt natuurlijk prima met een paar anderen een grid gaan vormen, lijkt me wel lachen

If you don’t have enough time, stop watching TV.

Acties:

Verwijderd

jvhaarst:

kan je me vertellen wie dat is? Ik krijg vrijdag as een rondleiding bij Sara. Ik ken namelijk iemand die bij de CAVE werkt.

dinsdag 11 februari 2003 10:57

Acties:

dinsdag 11 februari 2003 15:37

Ik wil niet flauw doen, maar zou je voor een productie omgeving niet iets inzetten dat het hobby stadium ontstegen is ? We gebruiken hier met succes Rocks. een op Redhat gebaseeerde distro om snel en makkelijk een cluster in de lucht te schoppen.

'tsja, als ze er studiepunten voor willen geven ?

Maar dat rocks kan dus niet vanaf cd draaien voorzover ik zie?

Acties:

dinsdag 11 februari 2003 17:41

Eendracht maakt macht

Nee, daarvoor moet je dit doen

If you don’t have enough time, stop watching TV.

Acties:

Verwijderd

jvhaarst:

kan je me vertellen wie dat is? Ik krijg vrijdag as een rondleiding bij Sara. Ik ken namelijk iemand die bij de CAVE werkt.

dinsdag 11 februari 2003 17:49

Acties:

dinsdag 11 februari 2003 18:02

Eendracht maakt macht

Het echoooooooooot hier

Maar ik ga geen namen noemen zonder dat de ander het weet, en ik zit nu even niet bij hem in de buurt.
Maar grids zijn veel leuker dan clusters, daar ben ik nu wel achter..

If you don’t have enough time, stop watching TV.

Acties:

dinsdag 11 februari 2003 20:36

jvhaarst schreef op 11 februari 2003 @ 15:37:
Nee, daarvoor moet je dit doen

joh

maar goed, ik denk mischien kan ie het stiekem wel

Acties:

Verwijderd

jvhaarst:

het echo-ed idd een beetje hiero

weet je dan wel welke cluster dat is? is het toevallig TERAS?

grid is idd veel 1337-er

dinsdag 11 februari 2003 23:09

Acties:

Verwijderd

Ik heb met mijn informatica leraar gepraat en met een bootable cd zouden we met een stel klasgenoten een paar pc's aan elkaar mogen knopen.

Is er hier iemand die een open-mosix knoppix of iets in die richting weet?
Of een grid bootable cd weet?

Ik heb vanmiddag wel gegoogled maar kon alleen clump/os vinden.

woensdag 12 februari 2003 00:02

Acties:

woensdag 12 februari 2003 19:03

Eendracht maakt macht

Huh ? Als ik op Google zoek op bootable cluster cd, dan zijn de 1e en 3e link raak.
clump/os is toch ook prima ?

En over die collega : Ik heb eigenlijk geen idee wat ie nou precies doet. Alleen dat ie iets met grids en een virtual-lab doet. Ik zal hem eens aan de tand voelen

En de Teras is denk ik iets te heftig..

[ Voor 50% gewijzigd door jvhaarst op 12-02-2003 00:09 ]

If you don’t have enough time, stop watching TV.

Acties:

Verwijderd

jvhaarst:

http://www.sara.nl/projects/projects_02_eng.html

je had gelijk

woensdag 12 februari 2003 19:09

Acties:

Verwijderd

hmmm...toch eigenlijk niet....
na wat zoeken zie ik dit:

http://grid.sara.nl/resources/resources.html

en kijk! daar is uns alles friend TERAS!

woensdag 12 februari 2003 19:15

Acties:

Verwijderd

tvhaarst:

laatste reply (3 op een rij is wel genoeg

)
de jongen die ik ken werkt ook bij de virtual reality troep. dat is namelijk de CAVE.

ik ga ook eens kijken of ik mee zou kunnen doen met DuthGrid(NL) of DataGrid(EU).

woensdag 12 februari 2003 21:37

Acties:

vrijdag 14 februari 2003 11:03

Eendracht maakt macht

offtopic :
Zie je dat rijtje met icoontjes lrechtsboven iedere posting ?
Met de eerste kun je editten ..

ontopic :
Als Erikje nu eens voor school een poging doet een bootable cluster CD aan de praat te krijgen ? Dan kunnen wij daar lekker over mee ouwehoeren.
De mogelijkheden lijken me enorm. Als je het netjes doet kun je dan redelijk makkelijk veel rekenkracht bij elkaar sprokkelen op momenten dat computers niet gebruikt worden.

Ook interessant : Models@Home
Daarmee kun je ook leuke dingen mee doen.

If you don’t have enough time, stop watching TV.

Acties:

Verwijderd

jvhaarst:

juh, ik ben een GoT-n00b

ik heb mn account ook alleen voor dit forumpje aangemaakt enzow...thnx iig

het is idd er makkelijk om snel rekenkracht bij elkaar te sprokkelen, al moet je denk ik wel rekening houden met het clusteren als je je netwerk gaat ontwerpen. dat zou wel eens wat performance kunnen schelen.
Ikzelf heb ook tevergeefs geprobeert sysbeheer bij mij op school over te halen tot clusteren, maar het levert je bij scholen erg leuke resultaten op

vrijdag 14 februari 2003 13:12

Acties:

vrijdag 14 februari 2003 18:43

Eendracht maakt macht

Hoezo tevergeefs ?
Als je het met een bootable CD voor elkaar krijgt, dan lijkt het me geen punt voor systeembeheerders om je te laten spelen, wel ?

If you don’t have enough time, stop watching TV.

Acties:

Verwijderd

Om can cd te booten heb je op de meeste scholen wel eerst het bios passwd nodig.
En dat mag waarschijnlijk ook weer niet, want dan is het gekrackt.

vrijdag 14 februari 2003 23:54

Acties:

zaterdag 15 februari 2003 21:56

Eendracht maakt macht

En daarom moet je ook eerst systeembeheer zien te overtuigen dat het geen kwaad kan. Maar dat gaat op een Uni misschien een stuk simpeler, helemaal als je een beetje duidelijk kunt maken dat het zin heeft voor onderzoekers...

If you don’t have enough time, stop watching TV.

Acties:

Verwijderd

biospass hebben we niet, konden ook gewoon knoppix draaien. HvU draait alleen op IPX

dus het heeft niet veel zin denk ik. Verder is het np afaik

donderdag 20 februari 2003 09:25

Acties: