[Linux] distro en filesystem voor fileserver

[jealma]

Wordt even geil van de specs van mijn fileserver revisie 2:
Core 2 Duo E6400; 2x512 MB DDR2; Asus P5b Deluxe
Opslag: 1x80 gb SATA opstartschijf; 5x500 gb SATAII raid5 via ICH8R.

Ik krijg de 5 500gb schijven binnen een paar dagen binnen, en wil die dus in mijn fileserver planten.
Mijn huidige fileserver draait Ubuntu Dapper i386 en heeft 1 TB aan opslagruimte, allemaal ReiserFS.

Het probleem is dus dat ReiserFS volgens vele reviews en rapporten niet fantastisch presteerd met grote bestanden (die ik dus heb). Voor zover ik de texten begrijp, is ext2 uit de mode, ext3 alom bekend en stabiel, maar nogal traag en een beetje verouderd. ReiserFS is voornamelijk geschikt voor kleine bestanden a 4kb/stuk en dus niet voor DIVXjes; bovendien vergt het behoorlijk wat van je processor. JFS is het journaling filesystem van IBM en heeft het laagste processorverbruik en een hele goede performance. XFS is van SGI en heeft een iets hoger processorverbruik als JFS, maar wel minder als ReiserFS en is qua prestaties met grote bestanden de beste keuze. Nadeel van XFS is dat het niet goed overweg kan met de GRUB bootloader.

Wat ik dus wil weten, is of er mensen zijn die een fileserver hebben draaien met linux, en ervaring hebben met de bestandssystemen EXT3, ReiserFS v3.6 of v4.0, JFS en XFS. Welk is een goede keus voor een raid5 array met een capaciteit van 2 terabyte?
Is het ook handig om LVM(2) te gebruiken? Heb namelijk gelezen dat een softwarematige raid met LVM veel lagere sequentiele transferrates heeft als een softwarematige raid zonder LVM. Ik draai dus host-based raid met de in Intel's ICH8R geintegreerde raidmogelijkheden waarbij de processor het werk verricht. Aangezien de c2D behoorlijk veel power heeft moeten de prestaties m.i. nog wel meevallen.

Het tweede wat ik graag wil weten: Mijn vorige server bevatte een xp2400 die alleen 32bit was. De nieuwe c2d kan ook 64-bit aan. Is het verstandig (zowel qua performance als qua softwareaanbod) om de 64-bit versie van ubuntu te gebruiken?

Bronnen waar ik informatie heb uitgehaald tot dusver:
http://www.bellevuelinux.org/filesystem.html
http://linux.org.mt/article/filesystems
http://www.debian-administration.org/articles/388
http://linuxgazette.net/102/piszcz.html

[gavro]

Ik heb zelf op mijn dell laptop (met een sata controller&hdd) SuSE SLED10 (voorheen ook openSuse 10.1) draaien. Mijn harde schijf heb ik opgedeeld als volgt:

/ --> xfs
/home --> xfs
/tmp --> xfs

Voorheen had ik ook altijd nog een ext3 partitie voor /boot, maar dat blijkt helemaal niet nodig te zijn: GRUB icm met xfs root werkt perfect!

Daarnaast draait mijn fileservertje (oude compaq p!!! 500mhz) sles10, ook met alleen xfs partities....

[JackBol]

Groot? Denk ZFS

[ Voor 57% gewijzigd door JackBol op 11-10-2006 01:19 ]

[Boudewijn]

wat voor files komen erop?
ubuntu zou ik sowieso niet op server zetten.
debian,gentoo, slack, *BSD.

[JackBol]

Boudewijn schreef op woensdag 11 oktober 2006 @ 01:29:
ubuntu zou ik sowieso niet op server zetten.

want?

[cherwin]

_DH schreef op woensdag 11 oktober 2006 @ 01:31:
[...]


want?

Ubuntu dat gespecialiseerd is voor server doeleinden zou je prima kunnen gebruiken. Alleen is het zo dat gebruikers zoals Boudewijn totale controle willen hebben over wat er op je systeem komt te staan. Nou kan dat vast ook wel met Ubuntu server, maar bij distro's zoals Gentoo, Slackware of Debian ben je toch op een intiemere niveau bezig wat je graag wilt hebben op een server.

[jealma]

Geloof me; ik ben intiem bezig met ubuntu
Bovendien: met ubuntu kun je gewoon alles en debian/ubuntu is 1 pot nat wat dat betreft.
Slackware vind ik te achterhaald (alleen de installatiemethode is supertof!!) en gentoo is crap omdat het veel te veel werk is om het systeem te compileren wat geen enkele zin heeft qua snelheid. BSD is niet geschikt omdat het niet op mijn hardware draait.

Ik zet mijn divx en xvid en mp3 verzameling op de nieuwe array. Dat zijn dus allemaal bestanden van +- 700MB; sommige dvd's van een paar GB en mp3tjes van tussen de 5 en 100 MB.

De vraag is dus of XFS/JFS een goede keus is voor zo'n array qua betrouwbaarheid en stabiliteit.

[deepbass909]

Als je ubuntu helemaal op je eisen inricht, wat ik aan je reactie te lezen wel verwacht, kan je net zo goed Debian pakken. Een installatie zal net zoveel tijd kosten, maar voor Debian komen net wat meer pakketten uit. Want Ubuntu is Debian gebasseerd, wat ondermeer betekend dat toch niet alle debian-packages willen draaien op Ubuntu.
Ubuntu is tegenwoordig zeker niet meer 1 pot nat met Debian. Er zijn een aantal eigen ideeën in verwerkt die je lezen best zuur kunnen maken als je afhankelijk bent van Debian-packages.
Gezien je processor-vermogen zou een goed geoptimaliseerde Gentoo opzich wel merkbaar sneller moeten zijn, daarnaast heb je bij gentoo gewoon uber-controle over je dependencies, nog veel meer als bij Slack of Debian. Ik liep daar laatst zelf bijvoorbeeld tegenaan. Op mijn mp3-machientje moest Samba komen om ook vanuit windows af te kunnen spelen. Als experimentje had ik er Debian opgezet. Wat ik ook probeerde, Debian wou persé Cups installeren, aangezien die een standaard dependencie van Samba is. Maar harddiskruimte voor het OS is in deze machine schaars, dus wat niet gebruikt wordt, wil ik niet hebben. Bij Gentoo was een simpele USE-flag voldoende om Samba te compileren zonder Cups ondersteuning, en dus ook zonder de Cups afhankelijkheid.
Daarnaast zal het compileren van de meeste software op een dergelijke machine echt in een vloek en een zucht gebeuren, dus terwijl je bijvoorbeeld apache compileerd, stel je Samba in en voor je klaar bent, is Apache klaar voor gebruik.

Over de filesystems. Ik maak altijd een klein /boot partitie (32Mb) welke met ext2 geformateerd wordt. Die wordt niet gemount en zo wordt de kernel standaard afgeschermt van ongewenste praktijken. Grub heeft zelf alleen te maken met de /boot, dus de andere partities mogen in princiepe op elke willekeurige manier geformateerd worden. Ik zou je OS gewoon lekker op ext3 of ReiserFS laten draaien, is wel zo stabiel en betrouwbaar en je Raid-array een geoptimaliseerde FS pakken voor grote bestanden, zoals XFS.

En OS, als het echt een server is, laat Ubuntu gewoon lekker links liggen en pak Debian. Die is hier veel beter op ontwikkelt en draait out-of-the-box gewoon goed als server.

[Anoniem: 13055]

Wordt even geil van de specs van mijn fileserver revisie 2:

ubuntu zou ik sowieso niet op server zetten.

whahaha (@ de debian vs ubuntu discussie: Debian is een uitstervende distro daar het overgrote deel van de community (effort) verplaatst is naar ubuntu)

Hoe ga je je files aanbieden aan je clients? Gaat dat over Gbit of over 100Mbit? Als het over 100Mbit heengaat is alleen de filesystem check tijdens het booten van het systeem relevant voor de performance (daar je met een simpele IDE-UDMA controller met daarop een fat32 partitie een 100mbit netwerk kan saturaten). Gaat het over Gbit, hoe zit het dan met je switch? Ondersteund deze ook jumbo frames? Wat voor netwerk kaarten gebruik je in dit geval?

Wat verder ook van belang is, is welke protocolen je gaat ondersteunen. Ik neem aan dat er op z'n minst samba op moet komen, maar je bent bekend met het feit dat linux een ongelovelijk rukke NFS implementatie heeft? Als je dus NFS gaat doen, zou ik zeker overstappen naar (bijvoorbeeld) FreeBSD cq Solaris. Sowiso is het intri om over te stappen naar 1 van deze beide platformen vanwege de stabiliteit en robuustheid. Als je tenminste geen exotische linux cq wine only applicaties op die fileserver wilt draaien..

Performance is meer dan alleen het juiste filesystem kiezen; performance is afhankelijk van de traagste schakel in de ketting. Concentreer je moeite dan ook op de traagste schakel

[ Voor 5% gewijzigd door Anoniem: 13055 op 11-10-2006 13:39 ]

[deepbass909]

@r3boot
interesante stelling, heb je ook onderbouwing? Zonder Debian is er geen Ubuntu namelijk. Zover ik het zie, is Ubuntu Debian in een gebruikersvriendelijker jasje dat out-of-the-box meestal goed werkt.
Voor zover ik het hier meekrijg, draait de meeste Linux servers nog steeds met Debian, Slack en RedHat varianten en vormt Ubuntu daar niet echt speler van betekenis.
Vergeet niet dat Debian voor de willekeurige gebruiker er altijd uit heeft gezien als een niche-distro en met Ubuntu ineens heel wat meer aandacht kreeg, maar dat dat vooral van eigenlijk Ubuntu gebruikers was.
Vergeet ook niet, dat Ubuntu geen ontwikkelaar is, zoals Debian (net als RedHat/Fedora, Suse, Slackware) dat wel is.

[JackBol]

deepbass909 schreef op woensdag 11 oktober 2006 @ 14:33:
Vergeet ook niet, dat Ubuntu geen ontwikkelaar is, zoals Debian (net als RedHat/Fedora, Suse, Slackware) dat wel is.

Zeker wel! en ze zijn al meteen met een heel interessant project bezig, genaamd upstart, een sysvinit vervanger.


Verder kan Ubuntu best bestaan zonder Debian, omdat het praktisch gezien gewoon en fork is. Overigens denk ik niet dat Debian zal verdwijnen, omdat er genoeg ontwikkelaars hun hart aan hebben verpand.

Ik reageerde hierboven alleen om aan te geven dat het kolder is dat je Ubuntu niet op een server zou gebruiken.

[Anoniem: 13055]

deepbass909 schreef op woensdag 11 oktober 2006 @ 14:33:
@r3boot
interesante stelling, heb je ook onderbouwing? Zonder Debian is er geen Ubuntu namelijk. Zover ik het zie, is Ubuntu Debian in een gebruikersvriendelijker jasje dat out-of-the-box meestal goed werkt.

Zoals _DH ook al zegt, ubuntu is een fork van debian en werkt dus onafhankelijk van debian. Het is alleen gebaseerd op dezelfde codebase. Een van de grote frustraties onder debian (vooral de stable releases) is dat de development van packages soms erg ver achterloopt op de upstream versies. Mede hierdoor is een flink gedeelte van de package maintainers overgelopen naar ubuntu, waar dit niet het geval is. Combineer hierbij het feit dat debian z'n release manager niet kan betalen waardoor de nieuwe stable die geplanned is in afaik december waarschijnlijk niet zn deadline gaat halen plus de huidige ruzie met Mozilla. Debian zal altijd wel z'n die-hard userbase blijven behouden en het zal nog een hele tijd gaan duren voordat de ISP's/hosters die debian massaal gebruiken over zullen gaan naar ubuntu, maar het heeft z'n beste tijd gehad. Ubuntu was wdb precies op de juiste plaats op het juiste tijdstip.

Voor zover ik het hier meekrijg, draait de meeste Linux servers nog steeds met Debian, Slack en RedHat varianten en vormt Ubuntu daar niet echt speler van betekenis.

Dat klopt, de server editie van ubuntu is vrij vers en is nog geen "proven technology", zoals debian-stable dat wel is. Uitrollen dus als je de kans krijgt

Vergeet ook niet, dat Ubuntu geen ontwikkelaar is, zoals Debian (net als RedHat/Fedora, Suse, Slackware) dat wel is.

Ubuntu is een organisatie, net zoals Debian, RedHat, Suse en Slackware welke een distributie bouwen die (bij toeval) dezelfde naam heeft als hun organisatie

[JackBol]

Anoniem: 13055 schreef op woensdag 11 oktober 2006 @ 14:57:
Ubuntu is een organisatie

Ubuntu is geen organisatie. Ubuntu is de naam van een distro die gemaakt word door de organisatie Canonical ltd.

[nero355]

Als wannabee FreeBSD guru wil ik toch echt heel graag weten waarom je niet voor FreeBSD gaat ??

[JackBol]

jealma schreef op woensdag 11 oktober 2006 @ 11:31:
BSD is niet geschikt omdat het niet op mijn hardware draait.

Die freebsd guru's zijn altijd te lui om te lezen

[jealma]

deepbass909 schreef op woensdag 11 oktober 2006 @ 12:48:
Als je ubuntu helemaal op je eisen inricht, wat ik aan je reactie te lezen wel verwacht, kan je net zo goed Debian pakken.
Eingelijk wel; maar ubuntu heeft net wat meer up-to-datere (is dat een woord?) packages

Een installatie zal net zoveel tijd kosten, maar voor Debian komen net wat meer pakketten uit. Want Ubuntu is Debian gebasseerd, wat ondermeer betekend dat toch niet alle debian-packages willen draaien op Ubuntu.
Klopt helemaal

Op mijn mp3-machientje moest Samba komen om ook vanuit windows af te kunnen spelen. Als experimentje had ik er Debian opgezet. Wat ik ook probeerde, Debian wou persé Cups installeren, aangezien die een standaard dependencie van Samba is. Maar harddiskruimte voor het OS is in deze machine schaars, dus wat niet gebruikt wordt, wil ik niet hebben. Bij Gentoo was een simpele USE-flag voldoende om Samba te compileren zonder Cups ondersteuning, en dus ook zonder de Cups afhankelijkheid.
Hoo even. Debian installeert een voorgecompileert package; bij gentoo compileer je zelf je software. Als ik onder debian/ubuntu/andere distro samba ga compileren (wat ik met veel software doe; samba niet want cups zit me niet in de weg en ik zit niet krap in schijfruimte ) dan kan ik ook een --disable-cups oid meegeven waardoor geen cups meer nodig is. Wat jij doet is appels met peren vergelijken. Ik snap je punt wel btw.

Daarnaast zal het compileren van de meeste software op een dergelijke machine echt in een vloek en een zucht gebeuren, dus terwijl je bijvoorbeeld apache compileerd, stel je Samba in en voor je klaar bent, is Apache klaar voor gebruik.
Klopt, ik schrik ook niet terug voor het compileren, maar dat kan net zo goed onder andere linuxdistro's als onder gentoo.

Over de filesystems. Ik maak altijd een klein /boot partitie (32Mb) welke met ext2 geformateerd wordt. Die wordt niet gemount en zo wordt de kernel standaard afgeschermt van ongewenste praktijken. Grub heeft zelf alleen te maken met de /boot, dus de andere partities mogen in princiepe op elke willekeurige manier geformateerd worden. Ik zou je OS gewoon lekker op ext3 of ReiserFS laten draaien, is wel zo stabiel en betrouwbaar en je Raid-array een geoptimaliseerde FS pakken voor grote bestanden, zoals XFS.
Bedankt; aan die info heb ik wat!

En OS, als het echt een server is, laat Ubuntu gewoon lekker links liggen en pak Debian. Die is hier veel beter op ontwikkelt en draait out-of-the-box gewoon goed als server.
Die stelling hebben veel mensen, maar is niet helemaal terecht m.i. Ik draai al ubuntu sinds de eerste versie (4.10 warty warthog) en heb nog nooit problemen gehad in serieuze zin (altijd mijn eigen fout). Ik wil in principe gewoon bewijzen dat ubuntu wel z'n mannetje kan staan als server-OS.

Anoniem: 13055 schreef op woensdag 11 oktober 2006 @ 13:37:
[...]




[...]

whahaha (@ de debian vs ubuntu discussie: Debian is een uitstervende distro daar het overgrote deel van de community (effort) verplaatst is naar ubuntu)
Mwah uitstervend is een groot woord.

Hoe ga je je files aanbieden aan je clients? Gaat dat over Gbit of over 100Mbit? Als het over 100Mbit heengaat is alleen de filesystem check tijdens het booten van het systeem relevant voor de performance (daar je met een simpele IDE-UDMA controller met daarop een fat32 partitie een 100mbit netwerk kan saturaten). Gaat het over Gbit, hoe zit het dan met je switch? Ondersteund deze ook jumbo frames? Wat voor netwerk kaarten gebruik je in dit geval?
Ik gebruik gigabit netwerk om files via Samba (voor windows/linux) en NFS (alleen linux) aan te bieden. Tevens ftp en http maar die twee zijn niet performance gericht. De switch is een 3com officeconnect 8 poorts gigabit switch die volgens mij jumboframes ondersteund (weet het niet zeker). De server heeft atm een 10/100/1000 mbit marvell netwerkkaart die ik binnenkort wil vervangen door een Intel Pro1000/PT PCI-E x1 netwerkkaart. De clienten gebruiken ook 1000mbit kaarten (nforce chipseet).

Wat verder ook van belang is, is welke protocolen je gaat ondersteunen. Ik neem aan dat er op z'n minst samba op moet komen, maar je bent bekend met het feit dat linux een ongelovelijk rukke NFS implementatie heeft? Als je dus NFS gaat doen, zou ik zeker overstappen naar (bijvoorbeeld) FreeBSD cq Solaris. Sowiso is het intri om over te stappen naar 1 van deze beide platformen vanwege de stabiliteit en robuustheid. Als je tenminste geen exotische linux cq wine only applicaties op die fileserver wilt draaien..
Ik wist eigenlijk niet dat de NFS implementatie van linux zo slecht was. Ik haal met de huidige setup zo ongeveer de maximale performance (hoger als samba) maar ik ga zowiezo eerst testen met verschillende filesystems, 32/64 bit, NFS/samba/ftp en eventueel wil ik wel een BSD distro proberen. Het nadeel van de BSD's is dat ze waarschijnlijk niet compatibel zijn met mijn nieuwe hardware (ik heb de hardware aangeschaft om compatibel te zijn met linux. Met OpenBSD heb ik overigens wel goede ervaringen op hardware die ondersteund wordt.

Performance is meer dan alleen het juiste filesystem kiezen; performance is afhankelijk van de traagste schakel in de ketting. Concentreer je moeite dan ook op de traagste schakel
Okee, bedankt voor de tip.

nero355 schreef op woensdag 11 oktober 2006 @ 16:21:
Als wannabee FreeBSD guru wil ik toch echt heel graag weten waarom je niet voor FreeBSD gaat ??

Ik wil best FreeBSD gebruiken maar het draait dus waarschijnlijk niet op mijn nieuwe hardware aangezien deze is aangeschaft met linux in het achterhoofd. Daarnaast heb ik met FreeBSD niet de beste ervaringen en zou ik zelf eerder voor OpenBSD kiezen. Ik ben uiteraard altijd in de stemming om het te proberen en ga dat ook doen! Nog tips om FreeBSD als server te installeren/configureren?

[JackBol]

jealma schreef op woensdag 11 oktober 2006 @ 18:37:
[...]

[deepbass909]

@Jealma
Opzich heb je gelijk dat je alles zelf kunt compileren. Het nadeel is wel dat je daarmee bijna altijd uit je package-tree stapt en daarmee updates e.d. met hand moet gaan bijhouden.
Omdat Gentoo (bijna) alles compileert op je machine en Portage daar helemaal opgericht is, hoef je daar dus niet aan te denken en kan je met een paar USE-flags je hele systeem precies zo opbouwen met dependencies zoals jij denkt dat het gaat werken (wat natuurlijk geen garantie is dat het werkt... zoals ik zelf ook al eens heb gemerkt).
Ik probeer zelf bij een installatie zoveel mogelijk binnen een package-tree te blijven, en dan biedt Gentoo gewoon de meeste speelruimte in dat opzicht. Maar je hebt gelijk, er zijn meer wegen die naar Rome leiden.
Ik ben btw geen Gentoo/Debian/Ubuntu/RedHat/etc lover/hater. Ik heb alleen gemerkt dat ik Gentoo het prettigste vind werken in mijn situatie. Door het te gebruiken in 4 verschillende situaties (vaste pc, laptop, server, HTPC) ben ik de meeste dingen al wel een keer tegen gekomen. Mijn vaste pc en laptop zouden net zo goed een "bloaded" distro als Ubuntu kunnen draaien, aangezien ik bijna alles compileer met de meeste opties aan. Alleen Xorg is op m'n machine aangepast, want ik heb nou eenmaal niks aan drivers voor bijv een andere video-kaart dan die in m'n pc/laptop zit. Maar vooral die HTPC is een oud beestje (AMD k6-2) met een klein OS-schijfje (3GB). Ik heb daar Debian op gehad, maar die ging door de depencies zoveel extra installeren wat ik nooit zou gebruiken, dat ik toch maar voor de lange compileertijd ben gegaan (het heeft me bijna een week van non-stop compileren gekost voor er o.a. Xorg en Mythtv opstond), maar waar ik wel het meest compacte systeem mee heb gebouwd met de kennis die ik nu heb. Momenteel ben ik bezig met een project dat TinyGentoo heet, waarmee ik het theoretisch klein genoeg moet kunnen krijgen om ruim onder de 1GB uit te komen (is wel zo prettig aangezien het op een cf-kaartje moet komen).
Maar dit is geheel off-topic, daarnaast is dit niet de plek om over een OS te discuseren en moet iedereen eigenlijk gewoon zelf weten wat ze draaien

Ontopic
Het mooie van Linux is dat je filesystems kan en mag mengen, dus pak je voor elke situatie gewoon het FS dat het beste past. De enige echte no-no is NTFS, omdat die gewoon nog steeds niet goed ondersteund wordt (buiten de schuld van de Linux community trouwens) en FAT door het bijna geheel ontbreken van gebruikersrechten (en daarnaast niet echt veilig is in verhouding met andere *nix FS-en).
Maar ik heb zelf ook een aantal maal gezocht naar wat ik nou het beste kon gebruiken, en het is niet echt heel makkelijk. Het enige wat ik zelf eigenlijk altijd doe, is ext2 voor de /boot (journaling is niet echt nodig op een partitie die eigenlijk alleen maar gelezen wordt) en ext3 of reiserFS voor m'n gewone partitie. Alleen op de eerder genoemde HTPC kreeg in na install een tip vanuit portage dat ik m'n portage dir beter op Reiser kon zetten (is ext3) in verband met de vele kleine bestanden in deze dir.
FS-en als XFS en JFS heb ik helemaal geen ervaring mee verder.

En tja, BSD, misschien kan je eerst netBSD proberen. Zij claimen zelfs op een broodrooster te werken

[nero355]

deepbass909 schreef op donderdag 12 oktober 2006 @ 10:18:
En tja, BSD, misschien kan je eerst netBSD proberen. Zij claimen zelfs op een broodrooster te werken

Zou me niks verbazen

_DH schreef op woensdag 11 oktober 2006 @ 17:05:
Die freebsd guru's zijn altijd te lui om te lezen

Heb ik gezien slimpie Maar als ik het goed begrijp heeft hij niet eens een poging gewaagd tot een installatie en dat vind ik weer een beetje flauw ... en welke BSD je pakt maakt niet uit wat mij betreft als het maar BSD is

[jealma]

Ok, ik ga OpenBSD 3.9 eens proberen, dat is de laatste stable. Ik ben er alleen bang voor. maar toch.

Hoe zitten de BSD varianten met filesystems? ik weet dat openbsd het 4.2BSD filesystem gebruikt, maar dat heb ik alleen maar getest op een virtual machine en een paar oude pc's niet op performance-systemen.

[ Voor 50% gewijzigd door jealma op 12-10-2006 18:54 ]

[Anoniem: 125106]

Als performance enigzinds belangrijk is voor jou, moet je zeker niet voor OpenBSD gaan.

[axis]

Ik ben pas net bezig met FreeBSD, maar die gebruikt standaard UFS2.. Voor wat zover heb gelezen superieur aan ext2 en ext3, maar goed, dat zullen vast geen objectieve artikelen zijn geweest..

Afgelopen jaren veel met Debian bezig geweest, maar ik wordt steeds verliefder op FreeBSD..

[jealma]

Anoniem: 125106 schreef op donderdag 12 oktober 2006 @ 19:07:
Als performance enigzinds belangrijk is voor jou, moet je zeker niet voor OpenBSD gaan.

Kun je dat nader toelichten? Het is toch "BSD" en iemand hiervoor zei dat het niet uitmaakte welke BSD je draait. Ik heb FreeBSD 6.1 ook nog wel ergens als ISO's, is dat een betere keus qua performance en filesystems?

[Anoniem: 125106]

Niet alle BSD's zijn gelijk, verre van.
Met name de performance van OpenBSD loopt een stuk achter op FreeBSD of linux.
Zowel op netwerk gebied, als op filesystem.

[webfreakz.nl]

Anoniem: 125106 schreef op donderdag 12 oktober 2006 @ 19:24:
Niet alle BSD's zijn gelijk, verre van.
Met name de performance van OpenBSD loopt een stuk achter op FreeBSD of linux.
Zowel op netwerk gebied, als op filesystem.

Waar zou je OpenBSD wél voor kunnen inzetten dan? Ik weet dat ze de focus op security leggen maar als netwerk/filesystem slecht is kan ik me geen taak bedenken

[MrBarBarian]

ik mis eigelijk het belangrijkste..

hoeveel io (onderverdeelt in read write) verwacht je met hoeveel users?

[Anoniem: 125106]

webfreakz.nl schreef op donderdag 12 oktober 2006 @ 20:00:
[...]


Waar zou je OpenBSD wél voor kunnen inzetten dan? Ik weet dat ze de focus op security leggen maar als netwerk/filesystem slecht is kan ik me geen taak bedenken

De netwerk stack en filesysteem zijn helemaal niet slecht, dat bedoel ik niet, maar de performance in het algemeen is gewoon minder goed.
Maar voor een firewall of gateway of dns server en dergelijke is het natuurlijk uitermate geschikt.
Voor alle taken waar security voorrang heeft op performance dus eigenlijk.
Meer info over performance van FreeBSD/OpenBSD/Linux2.4/Linux2.6

[jealma]

MrBarBarian schreef op donderdag 12 oktober 2006 @ 20:06:
ik mis eigelijk het belangrijkste..

hoeveel io (onderverdeelt in read write) verwacht je met hoeveel users?

Inderdaad een belangrijke vraag.
In principe ben ik dus de enige gebruiker

Het zit zo; ik gebruik een workstation en een laptop en soms een andere pc. Ik wil bij al mijn documenten, films, muziek en dergelijke kunnen en daar heb ik een fileserver voor staan. De huidige fileserver is een amd athlon xp2400; 1 terabyte opslag, gigabit netwerk, combinatie van IDE/SATA schijven. De performance van deze machine ligt niet zo hoog en er is totaal geen redundancy. Als er een disk uitvalt is de data daarop gewoon weg. Daarom dus een nieuwe server waar 5x500 gb in raid5 op draait.

Ik gebruik de fileserver eingelijk continue. Ik zet er backup's van mijn laptop en workstation op, ik stream films en muziek vanaf de fileserver naar mijn workstation en laptop. Dingen die ik download op mijn workstation/laptop moeten naar de fileserver. Laptop is 100mbit en telt eigenlijk niet mee. Ik vind het wel belangrijk dat ik vanaf mijn workstation naar de server een goede snelheid heb. De huidige lees & schrijfsnelheid zijn plusminus 40 MB/s via Samba en NFS.
Bij de nieuwe server verwacht ik niet alleen meer opslagruimte en redundancy, maar ook een verhoogde leessnelheid en iets verhoogde schrijfsnelheid.

Er is nog een 2e gebruiker maar die zal geen intensief gebruik maken van de fileserver; alleen af en toe een grote backup wegschrijven of iets bekijken.

[MrBarBarian]

jealma schreef op donderdag 12 oktober 2006 @ 21:20:
[...]


Inderdaad een belangrijke vraag.
In principe ben ik dus de enige gebruiker

Dat dacht ik al

Dus eigelijk is performance geen issue, net als cpu-load niet. Dus eigelijk komt het erop neer dat je een beetje met verschillende fs'en wil spelen

Zoals je als aangaf; reiser is goed in kleine files, ext3 in grote.... Dus reiser voor je OS (3.6 is zeker stabiel genoeg) en etx3 voor je mp3's/films?

LVM is vooral makkelijk als je flexibiliteit wil (extenden vooral en als je meerdere (kleinere) schijven wil gebruiken..

[jealma]

MrBarBarian schreef op donderdag 12 oktober 2006 @ 21:29:
[...]
Dus eigelijk is performance geen issue, net als cpu-load niet. Dus eigelijk komt het erop neer dat je een beetje met verschillende fs'en wil spelen

Zoals je als aangaf; reiser is goed in kleine files, ext3 in grote.... Dus reiser voor je OS (3.6 is zeker stabiel genoeg) en etx3 voor je mp3's/films?

Don't get me wrong, het is niet "een beetje met verschillende fs'en spelen". Het feit dat ik zo ongeveer de enige gebruiker ben wil niet zeggen dat ik een beetje aan het aanklungelen en spelen ben. Ik gebruik die fileserver wel dagelijks en omdat ik nog niet met volumes van 2+ terabyte heb gewerkt en omdat ik mijn huidige fileserver schijven in het ReiserFS formaat heb geformatteerd (wat dus zorgt voor een beetje vertraging) wil ik graag wat meer informatie over JFS en XFS. EXT3 valt eigenlijk zowiezo al af omdat het behoorlijk traag is qua performance; dat zie je in elke review, test en benchmark tussen EXT2, EXT3, ReiserFS, XFS en JFS. Waar het mij om gaat is of JFS en XFS betrouwbaar genoeg zijn om een volume van ruim 2 terabyte mee te formatteren en er belangrijke data op te zetten. Ik ben dan vooral geinteresseerd in het omgaan met inconsistency's, snelheid met grote bestanden, processorverbruik e.d.

Eventueel is FreeBSD een optie als het draait op mijn server. Het verhaal met ports en het packagemanagement van FreeBSD spreekt me eigenlijk wel aan, omdat het (waarschijnlijk) net zo makkelijk, zo niet makkelijker, te gebruiken als het apt-get systeem van debian/ubuntu. Maar in het geval van FreeBSD moet ik me dus ook gaan verdiepen in verschillende bestandssystemen voor dat OS, omdat we natuurlijk wel dat volume van 2 tb moeten indelen en gebruiken.

[axis]

Voor FreeBSD heb je volgens mij niet zoveel keus qua filesystems.. Je kunt voor UFS of UFS2 gaan (Unix FileSystem), en met of zonder zogenaamde soft-updates.. 2+ TB moet geen enkel probleem zijn... UFS is schijnbaar zo goed en uitontwikkeld, dat er niet eens de behoefte is om andere filesystems te ondersteunen, als ik de FreeBSD community moet geloven.

http://en.wikipedia.org/wiki/Unix_File_System
http://en.wikipedia.org/w...on_of_file_systems#Limits

Woei, UFS2 zou 1 Yottabyte moeten ondersteunen (1,208,925,819,614,629,174,706,176 bytes)

[ Voor 21% gewijzigd door axis op 12-10-2006 22:26 ]

[Anoniem: 125106]

jealma: als je ext3 met een stuk of 2 commando opties tweakt, is de performance wel vergelijkbaar met Reiser/XFS. En een pak stabieler imho.
Meer info hier op het gentoo forum

[jealma]

Anoniem: 125106 schreef op donderdag 12 oktober 2006 @ 22:45:
jealma: als je ext3 met een stuk of 2 commando opties tweakt, is de performance wel vergelijkbaar met Reiser/XFS. En een pak stabieler imho.
Meer info hier op het gentoo forum

Hmz, ik heb het idee dat het gewoon een zootje bashers is daar op dat gentoo forum. Bijna elke gebruiker gebruikte daar eerst ReiserFS (3.6), XFS en sommige JFS. Allemaal zijn ze "ineens, na jaren gebruik van reiserfs en xfs" overgestapt naar ext3. Velen hebben last van instabiliteit met reiserfs (t'is rockstable), ronkende hardeschijven met xfs (dat is blijkbaar ineens over met ext3) en dat soort dingen. Ik vind het niet errug geloofwaardig als ik eerlijk mag zijn. Bovendien wijst elke op internet vindbare benchmark uit dat ext3 hopeloos traag is in vergelijking met reiserfs, xfs en jfs. Niet dat het een slecht filesystem is, integendeel. T'is natuurlijk al wel jarenlang het default filesystem voor een berg linuxdistro's en de performance is ook wel redelijk, maar niet om over naar huis te schrijven.

Edit: een paar quotes uit dat gentoo-forum hieronder.

You are absolutely right about ext3 and full journal mode. I have several systems running a combination of XFS and ReiserFS and my main workstation has used both for various periods. Recently I backed up my workstation and switched to ext3 with full journal and have to report that the performance is nothing short of amazing! I also don't 'notice' disk access as much as I used to with XFS or ReiserFS, ext3 appears to be much smoother with disk access not interrupting normal workstation activity during heavy usage.

Now my super-ext3-home reads smooth. The rest of my fs's are reiserfs, I think I'm gonna try, since I really prefer a hard-stable system, and ext3 if for me the best fs all over the world when it comes to reliability.

I've had horrible experiences with reiser3 on my x86 ATA system though, I've found that I'd install and literally three to four boots down the line my fs would be hosed. Their fsck tools are no guarantee for safety, either, they barely helped at all, at best they just chocked EVERYTHING in /lost+found. ext3 on the same system performed pretty much on the same level.

Furthermore I am now also convinced of using ext3 instead of reiserfs, so hope to see some more performance options

I tried this out and the results were not at all promising.

tevens werd door de TS van dat topic de volgende stelling gedumpt:

You don't need to defragment ext2/ext3 because as you use the filesystem file blocks and inodes are moved around and reallocated to keep the data nearly contiguous. It's not perfect, but it works fairly well and you should almost never see a performance degradation caused by the filesystem's fragmentation.

iemand heeft die stelling laten controleren door een developper van ext3 en die zei dat het complete nonsense was.

I posed this statement to the ext3 mailing and asked if it were true. One of the ext3 developers, Theodore Ts'o, responds...

No, not true. (At least not today)

[ Voor 47% gewijzigd door jealma op 12-10-2006 23:20 ]

[ppl]

_DH schreef op woensdag 11 oktober 2006 @ 14:44:
Zeker wel! en ze zijn al meteen met een heel interessant project bezig, genaamd upstart, een sysvinit vervanger.

Niet "al meteen" want ze bestaan al weer een jaartje of 2
Wat ze nu sinds edgy eft doen is inderdaad veel nieuwe projecten. Deze zijn overigens allemaal gericht op desktops en niet op servers. Het is nog maar de vraag wat een server heeft aan upstart. Servers wil je juist zo weinig mogelijk rebooten en als je ze reboot dan plan je dat.

Verder kan Ubuntu best bestaan zonder Debian, omdat het praktisch gezien gewoon en fork is. Overigens denk ik niet dat Debian zal verdwijnen, omdat er genoeg ontwikkelaars hun hart aan hebben verpand.

Gezien hun doelstellingen (die neerkomen op het verbeteren en bijdragen aan Debian) is dat dus beslist niet mogelijk en zijn ze verre van onafhankelijk van Debian.

Ik reageerde hierboven alleen om aan te geven dat het kolder is dat je Ubuntu niet op een server zou gebruiken.

Dat is geen kolder, dat is (deels) terecht. Zoals hieronder ook door r3boot wordt aangegevenis Ubuntu nog niet een proven technology op servergebied en de vraag is of dat uberhaupt zo gaat worden gezien de focus op desktops. Als dit een thuisservertje is waar je veel mee kunt klootviolen dan maakt dat dus allemaal geen ruk uit. Het is dus ook de toepassing en belangrijkheid die bepaald of het roepen dat Ubuntu niet op een server zou moeten kolder is of niet.

Anoniem: 13055 schreef op woensdag 11 oktober 2006 @ 14:57:
Zoals _DH ook al zegt, ubuntu is een fork van debian en werkt dus onafhankelijk van debian.

Bekijk voor de gein ook eens de doelstellingen van Ubuntu. Kun je bijv.vinden dat ze Debian willen verbeteren. Werkt het dus onafhankelijk van Debian? Absoluut niet want dan wordt het wel heel erg moeilijk om hun doelstellingen te halen.

Combineer hierbij het feit dat debian z'n release manager niet kan betalen waardoor de nieuwe stable die geplanned is in afaik december waarschijnlijk niet zn deadline gaat halen plus de huidige ruzie met Mozilla.

Wat was Ubuntu's standpunt hierover ook al weer? Owja, ze nemen dezelfde standpunten over van Debian m.b.t. vrije software en zij zullen dan ook geen Firefox meer leveren. Sterker nog, het is Mozilla geweest die de afspraken die ze met Debian hierover hebben gemaakt hebben verbroken. Als dat ook allemaal op papier is vastgelegd kan zoiets dus ook juridische gevolgen hebben voor Mozilla. Het is dus uiteindelijk het probleem van Mozilla en niet dat van Debian.

Debian zal altijd wel z'n die-hard userbase blijven behouden en het zal nog een hele tijd gaan duren voordat de ISP's/hosters die debian massaal gebruiken over zullen gaan naar ubuntu, maar het heeft z'n beste tijd gehad. Ubuntu was wdb precies op de juiste plaats op het juiste tijdstip.

Er zijn anders zat mensen die zeer tegen het gebruik van al die geautomatiseerde dingen als sudo zijn omdat ze dit een security risk vinden. De manier waarop Ubuntu met sudo omgaat is niet goed voor je security. Zodra je remote een useraccount buit hebt gemaakt kun je dus proberen of sudo werkt en zodra dat werkt kun je meteen het root account weer opengooien, etc. etc. etc. Dat scenario zal waarschijnlijk niet snel voorkomen maar het kan. Daarnaast is het nu al zo dat men een fout wist te maken in een installer waardoor passwords plain text werden opgeslagen en zijn er bij een LTS release 2 brakke updates in het updatemechanisme terecht gekomen terwijl die daar niet hadden mogen zitten. Gelukkig waren ze van dusdanige aard dat ze makkelijk te repareren waren en ook snel gerepareerd en vervangen werden door Ubuntu zelf maar dit heeft ze zeker in een kwaad daglicht gezet. Voor een aantal users zal Ubuntu nog aardig wat moeten bewijzen op gebied van security. Dan hebben we nog het feit dat Ubuntu zich hoofdzakelijk richt op de desktop versie en niet op de server versie. Ik heb er een zeer hard hoofd in dat Ubuntu uberhaupt in de buurt kan komen van Debian. Die weg is lang...heel erg lang. Ze zijn weer wel goed bezig door dingen als officieel support voor de Sun T1 processor binnen te slepen. Opzich ook wel bedenkelijk aangezien Sun weer in zo'n positie zit dat ze met wie dan ook in zee gaat die zich aanbiedt.

deepbass909 schreef op donderdag 12 oktober 2006 @ 10:18:
@Jealma
Opzich heb je gelijk dat je alles zelf kunt compileren. Het nadeel is wel dat je daarmee bijna altijd uit je package-tree stapt en daarmee updates e.d. met hand moet gaan bijhouden.

Het voordeel van Debian en Ubuntu is dat je op deze machines alles mooi kunt compileren om er daarna een .deb package van te bouwen. Die .deb package kun je dan installeren, distribueren, etc.
Daarmee heb je dus bij lange na niet de problemen die je hebt wanneer je er geen .deb package van bouwt. Je zult uiteraard wel je eigen .deb packages moeten onderhouden maar dat is niet zo'n probleem en dat nadeel zal ook niet opwegen tegen de voordelen.

jealma schreef op donderdag 12 oktober 2006 @ 18:52:
Ok, ik ga OpenBSD 3.9 eens proberen, dat is de laatste stable. Ik ben er alleen bang voor. maar toch.

Hoe zitten de BSD varianten met filesystems? ik weet dat openbsd het 4.2BSD filesystem gebruikt, maar dat heb ik alleen maar getest op een virtual machine en een paar oude pc's niet op performance-systemen.

Afhankelijk van de architectuur draaien die allemaal een variant van FFS namelijk UFS. In geval van FreeBSD is dat UFS2+S (de s staat voor softupdates wat je zou kunnen vergelijken met een journal).
FFS is overigens het aloude en welbekende UNIX filesystem. De BSD varianten zoals FreeBSD en OpenBSD zijn veel meer een UNIX dan dat Linux is en daarom tref je er ook veel vaker UNIX dingetjes erin aan. Het hele partitioneren is daar al een voorbeeld van. De reden dat men slices gebruikt en binnen een slice de partities aanmaakt zit hem in het feit dat een PC een maximum kent van het aantal primaire partities. De UNIX machines kennen dat niet. Om nog enigzins compatible te zijn hebben ze bedacht dat ze een slice kunnen maken om binnen die slice naar hartelust te partitioneren. Een slice is dus een primaire partitie zoals de rest van de PC het ziet. Er staat overigens een prachtig verhaal over deze dingen in het handbook op de FreeBSD site maar ook op Wikipedia (zie de links die axis geeft) en in het boek "The Complete FreeBSD" die tegenwoordig gratis is te downloaden bij de schrijver: Greg Lehey (normaliter kost het boek je iets van 40 euro ofzo).

jealma schreef op donderdag 12 oktober 2006 @ 21:45:
Eventueel is FreeBSD een optie als het draait op mijn server. Het verhaal met ports en het packagemanagement van FreeBSD spreekt me eigenlijk wel aan, omdat het (waarschijnlijk) net zo makkelijk, zo niet makkelijker, te gebruiken als het apt-get systeem van debian/ubuntu. Maar in het geval van FreeBSD moet ik me dus ook gaan verdiepen in verschillende bestandssystemen voor dat OS, omdat we natuurlijk wel dat volume van 2 tb moeten indelen en gebruiken.

Het packagemanagement in FreeBSD kun je op 2 manieren doen: je installeert alles vanuit de portstree wat dus inhoudt dat je wat source download en die vervolgens gaat lopen compilen en dan klaar. Je kunt er echter ook voor kiezen om binaries te gebruiken zodat je heel wat rapper klaar bent omdat je niet hoeft staan te compilen. Je hebt hierbij echter geen instelmogelijkheden en dat kan een nadeel zijn. Het allermooiste aan FreeBSD is het feit dat je beide door elkaar kunt gebruiken en dat dit geen gevolgen heeft voor een systeemupdate. Voor het systeem en het update van het systeem maakt het geen moer uit of iets nou vanuit de ports is geinstalleerd of dat het om een binary gaat.

Voor wat filesystems betreft is het verhaal erg kort te houden: zelf gebruikt het maar 1 filesystem en dat is UFS2 die je zowel met als zonder softupdates kunt gebruiken. Als je softupdates kunt gebruiken is dat trouwens aan te raden. Dit filesystem kan overgens met 64 bit adressering omgaan dus 2 TB is geen probleem.

[JackBol]

ppl schreef op vrijdag 13 oktober 2006 @ 00:05:
Het is nog maar de vraag wat een server heeft aan upstart. Servers wil je juist zo weinig mogelijk rebooten en als je ze reboot dan plan je dat.

Upstart doet meer dan alleen het booten van een systeem. Het is een dynamische lader. Dynamisch in de zin van alles wat veranderd. En ook servers leven tegenwoordig in een dynamische omgeving. Bijv. inetd en cron. Hier kan upstart ook voor gebruikt worden.

[deepbass909]

@ppl
tnx voor de onderbouwing van mijn stellingen. Ik wist dat het zo lag, maar ik ben te weinig thuis in Debian/Ubuntu om het zo stellig te kunnen verwoorden (tja, ben dan ook Gentoo fan )

@ts
als ik het goed begrijp, wil jij je fileserver als externe opslag gebruiken, die zo transparant mogelijk werkt (dus zowel wat mount-punten betreft als prestaties) en wil je dus eigenlijk geen verschillen kunnen merken of je iets lokaal of extern opslaat?

[MrBarBarian]

deepbass909 schreef op vrijdag 13 oktober 2006 @ 10:11:
@ts
als ik het goed begrijp, wil jij je fileserver als externe opslag gebruiken, die zo transparant mogelijk werkt (dus zowel wat mount-punten betreft als prestaties) en wil je dus eigenlijk geen verschillen kunnen merken of je iets lokaal of extern opslaat?

Ik snap sowieso niet wat TS wil. Zover ik kan zien wil hij een fileserver vooor muziek/films. Hij zal zelf de enige gebruiker zijn. Daar zet hij (naar verhouding) een enorme CPU tegenover en maakt zich zorgen over minimale delay wat betreft read/write performance.

Volgens mij vergeet hij echter dat zijn server niet de grote bottelneck gaat zijn, maar wel zijn netwerk (100 megabyte/sec theoretisch max!) en client (denk aan starten applicatie en buffering).

Daarnaast maakt hij zich zorgen over de consistency van zijn data, terwijl het gehele filesystem niets te verduren krijgen. 2 TB is best veel data, maar heus niet meer extreem tegenwoordig

[jealma]

deepbass909 schreef op vrijdag 13 oktober 2006 @ 10:11:
@ts
als ik het goed begrijp, wil jij je fileserver als externe opslag gebruiken, die zo transparant mogelijk werkt (dus zowel wat mount-punten betreft als prestaties) en wil je dus eigenlijk geen verschillen kunnen merken of je iets lokaal of extern opslaat?

Het geen veschillen merken tussen lokaal of extern opslaan is voor mij inderdaad belangrijk, maar alleen vanuit performance oogpunt. De externe opslag hoeft niet meteen gemount te worden als een onderdeel van de directorystructuur en ik vind het geen probleem om naar een shared folder te browsen ipv een local folder.

MrBarBarian schreef op vrijdag 13 oktober 2006 @ 10:29:
[...]

Ik snap sowieso niet wat TS wil. Zover ik kan zien wil hij een fileserver vooor muziek/films. Hij zal zelf de enige gebruiker zijn. Daar zet hij (naar verhouding) een enorme CPU tegenover en maakt zich zorgen over minimale delay wat betreft read/write performance.

Volgens mij vergeet hij echter dat zijn server niet de grote bottelneck gaat zijn, maar wel zijn netwerk (100 megabyte/sec theoretisch max!) en client (denk aan starten applicatie en buffering).

Daarnaast maakt hij zich zorgen over de consistency van zijn data, terwijl het gehele filesystem niets te verduren krijgen. 2 TB is best veel data, maar heus niet meer extreem tegenwoordig

Het lijkt me dat ik aardig duidelijk heb gemaakt wat ik wil: Ik heb een fileserver en die gebruik ik voor vanalles, voornamelijk opslag van films, muziek en backup's. Ik wil graag weten wat het "beste" (voor mijn geval) filesystem is voor een volume van ongeveer 2 terabyte. Het is inderdaad niet extreem veel ofzo, maar het is wel belangrijk dat ik de goede keuze maak, omdat er veel belangrijke bestanden op komen te staan. En die 100 megabit/sec theoretische max is 1000 megabit/sec, want ik heb gigabit. Ik kan nu het verschil in performance merken tussen XFS en reiserfs op een losse schijf wat betreft het lezen en schrijven van grote bestanden (tussen de 700 en 4700 mb).

De tweede discussie die zich heeft ontwikkeld is de discussie over het besturingssysteem, wat initieel niet mijn bedoeling was omdat ubuntu voor mij 100% voldoet als besturingssysteem voor deze server. Alleen uit performance-oogpunt voor NFS "zegt men" dat de prestaties onder FreeBSD veel beter zijn. Dan wil ik dat uiteraard wel uitproberen en als dat zo blijkt te zijn, dan kan ik overwegen om over te stappen naar FreeBSD. Als de performance gelijk of minder is blijf ik bij Ubuntu.

De derde discussie die jij nu opstart, is de stelling dat mijn cpu/hardware overkill is voor wat ik er mee doe. Je vergeet (waarschijnlijk) echter dat ik er vanalles mee doe, waaronder torrents downloaden, ftp, webserver en meer. FTP en webserver trekken geen performance, maar samba en torrents kregen mijn vorige systeem in extreme gevallen wel op de knieen en was de load boven de 2.0. Daarom dit systeem, en omdat de E6400 een goedkope dual-core cpu was, met 64-bit extensies en goed te overklokken, heb ik besloten om die maar aan te schaffen. Eventueel wil ik ook vmware server gaan draaien zodat ik via mijn workstation de virtual machines op de server kan beheren. Denk je dan nog dat een xp2400 met 512 mb ram geweldige prestaties gaat geven?

[MrBarBarian]

jealma schreef op vrijdag 13 oktober 2006 @ 11:24:
En die 100 megabyte/sec theoretische max is 1000 megabyte/sec, want ik heb gigabit.

bit != byte

Maar ik probeer geen derde discussie op te starten over je cpu. Als jij die wil, have fun with it! Ik denk alleen dat je je zorgen maakt over onderwerpen die lang niet zo belangrijk zijn.

Mijn punt is: je bent een zeer low end thuis gebruiker (no offense hoor! Ik ben exact hetzelfde bij mij thuis). de vragen waarmee je komt zijn, naar mijn mening, pas relevant als je professioneel iets neer wil gaan zetten, waarbij het absoluut vereist is dat alles maximaal gaat performen.

[ Voor 53% gewijzigd door MrBarBarian op 13-10-2006 11:32 ]

[jealma]

Dat klopt, maar ik ben wat dat betreft een perfectionist. En waarom niet wat tijd steken in het zoeken naar een goed filesystem als dat veel kan schelen?

Ik denk dat ik maar voor XFS ga voor die 2tb partitie, en JFS/ReiserFS voor de root partitie. Ik hoor veel goede geruchten over XFS, plus dat het al een tijdje op de markt is en behoorlijk stabiel.

[Berik]

Even een ander vraagje over FileSystems:
Er wordt vaak gezegd dat een FS vooral geschikt is voor grote of kleine bestanden, maar waar ligt die grens van groot/klein?
Zelf vind ik een mp3'tje een klein bestand (ongeveer 5-10MB)
Maar als ik iets over FS'en lees, hebben ze het vaak over config bestanden e.d. van een paar KB en over grote bestanden als ISO's, maar bijna nooit over wat er tussen ligt.

Dus wanneer is een bestand groot of klein?

[jealma]

Naar wat ik heb gelezen, noemen ze kleine bestanden (waar ReiserFS voornamelijk geschikt voor is) zo tussen de 1 en 100 kb en dan vooral rond de 4 kb enzo. Bij XFS noemen ze grote bestanden de bestanden die een paarhonderd mb of meer zijn. Beetje verwarrend dus.

[Jk_W]

Misschien niet geheel voor jou van toepassing (het is nog niet stabiel), maar zeker wel even het melden waard in dit topic over filesystems; Ext4 is beschikbaar!

Het zit in de nieuwe kernel release candidat en nadere specs zijn op Linux-Watch te vinden.
_{Tevens mijn bron}

De stable komt pas over 6 tot 9 maanden, dus werkbaar voor een stabiel systeem is het niet, maar een vermelding in dit topic verdient dit, "vers van de pers" systeem wel.

[deepbass909]

@Berik
Vanuit een FS standpunt is een bestand van >1MB groot. Dit beslaat al een groot aantal clusters.
Waar je bij een dergelijk FS ook rekening mee moet houden, is dat een FS per MB een beperkt aantal inodes beschikbaar heeft. Een inode is een plek waar een FS gegevens over een bestand in opslaat (bijv fysieke adressering in de partitie). Door de beperkte hoeveelheid inodes kan een schijf met veel kleine bestanden en een verkeerd FS toch volraken, zonder dat alle MB's zijn opgebruikt. Andersom kan het je ook tegenwerken. Als je een FS hebt met veel inodes, maar er relatief weinig bestanden op plaatst, verspil je ruimte aan ongebruikte inodes.
Als je vervolgens ReiserFS met ext2/3 vergelijkt, dan zul je zien dat ReiserFS relatief veel inodes heeft en ext3 weinig.
Let wel, dit is slechts 1 van de vele verschillen tussen beide FS-en, maar geeft je een beetje een idee waarom Reiser beter is voor veel kleine bestanden, en ext3 voor minder, maar grotere bestanden.

[Sir Isaac]

Het aantal blocks per inode kun je specificeren als je een bestandssysteem aanmaakt. Daar ligt dus niet het verschil tussen Ext(2/3) en ReiserFS. Het belangrijkste (subjectief) verschil is dat je bij ReiserFS meerdere files in een blok kunt proppen. Bij Ext2/3 verspil je daardoor gemiddeld een half blok, dus 2kB, per file. Met 100.000 files zijn dat dus 200 Mb's, en dat is toch jammer.

[Anoniem: 125106]

Ja, dat je op een terabyte aan schuifruimte enkele honderden megabyte's minder hebt is echt wel belangrijker dan de veiligheid van je data.

[Sir Isaac]

Op een terabyte schijfruimte heb je vermoedelijk meer dan die 100.000 files. Verder is veiligheid geen onderscheidend criterium tussen ext3 en reiserfs, en was mijn post een reactie op die van deepbass909 over het aantal inodes.

[Anoniem: 125106]

Sir Isaac schreef op vrijdag 13 oktober 2006 @ 16:55:
Op een terabyte schijfruimte heb je vermoedelijk meer dan die 100.000 files. Verder is veiligheid geen onderscheidend criterium tussen ext3 en reiserfs, en was mijn post een reactie op die van deepbass909 over het aantal inodes.

Nochtans dacht ik dat het een algemeen aanvaard feit was dat ext3 toch echt wel een stuk stabieler en beter ondersteund is dan reiserfs?
OpenSUSE heeft toevallig vandaag aangekondigt van reiserfs te zullen afstappen, en ext3 "by default" te gebruiken.

[Jesse]

Anoniem: 125106 schreef op vrijdag 13 oktober 2006 @ 17:08:
[...]
Nochtans dacht ik dat het een algemeen aanvaard feit was dat ext3 toch echt wel een stuk stabieler en beter ondersteund is dan reiserfs?
OpenSUSE heeft toevallig vandaag aangekondigt van reiserfs te zullen afstappen, en ext3 "by default" te gebruiken.

Volgens mij vergeet je wel even dat SUSE (een van DE twee grote linuxdistributeurs, al jarenlang toonaangevend op de desktop, pionier wat betreft Enterprise versies en het Linux 'naar het bedrijfsleven brengen') jarenlang ReiserFS als default gebruikt heeft, en dat is ook echt niet zonder reden.
Die overstap heeft waarschijnlijk meer met de toekomst dan met het verleden te maken. Zie ook het frontpage artikel en de reacties (incl. links) daar.

[ Voor 9% gewijzigd door Jesse op 13-10-2006 19:02 ]

[ppl]

_DH schreef op vrijdag 13 oktober 2006 @ 00:22:
Upstart doet meer dan alleen het booten van een systeem. Het is een dynamische lader. Dynamisch in de zin van alles wat veranderd. En ook servers leven tegenwoordig in een dynamische omgeving. Bijv. inetd en cron. Hier kan upstart ook voor gebruikt worden.

Als ik de ervaringen zo lees op ubuntuforums.org is het nog maar de vraag of het wel voordelen biedt t.o.v. het huidige systeem. Er zijn niet veel mensen die daadwerkelijk een verschil zien.
Het ligt ook aan wat je met die server wil gaan doen ofiets als upstart wel nut heeft of niet vandaar dat ik zeg dat dit nog maar de vraag is. Het is ook een zeer jonge techniek nog dus erg veel kun je er nog niet van zeggen, de vraag of het geschikt is voor een server blijft dan ook open. Time will tell.

jealma schreef op vrijdag 13 oktober 2006 @ 11:24:
De derde discussie die jij nu opstart, is de stelling dat mijn cpu/hardware overkill is voor wat ik er mee doe. Je vergeet (waarschijnlijk) echter dat ik er vanalles mee doe, waaronder torrents downloaden, ftp, webserver en meer. FTP en webserver trekken geen performance, maar samba en torrents kregen mijn vorige systeem in extreme gevallen wel op de knieen en was de load boven de 2.0. Daarom dit systeem, en omdat de E6400 een goedkope dual-core cpu was, met 64-bit extensies en goed te overklokken, heb ik besloten om die maar aan te schaffen. Eventueel wil ik ook vmware server gaan draaien zodat ik via mijn workstation de virtual machines op de server kan beheren. Denk je dan nog dat een xp2400 met 512 mb ram geweldige prestaties gaat geven?

Ik heb hier het idee dat je onwijs veel met je hardware wil doen en je hierdoor ook een hoge load krijgt. Ik vraag me dan af in hoeverre je dan nog profijt hebt van een filesystem als XFS. Ga je dat uberhaupt nog wel merken? De andere extreme is dat je helemaal niets doet met de hardware (of bijna niets dan). In dat geval zou de performance die je merkt ook kunnen komen doordat de hele machine gewoon heel wat rapper is. De vraag is ook hier weer:ga je die extra performance die het met zich mee zou moeten brengen merken?

[jealma]

ppl schreef op vrijdag 13 oktober 2006 @ 21:11:
Ik heb hier het idee dat je onwijs veel met je hardware wil doen en je hierdoor ook een hoge load krijgt. Ik vraag me dan af in hoeverre je dan nog profijt hebt van een filesystem als XFS. Ga je dat uberhaupt nog wel merken? De andere extreme is dat je helemaal niets doet met de hardware (of bijna niets dan). In dat geval zou de performance die je merkt ook kunnen komen doordat de hele machine gewoon heel wat rapper is. De vraag is ook hier weer:ga je die extra performance die het met zich mee zou moeten brengen merken?

Onwijs veel met mijn hardware willen doen is overdreven, maar ik vind het zowiezo leuk om de laatste hardware te testen op snelheid en bovendien ben ik met de huidige setup redelijk goed voorbereid op de toekomst. Zoals ik eerder al zei, ik heb de server niet speciaal vernieuwd om de performance op te krikken, maar om redundancy en meer opslagruimte te krijgen (ik heb dat schreeuwend nodig). Omdat ik het raid5 volume dan moet partitioneren (heel makkelijk 1 partitie van 2 tb) kan ik het beste eerst gaan kijken naar een filesystem dat een goede performance geeft met de bestanden die ik er voornamelijk op zet; grote bestanden in dit geval.

[jealma]

Wow, ik heb de eerste 4 hdd's binne. Type is Western Digital Caviar RE2 WD5000YS 500GB, 7200 RPM, SATA300, NCQ, 16 MB cache. Een 5e hdd komt maandag binnen.

Individueel doen de hardeschijven met "hdparm -tT /dev/sdx" ongeveer 70 MB/s, wat een stuk beter is als de 57 MB/s van mijn maxline III en DM9plus schijven.

Op dit moment heb ik een raid 5 array gemaakt onder linux (/dev/md0) en die is nu aan het rebuilden (standaard word een raid-5 array onder linux degraded gemaakt). Het rebuilden neemt minder dan 10% cpu op 1 core in beslag dus daar ben ik wel tevreden over. een "hdparm -tT /dev/md0" geeft een doorvoersnelheid van 150MB/s op in degraded modus. Ik ben dus al tevreden. Waarschijnlijk haal ik met een cleane raid-5 array van 4 schijven rond de 200 MB/s en een cleane raid-5 array met 5 schijven moet daar wel een eindje overheen komen.

Ik ga, als de array met 4 schijven gebuild is, deze formatteren met XFS en dan eens even testen welke snelheden ik over Samba en NFS haal.
Operating system is Ubuntu 6.06 LTS i386. Uiteraard ga ik ook nog testen met de 64-bit versie.

[Anoniem: 125106]

200mbyte/sec, dat is fantastisch!
Vooral als je bedenkt dat een gigabit lan verbinding misschien 100mbyte/sec kan vervoeren in het beste geval
Ik neem aan dat je zelf misschien ook wel beseft dat je hardware specs onwijs overkill zijn voor een fileserver?

[ Voor 27% gewijzigd door Anoniem: 125106 op 14-10-2006 20:08 ]

[jealma]

haha, wel als ik de server alleen als fileserver zou gebruiken idd. Maar ik draai er ook ftp, webserver, NFS, mysql e.d. op. Als de server goed draait, ben ik van plan om mijn firewall (een pentium II met IPcop) weg te doen, en IPcop in een VM te gaan draaien om zo wat stroom te besparen en het kabaal van de hardeschijf van die firewall kwijt te raken. 1 VM zal nog wel meevallen qua specs, maar toch, ik houdt wel van een snel systeem en hier kan ik lekker mee vooruit.

Het prijsverschil tussen een amd64 en een core2duo E6400 is zo weinig dat ik liever de nieuwste technologie heb. Bovendien bieden mobo's met socket 775 wel de beste features voor een goede fileserver (6 SATAII 300 aansluiting; 2x gbit lan; PCI-E X16 voor een eventuele extra raid-controller van areca).

[Anoniem: 125106]

Okido. In ieder geval, iets waar je niet buiten kan, is dat je zelfs 100megabyte/sec voor zover ik weet niet kan voltrekken met gigabit lan.

[MrBarBarian]

jealma schreef op zaterdag 14 oktober 2006 @ 20:28:
1 VM zal nog wel meevallen qua specs, maar toch, ik houdt wel van een snel systeem en hier kan ik lekker mee vooruit.

Je kan wel meer dan 1vm draaien als je wil hoor De enige beperking is het geheugen (maar dat is altijd uitbreidbaar). Ik heb om het moment 5 Xen vm's draaien op een sempron 2600+ met 1 GB. Zosnel ik meer geheugen heb worden het er meer..

Aangezien jij een veel snellere cpu hebt zal je performance penalty voor het draaien van een vm minimaal zijn.

[jealma]

Hmz, ik draai toch linux op mijn workstation. Mischien ga ik mijn server wel als workstation gebruiken. Kijken hoe dat zit en of dat een beetje fijn werkt. De specs zijn iiv wel goed, behalve de videokaart, maar die heb ik toch niet nodig onder linux

[jealma]

Ik heb nu dus 4 schijven in software raid5 onder linux.
Ik heb deze array aangemaakt onder een bestaand ubuntusysteem met het volgende commando:

code:

mdadm --create /dev/md0 --level=5 --raid-devices=4 /dev/sdb /dev/sdc /dev/sdd /dev/sde

Volgens mij heb ik nu de hele hardeschijf als raid voor elke schijf (dus sdb, sdc, sdd, sde) in plaats van een partitie. Als ik tijdens de installatie een raid5 array aanmaak, moet ik eerst de hardeschijf partitioneren met een raid partitie van het type "Linux Raid Autodetect". Daarna kan ik in de raid-setup het raid-level kiezen en er de raid partities aan toewijzen. Na afloop heb ik dus een hardeschijf met een partitie als raid.

Wat is de beste keus, de hele hardeschijf als raid (met mdadm) of via de ubuntu setup een partitie voor raid maken en dan een array maken? Het is trouwens ook mogelijk om met mdadm een partitie in raid te zetten. Dan maak ik eerst met cfdisk een partitie van het type "FB Linux Raid Autodetect" en inplaasts van het initiele commando, gebruik ik dan:

code:

mdadm --create /dev/md0 --level=5 --raid-devices=4 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1

Hoort het zo of zoals ik het eerst heb gedaan?

[jealma]

Zo ff een laatste post:

Ik heb alle vijf schijven nu in software raid5 onder linux.
Voor elke schijf heb ik een partitie gemaakt van het type "Linux Raid Autodetect" en deze vijf partities toegewezen aan /dev/md0. Maximum snelheid ligt rond de 180 MB/s dus da's veel meer als het theoretische maximum van gigabit netwerk. Op deze array heb ik 1 partitie gemaakt van het type XFS waar ik alles op heb gezet.
Ook heb ik een drive-failure gesimuleerd, die perfect werd opgevangen. Daarna de schijf uit de array getrokken en er weer bij in gedaan waarna het rebuilden van start ging. Het herbouwen van 2TB duurt ongeveer 3.5 uur. Al met al ben ik zeer tevreden over zowel de prestaties als betrouwbaarheid als gebruiksgemak.

[Anoniem: 47671]

Even terug naar de oorspronkelijke vraag: wat is er mis met IBM en dus JFS? Werk(te) perfect onder OS/2, doet al jaren trouw dienst onder AIX en is al een poosje beschikbaar voor linux. IBM doet al jaren veel goed voor linux (en java) en vraagt daar niets voor terug. Nergens iets gelezen dat het niet zou deugen of dat er geen goede prestaties mee gehaald worden. Snap ik niet....