Welk filesystem voor grote array

[Tha Ra]

Hallo, ik ben bezig een NAS te bouwen: 8 500Gb schijven op een Highpoint controller, en een losse 80Gb schijf als OS-disk, Athlon 3000+, 1Gb RAM. Het hele zooitje komt op Ubuntu te draaien. Alleen weet ik nog niet welk filesystem ik voor de array moet kiezen. Ik zat te denken aan EXT3, ReiserFS, JFS of XFS. Ik las dat bij een stroomstoring er bestanden corrupt raken op een XFS-partitie, terwijl dat met Reiser en EXT niet zo is Ik heb geen UPS dus ik vindt het wel belangrijk dat mijn data een beetje veilig is daarvoor. Snelheid is verder geen issue omdat het gigabit-linkje sowieso de botleneck is.
Welk fs raden jullie aan?

[_JGC_]

XFS heeft leuke performance, maar verder zou ik er ver van weg blijven: bij stroomuitval zijn je bestanden getruncate en bij filesystem corruptie ben je aangewezen op instabiele tools die vaak de boel niet weer voorelkaar kunnen krijgen en je uiteindelijk alsnog kunt formatteren.
Reiserfs... tja, v3 is oud, v4 zit niet in de kernel. Veel ontwikkeling is er ook al niet meer in, en sinds Hans opgepakt is, hebben een aantal grote distributies Reiserfs aan de kant gezet.
JFS heb ik heel erg weinig ervaring mee. Ik vond het niet een speciaal filesystem, maar heb er ook nooit problemen mee gehad.

Persoonlijk zou ik gewoon op safe met Ext3 spelen, of evt Ext4 als je wat meer snelheid wilt. Op mijn werk gebruik ik gewoon ext3 voor 6.8TB arrays.

[Keiichi]

ReiserFS zou ik niet kiezen, meneer reiser, die het meest verstand ervan heeft, moet nogal wat jaartjes brommen.

Waarom zou je een 'excotisch' bestandssysteem voor je NAS willen pakken? Ik heb een NAS (zelfde config als jou, alleen software raid) met EXT3 en die werkt goed hard door. (Gbit is de eerste bottleneck, daarna de processor )

Met een enkele Xeon 2.8ghz (oude xeon), schrijft ie ongeveer 90 to 100Mbytes/sec weg en lees 300 tot 360Mbytes/sec

[ Voor 14% gewijzigd door Keiichi op 02-09-2009 20:42 ]

[Verwijderd]

Als er echt belangrijke data op staat zou een UPS sowieso geen overbodige luxe zijn.
Ook een controller met batterij zodat ie de data in het geheugen een tijd kan vasthouden bij stroomuitval.

[Keiichi]

Verwijderd schreef op woensdag 02 september 2009 @ 20:37:
Als er echt belangrijke data op staat zou een UPS sowieso geen overbodige luxe zijn.
Ook een controller met batterij zodat ie de data in het geheugen een tijd kan vasthouden bij stroomuitval.

Of write-through ipv write-back gebruiken.

Heeft op de write performace wel een nadelig gevolg (maar geen corrupte array na stroomuitval)

[Tha Ra]

Ik heb in een vergelijking gelezen dat EXT3 maar 92% van je diskruimte overhoudt, terwijl dat bij Reiser, XFS en JFS meer dan 99 was. Dus das toch een verspilling van 280 Gb.
Wat is eigenlijk het verschil tussen EXT3 en EXT4?
En heeft JFS ook hetzelfde probleem met corruptie als XFS?

[Verwijderd]

Wat noem jij verspilling? Als die ruimte voor foutcorrectie wordt gebruikt dan creeër je daar extra zekerheid mee. (ik weet niet óf het daarvoor gebruikt wordt maar het lijkt me sterk dat het een kwestie van grote inefficiëntie is)

[Tha Ra]

Verwijderd schreef op woensdag 02 september 2009 @ 20:50:
Wat noem jij verspilling? Als die ruimte voor foutcorrectie wordt gebruikt dan creeër je daar extra zekerheid mee. (ik weet niet óf het daarvoor gebruikt wordt maar het lijkt me sterk dat het een kwestie van grote inefficiëntie is)

Als het daar daadwerkelijk voor gebruikt wordt is het het wel waard vind ik, maar ik weet niet hoe stroingsgevoelig JFS is.

[Verwijderd]

Mijn ervaringen met XFS zijn heel anders. Wij hebben zo'n 100 Debian servers al heel wat jaren probleemloos met XFS draaien. Ook op diverse desktops gebruik ik en andere collega's altijd XFS. Ik moet wel zeggen dat XFS een filesystem is met een grote groep mensen die er zeer tevreden over zijn en een grote groep mensen die XFS een pruts filesystem vinden. Ik

Zelf heb ik nooit problemen ondervonden met XFS zelfs niet bij stroomuitval. Ik zou dus voor XFS kiezen. Hier nog wat leuke linkjes over XFS:

XFS on steroids: http://forums.gentoo.org/...488215-highlight-xfs.html

Filesystems (ext3, reiser, xfs, jfs) comparison on Debian Etch: http://www.debian-administration.org/articles/388

XFS wiki: http://xfs.org/index.php/XFS_FAQ

[Kanarie]

Draai al jaren zonder enige problemen XFS. Eerst voor een 4x750GB array, inmiddels een 8x1TB array.

Meerdere stroomstoringen gehad zonder filesystemcorruptie

[_JGC_]

Ik draai sinds 2004 XFS op servers, en heb meerdere keren gehad dat je na een apt-get upgrade ineens door een of andere vage kernelbug in een kernel die je ooit een halfjaar geleden draaide een afgesloten rootfs hebt. Mag je lekker naar het datacenter met een rescuecd. Qua performance is XFS geweldig. Qua recovery is XFS het meest beroerde filesystem wat ik ooit gezien heb. De tools zijn 1000x kut en je kunt niet recoveren terwijl het readonly gemount is zoals dat bij alle andere filesystems wel kan.
Overigens, leuk en aardig al die benchmarks uit het verleden, maar de ontwikkeling van ext3 en ext4 hebben zeker niet stilgestaan. Als je een filesystem benchmark van een jaar geleden pakt is die al niet meer vergelijkbaar met de situatie op dit moment.
Wat betreft die ruimte: ja, ext3 gebruikt een redelijk grote journal wat ruimte kost, doen de andere filesystems ook. Daarnaast houdt ext3 over het algemeen nog 5% ruimte over waar alleen root naar mag schrijven, maar dat kan je uitzetten. 5% was vroeger met een 6GB filesystem wel leuk, maar met 6TB is 5% enkele tientallen gigabytes.

[Verwijderd]

Misschien nog een leuk XFS nieuwsbericht. In de onlangs uitgebrachte versie van Red Hat Enterprise Linux 5.4 zit ondersteuning voor XFS. Voor zeer grote filesystems raadt Red Hat o.a. XFS aan

http://www.redhat.com/doc...se_Notes/Filesystems.html

[Tha Ra]

De meningen over XFS lopen zo te zien sterk uit een. ReiserFS lijkt me geen verstandige keuze omdat het de komende 15 jaar oid niet zeker is of de ontwikkeling zich voortzet. Wat zijn jullie ervaringen met JFS? En wat zijn de voordelen van EXT4 tov EXT3? Of zijn er misschien nog hele filesystems die ik niet genoemd heb? (liever geen experimentele dingen als ZFS)

[_JGC_]

Verwijderd schreef op donderdag 03 september 2009 @ 17:55:
Misschien nog een leuk XFS nieuwsbericht. In de onlangs uitgebrachte versie van Red Hat Enterprise Linux 5.4 zit ondersteuning voor XFS. Voor zeer grote filesystems raadt Red Hat o.a. XFS aan

http://www.redhat.com/doc...se_Notes/Filesystems.html

Iets aanraden of zeggen dat het filesystem ontworpen is voor volumes groter dan 16TB is iets anders. Of lees ik nou zo slecht engels?

Wat ext4 betreft: het is een doorontwikkeling op ext3: grotere bestanden, grotere volumes en meer snelheid. Bij Phoronix staat bijvoorbeeld een benchmark van Ubuntu tegen Archlinux, waar Archlinux er met kop en schouders bovenuit steekt. Alhoewel die hele benchmark nergens op slaat, is het wel duidelijk waar het verschil vandaan komt: 2.6.30 met ext4 is sneller dan 2.6.28 met ext3 waar ze Ubuntu mee getest hadden.

[Q]

Tha Ra schreef op woensdag 02 september 2009 @ 20:31:
Hallo, ik ben bezig een NAS te bouwen: 8 500Gb schijven op een Highpoint controller, en een losse 80Gb schijf als OS-disk, Athlon 3000+, 1Gb RAM. Het hele zooitje komt op Ubuntu te draaien. Alleen weet ik nog niet welk filesystem ik voor de array moet kiezen. Ik zat te denken aan EXT3, ReiserFS, JFS of XFS. Ik las dat bij een stroomstoring er bestanden corrupt raken op een XFS-partitie, terwijl dat met Reiser en EXT niet zo is Ik heb geen UPS dus ik vindt het wel belangrijk dat mijn data een beetje veilig is daarvoor. Snelheid is verder geen issue omdat het gigabit-linkje sowieso de botleneck is.
Welk fs raden jullie aan?

Als je data je lief is koop dan voor nog geen 100 euro een UPS. Ongeacht de filesystem keuze.

Als je RAID 5 (god verhoede) of RAID 6 gaat draaien dan heb je 3.5 of 3 TB aan opslag. EXT3 is de meest veilige keuze, maar dat kost een hoop schijfruimte en dat is zonde. Ext4 is mature genoeg en dat is wat ik zou kiezen. XFS is echter geen probleem wat mij betreft.

Op mijn array ben ik gedwongen om XFS te gebruiken. JFS was ook een optie, maar dat was me te obscuur. Ik draai XFS alleen maar omdat ik met de 16 TB limiet zit. De huidige EXT4 implementaties kunnen nog niet voorbij de 16 TB. Ik had liever EXT4 gedaan, omdat ik daar wat meer vertrouwen in heb, maar het is niet anders. Ik heb overigens geen problemen gehad met XFS.

[Tha Ra]

*bumb*
Zijn er nog mensen die hun ervaringen willen posten mbt een of meerdere FSsen?

[Nielson]

Ken 't probleem, want als je eenmaal een keuze hebt gemaakt switch je niet zo makkelijk even naar wat anders. Heb er wel een paar geprobeerd, waaronder ZFS (mooi systeem maar matige netwerk snelheid, ws door FreeNAS) maar zit nu weer op Linux mdadm raid5 (4x1TB) en XFS. Er zijn heel veel vergelijkingen te vinden van de verschillende filesystems (XFS, ReiserFS, JFS, Ext3, etc), vaak scoort XFS redelijk goed en zijn de punten waarbij XFS wat minder scoort met een beetje tweakwerk wel recht te trekken. Qua data recovery schijnt het wel wat minder te zijn. Zo krijg je als je een FS controle wil doen (xfs_check) gewoon doodleuk een 'out of memory error', omdat 2GB hiervoor schijnbaar te weinig is, erg slecht. Gedeeltelijk wel op te vangen door meteen xfs_repair -n te draaien, maar dit is toch niet helemaal hetzelfde.

[tHe_BiNk]

[Ubuntu] Momenteel ben ik aan het overstappen van Windows naar Ubuntu. Mijn RAID5 (5*1.5TB Samsung F2) op een Areca ARC-1220 (geen BBU of UPS) gaat van NTFS naar XFS of ETX4. Ik zit te twijfelen tussen EXT4 en XFS. Op http://www.hardforum.com/showthread.php?t=1481766 hebben ze het erover dat XFS geen partities nodig heeft en dat het daarom beter is. Minder complexiteit, betere stabiliteit, etc. neem ik aan. Tevens, zie ik weinig problemen met XFS maar nogal wat kleine probleempjes mbt EXT4 die EXT4 steeds minder snel maken door kernel patches.

Mijn vraag kan EXT4 ook zonder partities, dus 'direct' op de RAID array? Wat is eigenlijk het voordeel van EXT4 boven XFS?


P.S. Ubuntu 9.10 (EXT4) en Windows 7 staan op een aparte HD.

Google's keuze voor EXT4 is voornamelijk mbt de makkelijkere conversie naar EXT4 ipv XFS (http://lists.openwall.net/linux-ext4/2010/01/04/8).

[ Voor 8% gewijzigd door tHe_BiNk op 02-03-2010 02:15 ]

[Skinkie]

Ik draai ZFS op OpenSolaris (verre van experimenteel te noemen) met dedup op een 24TB machine, en een redundante machine met totaal 6TB. Bevalt goed.

[tHe_BiNk]

Okay EXT4 kan iig zonder journaling zie ik. Voor een leuke discussie met, oa Ted TS'o, zie http://tech.slashdot.org/...tching-To-EXT4-Filesystem en http://slashdot.org/~tytso

[tHe_BiNk]

ZFS kan ook maar de 'community' is toch een stuk kleiner dan EXT4 en XFS. Mogelijk minder tools, support etc. Ik wil iets wat 'groot' is qua 'support'.

Okay ga maar gewoon voor EXT4 dan heb ik maar 1 FS ipv 2. KISS! All the way. Of incl. NTFS 2 ipv 3.

Nog een leuke read: (EXT4 is ~2X as slow as XFS (593MB/s vs 304MB/s) for writes?) Kijken hoe het eindigt

/edit

Na wat geëxperimenteerd te hebben met zowel een EXT4 (met journaling) als XFS partitie, heb ik toch besloten om XFS te gebruiken, omdat het allemaal wat vlotter overkwam tov EXT4, tijdens het kopieren van bestanden.

[ Voor 72% gewijzigd door tHe_BiNk op 02-03-2010 18:37 ]