[Ubuntu Server] Beste bestandsysteem op RAID1

[Daantje20]

Mijn plan is het volgende, ik wil een Ubuntu 16.04 gebaseerde thuisserver bouwen.
Nu heb ik dus een RAID1 voor de data en een 500GB voor OS en andere zaken.

Vraag is alleen, welk filesystem kan ik het beste gebruiken?
Mijn eigen zoektocht eindigde bij XFS als goede optie, maar er zal vast een betere optie zijn die ik over het hoofd heb gezien.

Systeem:
Processor: Intel i5 750 2,66GHz
Geheugen: Corsair XMS CMX8GX3M2A1333C9
Moederbord: Gigabyte GA-P55-UD4
Beeld: MSI GeForce GT 710 1GD3H LP
Voeding: Hiper Type R 480W

Schijven:
Systeem/OS: Hitachi Deskstar 7K500 HDP725050GLA360, 500GB
RAID1/1: Samsung Spinpoint F3 HD103SJ, 1TB
RAID1/2: WD Blue WD10EZEX, 1TB

[Kees]

Als je een software raid gebruikt zou je ook kunnen overwegen om ZFS te gebruiken.

Verder maakt het bestandssysteem uiteindelijk niet heel erg veel uit, zowel ext4 als xfs zullen voldoen, er is niet echt 1 'beste' aan te wijzen.

[Daantje20]

Dan kan ik dus wat dat betreft net zo goed óf naar btrfs/zfs en de software RAID niet gebruiken. Of ik formatteer naar ext4 want dat maakt verder niet veel uit.

[HollowGamer]

Daantje20 schreef op maandag 24 april 2017 @ 18:37:
Dan kan ik dus wat dat betreft net zo goed óf naar btrfs/zfs en de software RAID niet gebruiken. Of ik formatteer naar ext4 want dat maakt verder niet veel uit.

Je systeem is niet zo heel zuinig, heb je die GPU echt nodig?
RAID-1 probeer ik altijd te draaien met dezelfde HDD-serie (of merk), maar principe werkt het prima.

Wat is precies je doel? XFS is inderdaad snel, maar niet flexibel - Btrfs/ZFS zijn betere keuzes, tegenwoordig ook goede performance en heeft SW-RAID ondersteuning.

[Daantje20]

HollowGamer schreef op woensdag 26 april 2017 @ 09:52:
[...]

Je systeem is niet zo heel zuinig, heb je die GPU echt nodig?
RAID-1 probeer ik altijd te draaien met dezelfde HDD-serie (of merk), maar principe werkt het prima.

Wat is precies je doel? XFS is inderdaad snel, maar niet flexibel - Btrfs/ZFS zijn betere keuzes, tegenwoordig ook goede performance en heeft SW-RAID ondersteuning.

Het systeem is absoluut niet zuinig, dat klopt. Hij staat ook niet altijd aan dus dat scheelt natuurlijk.

De GPU is echt nodig, geen geïntegreerde grafische mogelijkheden. Het is allemaal oud spul. Er zat een GTX 560ti in dus het is allemaal iets zuiniger geworden. De GPU verbruikt niet meer dan 19W.

Het doel is met enige redundantie data op te slaan. Het feit dat de hdd's zo verschillend zijn zal zeker niet handig zijn, maar als ze maar niet allebei tegelijk kapot gaan is het goed.

Denk dat ik voor Btrfs opnieuw zal moeten gaan kijken hoe dat FS precies werkt en ik heb gezien dat ZFS ook wel cool is maar pas echt betrouwbaar is met ECC geheugen (dat laatste is discutabel heb ik gelezen).
Maar bij ZFS kun je wel 2x Vdev aanmaken binnen Zpool en heb je een RAID1 met checksumming tegen stille data corruptie (bron: http://www.zfsbuild.com/2010/05/26/zfs-raid-levels/). Voor Btrfs heb ik zo snel niet kunnen vinden hoe effectief het is en hoe je dat configureert voor een RAID1.

[HollowGamer]

Daantje20 schreef op woensdag 26 april 2017 @ 13:48:
[...]


Het systeem is absoluut niet zuinig, dat klopt. Hij staat ook niet altijd aan dus dat scheelt natuurlijk.

De GPU is echt nodig, geen geïntegreerde grafische mogelijkheden. Het is allemaal oud spul. Er zat een GTX 560ti in dus het is allemaal iets zuiniger geworden. De GPU verbruikt niet meer dan 19W.

Het doel is met enige redundantie data op te slaan. Het feit dat de hdd's zo verschillend zijn zal zeker niet handig zijn, maar als ze maar niet allebei tegelijk kapot gaan is het goed.

Denk dat ik voor Btrfs opnieuw zal moeten gaan kijken hoe dat FS precies werkt en ik heb gezien dat ZFS ook wel cool is maar pas echt betrouwbaar is met ECC geheugen (dat laatste is discutabel heb ik gelezen).
Maar bij ZFS kun je wel 2x Vdev aanmaken binnen Zpool en heb je een RAID1 met checksumming tegen stille data corruptie (bron: http://www.zfsbuild.com/2010/05/26/zfs-raid-levels/). Voor Btrfs heb ik zo snel niet kunnen vinden hoe effectief het is en hoe je dat configureert voor een RAID1.

Zie de wiki's:
https://btrfs.wiki.kernel..._RAID1_mirror_in_Btrfs.3F
https://btrfs.wiki.kernel...rfs_with_Multiple_Devices

ZFS vraagt veel meer van het systeem en vind het zelf te veel Oracle en te weinig community, al lijkt Ubuntu deze nu wel via een omweg in de installer te krijgen.

ECC geheugen heb ik ook niet, en als het misgaat heb je alsnog data-corruptie. Er is een topic hier op T.net over het nut van ECC, zelf vind ik het overdreven (duur), maar het gaat natuurlijk om je eigen voorkeur.

[CAPSLOCK2000]

De discussie over ZFS en ECC is imho een beetje overdreven. Zo speciaal is ZFS nu ook weer niet. ZFS neemt een grote bron van problemen weg, andere bronnen worden dan relatief belangrijker. Maar of je nu wel of geen ZFS hebt, rot RAM is funest voor iedere fileserver.

ZFS en BTRFS gebruik je normaal gesproken niet mét RAID1, maar in plaats van. Als je jouw vraag strict opvat dan vallen die dus eigenlijk al af.

Het echte antwoord op je vraag is, zoals wel vaker, "dat ligt er aan". Wat ben je van plan met dat systeem? Wat is voor jouw toepassing het belangrijkste? Veel IOPS? Rauwe doorvoersnelheid? Lage latency? Vooral lezen? Vooral schrijven?

XFS is een uitstekend all-round filesysteem, dat is altijd goed. Als je geinteresseerd ben in benchmarks moet je even op phoronix.com kijken, daar zijn er een hoop te vinden.

[Daantje20]

Gezien de hardware zijn de prestaties niet zo heel interessant, in de huidige setup:
Ubuntu 16.04.2 met SAMBA voor de share en RAID1 Intel Matrix haal ik met schrijven op XFS een piek van meer dan 100MB/s over gewoon gigabit ethernet. Dat is ruim voldoende.

Gaat vooral eigenlijk om betrouwbaar, en ik dacht dat XFS wel een goede kandidaat is, en zoals je aangeeft, goed All-round is denk ik wel voldoende voor het doel. De eventuele VM's op KVM gebaseerd zullen wel van ext4 draaien op de Hitachi schijf.

[Lethalis]

Ik vind persoonlijk ZFS wel gaaf, van wat ik ervan gelezen heb en wil het binnenkort ook zelf eens testen in mijn home lab.

Mooiste van ZFS - waar het voor mij direct nut heeft - is het versturen van incrementele snapshots. Ik zit namelijk met een probleem dat ik een groot bestand heb dat wijzigt, wil syncen met een remote locatie. Met ZFS snapshots kan ik dit oplossen (zfs send en receive via ssh). Daarnaast maak je vrij eenvoudig een vdev mirror met ZFS.

Dus ja, daar ga ik binnenkort mee aan de slag. En ik raad je in ieder geval aan om ernaar te kijken.

[HollowGamer]

CAPSLOCK2000 schreef op woensdag 26 april 2017 @ 15:08:
[..]

ZFS en BTRFS gebruik je normaal gesproken niet mét RAID1, maar in plaats van. Als je jouw vraag strict opvat dan vallen die dus eigenlijk al af.

Waarom niet precies met RAID-1? Hoe bedoel je het precies?

[ Voor 5% gewijzigd door HollowGamer op 26-04-2017 16:55 ]

[CAPSLOCK2000]

ZFS en BTRFS hebben RAID ingebouwd. Deze filesystemen (met name ZFS) doorbreken de traditionele grenzen tussen RAID en filesystem. Ze hebben beide functies samengevoegd en sturen de disks het liefst zo rechtstreeks mogelijk aan.

[Daantje20]

Gezien ik met Ubuntu server nu al een keer een vastloper heb gehad, weet ik niet of ik bij Ubuntu blijf. Maar ik kan zeker wel eens kijken of centos met btrfs (rockstor was niks) een goed idee is. Naast NAS wil ik er ook met KVM virtualisatie op doen.

[Lethalis]

Daantje20 schreef op donderdag 27 april 2017 @ 14:29:
Gezien ik met Ubuntu server nu al een keer een vastloper heb gehad, weet ik niet of ik bij Ubuntu blijf. Maar ik kan zeker wel eens kijken of centos met btrfs (rockstor was niks) een goed idee is. Naast NAS wil ik er ook met KVM virtualisatie op doen.

Een vastloper?

BTRFS lees ik trouwens juist veel problemen mee, van I/O errors tot en met corrupte snapshots. Ook nog veel van vorig jaar.

Dus dat vind ik zelf vrij eng. Voor de rest prima GPL alternatief voor ZFS natuurlijk.

[Daantje20]

De vastloper zal een eigen schuld ding zijn, had een KVM installatie gestart maar kon geen VNC verbinding krijgen en heb de virtuele machine daarna niet meer uitgezet. Uiteindelijk na een tijdje was er ineens een kworker proces dat 100% cpu gebruikte en ik kreeg de machine niet meer normaal afgesloten. Heb moeten resetten.

Klopt denk ik wel wat je zegt, btrfs lijkt als je de verhalen hoort nog lang niet stabiel genoeg.
Maar volgens mij is zfs op Linux toch ook nog niet bewezen stabiel? Nog niet op het niveau van FreeBSD althans.

[CyBeR]

BTRFS is nog helemaal niet stabiel. ZFS is al meer dan 10 jaar productiegeschikt. Ik zou daar voor gaan.

[Lethalis]

Daantje20 schreef op vrijdag 28 april 2017 @ 09:41:
Klopt denk ik wel wat je zegt, btrfs lijkt als je de verhalen hoort nog lang niet stabiel genoeg.
Maar volgens mij is zfs op Linux toch ook nog niet bewezen stabiel? Nog niet op het niveau van FreeBSD althans.

Een groot deel van de ZFS on Linux code bestaat uit de oorspronkelijke code uit Open Solaris.

Het grootste obstakel is de licentie, waardoor ze verplicht zijn een kernel module te gebruiken ipv de code te includen in de Linux kernel.

En dat geeft weleens problemen bij het updaten van Ubuntu etc. Dan lukt het soms niet om de kernel module te builden voor de nieuwe kernel en dan boot je systeem dus zonder ZFS support.

Meestal voldoet het herinstalleren van de ZFS package dan om alles te herstellen.

Mooi is het niet inderdaad.

En FreeBSD is niet altijd een optie (ontbrekende drivers, bepaalde software die er niet voor is, etc). Verder wel mooi systeem dat ik van oudsher leuker vind dan Linux. Beter georganiseerd / ontworpen zeg maar.

Is soms lastig. Ik ben ooit met FreeBSD 3.3 in 1999 begonnen, voordat ik overstapte naar Linux Dat duiveltje was gewoon leuker dan die pinguïn Maar die pinguïn is overal nu.

[ Voor 6% gewijzigd door Lethalis op 28-04-2017 15:35 ]

[Daantje20]

Zie plaatje, dit bedoelde ik met vastloper. Het systeem reageert natuurlijk nog wel, maar dit is verder alleen ter info natuurlijk.

[Thralas]

CyBeR schreef op vrijdag 28 april 2017 @ 14:22:
BTRFS is nog helemaal niet stabiel. ZFS is al meer dan 10 jaar productiegeschikt. Ik zou daar voor gaan.

Jammer dat je dit als feit presenteert. Zonder een verdere kwalificatie aan het woord 'productiegeschikt' te geven kun je op dezelfde wijze stellen dat ZFS weliswaar tried & tested is, maar dat allerminst geldt voor de ZoL adoptation.

Mijn eigen anekdotische ervaring is dat ze beide hun issues en pitfalls kennen, maar prima bruikbaar zijn, zeker in een thuisopstelling.

Daarnaast kies ik het filesystem voornamelijk op basis van de diskopstelling. ZFS wint het by default voor RAID5/6-achtige layouts, terwijl je OS-disk van een out-of-tree kernel module afhankelijk laten zijn imo. een no-go is.

Daantje20 schreef op zaterdag 29 april 2017 @ 09:49:
Zie plaatje, dit bedoelde ik met vastloper. Het systeem reageert natuurlijk nog wel, maar dit is verder alleen ter info natuurlijk.

Heb je al geprobeerd het verder te debuggen? Kworker, what is it and why is it hogging so much CPU?

[Lethalis]

Als een kernel process dat soort issues geeft, dan denk ik eigenlijk al gauw aan een driver probleem. De Ubuntu kernel config is natuurlijk zo compatibel mogelijk gemaakt en ondersteunt alles wat maar mogelijk is.

Nadeel hiervan is soms dat er dingen geladen worden die niet goed werken. Je zou voor de gein een nieuwere (of een custom) kernel kunnen installeren om te kijken of het probleem dan verholpen is.

Geeft dmesg geen gekke dingen?

Al geprobeerd randapparatuur los te koppelen als dit gebeurt? (met name usb apparatuur)

PS:
Ik heb op mijn Gigabyte moederbord usb 3 moeten forceren naar usb 2 voordat ik normaal backups naar usb schijven kon maken Ook voor Windows 10 btw. Kreeg usb 3 met geen enkel os goed, ook niet met de drivers van Gigabyte. Dus ik bedoel maar.

PPS:
Ext4 op een md device met mdadm is overigens ook prima voor soft raid. Hoef je je niet druk te maken om zfs kernel modules of btrfs errors.

[ Voor 35% gewijzigd door Lethalis op 29-04-2017 17:22 ]

[Daantje20]

Ik zie dat er in het verleden bij Ubuntu icm XFS wel kworker problemen zijn geweest. Moet even uitzoeken wat de precieze oorzaak is en hoe ik daar achter kom.

UPDATE:
Perf record doet ook niets meer, kan er niet achter komen wat er mis gaat.

[ Voor 21% gewijzigd door Daantje20 op 29-04-2017 20:06 ]

[Daantje20]

Mijn vragen zijn eigenlijk wel beantwoord in dit topic. Aangezien ik wel OSS software wil gebruiken, maar niet zoveel tijd heb als nodig om te achterhalen waarom de setup die ik al had gemaakt niet werkt, ben ik van plan om ondanks de waarschuwingen het over een andere boeg te gooien.

Ander OS: CentOS met een recente El Repo kernel
RAID: Btrfs waarbij er een mirror tussen de twee schijven wordt gemaakt.

Er is een kant en klaar oplossing die zelfde aanbied, maar ik leer meer van zelf inrichten en het scheelt RAM om geen flitsende webinterface te hoeven draaien. Rockstor was mij net wat te veel bezig met verkopen van support wat mij betreft.

PS: Misschien zelfs even kijken naar Fedora Server, als het maar RedHat is.

[ Voor 5% gewijzigd door Daantje20 op 01-05-2017 12:04 ]