Het grote DIY RAID NAS topic deel 3

[Jormungandr]

Ik ben wel benieuwd wat storage spaces gaan brengen, maar ik blijf sceptisch. Ik heb windows nooit een storage platform gevonden imo.

[Verwijderd]

Nu draai ik al een tijdje tevreden mijn RAID10 array, ik zou alleen graag meer snelheid eruit willen halen op het netwerk.
Is er iemand die ervaring heeft met een cluster filesystem onder linux met windows clients? Wat ik er van begrijp is dat ik niet ontkom aan een commercieel filesystem maar ik weet niet echt welke ik zou moeten kiezen en waar ik op moet letten?

[FireDrunk]

Clustering tussen Windows en Linux? WTH wil je hier precies mee bereiken

[analog_]

FireDrunk schreef op maandag 04 juni 2012 @ 17:58:
Clustering tussen Windows en Linux? WTH wil je hier precies mee bereiken

Clustered filesystem tussen linux machines met een windows client via samba (langs de linux machines) gok ik.

[ Voor 4% gewijzigd door analog_ op 04-06-2012 18:00 ]

[FireDrunk]

Dat klinkt aannemelijker

[Jormungandr]

Bah heb het echt gehad met die kolere spindown. Ik krijg nu al de hele dag failevents van mdadm. Reboot ik deze morgen de nas, staat hij bij het thuiskomen weer vrolijk met alle devices failed.

Eens ik mijn Brazos platform binnen heb gaat er gewoon terug Arch op. Raar genoeg begonnen de issues met spindown en nu ook NFS pas bij de overstap naar Ubuntu server.

[Verwijderd]

FireDrunk schreef op maandag 04 juni 2012 @ 17:58:
Clustering tussen Windows en Linux? WTH wil je hier precies mee bereiken

Ik zou graag een block device willen hebben onder linux en windows. Met iets als IBM GPFS. De overhead van Samba en andere protocollen wil ik graag kwijt. Nu is het geen probleem als ik maar 1 client heb omdat dan gewoon een LUN target / initiator kan hebben en windows snapt dat ook wel maar dit scenario wordt problematischer met meerdere clients. Dan heb je al snel soort locking gebeuren nodig.

Nu is de vraag dus of iemand ervaring heeft met OCFS / MeiloFS / GFS of wat anders met meerdere windows clients en een linux server.

[FireDrunk]

Een clustering filesystem is echt never sneller dan Samba... De overhead van het clustermechanisme zit ook niet in de kernel dus geeft net zoveel overhead als Samba / SMB.

Als je snel wil, ga je voor NFS, dat zit in de Linux kernel, heeft dus de minste overhead. (en is bovendien supported onder Windows).

Hoewel NFS onder Windows weer geen Kernel protocol is, en je daar dus weer met overhead zit. Het maakt dus niets uit

Even getest in een VM, maar NFS is toch bagger traag onder Windows (zelfs localhost).
Met NFS haal ik 14MB/s schrijven en 45MB/s lezen.

Met SMB haal ik dit:



Wie ziet het verschil

[ Voor 38% gewijzigd door FireDrunk op 06-06-2012 13:49 ]

[Durandal]

Hoi, ik ben op zoek naar wat info ter voorbereiding van een zelfbouw NAS/servertje. Ik heb al jaren een Ubuntu 9.10 servertje die voornamelijk als NAS fungeert maat het beestje wordt oud, de disks ook en, ook heel belangrijk, de wederhelft gaat klagen over het energiegebruik.

Dit zijn mijn wensen
- Raid 1: 2 disks, Raid 5: 6 disks max. Ik heb nog 1 of 2 4x PCIe kaartje met 2 SATA poorten liggen
- bij voorkeur mini-itx
- zuinig (!)
- software: Ubuntu 12.04 LTS met MDADM, web/ftp/svn servertje, misschien iets van torrent/usenet download (al doe ik dat nu op mijn desktop pc)

Heeft iemand advies? Voornamelijk over Intel/AMD, chipsets, processor en misschien een goed moederboard. Ik ben er al enige tijd 'uit'
Wat is de beste optie mbt voeding?
Verder, als die bestaat, opties mbt een (mITX) kast of bay met van die verwijderbare harddisk bays (zoals het plaatje in de OP), anders maakt ik hem zelf.

Bedankt

[FireDrunk]

Er zijn genoeg combinaties hier langsgekomen, scroll even een paar pagina's terug, er staan zat AMD / Intel combinaties.

Kijk goed op die PCIe kaartjes ondersteund zijn onder Linux (Ubuntu) en of ze geen issues geven icm MDADM.

Op een mITX bord zit maar 1 PCIe slot, en kan je dus maar 1 zo'n kaartje kwijt.

Over de hotswap: Dat je het beste los kopen dmv 4-in-3 of 5-in-3 bays.

[0rbit]

Gezien de HD-prijzen (die al weer aardig naar beneden komen ) heb ik een LSI SAS2008 gebaseerde SAS-controller gekocht. 8x poortjes die als het goed is out of the box werken onder FreeBSD. Dan kan ik mijn bestaande ZFS-array ompluggen en er nog een bijmaken met een 5-tal schijven. Ben benieuwd of het gaat bevallen. Mogelijk kan ik nog een 3e array maken met een setje andere schijfjes op de moederbord controller.

Als dat allemaal lukt heb ik ineens weer een hoop plek en geen enkele nieuwe schijf gekocht. (Zou uitkomen op ongeveer 6+4+2,5 = 12,5 TB opslagruimte in RAIDZ1)

[Verwijderd]

FireDrunk schreef op woensdag 06 juni 2012 @ 12:55:
Een clustering filesystem is echt never sneller dan Samba... De overhead van het clustermechanisme zit ook niet in de kernel dus geeft net zoveel overhead als Samba / SMB.

Als je snel wil, ga je voor NFS, dat zit in de Linux kernel, heeft dus de minste overhead. (en is bovendien supported onder Windows).

Hoewel NFS onder Windows weer geen Kernel protocol is, en je daar dus weer met overhead zit. Het maakt dus niets uit

Even getest in een VM, maar NFS is toch bagger traag onder Windows (zelfs localhost).
Met NFS haal ik 14MB/s schrijven en 45MB/s lezen.

Met SMB haal ik dit:

[afbeelding]

Wie ziet het verschil

Wat is de snelheid van de drive waar je afleest? RAM of wel een HDD?
En voor NFS heb je de driver van MS gebruikt?
Voor een 10Gbe netwerkkaart en dan maar 50% halen is wel teleurstellend.

[FireDrunk]

He? Heb je enig idee hoe zwaar 10Gb daadwerkelijk is
Dit is van een VM naar mijn host OS. En het is van een array af die niet sneller kan.

Maar ik zal wel eens testen met een Memory drive...



Dat is ongeveer de max...

Met iperf kom ik niet boven de 2Gb uit, terwijl ik met SMB zelfs hoger kom, dus ik vraag me af of iperf wel zo goed is...

[ Voor 33% gewijzigd door FireDrunk op 07-06-2012 12:12 ]

[PhatFish]

Durandal schreef op woensdag 06 juni 2012 @ 13:06:
**wensenlijstje**

Ikzelf ga binnenkort voor deze oplossing:

Asus E35M1-I.

Aangezien de SATA-controller van mijn AsRock 330ION het heeft begeven, kwam ik achter nadat alle disks dropten en data al corrupt was .

Maar dat Asusbordje heeft zes SATA-poorten, dus meer dan RAID5 is mogelijk. Verder zou de proc iets beter moeten zijn dan een vergelijkbare Atom, welke in mijn RAID5 setup prima presteerde (+/-100+MB/sec read/+/-60MB/sec write). Ruim voldoende voor huis-tuin-en-keukengebruik, vind ik zelf.

[Verwijderd]

Hier mijn thuis netwerk.

Isp connection
Cable 120/10 down & up


Switch
Dell 5324 24 port gigabit
Tp-link 24 port gigabit

http://46.182.109.37/foto/2012-06-13%2013.21.50.jpg

Nas01
Case Norco RPC-2208
PSU Zippy/emacs P2h-6550p
Motherboard Asus P5G41T-M LE
CPU Intel® Core™2 Quad 9550
RAM 4 GB DDR3 Kingston Valueram
Controller Cards Areca 1222
Hard Drives 8x WD20EADS 2TB Raid5 2x ST9320325AS 320GB
Battery Backup Units APC Smart-UPS 750VA
Operating System Openmediavault 0.3

Nas02
Case DS211j
PSU 100V
CPU 1.2GHz
RAM DDR2 128MB
Hard Drives 2x 2TB Samsung HD204UI raid 0
Operating System DSM 4.0

http://46.182.109.37/foto/2012-06-13%2013.17.32.jpg

Nas03
Case Chenbro ES34069
PSU 120 watt
Motherboard Itx Mobo
CPU AMD Athlon 64 X2 5000+
RAM 4 gb ram Kingston
Hard Drives 5x 2TB Samsung HD204UI raid5
Battery Backup Units APC Smart-UPS 750VA
Operating System Openmediavault 0.3

Xen01
Case Norco RPC-2208
PSU Recom 850 Watt
Motherboard Asus P5G41T-M LE
CPU Intel® Core™2 Quad 9550
RAM 8 GB DDR3 Kingston Valueram
Hard Drives WD 2720gb
Battery Backup Units APC Smart-UPS 750VA
Operating System Xenserver 6.0

http://46.182.109.37/foto/2012-06-13%2013.22.54.jpg

http://46.182.109.37/foto/2012-06-13%2013.21.58.jpg

[ Voor 7% gewijzigd door Verwijderd op 16-06-2012 12:44 ]

[webfreakz.nl]

Foto's zijn stuque.

[DJ-Visto]

webfreakz.nl schreef op woensdag 13 juni 2012 @ 22:18:
Foto's zijn stuque.

Nas stuque

[Verwijderd]

DJ-Visto schreef op woensdag 13 juni 2012 @ 22:56:
[...]

Nas stuque

Foto's werken weer en nee nas is niet stugue:p

[Pantagruel]

Verwijderd schreef op donderdag 14 juni 2012 @ 14:41:
[...]


Foto's werken weer en nee nas is niet stugue:p

<Eigenhuis en tuin, VT-wonen, tuinruimers modus aan>

Wat een ruimtelijk vernuft. Ik dacht dat ik een mooie, lichte, strakke, comfortabele en smaakvolle serverruimte had, maar dit is ongeëvenaard. Make over me! ennuh, trouwens, van wie zijn de prachtige gordijnen?

</Eigenhuis en tuin, VT-wonen, tuinruimers modus uit>

LOL, serieus ziet er goed uit, ben gewoon jaloers dat ik hier geen kelder heb als server hok (begane grond is al voldoende beneden NAP hier in 't Almeerse.

[DJ-Visto]

Verwijderd schreef op donderdag 14 juni 2012 @ 14:41:
[...]


Foto's werken weer en nee nas is niet stugue:p

Mooie setup

[FireDrunk]

* FireDrunk heeft weer eens zitten spelen met zijn 10Gb interfaces.

Haal nu dus eindelijk > 600MB/s over NFS (dat was dacht ik ongeveer de max van mijn RAID array).
Eindelijk een beetje stabiel

Ik zag wel dat mijn RAID array af en toe 1.1GB/s traffic deed over /dev/md0 via iostat.

Weet iemand hoe iostat de zijn berekeningen doet op wat er over een device heen gaat?

[Pantagruel]

FireDrunk schreef op donderdag 14 juni 2012 @ 20:55:
* FireDrunk heeft weer eens zitten spelen met zijn 10Gb interfaces.

Haal nu dus eindelijk > 600MB/s over NFS (dat was dacht ik ongeveer de max van mijn RAID array).
Eindelijk een beetje stabiel

Ik zag wel dat mijn RAID array af en toe 1.1GB/s traffic deed over /dev/md0 via iostat.

Weet iemand hoe iostat de zijn berekeningen doet op wat er over een device heen gaat?

Nice, wat is je source en wat is je target OS? (linux, Windows, OpenIndiana, etc).

man iostat geeft geen details prijs over hou de berekeningen tot stand komen, de dev (Sebastien Godard) wellicht even mailen?

[FireDrunk]

CentOS Linux(Host A) -> ESXi (Host B ) -> VMXNET3 -> Gentoo

Dat mailen is misschien een idee.

[justice strike]

Ik heb op dit moment een curieus probleem. Ik heb net een freenas doos opgezet met zfs. De cifs performance was wat aan de trage kant (rond de 60 mb/s). Nu ben ik gaan zoeken waar het probleem precies lag en kwam ik erachter dat de raidvolume voor de share nogal aan de trage kant is (rond de 70 mb/s) dus ik ben dat gaan oplossen en dat is gelukt (performance ligt nu rond de 160 mb/s). Dus nu ben ik weer een share aan het maken maar tot mijn verbazing is de performance misschien best case 10mb/s beter geworden maar echt sneller is hij niet.

Ik heb al async io aangezet, large read/write, cache omhoog geschroefd en op de windows client the jumbo frames aangezet. Dit heeft dus niet mogen baten.

Verder weet ik ook dat het geen performance issue is want als hij ondergeklokt is met 200 mhz (op een fusion dus standaard draaiend op 1600 mhz) dan is er ook geen noemenswaardige performance drop. Terwijl we het wel over 8 procent minder performance hebben.

Iemand enig idee waar dit aan ligt?

[Dadona]

Zodra de snelheid rond de 10-12 MB/sec is dan ga ik altijd eerst kijken of om de één of andere reden het netwerk op 100 Mbit loopt. Denk aan een netwerkkaart die is teruggeschakeld of een probleem met een netwerkkabel. In mijn geval is het makkelijk te zien omdat alle switches hier aangeven of een poort op 10, 100 of 1000 Mbit loopt.

[justice strike]

Dadona schreef op vrijdag 15 juni 2012 @ 12:36:
Zodra de snelheid rond de 10-12 MB/sec is dan ga ik altijd eerst kijken of om de één of andere reden het netwerk op 100 Mbit loopt. Denk aan een netwerkkaart die is teruggeschakeld of een probleem met een netwerkkabel. In mijn geval is het makkelijk te zien omdat alle switches hier aangeven of een poort op 10, 100 of 1000 Mbit loopt.

maar het is geen 10 of 12 mb. Het is 60 of 70mb Wat de helft is van de performance van de disks.

[Dadona]

Excuus...ik las iets te snel en heb zodoende de "...beter geworden maar echt sneller is hij niet." gemist.

[DennusB]

Verwijderd schreef op donderdag 14 juni 2012 @ 14:41:
[...]


Foto's werken weer en nee nas is niet stugue:p

Foto's zijn nog steeds stuq.

[redfoxert]

DennusB schreef op vrijdag 15 juni 2012 @ 16:02:
[...]


Foto's zijn nog steeds stuq.

Werken prima hier...

[DennusB]

redfoxert schreef op vrijdag 15 juni 2012 @ 16:06:
[...]


Werken prima hier...

"404 - Not Found" krijg ik bij alle foto's !

[bassiexp]

redfoxert schreef op vrijdag 15 juni 2012 @ 16:06:
[...]


Werken prima hier...

Bij mij doen ze het ook niet.
Hier ook niet.
http://www.downforeveryon...2012-06-13%2013.21.50.jpg
http://www.proxysmurf.nl/...JTIwMTMuMjEuNTAuanBn&b=29

[justice strike]

justice strike schreef op vrijdag 15 juni 2012 @ 14:20:
[...]


maar het is geen 10 of 12 mb. Het is 60 of 70mb Wat de helft is van de performance van de disks.

ok... ik ben er achter dat de network traffic in bursts gaat waardoor het na verloop van tijd het gemiddelde omlaag gaat.

hier zie je de bandwidth monitor en er zijn 2 transfers gedaan. en je ziet dat er steeds drops in performance vallen tijdens de transfers

[FireDrunk]

Klinkt als buffers die vollopen of geheugentekort...

[justice strike]

FireDrunk schreef op vrijdag 15 juni 2012 @ 17:52:
Klinkt als buffers die vollopen of geheugentekort...

er zit 8 gb in en volgens mij zouden de schijven het gewoon snel moeten kunnen wegschrijven

zeker met 160mb/s

[ Voor 3% gewijzigd door justice strike op 15-06-2012 17:59 ]

[FireDrunk]

Heb je lokaal getest met DD?

[justice strike]

FireDrunk schreef op vrijdag 15 juni 2012 @ 18:00:
Heb je lokaal getest met DD?

ja dat had ik getest (160mb voor 3 disk raidz en 80mb/sec voor 4disk raid welke ik niet gebruik). zeker omdat ik eerst 4 disk raidz had en nu terug naar 3 disk ben (4disk raid was dramatisch slecht 80mb/sec)

[FireDrunk]

Het feit dat je met 3 disks meer performance haalt dan met 4 toont al aan dat er toch iets niet goed zit...

[justice strike]

FireDrunk schreef op vrijdag 15 juni 2012 @ 18:03:
Het feit dat je met 3 disks meer performance haalt dan met 4 toont al aan dat er toch iets niet goed zit...

waarom? het is toch een bekend dat raidz met 4 disks minder presteert

[IceTeaGX]

Ik ben ook aan't uitkijken voor een nieuw Fileserver systeem. Momenteel heb ik hetvolgende in gedachten:

#	Product	Prijs	Subtotaal
1	Intel Pentium G620	€ 50,40	€ 50,40
5	Seagate Barracuda ST3000DM001, 3TB	€ 142,95	€ 714,75
1	Norcotek RPC-4220	€ 446,13	€ 446,13
1	Kingston ValueRAM KVR1333D3D4R9SK2/16G	€ 128,50	€ 128,50
1	Supermicro X9SCM-F	€ 177,60	€ 177,60
Bekijk collectie Importeer producten		Totaal	€ 1.517,38

Bedoeling is om ZFS te draaien, dus komt er nog een compatibele HBA in. Doel is simpel fileserving/storage.

Zou het ECC geheugen zo "nodig" zijn, uiteindelijk is het 40 euro verschil op een totale kost van 1500+ ook niet zo veel. Gezien een deftig consumer mobo ook €120+ kost, en een minder goede slot layout geeft, is er de optie.

Ik ga wel gradueel overgaan vanuit mijn huidige fileserver. Eerst nieuwe case, dan mobo-CPU-RAM, en tenslotte de overgang naar nieuwe HBA + disks en ZFS. (hopen dat de prijzen nog iets zakken)

Commentaar, suggesties, opmerkingen, etc. welkom.

[justice strike]

IceTeaGX schreef op vrijdag 15 juni 2012 @ 18:43:
Ik ben ook aan't uitkijken voor een nieuw Fileserver systeem. Momenteel heb ik hetvolgende in gedachten:

#	Product	Prijs	Subtotaal
1	Intel Pentium G620	€ 50,40	€ 50,40
5	Seagate Barracuda ST3000DM001, 3TB	€ 142,95	€ 714,75
1	Norcotek RPC-4220	€ 446,13	€ 446,13
1	Kingston ValueRAM KVR1333D3D4R9SK2/16G	€ 128,50	€ 128,50
1	Supermicro X9SCM-F	€ 177,60	€ 177,60
Bekijk collectie Importeer producten		Totaal	€ 1.517,38

Bedoeling is om ZFS te draaien, dus komt er nog een compatibele HBA in. Doel is simpel fileserving/storage.

Zou het ECC geheugen zo "nodig" zijn, uiteindelijk is het 40 euro verschil op een totale kost van 1500+ ook niet zo veel. Gezien een deftig consumer mobo ook €120+ kost, en een minder goede slot layout geeft, is er de optie.

Ik ga wel gradueel overgaan vanuit mijn huidige fileserver. Eerst nieuwe case, dan mobo-CPU-RAM, en tenslotte de overgang naar nieuwe HBA + disks en ZFS. (hopen dat de prijzen nog iets zakken)

Commentaar, suggesties, opmerkingen, etc. welkom.

ik zou 6 schijven nemen. 5 schijven et raidz geeft je te weinig beveiliging en 5 schijven met raidz2 geeft je slechte performance. Dus ik zou gaan voor 6 schijven in raidz2

ECC is niet nodig, sterker nog zfs kun je zelfs met hele onbetrouwbare hardware opzetten. Maar ik denk dat het wel handig is om ecc te gebruiken omdat de stabiliteit daarmee gewoon wat hoger is.

[Nextron]

Dat moederbord ondersteunt alleen unbuffered geheugen. Dat is tevens 'iets' duurder en slechter verkrijgbaar.

@vvv: Ik bedoel dat het geheugen dat je hebt uitgekozen niet compatibel is.

[ Voor 30% gewijzigd door Nextron op 15-06-2012 19:47 ]

[IceTeaGX]

True, maar E3 xeons (laat staat pentiums) ondersteunen geen buffered memory.
En als je dan naar iets gaat dat dat wel ondersteund, ben je een beetje het prijsvoordeel kwijt.
Uiteindelijk wordt dit niet veel meer dan een NAS oplossing, ik heb nog een proliant waar ik andere zaken mee kan prullen

En naar raidz2 te gaan is ook weer een vrij grote kost extra. Uiteraard geeft het weer meer security, maar ik draai momenteel een HW RAID5 met 8 schijven, dus het zal al een aanzienlijke verbetering zijn.
Misschien als de prijzen van harde schijven voldoende zakken, dat het nog te overwegen valt.

[ Voor 33% gewijzigd door IceTeaGX op 15-06-2012 19:43 ]

[FireDrunk]

Ik hoop voor je dat dat bord die CPU slikt... Is nou niet echt een standaard CPU om op dat moederbord te doen Volgens mij kunnen die C204 chipsets alleen maar met ECC overweg. Dus ik denk dat die combi niet gaat werken.

[ Voor 32% gewijzigd door FireDrunk op 15-06-2012 19:50 ]

[Nextron]

Volgens de specs niet, maar her-en-der lijkt het wel te werken.

[IceTeaGX]

If not gaat ie in men media center, en komt er een xeon in
Maar het schijt hier en daar inderdaad te werken, zelfs met ECC

[FireDrunk]

Die CPU pakt vast wel ECC geheugen, maar of je daadwerkelijk ECC functionaliteit hebt is een tweede...

[justice strike]

justice strike schreef op vrijdag 15 juni 2012 @ 18:02:
[...]

ja dat had ik getest (160mb voor 3 disk raidz en 80mb/sec voor 4disk raid welke ik niet gebruik). zeker omdat ik eerst 4 disk raidz had en nu terug naar 3 disk ben (4disk raid was dramatisch slecht 80mb/sec)

iemand nog ideeen hierover? Ik heb de resultaten overigens nog nagelopen met ftp. Daar zie ik hetzelfde voorkomen. Het kan dus of de network stack zijn of een probleem met de zfs pool, maar niet samba. Ik weet niet precies hoe ik dat laatste zou kunnen testen.

[FireDrunk]

Heb je al eens geprobeerd om de life CD van ZFSguru te booten? Daarmee kan je je pool importeren en live een SMB share aanmaken zonder dat je iets met je FreeNAS installatie doet.

Als het daar ook traag is, blijven er nog maar weinig onderdelen over.
ZFSguru heeft ook een ingebouwde benchmark (die non-invasive is.)

[CurlyMo]

FireDrunk schreef op zaterdag 16 juni 2012 @ 10:15:
Heb je al eens geprobeerd om de life CD van ZFSguru te booten?

Ik denk dat we Jason en CiPHER eens met die 'life' CD van ZFSguru moeten (re)booten

[Verwijderd]

bassiexp schreef op vrijdag 15 juni 2012 @ 16:40:
[...]


Bij mij doen ze het ook niet.
Hier ook niet.
http://www.downforeveryon...2012-06-13%2013.21.50.jpg
http://www.proxysmurf.nl/...JTIwMTMuMjEuNTAuanBn&b=29

Foto's werken weer

[Pantagruel]

CurlyMo schreef op zaterdag 16 juni 2012 @ 11:30:
[...]

Ik denk dat we Jason en CiPHER eens met die 'life' CD van ZFSguru moeten (re)booten

Yep, Jason zwijgt alweer 2 maanden en ook CiPHER is al weer aan maand stil. Weinig goeds mbt ZFSguru als je het mij vraagt (of de mannen moeten zo opgaan in het afronden van een landmark release dat ze geen tijd hebben een simple tekstje te tikken op t forum).

[FireDrunk]

Ook met die reden gebruik ik nog geen ZFSguru. Er is echt té weinig draagvlak...
Misschien dat ik binnenkort eens met ZFS op Gentoo ga prutsen, maar eerst maar eens mijn server backuppen (7 TiB )

[Dadona]

Waarom ZFS op Gentoo? Juist jij zou toch prima ZFS op FreeBSD, zonder ZFSguru draaiende moeten krijgen lijkt mij? Per slot van rekening ga je anders ook zonder web interface enz. draaien.

[justice strike]

FireDrunk schreef op zaterdag 16 juni 2012 @ 10:15:
Heb je al eens geprobeerd om de life CD van ZFSguru te booten? Daarmee kan je je pool importeren en live een SMB share aanmaken zonder dat je iets met je FreeNAS installatie doet.

Als het daar ook traag is, blijven er nog maar weinig onderdelen over.
ZFSguru heeft ook een ingebouwde benchmark (die non-invasive is.)

Ik ga dat wel even doen. ook de destructieve benchmark maar even uitvoeren want ik wil toch wel wat betere info.

Wellicht dat ik toch maar voor freebsd ga dan voor freenas... ik moet het namelijk ook als db server en als http server draaien en ik weet niet of freenas daar zo geschikt voor zal zijn.

[FireDrunk]

Dadona schreef op zaterdag 16 juni 2012 @ 15:18:
Waarom ZFS op Gentoo? Juist jij zou toch prima ZFS op FreeBSD, zonder ZFSguru draaiende moeten krijgen lijkt mij? Per slot van rekening ga je anders ook zonder web interface enz. draaien.

FreeBSD zuigt Bovendien hou ik van minimalistisch, en weten wat er onderwater gebeurd, en dat gevoel heb ik niet bij FreeBSD...

[ Voor 15% gewijzigd door FireDrunk op 16-06-2012 16:22 ]

[justice strike]

FireDrunk schreef op zaterdag 16 juni 2012 @ 16:13:
[...]


FreeBSD zuigt Bovendien hou ik van minimalistisch, en weten wat er onderwater gebeurd, en dat gevoel heb ik niet bij FreeBSD...

bsd zuigen? volgens mij is het kwa stabiliteit toch wel minstens een gelijke aan linux. Daarbij is freebsd redelijk barebones als je dat zou willen

[FireDrunk]

Mja, het is niet mijn smaak... Waarom? Geen idee... Het is een kwestie van voorkeur...

[CurlyMo]

Ik gebruik ZFSguru puur als makkelijke webinterface voor het uitlezen van statussen. Alle configuratie doe ik via de command line. Ook het installeren en customizen doe ik gewoon command line. Voor mij heeft het stil liggen van het project dan ook weinig invloed.

[Demo]

FireDrunk schreef op zaterdag 16 juni 2012 @ 17:18:
Mja, het is niet mijn smaak... Waarom? Geen idee... Het is een kwestie van voorkeur...

Kan, maar om dan te roepen dat het zuigt... Minimalistisch is het absoluut (en als Gentoo-gebruiker zou je het Ports-systeem zeker kunnen waarderen) en 'weten wat er onderwater gebeurt' is een kwestie van ervaring met Linux, dat leer je zo als je wilt.
Waarmee ik niet wil zeggen dat je BSD zou moeten gaan gebruiken, maar wijs naar jezelf ipv naar een oerdegelijk OS.

[justice strike]

CurlyMo schreef op zondag 17 juni 2012 @ 00:03:
Ik gebruik ZFSguru puur als makkelijke webinterface voor het uitlezen van statussen. Alle configuratie doe ik via de command line. Ook het installeren en customizen doe ik gewoon command line. Voor mij heeft het stil liggen van het project dan ook weinig invloed.

Ik zit nu enorm te tubben of ik nu voor een full fledged freebsd os moet gaan of voor freenas. Zeker omdat ik nu alles aan het inrichten ben zit ik na te denken over de zaken die ik echt wil gebruiken. Als de frontend van freenas nu beschikbaar was voor freebsd dan was de vraag makkelijker geweest maar helaas is dat niet het geval.

in any case, het is een freebsd 6.3 server die ik ga laten pensioneren, dus ik kan de administratie wel doen, maar veel meer dan een fileserver, database, http server en een fax gateway zal ik er niet op gaan draaien. En dan is het de vraag of je voor die zaken dan een vol os moet optuigen.

Daarbij denk ik dat freenas ook wat stroom bespaart aangezien het os nooit de schijven zal laten opspinnen (want het zit op een usb stick).

Ik hoor graag wat jullie hierover denken.

Ik heb overigens even benches gedraaid op freebsd 9 en daar is de zfs pool een stuk sneller. Zelfs raidz op 4 schijven haalt de 200mb (tov 70/80 mb op freenas). MAAR, de netwerk connectie vertoont dezelfde kuren als op freenas (8.2 of 8.0.4) wat betekent dat ik maar 55mb kan trekken over het gigabit netwerk. De keuze tussen de twee maakt dus weinig uit aangezien de performance niet veel zal gaan verschillen.

//edit
Ik ga toch de knoop doorhakken in het voordeel van Freebsd 9.0. Nu wil ik kaal het freebsd os gaan installeren en dan zfsguru erop zetten om het onderhoudt wat makkelijker te maken. Kan iemand mij aangeven of dit mogelijk is en/of er features dan wegvallen (zoals virtualbox integratie etc...). Eigenlijk moet ik ook kijken of ik niet gewoon de freenas frontend erop kan gooien want die is eigenlijk wel het beste.

[ Voor 11% gewijzigd door justice strike op 17-06-2012 03:29 ]

[CurlyMo]

justice strike schreef op zondag 17 juni 2012 @ 01:12:
Daarbij denk ik dat freenas ook wat stroom bespaart aangezien het os nooit de schijven zal laten opspinnen (want het zit op een usb stick).

Ik draai zelf ZFSGuru op een usb mirror. 2x Sandisk Cruzer Fit zodat ze ook veilig in mijn externe usb poorten kunnen zitten. De root pool op readonly gezet en bepaalde mappen zoals log bestanden als een tmpfs gemount. Werkt prima. Het is alleen een beetje tweaken maar je hebt dan wel dezelfde voordelen qua zuinigheid met nog steeds een volledig OS.

Ik hoor graag wat jullie hierover denken.

Ik heb overigens even benches gedraaid op freebsd 9 en daar is de zfs pool een stuk sneller. Zelfs raidz op 4 schijven haalt de 200mb (tov 70/80 mb op freenas). MAAR, de netwerk connectie vertoont dezelfde kuren als op freenas (8.2 of 8.0.4) wat betekent dat ik maar 55mb kan trekken over het gigabit netwerk. De keuze tussen de twee maakt dus weinig uit aangezien de performance niet veel zal gaan verschillen.

Ik zou ook voor de distro gaan met de meeste potentie. Als het hardware problemen blijken te zijn dan kan je dat eventueel via een losse netwerkkaart oplossen. Met FreeNAS heb je blijkbaar meer problemen dan alleen het netwerk.

//edit
Ik ga toch de knoop doorhakken in het voordeel van Freebsd 9.0. Nu wil ik kaal het freebsd os gaan installeren en dan zfsguru erop zetten om het onderhoudt wat makkelijker te maken.

Zou ik niet doen. ZFS on root installeren is via ZFSGuru een stukje makkelijker dan via de FreeBSD installer.

[justice strike]

CurlyMo schreef op zondag 17 juni 2012 @ 10:30:
[...]

Ik draai zelf ZFSGuru op een usb mirror. 2x Sandisk Cruzer Fit zodat ze ook veilig in mijn externe usb poorten kunnen zitten. De root pool op readonly gezet en bepaalde mappen zoals log bestanden als een tmpfs gemount. Werkt prima. Het is alleen een beetje tweaken maar je hebt dan wel dezelfde voordelen qua zuinigheid met nog steeds een volledig OS.
kun je me een beetje aangeven hoe je dat gedaan hebt?

[...]

Ik zou ook voor de distro gaan met de meeste potentie. Als het hardware problemen blijken te zijn dan kan je dat eventueel via een losse netwerkkaart oplossen. Met FreeNAS heb je blijkbaar meer problemen dan alleen het netwerk.[/quote]
wat bedoel je met meer problemen?

[...]

Zou ik niet doen. ZFS on root installeren is via ZFSGuru een stukje makkelijker dan via de FreeBSD installer.

als ik freebsd ga installeren dan ga ik het niet op usb installeren.

[CurlyMo]

justice strike schreef op zondag 17 juni 2012 @ 11:00:
wat bedoel je met meer problemen?

Je gaf aan dat je doorvoer snelheid van je pool flink lager is in FreeNAS dan in FreeBSD 9. Dat dus.

als ik freebsd ga installeren dan ga ik het niet op usb installeren.

Waarom zou je dat wel of niet doen?

[FireDrunk]

Ok, ok, ik zal me weer eens verdiepen in FreeBSD

Wat wel mooi is aan FreeBSD is dat het én VirtIO ondersteund én ZFS... Dat zijn toch wel twee leuke punten

[justice strike]

CurlyMo schreef op zondag 17 juni 2012 @ 11:07:
[...]

Je gaf aan dat je doorvoer snelheid van je pool flink lager is in FreeNAS dan in FreeBSD 9. Dat dus.

maar dat maakt niets uit als je die doorvoersnelheid van samba niet hoger is.

[...]

Waarom zou je dat wel of niet doen?

usb omdat je dan de disks niet laat opspinnen, maar geen usb omdat je dan makkelijk een installatie kan doen. Misschien doe ik gewoon een raid 1 usb drive. Wat ik ook nog kan doen is 4 partities maken op 2 usb stick en dan 4 keer spiegelen zodat een sector failure op een usb stick geen invloed heeft. Dat met de zfs checksuming moet het allemaal goed zijn.

Kan iemand mij aangeven of dat wel een goed idee is om uberhaupt een usbstick te gebruiken voor die doeleindes (of moet ik hem echt op read only zetten)

[ Voor 13% gewijzigd door justice strike op 17-06-2012 13:08 ]

[FireDrunk]

Een sector failure op USB komt vaak doordat er veel naar geschreven word. Als je er ZFS op zet zorgt het interne CoW systeem van ZFS er wel voor dat alle sectoren (ongeveer) even veel gebruikt worden.
Een USB stick kan natuurlijk wel falen, waardoor een RAID van USB geen slecht idee is...

Het is maar waar je 's nachts van kan slapen, ikzelf zou mijn OS niet snel op USB zetten (op ESXi na dan...)

[CurlyMo]

justice strike schreef op zondag 17 juni 2012 @ 13:00:
maar dat maakt niets uit als je die doorvoersnelheid van samba niet hoger is.

Maar die netwerk snelheid is wel op te lossen. In het uiterste geval door een aparte netwerk kaart. Dan is het wel fijn als er dus geen andere problemen zijn.

Kan iemand mij aangeven of dat wel een goed idee is om uberhaupt een usbstick te gebruiken voor die doeleindes (of moet ik hem echt op read only zetten)

Als je het wel doet, dan wel op readonly. Dat kan een hoop schelen in je levensduur van je sticks. Als je iets wilt installeren haal je ze even van readonly af en nadat je klaar bent zet je je sticks weer op readonly. Is met zfs zo gepiept.

[FireDrunk]

Dat readonly vind ik een beetje onzin... Dat moet met software ook op te lossen zijn...
Gewoon alle logging in RAM doen (/var/log /tmp tmpfs maken...)

[CurlyMo]

FireDrunk schreef op zondag 17 juni 2012 @ 15:42:
Dat readonly vind ik een beetje onzin... Dat moet met software ook op te lossen zijn...
Gewoon alle logging in RAM doen (/var/log /tmp tmpfs maken...)

Klopt, maar door gewoon je filesystem op readonly te zetten kom je er ook vanzelf in je logs achter welke stappen je vergeten bent. Bijv. ntp of tranmission die in andere locaties hun status bijhouden dan /var. Dat scheelt een hoop debugging wanneer je in je zpool iostat erachter komt dat er nog steeds naar je root pool geschreven wordt. Uiteindelijk is dit mijn lijst:

code:

tmpfs                           /tmp                    tmpfs   rw,mode=777             0 0
tmpfs                           /var/tmp                tmpfs   rw,mode=777             0 0
tmpfs                           /var/log                tmpfs   rw                      0 0
tmpfs                           /var/run                tmpfs   rw                      0 0
tmpfs                           /var/db/entropy         tmpfs   rw                      0 0
tmpfs                           /var/db/samba           tmpfs   rw                      0 0
tmpfs                           /var/db/ntpd            tmpfs   rw                      0 0
tmpfs                           /var/spool/lighttpd     tmpfs   rw,mode=770             0 0
tmpfs                           /var/backups            tmpfs   rw,mode=700             0 0
tmpfs                           /var/msgs               tmpfs   rw              0 0

[justice strike]

mja dat moet ik dan maar gaan doen. maar dat maakt weinig uit of ik dan zfsguru gebruik of freebsd en dan zfsguru daar op installeer. Komt er namelijk op neer dat je dat zelf allemaal moet instellen aangezien er nog geen zfsguru op usb stick is. Maw. ik moet dat allemaal zelf daarop zetten.

Ik denk dat ik voor freebsd ga en dan 2 usb sticks ga gebruiken...

[CurlyMo]

Ik zou je dan aan willen raden om deze tutorial te volgen:
http://zfsguru.com/forum/zfsgurudevelopment/147

[justice strike]

CurlyMo schreef op zondag 17 juni 2012 @ 18:41:
Ik zou je dan aan willen raden om deze tutorial te volgen:
http://zfsguru.com/forum/zfsgurudevelopment/147

die gaat weer uit van zfsguru. Ik denk maar zo, als je zfsguru ontop of freebsd kunt draaien, dan kies ik daar liever voor.

overigens. Ik had rondgekeken maar nergens gevonden (en was ook wel vanplan om de source door te spitten) maar heeft iemand enig idee of ik de freenas frontend makkelijk op freebsd kan plaatsen? die vind ik net wat beter werken.

[CurlyMo]

justice strike schreef op zondag 17 juni 2012 @ 19:36:
[...]

die gaat weer uit van zfsguru. Ik denk maar zo, als je zfsguru ontop of freebsd kunt draaien, dan kies ik daar liever voor.

Ik had verkeerd gelezen, dacht juist dat je nu wel voor zfsguru ging

overigens. Ik had rondgekeken maar nergens gevonden (en was ook wel vanplan om de source door te spitten) maar heeft iemand enig idee of ik de freenas frontend makkelijk op freebsd kan plaatsen? die vind ik net wat beter werken.

Vrijwel zeker van niet. FreeNAS zit erg complex in elkaar qua configuratie en is om die reden ook moeilijk te customizen. Maar iedereen moet iets voor het eerst uitgevogeld hebben

[FireDrunk]

Weet iemand of de bonding functies van netwerkkaarten bij Linux en FreeBSD hetzelfde zijn en/of compatible?
Het gaat om directe verbindingen zonder switch.

[Pixeltje]

Ik heb een vraag over FreeNAS, en twijfelde of ik het hier moest posten of een nieuwe topic voor maken. Eerst maar hier proberen:

Ik heb FreeNAS zo ingesteld dat er elke week een scrub gedraaid wordt over mijn vier schijven (zfs raidz2), en dat werkt prima. Elke nacht krijg ik een soort samenvatting van hoe het is met mijn NASje en daarin staat keurig elke zondag dat de scrub 0 dagen geleden is.

Ik heb óók ingesteld dat er elke nacht een short-self SMART test gedraaid moet worden, dit omdat de Seagate schijven die ik heb erg onbetrouwbaar zijn en de NAS niet alleen als opslag dient maar ook de backup van mijn systemen is. Ondanks dat ik heb ingesteld dat de output van de SMART test gemaild moet worden naar een mailadres ontvang ik hier niks van, ik kan uberhaupt geen logs vinden van die smart-tests en dat baart me een beetje zorgen. Zeker omdat er gister wéér een schijf is uitgevallen en mijn array degraded draait.

Weet iemand hier waar ik de smart-logs vindt in FreeNAS en/of het mogelijk is de uitkomst van de SMART test (bij fouten) te laten mailen?

Alvast bedankt

[CurlyMo]

code:

#!/usr/bin/perl
$to='[e-mail]';
$from='[e-mail]';

my $command_output = `/usr/local/sbin/smartctl -a /dev/ada0`;
if ($command_output =~ /PASSED/ && $? == 0) {
        print "goed";
}else{
`echo "$command_output" | /usr/bin/mail -s "SMART Alert" $to`;
}

my $command_output = `/usr/local/sbin/smartctl -a /dev/ada1`;
if ($command_output =~ /PASSED/ && $? == 0) {
        print "goed";
}else{
`echo "$command_output" | /usr/bin/mail -s "SMART Alert" $to`;
}

my $command_output = `/usr/local/sbin/smartctl -a /dev/ada2`;
if ($command_output =~ /PASSED/ && $? == 0) {
        print "goed";
}else{
`echo "$command_output" | /usr/bin/mail -s "SMART Alert" $to`;
}

my $command_output = `/usr/local/sbin/smartctl -a /dev/ada3`;
if ($command_output =~ /PASSED/ && $? == 0) {
        print "goed";
}else{
`echo "$command_output" | /usr/bin/mail -s "SMART Alert" $to`;
}

my $command_output = `/usr/local/sbin/smartctl -a /dev/da2`;
if ($command_output =~ /PASSED/ && $? == 0) {
        print "goed";
}else{
`echo "$command_output" | /usr/bin/mail -s "SMART Alert" $to`;
}

Als je sendmail gebruikt dan kan je via dit commando mailen:

code:

`echo "Subject: ZFS Alert\n$command_output" | /usr/sbin/sendmail -f $from $to`;

Natuurlijk kan het scriptje makkerlijker via een loop door een array waar al je schijven in vermeld staan. Of het ophalen van de schijven via een zpool status e.d. maar daar had ik geen zin in.

[Pixeltje]

Dat doe je snel Bovenstaande code kan ik als cronjob in Freenas plakken oid? Ik moet nog even kijken hoe dat precies werkt, maar daar kom ik wel uit denk ik. Bedankt!

[Verwijderd]

FireDrunk schreef op zondag 17 juni 2012 @ 21:03:
Weet iemand of de bonding functies van netwerkkaarten bij Linux en FreeBSD hetzelfde zijn en/of compatible?
Het gaat om directe verbindingen zonder switch.

Als je ze beiden via LACP doet gaat het prima. De anderen opties werken niet altijd even goed.

[Pantagruel]

Verwijderd schreef op maandag 18 juni 2012 @ 14:07:
[...]


Als je ze beiden via LACP doet gaat het prima. De anderen opties werken niet altijd even goed.

FreeBSD doet lagg - link aggregation en link failover vd interfaces

[FireDrunk]

Verwijderd schreef op maandag 18 juni 2012 @ 14:07:
Als je ze beiden via LACP doet gaat het prima. De anderen opties werken niet altijd even goed.

Pantagruel schreef op maandag 18 juni 2012 @ 16:31:
FreeBSD doet lagg - link aggregation en link failover vd interfaces

Het ging mij vooral om Bonding.
Ik heb een Dual Port 10Gb kaart in mijn beide servers zitten, en ik heb 2 10Gb TwinAx kabels.
Ik kan in theorie dus 20Gb halen, mits de beide systemen dezelfde (goede) bonding techniek gebruiken, namelijk round robin...

Mijn vraag was dus eigenlijk: Ondersteunen Linux en FreeBSD beide dezelfde Bonding (Round Robin) technieken?

LACP heb ik niets aan, want dat is voor een 1-op-1 link niet sneller.

[Verwijderd]

Tijd geleden (~1 jaar) ook geprobeerd, ze ondersteunen wel beiden round robin maar kreeg het toen niet goed voorelkaar met de kaarten die ik had., anders dan LACP. Wellicht dat het nu wel werkt.
Denk dat het sneller is om even te proberen dan internet afspeuren naar antwoord op je vraag.

FireDrunk schreef op maandag 18 juni 2012 @ 19:06:
[...]


[...]


Het ging mij vooral om Bonding.
Ik heb een Dual Port 10Gb kaart in mijn beide servers zitten, en ik heb 2 10Gb TwinAx kabels.
Ik kan in theorie dus 20Gb halen, mits de beide systemen dezelfde (goede) bonding techniek gebruiken, namelijk round robin...

Mijn vraag was dus eigenlijk: Ondersteunen Linux en FreeBSD beide dezelfde Bonding (Round Robin) technieken?

LACP heb ik niets aan, want dat is voor een 1-op-1 link niet sneller.

[Verwijderd]

Ik heb een Asus P8H67-I met 6 hd's in softraid. Booten doe ik van een ssd via usb3. Ik gebruik deze nas tevens als HTPC.

Ik wil er nog een aantal HD's 2 of het liefst 4 bij kunnen plaatsen nu heb ik deze addonics sata-600 controller (AD2SAHSSD) gevonden op internet. Ik kan er in theorie nog maar 2 bij plaatsen. Nu is de vraag of of dit gaat werken met de bestaande raid onder linux.

[ Voor 15% gewijzigd door Verwijderd op 20-06-2012 14:37 ]

[Verwijderd]

FireDrunk schreef op maandag 18 juni 2012 @ 19:06:
Mijn vraag was dus eigenlijk: Ondersteunen Linux en FreeBSD beide dezelfde Bonding (Round Robin) technieken?

Round Robin werkt niet met alle switches. De twee kabels direct aansluiten is het beste om eerst te testen, daarna via je switch. Je hebt geen crosslink ofzo nodig; vanaf gigabit is alles MDI-X dus kiest automatisch cross of straight.

LACP heb ik niets aan, want dat is voor een 1-op-1 link niet sneller.

Bij round robin is de schaling ook niet 100%; je TCP receive window moet groot genoeg zijn en de 'master NIC' krijgt procentueel meer netwerk I/O dan de slave NICs waardoor je schaling niet perfect zal zijn.

Toch lijkt het mij prima mogelijk dat je met round robin lagg uitstekende performance moet kunnen halen, mits juist geconfigureerd. Dat is wellicht iets om op mijn to-do lijstje te zetten; met name Ubuntu lagg met FreeBSD lagg beide round-robin geconfigureerd.

[Dutchtraveller]

Voor de echte snelheidsfanaten staat er een mooi artikel in de laatste (duitse) C'T.
2 systemen met elk 2x E5-2690 gekoppeld met 4xFDR Infiniband.
Storage: 4 x 1,5TB PCIe SSD's. Lokaal te benaderen met 6000MB/s en via Infiniband met 4800MB/s!!!

Een hele DVD per seconde....

[Sand0rf]

Hoi Sand0rf. Het linken naar advertenties op V&A is ongewenst en onnodig; als iemand opzoek is naar een HighPoint 2680-controller komt hij vanzelf een keer bij jouw advertentie terecht. Het extra onder de aandacht brengen wordt dan ook niet op prijs gesteld. Je mag wel naar je V&A advertentie linken in je signature.

[ Voor 77% gewijzigd door Verwijderd op 24-06-2012 01:43 ]

[Pixeltje]

Kan iemand hier me vertellen of en zoja, hoe, ik ervoor zorg dat mijn NAS uitgeschakeld wordt door een UPS als de stroom uitvalt? Mijn NAS draait op FreeNAS, en ik weet het niet zeker maar ga er eigenlijk van uit dat er ondersteuning voor UPS-systemen is ingebouwd..

Ik zit met een schuin oog te kijken naar de pricewatch: APC Back-UPS ES 550VA 230V , maar het heeft alleen zin om een UPS te kopen als de NAS daarmee ook uitgeschakeld wordt. Aangezien ik het grootste deel van de dag niet thuis ben kan ik het apparaat niet handmatig uitzetten bij stroomuitval. Iemand een idee?

Edit: Of deze, met wat meer capaciteit: pricewatch: APC Back-UPS Power-Saving ES 8 outlet 700VA

In de review hierover staat dat je 'm aan kunt sluiten op een USB poort.. als FreeNAS dat snapt is 't geregeld toch?

[ Voor 30% gewijzigd door Pixeltje op 27-06-2012 09:08 ]

[HarmoniousVibe]

Volgens mij kun je gewoon apcupsd gebruiken.

[Q]

FireDrunk schreef op zondag 17 juni 2012 @ 21:03:
Weet iemand of de bonding functies van netwerkkaarten bij Linux en FreeBSD hetzelfde zijn en/of compatible?
Het gaat om directe verbindingen zonder switch.

Dat weet ik niet. Volgens mij is bonding met round robin een Linux-only feature. Onder Linux met de juiste netwerk kaarten en drivers werkt het wel erg goed. Met twee kaarten haal ik ongeveer 180 MB/s.

Maar dus alleen ervaring met loenux.

De snelheid die ik daar noem is hoger met 1 single file.

Je kunt ook 2x 10GB kaarten overwegen. Weet nu de kosten niet.

[Keiichi]

Zijn er trouwens processor die beter of slechter zijn in het verwerken van RAID5 (of 6) als software array onder linux? Ik heb op het moment een Atom D525 een raid5 draaien.

Opzich is er met sequential IO niet iets mis (131Mbytes/sec write, 250Mbytes/sec read), maar ik heb het idee dat er qua random nog wat aan schort, ik heb veel iowait tijdens wat gespeel met m'n mysql server.
Ik weet dat ik niet al te veel mag verwachten van software raid, maar als ik de raid array met betere aparatuur op weg kan helpen, zal ik dat ook wel doen. Een hardware raid controller hou ik vanwege kosten buiten beschouwing.

[FireDrunk]

IOwait wil zeggen dat de driver op de disk wacht. Het is dus even belangrijk om te zien of de IOwait op je /dev/md* device zit of op je /dev/sd* devices.

Als het op je /dev/sd* devices zit, zijn je disks gewoon niet snel genoeg. Als je de IOwait op je /dev/md* device ziet en veel CPU load op dat moment, kan het zijn dat hij inderdaad te traag is voor Software RAID.

Hoewel ik eerder zou verwachten dat Sequential workloads voor meer CPU zorgen.

De traagheid van Random workloads zit hem vooral in koppen die moeten verplaatsen of kleine requests die afgehandeld moeten worden. Niet in een CPU bottleneck.

[Demo]

Demoniac schreef op vrijdag 10 februari 2012 @ 15:46:
Mijn software RAID5 (mdadm) op 4x WD GreenPower 20EARS was nogal traag. Om te huilen zo traag eigenlijk, rond 50 MB/s lezen en 25 MB/s schrijven Afgelopen week heb ik echter wat zitten stoeien met optimalisatie en verbazingwekkende performancewinst gehaald.
Onderstaande zijn de waardes die uiteindelijk de beste performancewinst opleverden, ik heb er flink mee zitten experimenteren.

code:

blockdev --setra 64 /dev/sd[bcde]
blockdev --setra 8192 /dev/md0
echo 8192 > /sys/block/md0/md/stripe_cache_size
echo 512 > /sys/block/sdb/queue/max_sectors_kb
echo 512 > /sys/block/sdc/queue/max_sectors_kb
echo 512 > /sys/block/sdd/queue/max_sectors_kb
echo 512 > /sys/block/sde/queue/max_sectors_kb
hdparm -Q 4 /dev/sd[bcde]

Resultaat: (ja, even quick and dirty getest, ik zal er nog even een echte benchmark op loslaten)
root@server:~# sync ; echo 3 > /proc/sys/vm/drop_caches ; dd if=/dev/zero of=/data/test.bin bs=64k count=16k
1073741824 bytes (1.1 GB) copied, 5.42966 s, 198 MB/s
root@server:~# sync ; echo 3 > /proc/sys/vm/drop_caches ; dd of=/dev/null if=/data/test.bin bs=64k
1073741824 bytes (1.1 GB) copied, 3.85634 s, 278 MB/s

De sync ; echo 3 > /proc/sys/vm/drop_caches zorgt er voor dat eventueel gebufferde data niet voor te positieve resultaten zorgt

Om hier even op terug te komen, ik heb me nog wat meer ingelezen, getest en uitgezocht hoe ik deze settings permanent kan krijgen. Ik heb nu ook getest met count=64k, wat een testbestand van 4 GB oplevert, twee keer zo groot als mijn RAM, dus caching heeft een minder grote invloed op het resultaat.
De block/sdX/queue/max_sectors_kb kan je het beste instellen op de chunk-size van je RAID-array. In mijn geval is dat 512 kB, maar als je grote chunks hebt, valt daar nog een behoorlijke performance te halen.
De block/mdX/md/stripe_cache_size van de md heb ik op [aantal bruikbare disks] * chunk-size * 4 staan. De helft van de grootte kostte mij een paar procent performance (van 330 naar 320), een verdubbeling leek ook minder te performen..
Ik heb ook nog getest met de queue depth, het lijkt er op dat het uitschakelen van NCQ (hdparm -Q 1) de beste performance geeft.
Voor het permanent maken van de settings installeer je op Debian of Ubuntu sysfsutils. Vervolgens kan je in /etc/sysfs.conf de instellingen opslaan. De syntax is het pad van de variabele min /sys/.

code: /etc/sysfs.conf

# Dit moet voor elke disk in de array
block/sdX/queue/max_sectors_kb = 512 # gelijk aan MD chunk size

block/sdX/queue/read_ahead_kb = 32 # de waarde van blockdev --setra delen door 2, die is in 512b blocks, deze in kB's

block/sdX/device/queue_depth = 1 # doet hetzelfde als hdparm -Q

# Dit voor elke MD array die je hebt
block/mdX/md/stripe_cache_size = 6144 # chunk size * bruikbare disks * 4

En als we dan toch bezig zijn, even de rebuild speed van mdadm verhogen:

code: /etc/sysctl.conf

dev.raid.speed_limit_min=50000
dev.raid.speed_limit_max=500000

Aangezien mdadm standaard maar met 50 MB/s rebuildt en ik dat proces toch liefst zo snel mogelijk achter de rug heb..

[interficiam]

Ik ben van plan om zelf een NAS te bouwen. Het moet niet de snelste zijn, maar ik zou toch graag ongeveer 60MB/s read halen. Ik ga er niet zo vaak naar schrijven, dus write snelheid is minder belangrijk.
Ook zou ik graag hebben dat hij zo zuinig en goedkoop mogelijk is.
Ik ga als besturingssysteem FreeNAS gebruiken met ZFS, aangezien dit gemakkelijk lijkt om te gebruiken.
Ik ga beginnen met 4 harde schijven, maar het moet uitbreidbaar zijn tot 6 schijven.

Ik heb het volgende systeem in gedachte:
Asus C60M1-I of Asus E35M1-I
4xSeagate Barracuda Green 5900.3 ST2000DL003, 2TB
Lian Li PC-Q08B
be quiet! Pure Power L7 300W
2xKingston ValueRAM KVR1333D3N9/4G

De Asus C60M1-I draait maar op 1GHz, maar is wel zuiniger en goedkoper. Ik weet niet of die processor sterk genoeg is. De Asus E35M1-I is met zijn 1,6GHz al sneller, maar natuurlijk ook geen snelheidsmonster aangezien het systeem zuinig moet blijven. Ik vond niet veel andere moederborden die betaalbaar zijn en 6 sata poorten hebben.

Hebben jullie suggesties over welk moederbord het beste zou zijn of nog andere opmerkingen bij deze hardware configuratie?

[Q]

Naar mijn weten laat ZFS het niet toe om, zoals bij Linux software RAID, na behoeften extra disks toe te voegen om zo de capaciteit te vergroten. Dan moet je een hele 2e array maken, met alle overhead van dien.
Of is die feature inmiddels toegevoegd?

[interficiam]

Op http://doc.freenas.org/in...a_Volume_Has_Been_Created staat een uitleg om een ZFS volume te extenden. Ik denk dat het dus nu wel mogelijk is om extra schijven toe te voegen.

[Dadona]

interficiam schreef op zaterdag 30 juni 2012 @ 13:19:
De Asus C60M1-I draait maar op 1GHz, maar is wel zuiniger en goedkoper. Ik weet niet of die processor sterk genoeg is. De Asus E35M1-I is met zijn 1,6GHz al sneller, maar natuurlijk ook geen snelheidsmonster aangezien het systeem zuinig moet blijven. Ik vond niet veel andere moederborden die betaalbaar zijn en 6 sata poorten hebben.

Hebben jullie suggesties over welk moederbord het beste zou zijn of nog andere opmerkingen bij deze hardware configuratie?

De C-60 draait op 1GHz, maar heeft een turbo functionaliteit om de kloksnelheid van de CPU en IGP te verhogen. De CPU gaat dan naar 1.3GHz.
Alleen het 'zuiniger' zijn van die C-60 ben ik nog niet zo zeker van. Ik had het idee dat de E-350 dezelfde techniek en hetzelfde procede heeft. De C-60 zou dan ook enkel een lager prestatie plafond hebben gekregen (met als gevolg een lagere TDP). Maar uiteindelijk blijft het idle verbruik gelijk en is hooguit de efficiëntiecurve / schaling iets mooier. Als dat niet het geval is dan staat de C-60 voor dezelfde taak simpelweg langer op full load dan de E-350 en schiet je er aan het einde van de rit niets mee op.

[CurlyMo]

interficiam schreef op zaterdag 30 juni 2012 @ 13:35:
Op http://doc.freenas.org/in...a_Volume_Has_Been_Created staat een uitleg om een ZFS volume te extenden. Ik denk dat het dus nu wel mogelijk is om extra schijven toe te voegen.

Dit kan dus niet. Je kan alleen een pool maken van meerdere vdevs deze stripen of mirroren. Dus raidz + raidz. Je kunt dus nu beter beginnen met een raidz van 3 disks en daar later nog een raidz van 3 disks bij zetten of gelijk beginnen met een raidz2 met 6 disks. Dat tweede zou ik aanraden. Voor zfs builds bestaat het zfs topic waar zulke vragen al uitvoerig zijn besproken Het grote ZFS topic

[Sleepie]

interficiam schreef op zaterdag 30 juni 2012 @ 13:35:
Op http://doc.freenas.org/in...a_Volume_Has_Been_Created staat een uitleg om een ZFS volume te extenden. Ik denk dat het dus nu wel mogelijk is om extra schijven toe te voegen.

Je kunt een volume extenden met een vdev.
Betekent dus dat als je een 4 disk RAIDZ1 pool aanmaakt, dat je nog een tweede 4 disk RAIDZ1 vdev kunt toevoegen aan die pool, waardoor er een soort RAID50 oplossing gecreerd wordt.
Het toevoegen van 2 disks zoals je voorstelt zal dus alleen lukken als je begint met twee keer een mirror van twee disks, daar kun je dan een derde mirror van twee disks aan toevoegen later.
Je zou dus met 3 disks in RAIDZ1 kunnen beginnen en dan later 3 disks toevoegen, dat kan wel.

Lees het stukje wat je linkt eens goed door, de belangrijke punten:

Once a vdev is created, you can not add more drives to that vdev; however, you can stripe a new vdev (and its disks) with the same type of existing vdev in order to increase the overall size of the ZFS pool.

edit:
Zoals hierboven dus ook al staat

[interficiam]

Bedankt voor de uitleg. Ik had blijkbaar de wiki-pagina over ZFS fout begrepen. Ik zal dan van in het begin 6 schijven in mijn NAS zetten.
En ik neem waarschijnlijk best als moederbord de Asus E35M1-I aangezien het idle verbruik van beiden waarschijnlijk gelijk is.

[dylan0806]

hallo allemaal

Het is weer vakantie en ik heb niets te doen dus dacht ik ik ga me home server maar is aanpassen.
Ik wil de server zo gaan aanpassen dat ik gewoon mijn DNS en alles in 1 VM heb en daarnaast nog een aantal VM's kan draaien voor testen en dergelijk. De zfs distro gaat vooral voor de opslag van films/series en back-ups.
Nu de vraag kan dit eigenlijk wel of vergeet ik nu iets
En kan je nog redelijke mb/s krijgt met deze opstelling?

[ Voor 7% gewijzigd door dylan0806 op 02-07-2012 01:22 ]

[LightStar]

Zojuist mijn nieuwe server besteld moet alleen nog achter de hdd's aan 2 of 3 tb of een mooie serie in de aanbieding

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1220 Boxed	€ 185,90	€ 185,90
2	Adaptec mSASx4 (SFF-8087) to SATA (4)x1 Cable (2236700-R)	€ 31,-	€ 62,-
2	Patriot PGD316G1333ELK	€ 111,50	€ 223,-
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 114,24	€ 114,24
1	be quiet! Pure Power L8 530W	€ 61,70	€ 61,70
1	Asus P8B WS	€ 183,-	€ 183,-
Bekijk collectie Importeer producten		Totaal	€ 829,84