Het grote ZFS topic

[Ultraman]

ebia schreef op woensdag 09 mei 2012 @ 08:49:
Zijn er veel problemen met die disken met grotere sectoren dan?

Geen problemen, meer maximale prestaties dingetje.
Hoewel je er met een mirror volgens mij weinig tot geen last van hebt.

Maar je wilt met Advanced Format disken ZFS vertellen dat deze op dergelijke disken gebruikt wordt. ZFS gaat standaard uit van een conventionele sector size van 512 bytes, terwijl een Advanced Format disk sectoren gebruikt van 4096 bytes. Dat wordt gedaan door het aanpassen van de waarde van de "ashift" binnen de ZFS configuratie.
Er is vanalles over geschreven, als je het interessant vind kun je dat dus allemaal opzoeken.

Waar het om gaat is:
Ik weet niet op FreeNAS mogelijkheid biedt om rekening te houden met Advanced Format schijven. Wie weet zit het er gewoon in, maar misschien slim om er even op te letten.

ZFSGuru kan er in ieder geval mee omgaan en heeft in diens webinterface een vinkje zitten die je aanzet als je Advanced Format schijven gebruikt, dan komt het zeker goed.
Die haalt met het aanmaken van het filesystem dan het "gnop"-geintje uit waardoor de ashift op de juiste waarde (12) voor 4096 sectoren komt te staan.

Dank je wel voor de tip. Ziet er ook goed uit. Gaat mij om hebben van een wat simpele webinterface, want ik ben zo'n type dat altijd command-line tools vergeet. Zeker als je zo'n systeem eenmaal bouwt en in de kast zet, en je er twee jaar later weer eens naar wilt kijken, ben je altijd vergeten wat je ook alweer moest doen.

Maar dat je inderdaad een full OS onderliggend hebt klinkt wel goed.

ZFSGuru lijkt me dan idd handig voor je

EDIT:

Me nog even verder ingelezen in de materie. Raid-Z zou iets goedkoper zijn, maar wel ten koste van performance verlies. Nah, doe maar gewoon een mirror.

raidz zou "iets" goedkoper zijn? Significant goedkoper of praten we over een tientje?

Als je de disken al hebt is het natuurlijk andere koek. Maar als ik de pricewatch bekijk dan kan ik met 2x2TB goedkoper af zijn dan 3x1TB.

De derde disk optie hou ik er misschien wel in: als hot spare. Lijkt me wel een gave feature om te hebben.

Is prima. Maar waarom "hot spare" als het nog leuker kan? Als je hem aan de mirror toevoegt krijg je een drievoudige mirror. Dan kun je zelfs twee schijven verliezen voordat je data-verlies hebt.

[ebia]

Ultraman schreef op woensdag 09 mei 2012 @ 13:05:
[...]
Geen problemen, meer maximale prestaties dingetje.
Hoewel je er met een mirror volgens mij weinig tot geen last van hebt.

Aha, ja dan kijk ik ff nog welke disken het worden. Misschien ook nog in de hoop dat ze wat in prijs dalen. Goed om te weten dat ZFSguru er in ieder geval mee kan omgaan.

[...]
ZFSGuru lijkt me dan idd handig voor je

Ben er net even mee aan de slag geweest. Installatie van de nieuwste experimental live cd faalde bij het opstarten, maar het is me gelukt de stable te installeren (op vmware). Heb voor de grap wat disken gemaakt, pool erop, root-on-zfs installatie gedaan, OS geupdate, volumes aangemaakt, iscsi aan de gang gekregen, en eigenlijk gaat het in één keer allemaal goed (zonder dat ik ooit eerder met ZFS aan de gang ben geweest). Top.

[...]

raidz zou "iets" goedkoper zijn? Significant goedkoper of praten we over een tientje?

Ligt natuurlijk uiteindelijk aan hoeveel disken je wilt gaan inzetten. Ga je denken aan een 7-disk raidz dan krijg je meer opslag uiteindelijk, dan 7 disken in mirror plaatsen. Maar ik zie de prestatiewinst bij 'gewoon' mirroring (en evt met 4 disken striping erbij), met de prijs van een ordinaire sata disk hoef je het eigenlijk niet te laten.

[...]
Is prima. Maar waarom "hot spare" als het nog leuker kan? Als je hem aan de mirror toevoegt krijg je een drievoudige mirror. Dan kun je zelfs twee schijven verliezen voordat je data-verlies hebt.

Ik zie inderdaad nu dat dat kan (en dat hot spare zelfs niet helemaal goed werkt, staat een disclaimer bij). Maar wat ik wel zag is dat ik dan meteen vanaf het begin met 3 disken moet gaan werken. Eerst een pool bouwen met 2 disken, en later een 3e disk (als 2e mirror disk) toevoegen kan niet. Idee waarom?

[HyperBart]

FreeNAS zou nu ook weer lekker moeten werken met Previous Versions in Windows?

http://support.freenas.org/changeset/10126/freenas

Jongens, graag ook nog even jullie reactie op volgende statements die ik nu voor mezelf en enkele mede-geinteresseerden heb verzameld:

OpenIndiana + Napp-it : simpele, makkelijke combinatie om met een nog Solaris-gebaseerd systeem te werken.
Voordelen
De CIFS en iSCSI-driver op kernel-level zitten (=betere performance)
De betere/performantere mem allocation
En het "hebben" van de nieuwere ZFS-versies...
Previous Versions onder Windows werken easy peasy

Nadelen
Geen ashift ondersteuning, dus minder performant voor 4K-schijven, mogelijkheid wel om de ashift bij een FreeBSD gebaseerd OS in te stellen en dan te importeren in OpenIndiana, maar dat is beetje hus en klus-werk?


ZFSguru:
Ziet er veelbelovend uit, veel meer dummy proof dan Napp-it, volop in ontwikkeling.

Gezien het feit dat het gebaseerd is op *BSD heeft het wel ashift ondersteuning, maar de performance voordelen van Solaris derivaten vallen hier wat weg... Scheelt dit immens in performance?


Het verhaal van de transaction groups, wat is daar de vuistregel qua tweaking en aanpassingen, afhankelijk van je disksizes en al dan niet 4K disks?

CiPHER, je hebt hier een heel interessante uiteenzetting gedaan over SLOG:

Verwijderd in "Het grote ZFS topic"

Begrijp ik het goed dat dat nog iets anders is dan ZIL, of is dat de ZIL? Ik had altijd begrepen dat het "best practice was" dat je je L2ARC en ZIL op die SSD zette omdat die beter is in Random I/O en de troughput heel hoog ligt en zo de bottleneck wat betreft die ZIL en L2ARC niet daar ligt? Nu begrijp ik van je bovenstaande post dat het net gevaarlijk is om je ZIL(=SLOG?) daar ook op te zetten, want als die naar de haaien is zit je potentieel met een unrecoverable pool? Ik leid daar uit af dat dat het hele superveilige "gevoel" en systeem van ZFS gigantisch hard naar onder trekt...?

Of is dat allemaal opgelost met een SSD met supercapacitors?

Je kunt de SLOG ook direct bij het aanmaken van de pool toevoegen, of later achteraf. Belangrijk is echter het volgende:

• SLOG is een potentiëel gevaarlijke feature; het zorgt ervoor dat de disks zelf géén ZFS Intent Log meer hebben, maar in feite wordt uitbesteed aan een dedicated log device "SLOG" (separate log device).
• Het afwezig zijn van SLOG of een gecrashde SLOG disk kan je hele pool onherstelbaar en unrecoverable maken, als je een ZFS pool versie lager dan 19 gebruikt. Vanaf versie 19 kun je SLOG disks verwijderen van de pool en bij afwezigheid een geforceerde import uitvoeren. Bij dit laatste worden enkele 'transaction groups' teruggerolt, wat betekent dat je een stuk terug in 'het verleden' gaat; recent gemaakte wijzigingen/writes ben je dan dus kwijt.
• Corruptie op je SSD kan dezelfde gevolgen hebben als hierboven vermeld. Dit komt vaak voor als een SSD onverwacht zijn stroom verliest. Daarom dat een SSD met 'supercapacitor' zoals de Intel 310/520 series eigenlijk verplicht is; anders draai je geen echt veilige setup.

Als we die (=SSD's met supercaps) dus nemen, dan is er geen enkel probleem?

Ik heb nu ook begrepen wat je bedoelde met die 100 vs 120GB en dat je best nog 20GB vrij houdt omdat de Intels te weinig "spare space hebben" om writes te verspreiden en wear and tear zo gelijkmatig mogelijk te doen...

Hoe bepaal je eigenlijk hoe groot je partitie van de SLOG eigenlijk moet zijn?

Je SLOG moet groot genoeg zijn om twee transactie groups te kunnen huisvesten, in principe kan 1 of 2GB genoeg zijn. Je hebt meer ruimte nodig niet als je meer RAM hebt, maar als je harddisk/pool sneller kan schrijven. Een pool die met 10GB/s kan schrijven (theoretisch) heeft dus een grotere SLOG nodig. Maar met zulke hardware kan ik niet testen.

Kan je dat (= de grootte van je transaction groups) gewoon uitlezen van een file (btw, die transaction group size, bepaalt ZFS zogezegd zelf zijn "optimale" bij het maken van een vdev/zpool (welk van de twee in dit geval?) of is dit altijd default hetzelfde?)
Het vetgedrukte deeltje van bovenstaande quote begrijp ik niet zo goed, vooral het eerste deel niet echt...


In deze post: Verwijderd in "Het grote ZFS topic"
Geef je aan:

Maar je hoeft niet veel te doen, alleen is het wel handig je te beperken tot de optimale disk configuratie:
RAID-Z: 3, 5 of 9 disks
RAID-Z2: 6 of 10 disks

en

Daarnaast bestaat er een ashift=12 methode die ZFS anders data laat alloceren. Echter is dat niet/minder nodig als je je houdt aan bovenstaande disk configuratie (3/5/9 of 4/10 disks). Als je dat hebt gedaan en je moet een disk vervangen, hoef je dat niet opnieuw te doen. Die instelling gaat per pool dus eenmaal op ashift=12 blijft het altijd zo.

Hieruit leid ik ook af, dat je het ashift-verhaal bij geoptimaliseerde disk aantallen in het geval van 4K/Advanced Format niet zo belangrijk vindt en dat een potentiële performance-winst door de ashift-tweak te gebruiken marginaal is?


In de auto nog een tijdje gepraat met de collega en dan kwam ik tot een volgende vraag:
( even resumeren: (BD = Block Device) BD + BD + BD + BD = vDev

vDev (+ vDev) (+ vDev) = zPool

Maar! Ik dacht (en dat vind ik nu echt niet terug en fuck zeg, ik heb die search en mijn hersens al wat zitten pijnigen om bepaalde dingen terug te vinden)

EDIT: Ding ding ding:
Verwijderd in "Het grote DIY RAID NAS topic deel 3"

ZFS doet load balancing over de verschillende vdevs; dus als je nieuwe array/vdev sneller of langzamer is dan de oude, remmen ze elkaar niet af. Bij ouderwets expansion zal een snellere schijf nauwelijks voordeel geven.

Dat als je een pool uitbreidt door een vDev toe te voegen, dat hij nieuwe data gaat distribueren over vDev's, afhankelijk van snelheid enz... Of klopt daar iets niet van of zit ik in een verkeerd straatje te denken? Aan de ene kant is dat leuk, maar aan de andere kant ook ongelooflijk lomp, want als ik gezinsfoto's kopieer wil ik dat die veilig staan op een raidz2 en wil ik niet dat die naar een mirror gaan bv...

[ Voor 154% gewijzigd door HyperBart op 10-05-2012 00:33 ]

[syl765]

Dit klopt helemaal, heb je een pool met een vdev bestaande uit 5 15k sas schijven in een raidz, dan kun je er gewoon een vdev aan toevoegen die bestaat uit twee usb sticks in een mirror.
ZFS zal dan de data inderdaad gaan distribueren over deze twee vdevs.
Je kan ZFS niet kwalijk nemen dat alles kan, maar of het slim is, dat is een tweede.
Je mag dus verwachten dat je nadenkt wat je aan de pool toevoegd.

Wat een betere keuze zou zijn in deze is gewoon meerdere pools maken.
Een pool uit meerdere raidz vdevs met 15k sas schijven!
Een tweede pool uit vdevs bestaande uit sata schijven in een mirror.

Twee leuke en informatieve filmpjes die mij ook nog het een en ander duidelijk maakte zijn deze.
kwaliteit is niet echt denderend, maar het is te doen

https://blogs.oracle.com/video/entry/becoming_a_zfs_ninja

gr
Johan

[HyperBart]

CiPHER, ik kijk heel hard uit naar je reactie op mijn vragen, ben benieuwd .

Ondertussen heb ik een IM ontvangen van mijn PM dat mijn geheugen er is, 32GB UDIMM ECC voor mijn Supermicro bordje... Dat zou ik maandag dan hebben en de week daarop komt mijn M1015 .

Thuis liggen al enkele disks die ik ergens op reserve had (4 x 80 GB en 2 x 400 GB), dus we zijn bijna klaar om te spelen .

Collega wees me nog op CrashPlan, wat Google-werk en we komen uit op: https://www.crashplan.com/consumer/store.vtl#family-plan .

De initiele backup gaat wel like 3 maanden duren, maar ja, dan zitten we ook safe

[FireDrunk]

Ik ben nog niet echt weg van Crashplan, ik vond de tool een tikke omslachtig, maar dat was vooral de GUI.
Ik hoorde dat er sinds een tijd al een command line versie is

[HyperBart]

Mja, voor een duppie op de eerste rij vind ik niet slecht eigenlijk... 3USD voor een PC te backuppen, leuk als je dat met je ZFS nas kan .

Ik lees geen slechte dingen over de commandline, dus we kunnen het maar eens proberen he...

[FireDrunk]

Zeker, de command line heb ik persoonlijk nog nooit geprobeerd. Van client naar client ging redelijk, al kostte de encryptie redelijk wat CPU.

[RudolfR]

@CiPHER

Het systeem staat nu een memtest te draaien. Heeft al er al zeker 4 passes opzitten zonder fouten.

Wel vond ik hetvolgende:
http://hardforum.com/show...?p=1037507027&postcount=4
http://hardforum.com/show...p=1037514466&postcount=11

Dus ik denk inderdaad dat ESXi RDM en ZFS niet lekker gaat werken.

Hmmm, misschien nog ´ns proberen om de RDMs anders aan te maken,
met -r ipv -z (http://communities.vmware.com/message/1613234)

dan maar geen spindown...

[ Voor 20% gewijzigd door RudolfR op 15-05-2012 08:26 ]

[u_nix_we_all]

ebia schreef op woensdag 09 mei 2012 @ 08:49:
[...]

De derde disk optie hou ik er misschien wel in: als hot spare. Lijkt me wel een gave feature om te hebben.

Ik moet hier toch even op reageren. Hot Spares are overrated IMHO.
Ik kom regelmatig setups tegen waar bijv 1 raid 5 set (of raidz1) draait, en daarbij een hot spare. Dus als er een disk uitvalt, dan pas wordt de hotspare in de set gezet, en moet de set hard aan het werk, juist op het moment dat je zonder parity draait. Risico is zeer hoog, ook al omdat het vaak voorkomt dat disks uit dezelfde batch ongeveer dezelfde levensduur hebben.
Als je in bovenstaand geval raid-6 (raidz2) gebruikt, heb je je extra parity al voordat er 1 disk uitvalt.

Pas bij meerdere grote sets hebben hotspares nut , maar hier hebben we het vooral over thuis-nas oplossingen, met een enkele data-set.

[Dadona]

Dat ben ik wel met je eens. Ik draai zelf een raidz2 en ik denk er niet aan om een hotspare (of ook maar een coldspare) in te zetten. Afhankelijk van het moment dat problemen ontstaan ga ik overwegen of ik een vervangende disc ga inzetten voor een resilver op een rustig moment of een migratie ga doorvoeren. Zeker als de schijven al wat ouder zijn dan is het mogelijk interessanter om naar 3TB of 4TB schijven te gaan.

[Pantagruel]

Dadona schreef op dinsdag 15 mei 2012 @ 13:29:
Dat ben ik wel met je eens. Ik draai zelf een raidz2 en ik denk er niet aan om een hotspare (of ook maar een coldspare) in te zetten. Afhankelijk van het moment dat problemen ontstaan ga ik overwegen of ik een vervangende disc ga inzetten voor een resilver op een rustig moment of een migratie ga doorvoeren. Zeker als de schijven al wat ouder zijn dan is het mogelijk interessanter om naar 3TB of 4TB schijven te gaan.

Sluit ik me bij aan, in t geval van RAIDz2 heb je de luxe dat er 2 schijven mogen uitvallen, dit geeft je meer tijd en ruimte om een weloverwogen keuze te maken om een HDD met de zelfde of hogere opslag capaciteit aan te schaffen. Mocht er op dit moment bijv. een schijf in mijn ZFS doos de geest geven dan zou ik hem door een gelijkwaardig exemplaar vervangen [2TB], vooral omdat op dit moment we nog steeds last hebben van redelijk dure HDD's en de defecte ter RMA aanbieden. Als dit nog een 1 a 1 1/2 jaar duren dan kon wel wel eens interessanter zijn om nar 3 of 4 TB over te stappen.

[FireDrunk]

Ik vind het veel belangrijker dat mijn array blijft werken in de tijd dat de schijf RMA gaat... Upgraden vind ik juist een ander verhaal. Ik wil bij een rebuild juist niet het risico lopen dat ik dat met een incompatible schijf doe. Dat doe ik liever met een werkende array

[onox]

Ik ben nu bezig met een FreeBSD 9 install op een 40 GB schijf

Kan ik beter een freebsd-swap partitie laten aanmaken of gewoon later dit doen:

zfs create -V 1g tank/SWAP
zfs set org.freebsd:swap=on tank/SWAP
swapon /dev/zvol/tank/SWAP

Ik vind swap altijd een beetje iets uit het verleden en ik heb nu 1.5 GiB RAM (wil er nog 2 GiB van maken), dus weet niet of het echt nuttig is. Wordt de swap uberhaupt door ZFS gebruikt? Ik dacht van niet omdat ZFS van wired geheugen gebruik zou maken.

[Ultraman]

Hotspares in raidz1 of een mirror zijn naar mijn mening ook onzin.
In geval van raidz1 + hotspare -> maak er raidz2 van
In geval van mirror -> sync die disk in bij de mirror, dat geeft een triple mirror.

Als je pool uit meerdere vdevs bestaat, dan is een hotspare mogelijk interessant.
Bijvoorbeeld voor een pool bestaande uit meerdere mirrors kan ik me voorstellen dat je graag een hotspare er in wilt hebben. Of voor een pool bestaande uit twee of meer raidz2 vdev's kan ik het me ook voorstellen.
Weeg het af...
Om een pool bestaande uit een enkele mirror of een enkele raidz is een hot spare imo onzin iig.

ebia schreef op woensdag 09 mei 2012 @ 14:38:
Ik zie inderdaad nu dat dat kan (en dat hot spare zelfs niet helemaal goed werkt, staat een disclaimer bij). Maar wat ik wel zag is dat ik dan meteen vanaf het begin met 3 disken moet gaan werken. Eerst een pool bouwen met 2 disken, en later een 3e disk (als 2e mirror disk) toevoegen kan niet. Idee waarom?

Waar haal je vandaan dat dat niet zou kunnen?
Volgens mij zit je of verkeerde documentatie te lezen of je leest documentatie verkeerd
Voor raidz arrays geldt dat je ze niet met één disk kunt uitbreiden.
Maar mirrors zijn juist heel flexibel in ZFS. Die kun je uit elkaar trekken, uitbreiden, etc zonder problemen. Een derde disk toevoegen aan een mirror om zo triple-mirror voor elkaar te krijgen is geen enkel probleem en heel erg betrouwbaar.

[ Voor 67% gewijzigd door Ultraman op 16-05-2012 06:40 ]

[FireDrunk]

Of je het wil is een tweede

[HyperBart]

Ik snap geen hol ervan, waarom dat die OpenIndiana nu opeens klaagt over numeric invalid oid:

bart@OpenIndianaVirtual:~$ ls -la /mnt/
total 3
drwxr-xr-x  2 root sys   2 2012-05-15 21:08 .
drwxr-xr-x 25 root root 26 2012-05-15 21:56 ..
bart@OpenIndianaVirtual:~$ cd /tank/
bart@OpenIndianaVirtual:/tank$ ls -la
total 6
drwxr-xr-x+  3 root root  3 2012-05-15 21:58 .
drwxr-xr-x  25 root root 26 2012-05-15 21:56 ..
drwxrwxrwx+  3 root root  3 2012-05-15 21:58 test1
bart@OpenIndianaVirtual:/tank$ dd if=/dev/zero of=zero.file bs=1M count=40960                                                                                                                                                                dd: opening `zero.file': Permission denied
bart@OpenIndianaVirtual:/tank$ sudo dd if=/dev/zero of=zero.file bs=1M count=409                                                                                                                                                             60
Password:
bart@OpenIndianaVirtual:/tank$ ls -la
total 9009058
drwxr-xr-x+  3 root root          4 2012-05-16 09:14 .
drwxr-xr-x  25 root root         26 2012-05-15 21:56 ..
drwxrwxrwx+  3 root root          3 2012-05-15 21:58 test1
-rw-r--r--+  1 root root 9229565952 2012-05-16 09:23 zero.file
bart@OpenIndianaVirtual:/tank$ rm -f zero.file
rm: cannot remove `zero.file': Permission denied
bart@OpenIndianaVirtual:/tank$ sudo !!
sudo rm -f zero.file
Password:
Sorry, try again.
Password:
Sorry, try again.
Password:
bart@OpenIndianaVirtual:/tank$ ls -la
total 6
drwxr-xr-x+  3 root root  3 2012-05-16 09:26 .
drwxr-xr-x  25 root root 26 2012-05-15 21:56 ..
drwxrwxrwx+  3 root root  3 2012-05-15 21:58 test1
bart@OpenIndianaVirtual:/tank$ cd test1
bart@OpenIndianaVirtual:/tank/test1$ sudo su
root@OpenIndianaVirtual:/tank/test1# dd if=/dev/zero of=zero.file bs=1M count=40                                                                                                                                                             960
dd: bad numeric argument: "1M"
root@OpenIndianaVirtual:/tank/test1# dd if=/dev/zero of=zero.file bs=1M count=40960
dd: bad numeric argument: "1M"
root@OpenIndianaVirtual:/tank/test1# cd ..
root@OpenIndianaVirtual:/tank# dd if=/dev/zero of=zero.file bs=1M count=40960
dd: bad numeric argument: "1M"
root@OpenIndianaVirtual:/tank# dd if=/dev/zero of=zero.file bs=1 count=40960
40960+0 records in
40960+0 records out
root@OpenIndianaVirtual:/tank# dd if=/dev/zero of=zero.file bs=1m count=40960
dd: bad numeric argument: "1m"
root@OpenIndianaVirtual:/tank# dd if=/dev/zero of=zero.file bs=1m count=40960

Plus, hoe komt dat ie maar iets van 9XXXXXX aantal bytes heeft weggeschreven, ik heb toch 40960 aangevraagd? Ik zie ook geen mooie DD resultaten zoals andere mensen?

[ Voor 3% gewijzigd door HyperBart op 16-05-2012 09:33 ]

[0xDEADBEEF]

HyperBart schreef op woensdag 16 mei 2012 @ 09:32:
Ik snap geen hol ervan, waarom dat die OpenIndiana nu opeens klaagt over numeric invalid oid:

bart@OpenIndianaVirtual:~$ ls -la /mnt/
total 3
drwxr-xr-x  2 root sys   2 2012-05-15 21:08 .
drwxr-xr-x 25 root root 26 2012-05-15 21:56 ..
bart@OpenIndianaVirtual:~$ cd /tank/
bart@OpenIndianaVirtual:/tank$ ls -la
total 6
drwxr-xr-x+  3 root root  3 2012-05-15 21:58 .
drwxr-xr-x  25 root root 26 2012-05-15 21:56 ..
drwxrwxrwx+  3 root root  3 2012-05-15 21:58 test1
bart@OpenIndianaVirtual:/tank$ dd if=/dev/zero of=zero.file bs=1M count=40960                                                                                                                                                                dd: opening `zero.file': Permission denied
bart@OpenIndianaVirtual:/tank$ sudo dd if=/dev/zero of=zero.file bs=1M count=409                                                                                                                                                             60
Password:
bart@OpenIndianaVirtual:/tank$ ls -la
total 9009058
drwxr-xr-x+  3 root root          4 2012-05-16 09:14 .
drwxr-xr-x  25 root root         26 2012-05-15 21:56 ..
drwxrwxrwx+  3 root root          3 2012-05-15 21:58 test1
-rw-r--r--+  1 root root 9229565952 2012-05-16 09:23 zero.file
bart@OpenIndianaVirtual:/tank$ rm -f zero.file
rm: cannot remove `zero.file': Permission denied
bart@OpenIndianaVirtual:/tank$ sudo !!
sudo rm -f zero.file
Password:
Sorry, try again.
Password:
Sorry, try again.
Password:
bart@OpenIndianaVirtual:/tank$ ls -la
total 6
drwxr-xr-x+  3 root root  3 2012-05-16 09:26 .
drwxr-xr-x  25 root root 26 2012-05-15 21:56 ..
drwxrwxrwx+  3 root root  3 2012-05-15 21:58 test1
bart@OpenIndianaVirtual:/tank$ cd test1
bart@OpenIndianaVirtual:/tank/test1$ sudo su
root@OpenIndianaVirtual:/tank/test1# dd if=/dev/zero of=zero.file bs=1M count=40                                                                                                                                                             960
dd: bad numeric argument: "1M"
root@OpenIndianaVirtual:/tank/test1# dd if=/dev/zero of=zero.file bs=1M count=40960
dd: bad numeric argument: "1M"
root@OpenIndianaVirtual:/tank/test1# cd ..
root@OpenIndianaVirtual:/tank# dd if=/dev/zero of=zero.file bs=1M count=40960
dd: bad numeric argument: "1M"
root@OpenIndianaVirtual:/tank# dd if=/dev/zero of=zero.file bs=1 count=40960
40960+0 records in
40960+0 records out
root@OpenIndianaVirtual:/tank# dd if=/dev/zero of=zero.file bs=1m count=40960
dd: bad numeric argument: "1m"
root@OpenIndianaVirtual:/tank# dd if=/dev/zero of=zero.file bs=1m count=40960

Plus, hoe komt dat ie maar iets van 9XXXXXX aantal bytes heeft weggeschreven, ik heb toch 40960 aangevraagd? Ik zie ook geen mooie DD resultaten zoals andere mensen?

Doe eens "ls -alo /", "ls -alo /tank" en "zfs set readonly=off /tank", waar staat dat plus-teken bij de file-flags voor? Voor het gemak neem ik aan dat dat op OpenIndiana net zo werkt als op FreeBSD

[HyperBart]

0xDEADBEEF schreef op woensdag 16 mei 2012 @ 09:45:
[...]

Doe eens "ls -alo /", "ls -alo /tank" en "zfs set readonly=off /tank", waar staat dat plus-teken bij de file-flags voor? Voor het gemak neem ik aan dat dat op OpenIndiana net zo werkt als op FreeBSD

root@OpenIndianaVirtual:/tank# ls -alo
total 11
drwxr-xr-x+  3 root           3 May 16 09:47 .
drwxr-xr-x  25 root          26 May 15 21:56 ..
drwxrwxrwx+  3 root           3 May 15 21:58 test1



root@OpenIndianaVirtual:/tank# zfs set readonly=off /tank
cannot open '/tank': invalid dataset name
root@OpenIndianaVirtual:/tank# zfs set readonly=off /
bin/      cdrom/    devices/  export/   kernel/   media/    net/      platform/ root/     sbin/     tank/     usr/
boot/     dev/      etc/      home/     lib/      mnt/      opt/      proc/     rpool/    system/   tmp/      var/
root@OpenIndianaVirtual:/tank# zfs set readonly=off /tank/
cannot open '/tank/': invalid dataset name
root@OpenIndianaVirtual:/tank# zfs set readonly=off /tank
cannot open '/tank': invalid dataset name
root@OpenIndianaVirtual:/tank# zfs set readonly=off tank/
cannot open 'tank/': invalid dataset name
root@OpenIndianaVirtual:/tank# sudo !!
sudo zfs set readonly=off tank/
cannot open 'tank/': invalid dataset name
root@OpenIndianaVirtual:/tank#

[0xDEADBEEF]

Okay wat laten "zpool list", "zfs mount" en "zfs list" zien?

[ Voor 30% gewijzigd door 0xDEADBEEF op 16-05-2012 09:53 ]

[HyperBart]

0xDEADBEEF schreef op woensdag 16 mei 2012 @ 09:52:
Okay wat laten "zpool list", "zfs mount" en "zfs list" zien?

root@OpenIndianaVirtual:~# zpool list
NAME    SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
rpool  9.94G  4.55G  5.39G    45%  1.00x  ONLINE  -
tank    298G   313K   298G     0%  1.00x  ONLINE  -
root@OpenIndianaVirtual:~# zfs mount
rpool/ROOT/openindiana          /
rpool/export                    /export
rpool/export/home               /export/home
rpool/export/home/bart          /export/home/bart
rpool                           /rpool
rpool/ROOT/openindiana-1        /tmp/tmpBnnf2e
tank                            /tank
tank/test1                      /tank/test1
root@OpenIndianaVirtual:~# zfs list
NAME                                   USED  AVAIL  REFER  MOUNTPOINT
rpool                                 5.48G  4.30G  46.5K  /rpool
rpool/ROOT                            3.42G  4.30G    31K  legacy
rpool/ROOT/napp-it-0.8h_update_05.15  1.89G  4.30G  1.87G  /
rpool/ROOT/openindiana                14.0M  4.30G  1.87G  /
rpool/ROOT/openindiana-1               729M  4.30G  1.83G  /tmp/tmpBnnf2e
rpool/ROOT/openindiana-2               816M  4.30G  1.83G  /
rpool/ROOT/pre_napp-it-0.8h             66K  4.30G  1.82G  /
rpool/dump                            1.00G  4.30G  1.00G  -
rpool/export                            98K  4.30G    32K  /export
rpool/export/home                       66K  4.30G    32K  /export/home
rpool/export/home/bart                  34K  4.30G    34K  /export/home/bart
rpool/swap                            1.06G  5.23G   133M  -
tank                                  21.9G   219G  44.9K  /tank
tank/test1                            47.9K   198G  47.9K  /tank/test1

[Verwijderd]

Ik wil mijn eerste home server opzetten met ZFS, RaidZ.
ik ben op gebied van servers en linux/freebds een beginner.
Redenen voor de server:
File server /Streaming server(Serviio)/Sabnzbd (+ addins)/FTP/cloud

Het systeem zou er ong zo uit moeten zien:
G630
MSI H61MA E35
8gb ecc ram
3x 2GB
Be quiet pure power l7 300w
Core 3000

Nu heb ik 2 vragen:
1. Welk systeem kan ik het beste nemen met deze doelen
Freenas vs. Zfsguru

2. Is het mogelijk een ZFS Server &HTPC in 1 systeem te creeeren? (in Ubuntu of Freebds o.i.d.)
2a. heeft dit grote nadelen tov van freenas/zfsguru

Thanks

[Dadona]

Even specifiek op het geheugen ingaande:
Ik ga ervan uit dat je op 8GB UDIMM inzet, ofwel non-registered / non-buffered ECC. Registered gaat sowieso niet werken in consumentenborden. Alleen vraag ik mij af of dit enig nut heeft. Als je al op een Intel setje ECC kunt benutten, dan is MSI (helaas) niet de eerste de beste. Zelfs bij de vorige architecturen van AMD (K8 en 'K10') kon je alleen op borden van Asus en (sommige) Biostar ECC benutten.

[HyperBart]

bart@OpenIndianaVirtual:~$ zfs set readonly=off /tank
cannot open '/tank': invalid dataset name
bart@OpenIndianaVirtual:~$ zfs set readonly=off tank
cannot set property for 'tank': permission denied
bart@OpenIndianaVirtual:~$ sudo !!
sudo zfs set readonly=off tank
Password:
bart@OpenIndianaVirtual:~$

Dat was het dus

Verklaart nog steeds niet waarom ik bij dd writes niet zo mooi krijg te zien hoeveel bits en bytes hij heeft staan verstampen

[FireDrunk]

De DD versie van Solaris is anders... Je kan time als commando ervoor gebruiken.

dus:

time dd if=/dev/zero of=/tank/test.bin bs=1048576 count=10240

De tijd die daaruit komt is de tijd die het kostte om 10GB weg te schrijven...

[HyperBart]

Gek, want daarnet deed ie het wel weer, (weliswaar gestart vanuit mijn eigen account):

bart@OpenIndianaVirtual:/tank/test1$ dd if=/dev/zero of=zero.file bs=1M count=40                                                                                                                                                             40+0 records in
40+0 records out
41943040 bytes (42 MB) copied, 0.0160673 s, 2.6 GB/s
bart@OpenIndianaVirtual:/tank/test1$ dd if=/dev/zero of=zero.file bs=1 count=40960
40960+0 records in
40960+0 records out
40960 bytes (41 kB) copied, 0.186609 s, 219 kB/s
bart@OpenIndianaVirtual:/tank/test1$ dd if=/dev/zero of=zero.file bs=1M count=40960

Zodadelijk eens kijken wat er uit die laatste komt

Blurgh, gaat maar traag precies...

Kan het zijn dat als je continu ls -la doet, dat pas na X aantal secondjes de size van een file vergroot op ZFS? Is dat dan die transaction group die hij wegschrijft telkens naar disk?


bart@OpenIndianaVirtual:/tank/test1$ dd if=/dev/zero of=zero.file bs=1M count=40960
40960+0 records in
40960+0 records out
42949672960 bytes (43 GB) copied, 3382.32 s, 12.7 MB/s

[ Voor 21% gewijzigd door HyperBart op 16-05-2012 15:20 ]

[u_nix_we_all]

FireDrunk schreef op woensdag 16 mei 2012 @ 13:55:
De DD versie van Solaris is anders... Je kan time als commando ervoor gebruiken.

dus:

time dd if=/dev/zero of=/tank/test.bin bs=1048576 count=10240

De tijd die daaruit komt is de tijd die het kostte om 10GB weg te schrijven...

Je kunt je dd process een USR1 signal geven, dan rapporteert hij tussentijds het aantal records, tijd, snelheid etc. ( kill -USR1 <pid> )

edit:

code:

root@supernas:~# dd if=/dev/zero of=/datapool/testfile bs=1M count=100k
9147+0 records in
9147+0 records out
9591324672 bytes (9.6 GB) copied, 12.7839 s, 750 MB/s
57640+0 records in
57640+0 records out
60439920640 bytes (60 GB) copied, 86.3713 s, 700 MB/s
102400+0 records in
102400+0 records out
107374182400 bytes (107 GB) copied, 152.834 s, 703 MB/s

(stripe over 3 raidz2 sets van elk 8 notebook-diskjes)

[ Voor 31% gewijzigd door u_nix_we_all op 16-05-2012 16:47 ]

[HyperBart]

Wtf, waar zit mijn gigantische performance verlies dan bij mij met ocharm 3 disks in raidz?

Dat moet op zijn minst toch dezelfde performance geven als mijn QNAP (4x 5900rpm) zou je dan denken...

[fabianruben]

Ik heb een paar vragen voor het in de toekomst bouwen van mijn ZFS server.
Ik som ze puntsgewijs op zodat het makkelijker is om op de vragen te antwoorden.

1. Ik zat te denken om een server met wat oudere hardware te beginnen. Ik weet dat jullie dit niet aanraden maar ik kan de pool toch makkelijk exporteren en importeren.
2. Met een RAID1 config en dan stukje bij beetje uitbreiden tot RAID10.
3. Als mijn RAID1 bijna vol zit en ik er een RAID10 van maak word mijn data dan nog verdeeld?
4. Of moet de data er daarvoor opnieuw opgezet worden of is daar een commando voor om het te verdelen?
5. Als ik linux wil en dus niet voor ZFS kies is btrfs dan het beste alternatief?

Alvast bedankt.

[HyperBart]

Mijn bootdisk van mijn OpenIndiana installatie is trouwens 10GB groot en is een VMDK, ik heb niks bijzonders gedaan omtrent verplaatsen van bepaalde functies naar de RDM's... Kan het zijn dat ik daar met een gigantische performance bottleneck zit?

[ Voor 3% gewijzigd door HyperBart op 16-05-2012 23:18 ]

[HyperBart]

Read is wel goed trouwens:

bart@OpenIndianaVirtual:/tank/test1$ dd if=zero.file of=/dev/null bs=1M
40960+0 records in
40960+0 records out
42949672960 bytes (43 GB) copied, 198.566 s, 216 MB/s

Er werd iets gezegd op het ZFS-guru forum dat ik mijn write cache moest nakijken... Maar in mijn BIOS van mijn Supermicro vind ik daar niks over... Kan ik dit met een simpel commando nakijken en enablen indien nodig?

[ Voor 34% gewijzigd door HyperBart op 19-05-2012 16:02 ]

[Marc050]

HELP!!

Ik zoek voor FreeBSD 9.0 (niet zfsguru, sorry Cipher ) & zfs een HBA (non-raid) 8-disk sas/sata controller die in een pci-e 16 past, maar alleen een x4 interface heeft. Doel is zfs software-raid.
Hij moet in het oranje pci-e slot op de tweede foto van boven passen van dit moederbord:
productreview: Gigabyte GA-965P-DS4, P965 (ATX, PCI-e, Sound, LAN, SATA II, RAID, 1394) review door frankknopers

Er komen eerst 8 * 2.5 10k sas schijven aan, later misschien vervangen door sata-laptopschijven.

Ik zoek al erg lang.

Afgevallen:

m1015 / MegaRAID SAS9240-8i, heeft x8 nodig in pci


SUPERMICRO AOC-SASLP-MV8 marvell, wil je niet volgens Cipher


SUPERMICRO AOC-SAT2-MV8 64-bit PCI-X133MHz SATA II (3.0Gb/s) Controller Card

werkt met freebsd met workaround volgens feedback, iets met custom kernel:
http://www.newegg.com/Pro...aspx?Item=N82E16815121009
valt voor mij af: pci-x ipv pci-e, sata ipv sas, en te lang.


SUPERMICRO AOC-SASLP-MV8 PCI Express x4 Low Profile SAS RAID Controller
werkt niet voor zfs/freebsd volgens feedback: op http://www.newegg.com
(sorry, link naar review werkt niet)


LSI 9201-16i SGL SAS 16 Ports internal SFF-8087 PCI-E RAID 0, 1, 1E & 10E W/SW and LP Bracket No CBL BOX RoHS
niet geschikt voor vrije pci-slot: heeft x8 PCI Express 2.0 host interface nodig
http://www.mwave.com/mwav..._v3.asp?scriteria=AA99011


Over de supermicro AOC-USAS2-L8e

http://www.supermicro.com...n/AOC-USAS2-L8i.cfm?TYP=E

Automatically negotiates PCI-E (1.x and 2.x) link widths

Is deze mogelijk? Ik lees over deze dat hij problemen ZOU hebben met spindown:
http://www.openegg.org/forums/posts/list/20/484.page


Een handig overzicht voor anderen die een controller zoeken?

http://blog.zorinaq.com/?e=10
From 32 to 2 ports: Ideal SATA/SAS Controllers for ZFS & Linux MD RAID

Hier staat in de feedback ook:

yes one can plug an x4 card in an x16 slot. I do this myself in some machines. This is called up-plugging by the PCIe standard. Per my list, I would recommend you either an LSI SAS2008 or SAS1068E controller. Note that your motherboard’s mechanical x16 slot is actually only wired as a x4 link, so it will be the I/O throughput bottleneck


Weet iemand een goede controller HBA voor me? De prijs is ook van belang.

pci-e x16-slot met x4 interface (zie foto van link bovenin!) voor 8 hd's.

@Dadona: x4 is vooral het aantal lanes, het gaat niet over de fysieke lengte en of hij er in past.
Meer uitleg over lanes in pci-express hier: http://computer.howstuffworks.com/pci-express1.htm

Alvast bedankt voor het lezen van mijn vraag en de reacties.

[ Voor 4% gewijzigd door Marc050 op 21-05-2012 19:05 ]

[Dadona]

Open dremelen van pci-e slot (als daar plek voor is) of anders een flexibele pci-e riser nemen?

[Marc050]

@Dadona: het gaat vooral om het aantal lanes, ik heb de vraag aangepast.

[webbier]

Ik begrijp niet zo goed waarom de ibm m1015 voor je afvalt. Die gaat gewoon werken in je x4 slot, alleen kan hij niet zijn volledige bandbreedte benutten, of je dat gaat merken met gewone harde schijven is de vraag. Hij zal dus net zo snel werken als een controller die een x4 pci-e slot verlangt. Tevens is het een van de meest gebruikte HBA's voor zfs.

[Dadona]

Oké, fysiek past het dus, prima. Het enige waar je dan tegenaan loopt is de lagere bandbreedte. Je kunt bij mijn weten gewoon een M1015 (bijvoorbeeld) plaatsen. Alleen als meerdere schijven op die M1015 worden aangesproken dan loop je op een gegeven moment tegen de limiet van de pci-e poort aan. De M1015 kan dus sneller, maar dat hoeft niet.
(Overigens, als je meerdere pools aanmaakt dan kan het handig zijn om een slimme mix te maken. Voorkom dat de limiet van de pci-e 4x een issue zal zijn.)

Maar om je even te pesten, weet je wel of je daadwerkelijk een controller in die tweede pci-e poort kunt plaatsen? Niet alle moederborden accepteren alle typen kaarten in alle lanes.

[ Voor 40% gewijzigd door Dadona op 21-05-2012 18:41 ]

[ItsValium]

Vooraleer je met normale harde schijven (niet SSD dus) je 4 beschikbare pci-e lanes zal voltrekken zullen deze toch nog een aantal generaties doorontwikkeld moeten worden.

Gewoon een M1015 in dat oranje slot prikken, flashen naar IT-mode en gaan...

[Marc050]

Dadona schreef op maandag 21 mei 2012 @ 18:38:
Maar om je even te pesten, weet je wel of je daadwerkelijk een controller in die tweede pci-e poort kunt plaatsen? Niet alle moederborden accepteren alle typen kaarten in alle lanes.

@Dadona hmm, ik weet wel dat als het pcie_16_2 slot (de tweede) in gebruik is, de drie pcie x1 slots niet meer werken . Maakt niet uit, gebruik ik toch niet. Maar alle advies is welkom . In de handleiding staat er niets over.

[ Voor 3% gewijzigd door Marc050 op 21-05-2012 20:00 ]

[Dadona]

Dat die andere drie het niet meer doen heeft simpelweg te maken met de resterende bandbreedte (nul). Maar het meest frustrerende is dat zelfs bij (ruim) voldoende bandbreedte sommige controllers simpelweg niet werken in een pci-e slot. De moederborden slikken alleen videokaarten. En zo zijn er ook Brazos bordjes die de M1015 wel aankunnen, mits de firmware niet is aangepast naaar IT firmware... Precies, dat wat iedereen wil. (Ik las ook eens iets dat Asus, voor een select groepje, een specifieke Bios versie heeft uitgerold waarmee bepaalde controllers in een zeker moederbord het opeens wel deden.) Echter, dit zal vast niet meer gebeuren voor oude consumenten moederborden.

[ Voor 5% gewijzigd door Dadona op 21-05-2012 20:22 ]

[Marc050]

@Dadona:

http://www.experts-exchan...herboards/Q_25248664.html

Ook iets met een niet gevonden pci-e soundkaart. Antwoord verborgen .

[0xDEADBEEF]

Marc050 schreef op maandag 21 mei 2012 @ 20:35:
@Dadona:

http://www.experts-exchan...herboards/Q_25248664.html

Ook iets met een niet gevonden pci-e soundkaart. Antwoord verborgen .

Verborgen? Niet helemaal

by: nobusPosted on 2010-02-28 at 02:23:20ID: 27139121

what cards are those? PCIe-16 both?

it can be your board supports some PVIe version, or the onboard controller is bad.
check also the slot for badcontacts and dirt !


by: karstiemanPosted on 2010-02-28 at 04:32:01ID: 27150019

Thanks Nobus for the quick reply.
But it wasn't dirt or bad contacts.

For space issues I had my videocard inserted in slot PCI_x16_2 of my motherboard.
Apparently this disables all PCI-express slots. Don't ask my why....

After putting the videocard in slot PCI-x16_1 it was recognized emediately.

[Marc050]

Stond ook al op tweakers
PCI-e kaart wordt niet herkend door Gigabyte GA-965P-DS4
Zelfde antwoord.

[ Voor 58% gewijzigd door Marc050 op 22-05-2012 08:15 ]

[CurlyMo]

Vandaag heb ik een nieuwe laptop hdd gekregen van Dell aangezien de oude kapot was. Aangezien ik toch al een SSD in mijn laptop had gestopt wilde ik deze schijf in mijn NAS stoppen voor downloads zodat mijn raidz pool kan slapen wanneer die niet in gebruik is. Het probleem is alleen dat de smart waarden alleen maar kabel (UDMA_CRC_Error_Count) fouten laat zien. Heb 3 verschillende kabels en poorten geprobeerd maar dat lost het probleem niet op. Heeft iemand een idee hoe ik dit wel op kan lossen of is het een DOA?

[HyperBart]

God zeg, ik zit nu al van gisterenavond een bootable dos usb stick te maken die werkt in mijn moederbord (X9SCA-F), eerst al massa's problemen om er eentje te maken (device is write protected, wtf, zit nog niet eens een schuivertje aan die USB disks) en nu heb ik er een gemaakt, wilt die niet booten in mijn mobo

[Dadona]

Mededeling of zoek je een tip? Het is handig om je OS waarin je de USB probeert te maken even te noemen.

[HyperBart]

Windows 7, maar heb het ondertussen gevonden, de USB stick staat bij Hard Drives als boot optie...


Fuuuuuuck, ik probeer mijn M1015 te flashen, krijg ik deze:

ERROR: Failed to initialise PAL. Exiting Program.

Maar ik heb nu schrik, dat ding staat nu met een lege flash, en das blijkbaar riskant? Nu moet ik 'm afsluiten, op een andere PC prikken en daar hopen dat het op werkt

[FireDrunk]

Dat verhaal met die lege flash is helemaal niet zo erg. Je kan 99/100 keer gewoon recoveren.
Ik kreeg deze error ook in mijn Tyan S1156 bord, maar kon in mijn desktop (Biostar AM3+) bord wel gewoon flashen.

Heeft te maken met 'schrijf' rechten naar de PCIe registers geloof ik. Sommige borden beveiligen dat.

Bij reboot doet je kaart nu niets meer nee, maar zodra je de flash procedure opnieuw start, stuurt hij eerst een RESET naar de kaart, en dan boot deze gewoon (zonder BIOS en zonder FLASH)

[ Voor 23% gewijzigd door FireDrunk op 23-05-2012 07:24 ]

[HyperBart]

Dus de volgende keer kan ik best gewoon helemaal van 0 af aan beginnen?

[FireDrunk]

Nee, dat bedoel ik niet. Je kan prima verdergaan waar je gebleven was in een andere pc.

[Pantagruel]

FireDrunk schreef op woensdag 23 mei 2012 @ 08:46:
Nee, dat bedoel ik niet. Je kan prima verdergaan waar je gebleven was in een andere pc.

Klopt, heb ik destijds ook gedaan. De fw wissen van de M1015 lukte in ieder bord dat ik had liggen. De IT mode fw terugzetten lukte enkel makkelijk in slechts 1 bord (2 weigerden volledig en een flash vanuit EUFI heb ik niet getest).

[FireDrunk]

UEFI werkte hier prima (Intel S5520) maar dat is ook een bord waar je dat van mag verwachten. Mijn Tyan bord heeft geen UEFI.

Pak een zo simpel mogelijk bord (het liefst zonder SLI of CrossFire ondersteuning), dan zal het wel werken.

[iRReeL]

Iemand enig idee hoe je een custom resolution in een virtual box machine kunt instellen? Ik heb een XP vm met een 1024x600 resolutie en heb nu een nieuwe windows 7 machine geinstalleerd waar ik die resolutie niet kan selecteren.

Ik neem aan dat ik eerder die resolutie van de XP machine had aangepast op een windows host door direct het venster aan te passen via VirtualBox maar bij ZFSguru kun je alleen remote inloggen dus dat geen oplossing.

Kan ik het met VboxManage aanpassen? Waar staat die dan?

[FireDrunk]

Heb je VirtualBox Guest Additions geinstalleerd?

[iRReeL]

ja op de windows host waar ik de machine eerst gemaakt had. Bij ZFSguru krijg ik een melding dat de virtual box additions iso niet gevonden kan worden.

Maar als je dus die additions hebt geinstalleerd en je opent de VM direct vanuit Virtual Box (wat niet mogelijk is in ZFSguru via web interface) dan past de resolutie zich aan het venster.

Ik heb nu ff een workaround door RDP te gebruiken full screen maar zou handig zijn als ik die resolutie zou kunnen aanpassen

[fabianruben]

@FireDrunk: Heb jij een antwoord op mijn eerder gestelde vragen?

[Pantagruel]

fabianruben schreef op woensdag 23 mei 2012 @ 12:43:
@FireDrunk: Heb jij een antwoord op mijn eerder gestelde vragen?

Ik heb een paar vragen voor het in de toekomst bouwen van mijn ZFS server.
Ik som ze puntsgewijs op zodat het makkelijker is om op de vragen te antwoorden.

Ik zat te denken om een server met wat oudere hardware te beginnen. Ik weet dat jullie dit niet aanraden maar ik kan de pool toch makkelijk exporteren en importeren.

Kan oudere hdd's is, geen probleem. Dingen als een ouder moederbord en CPU kan betekenen dat je tegen een geheugen beperking aan kunt lopen. Vuistregel is dat je voor het OS+ZFS 1 GiB RAM rekent en dan voor iedere TiB aan opslag ook 1 GiB aan RAM telt. Ik heb geen idee of er daad werkelijk veel snelheid verloren gaat als je 8 GiB hebt en een data array van 12 a 16 TiB

Met een RAID1 config en dan stukje bij beetje uitbreiden tot RAID10.

Zou moeten kunnen

Als mijn RAID1 bijna vol zit en ik er een RAID10 van maak word mijn data dan nog verdeeld?
Of moet de data er daarvoor opnieuw opgezet worden of is daar een commando voor om het te verdelen?

Geen idee, use the Google

Als ik linux wil en dus niet voor ZFS kies is btrfs dan het beste alternatief?

ZFS on linux kan ook (Ubuntu ppa), maar dat staat eigenlijk nog te boek als experimenteel. Btrfs is een optie, Oracle linux lijkt dan de beste optie te zijn (of Fedora). Heb er persoonlijk (nog) geen ervaring mee, maar qua mogelijkheden ziet het er minstens net zo goed uit als ZFS. Info @ Oracle en Youtube afschuimen voor filmpjes van o.a Avi Miller. ZFS vs BTRFS (oud)

[FireDrunk]

fabianruben schreef op woensdag 16 mei 2012 @ 20:40:
Ik heb een paar vragen voor het in de toekomst bouwen van mijn ZFS server.
Ik som ze puntsgewijs op zodat het makkelijker is om op de vragen te antwoorden.

1. Ik zat te denken om een server met wat oudere hardware te beginnen. Ik weet dat jullie dit niet aanraden maar ik kan de pool toch makkelijk exporteren en importeren.
2. Met een RAID1 config en dan stukje bij beetje uitbreiden tot RAID10.
3. Als mijn RAID1 bijna vol zit en ik er een RAID10 van maak word mijn data dan nog verdeeld?
4. Of moet de data er daarvoor opnieuw opgezet worden of is daar een commando voor om het te verdelen?
5. Als ik linux wil en dus niet voor ZFS kies is btrfs dan het beste alternatief?

Alvast bedankt.

1 en 2 zijn geen vragen...

3. Niet automatisch, maar als je kopieert naar hetzelfde volume en daarna de oude data verwijderd is de data verdeeld.

4. zie 3.

5. ZFS is er ook voor Linux, maar is veel minder stabiel. Of je beter voor BtrFs kan gaan dan voor ZFS op linux durf ik niet te zeggen. Beide zijn instabiel.

[HyperBart]

Whoei!

M1015 is nu een IT-kaartje

[FireDrunk]

Mooi, en wat gaan we er mee doen?

[Goderic]

FireDrunk schreef op woensdag 23 mei 2012 @ 13:37:
[...]


1 en 2 zijn geen vragen...

3. Niet automatisch, maar als je kopieert naar hetzelfde volume en daarna de oude data verwijderd is de data verdeeld.

4. zie 3.

5. ZFS is er ook voor Linux, maar is veel minder stabiel. Of je beter voor BtrFs kan gaan dan voor ZFS op linux durf ik niet te zeggen. Beide zijn instabiel.

ZFS voor Linux is naar mijn weten niet instabiel. Fuse is zeker niet instabiel, maar dat is zeer traag.
BTRFS moet je enkel gebruiken als je je data kwijt wilt.

[Marc050]

Heeft iemand hier ervaring met een bios-rom grootte van 2*8 Mbit en het daardoor niet werken van een non-raid controller? Een m1015 bijvoorbeeld( ik zoek zo'n controller...).

[HyperBart]

Een M1015 dan maar zoals je zelf aangeeft? Of wil je zeggen dat je BIOS 2x8Mbit groot is en dat daardoor een bepaalde set van RAID controllers niet werken en vraag je ons een alternatief voor de M1015?

Ondertussen mijn M1015 geflashed gekregen met een desktop op kantoor, gepasstrough'ed naar mijn OpenIndiana, disks er aan gehangen (god, als er eentje uitvalt weet ik nog niet eens welke het is, dus daar moet ik ook nog wel eens stevig over nadenken bij future real builds) en dit zijn mijn resultaten:


Le output

bart@OpenIndianaVirtual:/tank/test1$ dd if=/dev/zero of=zero.file bs=1M count=10                                240
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 63.0561 s, 170 MB/s
bart@OpenIndianaVirtual:/tank/test1$ dd if=zero.file of=/dev/null bs=1M
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 48.6626 s, 221 MB/s

Dat is met OpenIndiana, 4 x deze disk , mijn M1015 geflashed naar IT-firmware en als passtrough doorgegeven naar een VM met 2GB RAM...

Sterk dat een collega dan (weet wel niet wat zijn RAM-size is) dan een performance van 200MB/s write met 3 x 7200rpm 2TB SATA's en RDM's haalt en ik hiermee nog een stukje lager uitkom... Met doorgemapte controller nota bene...

[ Voor 20% gewijzigd door HyperBart op 23-05-2012 20:24 ]

[Marc050]

@hyperbart: ik wil het idd met een m1015 proberen. Los van het type controller zou bios-geheugen een probleem kunnen zijn. Iets met:

citaat: ......Ruimte in je BIOS om je hardware RAID bios in het opstart geheugen te laden.

Maar ik weet niet of dat ook voor software-raid is.

Iemand hier gewerkt met een non-raid serveraid m1015 en een klein (2*8Mbit) bios-geheugen?

[ Voor 15% gewijzigd door Marc050 op 23-05-2012 20:49 ]

[HyperBart]

Ik vind het maar een raar verhaaltje... Dat van dat je BIOS niet genoeg geheugen heeft om een kaart aan te spreken...

[Marc050]

@hyperbart: het zou kunnen kreeg ik door. Daarom hier navragen.

[jadjong]

Met een MSi x58 mis ik de tweede M1015 als alle onboard zut zoals firewire, esata, audio en newetwerk enabeld is. Zolang je er niet van wilt booten geeft dit geen probleem, de kaart wordt uiteindelijk wel herkent in het OS.

[HyperBart]

OK, even zodat ik ook mee ben, het verhaaltje waar het hier al een tijdje over gaat is het feit dat een BIOS niet alle apparaten bootable kan adresseren, right?

[Nielson]

De ruimte die beschikbaar is voor bios'en/option roms van bootable apparaten is gewoon erg beperkt waardoor ze soms niet allemaal geladen kunnen worden. Deze post op 't OCZ forum is wel interessant.

[FireDrunk]

Goede en duidelijk uitleg op dat OCZ Forum, daar lees je heel duidelijk dat er in de registers van het BIOS een verwijzing gemaakt moet worden per add-in card. En dat zijn er op moderne moederborden nogal wat. Want je kunt tegenwoordig overal van booten

[iRReeL]

Ik zou graag een upgrade uitvoeren van 9.0-004 naar 9.1-001. Ik kan op de "ZFSguru Installation" wel op "download 9.1-001" klikken en hij geeft dan ook dat de image download maar daarna kan ik deze nogaltijd niet selecteren.

Het enige wat ik kan doen is de live cd mounten maar dan kan ik alleen versie 9.0 installeren.

Dit lukt niet met de live cd en ook niet nadat ik een nieuwe 9.0 installatie had gedaan.

No system versions available
You will need a ZFSguru LiveCD mounted in your CD/DVD drive, or download a system version in order to continue.

[Dadona]

Dat gaat bij mij ook al tijden fout, van beide servers. Maar heb je voor een specifieke toevoeging/aanpassing 9.1-001 nodig? En heb je al eens overwogen om FreeBSD op zich te upgraden?

[ Voor 19% gewijzigd door Dadona op 24-05-2012 12:43 ]

[iRReeL]

Nee niet dat ik weet maar dacht dat het altijd wel beter zou zijn de nieuwste versie te hebben zeker nu ik opnieuw wil installeren.

[analog_]

Pantagruel schreef op woensdag 23 mei 2012 @ 13:02:
[...]
ZFS on linux kan ook (Ubuntu ppa), maar dat staat eigenlijk nog te boek als experimenteel. Btrfs is een optie, Oracle linux lijkt dan de beste optie te zijn (of Fedora). Heb er persoonlijk (nog) geen ervaring mee, maar qua mogelijkheden ziet het er minstens net zo goed uit als ZFS. Info @ Oracle en Youtube afschuimen voor filmpjes van o.a Avi Miller. ZFS vs BTRFS (oud)

Mijn ervaring is dat ZFS on Linux eigenlijk best aardig werkt en met gemak gigabit vult. Heb nu een setje test disks (2x mirror Samsung 1TB), zal anders wat benchmarken dit weekend tussen NexentaStor, OpenIndiana en Ubuntu met hetzelfde volume (export/import). DD benchmarks zijn voldoende?

[Wouter.S]

Vandaag merkte ik dat mijn pool op mijn ZFSguru Nas niet meer bereikbaar was. Even checken leverde dit op


Het betreft een raidz pool met 6*1.5TB Samsung schijven. Volgens de Smart data zijn alle schijven gewoon bereikbaar...Van het grootste gedeelte heb ik wel een backup maar het zou tof zijn als ongeveer alles te herstellen is...Als ik de discription lees maak ik hieruit op dat het mogelijk is om de pool terug te brengen naar een vorige toestand en dat alle wijzigingen in de laatste 908 minuten verdwenen zullen zijn.

Is het zo eenvoudig als gewoon even via SSH 'zpool clear -F bigtank' uitvoeren ? Of zijn er andere opties ? Kortom wat is nu het beste plan van actie ?

[FireDrunk]

analog_ schreef op donderdag 24 mei 2012 @ 14:07:
[...]

Mijn ervaring is dat ZFS on Linux eigenlijk best aardig werkt en met gemak gigabit vult. Heb nu een setje test disks (2x mirror Samsung 1TB), zal anders wat benchmarken dit weekend tussen NexentaStor, OpenIndiana en Ubuntu met hetzelfde volume (export/import). DD benchmarks zijn voldoende?

Ja, iSCSI zou helemaal tof zijn, omdat de SMB implementatie op alle platformen juist nogal scheelt.
Ruwe DD is ook wel ok, maar geeft een wat vertekend beeld.

[Wannial]

Ik zit nog met een vraag, ik snap niet goed hoe je zfs nou samen laat werken met ESX.
Ik heb mijn hdd's momenteel in raid5 aan een perc6/ir hangen, esx is op een usb stick geinstalleerd die daar naast draait.

Ontmantel ik dan de raid5 config terug naar losse disks, voeg ik elke losse disk toe in vmware, installeer ik freebsd ergens op en laat die vervolgens weer al die losse disks als een zfs aanmaken.

Ik snap het nog niet goed, wie kan mijn hier wat verheldering in geven?

[justice strike]

Ik ben sinds eergister bezig mijn freenas systeem op poten te zetten. Lukt aardig (het is makkelijk te doen zo te zien.

Ik was toen bezig gegevens over te pompen zodat ik mijn oude fileserver met pensioen kon laten gaan. dat duurde naar mijn mening toch wel erg lang. Ik ben wat testjes gaan doen en kwam er achter dat er maar met 22 mb per seconden naar de zraid array geschreven werd. Het lezen gaat wel met 120 mb per seconden (nog steeds traag, maargoed ik kan daar wel mee leven aangezien gigabit niet veel sneller zal zijn)

Ik heb volgens mij wel green drives van seagate, maar de drives heb ik met 4k sectoren geformateerd, dus dat zou het probleem niet mogen wezen. Verder heb ik ook gekeken naar de cpu load maar die zat bij de test zo rond de 30%. Dus ik gok dat dat ook niet het probleem moet zijn.

Verder las ik op internet dat het welicht een bottleneck op de pci bus zou kunnen zijn (het is een asus e35m1-i met 6 satapoorten) maar ik kan me niet voorstellen dat het dan op 22 mb per sec zou kunnen worden.

Er wordt geen compressie gebruikt en alles is vrij vanilla.

systeem zelf is:
e35m1-i
8 gb geheugen
4 * 1.5 tb seagate schijven (de array)
1 * 500 gb seagate schijf (wordt nog niet gebruikt)
1 * 750 gb seagate schijf (ntfs dus de driver zou een bottleneck kunnen zijn echter wijzen de tests die ik gedraait heb dat het toch een probleem bij de zfs array is)

betreft een freenas 8.2.0 beta3 installatie

ik had zelf deze test gedraait:
# /usr/bin/time -h dd if=/dev/zero of=sometestfile bs=1024 count=30000
# /usr/bin/time -h dd if=sometestfile of=/dev/zero bs=1024 count=30000

aangezien er geen hdparm op de freenas stond kon ik niet per schijf kijken of er iets schort. Iemand ideeen?

[HyperBart]

Ja je onmantelt best je RAID array. Punt, ZFS zijn kracht komt naar voor wanneer hij iedere disk zelf in zijn eigen raidz of z2 array kan steken...

Je kant met esxi rdm's aanmaken, hiermee geef je een vm exclusief toegang tot een LUN, in dit geval gewoon je disks ieder afzonderlijk dus...
Je kan, net zoals mij en velen anderen ook opteren om een controller waar de disks aan hangen door te geven... Ik heb er nog maar pas vandaag een blogpost over geschreven: The Hyperactive Blog: An all in one ESXi-NAS-SAN build

[Wannial]

Ik had je blog inderdaad gelezen, maar ik zit met een puntje, kan ik zomaar freebsd installeren op dezelfde hdd's als waar zfs zijn pool van moet gaan maken, of moet die ene freebsd installatie zijn eigen hdd gaan krijgen?

[webbier]

justice strike schreef op zaterdag 26 mei 2012 @ 00:05:
Ik ben sinds eergister bezig mijn freenas systeem op poten te zetten. Lukt aardig (het is makkelijk te doen zo te zien.

Iemand ideeen?

Ik heb helaas geen ideeën voor je, maar kan je wel vertellen dat het niet aan de pci bus zal liggen. Ik heb hetzelfde bordje en met een raidz van 5x samsung HD204UI haal ik ongeveer 70-80 MB/s schrijven. Ik hoop dat je een oplossing kunt vinden want het is een mooi bordje voor een server.

[EnerQi]

justice strike schreef op zaterdag 26 mei 2012 @ 00:05:
Ik ben sinds eergister bezig mijn freenas systeem op poten te zetten. Lukt aardig (het is makkelijk te doen zo te zien.

systeem zelf is:
e35m1-i
8 gb geheugen
4 * 1.5 tb seagate schijven (de array)
1 * 500 gb seagate schijf (wordt nog niet gebruikt)
1 * 750 gb seagate schijf (ntfs dus de driver zou een bottleneck kunnen zijn echter wijzen de tests die ik gedraait heb dat het toch een probleem bij de zfs array is)

betreft een freenas 8.2.0 beta3 installatie

ik had zelf deze test gedraait:
# /usr/bin/time -h dd if=/dev/zero of=sometestfile bs=1024 count=30000
# /usr/bin/time -h dd if=sometestfile of=/dev/zero bs=1024 count=30000

aangezien er geen hdparm op de freenas stond kon ik niet per schijf kijken of er iets schort. Iemand ideeen?

Optimale configuraties voor 4K sector schijven:
RAID-Z: 3, 5 en 9 disks
RAID-Z2: 4, 6 en 10 disks
RAID-Z3: 5, 7 en 11 disks

Deze info haal ik uit het starttopic. De PC moet een herberekening maken (in jouw RAIDZ array) omdat de gegevens net niet passen in 1 sector van 4k bit. Dit vertraagd enorm.

[LightStar]

justice strike schreef op zaterdag 26 mei 2012 @ 00:05:


Ik heb volgens mij wel green drives van seagate, maar de drives heb ik met 4k sectoren geformateerd, dus dat zou het probleem niet mogen wezen. Verder heb ik ook gekeken naar de cpu load maar die zat bij de test zo rond de 30%. Dus ik gok dat dat ook niet het probleem moet zijn.

Je hebt green disks die idd minder kunnen performen in een Raid configuratie (om die reden heb ik mijn WD greens weggedaan) tevens is een Raid-Z beter met 5 disks (ik haal rond de 120MB schrijven (5*3TB Seagate7200) vanaf een andere pc ik heb echter wel een aparte netwerkkaart (HP NC360).

Mijn systeem: HP Proliant Microserver N40L, 16GB ram, os: Openindiana met Napp-it

[justice strike]

EnerQi schreef op zaterdag 26 mei 2012 @ 10:34:
[...]


Optimale configuraties voor 4K sector schijven:
RAID-Z: 3, 5 en 9 disks
RAID-Z2: 4, 6 en 10 disks
RAID-Z3: 5, 7 en 11 disks

Deze info haal ik uit het starttopic. De PC moet een herberekening maken (in jouw RAIDZ array) omdat de gegevens net niet passen in 1 sector van 4k bit. Dit vertraagd enorm.

Ik zou verwachten dat er dan een spike in de cpu load zou zitten. maar die komt dus niet boven de 30% uit

[EnerQi]

Je harde schijf moet in dit geval 2 sectoren beschrijven ipv 1 (wegens de mismatch) en dat bij ieder bestandje wat je verplaatst. Ik denk dat de harde schijven er meer moeite mee hebben dan je CPU.

Bij lezen heb je hetzelfde probleem, 2 sectoren lezen ipv 1 en daarop nog de berekening tot 1 bestandje wat je opvraagt (en dat van iedere harde schijf van je array).

[justice strike]

EnerQi schreef op zaterdag 26 mei 2012 @ 11:25:
Je harde schijf moet in dit geval 2 sectoren beschrijven ipv 1 (wegens de mismatch) en dat bij ieder bestandje wat je verplaatst. Ik denk dat de harde schijven er meer moeite mee hebben dan je CPU.

Bij lezen heb je hetzelfde probleem, 2 sectoren lezen ipv 1 en daarop nog de berekening tot 1 bestandje wat je opvraagt (en dat van iedere harde schijf van je array).

ik zie niet in hoe dit nu te maken heeft met het aantal schijven in een array. Daarbij, de array is in 4 kb sectoren geformateerd dus dit zou ook geen probleem mogen zijn (wellicht dat de allignment niet correct is. Dan moet ik even uitzoeken hoe ik dat kan corrigeren)

[EnerQi]

128kb stripe size delen door 3 schijven (4e is pariteit) is 42,6 kb. Zoveel moet iedere harde schijf wegschrijven . 128kb / 4 schijven (5e is pariteit) = 32kb, past mooi op de harde schijf.

In de onderstaande link staat een hele beschrjiving wat de optimale configuratie is en waarom. Ergens op Tweakers staat dit lijstje ook, maar kan het helaas niet vinden
http://hardforum.com/showthread.php?t=1621123

[ Voor 36% gewijzigd door EnerQi op 26-05-2012 11:38 ]

[justice strike]

EnerQi schreef op zaterdag 26 mei 2012 @ 11:36:
128kb stripe size delen door 3 schijven (4e is pariteit) is 42,6 kb. Zoveel moet iedere harde schijf wegschrijven . 128kb / 4 schijven (5e is pariteit) = 32kb, past mooi op de harde schijf.

In de onderstaande link staat een hele beschrjiving wat de optimale configuratie is en waarom. Ergens op Tweakers staat dit lijstje ook, maar kan het helaas niet vinden
http://hardforum.com/showthread.php?t=1621123

ok. ik haal de array leeg en ga eens kijken hoeveel aan performance dat scheelt. nu zit ik overigens wel met een probleem. Ik heb 4 1.5 tb schijven en 2 500 gb schijven. Geen idee hoe ik ze nu moet gaan verdelen.

[RudolfR]

Een tijdje terug heb ik hier wat problemen gemeld met ESXi RDMs i.c.m. ZFS(Guru).
Problemen in de vorm van datacorruptie / errors in de pool.

Nu ik de RDMs heb aangemaakt met optie -r i.pv. -z, werkt het nu al even zonder problemen.
Helaas geen S.M.A.R.T. info van de disks meer, maar ik ben tevreden. :-)

[CurlyMo]

justice strike schreef op zaterdag 26 mei 2012 @ 11:52:
[...]

ok. ik haal de array leeg en ga eens kijken hoeveel aan performance dat scheelt. nu zit ik overigens wel met een probleem. Ik heb 4 1.5 tb schijven en 2 500 gb schijven. Geen idee hoe ik ze nu moet gaan verdelen.

Maak van je 4 1.5tb schijven een raidz2 pool. Dan zit je qua aantallen en veiligheid goed. Daarnaast kan je van je 500gb een mirror maken met je rootpool en eventueel je downloads. Zo kunnen je 4 schijven gaan slapen wanneer je ze niet gebruikt.

[justice strike]

CurlyMo schreef op zaterdag 26 mei 2012 @ 12:38:
[...]

Maak van je 4 1.5tb schijven een raidz2 pool. Dan zit je qua aantallen en veiligheid goed. Daarnaast kan je van je 500gb een mirror maken met je rootpool en eventueel je downloads. Zo kunnen je 4 schijven gaan slapen wanneer je ze niet gebruikt.

ja. ik kan er een raidz2 van maken, maar dan is een 10 makkelijker en sneller. ik wil eignelijk niet zoveel ruimte kwijt zijn aangezien ik maar max 6 schijven erin kan gooien.

[CurlyMo]

Raid 10 is minder veilig dan Raid 6, het is wel zo dat een Raid 1 makkelijker uit te breiden is. Qua snelheid, met een Raid 5 van 3 schijven trek ik ook al een gigabit lijn vol, dus dat gaat je me Raid 6 makkelijk lukken.

[justice strike]

CurlyMo schreef op zaterdag 26 mei 2012 @ 12:56:
Raid 10 is minder veilig dan Raid 6, het is wel zo dat een Raid 1 makkelijker uit te breiden is. Qua snelheid, met een Raid 5 van 3 schijven trek ik ook al een gigabit lijn vol, dus dat gaat je me Raid 6 makkelijk lukken.

ik ga eerst even benches draaien en dan bekijken ho ik het ga inpassen. anders koop ik een 1.5tb schijf erbij en zal een 500gb als usb schijf ingepast worden in de server.

[CurlyMo]

En hoe ga je dan je schijven gebruiken, als Raid 5 met 5 disks? Dan is qua veiligheid/betrouwbaarheid nogal af te raden namelijk (zie eerdere posts in dit topic).

[justice strike]

CurlyMo schreef op zaterdag 26 mei 2012 @ 13:02:
En hoe ga je dan je schijven gebruiken, als Raid 5 met 5 disks? Dan is qua veiligheid/betrouwbaarheid nogal af te raden namelijk (zie eerdere posts in dit topic).

of ik moet kijken of ik met die 1.5 tb en die 2 500gb schijven nog wat kan doen. wellicht dat ik nog een 750 gb schijf ergens vandaan kan trekken. Ansich kan ik weer een raidz array maken waarbij ik 500 gb heb en dan die andere terrabyte als losse (nonraid) partitie gebruik, maar volgens mij was dat ook voor de performance funest. ansich, als ik bovne de 60 tot 80 mb haal ben ik eigenlijk wel tevreden.

//edit1
hij is nu wat sneller. 50 mb ipv 20 mb maar het is nog niet heel denderend voor 3 hd's Ik zal de alignment maar even uitzoeken.

//edit2
net een stripe gemaakt van 2 schijven en die performed ook nagenoeg hetzelfde (ie 120mb lezen en 50mb schrijven. het lijkt er bijna op dat er ergens anders een bottleneck is.

//edit3
Ik heb ook mirror en enkele schijven gebruikt en die geven nagenoeg dezelfde performance 128mb en 50mb schrijven. ik begrijp er helemaal geen hout van.

//edit4
Ik denk dat ik wat performance winst heb geboekt. krijg nu 80mb per seconden over samba (schrijven) en 90 mb lezen. Toch vraag ik mij af of dit de snelheden zijn die je moet verwachten. Kan iemand mij vertellen wat de snelheden zijn die je kunt verwachten bij een raid array van 3 schijven met green drives die zelf gemiddeld 70 mb per seconde schrijven. Ik zelf zou zeggen, met een veilige marge dat hij wel boven de 120 uit zou moet komen of maak ik ergens een rekenfout?

[ Voor 42% gewijzigd door justice strike op 27-05-2012 11:58 ]

[Proxx]

is er een "betrouwbare" manier om vooraf in te schatten wat je haalbare schrijf snelheid is voor bijvoorbeeld.
3x 1tb raidz met dedub + flechter4+verify
laten we zeggen dat ik 125MB wil kunnen schrijven is dit mogelijk met een budget van 400euro ex hdd's
_{(ik zeg juist ex hdd omdat ik wil wacht tot de prijzen weer wat verder zakken naar de oude waardes)}

op het moment bezit ik nog een DS207+ met 2x 500 gb. deze wil ik vervangen door een apparaat wat gbit vol moet kunnen trekken het liefst met dedup want hoe goed ik ook alles probeer te regelen alles verschijnt wel 10 keer in verschillende mappen op de NAS

ik heb alleen helemaal geen kijk op wat überhaupt haalbare snelheden zijn voor een 3xRAIDZ of 4xRAIDZ2 enzovoort.

[justice strike]

dat ligt voornamelijk aan de harde schijven. ik trek met 3 of 4 schijven ongeveer tussen 80 tot 100 mb. Het limiet ligt hoger maar ik gebruik green drives.
Ik gebruik dan ook een moederbord van onder de 100 euro en slechts 8 gb ram.

ik zou zeggen in jouw instantie zou ik gewoon zorgen dat je zoveel mogelijk geheugen heb. Zeker dedup zal veel geheugen in beslag nemen.

[jackorobot]

Hallo mensen,
Ik ben mij aan het orienteren naar een opslagmethode voor mijn aankomende virtualisatie bak.
Ik heb op dit moment 4x 1 TB schijven en een Dell PERC 5/i.
Nu ben ik overtuigd dat ZFS wat interessanter is dan zo een dedicated kaart.
Maar nu is mijn vraag of ZFS nog zal profiteren van de 256 MB cache die op die PERC zit, of zal dit alleen nuttiger zijn bij het gebruiken van de kaart zijn RAID functie.

Het idee is om RAIDZ2 te maken in ZFSguru en dat virtueel te gaan draaien, die array dan delen met NFS naar de ESX host als datastore voor zijn vm's.

Alvast bedankt!

[NIK0]

Ik heb een soortgelijke vraag, heb me de afgelopen weken behoorlijk ingelezen in diverse zaken (storage virtualisatie etc).
Ben met name gecharmeerd hoe deze meneer het gedaan heeft:

http://www.livingontheclo...-building-san-in-box.html



Ik wil graag een soortgelijk iets maken alleen zou ik dan werken met 4 x 1 TB (reeds al wat jaartjes in bezit en nu nog verdeeld over 2 verschillende machines) + dan nog 1 aan te schaffen 2 TB Seagate 7200 RPM schijf. (prijsverschil tussen 1 en 2 TB is te klein om nog een 1 TB disk erbij te halen)
De CPU zou dan een Core i3 2100 worden.

Bedoeling is om via Nexenta 2x 900 GB VMDK toe te wijzen en daar een mirror te maken en die vervolgens te geven aan een NAS VM (Windows 2008r2, foto's, tv series) waar brok 1 van disk 1 (1TB) en de andere 900 GB brok van disk 5 (2 TB) afkomstig is.
Daarnaast wil ik dan van disk 2,3,4 en 5 de 900 GB VMDK's ook aan Nexenta geven om als VM datastore voor ESXI te gaan fungeren.

Vragen die opborrelen:
1) Nog op- en of aanmerkingen op de setup zoals in het blogstuk is beschreven..?

2) Die VMDatastore zal wel een beetje moeten performen, kan ik het beste 2x een mirror aanmaken of een RAIDZ, of RAIDZ2 volume..? (geen idee hoeveel % verschil er tussen mirror, RAIDZ of RAIDZ2 volume zit, meningen lijken nogal uiteen te lopen: http://nexentastor.org/boards/5/topics/5822)

3) Hoe bepaal je hoe groot je een cache maakt voor een data volume? (waar je dan evt een SSD stukje voor kunt gebruiken)

Sorry voor evt. n00b vragen, ben het ZFS topic aan het doorworstelen maar het is veeeel info over 120 pagina's ..

[ Voor 4% gewijzigd door NIK0 op 01-06-2012 22:14 ]

[HyperBart]

Er valt heel wat te zeggen over die blogger zijn setup (en dat bedoel ik niet slecht).

Hij heeft, zoals je kan zien op de tekening, een heel mooie uitsplitsing gemaakt van de "block devices" die dienen om mirrors en raidz-pools aan te maken... Met andere woorden, het falen van één disk zorgt niet voor het falen van zijn pools...

Performance-wise valt er dan weer wat minder goeds over te zeggen, in die zin dat hij zogezegd "block devices" gebruikt terwijl het eigenlijk VMDK's zijn op ESXi-niveau... Nu aan de andere kant geeft hem dat ook heel wat flexibiliteit... In theorie kan je deze setup compleet vMotionen naar een nieuwe, zwaardere build... Het grote nadeel hiervan is het feit dat je een extra performance penalty krijgt omwille van de VMDK's... Voor zover ik ook begrepen heb is het gebruik van VMDK's niet echt zo sexy voor ZFS en vindt ZFS dat mechanisme niet lief...


Maar wat betreft maximalisatie van disks, SSD, uitsplitsing en flexibiliteit kan deze setup zeker tellen...

[Goderic]

Waarom wordt er 20% van de disks niet gebruikt? voor de SSD kan ik dat nog begrijpen maar voor de HDD's lijkt me dat gewoon verspilling.