Het grote ZFS topic

[CurlyMo]

wjn schreef op woensdag 26 september 2012 @ 19:59:
@CurlyMo
"zfs list" laat bij mij idd de filesystems zien, maar zonder deduplication.
NAME; USED; AVAIL; REFER; MOUNTPOINT

zpool list geeft wel deduplication weer, maar dan per pool:
NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT

Klopt, had zpool list moeten zijn. Ik heb het verbeterd.

[HyperBart]

Ik blijf last hebben van "breathing".

Als ik van mijn 8740w (met SSD) een VMDK overkopieer naar mijn N40L dan gaat het een eindje aan 72MB/s en daarna dropt ie even naar 60 of 40MB/s om terug omhoog te klimmen...

Nu, die 70MB/s kan wel eens liggen aan het feit dat mijn NIC/laptop om de een of andere bizarre reden niet sneller kan... Maar die drops naar 40MB of 60 ofzo die had ik wel graag weg gehad...

vfs.zfs.txg.synctime = 1
vfs.zfs.txg.timeout = 5

Iemand nog een ideetje?

[Verwijderd]

Deduplicatie werkt op pool-niveau. Dat betekent dat de dedupratio een pool attribuut is, in plaats van bij compressie wat wel op filesystem-niveau werkt en je dus per filesystem de compressratio kunt zien. Het 'zfs' commando doet filesystems (ZPL), terwijl het 'zpool' commando de pool (SPA) afhandelt.

@HyperBart: je kunt max pending = 1 nog proberen, verder ben ik even kwijt wat voor config je draaide?

[wjn]

Verwijderd schreef op woensdag 26 september 2012 @ 20:58:
Deduplicatie werkt op pool-niveau. Dat betekent dat de dedupratio een pool attribuut is, in plaats van bij compressie wat wel op filesystem-niveau werkt en je dus per filesystem de compressratio kunt zien. Het 'zfs' commando doet filesystems (ZPL), terwijl het 'zpool' commando de pool (SPA) afhandelt.

Dat begrijp ik, maar je kan het op de "root", maar ook op de afgeleide instellen.

Bij mij bv.: zfs set dedup=sha256,verify tank/Backup

Vandaar de vraag / verwarring.

[HyperBart]

CiPHER, ik heb een N40L met ZFS-guru en 16GB RAM. Opgevuld met 5 x 3TB Hitachi Deskstar 7K300 .

Ik heb de laatste ZFS-build, maar FreeBSD zit nog op:

Powered by ZFSguru version 0.2.0-beta7
Running official system image 9.1-001 featuring FreeBSD 9.0-STABLE with ZFS v28.
Running Root-on-ZFS distribution.

64-bit dual core AMD Turion(tm) II Neo N40L Dual-Core Processor - Running at 700 MHz
( scales from 100 MHz to 1500 MHz )
16 GiB physical memory, 15.3 GiB usable
5 normal harddrives
1 USB sticks
Gigabit networking

Pool status
Pool name hulk
Status ONLINE
Scrub scrub repaired 0 in 0h0m with 0 errors on Mon Sep 24 21:56:57 2012
Ashift pool is optimized for 512 B sector disks (ashift=9)

Klopt ook, disks zijn effectief 512B sector disks...

Disk Label Size (legacy) Size (binary) Sector Identified as
ada0 GPT: bay1 3 TB 2.7 TiB 512 B <Hitachi HDS723030ALA640 MKAOA800> ATA-8 SATA 3.x device
ada1 GPT: bay2 3 TB 2.7 TiB 512 B <Hitachi HDS723030ALA640 MKAOA800> ATA-8 SATA 3.x device
ada2 GPT: bay3 3 TB 2.7 TiB 512 B <Hitachi HDS723030ALA640 MKAOA5C0> ATA-8 SATA 3.x device
ada3 GPT: bay4 3 TB 2.7 TiB 512 B <Hitachi HDS723030ALA640 MKAOA580> ATA-8 SATA 3.x device
ada4 GPT: bay5 3 TB 2.7 TiB 512 B <Hitachi HDS723030ALA640 MKAOA580> ATA-8 SATA 3.x device
da0 GPT: singleusb-disk1 8 GB 7.5 GiB 512 B <Kingston DataTraveler G3 1.00> Removable Direct Access SCSI-2 device

[ Voor 46% gewijzigd door HyperBart op 26-09-2012 21:17 ]

[Verwijderd]

Probeer de nieuwere 9.1-003 eens? Dit kun je doen met een verse installatie, je kunt daarbij teruggaan naar je oudere installatie. Stuur maar een DM voor details.

[sloth]

sloth schreef op maandag 17 september 2012 @ 11:03:
CiPHER, hoe zit het met de planning voor een embedded release van ZFSGuru, die je op een usbstick kan installeren, net zoals FreeNAS die heeft?

Er zijn voor mij een aantal argumenten waarom dit belangrijk zou zijn voor het project:

-De huidige installatiemethode is omslachtig, en enkel geschikt voor installatie op een HDD/SSD die hierdoor niet kan downspinnen.
-Het is voor veel mensen wel zo handig om je OS vanaf een USB stick te hebben draaien, zodat je al je sata ports aan data disks kan toewijzen. Zo kan je ze ook laten downspinnen na inactiviteit, wat weer positief is voor de zuinigheid van je NAS.
-RAM is erg goedkoop momenteel. Er is dus vaak veel geheugen vrij om een ramdisk te maken voor alle settings die nu naar een disk geschreven worden. Dit verminderd ook nog eens het aantal write cycli, niet onbelangrijk voor een ssd lijkt me.

CiPHER, kan het zijn dat je bovenstaande post gemist hebt? Het zou leuk zijn als je hier even op terug wil komen

[FireDrunk]

Net mijn grote array omgeklust naar ZFS. Het word een 10 disk RAIDZ2 array. Nu aangemaakt met twee memory disk en draait dus zonder redundancy. Leuke is al wel dat de array zonder zil al dik over de 700MBs haalt!

Morgen schijven toevoegen en eens kijken hoe snel de resilver gaat.

[thof]

FireDrunk schreef op vrijdag 28 september 2012 @ 18:49:
Net mijn grote array omgeklust naar ZFS. Het word een 10 disk RAIDZ2 array. Nu aangemaakt met twee memory disk en draait dus zonder redundancy. Leuke is al wel dat de array zonder zil al dik over de 700MBs haalt!

700 MB met 10 disks, klinkt niet heel extreem als je het omrekend naar 70MB/s per disk. De 3TB disks van tegenwoordig halen al sequentiele snelheden van 175MB/s gemiddeld. Zit er nou veel snelheids verschil tussen RAIDZ2 in vergelijking met RAID6 XFS? Wat vormt in dit geval de bottleneck? Overigens ook ik voorstander van ZFS

[FireDrunk]

Als je bedenkt dat de zil ook op dezelfde array staat is het niet zo slecht. Bovendien is het 700 echte MBs dus de pariteit is niet meegerekend. Effectief doen de disks dus tussen de 90 en 100 MB/s.

Xfs raid6 deed evenveel lezen maar veel langzamer schrijven.

---

Systeem is nu aan het resilveren. Leuk detail is wel dat ik 2 disks tegelijk moet resilveren (aangemaakt met 2 missing disks) en dat beide disks gewoon gelijk geresilvered worden!

resilver in progress since Sat Sep 29 12:09:24 2012
268G scanned out of 8.96T at 579M/s, 4h22m to go
51.0G resilvered, 2.92% done

Ik heb hier geen klagen over

[ Voor 43% gewijzigd door FireDrunk op 29-09-2012 12:18 ]

[HyperBart]

Net een rekenoefening'kje gemaakt:

Jan heeft 3 disks, eentje van 250GB en twee van 400GB. Jan heeft een bakje waar hij die disks in wilt steken met ZFS. Geheugen en processor zijn niets bijzonders (klasse i3 en een 4GB geheugen). Jan wil redundantie: er moet een disk kunnen falen zonder dat hij data verliest. Performance is niet zo belangrijk want het bakje dient toch alleen maar voor mediabestanden te serveren. Het maximaliseren (bv. door middel van partities) van capaciteit is wel belangrijk...

Go . Ik kom maximaal op 650GB netto opslag uit (meest complex) of op 600GB en dat is de meest "cleane en meest performante oplossing)

Wel eens leuk om te doen, ik herinner me nog een kerel die ook zoiets had gefixed met een paar disks...

Disk A: 400GB
Disk B: 400GB
Disk C: 250GB

Mijn setups

650GB netto


RAIDZ2 array van:
150GB (A) + 150GB (B) + 150GB (B) + 150GB (B) + 150GB (C)

RAIDZ array van:
100GB (A) + 100GB (B) + 100GB (C)


OF

600GB netto (wel wat cleaner en minder kruis-storing van dubbele arrays over dezelfde disks)

RAIDZ array van:
250GB (A) + 250GB (B) + 250GB (C)

Mirror array van:
100GB (A) + 100GB (B)

[ Voor 31% gewijzigd door HyperBart op 29-09-2012 18:21 ]

[onox]

HyperBart schreef op zaterdag 29 september 2012 @ 18:11:
Disk A: 400GB
Disk B: 400GB
Disk C: 250GB

Mijn setups

650GB netto


RAIDZ2 array van:
150GB (A) + 150GB (B) + 150GB (B) + 150GB (B) + 150GB (C)

RAIDZ array van:
100GB (A) + 100GB (B) + 100GB (C)

Je hebt nu 3*150 + 100 = 550 GB op schijf B van 400 GB? Volgens mij moet 1 van die B-tjes een A-tje zijn

HyperBart schreef op zaterdag 29 september 2012 @ 18:11:
600GB netto (wel wat cleaner en minder kruis-storing van dubbele arrays over dezelfde disks)

RAIDZ array van:
250GB (A) + 250GB (B) + 250GB (C)

Mirror array van:
100GB (A) + 100GB (B)

Waarom maak je die mirror niet 150 GB? 250 + 150 = 400

Ik zou A, B en C gewoon alle 3 in 1 simpele RAIDz1 gooien, dan kan je schijf C later vervangen door een 400 GB schijf

[ Voor 45% gewijzigd door onox op 29-09-2012 18:59 ]

[HyperBart]

onox schreef op zaterdag 29 september 2012 @ 18:47:
[...]


Je hebt nu 3*150 + 100 = 550 GB op schijf B van 400 GB? Volgens mij moet 1 van die B-tjes een A-tje zijn


[...]


Waarom maak je die mirror niet 150 GB? 250 + 150 = 400

Ik zou A, B en C gewoon alle 3 in 1 simpele RAIDz1 gooien, dan kan je schijf C later vervangen door een 400 GB schijf

Ik vind het altijd zo schitterend (niet persoonlijk bedoeld), dat iemand op GoT komt vragen: "hey, ik zoek eigenlijk een transportmiddel wat me van A naar B moet brengen, en ik heb hier nog een Fiat 500'je staan waar ik een uurtje werk aan heb" en dat er dan iemand komt van: "ja, maar zou je dan niet beter die 500 verkopen en ineens voor een A3 gaan".

Schitterend

Jan wil geen disks bijkopen!!!

[onox]

HyperBart schreef op zaterdag 29 september 2012 @ 23:17:
[...]


Ik vind het altijd zo schitterend (niet persoonlijk bedoeld), dat iemand op GoT komt vragen: "hey, ik zoek eigenlijk een transportmiddel wat me van A naar B moet brengen, en ik heb hier nog een Fiat 500'je staan waar ik een uurtje werk aan heb" en dat er dan iemand komt van: "ja, maar zou je dan niet beter die 500 verkopen en ineens voor een A3 gaan".

Schitterend

Jan wil geen disks bijkopen!!!

loooollll Ja, hoe moet ik dat nou weer weten? Volgens mij gaat die RAIDz2 methode sowieso niet echt werken, want als bijv. schijf B kapot gaat, dan zijn er al twee partities kapot en mag schijf A of C al niet meer falen Dus dan zou ik voor RAIDz1+mirror gaan.

[HyperBart]

Idd, ik heb 2 keer een foutje gemaakt, met het lettertje en dan die MIRROR die moet idd 150GB zijn...

Dan is de tweede methode (250/250/250) en (150+150) ook gelijk aan 650GB netto...

[DaCoTa]

Dan heb ik nog een leuke puzzel:

Jan heeft nu 3 losse 2TB disks, 1 100% vol, 1 disk met 1.2TB en 1 disk met 1TB data.

Nu wil Jan nog 3 2TB disks erbij halen, om een raidz2 set te bouwen, met daarop alle 4.2TB aan data.

Het enige dat Jan verder nog heeft zijn 3 lege 500GB disks.

[EnerQi]

DaCoTa schreef op zondag 30 september 2012 @ 10:42:
Dan heb ik nog een leuke puzzel:

Jan heeft nu 3 losse 2TB disks, 1 100% vol, 1 disk met 1.2TB en 1 disk met 1TB data.

Nu wil Jan nog 3 2TB disks erbij halen, om een raidz2 set te bouwen, met daarop alle 4.2TB aan data.

Het enige dat Jan verder nog heeft zijn 3 lege 500GB disks.

Deze is nog vrij makkelijk

3x 500 GB = 1,5 TB waardoor je dus 1 disk met 1 TB als backup kunt gebruiken. Schijf "3" dus even leeggooien waardoor je dus 4x 2 TB hebt. Deze in een raidz2 gooien met 2 memory disks en na reboot heb je een degraded Raidz2 (eigenlijk Raid0 ). Vervolgens disk 1 met 1,2 TB kopieren en toevoegen aan je Raidz2 array, wachten tot ie klaar is en vervolgens de overige 500 GB kopieren naar de array kopieren. Daarna je laatste disk overkopieren (die 100% vol schijf) en ook toevoegen aan je array = Raidz2 compleet.

p.s. overigens is wachten niet noodzakelijk, maar door 4 disks te gebruiken heb je geen bescherming. Persoonlijk vind ik dat onacceptabel dus wil ik minimaal 1 disk kunnen opvangen.

[DrClaw]

hmm .. ik zou dan (ook weer risky, maar ja je moet wat) het volgende doen..

* 3 nieuwe 2tb schijven kopen, en een degraded raid-z2 array met 2 missing drives opzetten.
* met die 3 500mb schijven een 1.5 tb array maken, en de 1.2tb kopieren naar deze 1.5tb array
* dan dezelfde 1.2tb kopieren naar de degraded raid-z2 array
* de vrijgekomen 2tb schijf toevoegen aan de raid-z2 array, en dan resilveren .. nu is het een raid-z2 geworden met 1 missing disk, en gevuld met 1.2tb aan data
* de 2Tb overkopieren naar dit raid-z2 array (nu staat er dus 3.2TB op)
* de lege schijf toevoegen aan de array, en weer resilveren

nu heb je dus een volledige raid-z2 array met 5 schijven, 9tb aan netto ruimte, waarvan 3.2 tb gevuld. overige 1tb ook maar kopieren, en klaar.

[FireDrunk]

Mijn huidige RAIDZ2 performt nog niet zoals ik zou willen...

[root@NAS /bigpool/data]# dd if=/dev/zero of=/bigpool/data/temp/test.000 bs=16M                 count=10240
10240+0 records in
10240+0 records out
171798691840 bytes transferred in 525.309335 secs (327042907 bytes/sec)

Halverwege een breathing gat van > 10 seconden waarin alleen de ZIL als een idioot stond te schrijven, maar de disks uit hun neus stonden te eten...

Setup: 10*2TB met een L2ARC SSD en een ZIL SSD er aan.

Als ik met zpool iostat -v kijk, zie ik wel pieken van rond de 690MB/s... Dus het kán wel, alleen lijkt het erop dat er wat configuratie issues zijn.. Iemand tips?

[ Voor 14% gewijzigd door FireDrunk op 30-09-2012 12:07 ]

[_RRM_]

rsync installeren onder ZFSguru levert de volgende foutcode op bij benadering van lokaalip:873

@RSYNCD: 30.0
@ERROR: protocol startup error

Acties als volledige beginner:
- FreeBSD handleiding hier doorgewerkt.
- Naast de rsync instructies hier gelegd.

Dus aanpassingen gemaakt met de command-line editor in:
- Aan inetd.conf een regel toegevoegd:
rsync stream tcp nowait root /usr/bin/rsync rsyncd --daemon
- rsyncd.conf aangepast tot:
uid = nobody
gid = nobody
use chroot = yes
max connections = 4
syslog facility = local5
pid file = /var/run/rsyncd.pid

[ftp]
path = /var/ftp/./pub
comment = whole ftp area (approx 6.1 GB)

[sambaftp]
path = /var/ftp/./pub/samba
comment = Samba ftp area (approx 300 MB)

[rsyncftp]
path = /var/ftp/./pub/rsync
comment = rsync ftp area (approx 6 MB)

[sambawww]
path = /public_html/samba
comment = Samba WWW pages (approx 240 MB)

[cvs]
path = /data/cvs
comment = CVS repository (requires authentication)
auth users = tridge, susan
secrets file = /etc/rsyncd.secrets

Is dit zo de "harde weg" te gaan of kan het veel simpeler? (het is wel leuk, maar best complex)

[DaCoTa]

DrClaw schreef op zondag 30 september 2012 @ 11:52:
* de vrijgekomen 2tb schijf toevoegen aan de raid-z2 array, en dan resilveren .. nu is het een raid-z2 geworden met 1 missing disk, en gevuld met 1.2tb aan data

Kun je een raidz2 resilveren met nog steeds 1 missing disk?

Mijn stappenplan tot nu toe is om van de 3 nieuwe 2TB disks een raidz1 te maken van 1TB partities, wat dus 2TB aan data kan bevatten. Dit is een goede tussenstap om - met redundancy - een van de bestaande 2TB disks vrij te krijgen. Met die vrijgekomen disk idd een degraded raidz2 aanmaken, evt met 2 500GB disks als 5e (parity) disk en dan de rest van de data erop zetten.

[FireDrunk]

DaCoTa schreef op zondag 30 september 2012 @ 23:11:
Kun je een raidz2 resilveren met nog steeds 1 missing disk?

Jup, je kan gewoon 1 missing device vervangen met je nieuwe disk. Je moet zelfs kiezen welke van de 2 je wil vervangen. Je kan er zelfs 2 tegelijk resilveren.

[gitaarwerk]

Vraag: Ik heb in bestelling staan: een PERC 6/i raid controller,.. en die gaat RAID6 draaien. Ik kom er (nu pas ) achter dat je beter geen RAID met ZFS kan combineren.

RAID6 is niet altijd minder dan ZFS, ook hardware kwestie.

Mijn vraag is: is in dit geval beter om mijn RAID card te annuleren en voor RAIDZ2 te gaan ipv raid6?

Ik werk met 4x 3TB WE RED schijven, supermicro 1u rackserver (xeon 3e-1230v2, c202 chipset) en 32GB aan geheugen (kingston ecc, unbuffered, unregisterd).
Wat er gaat draaien: webserver(debian), freenas (oid), cloudserver, router/firewall, winxp (vrij weinig gebruik), paar virtuele managed switches,... dat zou het dan wel zo een beetje zijn. (Kan in de toekomst wat zwaarder beladen worden om apps te testen/beta versies te draaien)

De OS-en draaien op een aparte SSD,.. de ruimte is echt puur voor storage voor de NAS, web- en cloudserver

Wat is jullie advies?

[ Voor 12% gewijzigd door gitaarwerk op 01-10-2012 11:28 ]

[FireDrunk]

Dat ligt heel erg aan je HyperVisor... Ga je Xen, KVM, ESXi, of VirtualBox gebruiken?

[gitaarwerk]

FireDrunk schreef op maandag 01 oktober 2012 @ 11:31:
Dat ligt heel erg aan je HyperVisor... Ga je Xen, KVM, ESXi, of VirtualBox gebruiken?

ESXi,.. de storage moet wel als basis gaan gelden voor alle VM's die dit nodig hebben... dus debian moet daar bijvoorbeeld de sites neerzetten, een encrypted gedeelte, gewone nas mappen, en nog een apart stuk voor de cloud-opslag

[FireDrunk]

Op zich *KAN* het wel, maar of het echt aan te raden is...

Je moet namelijk eerst een basis leggen voor ESXi om VM's op te zetten, daarop moet je een ZFS capable VM zetten (FreeNAS, NAS4Free, ZFSGuru, OpenSolaris, w/e). Daarop zou je een NFS share moeten maken, en deze terugsharen naar ESXi.

Daarop zou je weer je andere VM's moeten maken...

Nadeel is dat je dus je hele systeem onderuit trekt, mocht de storage van de ZFS VM wegvallen (of dat nou een RAID controller is, of een losse SSD, of een set SSD's, het kan fout gaan).

Waar een wil is, is een weg, maar betrouwbaar is anders.

Makkelijker (maar duurder) is een tweede machine maken, waarop je ZFS host, en een andere machine waarop je virtualiseert.

[gitaarwerk]

FireDrunk schreef op maandag 01 oktober 2012 @ 11:37:
Op zich *KAN* het wel, maar of het echt aan te raden is...

Je moet namelijk eerst een basis leggen voor ESXi om VM's op te zetten, daarop moet je een ZFS capable VM zetten (FreeNAS, NAS4Free, ZFSGuru, OpenSolaris, w/e). Daarop zou je een NFS share moeten maken, en deze terugsharen naar ESXi.

Daarop zou je weer je andere VM's moeten maken...

Nadeel is dat je dus je hele systeem onderuit trekt, mocht de storage van de ZFS VM wegvallen (of dat nou een RAID controller is, of een losse SSD, of een set SSD's, het kan fout gaan).

Waar een wil is, is een weg, maar betrouwbaar is anders.

Makkelijker (maar duurder) is een tweede machine maken, waarop je ZFS host, en een andere machine waarop je virtualiseert.

Thanks voor je input! het liefste zou ik het echt binnen een server houden. Voorlopig gewoon de knaken er niet voor ;-) (volgende server wordt meer een workstation virtualisatie)

Dus handiger zou zijn om dus gewoon eigenlijk een non-zfs systeem te bouwen in mijn geval? Ik moet ook nog echt beginnen met virtualisatie. Voor mij is belangrijk dat de server wel betrouwbaar is,.. dus wellicht gewoon dan maar de perc kaart behouden.

[Verwijderd]

Met welke argumentatie dan, gitaarwerk? Als je VM de storage doet, waarom zou je dan een hardware RAID controller willen? Het beperkt alleen maar je opties omdat je daarmee ZFS min of meer uitsluit. Zeker als je de hardware nu nog niet hebt gekocht en je toch aan ZFS denkt, zou ik het erg vreemd vinden als je toch voor een RAID controller gaat. Dat zou alleen nuttig zijn als je er achteraf een WHS server van wilt maken ofzo, en ook dan wijk je af van de features van WHS die ook een normale controller wilt.

Zeker omdat je storage meerdere besturingssystemen voorziet van prik, zou ik geen onbetrouwbare config met RAID controller draaien. Je disks vallen dan gewoon weg en uiteindelijk dus ook je storage. Dat is juist NIET wat je wilt, toch?

[FireDrunk]

Je KAN wel naar ZFS gaan, maar de ZFS VM zelf is nog steeds niet beveiligd tegen uitval omdat de storage daaronder nooit ZFS kan zijn.

[Verwijderd]

Je kunt ESXi op USB stick zetten toch? Dan is je onboard controller beschikbaar voor de virtual machine die ZFS levert. Die levert vervolgens weer de storage voor de andere VMs, toch?

In dat geval heb je alles ZFS behalve de 'systeemdisk' van de ZFS VM zelf. Een acceptable compromise?

[gitaarwerk]

Verwijderd schreef op maandag 01 oktober 2012 @ 12:08:
Je kunt ESXi op USB stick zetten toch? Dan is je onboard controller beschikbaar voor de virtual machine die ZFS levert. Die levert vervolgens weer de storage voor de andere VMs, toch?

In dat geval heb je alles ZFS behalve de 'systeemdisk' van de ZFS VM zelf. Een acceptable compromise?

Ik draai ESXi op een usb ja , de onboard controller wordt inderdaad native ondersteund, behalve de raid functie erin, maar die wa sik toch niet van plan te gaan draaien ;-)
De storage is echt puur die schijven... de VM's en ESXi draaien echt apart dus.

De VM's draaien op een SSD, en de ESXi op een usb stick.

Er is enigzins haast bij, omdat de raid controller wel in bestelling staat. Wanneer deze wordt verstuurd kan ik deze niet retourneren (zakelijk gebruik doen ze moeilijk over, maar bij hun bestellen scheelt me wel honderden euros ;-) ). moet de beslissing wel enigszins binnen 2 dagen maken

[FireDrunk]

Verwijderd schreef op maandag 01 oktober 2012 @ 12:08:
Je kunt ESXi op USB stick zetten toch? Dan is je onboard controller beschikbaar voor de virtual machine die ZFS levert. Die levert vervolgens weer de storage voor de andere VMs, toch?

In dat geval heb je alles ZFS behalve de 'systeemdisk' van de ZFS VM zelf. Een acceptable compromise?

En op welke controller sluit je de systemdisk aan? Juist... je onboard controller...
Die kan je vervolgens dus niet meer met passthrough doorgeven...

gitaarwerk schreef op maandag 01 oktober 2012 @ 13:20:
[...]


Ik draai ESXi op een usb ja , de onboard controller wordt inderdaad native ondersteund, behalve de raid functie erin, maar die wa sik toch niet van plan te gaan draaien ;-)
De storage is echt puur die schijven... de VM's en ESXi draaien echt apart dus.

De VM's draaien op een SSD, en de ESXi op een usb stick.

Er is enigzins haast bij, omdat de raid controller wel in bestelling staat. Wanneer deze wordt verstuurd kan ik deze niet retourneren (zakelijk gebruik doen ze moeilijk over, maar bij hun bestellen scheelt me wel honderden euros ;-) ). moet de beslissing wel enigszins binnen 2 dagen maken

Watvoor backup scenario's heb je in place?

[ Voor 41% gewijzigd door FireDrunk op 01-10-2012 13:22 ]

[gitaarwerk]

Ik ben toch een klein beetje de draad kwijt .

Ik zal even in detail vertellen wat ik doe,..want volgens mij gaat 't een stapje te ver,...
Dit is wat ik doe:


Server, start ik esxi op via usb... die start VM's op vanaf de mSATA (128gb, crucial m4). Bij beginsel maak ik hier een snapshot van iedere vm..eigenlijk dus het kale systeem. Da's mijn backup, die wordt uiteraard niet op de server geplaatst.

In die VM's wil ik dus verscheidende machines draaien die middels een vitueel netwerk aan elkaar gekoppeld zijn. Alle VM's verbinden wanneer nodig via netwerk met de NAS (waarschijnlijk FreeNAS). Deze zou naar mijn mening de controller dus zijn voor het ZFS. Hoe debian gaat verbinden met de server moet ik nog uitdenken (tips welkom). Voor backup zal het ook nog even een denkwerkje zijn. Eigenlijk wil ik dus gewoon een redundant systeem hebben waar iedere VM gemakkelijk bij kan, maar nog wel kunnen scheiden met rechten. ZFS is een mooi systeem, maar het moet ook niet te lastig gaan worden. Ik heb niet 7 dagen de tijd om een nieuw systeem uit te vinden en te kunnen koppelen naast alle VM's zelf in te stellen. ZFS is mooi, maar RAID heeft ook jaren goed gewerkt. Uiteraard liever ZFS, maar het moet ook naast de hard/software zelf bedrijfsmatig een handige keuze zijn ;-)

[ Voor 4% gewijzigd door gitaarwerk op 01-10-2012 14:10 ]

[FireDrunk]

En wat doe je dus als die m4 crasht?

[gitaarwerk]

FireDrunk schreef op maandag 01 oktober 2012 @ 13:55:
En wat doe je dus als die m4 crasht?

Vervangen. Ik maak daarom een snapshots van de VM's als het draait, en ze daarna weer terug te zetten.
Availability is niet het allerzwaarste probleem. De opslag is noodzakelijker. Ik heb altijd wel wat storage achter de hand om de snapshots/backups van de VM's op terug te zetten. Er zijn verder relatief weinig schrijfacties. De WinXP VM zal sporadisch worden gebruikt, en zal ook de scratchdisk in principe uitzetten.

[ Voor 13% gewijzigd door gitaarwerk op 01-10-2012 14:13 ]

[FireDrunk]

Uh, wat? Je backupped *alleen* de snapshots?

[gitaarwerk]

FireDrunk schreef op maandag 01 oktober 2012 @ 14:13:
Uh, wat? Je backupped *alleen* de snapshots?

Data ook, uiteraard, even uit het oog verloren. De bedoeling is de storage dus nog apart te backuppen en op andere locatie op te slaan.

[FireDrunk]

Maar met alleen een shapshot restore je toch geen VM... Je moet ook de originele VMDK files hebben, en de VMX files...

[gitaarwerk]

FireDrunk schreef op maandag 01 oktober 2012 @ 14:20:
Maar met alleen een shapshot restore je toch geen VM... Je moet ook de originele VMDK files hebben, en de VMX files...

Daar moet ik dus nog allemaal in gaan duiken blijkt In ieder geval is wel de bedoeling dus de VM's ook te backuppen. Hoe dat zit, moet ik dus nog uitvinden.

[FireDrunk]

Dat is een beetje de belangrijkste keuze waar je aan moet denken. Als jij goede offsite backup hebt, en geen speciale performance eisen, kan je prima ZFS draaien.

Heb je die niet, en moet ZFS de sole-survivor zijn, dan word het lastig...

[gitaarwerk]

FireDrunk schreef op maandag 01 oktober 2012 @ 14:24:
Dat is een beetje de belangrijkste keuze waar je aan moet denken. Als jij goede offsite backup hebt, en geen speciale performance eisen, kan je prima ZFS draaien.

Heb je die niet, en moet ZFS de sole-survivor zijn, dan word het lastig...

Dat begin ik een beetje te begrijpen. Heb aardig moeten bijleren om zover te komen om hoe alles werkt een beetje te begrijpen.

De offsite backup is nog allemaal niet geregeld, maar dat gaat wel komen. Momenteel is alle data nog niet belangrijk, we zitten onder de 1TB, en gebruiken nu Apple's TimeMachine,..tot volgend jaar kunnen we dit laten draaien zo, en nog een paar backups mee naar huis nemen. De bedoeling is dus wel om een goede offsite backup te hebben. Performance is uiteindelijk geen probleem. In eerste instantie wilde ik een synology draaien voor NAS en verbinden met de huidige oude G5 Mac Pro, welke qua performance al overdone is. De webserver zou de zwaarste belasting kunnen vormen, en de schijven met de NAS... maar uiteindelijk is het gegroeid tot een werkserver waar we ook websites draaien ter preview van de klanten met nog een beveiligd gedeelte. Uiteindelijk zal via VPN een synology of dergelijk iets als backup moeten draaien, oid, maar daar ben ik nog niet over uit.

Veel meer dan de VM's nu geschets (hierboven) zal er niet komen, behalve voor af en toe een labje.

De echte performance server gaat wellicht volgend jaar komen als de kepler k20 gpu's er zijn, of xeon phi... maar dat word een heel ander project. Wel virtualisatie, maar dan echt voor werkstations.

[ Voor 12% gewijzigd door gitaarwerk op 01-10-2012 14:34 . Reden: typo's ]

[FireDrunk]

Allemaal leuk en aardig jou verhaal, maar ik kan er maar heel lastig een paar requirements aan hangen...

Aantal punten die je goed voor ogen moet houden:

Wat wil ik met backup NU, en wat wil ik met backup STRAKS, en hoe ga ik tussentijds migreren van de ene naar de anderen.

Als je dat klaar hebt moet je erover nadenken hoeveel downtime je je kan veroorloven. Als die M4 krakt, krakt je hele server en ben je echt wel een paar uur tot een paar dagen bezig om alles weer op de rails te krijgen met kopieren en registeren van al die VM's + data kopieren.

Hoe belangrijk is performance, je zegt van niet, maar wat is het nu? Hoe lang mogen je backups duren?

Wat voor disk performance wil je halen? 1MB/s, 10MB/s, 100MB/s. Per VM, of/of, allemaal tegelijk?
Wat voor eisen stel je aan netwerksnelheden? 100Mbit dichtrekken? 1Gbit dichtrekken?
Wat voor redundantie wil je hebben in je ESXi bak qua netwerk? Mag er een netwerkkaart kapot gaan? Mag de switch kapot gaan? Wil je VLAN's gebruiken?

Daarnaast: Watvoor ZFS config wil je? Als je geen ZIl hebt is ESXi op een NFS share richting ZFS heel langzaam in Random IO (< 2MB/s is eerder regel dan uitzondering).

[ Voor 4% gewijzigd door FireDrunk op 01-10-2012 14:37 ]

[gitaarwerk]

FireDrunk schreef op maandag 01 oktober 2012 @ 14:36:
Allemaal leuk en aardig jou verhaal, maar ik kan er maar heel lastig een paar requirements aan hangen...

Aantal punten die je goed voor ogen moet houden:

Wat wil ik met backup NU, en wat wil ik met backup STRAKS, en hoe ga ik tussentijds migreren van de ene naar de anderen.

Als je dat klaar hebt moet je erover nadenken hoeveel downtime je je kan veroorloven. Als die M4 krakt, krakt je hele server en ben je echt wel een paar uur tot een paar dagen bezig om alles weer op de rails te krijgen met kopieren en registeren van al die VM's + data kopieren.

Hoe belangrijk is performance, je zegt van niet, maar wat is het nu? Hoe lang mogen je backups duren?

Wat voor disk performance wil je halen? 1MB/s, 10MB/s, 100MB/s. Per VM, of/of, allemaal tegelijk?
Wat voor eisen stel je aan netwerksnelheden? 100Mbit dichtrekken? 1Gbit dichtrekken?
Wat voor redundantie wil je hebben in je ESXi bak qua netwerk? Mag er een netwerkkaart kapot gaan? Mag de switch kapot gaan? Wil je VLAN's gebruiken?

Daarnaast: Watvoor ZFS config wil je? Als je geen ZIl hebt is ESXi op een NFS share richting ZFS heel langzaam in Random IO (< 2MB/s is eerder regel dan uitzondering).

Goed punt,..
Daar ga ik zeker nog over nadenken. Uiteindelijk werken we met twee personen op de NAS. Daar mag die op sich gewoon full speed op gaan. De andere poort is voor webserver en vpn, die trekt niet meer dan hoe de internet router toch kan afgeven. Er zijn backup switches en patchkast.

Overigens wil ik als ik ZFS gebruik een ZII doen. Die snelheden ga ik zeker uitzoeken. Thanks voor de tips en de hulp in ieder geval. Behoorlijk verhelderend

[B2]

Ik wil binnenkort mijn huidige CentOS all-in-one server uitfaseren en weer naar een virtualisatie oplossing gaan met KVM. Er komt dus een linux hypervisor (centos 6.3), met daarop verschillende vm's voor verschillende taken. O.a. router/firewall (pfSense), maar ook de nas taken. Hiervoor wil ik een ZFS distro gaan gebruiken. Nu zit ik te kijken naar FreeNas, Nas4Free en ZFSGuru.

Vereiste is dat AFP, NFS en iSCSI goed werken. Verder komt er niks op deze vm, storage vanuit deze vm zal aangeboden worden aan andere vm's. Of ik dat via nfs of iscsi ga doen moet ik nog even uitzoeken.

Welke distro zouden jullie aanbevelen? Command line is geen probleem maar heb niet veel ervaring met FreeBSD.

[ Voor 8% gewijzigd door B2 op 01-10-2012 15:06 ]

[FireDrunk]

Waarom CentOS als host? Vanwege ervaring? Persoonlijk vond ik dat CentOS een beetje ver achterliep qua kernel...

[B2]

FireDrunk schreef op maandag 01 oktober 2012 @ 15:07:
Waarom CentOS als host? Vanwege ervaring? Persoonlijk vond ik dat CentOS een beetje ver achterliep qua kernel...

Inderdaad vanwege ervaring, in het dagelijks leven ben ik RHEL specialist.

[FireDrunk]

Ok, wees je er dan wel van bewust dat je wat achter gaat lopen qua features, maar dat snap je vast wel

[B2]

FireDrunk schreef op maandag 01 oktober 2012 @ 15:10:
Ok, wees je er dan wel van bewust dat je wat achter gaat lopen qua features, maar dat snap je vast wel

Door Fedora 17 te pakken als host ben ik inderdaad recenter en heb ik een 3.5 kernel, alleen zit je dan telkens tegen een upgrade cyclus van een half jaar aan. Het is juist m'n bedoeling om de host stabiel te houden (en niet om de 2 dagen kernel updates te krijgen).

En volgens mij missen er voor mijn doel niet veel features tussen kernel 2.6 en 3.5 m.b.t de taken die ik de host wil laten doen, of zie ik iets over het hoofd?

Maar ontopic welke BSD (achtige) distro voor de (ZFS) nas vm?

[ Voor 3% gewijzigd door B2 op 01-10-2012 15:34 ]

[FireDrunk]

Ligt er echt aan wat je wil bereiken. Volgens mij zijn de briding features omtrent VirtIO sterk verbeterd in latere kernels, en is de algemene performance hoger.

Qua letterlijke features is er misschien alleen het support voor Open Virtual Switching. Maar of je dat wil gebruiken...

[B2]

FireDrunk schreef op maandag 01 oktober 2012 @ 15:41:
Ligt er echt aan wat je wil bereiken. Volgens mij zijn de briding features omtrent VirtIO sterk verbeterd in latere kernels, en is de algemene performance hoger.

Qua letterlijke features is er misschien alleen het support voor Open Virtual Switching. Maar of je dat wil gebruiken...

Hm inderdaad, nu je het zegt meen ik daar ook iets over gelezen te hebben (performance). Leuk om eens uit te zoeken. Neuh Open vSwitch ga ik in eerste instantie niet gebruiken. Misschien later, maar eerst gewoon de standaard bridge utilities. Kan zowel RHEL 6 als Fedora 17 wel eens optuigen als host en gaan kijken wat de performance verschillen zijn.

Ik heb trouwens het idee om dmv vt-d een M1015 met daaraan een aantal disks doorgeven aan de ZFS guest. Iemand dit al eens gedaan?

[FireDrunk]

Ja hoor, VT-d werkt prima onder KVM. En ik ga er ook vanuit dat FreeBSD / FreeNAS gewoon onder KVM werken. Is niet zoveel speciaals aan. FreeBSD ondersteund zelfs de VirtIO Disk Controller, dus voor de basis vdisk heb je dan lekker veel snelheid!

[B2]

FireDrunk schreef op maandag 01 oktober 2012 @ 16:06:
Ja hoor, VT-d werkt prima onder KVM. En ik ga er ook vanuit dat FreeBSD / FreeNAS gewoon onder KVM werken. Is niet zoveel speciaals aan. FreeBSD ondersteund zelfs de VirtIO Disk Controller, dus voor de basis vdisk heb je dan lekker veel snelheid!

VT-d met KVM heb ik genoeg ervaring mee, dat gaat wel goed. Het gaat me vooral om welk software er op die NAS vm komt te draaien. Gaat dit FreeNas worden, Nas4free of ZFSguru?
Wat ik gelezen heb van ZFSguru is dat het meer een managementlaag op een 'redelijk standaard' FreeBSD installatie is? En dat je voor zaken als AFP en iSCSI nog behoorlijk zelf wat moet configureren?

Het verschil tussen FreeNas en Nas4Free is me een beetje duidelijk, Nas4free is een fork van de 'oude' FreeNas. FreeNas is geen FreeBSD meer maar NanoBSD.

Wat zijn jullie ervaringen met de verschillende os-sen?

[d1ng]

NanoBSD is eigenlijk ook FreeBSD. Met FreeBSD ben je uiteraard het meest flexibel. Maar je moet dan wel tijd/zin hebben om erin te duiken. Wellicht ook interessant is dat er bij FreeNAS wordt gewerkt aan Plugins waarbij je vrij makkelijk PBI's en/of extra packages kan installeren.

[FireDrunk]

FreeNAS ooit wel eens geinstalleerd, maar dat doet wel gewoon precies wat het zegt dat het kan. iSCSI, AFP, NFS, Samba/CIFS, you name it, het kan het allemaal. LDAP integratie is ook prima en verder heeft het een hele mooie interface. Enige nadeel is eigenlijk dat het geen Root-on-ZFS doet.

[B2]

FireDrunk schreef op maandag 01 oktober 2012 @ 22:32:
FreeNAS ooit wel eens geinstalleerd, maar dat doet wel gewoon precies wat het zegt dat het kan. iSCSI, AFP, NFS, Samba/CIFS, you name it, het kan het allemaal. LDAP integratie is ook prima en verder heeft het een hele mooie interface. Enige nadeel is eigenlijk dat het geen Root-on-ZFS doet.

Root-on-ZFS heb ik niet nodig, doordat ik toch alles wil virtualiseren komt het OS gedeelte zelf op een logical volume op een SSD te staan waar alle VM's een eigen lv krijgen. Het zvol wordt een apart gedeelte op de data disks.
Gebruik je zelf ZFSGuru? of een vanilla FreeBSD?

[ Voor 4% gewijzigd door B2 op 02-10-2012 02:50 ]

[DutchNutcase]

B2 schreef op maandag 01 oktober 2012 @ 19:04:
[...]


VT-d met KVM heb ik genoeg ervaring mee, dat gaat wel goed. Het gaat me vooral om welk software er op die NAS vm komt te draaien. Gaat dit FreeNas worden, Nas4free of ZFSguru?
Wat ik gelezen heb van ZFSguru is dat het meer een managementlaag op een 'redelijk standaard' FreeBSD installatie is? En dat je voor zaken als AFP en iSCSI nog behoorlijk zelf wat moet configureren?

Het verschil tussen FreeNas en Nas4Free is me een beetje duidelijk, Nas4free is een fork van de 'oude' FreeNas. FreeNas is geen FreeBSD meer maar NanoBSD.

Wat zijn jullie ervaringen met de verschillende os-sen?

Voor IOMMU (VT-d of AMD-Vi) zou ik toch overwegen om iets te pakken met een 3.5 kernel, omdat daar flink wat verbeteringen inzitten voor virtualisatie icm IOMMU

[FireDrunk]

B2 schreef op dinsdag 02 oktober 2012 @ 02:48:
[...]


Root-on-ZFS heb ik niet nodig, doordat ik toch alles wil virtualiseren komt het OS gedeelte zelf op een logical volume op een SSD te staan waar alle VM's een eigen lv krijgen. Het zvol wordt een apart gedeelte op de data disks.
Gebruik je zelf ZFSGuru? of een vanilla FreeBSD?

Ik gebruik zelf de laatste ZFSguru met de laatste system image (9.1-003 / 0.2.0 Beta 7)

DutchNutcase schreef op dinsdag 02 oktober 2012 @ 08:22:
[...]


Voor IOMMU (VT-d of AMD-Vi) zou ik toch overwegen om iets te pakken met een 3.5 kernel, omdat daar flink wat verbeteringen inzitten voor virtualisatie icm IOMMU

Daar heb ik inderdaad ook al het een en ander over gelezen. Er werd volgens mij zelfs effort gedaan om GPU passthru mogelijk te maken.

[DutchNutcase]

FireDrunk schreef op dinsdag 02 oktober 2012 @ 09:13:

[...]

Daar heb ik inderdaad ook al het een en ander over gelezen. Er werd volgens mij zelfs effort gedaan om GPU passthru mogelijk te maken.

Ik geloof inderdaad dat daar aan gewerkt word, maar daar heb ik me niet echt in verdiept, omdat dat niet echt mijn virtualisatie doel was.

[kdbruin]

Ik heb zelf voor m'n nieuwe systeem gekozen voor een standaard FreeBSD installatie. Ik heb redelijk wat ervaring met Linux (Ubuntu) maar wilde toch graag ZFS gebruiken vandaar de keuze voor een FreeBSD systeem. Door een "kaal" systeem te nemen, wordt ik gedwongen om de materie te leren en dat vervalt een beetje bij gebruik van een NAS distributie zoals ZFSguru.

Maar als ik een NAS distributie zou moeten kiezen, dan werd het waarschijnlijk ZFSguru. Een redelijk complete interface met de belangrijkste zaken die je nodig hebt. Nadeel van NAS4Free vond ik dat het geen Root-on-ZFS ondersteuning heeft. FreeNAS (versie heb ik niet zo naar gekeken maar de diverse tutorials die ik vond voor bijvoorbeeld installatie van packages (bijv. SickBeard) zagen er nogal gecompliceerd uit door de opzet van het systeem.

[ Voor 38% gewijzigd door kdbruin op 02-10-2012 10:24 ]

[FireDrunk]

Ik weet dat SabNZBd, Sickbeard en de hele santekraam werken op FreeBSD, maar ik heb er toch bewust voor gekozen om dat in een VM te houden... Dat is vertrouwd en Ubuntu word 100x beter supported door al die tools.

Je levert iets in qua snelheid, maar het werkt wel stabieler.

[kdbruin]

Ik heb nu SABnzbd en SickBeard draaien, CouchPotato wil nog niet maar dat moet ik nog even uitzoeken. Ik wil dit in plaats van een VM naar een jail verhuizen. Maar ook dat moet ik nog eens goed uitzoeken.

[FireDrunk]

Mja dat kan inderdaad ook, maar dan zit je nog steeds met de configuratiehel voor al die tools onder FreeBSD.
Jails zijn leuk om scheidingen te trekken, maar niet handig voor je configuratie.

[matty___]

FireDrunk schreef op dinsdag 02 oktober 2012 @ 14:08:
Mja dat kan inderdaad ook, maar dan zit je nog steeds met de configuratiehel voor al die tools onder FreeBSD.
Jails zijn leuk om scheidingen te trekken, maar niet handig voor je configuratie.

Van sabnzbd gebruik ik altijd de tar.gz van de site. De tools die die nodig heeft komen uit de ports (python en cheeta).
Daar is verder niets moeilijks aan lijkt me.

Dus wat bedoel je precies met confighell?

[FireDrunk]

Autoupdate functionaliteit?

Ik gebruik zelf altijd de LaSi installer.

[Verwijderd]

sloth schreef op maandag 17 september 2012 @ 11:03:
CiPHER, hoe zit het met de planning voor een embedded release van ZFSGuru, die je op een usbstick kan installeren, net zoals FreeNAS die heeft?

Er zijn voor mij een aantal argumenten waarom dit belangrijk zou zijn voor het project:

-De huidige installatiemethode is omslachtig, en enkel geschikt voor installatie op een HDD/SSD die hierdoor niet kan downspinnen.
-Het is voor veel mensen wel zo handig om je OS vanaf een USB stick te hebben draaien, zodat je al je sata ports aan data disks kan toewijzen. Zo kan je ze ook laten downspinnen na inactiviteit, wat weer positief is voor de zuinigheid van je NAS.
-RAM is erg goedkoop momenteel. Er is dus vaak veel geheugen vrij om een ramdisk te maken voor alle settings die nu naar een disk geschreven worden. Dit verminderd ook nog eens het aantal write cycli, niet onbelangrijk voor een ssd lijkt me.

De ZFSguru embedded release heeft al eerder bestaan (0.1.6?) en zorgt ervoor dat je op een tmpfs memory disk werkt. Eigenlijk wel heel gaaf want je hebt zo je systeemdisk in RAM; je systeemdisk kan dus eigenlijk nooit problemen veroorzaken zoals timeouts wat effect heeft op andere disks. Ook heb je alle random writes van logbestanden uitgesloten; al mag dat eigenlijk geen probleem zijn aangezien ZFS die bundelt in 'burst writes'. Dus hij spaart kleine writes op en schrijft deze achtereenvolgend weg, wat veel sneller is en de schijven in de rustperiode paraat houdt voor mogelijke leesacties die je liever voorrang wilt geven.

Maar sinds de 0.1.8 rewrite denk ik werkt embedded niet meer. Hij komt zeker terug, de vraag is alleen wanneer. Jason heeft veel werk gedaan om een systeem te maken waarbij zowel embedded als Root-on-ZFS dezelfde mechaniek volgt. Zo moeten services goed werken met de embedded dist evenals het opslaan en restoren van de configuratie van deze services. Ook de nieuwe migration manager moet zijn geharmoniseerd met de embedded distributie.

Net als de livecd zou de embedded distributie ongeveer zo moeten werken:
1. boot van ISO9660 of UFS, laad kernel, kernel modules en de preloaded boot environment
2. preloaded boot environment wordt geactiveerd, die maakt een tmpfs memory disk aan, kopiëert de systeemdisk hiernaartoe die op CD of USB-stick staat en maakt de nieuwe memory disk de nieuwe 'root' (/) filesystem.
3. het ZFSguru run control script wordt gedraaid, die kijkt of er services zijn op de CD/USB en installeert deze tijdens het booten, na het installeren worden de configuratie bestanden hersteld.
4. alle interne services (sshd) en geïnstalleerde services (samba, whatever) worden opgestart en de login prompt of menu wordt zichtbaar.

Het bijzondere hiervan is dat de systeemdisk dus altijd 'vanilla' schoon blijft en dat bij élke boot de services terplekke worden geïnstalleerd of hersteld, hoe je het wilt noemen. Dit betekent ook dat je heel eenvoudig dit kunt uitschakelen per service bijvoorbeeld, zodat je nooit je systeemdisk 'vervuilt' met rommel die achterblijft; er blijft alleen achter wat je expliciet wilt bewaren.

Nu je vraag: wanneer komt die draak? Nou nog even wachten maar tegen het eind van dit jaar verwacht ik hem wel. Misschien al eerder.

kdbruin schreef op dinsdag 02 oktober 2012 @ 10:19:
Ik heb zelf voor m'n nieuwe systeem gekozen voor een standaard FreeBSD installatie. Ik heb redelijk wat ervaring met Linux (Ubuntu) maar wilde toch graag ZFS gebruiken vandaar de keuze voor een FreeBSD systeem. Door een "kaal" systeem te nemen, wordt ik gedwongen om de materie te leren en dat vervalt een beetje bij gebruik van een NAS distributie zoals ZFSguru.

Dat vind ik toch interessant. Want mij lijkt het juist het 'beste' en vooral gemakkelijkste als je via ZFSguru FreeBSD leert kennen. In plaats van direct in het diepe water te springen en een UNIX OS te leren, begin je dan vanaf een basis waarin basiszaken zoals samba en ZFS storage gewoon werken. Je kunt vanaf die basis zelf experimenteren met het installeren van extra dingen en het FreeBSD OS induiken: jails, dtrace, pf firewall, you name it.

Ik ben benieuwd hoe jij hier tegenaan kijkt, want ik zou zeggen dat voor mensen die wel eens meer van FreeBSD en UNIX willen leren vaak tegen een hoge muur oplopen door de stijle leercurve. Door met een werkende basis te starten waarin ook veel beginnersfouten worden voorkomen, kun je denk ik op relaxtere manier BSD leren kennen. Ook worden zo de 'scherpe hoeken' van BSD afgeroomd, zoals een bug dat bij een mounted ZFS USB device de shutdown niet goed werkt, op te lossen met een simpele workaround knob in de loader.conf; maar dat moet je maar nét weten! Mijn beginnerservaring was er toch een van veel frustraties; het geval dat ik in het duister met een lucifer mijn weg probeer te vinden in het donker. De manpages zijn net iets te technisch geschreven om beginners op weg te helpen; het zijn meer referenties dan handleidingen.

Wat wel leuk is, is het FreeBSD handbook; eigenlijk de béste handleiding van alle Operating Systems. Ook de vertalingen zijn netjes op orde. Aan de hand hiervan kun je leuke dingen ontdekken en BSD en UNIX meer gaan waarderen.

Maar mijn stelling zou dus zijn dat juist voor jouw type gebruikers ('freebsd geïnteresseerden') de ZFSguru-weg beter zou zijn. Ik ben benieuwd hoe jij hier over denkt.

FireDrunk schreef op maandag 01 oktober 2012 @ 14:36:
Daarnaast: Watvoor ZFS config wil je? Als je geen ZIl hebt is ESXi op een NFS share richting ZFS heel langzaam in Random IO (< 2MB/s is eerder regel dan uitzondering).

Je kunt tegenwoordig gewoon op dat ene filesystem sync=disabled instellen, dus een SLOG/dedicated ZIL is niet persé nodig.

[FireDrunk]

Maar dan heb je niets aan zfs en kan je net zo goed naar een RAID controller met tler kijken.

[Verwijderd]

Hoezo dat? Als de ZFS onverwacht stroom verliest heb je inderdaad geen application consistency voor de storage van ESXi, maar ZFS zelf blijft altijd consistent. Dit nadeel valt heel simpel op te lossen: gebruik snapshots. Met meerdere snapshots of eens per week met max 20 weken ofzo, kun je eenvoudig 'restore points' maken als het ware. Dat doe ik zelf ook met mijn Linux systeemdisks.

Het probleem is wel dat je niet kunt snapshotten terwijl ESXi niet draait; immers het kip en het ei. Dus je moet 'dirty snapshotten' terwijl de ESXi datastor open staat. Maar je kunt even een rustig moment opzoeken, zolang je niet toevallig net je config aan het aanpassen bent, denk ik dat het wel meevalt met inconsistencies.

[FireDrunk]

Klopt allemaal, maar voor de situatie waar Gitaarwerk in zit is het dan eigenlijk nutteloos.

even wat anders, weet jij (CiPHER) iets van de bugs met de IXGBE drivers onder FreeBSD? Ik krijg kernel panics als ik mijn 10Gb kaart in mijn ZFSGuru machine heb zitten.

[ Voor 48% gewijzigd door FireDrunk op 02-10-2012 18:39 ]

[wjn]

Vraagje, jullie idee of ik in de juiste richting zoek / ga zoeken:

Thuis heb ik een NAS gebouwd met 5x 4TB schijven, Z1, aangesloten op een M1015 in IT mode zonder BIOS. ashift = 12. OS is ZFSGuru, laatste versie, staat op een separate SSD.
Ik zit nog in de testfase voordat ik mijn data hieraan toevertrouw.

Probleem wat ik heb na het schijven van data, is dat ik naderhand bij scrub checksum errors krijg. Er zijn geen read/write errors, geen smart errors. Als ik na een zpool clear weer een scrub uitvoer, krijg ik geen errors meer, totdat ik weer data ga schrijven. Een scrub loopt totdat die bijna 100% is, daarna komen checksum errors. Aantal errors varieert, maar altijd minder dan 10 per schijf.

Als ik google, kom ik o.a. iostat -exmn tegen, om errors "online" te bekijken, maar dat werkt (nog) niet bij FreeBSD.
Andere ideeën zijn voedingsproblemen of overspraak op de SATA kabels. Voeding is een Earthwatts EA-380D (380W dus).

Wat zouden jullie aanraden te checken?

Memtest is trouwens ook nog niet gedaan, dat moet ik nog doen voor de zekerheid.

[FireDrunk]

Post je smart waarden eens. Geen Errors wil nog niet zeggen dat er niets aan de hand is.

[kdbruin]

Verwijderd schreef op dinsdag 02 oktober 2012 @ 17:31:
Dat vind ik toch interessant. Want mij lijkt het juist het 'beste' en vooral gemakkelijkste als je via ZFSguru FreeBSD leert kennen. In plaats van direct in het diepe water te springen en een UNIX OS te leren, begin je dan vanaf een basis waarin basiszaken zoals samba en ZFS storage gewoon werken. Je kunt vanaf die basis zelf experimenteren met het installeren van extra dingen en het FreeBSD OS induiken: jails, dtrace, pf firewall, you name it.

Ik ben benieuwd hoe jij hier tegenaan kijkt, want ik zou zeggen dat voor mensen die wel eens meer van FreeBSD en UNIX willen leren vaak tegen een hoge muur oplopen door de stijle leercurve. Door met een werkende basis te starten waarin ook veel beginnersfouten worden voorkomen, kun je denk ik op relaxtere manier BSD leren kennen. Ook worden zo de 'scherpe hoeken' van BSD afgeroomd, zoals een bug dat bij een mounted ZFS USB device de shutdown niet goed werkt, op te lossen met een simpele workaround knob in de loader.conf; maar dat moet je maar nét weten! Mijn beginnerservaring was er toch een van veel frustraties; het geval dat ik in het duister met een lucifer mijn weg probeer te vinden in het donker. De manpages zijn net iets te technisch geschreven om beginners op weg te helpen; het zijn meer referenties dan handleidingen.

Wat wel leuk is, is het FreeBSD handbook; eigenlijk de béste handleiding van alle Operating Systems. Ook de vertalingen zijn netjes op orde. Aan de hand hiervan kun je leuke dingen ontdekken en BSD en UNIX meer gaan waarderen.

Maar mijn stelling zou dus zijn dat juist voor jouw type gebruikers ('freebsd geïnteresseerden') de ZFSguru-weg beter zou zijn. Ik ben benieuwd hoe jij hier over denkt.

Je punten snijden zeker hout voor iemand die weinig tot geen ervaring heeft met Unix. Zelf "beheer" ik al zeker een jaar of 10 m'n eigen server thuis met diverse Linux distributies (Ubuntu, SUSE, Mandrake, Gentoo) waarbij ik op intermediate niveau gemakkelijk m'n weg kan vinden. In dat opzicht is de overstap naar FreeBSD dan niet zo groot. De basis is redelijk hetzelfde, vaak is de manier van configuratie anders maar de configuratie zelf is veelal hetzelfde.

Wat ik gemakkelijker vind ten opzichte van Linux is de manier hoe je met ZFS gemakkelijk een RAID-Z2 kan maken en die gemakkelijk kan opdelen naar wat er nodig is. Dit was met mdadm en lvm toch een stuk lastiger en minder flexibel.

Maar voor iemand die weinig Unix ervaring heeft, zijn oplossingen zoals ZFSguru en NAS4Free een uitkomst.

[Verwijderd]

@kdbruin: bedankt voor je feedback

@wjn: geheugen gechecked met memtest86?

FireDrunk schreef op dinsdag 02 oktober 2012 @ 18:26:
Klopt allemaal, maar voor de situatie waar Gitaarwerk in zit is het dan eigenlijk nutteloos.

Hoe precies? Stel je moet een snapshot restoren, dan kun je even booten met een ZFSguru USB stick die je paraat hebt liggen en al van tevoren hebt geoefend. Je kunt zelfs clones maken van je USB stick zodat je bij de minste problemen je systeem uit kunt doen en een andere USB stick kunt aansluiten en je bent weer draaiende. Ik gebruik zelf geen ESXi, maar het lijkt me dat dit moet kunnen?

even wat anders, weet jij (CiPHER) iets van de bugs met de IXGBE drivers onder FreeBSD? Ik krijg kernel panics als ik mijn 10Gb kaart in mijn ZFSGuru machine heb zitten.

Ik kan me voorstellen dat er nog niet veel feedback is geweest aangezien dit een vrij nieuwe adapter is, maar ik zal het voor je uitzoeken! Heb je misschien nog even de dmesg snippet van je netwerkkaart, waar ook het exacte type in zit, samen met je uname -a output? Mag ook per DM.

[FireDrunk]

Over ESXi, zijn VM's staan niet op ZFS, maar op een lokale SSD. Dus hij snapshot op de SSD.
Als je daarna die Snapshots naar ZFS zet moet je dat dus doen via NFS ofzo. Als je daar sync uit hebt staan, weet je dus nooit helemaal zeker of je snapshots goed aankomen (tenzij je er weer MD5 checksums van gaat nemen). Daarnaast moet hij als zijn SSD crasht ZFSguru (of iets anders ZFS-capables) booten om bij zijn VM's te kunnen. Is allemaal lastig. Een hardware RAID controller lijkt mij persoonlijk makkelijker en minder werk.

Backups zouden offline natuurlijk perfect naar een ZFS server kunnen. Dat lijkt mij dan ook the way to go...

Over die 10Gb kaarten, die AF DA is al stokoud (2006 ofzo) en word al heel lang gesupport in bijna elk besturingssyteem ter wereld. Ze hebben ook zelfs met ZFSguru gewerkt, alleen met de nieuwste 9.1-003 image werken ze niet meer (stabiel)

[Verwijderd]

Hm oke, nou misschien eens met de volgende (RC2) image proberen wanneer die uitkomt. Kan gewoon een kleine regressie zijn als je het enkel met de laatste versie had?

En je verhaal over ESXi: inderdaad, dat had ik over het hoofd gezien. Even hypothetisch: als je hetzelfde zou kunnen met ZFSguru/FreeBSD en QEMU als wat je nu met ESXi doet, zou dat een alternatief kunnen vormen? Ik kan alvast wel zeggen dat QEMU eraan komt voor ZFSguru, dus je kunt het wellicht zelf uitproberen of het wat is. Jason zegt dat je ZFSguru in Virtualbox kunt booten, dan de QEMU emulator installeren en de virtuele cdrom gebruiken om die te booten, dus dubbele hypervisors.

[FireDrunk]

WTF? hoe goor is dat

Maar QEMU is wel cool, het vergt alleen heeeel veel configuratie werk om net zoveel te kunnen als ESXi (qua networking, bridging, VLAN's, Thin/Thick provisioning...)

Tis wel leuk hoor, maar wat ESXi makkelijk maakt is ook gewoon de vSphere client... Dat is gewoon zo makkelijk.

Over die netwerkkaarten: Ik denk dat in de kernel van ZFSGuru niet de laatste ixgbe driver in zit, en een nieuwe kernel compilen is nog niet echt iets wat ik makkelijk doe bij FreeBSD (bij Linux kan ik het met 2 vingers in mijn neus... )

[ Voor 28% gewijzigd door FireDrunk op 03-10-2012 09:03 ]

[wjn]

Memtest moet ik nog doen idd.

Hier de resultaten van de laatste scrub:



Met geen smart fouten bedoel ik, dat de error counters zoals "Raw_Read_Error_Rate", "Reallocated_Sector_Ct", "Seek_Error_Rate", "Reallocated_Event_Count" en "UDMA_CRC_Error_Count" allemaal op nul staan.

Voorbeeld van de eerste disk:



Voor de overige schijven geldt hetzelfde.

[FireDrunk]

Ziet er inderdaad prima uit... Heel merkwaardig...

Ik zou snel memtest gaan draaien. Hou je dmesg in de gaten op kernel foutmeldingen?

[wjn]

Ik denk idd dat ik eerst in de hardware moet gaan zoeken van deze thuis"server". De NAS met ZFSGuru die ik op een PowerEdge heb draaien, voor backup opslag, vertoont helemaal geen problemen.

memtest draaien, als dat niets oplevert zoveel mogelijk schijven separaat op het mainboard aansluiten. Kijken of die schijven dan geen checksum errors meer krijgen.

dmesg is hetzelfde als "System Log" en dan tab "Kernel" dacht ik. Ook daar geen foutmeldingen, behalve dat de CDROM speler leeg is / geen media.

Jammer dat die iostat nog geen foutmeldingen kan laten zien onder FreeBSD.

[FireDrunk]

Wat bedoel je met iostat foutmeldingen?

[wjn]

Als voorbeeld dit (via google gevonden):

iostat -exmn

extended device statistics ---- errors ---
r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b s/w h/w trn tot device
2.8 0.0 239.9 0.0 0.0 10.0 0.0 3571.3 0 100 0 81 238 319 c10t9d0

FreeBSD ondersteund -e niet.

Is er wel een mogelijkheid separaat de SATA errors te bekijken / loggen? En/of M1015 SATA errors?

Ik kan vanavond / vannacht pas memtest draaien (wegens gebrek aan extra monitor/toetsenbord)

[FireDrunk]

Volgens mij kan dat met DTrace, ik ga even voor je zoeken.
Kak, dtrace is stuk op ZFSguru...

CiPHER?

[ Voor 28% gewijzigd door FireDrunk op 03-10-2012 12:41 ]

[Verwijderd]

wjn, ik denk sterk aan geheugen bitflips, dus start nou even die memtest dan hoef je ook geen moeilijke diagnose te doen. Mag ik daarbij voegen dat ik het onverantwoord vind om een systeem wat je niet op stabiliteit/corruptie hebt getest zomaar bij jouw data te laten?

Als er data van betekenis op staat, had je de machine nooit in gebruik 'mogen' nemen zonder hem eerst te testen in elk geval met memtest. Ik test altijd elk systeem met memtest dat ik bouw of significant verander, dus waarom zou je dat niet doen voor het systeem wat jouw waardevolle data gaat behandelen? Net als iemand die je je portemonnaie toevertrouwd wil je weten of die wel echt te vertrouwen is. Nooit overslaan dus, deze cruciale stap!

En wat is er mis met Dtrace? user-mode Dtrace werkt geloof ik nog niet, dus wees je bewust van de beperkingen. In HEAD (10.0) werkt het mogelijk al wel.

[FireDrunk]

ik kan onder root geen dtrace -l doen, dan krijg ik een "Dtrace device does not exist".

Als ik kldload dtraceall doe, krijg ik een Exec file format error.

[Verwijderd]

Kernel moet gecompileerd zijn met de opties zoals hier beschreven:
http://wiki.freebsd.org/DTrace

Dat kun je zelf doen, maar ik kan vragen of Jason de volgende system image maakt met deze opties ingeschakeld. Nadeel is wel dat je die symbol files nodig hebt; wat weer 100MB extra download betekent.

[FireDrunk]

Hmm, dat is inderdaad wat jammer, maar ik verwacht wel dat ze goed te comprimeren zijn.

[sloth]

B2 schreef op maandag 01 oktober 2012 @ 19:04:
[...]


VT-d met KVM heb ik genoeg ervaring mee, dat gaat wel goed. Het gaat me vooral om welk software er op die NAS vm komt te draaien. Gaat dit FreeNas worden, Nas4free of ZFSguru?
Wat ik gelezen heb van ZFSguru is dat het meer een managementlaag op een 'redelijk standaard' FreeBSD installatie is? En dat je voor zaken als AFP en iSCSI nog behoorlijk zelf wat moet configureren?

Het verschil tussen FreeNas en Nas4Free is me een beetje duidelijk, Nas4free is een fork van de 'oude' FreeNas. FreeNas is geen FreeBSD meer maar NanoBSD.

Wat zijn jullie ervaringen met de verschillende os-sen?

Nas4Free is geen fork van FreeNAS:

quote: http://wiki.nas4free.org/doku.php

Many users assume that NAS4Free is a “fork” of FreeNAS 7 series. This is NOT the case.

After the FreeNAS name was legally acquired by IX, the FreeNAS 7 project was unable to continue, and a name change was necessary.

NAS4Free IS NOT a fork. NAS4Free is based on FreeBSD 9.x, and is the direct continuation of the now closed FreeNAS 7 Legacy Project.

FreeNAS 8 is based on nanoBSD, and is some other creature entirely.

Dat terzijde, zelf heb ik enkele weken geleden met beide getest. Wat ik er me van herinner is dat ik de GUI van FreeNAS veel praktischer/mooier vond dan N4F, en dat ze wat functionaliteit betreft vergelijkbaar zijn.
Ik ga er binnenkort weer mee aan de slag, tot dat ZFSGuru terug als embedded beschikaar is.
Het zou leuk zijn ervaringen over bv. tuning en bugs van deze OS' terug te lezen in dit topic. Ik zal de mijne alvast delen

[wjn]

Verwijderd schreef op woensdag 03 oktober 2012 @ 12:51:
wjn, ik denk sterk aan geheugen bitflips, dus start nou even die memtest dan hoef je ook geen moeilijke diagnose te doen. Mag ik daarbij voegen dat ik het onverantwoord vind om een systeem wat je niet op stabiliteit/corruptie hebt getest zomaar bij jouw data te laten?

Ik quote mezelf even :

wjn schreef op dinsdag 02 oktober 2012 @ 22:24:Ik zit nog in de testfase voordat ik mijn data hieraan toevertrouw.

Ik had er aan toe kunnen voegen, dat ik nu een kleine NAS heb (WD Sharespace), die wat vol begint te lopen en vrij langzaam is. Met name dat laatste begint te ergeren, nu ik de NAS meer voor streaming ga gebruiken.

Zonder data testen heeft geen nut lijkt me, op een lege pool kan immers weinig fout gaan cq hoe meer data, hoe eerder (kleine) fouten naar voren komen.

Memtest loopt inmiddels, 1e & 2e run zijn zonder fouten.
(Memtest86 v4.20)

Edit 23u13: 4,9 passes zonder errors, geloof het wel zo.

[d1ng]

FireDrunk schreef op woensdag 03 oktober 2012 @ 09:03:
Over die netwerkkaarten: Ik denk dat in de kernel van ZFSGuru niet de laatste ixgbe driver in zit, en een nieuwe kernel compilen is nog niet echt iets wat ik makkelijk doe bij FreeBSD (bij Linux kan ik het met 2 vingers in mijn neus... )

Dan zul je versteld staan hoe makkelijk dat in FreeBSD is. Je hebt maar 1 configuratie bestand die maar een paar regels hoeft te bevatten. Gewoon "include GENERIC" erin opnemen en daaronder je eigen opties.

[FireDrunk]

Maar dan moet ik wel even van CiPHER weten hoe de ZFSguru kernel gecompiled is?
Wel mooi, want dan kunnen we DTrace support meteen toevoegen

[B2]

sloth schreef op woensdag 03 oktober 2012 @ 16:16:
[...]


Nas4Free is geen fork van FreeNAS:


[...]


Dat terzijde, zelf heb ik enkele weken geleden met beide getest. Wat ik er me van herinner is dat ik de GUI van FreeNAS veel praktischer/mooier vond dan N4F, en dat ze wat functionaliteit betreft vergelijkbaar zijn.
Ik ga er binnenkort weer mee aan de slag, tot dat ZFSGuru terug als embedded beschikaar is.
Het zou leuk zijn ervaringen over bv. tuning en bugs van deze OS' terug te lezen in dit topic. Ik zal de mijne alvast delen

Ik zou ook het liefst met een embedded versie van ZFSGuru bezig gaan, Root-on-ZFS gaat voor mij niet op omdat ik m'n NAS virtualiseer, en de vm voor het rootsysteem een logical volume vanuit de hypervisor krijgt toegewezen. De overige schijven zullen puur als datavolume worden aangeboden.

Ben nu even in VMWare Fusion bezig met een vanilla FreeBSD installatie en daar zet ik ZFSGuru op. Kijken of dat helemaal lukt en dan ga ik het op die manier opzetten.

[FireDrunk]

Waarom kan je geen root on zfs doen als je virtualiseert?

[B2]

FireDrunk schreef op woensdag 03 oktober 2012 @ 20:03:
Waarom kan je geen root on zfs doen als je virtualiseert?

Tuurlijk kan het wel, maar ik wil m'n root systeem niet op het zfs datavolume. Het root systeem komt op een logical volume wat op een ssd staat waar de rest van mn vm's ook een eigen lv hebben.

edit:

Of zou ik van deze lv dan ook een zfs volume moeten maken? Anders als ik het ZFS-on-root principe gebruik en de root op mn 8-10-12-weet-nog-niet-precies-hoeveel dataschijven zou zetten, dan zouden deze toch niet in standby gaan? Of wordt het compleet in ram geladen?

[ Voor 28% gewijzigd door B2 op 03-10-2012 20:26 ]

[sloth]

Ik heb net een disk benchmark van een WD20EARX gedaan op de laatste nas4free build:

read:

code:

dd if=nas4freetest of=/dev/zero bs=2048k
10000+0 records in
10000+0 records out
20971520000 bytes transferred in 188.474987 secs (111269513 bytes/sec)
=106.11MB/s

write:

code:

dd if=/dev/zero of=nas4freetest bs=2048k count=10000
10000+0 records in
10000+0 records out
20971520000 bytes transferred in 269.379030 secs (77851346 bytes/sec)
=74.24MB/s

Op het eerste zicht leek dit me wat langzaam voor een 2TB hdd, maar afgaande op deze hdtune screens van een productreview lijken het me toch normale snelheden?

[FireDrunk]

B2 schreef op woensdag 03 oktober 2012 @ 20:08:
[...]


Tuurlijk kan het wel, maar ik wil m'n root systeem niet op het zfs datavolume. Het root systeem komt op een logical volume wat op een ssd staat waar de rest van mn vm's ook een eigen lv hebben.

edit:

Of zou ik van deze lv dan ook een zfs volume moeten maken? Anders als ik het ZFS-on-root principe gebruik en de root op mn 8-10-12-weet-nog-niet-precies-hoeveel dataschijven zou zetten, dan zouden deze toch niet in standby gaan? Of wordt het compleet in ram geladen?

Precies, gewoon zfs op die vDisk knallen... disk hoeft maar 2G groot te zijn ofzo.

[EnerQi]

Hmmm de NAS is bezig met het resilveren van disk 4. Nu is de schatting van ZFSguru dat dit nog 2 uur bezig is. Ik ben helaas niet van plan om tot zo laat op te blijven (en die nas staat in mijn slaapkamer ). Is het gewoon mogelijk om de nas uit te zetten en dat ie de volgende dag gewoon verder gaat?

[Verwijderd]

Ja je kan altijd een ZFS operatie onderbreken, gewoon netjes afsluiten en als je opnieuw start gaat de resilver automatisch verder waar hij gebleven is.

@FireDrunk: je kunt de ZFSguru -> FreeBSD Sourcecode service installeren, dan heb je /usr/src met de sourcecode die bij je installatie hoort. Dan kun je een kernel config maken:

ee /usr/src/sys/amd64/conf/FIREDRUNK

Als root uitvoeren. Als je klaar bent dan een kernel bakken en installeren:

cd /usr/src
make -j 4 buildkernel KERNCONF=FIREDRUNK
make installkernel KERNCONF=FIREDRUNK

De optionele -j 4 geeft aan dat je tot 4 make jobs wilt gebruiken, dus kun je je quadcore aan het werk zetten.

@B2: je kunt je disks zo formatteren dat je een 4GB - 10GB partitie hebt voor je systeem en de rest als datapartitie. De datapartitie is dan je 10-disk RAID-Z2 bijvoorbeeld, maar de 10GB partitie gebruik je voor een aparte systeem/boot pool in mirror configuratie. Alleen twee disks gebruiken dan die partitie de rest niet. Voordeel van deze configuratie is dat je spindown kunt instellen op alle overige schijven, enkel je 2 systeemschijven blijven altijd draaien.

Dit kun je redelijk eenvoudig doen met de nieuwe partition map editor in ZFSguru.

[B2]

Verwijderd schreef op woensdag 03 oktober 2012 @ 21:45:
@B2: je kunt je disks zo formatteren dat je een 4GB - 10GB partitie hebt voor je systeem en de rest als datapartitie. De datapartitie is dan je 10-disk RAID-Z2 bijvoorbeeld, maar de 10GB partitie gebruik je voor een aparte systeem/boot pool in mirror configuratie. Alleen twee disks gebruiken dan die partitie de rest niet. Voordeel van deze configuratie is dat je spindown kunt instellen op alle overige schijven, enkel je 2 systeemschijven blijven altijd draaien.

Dit kun je redelijk eenvoudig doen met de nieuwe partition map editor in ZFSguru.

Waarom kies je hier voor een oplossing met een boot pool in mirror ipv de pool enkelvoudig op ssd? Puur voor de veiligheid van de mirror?

[sloth]

Ik heb last van een rare foutmelding met nas4free tijdens het booten:



Uiteraard voor ik deze post maakte even gegoogled, en er is nog een melding van iemand die ook een asus moederbord heeft.
Het rare is dat alles wel gewoon goed gaat na een power cycle. Als ik dan vanuit de webgui reboot krijg ik weer deze error, knap vervelend

[HyperBart]

Shoot your brainfarts:

Ik heb op dit moment een QNAP met verschillende shares waar mijn data onder zit (Beeldmateriaal Gezin, Video, Documenten, Bart, enz).

Maak ik het best (in acht nemend dat ik in de toekomst graag op bepaalde shares wat ACL's had gezet) één share, met daar dan gewoon submappen onder, of maak ik het best verschillende filesystems aan (ja toch, filesystems?) en share ik die allemaal...?

[Verwijderd]

@HyperBart: voordeel van één Samba share is dat als je bestanden verplaatst, de data niet via het netwerk loopt. Je client geeft dan gewoon een 'move' commando wat op de server wordt uitgevoerd. Verschil hierbij is dat als je van /share/FS1/... naar /share/FS2/... data verplaatst wat verschillende filesystems zijn, je server dus moet kopiëren. Omdat je dit op de server lokaal doet, gaat dit tegen maximale snelheid zoals 800MB/s dus kun je hierdoor veel sneller zijn dan dat je van Samba share #1 naar Samba share #2 gaat verplaatsen. Dan moet de data wel via het netwerk lopen.

Klein interessant puntje waar je rekening mee kunt houden.

@sloth: wat voor controller. heb je de disk netjes geformatteerd onder NAS4Free?

@B2: je SSD gaat via de ESXi toch? Dus dat is geen veilige opslag. Root-on-ZFS betekent dat je systeem/OS dezelfde bescherming geniet als je data. Wel zo gaaf. Ook heb je in tegenstelling tot USB geen last van ruimte of performanceproblemen. Enige probleem is de spindown. Nou als je veel schijven hebt kun je ervoor kiezen om alle schijven behalve twee te laten downspinnen met mijn methode, best een redelijk compromis. In elk geval totdat de Embedded distributie weer werkt draai je dan met net iets hoger verbruik doordat je 2 schijven minder kunt downspinnen; niet zo'n heel groot punt toch?