Verwijderd

Topicstarter
vargo schreef op donderdag 26 januari 2012 @ 10:21:
[...]
Ik heb mijn backup NAS up-and-running gekregen met ZFSguru beta2
De nieuwe beta3 livecd heeft een nieuwe system image (9.0-004) die op FreeBSD 9.0-RELEASE (dus de final) is gebaseerd. Deze is beter dan de RC-versie die op de beta2 livecd stond. De 9.0-004 krijgt zodra beta4 uit komt ook de volgende service addons:
  • Ajaxplorer
  • Virtio (KVM/Virtualbox PV drivers; met name handig voor goede virtualbox networking performance icm paravirtualized network adapter van Virtualbox)
  • Virtualbox
  • iSCSI-target
  • SABnzbd + SickBeard + CouchPotato + Headphones
  • netatalk (voor mac users die native mac shares en timemachine willen gebruiken)
De 9.0-004 system image is al beschikbaar vanaf de beta3 livecd (experimental download op zfsguru website) - de beta4 web-interface en de genoemde service extensies kunnen morgen al uitkomen. Zeer snel in elk geval. :)
Waar ik tegenaan liep was dat mijn disks vroeger onderdeel waren van een oude test pool. Gevolg: er werden oude, corrupte pools gevonden op het moment dat ik een nieuwe pool probeerde aan te maken. Uiteindelijk moest ik terug naar de command line. Zelfs een
code:
1
zpool destroy -f myOldPool
ging niet. Oplossing:
code:
1
zpool create -f myNewPool etc
ZFS heeft een beveiliging ingebouwd bij commando's zoals zpool create, waarmee je een nieuwe pool maakt. Als er bestaande niet-destroyed pools op de disk staan, dan faalt je zpool create commando. Dus als je een pool hebt vernietigd dan kun je zo weer de disk overschrijven, maar als de disk nog een bestaande pool bevat die je niet hebt geimporteerd, kun je die disk niet zomaar gebruiken om een nieuwe pool aan te maken.

Die beveiliging is natuurlijk gemaakt om menselijke fouten te voorkomen. Als je namelijk merkt dat je disks een bestaande config bevatten, moet je specifiek het -f commando gebruiken bij een zfs create commando om die disks te mogen gebruiken. In ZFSguru zie je daar op Pools->Create een checkbox voor (sinds beta2 of beta3 geloof ik), als je die aanvinkt dan gebruikt ZFSguru de -f optie om gebruik van de geselecteerde schijven te forceren (-f staat voor force of "use force").

Het is dus opzettelijk lastig gemaakt om een disk met een bestaande ZFS config zomaar te overschrijven met een andere ZFS pool. Dan moet je eerst zelf duidelijk aangeven dat je een beveiliging wilt omzeilen voordat je die disks zomaar kunt overschrijven.

Andere methoden om bestaande disks te wipen:
- importeer alle pools die je kunt en destroy/vernietig deze daarna; dan komen de disks weer vrij
- doe een zero-write op de disks via de Disks pagina. Dit kan met zowel de nieuwe partition map editor als de oude quick format helemaal onderaan de pagina.
Wat me verder opviel is dat ik geen nieuwe pool kon creeren zolang de disks geen gpt/geom partitie hebben. Vanaf de command line kan ik echter direct de disks aanwijzen:
code:
1
zfs create myNewPool raidz /dev/disk1 /dev/disk2 .../dev/disk8'

Voordeel hiervan is dat ik de pool rechtstreeks in mijn opensolaris bak kan hangen (of openindiana in de nabije toekomst).
Waarom moet je in ZFSguru GPT/GEOM formatted disks hebben?
Net zoals hierboven: het inbouwen van beveiligingen.

Een partitie is een teken dat je duidelijk aangeeft wat op een disk staat, iets wat andere OS kunnen herkennen. Doe je namelijk wat jij zegt en je hangt je schijf in een Windows bak, dan vraagt Windows je om die schijven te 'initialiseren'. Nou dat klinkt onschuldig, activeer de schijven maar ja, denk je. Bij het bevestigen van die actie heb je ZFS data overschreven en kan je pool dus al corrupt zijn! Gebruik je een MBR of GPT partitie, dan geniet je extra bescherming omdat Windows een partitie ziet van een 'vreemd' besturingssysteem (zowel MBR als GPT hebben id codes die OS/filesystem-specifiek zijn); die zal die partitie dan met rust laten. Bovendien kun je zo alsnog een Windows partitie aanmaken en zo heb je een cross-platform veilige indeling voor je hardeschijven.

Ander voordeel is dat je met GPT partities of met GEOM labels een naam kunt toewijzen aan elke disk. Dus je hebt een pool genaamd "tank" met daarin disks met de naam samsung1, samsung2, etc. Dat is een stuk beter dan /dev/c0d0s1e0 of wat dan ook; want welke schijf was dat ook alweer? Je kunt zelf een naam kiezen.

Je voorkomt menselijke fouten doordat je een check hebt welke disks je mee werkt. Ook kun je makkelijker zien welke schijf kapot is, aangezien je de schijven makkelijk kunt nummeren hoe ze fysiek in je kast zitten. Als schijf samsung3 niet meer werkt volgens ZFS dan kun je in je kast direct aanwijzen welke schijf dat moet zijn; aangenomen dat je je schijven een naam hebt gegeven die dat mogelijk maakt of labels hebt geplakt. Zelf heb ik gewoon de bovenste schijf = samsung1 in mijn geval, en zo gaat het naar onderen toe. Best makkelijk en voldoet voor mij prima. :)

Laatste argument is specifiek voor je systeem. Gebruik je 'FakeRAID' kaartjes zoals Promise, JMicron en vooral Silicon Image, dan kan het nodig zijn om de laatste 512 bytes niet te gebruiken omdat de FakeRAID die ruimte overschrijft en soms niet kan booten als ZFS vervolgens weer de ruimte terug-overschrijft, zoals ik een keer heb ervaren. Hardware RAID lost dat op door de target device die het OS te zien krijgt ook één sector (512 bytes) kleiner te maken. Maar FakeRAID kan dat niet omdat alle non-Windows OS gewoon een SATA controller zien.
Ook hebben GPT partities een kopie van al hun data; waardoor als je het begin overschrijft of het einde niet gelijk je partitietabel kwijt bent, maar er nog gewoon een kopie aanwezig is.

ZFSguru accepteert kale disks als ze buiten ZFSguru om zijn aangemaakt, maar bijvoorbeeld een pool maken via ZFSguru kan alleen met disks die een label hebben.

Wat je zei over OpenSolaris: als je je disks met GEOM formatteert heb je een label én de disks werken prima onder Solaris. Dat staat ook aangegeven op de disks pagina bij advantages/disadvantages.
Verder trouwens complimenten voor ZFSguru; het maakt je systeem echt een NAS appliance.
ZFSguru wordt inderdaad al redelijk volwassen nu 0.2 nadert. Inmiddels toch een aardige verzameling aan functionaliteit opgebouwd. Oh trouwens, jullie mogen ook 'mijn' nieuwe feature testen in beta3+: de disk benchmarks die een HDtune-achtig grafiekje geven. Was erg leuk om te maken kan ik je zeggen. 8)

Verwijderd

Topicstarter
Maar even in een nieuwe post. :)
iRReeL schreef op donderdag 26 januari 2012 @ 10:22:
Ik dacht al dat het iets met de labels te maken zou kunnen hebben omdat ik dit niet op orde heb.
Ik kan je verhaal niet helemaal goed volgen. Met name is voor mij niet duidelijk hoe je disk een 'zfs' label krijgt. Solaris doet dit niet dus zou je dat ooit onder BSD gedaan moeten hebben?

Hoe dan ook, er is waarschijnlijk geen grote bug in hoe memberdisks worden gedetecteerd, maar simpelweg dat meerdere schijven dezelfde label hadden. De nieuwe beta4 die binnenkort verschijnt zou ook een waarschuwing laten zien op de disks pagina wanneer je conflicterende labels hebt.
dus de benchmark heeft blijkbaar wel alle 10 disks geformatteerd, allemaal label ZFS).
De benchmark formatteert niets, het voegt wel .nop GNOP providers toe aan je disks, zodat je bijvoorbeeld een /dev/ada0.nop device krijgt. De /dev/ada0 is dan 512 byte sector maar de device met .nop aan het einde is dan 4K sector bijvoorbeeld. Bij het aanmaken van een 4K pool voeg je dan niet /dev/ada0 toe maar de .nop device, zodat ZFS de disks als 4K ziet en dit opslaat in de pool configuratie (ashift).
Omdat ik toch veel problemen had met openindiana blijf ik nu toch bij feebsd dus kan ik wel GPT format doen, dat zal ik vanmiddag proberen en dan nog 's testen.
Je kunt overstappen van GEOM naar GPT op elk moment, als je een pool met redundantie hebt. Je verwijdert dan een device, herformatteert die met GEOM of GPT, en dan voeg je die weer toe waarna je gaat rebuilden. Kan wel een tijdje duren natuurlijk, maar het kan wel. Via de web-interface ook sinds een van de 0.2 beta's.
EDIT: alle disks een aparte label gegeven en nu draait de benchmark idd op 10 disks. Oef hij gaat me nogal wat testjes draaien.. Was misschien handig om erbij te vermelden wat ie allemaal gaat doen zodat de gebruiker een beetje idee heeft hoelang het gaat duren. Ik heb nu trouwens ook 10 disks aangevinkt maar toch doet ie ook met 5,7,8,9 disks testen, ik zou eigenlijk denken dat de test zich beperkt tot het aantal disks dat ik geselecteerd had.
Nee dan zou je maar één stip krijgen. Het idee van de geavanceerde disk benchmark is dat je diverse pool configuraties test en ziet hoe de performance toeneemt (of afneemt) bij het toevoegen van schijven. Zo kun je zien hoe bepaalde configuraties van RAID-Z het doen in combinatie van 4K sector disks.

De test zelf kan in zijn uitgebreide vorm langer dan 24 uur duren. Wil je één configuratie testen, maak dan gewoon je pool aan en doe een benchmark op Pools->Benchmark (en dus niet Disks->Benchmark).

De nieuwe simpele disk benchmark in recente béta waar ik aan heb gewerkt is een HDtune achtig iets. Draai je beta3 dan zie je twee tabs op de Disks->Benchmark pagina. De pool benchmark en de simpele disk benchmark zijn veilig omdat ze geen bestaande (user) data overschrijven. Maar de geavanceerde disk benchmark is destructief omdat deze nieuwe pools aanmaakt op de disks, en ook enorm veel data schrijft. ;)
Kun je ook labels aanpassen op een bestaande zpool (zonder dataverlies)? Misschien wel beter om problemen te voorkomen.
Ja, je kan een disk OFFLINE maken via de Pools pagina, daarna die disk een andere naam geven in de nieuwe partition map editor op de Disks pagina. Dat met die kleurtjes, waar ik ook aan heb gewerkt. 8)

Klik op je data partitie met een GPT label, dan kun je de labelnaam aanpassen. Simpel zat, maar FreeBSD heeft nog een bug waardoor je eerst moet rebooten voordat de nieuwe label actief wordt. Dus even rebooten en je nieuwe labelnaam is actief. Dan kun je de disk weer ONLINE maken en ben je klaar.

  • iRReeL
  • Registratie: Februari 2007
  • Laatst online: 11-02 21:31
Verwijderd schreef op vrijdag 27 januari 2012 @ 02:44:
[...]

Ik kan je verhaal niet helemaal goed volgen. Met name is voor mij niet duidelijk hoe je disk een 'zfs' label krijgt. Solaris doet dit niet dus zou je dat ooit onder BSD gedaan moeten hebben?

Hoe dan ook, er is waarschijnlijk geen grote bug in hoe memberdisks worden gedetecteerd, maar simpelweg dat meerdere schijven dezelfde label hadden. De nieuwe beta4 die binnenkort verschijnt zou ook een waarschuwing laten zien op de disks pagina wanneer je conflicterende labels hebt.
Volgens mij werd de ZFS label automatisch door ZFSguru aangemaakt bij de nieuwe pool. Ik heb maar 1x de disks formatted (GEOM) en toen een label gegeven. Voor de rest heb ik alleen pools verwijderd en nieuw aangemaakt (in napp-it heb ik de label optie nooit gezien). Wellicht omdat ik met openindiana en freebsd bezig was.

De waarschuwing voor conflicterende labels lijkt mij een uitstekend idee! _/-\o_

ZFS: FreeBSD10+ZFSguru, ASRock C2550D4I , 16GB, Nexus Value 430w


  • NetXtreme
  • Registratie: Mei 2003
  • Laatst online: 00:12
Heeft iemand een idee hoe ZFSGuru (Beta) te installeren op VMWare 5.0.0 met een Intel SASUC8I forwarded naar een VM?

Ik moet tijdens boot in eerste instantie al de volgende commando's geven aan de loader, anders blijft ie hangen tijdens boot:

set hw.pci.enable_msi="0"
set hw.pci.enable_msix="0"

Daarna werkt ZFSGuru prima, boot, kan ZFS pool maken. Zodra alles klaar is, doe ik de RootOnZFS install, maar VMWare weigert te booten van een DirectPath forwarded device. Dit heeft tot gevolg dat ik ZFSGuru niet meer kan booten.
Je kan inderdaad niet booten van een DirectPath device, omdat er geen INT19 capture plaatsvind in je VMware BIOS.
Heb je al eens geprobeerd om de BIOS van je VM op EFI te zetten? Misschien dat die het wel kan.

Even niets...


  • FDMK
  • Registratie: Augustus 2004
  • Laatst online: 20-12 23:25
NetXtreme schreef op vrijdag 27 januari 2012 @ 12:21:
Heeft iemand een idee hoe ZFSGuru (Beta) te installeren op VMWare 5.0.0 met een Intel SASUC8I forwarded naar een VM?

Ik moet tijdens boot in eerste instantie al de volgende commando's geven aan de loader, anders blijft ie hangen tijdens boot:

set hw.pci.enable_msi="0"
set hw.pci.enable_msix="0"

Daarna werkt ZFSGuru prima, boot, kan ZFS pool maken. Zodra alles klaar is, doe ik de RootOnZFS install, maar VMWare weigert te booten van een DirectPath forwarded device. Dit heeft tot gevolg dat ik ZFSGuru niet meer kan booten.
Ik had hetzelfde, CipHers antwoord hierop:
Verwijderd schreef op maandag 23 januari 2012 @ 22:27:
Oke, nou als je een installatie gaat uitvoeren via System->Install moet je eerst een bestand aanpassen, zodat je nieuwe installatie ook bootable is. ;-)

Dat doe je zo:
1) log in via ssh en dan 'su' of direct op de control kun je alt+F2 drukken en inloggen als root
2) edit de loader.conf bedoeld voor nieuwe installaties:
ee /usr/local/www/zfsguru/files/roz_loader.conf
3) voeg voor de #end# regel toe:
hw.pci.enable_msix="0"
hw.pci.enable_msi="0"
4) zorg dat je geen 'set' gebruikt hierboven! Nu escape-enter om te saven en af te sluiten

Daarna kun je gewoon de installatie volgen en zou je nieuwe installatie ook bootable moeten zijn.

Any job you can do in your pajamas is not the hardest job in the world.


  • NetXtreme
  • Registratie: Mei 2003
  • Laatst online: 00:12
Rooke schreef op vrijdag 27 januari 2012 @ 13:06:
[...]


Ik had hetzelfde, CipHers antwoord hierop:


[...]
Dat is het probleem niet... Dit krijg ik prima werkend... Het probleem zit 'm in dat VMWare niet wil booten van disks die aan de DirectPath forwarded Intel SASUC8I controller zitten.
FireDrunk schreef op vrijdag 27 januari 2012 @ 12:53:
Je kan inderdaad niet booten van een DirectPath device, omdat er geen INT19 capture plaatsvind in je VMware BIOS.
Heb je al eens geprobeerd om de BIOS van je VM op EFI te zetten? Misschien dat die het wel kan.
Dit zal ik eens proberen

[ Voor 33% gewijzigd door NetXtreme op 27-01-2012 13:16 ]

Ik lees op veel plekken online, dat je prima moet kunnen booten van een device dat via VT-d (DirectPath) is doorgegeven... Wel vreemd dus...

Even niets...


  • iRReeL
  • Registratie: Februari 2007
  • Laatst online: 11-02 21:31
:( Nadat ik de benchmark heb gedaan krijg ik geen toegang meer tot de shares, windows kan de hele server niet meer vinden blijkbaar. Soms krijg ik wel een login maar kan op geen manier inloggen, ook niet met root. Ik dacht dat default iedereen toegang had tot de share bij ZFSguru? In de tussentijd had ik ook een upgrade gedaan van 9.03 naar 9.04 dus weet niet zeker of het sinds de upgrade of sinds de benchmark is.

SSH login werkt wel en ZFSguru. Shutdown en reboot gedaan en Samba service is running volgens ZFSguru (ook samba restart gedaan) en er zijn verschillende shares, zfsguru, tmpfs, en shares voor de zpools die allemaal browseable, writable en public zijn. Ik heb ook helemaal geen wijzigingen gemaakt in de shares

Van /var/log/samba/log.192.168.0.101 begrijp ik dat ik blijkbaar een nieuwe nfs user moet aanmaken?
[2012/01/27 12:49:58.949011, 0] lib/util.c:1117(smb_panic)
PANIC (pid 2161): internal error
[2012/01/27 12:49:58.949061, 0] lib/util.c:1221(log_stack_trace)
BACKTRACE: 0 stack frames:
[2012/01/27 12:49:58.949112, 0] lib/fault.c:416(dump_core)
dumping core in /var/log/samba/cores/smbd
[2012/01/27 12:49:58.955518, 0] smbd/password.c:723(authorise_login)
authorise_login: Invalid guest account nfs??
[2012/01/27 12:49:58.956869, 0] smbd/password.c:723(authorise_login)
authorise_login: Invalid guest account nfs??
[2012/01/27 12:49:58.959836, 0] smbd/password.c:723(authorise_login)
authorise_login: Invalid guest account nfs??
[2012/01/27 12:49:58.961019, 0] smbd/password.c:723(authorise_login)

ZFS: FreeBSD10+ZFSguru, ASRock C2550D4I , 16GB, Nexus Value 430w

chown -R nfs:nfs [mountpoint] was het toch?

[ Voor 13% gewijzigd door FireDrunk op 27-01-2012 14:01 ]

Even niets...


  • NetXtreme
  • Registratie: Mei 2003
  • Laatst online: 00:12
FireDrunk schreef op vrijdag 27 januari 2012 @ 13:18:
Ik lees op veel plekken online, dat je prima moet kunnen booten van een device dat via VT-d (DirectPath) is doorgegeven... Wel vreemd dus...
Heb je paar linkjes waar dat gezegd word? Heb even rond gekeken, kan zo 123 niet iets vinden...

  • iRReeL
  • Registratie: Februari 2007
  • Laatst online: 11-02 21:31
FireDrunk schreef op vrijdag 27 januari 2012 @ 14:00:
chown -R nfs:nfs [mountpoint] was het toch?
sja voor mij is linux / freebsd helemaal nieuw dus.. maar dan zou het moeten zijn
"chown -R nfs:nfs /EARS4K/EARS" maar dan krijg ik "chown: nfs: illegal group name"
/EARS4K/EARS haal ik van de samba shares pagina Target path

chown -R nfs /EARS4K/EARS -> chown: nfs: illegal user name

cat /etc/passwd | cut -d: -f1 | grep -v \# -> geen nfs user in de lijst

[ Voor 14% gewijzigd door iRReeL op 27-01-2012 15:40 ]

ZFS: FreeBSD10+ZFSguru, ASRock C2550D4I , 16GB, Nexus Value 430w


Verwijderd

Topicstarter
De 9.0-004 system image is overgestapt naar 'share' user in plaats van nfs. De userID van dit account is gelijk aan dat van 'nfs': 1000 voor de userid en 1000 voor de groupid. Deze gebruiker wordt gebruikt voor alle standaard shares. Gebruik dus geen 'nfs' meer, maar bij voorkeur de user/groupid 1000, zoals de ZFSguru web-interface in beta4 ook doet. Dat werkt prima met systeemversies die 'nfs' of 'share' gebruiken, omdat beide hetzelfde nummer hebben.

En verder iRReeL: na zo'n geavanceerde benchmark draaien een aantal processen niet meer: Samba, cron, syslogd. Dat staat ook ergens in de benchmark output; dat je beter kunt rebooten na de benchmark zodat alles weer gestart wordt.

  • iRReeL
  • Registratie: Februari 2007
  • Laatst online: 11-02 21:31
Zoals je weet ben ik een freebsd noob O-) . Vooral met ZFSguru weet ik eigenlijk zo goed als niets van users. Dat NFS nu SHARE geworden is zegt mij helemaal niets, SMB access zou dan toch gewoon moeten werken (met iedere username?), moet ik nu dan iets in het systeem wijzigen omdat ZFSguru van NFS naar SHARE overstapt?

Het viel me idd in dat samba etc gestop werd dus ik hoopte dan ook het met een reboot te kunnen oplossen.

Ik had net een nieuwe user gemaakt met adduser en dan "chown -R irreel /EARS4K/EARS" maar ik krijg nog altijd geen toegang met de share. Misschien moet ik de share in ZFSguru verwijderen en weer opnieuw aanmaken..

Nog 's "chown -R 1000:1000 /EARS4K/EARS" getest maar nog altijd geen toegang.

in het samba log krijg ik nog altijd dezelfde error
[2012/01/27 14:55:03.704417, 0] smbd/password.c:723(authorise_login)
authorise_login: Invalid guest account nfs??

ZFS: FreeBSD10+ZFSguru, ASRock C2550D4I , 16GB, Nexus Value 430w


Verwijderd

Topicstarter
In je /usr/local/etc/smb.conf staat iets als:
guest account = nfs

Dat moet je veranderen naar:
guest account = share

Want de nfs user bestaat niet meer. Hoe kom je aan zo'n smb.conf? want de standaard versie die bij 9.0-004 komt gebruikt geen nfs user meer.

Als je in ZFSguru een filesystem aanmaakt, zul je zien dat hij de permissies reset voor de 'share' gebruiker (uid=1000). Dan hoef je alleen maar op Share with Samba te klikken en je hebt toegang tot die share. Normale Samba shares zonder authenticatie (wachtwoord) vallen onder de guest user en dat hoort dus 'share' te zijn.

Die "chown -R 1000:1000 /EARS4K/EARS" is dus correct; maar dat doet ZFSguru standaard vanzelf als je een nieuw filesystem aanmaakt, als het goed is. In jouw geval moet je even je smb.conf aanpassen.

  • Dwightjo
  • Registratie: Juni 2003
  • Laatst online: 23-08 13:40
Ik heb vandaag alle onderdelen ontvangen voor de vervanging van mijn oude (ubuntu based) nas.

In de oude nas zat een 3ware 9650se kaart met 8 schijven. Omdat deze kaart kuren begint te vertonen en ik veel goede verhalen lees over ZFS wil ik graag de overstap maken naar ZFS (zonder deze kaart). Omdat freebsd nieuw is voor mij, en ik diverse webapplicaties met de nodige socket daemons thuis test zou ik ook virtuele machines aan willen maken.

Ik lees dat op freebsd je het beste virtualbox kunt gebruiken, heeft iemand hier ervaring mee, of een verwijzing naar hoe hij/zij dit opgezet heeft?.

Waar ik aan denk
- ZFSguru installatie op een ssd disk
- 5x 3TB schijven (om mee te beginnen) met nfs en samba share
- 2 virtuele machines met 1GB werk geheugen.

Is het aan te raden om ESXi te installeren, en daarbinnen allemaal vm's aan te maken (waaronder ZFSguru)?
Indien iemand dit gedaan heeft ben ik benieuwd hoe hij/zij dit aangemaakt heeft met het toegankelijk maken van de schijf ruimte.

edit: Misschien niet geheel onbelangrijk ik heb 16GB intern werkgeheugen

[ Voor 3% gewijzigd door Dwightjo op 27-01-2012 16:53 . Reden: toevoeging werkgeheugen ]

Illest Alive


Verwijderd

Topicstarter
Je kunt inderdaad ESXi gebruiken en zo alles virtualizen, of je kunt ZFS als host OS maken en andere OSen gaan virtualizen. Dat laatste heeft mijn voorkeur, omdat je het ZFS OS dan puur houdt en niet hoeft te virtualizen, wat gewoon stukken beter werkt.

ZFSguru heeft standaard Virtualbox extensie, dus je kunt ZFSguru installeren en met Virtualbox extra VMs draaien voor extra functionaliteit. Met een kleine ingreep kun je deze bij reboot automatisch laten opstarten.

ipv 3TB schijven zou ik of voor meer 2TB schijven gaan zodat je met minder overhead RAID-Z2 kunt draaien (RAID6 zeg maar). 10 schijven in RAID-Z2 bijvoorbeeld. Ander alternatief kan zijn nieuwe 4TB disks met 1TB platters, en dan 5 in een RAID-Z of 6 in een RAID-Z2. Bedenk dat je als je een niet-optimale config draait je iets lagere performance en opslagruimte zult hebben. Optimale configs:
Mirrors, RAID-Z met 3, 5 of 9 schijven, RAID-Z2 met 4, 6 of 10 schijven.

ZFSguru gebruikt maar 0.5GB ofzo, dus je SSD kun je als cache gebruiken en misschien als log device; wat voor SSD gebruik je?

  • iRReeL
  • Registratie: Februari 2007
  • Laatst online: 11-02 21:31
Verwijderd schreef op vrijdag 27 januari 2012 @ 16:07:
In je /usr/local/etc/smb.conf staat iets als:
guest account = nfs

Dat moet je veranderen naar:
guest account = share

Want de nfs user bestaat niet meer. Hoe kom je aan zo'n smb.conf? want de standaard versie die bij 9.0-004 komt gebruikt geen nfs user meer.
Dat werkt, bedankt! Maar ik heb verder geen bestanden aangepast dus ZFSguru had het dan toch moeten aanpassen? Is er een install log wat ik kan nakijken?

ZFS: FreeBSD10+ZFSguru, ASRock C2550D4I , 16GB, Nexus Value 430w


  • NetXtreme
  • Registratie: Mei 2003
  • Laatst online: 00:12
FireDrunk schreef op vrijdag 27 januari 2012 @ 13:18:
Ik lees op veel plekken online, dat je prima moet kunnen booten van een device dat via VT-d (DirectPath) is doorgegeven... Wel vreemd dus...
Lijk het nog niet echt voor elkaar te kunnen krijgen... Heb BIOS ook al op EFI gezet, lijkt ook niet te werken. Nog meer suggesties?

Verwijderd

Topicstarter
iRReeL schreef op vrijdag 27 januari 2012 @ 21:13:
[...]


Dat werkt, bedankt! Maar ik heb verder geen bestanden aangepast dus ZFSguru had het dan toch moeten aanpassen? Is er een install log wat ik kan nakijken?
Ik zit zo even terug te lezen, maar hoe heb je ZFSguru nu precies geïnstalleerd? Of link even naar je post waarin je dit uitlegt, zou fijn zijn. :) Een verse installatie van 9.0-004 met de 2.0 beta release zou namelijk een moderne smb.conf moeten geven waar geen 'nfs' in voorkomt.

Verder nog een vraag wat voor browser je gebruikt, omdat ik zo'n lelijke blauwe rand om het ZFSguru logo zie in je screenshot? Hopelijk kan ik dat nog even fixen op tijd voor de beta4.

[ Voor 9% gewijzigd door Verwijderd op 27-01-2012 22:13 ]


  • iRReeL
  • Registratie: Februari 2007
  • Laatst online: 11-02 21:31
Ik had een livecd (stable) 0.1.8 installatie gedaan (via ipmi gemount). Daarna via SYSTEM-INSTALL de 9.0-004 download lukte niet. Dus van de site ZFSguru-0.2.0-beta3-livecd-amd64.iso gedownload en via ipmi gemount. Toen op de ZFSguru installation pagina 'Mount ZFSguru media' geklikt en doorgegaan met de installatie.

Browser van de screenshot is Firefox 3.6.12 onder OpenIndiana 151a

ZFS: FreeBSD10+ZFSguru, ASRock C2550D4I , 16GB, Nexus Value 430w


Verwijderd

Topicstarter
Oke dus je hebt een installatie uitgevoerd middels de oude 0.1.8 web-interface? Of 0.1.9?

  • iRReeL
  • Registratie: Februari 2007
  • Laatst online: 11-02 21:31
Nee sorry ik wilde wel graag FreeBSD 9 dus had de ZFSguru-0.1.9-livecd-amd64-9.0RC.iso gebruikt. Ik kwam toen uit op de 9.03 waar de virtual box dus nog niet op kon dus toen de upgrade naar 9.04.

ZFS: FreeBSD10+ZFSguru, ASRock C2550D4I , 16GB, Nexus Value 430w


Verwijderd

Topicstarter
Ah oke. Bedenk wel dat 0.1.9 niet goed met de nieuwe 9.0-004 system image omgaat. Dus als je 9.0-004 neemt moet je de 0.2 beta's draaien.

De nieuwe beta4 zou elk moment uit moeten komen, maar wanneer precies weet ik niet. Samen met beta4 komen dan ook de nieuwe services zoals SABnzbd en Transmission. Die werken alleen op 9.0-004 system image en alleen met 0.2-beta4 web-interface.

[ Voor 5% gewijzigd door Verwijderd op 27-01-2012 23:16 ]


  • iRReeL
  • Registratie: Februari 2007
  • Laatst online: 11-02 21:31
Ik had een livecd (stable) 0.1.8 installatie gedaan (via ipmi gemount). Daarna via SYSTEM-INSTALL de 9.0-004 download lukte niet. Dus van de site ZFSguru-0.2.0-beta3-livecd-amd64.iso gedownload en via ipmi gemount. Toen op de ZFSguru installation pagina 'Mount ZFSguru media' geklikt en doorgegaan met de installatie.

Browser van de screenshot is Firefox 3.6.12 onder OpenIndiana 151a

Ik heb ZFSguru 9.0.4 nieuw geinstalleerd want de netwerk share werkte niet meer goed en was ontzettend instabiel. Nu met een schone installatie werkt alles weer goed.

[ Voor 18% gewijzigd door iRReeL op 29-01-2012 15:55 ]

ZFS: FreeBSD10+ZFSguru, ASRock C2550D4I , 16GB, Nexus Value 430w


  • Dwightjo
  • Registratie: Juni 2003
  • Laatst online: 23-08 13:40
Verwijderd schreef op vrijdag 27 januari 2012 @ 17:08:
ZFSguru gebruikt maar 0.5GB ofzo, dus je SSD kun je als cache gebruiken en misschien als log device; wat voor SSD gebruik je?
Ik heb een 60GB OCZ Agility 3 (SATA3), kan ik deze na de installatie via het ZFSguru admin paneel toekennen als cache/log schijf?

Bedankt voor het advies ik ga voor raid-z met 5 schijven. Ik heb op dit moment een usb3.0 memory stick met 16GB wat mij een beetje overkill lijkt. Is het na de installatie mogelijk een back-up te maken van een "config" bestand en deze over te kopiëren wanneer ik de installatie opnieuw heb gedaan op een wat kleinere usb stick?

Illest Alive


Verwijderd

Topicstarter
In de 0.2 beta releases kun je met de nieuwe partition map editor op de Disks pagina je SSD in partities verdelen. Bijvoorbeeld een 8GB partitie voor het systeem en de rest als L2ARC; wat je wilt. Bedenk wel dat de Agility 3 van alle SSDs minder geschikt is voor deze functie, doordat deze SSD alleen snel is met sterk comprimmeerbare data. 40MB/s aan random read is ook niet te vergelijken met de 250MB/s die bijvoorbeeld de Crucial M4 64GB doet.

Maar je kunt je SSD zeker gebruiken, met name L2ARC omdat je hier geen SSD met supercapacitor voor nodig hebt.

  • jwpmzijl
  • Registratie: December 2002
  • Laatst online: 20-12 23:04
Ik ben aan het kijken of ZFS (op basis van Nexenta of OpenIndiana OS) voor mij voordelen heeft boven Windows 2008R2 incl. Microsoft iScsi target 3.3 en een RAID array van 10 disken op basis van een Areca 1882 kaart. Ja ik weet het, iets met appels en peren, daar ben ik mij van bewust :).

Vorige week heb ik zitten benchen met Win2008R2 zie deze post en deze update. Dit weekend heb ik NexentaStor v. 3.1.0 geïnstalleerd. Dat verliep niet helemaal zoals ik gehoopt had. De Highpoint kaart die ik gebruik wordt niet herkend en het gaat mij nu iets te ver om de driver zelf te gaan compileren. Dit is een behoorlijke beperking omdat het door mij gebruikte moederbord maar 4 werkende SATA poorten heeft. Dit betekend dan weer dat ik maar met een pool kan benchen die maximaal uit 3x WD 500Gb. RE3 schijven bestaat. Bij de vorige test gebruikte ik een array van 8 schijven.

Eerlijke vergelijkende benches kan ik dus (nog) niet geven. Maar toch enkele opmerkingen over de ervaring tot nu toe. Het userinterface van NexantieStor zit best goed in elkaar (niet zo gek want hetzelfde interface wordt ook in de commerciele editie van Nexanta gebruikt).
Ik heb een Raidz1 group van 3 devices gemaakt (deduplication off, compression on, sync standaard).
Vervolgens zijn 3 zvols aangemaakt van 100 Gb. en deze zijn aan een iScsi target toegewezen. Ik maak op een Windows 2008R2 server verbinding met MPIO over 3 netwerkkaarten en ga benchen.

In deze situatie krijg ik beduidend mindere prestaties dan bij de benches vorige week. De maximale schrijf snelheid volgens HD tune komt niet boven de 160 Mbps. uit. Ook de belasting van de netwerkaarten is maar 60% van wat ik vorige week zag. Met 3 spindles t.o.v. 8 spindles is dat ook niet zo heel vreemd. Wat mij echter wel zorgen baart is dat ik de processor belasting op de Nexenta bak met 3 schijven al naar de 100% kan krijgen. Nu is een Intel Intel dual core 3.2 Ghz niet de meest krachtige processor. Toch had ik dit niet verwacht. Deze piek belasting treed op als ik 3x Atto opstarten op ieder een eigen lun en vervolgens met een queue depth van 10 ga benchen.

Daarbij zie ik ook dat het aantal IOPS dat afgehandeld wordt hoger is dan wat ik bij de gelijke test vorige week zag. Het aantal IOPS piekte bij zowel read als write operaties tegen de 20.000 aan. Dat was bij de bench met Microsoft Target 3.3 maximaal 12.500.

Wordt vervolgd

@Gila
Nexenta 3.1.2 is gepubliceerd nadat ik mijn eerste installatie vorige week had afgerond. Heb hem inmiddels gedownload en er zijn functioneel nauwelijks wijzigingen. Natuurlijk wel bugfixes. De grote wijziging in deze versie is dat men blijkbaar voor het eerst heeft gebuild met de kernel van het Illumos project.

[ Voor 12% gewijzigd door jwpmzijl op 30-01-2012 21:05 . Reden: typo's + aanvulling ]

Hans van Zijl


Verwijderd

Waarom pak je 3.1.2 niet?

  • Vuurvoske
  • Registratie: Oktober 2003
  • Laatst online: 19-12 22:22

Vuurvoske

Nunquam cede!

Het lijkt erop dat ik wat gemist heb, ik zie zowaar iemand met Ubuntu en ZFS in het 10TB+ topic
nielsdc in "Storage showoff topic - 10+ TB storage systems"

Beroeps brabander


  • Pantagruel
  • Registratie: Februari 2000
  • Laatst online: 24-11 18:11

Pantagruel

Mijn 80486 was snel,....was!

Vuurvoske schreef op maandag 30 januari 2012 @ 13:51:
Het lijkt erop dat ik wat gemist heb, ik zie zowaar iemand met Ubuntu en ZFS in het 10TB+ topic
nielsdc in "Storage showoff topic - 10+ TB storage systems"
http://zfsonlinux.org/ voor meer info.

Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R


  • joslohuis
  • Registratie: December 2011
  • Laatst online: 13-12 07:02
Ik heb hardware besteld voor mijn nas:
- asus e35 met amde350
- 8gb geheugen
- 3 x 2tb samsung schijven
- crucial m4 64 gb
- fractal design mini nas kast

ZFS wordt de software met raid-z

Ik wil de nas gebruiken voor
- films streamen
- muziek streaken
- backup macbook
- documenten

heeft iemand advies qua indeling
- aparte partities?
- ssd gebruiken voor L2ARC? formatteren 32 gb, 10 gb systeem en de rest voor

Wat is verstandig

  • Tsurany
  • Registratie: Juni 2006
  • Niet online

Tsurany

⭐⭐⭐⭐⭐

Wat wil je er nog meer mee doen? Ik zie het nut van de SSD nu absoluut niet eigenlijk. Als ik dit zo lees zou elke USB key van 2GB of groter voldoen voor een OS./

SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N


  • ItsValium
  • Registratie: Juni 2009
  • Laatst online: 16:08
Gezien ik héél veel de vraag krijg om een (semi) HA setup te implementeren voor kleine bedrijven met een (héél) beperkt budget, kwam ik op het volgende idee :

Head-Filer : Enkel OS drives (gemirrored natuurlijk) en meerdere NIC's (MPIO en/of bonded) naar zowel client-network als naar de backend-filers.
Backend-filers: Hoop disks met SSD caches.

De head-filer (Nexenta of andere variant maakt niet echt veel uit denk ik) die via ISCSI twee backend-filers (ook Nexenta of andere variant) aanspreekt die op de head-filer in een mirror staan geconfigureerd via dedicated NIC's (bonded gigabit of 10Gbit, en ik weet niet of je ISCSI connecties kan mirroren het kan blijkbaar wel : http://www.cuddletech.com/blog/pivot/entry.php?id=566).

Iemand die dit al geprobeerd zou hebben, of in staat is om dit snel eens kan proberen (heb momenteel niet de nodige hardware ter beschikking om dit even snel te testen). Wat me vooral interesseert is de performance en de stabiliteit natuurlijk.

[ Voor 19% gewijzigd door ItsValium op 30-01-2012 20:52 ]


Verwijderd

Topicstarter
jwpmzijl schreef op zondag 29 januari 2012 @ 16:55:
Ik ben aan het kijken of ZFS voor mij voordelen heeft boven Windows 2008R2
Voordelen op het gebied van betrouwbaarheid zijn evident, maar op gebied van performance denk ik dat je met een lokale RAID kaart meer kunt bereiken. De vraag is: wat weegt zwaarder?
In deze situatie krijg ik beduidend mindere prestaties dan bij de benches vorige week. De maximale schrijf snelheid volgens HD tune komt niet boven de 160 Mbps. uit. Ook de belasting van de netwerkaarten is maar 60% van wat ik vorige week zag.
Je moet niet met HDTune benchen maar met CrystalDiskMark of AS SSD op een mapped network share. Dan test je via een filesystem met read-ahead en write-buffering ingeschakeld, wat HDtune niet doet.
joslohuis schreef op maandag 30 januari 2012 @ 18:51:
Ik heb hardware besteld voor mijn nas:
ZFS wordt de software met raid-z
heeft iemand advies qua indeling
- aparte partities?
- ssd gebruiken voor L2ARC? formatteren 32 gb, 10 gb systeem en de rest voor
ZFS is het filesystem maar welke software wil je gaan gebruiken? ZFSguru of FreeNAS of Nexenta? Je kunt ze uitproberen in een virtualbox sessie.

SSD kun je gebruiken voor L2ARC en ook normale opslag, wat jij wilt. Ik raad wel aan een gedeelte van de schijf niet te gebruiken dus ook geen partitie op die plek. Dit omdat je anders de SSD volschrijft en je hebt geen TRIM support.

ZFSguru kun je in elk geval heel makkelijk je SSD formatteren met meerdere partities, daar heb ik zelf ook aan meegewerkt. O-)
ItsValium schreef op maandag 30 januari 2012 @ 20:39:
Gezien ik héél veel de vraag krijg om een (semi) HA setup te implementeren voor kleine bedrijven met een (héél) beperkt budget
Heb je al naar FreeBSD's HAST ofwel High-Availability STorage gekeken? Dat in combinatie met ZFS kan een leuke config zijn voor een klein bedrijf wat hoge eisen stelt aan data availability en data security.

  • ItsValium
  • Registratie: Juni 2009
  • Laatst online: 16:08
CiPHER thx voor de tip van HAST, heb ik snel even naar gekeken, je zou dan twee servers kunnen opstellen in een active/passive cluster. Echter als je via drie servers de setup zoals ik beschreef zou instellen dan heb je active/active setup van je backends wat je performance ten goede zou komen denk ik (wat wel zou kunnen is twee heads maken die via HAST active/passive de storage beschikbaar stellen aan je clients)

Food for thoughts, als iemand snel wat testjes zou kunnen draaien ;) ik zal dit eens moeten doen maar dat zal niet voor de eerste weken zijn (huidig project slorpt veel van mijn tijd op)

  • syl765
  • Registratie: Juni 2004
  • Laatst online: 26-11 11:00
Gezien ik héél veel de vraag krijg om een (semi) HA setup te implementeren voor kleine bedrijven met een (héél) beperkt budget, kwam ik op het volgende idee
Zeker werkzaam in het MKB :D

Wij zitten met hetzelfde.
Klanten willen vaak alles, maar het mag niks kosten.

Gelukkig hebben wij een klant waar een andere automatiseerder de virtualisatie heeft gedaan, en dit kwam rond de 50 a 60 duizend euro.
2 x ibm ESXi servers en 1 IBM NAS.
Alles dubbel uitgevoerd, en het kan dus niet misgaan.
Nou dat was dus een utopi, op een bepaald moment dacht de ene controller dat de andere er nog was terwijl dit niet zo was, kortom de datastore was niet meer beschikbaar voor de ESXi hosts.
Ofwel alles plat! paniek enz.
Ik moet wel zeggen IBM zat er direct bovenop, maar een garantie dat het niet meer gebeurt is er niet.

Dus dat prijs kaartje kunnen we altijd mooi gebruiken tegen het prijs kaartje van onze eigen oplossing.
En de storage totalen zijn dan ook vaak een stuk hoger.

Wij hebben ook gekeken naar HAST, en het werkte op zich goed.
Master slave in ons geval.
Echter waren er wel een aantal maren.
De slave pakte het altijd goed op als de master wegviel, echter als de master terugkwam dan ging het mis.
We kwamen dan altijd uit in een split brain situatie.
Dit was voor zover wij het konden zien alleen op te lossen door de slave master te laten worden, en de master zou nooit meer master mogen worden totdat we handmatig de boel weer herstelde.
Er zou dus altijd een menselijke handeling nodig zijn.

Het scenario master valt weg, slave word master, master komt terug en word weer master zonder menselijke handelingen ging niet werken. (is met ZFS bovenop HAST providers BTW)

Ten tweede hadden we problemen met het feit de als de machine herstart, dat de carp interface ALTIJD eerst een master state aannam.
Heel vervelend, omdat het script dan ook de master state uitvoerde.

Ook een nadeel is dat je beide machines dezelfde disks moet geven!

HAST is wel te doen, maar voor de meeste van onze klanten kwamen we dan toch uit op een enkele SAN/NAS met een een backup machine ernaast.
Die backup machiene wordt eens in de x minuten/ uren voorzien van de laatste state doormiddel van een zfs send receive actie.
De SAN/NAS zelf bestaat dan uit een x aantal 300GB SAS schijven, de backup machiene heeft gewone sata schijven van een x aantal 1 of 2 TB schijven om de grote van de SAN/NAS te halen.

Wij werken in ons geval met stock FreeBSD en dan 9.0
FreeNAS en ZFSguru zijn mooie producten, maar op de één of andere manier ben ik toch een beetje GUI schuw.
Is puur een gevoels kwestie mijnerzijds maar ik voel mij toch wat comfortabeler en flexibeler met de CLI.
Waar we de SAN/NAS voor gebruiken is een datastore voor ESXi server en met samba als filer voor de clients.

Gr
johan

  • ItsValium
  • Registratie: Juni 2009
  • Laatst online: 16:08
syl765 schreef op maandag 30 januari 2012 @ 21:52:
...
Gelukkig hebben wij een klant waar een andere automatiseerder de virtualisatie heeft gedaan, en dit kwam rond de 50 a 60 duizend euro.
2 x ibm ESXi servers en 1 IBM NAS.
Alles dubbel uitgevoerd, en het kan dus niet misgaan.
Nou dat was dus een utopi, op een bepaald moment dacht de ene controller dat de andere er nog was terwijl dit niet zo was, kortom de datastore was niet meer beschikbaar voor de ESXi hosts.
Ofwel alles plat! paniek enz.
Ik moet wel zeggen IBM zat er direct bovenop, maar een garantie dat het niet meer gebeurt is er niet.

Dus dat prijs kaartje kunnen we altijd mooi gebruiken tegen het prijs kaartje van onze eigen oplossing.
En de storage totalen zijn dan ook vaak een stuk hoger
...
Inderdaad, ik werk niet alleen in het MKB (huidig project is voor de Vlaamse overheid wat je al geen MKB meer kan noemen) maar vanuit het MKB komt die vraag herhaaldelijk.

Ik heb soortgelijke scenario's al zien gebeuren en moeten oplossen bij infra's van meerdere 100 duizend euro kostende oplossingen van alle grote storage oplossing (Dell/NetAPP/...). 100% onfeilbaar krijg je het nooit ongeacht hoeveel geld je er tegenaan gooit. Je kan wel alles in het werk stellen om alle mogelijke scenario's af te dekken met extra software/hardware.

Mijn idee enkele posts hierboven was gewoon een ingeving, na wat zoeken online zijn er een aantal posts te vinden waar men dit al geprobeerd heeft met relatieve positieve ervaringen, dus ik ga er zeker eens mee testen.

Dank voor de bijdragen en het meedenken!

  • Femme
  • Registratie: Juni 1999
  • Laatst online: 20-12 20:10

Femme

Hardwareconnaisseur

Official Jony Ive fan

Nog wat interessante bevindingen uit mijn benchmarks: twee keer een raidz1 van vier drives in een stripe (dus een 'raidz10') is sneller dan een raidz1 of raidz2 van acht drives.

Een log device heb je niet nodig als je een zvol als scsi target het geëxporteerd en daar ntfs op draait met ingeschakelde write-back in de settings van het volume in Windows Device Manager. Het log device wordt in dat geval bijna niet gebruikt. Als je write-back caching uitzet op het volume wordt het log device wel volop gebruikt maar kakt de performance zo hard in dat je dit eigenlijk niet wil. De sequentiële doorvoer in AS-SSD ging bij mij van ca. 600MBps naar 60MBps en de 4K random write van 12,5MBps naar 1,25MBps.

Ik heb de indruk dat de periodieke write-back cache flushing in Windows (optie die je kunt uitzetten) wel af en toe wat synchrone writes veroorzaakt maar dat levert zo weinig synchrone writes op dat het geen zin heeft om hier een (apart) log device voor te gebruiken. Uiteraard is het goed mogelijk dat andere bestandssystemen wel meer synchrone writes genereren.

De write-back caching van een logical unit bedien je dus op dezelfde manier als bij een lokale schijf op de scsi initiator / client machine. De scsi-initator stelt dan de write-back setting van een logical unit in die door het scsi target wordt overgenomen. Je kunt de write-back status op de Solaris box uitlezen via stmfadm list-lu -v .

Wat ik nog wel wil proberen is wat er van het bestandssysteem overblijft als je de zfs-machine uitzet of reset terwijl een zvol in gebruikt is door een Windows-client.

[ Voor 15% gewijzigd door Femme op 31-01-2012 11:28 ]


  • Femme
  • Registratie: Juni 1999
  • Laatst online: 20-12 20:10

Femme

Hardwareconnaisseur

Official Jony Ive fan

Ik test momenteel met fibre channel.
Ahzo, dan heb je dat inderdaad niet nodig. Heb je wel aan de packet/payload size gezeten? Ik zag bij mijn fibrechannel kaarten dat dat in te stellen is. (QLogic)

Even wat anders:

Nexenta 3.1.2 Communicty Edition Released

Even niets...


  • Femme
  • Registratie: Juni 1999
  • Laatst online: 20-12 20:10

Femme

Hardwareconnaisseur

Official Jony Ive fan

Ik heb nog niets gedaan aan de packetsize en het is me ook niet duidelijk hoe dat zou moeten. De prestaties die ik haal zijn prima zolang write-back cache aanstaat op het volume.

Mijn eerdere posts is slechts een constatering dat ntfs bijna geen synchrone writes doet op een volume met write-back caching.

  • iRReeL
  • Registratie: Februari 2007
  • Laatst online: 11-02 21:31
Ja, je kan een disk OFFLINE maken via de Pools pagina, daarna die disk een andere naam geven in de nieuwe partition map editor op de Disks pagina. Dat met die kleurtjes, waar ik ook aan heb gewerkt.

Klik op je data partitie met een GPT label, dan kun je de labelnaam aanpassen. Simpel zat, maar FreeBSD heeft nog een bug waardoor je eerst moet rebooten voordat de nieuwe label actief wordt. Dus even rebooten en je nieuwe labelnaam is actief. Dan kun je de disk weer ONLINE maken en ben je klaar.
Sja de F2 pool disks hebben allemaal weer dezeflde naam: ZFS (import van OI). Ik heb idd eentje offline gezet, naam gewijzigd+format en toen een reboot. Echter ik kan de disk niet meer online zetten (volgens ZFSguru was het een 'succes' maar er vond geen resilvering plaats) en moet 'm dus replacen:

F2 DEGRADED
raidz2-0 DEGRADED
Details: 9019357040351108555 UNAVAIL Details: was /dev/ada1p1

zpool online F2 9019357040351108555
warning: device '9019357040351108555' onlined, but remains in faulted state
use 'zpool replace' to replace devices that are no longer present

/sbin/zpool replace -f F2 9019357040351108555 gpt/761A4NMT

resilver in progress since Tue Jan 31 16:13:20 2012
301G scanned out of 12.1T at 440M/s, 7h47m to go
30.0G resilvered, 2.44% done

ZFS: FreeBSD10+ZFSguru, ASRock C2550D4I , 16GB, Nexus Value 430w


  • Dadona
  • Registratie: September 2007
  • Laatst online: 18-12 20:14
Is het niet mogelijk om het serienummer uit te lezen en dan af te leiden welk serienummer ontbreekt? Ik heb zo eens een harde schijf vervangen omdat ik dan zeker weet dat ik de juiste eruit trek, niet dat de verkeerde schijf aan de verkeerde poort zit, of dat een bios boot order impact heeft.

De CSL/OT kroeg !


  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 15-12 14:55
joslohuis schreef op maandag 30 januari 2012 @ 18:51:
Ik heb hardware besteld voor mijn nas:
- asus e35 met amde350
- 8gb geheugen
- 3 x 2tb samsung schijven
- crucial m4 64 gb
- fractal design mini nas kast

ZFS wordt de software met raid-z

Ik wil de nas gebruiken voor
- films streamen
- muziek streaken
- backup macbook
- documenten

heeft iemand advies qua indeling
- aparte partities?
- ssd gebruiken voor L2ARC? formatteren 32 gb, 10 gb systeem en de rest voor

Wat is verstandig
hoeveel clients heb je? als je de enige bent dan is een l2 gewoon overkill. gewoon precache prefetch aanzetten.

Verwijderd

Topicstarter
@Femme: merk op dat IOps schaalt met meerdere RAID-Z of RAID-Z2; de (true) random read IOps van een RAID-Z1/2/3 gaat niet omhoog naarmate het aantal disks toeneemt, eerder omlaag. Dit komt door de RAID3-achtige 'alle writes zijn full-block stripe writes' opslagmethode van RAID-Z, waarbij variabele stripesizes worden gebruikt om dit te bewerkstelligen.
De vraag is dus of jouw workloads random IOps bevatten of dat je alleen sequential I/O getest hebt. Sequential read/write zou een RAID-Z prima moeten kunnen schalen. Wel heb ik meerdere cases gezien waarbij één disk die iets langere latencies had om wat voor reden de hele RAID-Z omlaag trapte. Dat soort zaken kun je in BSD goed zien met gstat, misschien dat iets vergelijkbaars in Solaris zit?

@iRReel: dus je hebt gereplaced met je originele disk die nu opnieuw GPT geformatteerd is met naam 761A4NMT ? Dan zou het moeten werken. Misschien moet je in plaats van ONLINE gewoon REPLACE doen terwijl de device offline is? Replace via de web-interface op de pools pagina en dan je GPT-geformatteerde disk kiezen.

@Dadona: je kunt op de Disks->Advanced pagina zien welk serienummer je hebt, of anders via smartctl -a /dev/.... op de command line. Maar de Advanced pagina werkt niet goed voor disks op LSI SAS controller, helaas. Wat je natuurlijk kunt doen is je disks een naam meegeven zodat je weet welke disk het betreft. Ik heb van boven naar beneden genummerd en dat werkt best goed voor mij. Voordeel is ook dat ik LEDs per HDD heb dus ik kan ook direct zien om welke disk het gaat. Als de pool degraded is gaat één LEDje helemaal niet aan, drie keer raden welke disk dan gefaald is. :)

@matty___: prefetching staat automatisch aan op 64-bit systemen met méér dan 4 gigabyte RAM (dus 5/6/8GiB RAM).

  • Dadona
  • Registratie: September 2007
  • Laatst online: 18-12 20:14
De 'identified as' is daarvoor onbruikbaar, zowel mijn arrays van HD203WI en WD20EARS schijven laten, per type, dezelfde nummers zien. Maar ik gebruik daar inderdaad gewoon de commandline voor.
Hoe uitwisselbaar zijn de poorten? Stel je hebt twee arrays van drie schijven. De ene array hangt aan de interne poorten, de andere op de LSI. Zou je dan de aansluitingen kunnen omwisselen?

[ Voor 34% gewijzigd door Dadona op 31-01-2012 18:25 ]

De CSL/OT kroeg !


Verwijderd

Topicstarter
Je ziet op de Advanced pagina het serienummer en ook WWN van de disk, mits de controller het 'camcontrol identify' commando ondersteunt.

De naam die je aan een disk geeft, zoals op de Disks pagina te zien, is gewoon voor jou handig om de disks te herkennen. Stel je hebt een 'samsung' pool, dan kunnen je disks samsung1 tot en met samsung6 heten, als je een RAID-Z2 van 6 samsung-schijven hebt. Als je dan zorgt dat je disks mooi aangesloten zijn zodat samsung1 de bovenste en samsung6 de onderste is, heb je best makkelijk een systeem ontwikkeld om een disk naam van BSD te koppelen aan een fysieke hardeschijf in je kast.

Je kunt disks gewoon aansluiten hoe je wilt. Andere controller, via USB, via firewire, via PATA, via SATA, via SAS, maakt niet uit. Zolang FreeBSD je disk kan zien, kan ZFS dat ook. Elk nieuw apparaat wordt gescanned ('tasting' noemen ze dat) en GEOM modules of ZFS detecteert automatisch je disk.

  • Dadona
  • Registratie: September 2007
  • Laatst online: 18-12 20:14
Argh...keek even snel, zat totaal onder de verkeerde tab :X
Het ging mij er vooral om dat de LSI echt niets doet (zoals te verwachten met de juiste firmware) met de schijven, net als de Highpoint controllers die ik had, mits je de schijven niet initialiseerde en in legacy mode liet draaien. Je zou dan altijd nog ervoor kunnen kiezen om, als je de naam toch niet weet, de arrays van controller te wisselen.

De CSL/OT kroeg !


Verwijderd

Topicstarter
Merk wel op dat sommige controllers, waaronder mogelijk die Highpoint, de laatste 512-bytes overschrijven met configuratiedata, en vervolgens een 'array' presenteren die 512-bytes (1 sector) korter is dan de normale capaciteit van de schijf.

Om die reden is het goed je schijven met GPT te formatteren, zodat de laatste sector niet gelijk je ZFS data overschrijft.

  • Femme
  • Registratie: Juni 1999
  • Laatst online: 20-12 20:10

Femme

Hardwareconnaisseur

Official Jony Ive fan

Verwijderd schreef op dinsdag 31 januari 2012 @ 18:03:
@Femme: merk op dat IOps schaalt met meerdere RAID-Z of RAID-Z2; de (true) random read IOps van een RAID-Z1/2/3 gaat niet omhoog naarmate het aantal disks toeneemt, eerder omlaag. Dit komt door de RAID3-achtige 'alle writes zijn full-block stripe writes' opslagmethode van RAID-Z, waarbij variabele stripesizes worden gebruikt om dit te bewerkstelligen.
De vraag is dus of jouw workloads random IOps bevatten of dat je alleen sequential I/O getest hebt. Sequential read/write zou een RAID-Z prima moeten kunnen schalen. Wel heb ik meerdere cases gezien waarbij één disk die iets langere latencies had om wat voor reden de hele RAID-Z omlaag trapte. Dat soort zaken kun je in BSD goed zien met gstat, misschien dat iets vergelijkbaars in Solaris zit?
Ik test random I/O met IOMeter en desktop workloads met een mix van sequentiële I/O, I/O met een hoge mate van lokaliteit en random I/O met een lage queue-depth. Je ziet inderdaad dat random I/O nauwelijks schaalt in de raid-levels met pariteit. Raid 10 is veel sneller dan raidz1 en raidz2 bij grote aantallen disks. Met een stripe van twee raidz1's haal ik betere resultaten maar nog lang niet zo goed als raid 10 bij een gelijk aantal disks. In de trace-based benchmarks zijn de verschillen veel kleiner.

De block size is bij een zvol overigens niet variabel. Ik test nu met 128K omdat dit de beste resultaten opleverde in de trace-based benchmarks. Het ging wel wat ten koste van de random I/O-prestaties. Als ik zpool iostat -v doe zie ik ook dat er veel meer naar de disks wordt geschreven dan een benchmark als bijv. 4K random I/O test in AS-SSD rapporteert, blijkbaar omdat er voor elke 4K een stripe van 128K volgeschreven moet worden.

Verwijderd

Topicstarter
Dat klopt; RAID-Z is zwak met random reads, maar relatief sterk in random writes vergeleken met RAID5 (write buffercache buiten beschouwing gelaten). De lage random reads los je op met L2ARC, waardoor RAID-Z zowel hoge sequential als goede random read performance weet te behalen. Echter met IOmeter doe je volkomen random I/O dus zal je L2ARC maar beperkt succes hebben. In echte situaties zal de L2ARC natuurlijk flink helpen de IOps naar een behoorlijk niveau te tillen. ZFS kan dit doen zonder de integriteit te verwaarlozen, want corruptie op de SSD wordt met checksums gedetecteerd, en dan wordt er gewoon van de schijven gelezen.

Het is een afweging of je meerdere RAID-Z(2/3) moet gebruiken. Als je 10 schijven hebt, werkt een enkele RAID-Z2 wel lekker met slechts 20% overhead, goede 4K sequential performance en goede bescherming met 2 parity disks. Dat liever dan twee keer RAID-Z van 5 disks, waarbij je minder bescherming hebt. Heb je veel disks dan werk je vrijwel altijd met meerdere vdevs. 10 disks in RAID-Z2 is wel een beetje de max, daarna wil je een nieuwe vdev. Andere overwegingen zijn de uitbreidbaarheid. Uitbreiden met 4 disks is handiger dan met 10 disks tegelijk.
De block size is bij een zvol overigens niet variabel.
Van een volume niet nee, maar dat is ook block-level storage. Had je al eens geprobeerd gewoon files te gebruiken als iSCSI backend? In mijn tests op ZFS v15 was dat flink sneller, maar v28 met sync=off ingesteld op de zvol heb ik nog niet getest.

[ Voor 11% gewijzigd door Verwijderd op 31-01-2012 20:18 ]


  • fluppie007
  • Registratie: April 2005
  • Laatst online: 19-12 17:20
Wat is de gemakkelijkste manier om SATA poorten "bij te maken" ?
Ik zou met ZFSguru aan de slag willen en dacht over deze controller: pricewatch: Highpoint Rocket 620.

Verwijderd

Topicstarter
IBM M1015 en flashen met IT-mode firmware is de beste optie denk ik, voor hardeschijven in elk geval. Dan heb je 8 volwaardige SATA/600 poorten op PCIe 2.0 interface. Woei!

Maar wil je minder poorten kun je ook naar Silicon Image kijken. Wat je in elk geval niet moet doen is RAID controllers gebruiken die lastig doen met bad sectors, zoals jouw highpoint waarschijnlijk. Je wilt een non-RAID controller wat ook wel een HBA genoemd wordt; gewoon een bridge van PCI-express naar Serial ATA zonder poes-pas.

  • fluppie007
  • Registratie: April 2005
  • Laatst online: 19-12 17:20
Verwijderd schreef op dinsdag 31 januari 2012 @ 21:02:
IBM M1015 en flashen met IT-mode firmware is de beste optie denk ik, voor hardeschijven in elk geval. Dan heb je 8 volwaardige SATA/600 poorten op PCIe 2.0 interface. Woei!

Maar wil je minder poorten kun je ook naar Silicon Image kijken. Wat je in elk geval niet moet doen is RAID controllers gebruiken die lastig doen met bad sectors, zoals jouw highpoint waarschijnlijk. Je wilt een non-RAID controller wat ook wel een HBA genoemd wordt; gewoon een bridge van PCI-express naar Serial ATA zonder poes-pas.
Dus deze:
pricewatch: IBM ServeRAID M1015 SAS/SATA Controller for System x
met omzetting naar IT mode: http://www.servethehome.com/ibm-serveraid-m1015-part-4/

en dan 2x deze:
pricewatch: 3Ware 3Ware Multi-lane SATA cable CBL-SFF8087OCF-05M
Is er verschil in kabelkwaliteit of is dat allemaal onzin bij SATA kabels ?

Wat is het beste, 2 pools van 4 schijven of 1 pool van 8 schijven ( allen Samsung F4EG 204UI 2TB )

[ Voor 3% gewijzigd door fluppie007 op 31-01-2012 21:50 ]


  • robertobadjo
  • Registratie: Maart 2002
  • Laatst online: 20-12 14:55
Verwijderd schreef op dinsdag 31 januari 2012 @ 21:02:
IBM M1015 en flashen met IT-mode firmware is de beste optie denk ik, voor hardeschijven in elk geval. Dan heb je 8 volwaardige SATA/600 poorten op PCIe 2.0 interface. Woei!

Maar wil je minder poorten kun je ook naar Silicon Image kijken. Wat je in elk geval niet moet doen is RAID controllers gebruiken die lastig doen met bad sectors, zoals jouw highpoint waarschijnlijk. Je wilt een non-RAID controller wat ook wel een HBA genoemd wordt; gewoon een bridge van PCI-express naar Serial ATA zonder poes-pas.
daar heb ik ook wat over gelezen.

wat ik mij afvraag is wat de beste performance gaat geven.

3scenario's die ik me kan bedenken.

1: 8 schijven verdeeld over satapoorten moederbord en extra satakaart in zfs
2: een ibm M1015 oplossing en flashen naar it mode met zfs
3: een areca 1880i in een raid 5 opstelling.

ik ben zelf ook een beetje aan het orienteren en lees in dit topic met zfs de vele mogelijkheden en ook op hardforum wat mooie oplossingen.

voor mij persoonlijk gaat het dan vooral om de performance want het moet gebruikt gaan worden in een testomgeving dus de data die eropstaat is niet belangrijk.

uiteindelijk zal er bij mij op het werk een productie omgeving voor gaan komen met esx en ruwe opslag.

Suggesties wat hier te plaatsen


  • Femme
  • Registratie: Juni 1999
  • Laatst online: 20-12 20:10

Femme

Hardwareconnaisseur

Official Jony Ive fan

Verwijderd schreef op dinsdag 31 januari 2012 @ 20:13:

Van een volume niet nee, maar dat is ook block-level storage. Had je al eens geprobeerd gewoon files te gebruiken als iSCSI backend? In mijn tests op ZFS v15 was dat flink sneller, maar v28 met sync=off ingesteld op de zvol heb ik nog niet getest.
Wat ik nu doe is het volgende:

Eerst maken ik een storage pool met het gewenste aantal disks, raid-level en eventueel l2arc en slog device

Volume maken:

zfs create -V 250G -o volblocksize=128K tank/testvolume

Logical unit maken:

sbdadm create-lu /dev/zvol/rdsk/tank/testvolume

Logical unit mappen:

stmfadm add-view 600144f00800271b51c04b7a6dc70001 (of wat voor naam van de logical unit er ook uit komt rollen)

  • Pantagruel
  • Registratie: Februari 2000
  • Laatst online: 24-11 18:11

Pantagruel

Mijn 80486 was snel,....was!

Na een periode van vruchteloos testen in een poging om iSCSI over IPoIB aan de gang te krijgen begon de twijfel over het correct functioneren van de Infiniband HCA's en de el-cheapo kabel toe te nemen.

Om eventuele twijfel rondom de spullen uit de wereld te krijgen heb ik met het blog van David Hunt op de verwerkingsbak op de test opstelling Ubuntu 11.10 gezet. Na een uurtje prutsen en wat kleine soms voor de hand liggende veranderingen was Infiniband & SRP up and running.
Om maximale bandbreedte te garanderen heb ik een 2GB RAMDISK aangemaakt met daarin een 2 GB zero filled bestand dat als SRP target zou gaan dienen.

Na toevoeging van de OFED SRP software en de installatie van de SRP miniport driver (extra storage device wordt toegevoegd aan je windows 7 bak) was Windows disk management bereidt om een nieuw 'apparaat' toe te voegen en te formatteren voor gebruik. Wat klikjes verder werd 't vers geformatteerde schijfstation geopend voor gebruik, mm dat voelde als snel aan dat openen.

Het kopieren van wat data van af de 128GB M4 SSD kwam maximaal op 260 MB/sec write speed, mm niet helemaal wat de spec's beloven (500 MB/sec), wellicht tijd voor een scrubje.

Crystal Disk Mark dan maar:
Afbeeldingslocatie: http://pantagruel.mine.nu/tweakers/CDM4k.jpg

Mmm, beter, maar 4k Q32 misschien wat teleurstellend.

Atto DiskBench downloaden en een test met Queue depth op 8 (meer in lijn met de iperf test):
Afbeeldingslocatie: http://pantagruel.mine.nu/tweakers/Atto-Q8.jpg

Ja, dat lijkt er definitief meer op.

Conclusies:

IB,IPoIB en SRP initiator/target op Ubuntu linux voor elkaar krijgen is een eitje, maar vooral te danken aan het werk van David Hunt _/-\o_ . Het handje vol kleine dingetjes is niet noemens waardig.

De Infiniband spullen (HCA's en kabels) doen wat ze beloven. Bij een transfer size van 64K en groter bij een Queue depth van 8 leveren de beloofde read/write speeds van 900MB/sec en beter.

De belangrijkste waarneming is echter dat de hardware gewoon goed werkt en er geen reden is om hier verder nog aan te twijfelen.
Eventuele afwijkingen t.o.v de hier behaalde snelheden zullen dus eerder te maken hebben met de kinderschoenen status van de drivers,software of een configuratie blunder van de gebruiker 8) .

Wat nu te doen?, verder prutsen met FreeBSD/ZFSGuru 0.2.0-b4 in de weet dat de info rondom SRP en FreeBSD zeer beperkt is, of overschakelen op ZFS on linux in de wetenschap dat het alles behalve droog is achter de oren.

Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R


  • Femme
  • Registratie: Juni 1999
  • Laatst online: 20-12 20:10

Femme

Hardwareconnaisseur

Official Jony Ive fan

Ziet er goed uit.

Waarom gebruikt iedereen hier eigenlijk FreeBSD en afgeleiden zoals ZFSGuru en geen Solaris of OpenIndiana? Voor het delen van block-level storage lijkt me dat een voor de hand liggende keuze vanwege het Comstar-framework waarmee je super simpel scsi-targets maakt over allerhande protocollen zoals sas, fibre channel en srp?

Verwijderd

Topicstarter
Waarom nog FreeBSD? Die vraag kun je natuurlijk ook omdraaien; waarom Solaris? Elk OS heeft zijn sterke punten, bij FreeBSD is dat waarschijnlijk veelzijdigheid en goede ZFS implementatie, met unieke features als booten van RAID-Z. De iSCSI support in Solaris zal best beter zijn, want onder BSD valt die een beetje tegen, al werkt het wel.

Afgezien van die discussie, die natuurlijk helemaal afhangt van je persoonlijke situatie, kun je mogelijk ook stellen dat FreeBSD een veiligere keuze is dan het Solaris-kamp, wat momenteel aardig gefragmenteerd is en Oracle met zijn commerciële Solaris releases geen CDDL code meer uitbrengt maar alles proprietary houdt. De overgebleven open-source community van (Open)Solaris gaat het best moeilijk krijgen de kar te trekken voor een heel besturingssysteem zonder een sterk bedrijf achter zich te hebben, zoals Sun ooit was.

Dus zo'n discussie FreeBSD vs Solaris kun je op heel veel punten aangaan, maar ik betwijfel eigenlijk of dat nuttig is. Ik denk dat het in de praktijk veel vaker werkt dat je iets pakt was je bevalt, en heb je een probleem of werkt iets niet zoals je wilt dan kun je altijd een alternatief proberen. Zo zijn er veel overstappers die van ZFS platform migreren.

Ik denk dat dat goed is, zodat je niet gebonden bent aan één systeem die wellicht beperkingen heeft die voor jou ongunstig blijken te zijn. Die vrijheid stopt echter bij Solaris Express met zijn ZFS v33 waarvoor geen CDDL-code is vrijgegeven en dus vendor-locked aan commerciële Solaris releases is.

  • jwpmzijl
  • Registratie: December 2002
  • Laatst online: 20-12 23:04
OpenIndiana/Solaris of FreeBSD, zoals altijd zijn er argumenten voor beide te geven. Ik denk dat de populariteit van FreeBSD ook te maken heeft met het feit dat de driveronsteuning in OpenIndiana/Solaris nou niet echt ruim is. Even kort door de bocht, als je een moederbord hebt van Supermicro met LSI raidkaart en intel netwerk dan zal het wel werken in OpenIndiana. Voor ieder ander merk is het maar de vraag of het gaat lukken.Raadpleeg in dit geval de hardware compatibility lijst vooraf.

Neemt niet weg dat als OpenIndiana/Solaris werkt met jouw apparatuur dan werkt het ook vrij aardig :-)

Hans van Zijl


  • analog_
  • Registratie: Januari 2004
  • Niet online
Fragmentatie is behoorlijk beperkt, de OpenSolaris kernel is overgepakt in het IllumOS project, deze kernel wordt gebruikt in OpenIndiana, SmartOS, Nexenta(stor) en EON. Het valt dus best mee, achter Nexenta zit tevens een bedrijf. De reden waarom ik denk dat er weinigen solaris gebruiken is dat de meesten hier freebsd al kennen en dat virtualisatie er een stapje verder op staat wat betreft HW ondersteuning (geen officiele stable AMD support, zie SmartOS).

Als je info omtrent ZFS snel wilt ontginnen van het internet raad ik sterk aan om in de OpenIndiana IRC channel (#openindiana op freenode) je vragen te stellen, er zit daar gruwelijk veel expertise oa. van Nexenta werknemers, ZFS devs en dergelijke.

[ Voor 21% gewijzigd door analog_ op 01-02-2012 04:07 ]


  • syl765
  • Registratie: Juni 2004
  • Laatst online: 26-11 11:00
Als je met IB wilt gaan werken, is FreeBSD volgens mij geen optie omdat er geen echte FreeBSD IB ondersteuning is.

http://wiki.freebsd.org/InfiniBand

Gr
Johan Hendriks

  • Femme
  • Registratie: Juni 1999
  • Laatst online: 20-12 20:10

Femme

Hardwareconnaisseur

Official Jony Ive fan

jwpmzijl schreef op woensdag 01 februari 2012 @ 02:31:
OpenIndiana/Solaris of FreeBSD, zoals altijd zijn er argumenten voor beide te geven. Ik denk dat de populariteit van FreeBSD ook te maken heeft met het feit dat de driveronsteuning in OpenIndiana/Solaris nou niet echt ruim is. Even kort door de bocht, als je een moederbord hebt van Supermicro met LSI raidkaart en intel netwerk dan zal het wel werken in OpenIndiana. Voor ieder ander merk is het maar de vraag of het gaat lukken.Raadpleeg in dit geval de hardware compatibility lijst vooraf.
Die HCL van OpenIndiana is verre van compleet. Je kunt beter bij Oracle gaan kijken naar de HCL van Solaris:

http://www.oracle.com/web...hcl/devicelist/index.html

Voor een storage server is het belangrijkste dat je netwerk en storage controllers werken. Voor wat betreft het laatste is hier een goed verhaal over de ondersteuning van storage controllers in Solaris en Linux:

http://blog.zorinaq.com/?e=10

Een ahci-controller werkt gewoon in Solaris of OpenIndiana. Als je meer poorten nodig hebt neem je een hba met een lsi sas-controller. Dat is dus vrij simpel. Op de HCL van Solaris staat een uitbundige hoeveelheid netwerkcontrollers. Fibre channel en Infiniband worden ook goed ondersteund en met comstar bouw je met een paar handelingen een scsi-target via FC of IB.

OpenIndiana was op mijn systeem ubersimpel om te installeren. Alles werkte meteen. Een gui voor zfs heb je helemaal niet nodig, gewoon wat tutorials opzetten en eerst een paar weekjes spelen voordat je serieuze data toevertrouwd aan je zfs-machine.

  • Pantagruel
  • Registratie: Februari 2000
  • Laatst online: 24-11 18:11

Pantagruel

Mijn 80486 was snel,....was!

syl765 schreef op woensdag 01 februari 2012 @ 10:00:
Als je met IB wilt gaan werken, is FreeBSD volgens mij geen optie omdat er geen echte FreeBSD IB ondersteuning is.

http://wiki.freebsd.org/InfiniBand

Gr
Johan Hendriks
Een stukje hoger in deze thread heb ik laten zien dat IPoIB onder FreeBSD werkt en dat iperf er wel weg mee wist.

De pech is alleen dat, ondanks hardware ondersteuning en werkende drivers voor FreeBSD, er eigenlijk geen info rondom SRP of NFS-RDMA over IB voor FreeBSD beschikbaar is. Dit maakt het niet eenvoudig om het eventjes op te zetten.

De keuze voor OS mag inderdaad ieder voor zich maken. Aan het einde van de dag wil je graag een werkende ZFS oplossing. Feit is dat ZFS zo goed werkt dat de Gbit verbinding overduidelijk de beperkende factor is geworden. Aangezien het geld noch op mijn rug, noch aan een boompje in onze tuin groeit was IB een betaalbare optie (i.t.t. 10Gbps ethernet). In dit geval betekend het dat het dan jammer genoeg niet uit de 'doos' werkt en er iets meer problemen zullen zijn voordat het echt in productie genomen kan worden. Soms heb je die pech.

Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R


  • robertobadjo
  • Registratie: Maart 2002
  • Laatst online: 20-12 14:55
kan je met OI/nexenta/zfsguru of elke andere zfs OS ook kaarten zoals deze teamen zodat je een dubele toevoer krijgt?

pricewatch: HP NC7170 Dual Gigabit Server Adapter (2x1Gbps, RJ-45, PCI-X)

dat zou natuurlijk wel een goedkope oplossing bieden.

Suggesties wat hier te plaatsen

Das PCI-X, geen PCIe... (even dat je het weet...)
Ik heb ook nog wel een Dual Gbit PCIe kaartje liggen als je er een nodig hebt.

Even niets...


  • robertobadjo
  • Registratie: Maart 2002
  • Laatst online: 20-12 14:55
hmmm stom van me dat heb ik wel over het hoofd gezien :X

maar desalnietemin blijft de vraag staan natuurlijk. dus met een normale PCI(e) kaart dus 2 poorten bundelen voor dubele toevoer.

Suggesties wat hier te plaatsen

Ja dat kan met 'link aggregation' maar dan zal je router/switch dat ook moeten ondersteunen.

Sinds de 2 dagen regel reageer ik hier niet meer


  • robertobadjo
  • Registratie: Maart 2002
  • Laatst online: 20-12 14:55
uiteraard dat je switch dat ook moet ondersteunen. want als je een wat grotere oplossing gaat bedenken voor ZFS dan mag ik aannemen dat je zoiets ook wel overweegd wat voor niet al teveel centen te realiseren valt.

Suggesties wat hier te plaatsen

Let wel op dat er nogal wat verschillende protocollen zijn om teaming te doen. LACP/802.1ad/EtherChannel. Niet elke switch ondersteunt alle standaarden.

Even niets...


  • robertobadjo
  • Registratie: Maart 2002
  • Laatst online: 20-12 14:55
dat teamming moet ik nog uitzoeken.

waar ik nu mee bezig ben is een afweging aan het maken tussen losse schijven in een zfspool of toch voor een raidcontroler te gaan.

ik had eerder al een vraag gesteld maar nog niet beantwoord.

het gaat voor mij vooral om de performance. de data die erop komt te staan is niet belangrijk. gaat dus gebruikt worden in een testomgeving. (baas betaald hopelijk)
robertobadjo schreef op dinsdag 31 januari 2012 @ 21:51:
[...]


daar heb ik ook wat over gelezen.

wat ik mij afvraag is wat de beste performance gaat geven.

3scenario's die ik me kan bedenken.

1: 8 schijven verdeeld over satapoorten moederbord en extra satakaart in zfs
2: een ibm M1015 oplossing en flashen naar it mode met zfs
3: een areca 1880i in een raid 5 opstelling.

ik ben zelf ook een beetje aan het orienteren en lees in dit topic met zfs de vele mogelijkheden en ook op hardforum wat mooie oplossingen.

voor mij persoonlijk gaat het dan vooral om de performance want het moet gebruikt gaan worden in een testomgeving dus de data die eropstaat is niet belangrijk.

uiteindelijk zal er bij mij op het werk een productie omgeving voor gaan komen met esx en ruwe opslag.

Suggesties wat hier te plaatsen


  • analog_
  • Registratie: Januari 2004
  • Niet online
Het verschil tussen de ZFS oplossingen en hun controllers gaat performance-wise volgens mij weinig uitmaken zolang je er geen SSDs aanhangt. Met SSDs zal je tegen de max bandbreedte bottleneck van de controllers/per port komen. Overigens als je toch al een controller moet bijkopen in beide gevallen, is dat duidelijk dat het die ibm m1015 gaat worden, feitelijk is dus keuze dus tussen areca raid5 en zfs (en dan kan je de disk/controller verdeling nog zelf benchen).

[ Voor 7% gewijzigd door analog_ op 01-02-2012 14:47 ]

Als je een ZFS pool van 5 gemirrorde vdev's zou maken, zou dat slecht zijn voor performance?
Als ik er zo over nadenk zou het niet zoveel uit moeten maken, omdat er altijd hele stripes per vdev geschreven worden. Je haalt natuurlijk alleen maximale performance als je een beetje queue depth hebt.

Kan iemand het nog volgen? :P

Even niets...


  • robertobadjo
  • Registratie: Maart 2002
  • Laatst online: 20-12 14:55
dan neem ik even de gelegenheid om mijn storageoplossing even hier te posten.
#ProductPrijsSubtotaal
1HP NC382T PCI Express Dual Port Multifunction Gigabit Server Adapter€ 101,23€ 101,23
6Western Digital Caviar Green WD20EARX, 2TB€ 111,40€ 668,40
1Lian Li PC-V354B€ 133,10€ 133,10
1Areca ARC-1880i€ 518,57€ 518,57
1Intel Core i3 2120 Boxed€ 106,10€ 106,10
1Cooler Master GX GX 450W€ 39,40€ 39,40
1Crucial m4 CT064M4SSD2 64GB€ 87,50€ 87,50
1Intel Desktop Board DQ67SWB3€ 110,57€ 110,57
Bekijk collectie
Importeer producten
Totaal€ 1.764,87


dit is wat er nu op het lijstje staat.

best grote uitgave maar goed daar letten we even niet op.

dit is op basis van een areca 1880i met 6 schijven.

word het een ibm 1015 dan neem ik wel gelijk 8 schijven.

komt alleen de forwardbreakoutkabel bij van een paar tientjes.

Suggesties wat hier te plaatsen


  • nielsdc
  • Registratie: Juni 2011
  • Laatst online: 19-07 18:49
FireDrunk schreef op woensdag 01 februari 2012 @ 14:49:
Als je een ZFS pool van 5 gemirrorde vdev's zou maken, zou dat slecht zijn voor performance?
Als ik er zo over nadenk zou het niet zoveel uit moeten maken, omdat er altijd hele stripes per vdev geschreven worden. Je haalt natuurlijk alleen maximale performance als je een beetje queue depth hebt.

Kan iemand het nog volgen? :P
Dat is juist goed voor performance. Je pool zal stripen over over alle vdevs, dus in principe gewoon een raid10.
Snap ik, maar is 5 dan niet een getal wat niet handig is, omdat de data niet netjes op te delen is?

Even niets...


  • nielsdc
  • Registratie: Juni 2011
  • Laatst online: 19-07 18:49
Ja, je kan beter 4 gebruiken, maar ik verwacht dat 5 nog steeds sneller is als 4.
* FireDrunk zit er toch over te denken om ZFSguru te gaan gebruiken, maar moet dan zijn data overzetten.

Ik draai nu MDADM RAID6, dus ik kan er 2 disks uit halen en daar de data op zetten, maar dat is niet genoeg, ik moet dus om het over te zetten, nog 1 of 2 disks erbij halen.
Ik kan lastig dan een nieuwe RAIDZ pool aanmaken omdat de data nog niet van de disks af kan.
Maar als ik vdev's aanmaak van mirrors kan ik steeds meer disks toevoegen terwijl ik daar de data afhaal.

Als ik schat kom ik dan op 10 schijven uit (heb er nu 8, en moet er dan 2 bijkopen). Als ik daarna klaar ben heb ik 5 vdev's van 2 disks (10TB netto dus).

Mijn doel is om 2 x 1Gbit vol te krijgen. (hoe ik dat onder Windows 7 ga doen icm NFS is nog de vraag...)

Even niets...


  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 15-12 14:55
FireDrunk schreef op woensdag 01 februari 2012 @ 15:41:
* FireDrunk zit er toch over te denken om ZFSguru te gaan gebruiken, maar moet dan zijn data overzetten.

Ik draai nu MDADM RAID6, dus ik kan er 2 disks uit halen en daar de data op zetten, maar dat is niet genoeg, ik moet dus om het over te zetten, nog 1 of 2 disks erbij halen.
Ik kan lastig dan een nieuwe RAIDZ pool aanmaken omdat de data nog niet van de disks af kan.
Maar als ik vdev's aanmaak van mirrors kan ik steeds meer disks toevoegen terwijl ik daar de data afhaal.

Als ik schat kom ik dan op 10 schijven uit (heb er nu 8, en moet er dan 2 bijkopen). Als ik daarna klaar ben heb ik 5 vdev's van 2 disks (10TB netto dus).

Mijn doel is om 2 x 1Gbit vol te krijgen. (hoe ik dat onder Windows 7 ga doen icm NFS is nog de vraag...)
Nou 2gbit krijg je makkelijk vol op deze manier. Alleen als je 2disk van dezelfde vdev verliest ben je alles kwijt
Tja, het is wat dat betreft niet zo heel veilig nee, maar RAIDZ2 is veel lastiger om te bouwen als je moet migreren.

Even niets...


Verwijderd

Topicstarter
Wat je kunt doen:
1) doe eerst een volle rebuild op je md-raid6 array om de parity GOED te controleren, zeer belangrijk!
2) haal er twee schijven vanaf
3) maak een raid0 pool van de 2 schijven + nieuwe die je evt. koopt
4) kopieer de data via rsync (checksums ingeschakeld)
5) zodra je de data op zowel ZFS als md-raid6 array hebt, controleer je of alles is overgezet
6) verwijder de md-raid6 en voeg de disks toe aan de ZFS pool, waarbij de single disks nu mirrors worden.

Dat laatste, dus van een single disk vdev een mirror maken, kan via de ZFSguru web-interface (in de beta versies).

Wat zijn trouwens je voornaamste redenen om naar ZFS (en ZFSguru in het bijzonder) te migreren?

  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 15-12 14:55
Verwijderd schreef op woensdag 01 februari 2012 @ 19:18:
Wat je kunt doen:
1) doe eerst een volle rebuild op je md-raid6 array om de parity GOED te controleren, zeer belangrijk!
2) haal er twee schijven vanaf
3) maak een raid0 pool van de 2 schijven + nieuwe die je evt. koopt
4) kopieer de data via rsync (checksums ingeschakeld)
5) zodra je de data op zowel ZFS als md-raid6 array hebt, controleer je of alles is overgezet
6) verwijder de md-raid6 en voeg de disks toe aan de ZFS pool, waarbij de single disks nu mirrors worden.

Dat laatste, dus van een single disk vdev een mirror maken, kan via de ZFSguru web-interface (in de beta versies).

Wat zijn trouwens je voornaamste redenen om naar ZFS (en ZFSguru in het bijzonder) te migreren?
Als je er een z2 vdev van x disks naast zet wordt je data niet automatisch verdeeld. Maw je hebt er nog geen profijt van qua snelheid. Pas nieuwe data zal over beide vdev verdeeld worden.

Verwijderd

Topicstarter
Niet erg relevant in dit geval, omdat met dit voorstel je al 4 vdevs maakt (2 disks gesnoept van de RAID6 en 2 nieuwe disks) en dan pas gaat kopiëren, daarna 4 disks toevoegt waardoor de 4-disk RAID0 pool een 8-disk RAID1 pool wordt, met 4 mirror vdevs van elk 2 disks.

Maar al zou je met één stripe beginnen en dan later nieuwe vdevs toevoegen, dan kun je bestaande data toch op alle disks krijgen door handmatig te verplaatsen naar een nieuw filesystem. Bijvoorbeeld door de huidige filesystem een andere naam te geven, dan een nieuw filesystem met de originele naam te maken en van oud naar nieuw data overpompen.

[ Voor 8% gewijzigd door Verwijderd op 01-02-2012 20:51 ]


  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 15-12 14:55
Verwijderd schreef op woensdag 01 februari 2012 @ 20:50:
Niet erg relevant in dit geval, omdat met dit voorstel je al 4 vdevs maakt (2 disks gesnoept van de RAID6 en 2 nieuwe disks) en dan pas gaat kopiëren, daarna 4 disks toevoegt waardoor de 4-disk RAID0 pool een 8-disk RAID1 pool wordt, met 4 mirror vdevs van elk 2 disks.

Maar al zou je met één stripe beginnen en dan later nieuwe vdevs toevoegen, dan kun je bestaande data toch op alle disks krijgen door handmatig te verplaatsen naar een nieuw filesystem. Bijvoorbeeld door de huidige filesystem een andere naam te geven, dan een nieuw filesystem met de originele naam te maken en van oud naar nieuw data overpompen.
Wel een goede tip want daar loop ik straks tegen aan als ik mijn raid10 met 2 disk ga uitbreiden.
Thanks voor de tips alvast, ik ga er eens over nadenken.
Wat zijn trouwens je voornaamste redenen om naar ZFS (en ZFSguru in het bijzonder) te migreren?
Niet echt specifieke redenen, meer wat wensen. Data integriteit is leuker bij ZFS (dûh). Ik hoop ook eigenlijk iets meer performance eruit te halen (vooral read/write combined). Ik merk dat onder MDADM / Ubuntu lezen en schrijven tegelijk niet echt super performed (SabNZBd vooral) en ik hoop dat een mirror setup met ZFS dat beter maakt. Ook heeft Ubuntu/MDADM veel last van de virtualisatie overhead van ESX (ookal gebruik ik de speciale linux-virtual kernel images). Dat merk je in de maximale read en write performance. (10-20% lager)

Ook is iSCSI target een kriem om aan de praat te krijgen onder Ubuntu. Mijn desktop bevat 2 x 80GB in RAID0, maar grote spellen als Starcraft II hebben niet echt de performance nodig van een SSD, maar zijn wel gruwelijk iritant om helemaal opnieuw te moeten installeren en te patchen (mochten je SSD's of je 'data' disk in je desktop falen).

Daarom dacht ik er aan om een iSCSI volume op mijn array te maken speciaal voor mijn desktop (500GB ofzo) en die via 2, 3 of zelfs 4 GBit aansluitingen te publishen (afhankelijk van of het performancewinst oplevert)

Ik heb een Tyan moederbord in mijn desktop zitten met 3 * 1Gbit onboard, en heb nog een Quad 1Gb PCIe kaart liggen die ik via VT-d aan ZFSguru/FreeBSD zou kunnen geven.

Het zijn vooral hersenspinsels, ik heb nog nooit (klop klop) problemen gehad met MDADM.

Ohja: en waarom ZFSguru, ik poep op de een of andere manier op Solaris. Maar dat zal vast komen omdat er hier op het werk veel mensen rondlopen die mij zouden villen als ze horen dat ik op Solaris draai :)
Vandaar FreeBSD, en dus automatisch eigenlijk de keuze voor ZFSguru.

[ Voor 11% gewijzigd door FireDrunk op 01-02-2012 21:11 ]

Even niets...


Verwijderd

Topicstarter
Alvast even een heads-up: als je een LSI controller via vt-d doorgeeft aan FreeBSD 9 onder ESXi dan heb je wat fixes nodig voordat je de livecd kunt booten. Die fixes lijken te werken, maar hoe het precies zit weet ik niet. FreeBSD 8 zou hier geen problemen mee hebben.

En verder, tja als ik je ergens mee kan helpen hoor ik het wel natuurlijk. Bedenk wel dat het een béétje riskant is om je data gedurende een tijd zonder redundantie te laten. Je kunt ook overwegen wat meer schijven bij te kopen zodat je slechts één disk van de RAID6 kaapt. Hangt natuurlijk ook af hoe belangrijk die data is.
Heb een 40GB Intel SSD als boot device, en 2 x 80GB Intel SSD als L2ARC / ZIL :P

Even niets...


Verwijderd

Topicstarter
De beta versies kunnen je SSD mooi partitioneren met meerdere partities. :)
robertobadjo schreef op woensdag 01 februari 2012 @ 14:56:
dan neem ik even de gelegenheid om mijn storageoplossing even hier te posten.
Ik mis je geheugen? Dat is cruciaal voor ZFS performance. Die Areca controller raad ik af:
1) het is een RAID controller dus problemen met bad sectors en wegvallende schijven.
2) de 'ix' versie heeft een port multiplier/expander als ik het goed heb, wat voor ZFS RAID-Z niet zo gunstig is, meer dan andere RAID-oplossingen.

Verder moet je weten dat voor 4K sector schijven zoals jij hebt genomen (WD20EARX) je RAID-Z in optimale configuraties hebt:
RAID-Z: 3, 5 of 9 schijven
RAID-Z2: 4, 6 of 10 schijven
RAID-Z3: 5, 7 of 11 schijven

Een RAID-Z van 3 of 5 of een RAID-Z2 van 6 of 10 disks zijn de meest voorkomende builds. Maar als de data toch niet belangrijk is, kun je ook RAID0 draaien toch? O-)

[ Voor 3% gewijzigd door Verwijderd op 01-02-2012 21:41 ]


  • robertobadjo
  • Registratie: Maart 2002
  • Laatst online: 20-12 14:55
Verwijderd schreef op woensdag 01 februari 2012 @ 21:40:
De beta versies kunnen je SSD mooi partitioneren met meerdere partities. :)


[...]

Ik mis je geheugen? Dat is cruciaal voor ZFS performance. Die Areca controller raad ik af:
1) het is een RAID controller dus problemen met bad sectors en wegvallende schijven.
2) de 'ix' versie heeft een port multiplier/expander als ik het goed heb, wat voor ZFS RAID-Z niet zo gunstig is, meer dan andere RAID-oplossingen.

Verder moet je weten dat voor 4K sector schijven zoals jij hebt genomen (WD20EARX) je RAID-Z in optimale configuraties hebt:
RAID-Z: 3, 5 of 9 schijven
RAID-Z2: 4, 6 of 10 schijven
RAID-Z3: 5, 7 of 11 schijven

Een RAID-Z van 3 of 5 of een RAID-Z2 van 6 of 10 disks zijn de meest voorkomende builds. Maar als de data toch niet belangrijk is, kun je ook RAID0 draaien toch? O-)
raid 0 is dan in eerste instantie een beste performance optie ja. als er wat mis mee is dan maakt het me niet zoveel uit.

raid 5 is ook gewenst als raid 0 problemen geeft. maar wat geeft dan betere performance. een zfs oplossing met de ibm 1015 of gewoon de raidcontroler. dat is eigenlijk mijn vraag.

ow oops geheugen vergeten haha. komt gewoon 16gb in. dat moet wel ff genoeg wezen aangezien het de kosten niet zijn.

Suggesties wat hier te plaatsen


  • fluppie007
  • Registratie: April 2005
  • Laatst online: 19-12 17:20
fluppie007 schreef op dinsdag 31 januari 2012 @ 21:34:
[...]
Wat is het beste, 2 pools van 4 schijven of 1 pool van 8 schijven ( allen Samsung F4EG 204UI 2TB )
Graag breng ik deze vraag weer even onder de aandacht.
In mijn ogen is het voordeel met 2 pools kan ik gemakkelijk de data van de huidige WHS kopiëren naar de 1e ZFS pool, dan enkele dagen/weken testdraaien, de 4 schijven eruit, formatteren en een 2e storagepool aanmaken. Eventueel kan ik dan die 2e pool een mirror van de 1e laten zijn ?
Voordeel van 1 grote pool is de hogere leessnelheid ? Of win ik ook bij het wegschrijven ?
Minder overhead? Enige voordeel van 1 grote pool. Performance is zelfs beter met 2 pools volgens mij.

Even niets...


Verwijderd

Topicstarter
fluppy: als je RAID-Z wilt draaien, moet je op de hoogte zijn dat bepaalde combinaties veel beter/sneller werken dan andere combinaties.

RAID-Z: 3, 5 of 9 schijven
RAID-Z2: 4, 6 of 10 schijven

Zie ook de mijn post boven die van jou voor meer info.

Wat je kunt doen is een RAID-Z2 van 6 disks aanmaken, met slechts 4 echte disks en 2 nep memory disks. Dan kun je data overpompen en daarna 2 disks toevoegen zodat de RAID-Z2 van 6 disks weer vol bezet is. Eventueel kun je 2x RAID-Z2 van 6 disks aanmaken, door 8 disks op je controller te doen en 4 op je onboard chipset SATA controller. Dat werkt prima!

  • Bolk
  • Registratie: Februari 2001
  • Niet online

Bolk

Change the equation.

Ik ben bezig met een server setup voor centrale storage van ESXi VM's (3 frontend servers). Ik heb me een beetje verdiept in SLOG/ZIL/ARC/4k disks etc etc. Het is een hoop informatie en erg leerzaam. Heb ook veel informatie uit dit topic gehaald, waarvoor dank :)

Ik heb alleen een paar vraagjes. Het idee is om RAID-Z2 te gebruiken (met 6x 4k disks, EARX geschikt?). Een SSD als SLOG klinkt als een goede optie, maar uptime is ook belangrijk. Ik wil dus rekening houden met zoveel mogelijk variabelen.

Wat gebeurt er als m'n SSD met SLOG crashed? Is dat dan een performance degradation of is het dan einde verhaal totdat ik de SSD verwijder?
Is het uberhaupt verstandig om ZFS te gebruiken in een productieomgeving?
Is het verstandig om SLOG uit te besteden aan een dedicated SSD of kan dat in combinatie met het o/s op dezelfde SSD?
SLOG gaat om sync writes. Heb ik het goed begrepen dat dat bij iSCSI niet relevant is? Is een SLOG relevant bij VM's op central storage via NFS of iSCSI?

Ik heb alleen ervaring met hardware RAID controllers, vandaar. ZFS klinkt op papier geweldig, maar ik blijf een beetje sceptisch ;)

Bij SSD denken al veel mensen vrij snel aan 'onbetrouwbaar'. Ik heb nu een plan liggen voor 2 SSD's in RAID 1 voor 'betrouwbaarheid' (o/s) en 1 dedicated SSD voor SLOG/L2ARC. Is dat reeël of overkill?

Thanks :)

[ Voor 14% gewijzigd door Bolk op 02-02-2012 02:59 ]

Ik bespeur hier een zekere mate van onethische logica.


  • fluppie007
  • Registratie: April 2005
  • Laatst online: 19-12 17:20
Verwijderd schreef op woensdag 01 februari 2012 @ 22:47:
fluppy: als je RAID-Z wilt draaien, moet je op de hoogte zijn dat bepaalde combinaties veel beter/sneller werken dan andere combinaties.

RAID-Z: 3, 5 of 9 schijven
RAID-Z2: 4, 6 of 10 schijven
[...]
Kan je kwantificeren 'hoe veel slechter' een setup met 8 schijven ( F4EG HD204UI, 2TB ) zal werken ?
Ik beschik over een i5 met 32GB RAM, of maakt dat helemaal niets uit ?

Actueel zit MemTest86 te draaien om te kijken of alle RAM ok is :)

  • Femme
  • Registratie: Juni 1999
  • Laatst online: 20-12 20:10

Femme

Hardwareconnaisseur

Official Jony Ive fan

Bolk schreef op donderdag 02 februari 2012 @ 02:46:
Ik ben bezig met een server setup voor centrale storage van ESXi VM's (3 frontend servers). Ik heb me een beetje verdiept in SLOG/ZIL/ARC/4k disks etc etc. Het is een hoop informatie en erg leerzaam. Heb ook veel informatie uit dit topic gehaald, waarvoor dank :)

Ik heb alleen een paar vraagjes. Het idee is om RAID-Z2 te gebruiken (met 6x 4k disks, EARX geschikt?). Een SSD als SLOG klinkt als een goede optie, maar uptime is ook belangrijk. Ik wil dus rekening houden met zoveel mogelijk variabelen.

Wat gebeurt er als m'n SSD met SLOG crashed? Is dat dan een performance degradation of is het dan einde verhaal totdat ik de SSD verwijder?
Volgens mij vindt zfs het niet fijn als het log device opeens foetsie is. Je zou twee ssd's in mirror als log device moeten gebruiken.
Is het uberhaupt verstandig om ZFS te gebruiken in een productieomgeving?
Als Oracle het levert in opslagsystemen mag je er vanuit gaan dat het productieready is ;) .
Is het verstandig om SLOG uit te besteden aan een dedicated SSD of kan dat in combinatie met het o/s op dezelfde SSD?
Wat ik heb begrepen is dat zfs geen controle heeft over de write-back cache als er een partitie van een ssd als log device wordt gebruikt. Ik vraag me echter af of dat een probleem is bij ssd's die geen user data cachen in ram en voorzien zijn van super capacitors. In dit geval zouden schrijfacties toch altijd veilig uitgevoerd moeten kunnen worden.

Je hebt genoeg aan een paar gigabyte ruimte voor de slog. Het is nogal jammer om twee ssd's te kopen voor een mirror waar vervolgens >95% van de capaciteit niet van gebruikt gaat worden.
SLOG gaat om sync writes. Heb ik het goed begrepen dat dat bij iSCSI niet relevant is? Is een SLOG relevant bij VM's op central storage via NFS of iSCSI?
Dat hangt denk ik heel erg af van het besturingssysteem en het bestandssysteem dat je op de logical unit gaat draaien. Mijn ervaring met Windows en ntfs is dat er vrijwel geen synchrone writes worden gedaan als write-back caching aanstaat op het volume. Windows doet dan standaard wel af en toe een flush van de write cache die wat sync writes lijkt te veroorzaken maar dat is minimaal. Het is niet de moeite waard om hier aparte log devices voor te willen gebruiken. Zet je write-back caching uit op het volume dan krijg je wel vrachtladingen sync writes (en zakt de performance zwaar in). Als je software gaat gebruiken zoals databases die veel sync writes doen zul je ook meer baat hebben bij een ssd als log device.
Ik heb alleen ervaring met hardware RAID controllers, vandaar. ZFS klinkt op papier geweldig, maar ik blijf een beetje sceptisch ;)

Bij SSD denken al veel mensen vrij snel aan 'onbetrouwbaar'. Ik heb nu een plan liggen voor 2 SSD's in RAID 1 voor 'betrouwbaarheid' (o/s) en 1 dedicated SSD voor SLOG/L2ARC. Is dat reeël of overkill?
Ik ben nu ongeveer een maand in OpenIndiana aan het spelen met zfs en comstar om scsi-targets te maken. Tot nu werkt het absoluut betrouwbaar.

Ik heb meer vertrouwen in de betrouwbaarheid van ssd's dan die van harde schijven. Ik zou dan wel de ssd's met een discutabele reputatie vermijden.
Femme schreef op donderdag 02 februari 2012 @ 12:49:
[...]
Volgens mij vindt zfs het niet fijn als het log device opeens foetsie is. Je zou twee ssd's in mirror als log device moeten gebruiken.
Dat vindt ZFS vanaf versie 19 nog steeds niet fijn, maar dan zal na een SLOG crash je pool nog wel bereikbaar zijn. Vanaf ZFS versie 19 is dus een mirror slog niet nodig.

Sinds de 2 dagen regel reageer ik hier niet meer


  • Bolk
  • Registratie: Februari 2001
  • Niet online

Bolk

Change the equation.

Thanks voor de uitleg heren,

Ik wil graag FreeBSD gaan gebruiken als O/S. Als ik op een Intel 320 SSD (met supercap) van 120 GB ongeveer 40 GB gebruik voor het O/S, 5 GB voor SLOG en 15 GB voor L2ARC. Rest unpartitioned. Kom ik dan weg met 2 SSD's in RAID 1, of is het verstandiger O/S en SLOG/L2ARC te splitsen? Ik praat dan alleen over uptime, niet specifiek performance.

Ik bespeur hier een zekere mate van onethische logica.

Na wat opruim werkzaamheden kom ik uit op 5.7TB aan effectieve data die ik toch graag bewaar. Dat zou betekenen dat ik minimaal 3 disks vrij moet hebben om data op te zetten. Dit maakt dat ik 1 disk bij moet kopen om mijn RAID array te kunnen migreren.

Als ik alles op disk heb, heb ik daarna 6 lege schijven, en 3 volle. Het word dan wel lastig om te migreren naar een fatsoenlijke ZFS oplossing... Met 9 schijven wil je eigenlijk naar RAIDZ(1) vanwege de snelheid, of je wil 5 mirrors van 2 disks, maar dan heb ik dus nog een disk nodig...

Maar om daar te komen :P

[ Voor 4% gewijzigd door FireDrunk op 02-02-2012 19:05 ]

Even niets...

Pagina: 1 ... 21 ... 214 Laatste

Let op:
Voor het bouwen van een ZFS NAS en andere hardwarevragen kun je beter terecht in Het grote DIY RAID NAS topic deel 3, zodat we dit topic reserveren voor ZFS-specifieke vragen en discussies.