Het grote ZFS topic

[]Byte[]

Hoeveel disken heb je in je pool zitten en RAID-Z1/2?

[MikeVM]

]Byte\[ schreef op donderdag 16 januari 2014 @ 10:51:
Heb je ook al eens geprobeerd te experimenteren met een grote blocksize? (-B)

Say Whut Now?

ik kan toch de blocksize van mn pool niet aanpassen, als er nog data opstaat?
of wat bedoel je?


@gralgrathor
ja, die rsync is blijkbaar kopieren, en niet verplaatsen.

maar die rsync gebruiken voor een map van 10TB is niet haalbaar voor mij. omdat ik maar 4 TB vrije schrijfruimte heb, dus ik moet echt verplaatsen...

@Byte
10 Disks in RaidZ2

om even nogmaals kort de situatie te schetsen:
pool van 30 TB, 4TB vrij
en ik wil map /Data/share/media verplaatsen naar /Data/media (map is +10TB)
(dit omdat ik met zfsguru9 nu rechten kan instellen per map..)
zfs send is echt te ingewikkeld, dan heb ik echt stap per stap hulp nodig denk ik.

edit: nog even kort te vermelden, het zullen voornamelijk bestanden zijn van ofwel <1gb ofwel <100kb.

[ Voor 11% gewijzigd door MikeVM op 16-01-2014 11:46 ]

[]Byte[]

MikeVM schreef op donderdag 16 januari 2014 @ 11:33:
[...]
ik kan toch de blocksize van mn pool niet aanpassen, als er nog data opstaat?
of wat bedoel je?

Ik had het over de -B van rsync....

@Byte
10 Disks in RaidZ2

Ik heb zelf ook een 10 disk RAID-Z2, en daar haal ik op dit moment een kleine (belabberde) 300 MB/s write en 1 GB/s read.

Ik denk dat je wel wat winst kan halen uit de rsync -B=1M (of nog groter) toe te voegen.

code:

-B, --block-size=SIZE       force a fixed checksum block-size

Op die manier verklein je de load voor intensieve checksums die telkens gemaakt moeten worden.
Ik weet niet wat de default waarde is, maar die zou je ff kunnen opzoeken.

Ik heb het zelf ooit eens aan de hand gehad bij het moven van een kleine 90 TB die over een 10 Gb-lijntje ging naar een andere storage array die een 8-9 km verderop stond.

Alleen kon ik met de rsync die bij StorNext FileSystem zat ook meerdere threads instellen.
Dat scheelde aanzienlijk. (had toen per sessie 4 threads lopen)

[ Voor 36% gewijzigd door ]Byte[ op 16-01-2014 11:50 ]

[MikeVM]

dit command gebruik ik nu,

code:

rsync -uvrB=10485760 _Media/_Delete share/

het getal dat ik gebruik is 1024*1024*10, 1M of 1K neemt hij niet aan.

maar ik kan toch geen folder van 10TB op deze manier verplaatsen als ik maar 4TB vrije ruimte heb?

[ Voor 25% gewijzigd door MikeVM op 16-01-2014 12:04 ]

[]Byte[]

Wat verstookt je nu ongeveer? Nog steeds de 100 MB/s?

Je kan ook de --stats --progress toevoegen.

Als dat niet werkt zou je meerdere rsync's parallel kunnen starten. Iedere rsync een eigen directory.
Persoonlijk vindt ik het makkelijkste wel om ook screen te installeren.
Dan hoef je maar 1 keer in te loggen.
Voordeel is ook als de verbinding met de client wegvalt, dat de sessies niet afgebroken worden en gewoon door blijven draaien.

[Mystic Spirit]

@mikeVM
Is die nieuwe "map" waar de media in moet komen een Filessystem of een map binnen hetzelfde filesystem. Verplaatsen tussen twee file systems opdezelfde pool gaat volgens mij niet. Als het een map is binnen hetzelfde file system moet MV voldoende zijn.

[Gralgrathor]

MikeVM schreef op donderdag 16 januari 2014 @ 12:02:
maar ik kan toch geen folder van 10TB op deze manier verplaatsen

Misschien is dit wat:
http://superuser.com/ques...-one-or-after-rsync-compl

[MikeVM]

]Byte\[ schreef op donderdag 16 januari 2014 @ 12:09:
Wat verstookt je nu ongeveer? Nog steeds de 100 MB/s?

Je kan ook de --stats --progress toevoegen.

Als dat niet werkt zou je meerdere rsync's parallel kunnen starten. Iedere rsync een eigen directory.
Persoonlijk vindt ik het makkelijkste wel om ook screen te installeren.
Dan hoef je maar 1 keer in te loggen.
Voordeel is ook als de verbinding met de client wegvalt, dat de sessies niet afgebroken worden en gewoon door blijven draaien.

nog steeds 100MB/s met mv haalde ik 250MB/s (in sommige gevallen)

Mystic Spirit schreef op donderdag 16 januari 2014 @ 12:10:
@mikeVM
Is die nieuwe "map" waar de media in moet komen een Filessystem of een map binnen hetzelfde filesystem. Verplaatsen tussen twee file systems opdezelfde pool gaat volgens mij niet. Als het een map is binnen hetzelfde file system moet MV voldoende zijn.

nee, is niet hetzelfde filesystem.


jezus dit is echt dom. als ik één grote filesystem heb. dan kan ik bestanden snel verplaatsen, maar dan kan ik de rechten niet regelen.
dus ik moet kiezen? ofzel snel verplaatsen van bestanden, ofwel rechten regelen?

[Gralgrathor]

MikeVM schreef op donderdag 16 januari 2014 @ 12:16:
[...]

dan kan ik de rechten niet regelen

Wat bedoel je?

[MikeVM]

zucht, al dat werk voor niets.

ik dacht dus dat ik enkel per filesystem rechten kon regelen, nu zit er nog een aparte functie in dat ik het pad ook gewoon kan opgeven. Stupid.

nu heb ik wel veel bijgeleerd.

voorlopig ben ik wel weer even zoet denk ik. thx iedereen.

er moet echt een betere guide komen voor noobs zoals ik

wat is dan het voordeel van verschillende filesystems? (binnen één pool?_

[ Voor 32% gewijzigd door MikeVM op 16-01-2014 12:27 ]

[]Byte[]

En meerdere rsync-sessies parallel starten?
rsync -uvrB=10485760 --stats --progress /pool/src_dir1 /pool/dst_dir1
rsync -uvrB=10485760 --stats --progress /pool/src_dir2 /pool/dst_dir2
etc.

nu heb ik wel veel bijgeleerd.

Leren doen we ook met vallen en opstaan...

[ Voor 20% gewijzigd door ]Byte[ op 16-01-2014 12:28 ]

[Tsurany]

Verschillende filesystems kan handig zijn met bijvoorbeeld quota's of compressie.

[Mystic Spirit]

Er zijn verschillende voordelen voor het hebben van verschillende filesystems binnen je pool. Je kan hierbij bijvoorbeeld denken aan verschillende instellingen voor checksums, snapshots, compressie. Maar ook het instellen van quota per filesystem kan handig zijn.

De voordelen van verschillende file systems zijn er dus legio bij ZFS. BTRFS gaat er iets slimmer mee om, maar is wat mij betreft nu nog te experimenteel. Daar kan je dit soort instellingen ook binnen een filesystem regelen. Bij ZFS kan dat alleen op filesystem niveau.

[Eagleman7]

MikeVM schreef op donderdag 16 januari 2014 @ 09:21:
[...]

maar de bestanden blijven op één en dezelfde pool,

edit: zfs Send/Receive is veel te ingewikkeld
rsync geinstalleerd, en nu doe ik dit

code:

rsync -rv /Bron /Doel

maar echt veel sneller lijkt dit niet

een bestand verplaatsen moet toch echt instant gaan, en niet tegen 100MB/s

ik moet nog 15TB verplaatsen.. (het is op dezelfde pool, ik hem maar 1 datapool)

Je verplaatst toch data van pool naar pool ( partitie naar partitie ). Dan is het gewoon normaal dat het niet "instant" gaat.

EDIT:
En zoals gewoonlijk loop ik 10 posts achter xD, browser refreshed niet

[ Voor 6% gewijzigd door Eagleman7 op 16-01-2014 16:35 ]

[0xDEADBEEF]

offtopic:
[quote]Mystic Spirit schreef op woensdag 15 januari 2014 @ 21:14:
Misschien een iets te newbie post voor dit topic, maar ik wilde het jullie toch niet onthouden. Ars technica heeft een lekker leesbaar artikel geschreven over "next gen" filesystems (ZFS en voornamelijk btrfs). http://arstechnica.com/in...ide-next-gen-filesystems/

Toch goed om te zien dat het anderen ook bezighoud en er steeds meer aandacht voor komt!
[/quote]
Bookmarked

[CurlyMo]

MikeVM schreef op donderdag 16 januari 2014 @ 09:21:
[...]

maar de bestanden blijven op één en dezelfde pool,

edit: zfs Send/Receive is veel te ingewikkeld
rsync geinstalleerd, en nu doe ik dit

code:

rsync -rv /Bron /Doel

maar echt veel sneller lijkt dit niet

een bestand verplaatsen moet toch echt instant gaan, en niet tegen 100MB/s

ik moet nog 15TB verplaatsen.. (het is op dezelfde pool, ik hem maar 1 datapool)

Send/Receive is velen malen sneller dan welke andere kopieer functie dan ook.

[]Byte[]

Voor IB support heb ik alles van deze link gevolgd.
Ik zit nu bij stap 9. Reboot into single user mode.
Zodra ie gaat booten en hij gaat de driver voor Mellanox laden wordt het hele systeem zo traag als bagger.
Zodra ie op de regel komt van uhub2 lijkt het wel of je naar een scherm zit te kijken zoals je vroeger een 75 baud van viditel. (voor de oud-gediende onder ons )

code:

Jan 15 16:25:43 zfsguru kernel: SMP: AP CPU #5 Launched!
Jan 15 16:25:43 zfsguru kernel: SMP: AP CPU #2 Launched!
Jan 15 16:25:43 zfsguru kernel: Timecounter "TSC-low" frequency 1696186210 Hz quality 1000
Jan 15 16:25:43 zfsguru kernel: Running ipoib_init_module (0xffffffff80b7d2a0)
Jan 15 16:25:43 zfsguru kernel: mlx4_core0: <mlx4_core> mem 0xf7500000-0xf75fffff,0xf0000000-0xf07fffff irq 16 at device 0.0 on pci5
Jan 15 16:25:43 zfsguru kernel: mlx4_core: Mellanox ConnectX core driver v1.0-ofed1.5.2 (August 4, 2010)
Jan 15 16:25:47 zfsguru kernel: mlx4_core: Initializing mlx4_core
Jan 15 16:25:47 zfsguru kernel: uhub1: 2 ports with 2 removable, self powered
Jan 15 16:25:47 zfsguru kernel: uhub2: 2 ports with 2 removable, self powered
Jan 15 16:25:47 zfsguru kernel: uhub0: 8 ports with 8 removable, self powered

De boottijd loopt op naar zo'n 1200 sec. voordat het systeem überhaupt een ping terug geeft.
Als je dan maar lang genoeg wacht zijn de services ook eindelijk gestart en kan je (soms.... als je gelukt hebt) met ssh inloggen.
De load loopt dan op naar zo'n 20-22!
Echt responsive is het intypen ook allemaal niet. De text ijlt echt ver na voordat ie op het scherm komt.
Eerst dat ik dat het kwam doordat ik stap 6. make buildworld had overgeslagen, maar nu komt exact hetzelfde gedrag terug ondank ik alle stappen heb doorlopen.

Heeft iemand dergelijk gedrag eerder meegemaakt?

Het is misschien ver gezocht, maar zou het kunnen komen doordat er nog geen kabels aangesloten zijn?

[Verwijderd]

Met respect maar dit is echt geen ZFS issue, ook geen ZFSguru issue. Een FreeBSD issue met Infiniband Networking. Wellicht de beste plek daarvoor is het FreeBSD forum, die kunnen wellicht beter inschatten wat een dergelijke load met interrupts (heb je dat gechecked?) kan veroorzaken.

[]Byte[]

Verwijderd schreef op donderdag 16 januari 2014 @ 20:41:
Met respect maar dit is echt geen ZFS issue, [...]

Ben ik ook voor de volle 300% met je eens!
De enige "samenhang" die er is, voor zover je daarvan kan spreken, is het gebruik van de Mellanox-kaartjes!
Vandaar mijn vraag of iemand dit gedrag ook al eens heeft gehad.

[Verwijderd]

Eventueel kun je in DIY RAID NAS topic terecht. Infiniband werkend krijgen op een zelfbouw NAS is daar niet off-topic. Check ook mijn DM.

[Compizfox]

Interessant artikel over het nut van bestandssystemen zoals ZFS en BTRFS: http://arstechnica.com/in...ide-next-gen-filesystems/

EDIT: Lol, zag hem net pas op Reddit dus had niet verwacht dat ie in dit topic al op de vorige pagina was gepost...

[ Voor 26% gewijzigd door Compizfox op 16-01-2014 22:29 ]

[FireDrunk]

offtopic:
Scroll eens omhoog

[]Byte[]

Verwijderd schreef op donderdag 16 januari 2014 @ 22:03:
Check ook mijn DM.

Tnx. heb zojuist 2 DM's terug gestuurd.
* ]Byte[ heeft vandaag wat te doen...

[]Byte[]

Voordat er nog meer mensen knettergek worden om Infiniband aan de gang te krijgen...
Het lijkt een incompatibiliteits-issue te zijn met mijn Gigabyte G1.Sniper 3 bord!
Mogelijk dat het aantal PCIe-lanes de boosdoener is (ik heb nu totaal 20 lanes (8+4+4+4) in gebruik) op mijn Sniper-bord.
Mogelijk dat dit ook mijn FC-problemen veroorzaakte.
Ik heb nog een HP ML110 G6 in de hoek staan die niets doet en ben daar eens mee gaan testen.
Stop ik de Mellanox-kaart in de ML110 en boot 'm met de 9.1-RC3 of 9.2-001 CD ziet deze de kaart gelijk!
Ik heb ivm tijdgebrek nog niet verder kunnen testen.
Het mag duidelijk zijn.... Mellanox-kaarten worden zonder enig probleem door ZFSguru gedetecteerd!

Zodra ik iets meer weet zal ik jullie op de hoogte houden.

[ Voor 7% gewijzigd door ]Byte[ op 18-01-2014 15:34 ]

[Verwijderd]

Daar ben ik in elk geval blij om! Het is altijd balen als je vage issues hebt. Mogelijk is de PLX-switchingchip op jouw Gigabyte-bord de boosdoener. In elk geval ben je nu een stap verder. Eventueel zou je Gigabyte kunnen mailen maar eerlijk gezegd verwacht ik daar niet teveel van.

[]Byte[]

Verwijderd schreef op zaterdag 18 januari 2014 @ 15:35:
Eventueel zou je Gigabyte kunnen mailen maar eerlijk gezegd verwacht ik daar niet teveel van.

Ik ook niet.
En ik denk ook niet dat mijn huidige Gigabyte-bord dat antwoord gaat meemaken.
Ik ga nog wel even proberen om alle overige kaarten uit het board te trekken en alleen de Mellanox er in laten zitten, en dan kijken of ZFSguru 'm wel wil zien.
Wat zou kunnen is dat er mogelijk een andere kaart op dezelfde adressen willen gaan zitten, maar zou ik wel heel ver gezocht vinden.

[Verwijderd]

De kaart in alle PCIe poorten uitproberen zou je kunnen doen, inderdaad met de overige kaarten niet aangekoppeld. Soms is het inderdaad een kwestie van een andere PCIe poort gebruiken, oid. Ook de 'reset resource data' in de BIOS kan soms wel eens helpen.

[Verwijderd]

ZFS Snapshots zijn een uitkomst heb ik vanavond gemerkt. Iemand had op zijn SMB share een aanzienlijke hoeveelheid data verwijderd.
De snapshot rollback van een gister werkte vlekkeloos. Binnen enkele seconden was alle data weer terug! :-)

[FireDrunk]

@]Byte[, wat voor CPU heb je op dat bord zitten? Want het aantal PCIe lanes wordt niet bepaald door het bord (behalve electronisch) maar vooral door je CPU.

Zo heeft een i3 veel minder PCIe lanes dan bijvoorbeeld een Xeon.

[]Byte[]

FireDrunk schreef op zaterdag 18 januari 2014 @ 20:50:
@]Byte[, wat voor CPU heb je op dat bord zitten?

i7-3770

[FireDrunk]

Die zou genoeg lanes moeten hebben, dan zou het inderdaad zoals CiPHER al zei de PLX chip kunnen zijn die moeilijk doet. Ik vind het sowieso bagger als die dingen er in zitten

[EnerQi]

Ik denk dat ik een mogelijke bug gevonden heb in ZFSguru Beta 8.

Ik ben bezig met een nieuwe installatie om te kijken of er iets veranderd is, gezien ik nog versie 9.1.005 draai. Zo kan ik ook testen of mijn services nog werken op hogere versies .

In een VM ben ik de installatie aan het voltooien (wizard) maar bij het creëren van een pool moet ik de ZFS versie opgeven (28, lager of hoger), het modern/legacy en custom verhaal. Nu valt mij op dat ik kan kiezen tussen alle waardes van 1 t/m 5000. Zijn er daadwerkelijk zoveel versies van ZFS file systeem gemaakt? Ik dacht dat er maar +-33 waren (en versie 5000). Als geinformeerde persoon weet ik wat ik moet kiezen, maar dit was nogal schokkend .

Ikzelf zou 33 versies verwachten met recommended op 28 (zoals nu ook al is). Door de enorme scrollbar lijkt het alsof ZFSguru achterloopt met "recommended".

[sphere]

http://open-zfs.org/wiki/FAQ#section_3

[EnerQi]

sphere schreef op zondag 19 januari 2014 @ 13:01:
http://open-zfs.org/wiki/FAQ#section_3

Just one pool version is associated with feature flags: version 5000. Versions less than 5000 can not use feature flags.

Dat haal ik (snel) uit de link. Maar de vraag is waarom range 28 t/m 4999 vermeld staan in ZFSguru. Zover ik weet bestaan die versies niet eens.

[Verwijderd]

@EnerQi:
beta8 is niet gemaakt voor v5000. Het werkt wel, maar ZFSguru web-interface is ontwikkeld zodat het incrementeel is; na 28 komt 29. In dit geval komt na 28 opeens 5000. Kortom, de interface moest aangepast worden aan de nieuwe ZFS v5000 support. Dat is inmiddels gebeurd met de beta9 interface. Jij gebruikt nog beta8.

[EnerQi]

CiPHER, dat geloof ik ook wel, maar beta 8 is wel de versie die mensen kunnen downloaden . Voor nieuwe gebruikers vind ik het maar verwarrend.

Iets wat mij ook dwars zit (ook beta 8 ) is de volgende melding bij het opstarten van ZFSguru: Maintaince iets met pool "Test" (net aangemaakt ).

@Edit: blijkbaar krijg ik 'm onregelmatig en niet bij iedere opstarting....

Als ik dan in de pool pagina komt, staat er dit:

Description The pool is formatted using a legacy on-disk format. The pool can
still be used, but some features are unavailable.
Action Upgrade the pool using 'zpool upgrade'. Once this is done, the
pool will no longer be accessible on software that does not support feature
flags.

Dit refereert naar ZFS v5000, ik vraag me alleen af of die melding niet beter onderdrukt kan worden omdat 5000 experimenteel is. (en compatible zijn/blijven met andere OS'en)

@Edit2: blijkbaar verdwijnt die melding bij Beta 9, hier staat wel dat bepaalde features disabled zijn (maar geen mogelijkheid om ze te activeren + cryptisch omschreven )

[ Voor 8% gewijzigd door EnerQi op 19-01-2014 14:14 ]

[FireDrunk]

Juist v5000 is een versie die zorgt voor goede compatibiliteit met andere operating systems. Juist doordat ze met feature flags werken kunnen individuele functies wel of niet gebruikt worden in plaats van een complete pool versie.

Stel Linux implementeert ineens een feature met een vage compressie methode die FreeBSD niet ondersteund. Als ze hun eigen versie zouden moeten maken is ineens je hele pool niet meer benaderbaar.

Wat ze nu doen, is een featureflag aan die pool/filesystem hangen waar die feature in beschreven staat.
Mocht je dus een pool van versie 5000 importeren loopt hij alle features langs en kijkt of hij ze waar kan maken. Is dat zo, hoppa importeren die hap.

Er gaat dus ook (waarschijnlijk) nooit meer iets anders dan versie 5000 komen.

Wat je verliest is compatibliteit met Solaris/Oracle, want die knuddebende wil niet dat ZFS open source wordt/blijft dus zijn ze lekker door gegaan met nummeren in de closed source code.

http://open-zfs.org/wiki/Features

Hier zie je ook een hele lijst van features die door de verschillende operating systems ondersteund worden. Zoals je ziet is ook FreeBSD niet overal bij. (Maar ze zijn wel het verst )

[ Voor 20% gewijzigd door FireDrunk op 19-01-2014 14:22 ]

[jadjong]

FireDrunk schreef op zondag 19 januari 2014 @ 14:18:

Wat je verliest is compatibliteit met Solaris/Oracle, want die knuddebende wil niet dat ZFS open source wordt/blijft dus zijn ze lekker door gegaan met nummeren in de closed source code.

Ik heb daar meer respect voor dan de puinhoop die allerlei Linux/FBSD enthousiastelingen ervan maken. ZFS was een filesystem wat je blind kon importeren op een systeem dat ZFS ondersteunt. Leuk dat iemand een bestaand filesystem aanpast met een revolutinaire functie, maar als het daarna niet meer universeel is moet je het niet de originele naam meegeven. Noem het dan HenkFS.

[FireDrunk]

Het is toch juist universeel terwijl het toch die feature ondersteund?
Als alle operating systems v5000 gaan ondersteunen, hoef je daarna *niets* meer te doen om het compatible te houden. Enige wat je niet moet doen is die daadwerkelijke feature gebruiken...

Bij Solaris is het juist andersom. Upgrade je je pool > 28? Klaar, gedaan, nooit meer ergens anders importeren...

[Verwijderd]

EnerQi schreef op zondag 19 januari 2014 @ 14:05:
CiPHER, dat geloof ik ook wel, maar beta 8 is wel de versie die mensen kunnen downloaden . Voor nieuwe gebruikers vind ik het maar verwarrend.

Klopt wel. Alleen aan het einde van de welcome wizard krijg je wel het advies de web-interface te updaten voor de installatie. Dat kan ook heel simpel met één muisklik. Begrijp verder je punt wel, maar systeemversies en web-interface loopt nu eenmaal niet altijd gelijk. In de 10.0-002 builds (10.0 final) die nu bijna klaar zijn zit natuurlijk weer beta9.

Maar ook beta9 is niet zaligmakend; de drag&drop moet nog gefixed worden voor andere gebruikers, en er zijn twee andere kleine bugs gevonden. Dus beta10 kijk ik alweer naar uit, en natuurlijk pas bij 0.2 dat een eerste stable versie gelanceerd moet worden. Jason wil alle 'moeilijke' dingen dan al geregeld hebben, zodat er geen rare fratsen meer hoeven gebeuren na 0.2.

Iets wat mij ook dwars zit (ook beta 8 ) is de volgende melding bij het opstarten van ZFSguru: Maintaince iets met pool "Test" (net aangemaakt ).

@Edit: blijkbaar krijg ik 'm onregelmatig en niet bij iedere opstarting....

Die melding krijg je als ZFSguru een 'zfsguru' filesystem aanmaakt, zoals:
tank/zfsguru
tank/zfsguru/download
tank/zfsguru/services

Je krijgt hem in principe alleen de eerste keer dat je ZFSguru op een pool installeert.

Als ik dan in de pool pagina komt, staat er dit:

Description The pool is formatted using a legacy on-disk format. The pool can
still be used, but some features are unavailable.

Dat is een stomme melding van ZFS zelf. Die wordt onderdrukt in beta9. Dat de pool niet de laatste versie is, is geen probleem maar een feature, en ook aanbevolen door ZFSguru om je pool zo compatible te houden als je zelf wilt t.b.v. migratie naar andere platforms.

@Edit2: blijkbaar verdwijnt die melding bij Beta 9, hier staat wel dat bepaalde features disabled zijn (maar geen mogelijkheid om ze te activeren + cryptisch omschreven )

Feature flags heb je het over? Dat met die groene en roodkleurige enabled/active/disabled? Die worden automatisch geactiveerd als ze gebruikt worden. De officiële benaming en uitleg staat erbij (mouseover; title).

[EnerQi]

Verwijderd schreef op zondag 19 januari 2014 @ 15:19:
[...]

Klopt wel. Alleen aan het einde van de welcome wizard krijg je wel het advies de web-interface te updaten voor de installatie. Dat kan ook heel simpel met één muisklik. Begrijp verder je punt wel, maar systeemversies en web-interface loopt nu eenmaal niet altijd gelijk. In de 10.0-002 builds (10.0 final) die nu bijna klaar zijn zit natuurlijk weer beta9.

You should now be ready to continue installing ZFSguru to your pool. Before you head over to the installation procedure, you may want to perform the following steps:
•Recommended: check for web-interface updates on the System->Update page
•Check your disk health status on the Disks->SMART page
•Review other preferences on the System->Preferences page

Leuke melding (die ik nog nooit gelezen heb, eerlijkgezegd ) maar als gebruiker verwacht je niet dat er al een update is . De melding die je daarna krijgt is deze: "No update available: you are running the latest stable release.". Dit klopt maar toch adviseren naar beta 9 te gaan?

Feature flags heb je het over? Dat met die groene en roodkleurige enabled/active/disabled? Die worden automatisch geactiveerd als ze gebruikt worden. De officiële benaming en uitleg staat erbij (mouseover; title).

Jup Featuire flags. Toch vraag ik me af hoe compatible het allemaal is en of enabled features weer gedeactiveerd worden bij wisselen van OS. Dat laatste vraag ik me af waardoor de gebruiker eigenlijk v28 moet gebruiken (of v5000 vanilla).

p.s. gewoon puntjes die het programma verbeteren

[Verwijderd]

Stable / Experimental wordt pas 'goed' gebruikt vanaf 0.2. Dan is er een 0.3-beta terwijl 0.2.1 de laatste bugfix release is van 0.2, bijvoorbeeld. Nu is het zo dat de voorgaande versie 'stable' is en de nieuwste beta experimental.

---

Jup Featuire flags. Toch vraag ik me af hoe compatible het allemaal is en of enabled features weer gedeactiveerd worden bij wisselen van OS.

code:

# import pool with unsupported feature for read
root@dlpx:~# sudo zpool import -d ~/ example
This pool uses the following feature(s) not supported by this system:
com.example:unsupported (descriptive string)
cannot import 'example': unsupported version or feature
# import pool with unsupported feature for write
root@dlpx:~# sudo zpool import -d ~/ example
This pool uses the following feature(s) not supported by this system:
com.example:unsupported (descriptive string)
cannot import 'example': unsupported version or feature
root@dlpx:~# sudo zpool import -d ~/ -o readonly=on example
root@dlpx:~#

In dit voorbeeld wordt een pool geimporteerd met unsupported features. Sommige features zijn alleen write-incompatible, dus een pool read-only mounten kan wel. De async_destroy is zo'n voorbeeld. Hierdoor kun je heel snel filesystems verwijderen. Hierdoor mag een systeem met ZFS versie die deze feature niet ondersteunt, de pool niet beschrijven. Dan zou er corruptie plaatsvinden. Dat wordt in dit voorbeeld getoond dat je dan een foutmelding krijgt. Verderop wordt een feature met read-only compatibility gemount, ook al wordt die feature niet ondersteund.

In de praktijk zal het zo zijn dat FreeBSD/IllumOS/ZFSonLinux gezamenlijk optrekken met zpool features. De enige echt spannende feature tot nu toe is LZ4-compressie. Maar block pointer rewrite enzo - de echt coole features - verwacht ik nog niet zo snel. Boven zal het allemaal uitvoerig getest moeten worden voordat die code stabiel wordt verklaard, verwacht ik zo.

Wil je compatibility, hou dan je pool versie zo laag mogelijk. Versie 28 is prima als je nu nog geen LZ4-compressie nodig hebt. ZFSguru raad dit in principe ook aan. Zo behoud je maximale compatibility. v5000 is bijvoorbeeld niet meer compatible met Solaris. Dan heb je al geen maximale compatibility meer. v28 is denk ik de beste keus indien je nog geen LZ4 nodig hebt.

[]Byte[]

Verwijderd schreef op zaterdag 18 januari 2014 @ 15:35:
Daar ben ik in elk geval blij om! Het is altijd balen als je vage issues hebt. Mogelijk is de PLX-switchingchip op jouw Gigabyte-bord de boosdoener. In elk geval ben je nu een stap verder. Eventueel zou je Gigabyte kunnen mailen maar eerlijk gezegd verwacht ik daar niet teveel van.

Is dit een specifiek Z77 "probleem"?
Als ik een ander Z77-board ga halen, en heb vervolgens nog steeds die PLX-meuk zal dat niet veel opschieten.
Overstappen naar een Z87 heeft een klein nadeeltje... Dan heb ik ook een andere CPU nodig.

[Verwijderd]

Die PLX-chips zijn uniek voor dat Gigabyte-bord, niet de chipset die gebruikt is. De chipset zelf betrekt 4x PCIe/DMI, maar de CPU zelf biedt nog 16 echte PCIe lanes, voor de PCIe slots. De chipset levert vaak de PCIe x1 slots. Dan heb je bijvoorbeeld twee keer PCIe x8 en nog twee PCIe x1 slots. Dat lukt dan binnen het 'budget' van PCIe lanes zonder PLX-chips te hoeven gebruiken. Wil je meer PCIe slots en meer functionaliteit zoals een SAS controller op het moederbord, dan moet je of PCIe slots offeren of PLX chips gebruiken.

[InflatableMouse]

Snel vraagje. Ik heb het topic doorzocht en vond het niet ..

Is de Highpoint Rocketraid 2720 een goede kandidaat voor een ZFS server?

[Verwijderd]

Nee, dergelijke controllers zijn eigenlijk incompatible met ZFS. De reden is dat de controller gevoelig is voor bad sectors / timeouts en disks onzichtbaar kan maken.

Je wilt een HBA hebben, geen (Hardware) RAID controller. Die Highpoint uit de 2xxx series is overigens niet een echte hardware controller; het zware werk wordt door een binary blob gedaan op de host CPU. De 3xxx series zijn wel echte hardware RAID controllers met Intel IOP processor.

Wat je wilt is een AHCI-compatible controller (ASMedia, Marvell) of een SAS controller (LSI SAS2008 controllerchip, gebruikt in b.v. IBM M1015). De chipset AHCI poorten zijn de best mogelijke SATA poorten voor ZFS en andere software RAID.

[ Voor 7% gewijzigd door Verwijderd op 19-01-2014 18:57 ]

[ilovebrewski]

Ik heb oude hdd geformatteerd onder zfsguru en een nieuwe pool gemaakt met de webinterface beta9.
Echter lijkt er onder disk11 en disk12 een extra partitie of iets te bestaan. Wat is dit en hoe haal ik het weg.
Ik heb al aangegeven alle partities weg te halen.

code:

[root@vmzfsguru /home/ssh]# glabel status
                                        Name  Status  Components
                                    gpt/ZFS1     N/A  da0p2
                                  gpt/DISK07     N/A  da2p2
                                  gpt/DISK06     N/A  da4p2
                                  gpt/DISK11     N/A  da1p2
diskid/DISK-S1XWJ1KSB11379%20%20%20%20%20%20     N/A  da1
                                  gpt/DISK12     N/A  da3p2
diskid/DISK-S1XWJ1KSB11378%20%20%20%20%20%20     N/A  da3

[InflatableMouse]

Oke.

Is er nergens een lijstje met controllers? In de pricewatch is het me niet duidelijk behalve dat ik dan een relatief dure LSI SAS controller moet kopen.

Punt is, ik heb een LSI MegaRAID adapter maar het ondersteunt geen JBOD. Van verschillende guides wordt geadviseerd om met ZFS geen virtual drives te gebruiken (ik zou namelijk voor elke disk een virtual drive in raid 0 moeten maken). OS heeft dan geen rechtstreeks toegang tot de disk en het weerhoudt me er van om een disk op de LSI adapter aan een andere controller te hangen omdat die dan niet meer herkent wordt. Ook SMART monitoring werkt trouwens niet meer en dat vind ik ook bezwaarlijk.

Bedankt!

[DXaroth]

InflatableMouse schreef op zondag 19 januari 2014 @ 19:09:
Oke.

Is er nergens een lijstje met controllers? In de pricewatch is het me niet duidelijk behalve dat ik dan een relatief dure LSI SAS controller moet kopen.

Punt is, ik heb een LSI MegaRAID adapter maar het ondersteunt geen JBOD. Van verschillende guides wordt geadviseerd om met ZFS geen virtual drives te gebruiken (ik zou namelijk voor elke disk een virtual drive in raid 0 moeten maken). OS heeft dan geen rechtstreeks toegang tot de disk en het weerhoudt me er van om een disk op de LSI adapter aan een andere controller te hangen omdat die dan niet meer herkent wordt. Ook SMART monitoring werkt trouwens niet meer en dat vind ik ook bezwaarlijk.

Bedankt!

Voor een interne kan je gaan voor een M1015.. deze kan je in IT mode flashen waardoor ZFS direct toegang heeft tot de disks... op ebay zijn deze goedkoper te krijgen dan in de pricewatch.

[InflatableMouse]

DXaroth schreef op zondag 19 januari 2014 @ 19:17:
[...]


Voor een interne kan je gaan voor een M1015.. deze kan je in IT mode flashen waardoor ZFS direct toegang heeft tot de disks... op ebay zijn deze goedkoper te krijgen dan in de pricewatch.

Oh cool. Die is ook niet zo duur zie ik, da's nog wel te behappen. Tx!

[Verwijderd]

ilovebrewski schreef op zondag 19 januari 2014 @ 19:06:
Ik heb oude hdd geformatteerd onder zfsguru en een nieuwe pool gemaakt met de webinterface beta9.
Echter lijkt er onder disk11 en disk12 een extra partitie of iets te bestaan. Wat is dit en hoe haal ik het weg.
Ik heb al aangegeven alle partities weg te halen.

Dat zijn gewoon GEOM modules. De disk is alternatief onder een unieke naam beschikbaar, ipv da0 of da4. Maar ZFSguru gebruikt die functionaliteit niet; die gebruikt labels op partities zoals jij ook gebruikt. glabel status laat alle GEOM labels zien. Wat is ziet is verder geen probleem of iets vreemds.

[-Venom-]

Misschien een stomme vraag maar werkt een simpele port multiplier ook goed met ZFS ?

[Xudonax]

Zolang de schijven nog gewoon zichtbaar zijn voor je controller verwacht ik eerlijk gezegd geen grote problemen. Ik heb er zelf ook naar zitten kijken, en van niemand gehoord dat het niet zou werken icm ZFS. Ik heb er zelf echter van afgezien omdat ik op dat moment het geld niet over had om een port multiplier en 6 nieuwe schijven te halen

[InflatableMouse]

-Venom- schreef op zondag 19 januari 2014 @ 21:13:
Misschien een stomme vraag maar werkt een simpele port multiplier ook goed met ZFS ?

Ik zat daar ook aan te denken maar ik weet eerlijk gezegd niet wat voor impact het ook heeft voor performance. Ik dacht daarom het zekere voor het onzekere te nemen en een dedicated controller te nemen.

[Xudonax]

Qua performance is dat redelijk makkelijk te zeggen. Als je je expander/port multiplier met één kabel aansluit (ik ga even uit van SAS met SFF 8087 connectors) dan heb je voor SAS dus 4 links welke op 3Gbps lopen voor SAS1, 6Gbps voor SAS2 of 12Gbps voor SAS3. Uitgaande van SAS2 kom je dan dus uit op 4*6Gbps = 24Gbps voor je expander. Je houd dan dus 24Gbps/(aantal disks) over per disk. Zeg even dat je er 12 schijven aan wilt hangen, dan heb je dus 3 SFF 8087 poorten nodig voor je schijven, en iedere schijf krijgt dan 2Gbps voordat we rekening gaan houden met de overhead van SATA over SAS.

Voor SATA is het minder rooskleurig, want SATA is maximaal 6Gbps met SATA3. Laten we even aannemen dat je ook een dergelijke poort gebruikt Dit is makkelijker dan de SAS berekening, want we hebben nauwelijks overhead e.d. Dus het is gewoon je link speed / aantal disks. Met je 6Gbps en dezelfde 12 schijven houd je nog maar 0,5Gbps per schijf over! Nu bestaan er bij mijn weten dan ook geen 12 poort SATA port multipliers

Een normale schijf doet grofweg 90Mbps (2,5" schijfje) tot 150Mbps (3.5" schijf) per stuk, dus je wilt eigenlijk minstens 1Gbps overhouden om nog iets aan snelheid van de schijf te hebben. Aangezien SATA een 8b10b encoding is (aka een byte van 8 bit word "ingepakt" in een 10 bit blok) mag je de Gbps gewoon door 10 delen om op MBps uit te komen.

Dit alles is voor zover ik de materie snap, dus waarschijnlijk zitten er nog wel fouten in. Sowieso durf ik niet te zeggen hoe de overhead is van de SATA over SAS tunneling, maar ik neem aan dat dit niet bijzonder veel is, zodat van de 2Gbps die je in mijn voorbeeld per disk krijgt nog minstens 1,5Gbps overblijft. En dat is keurig de SATA1 snelheid, en dat voldoet voor moderne schijven nog steeds IMO

[Verwijderd]

Een 16 poorts HBA zonder port multiplier is veel beter, zo zijn er equivalente LSI controllers zoals de IBM M1015 maar dan met 4 Mini-SAS dus tot 16 schijven.

Wel is het zo dat port multipliers performance kosten. Nu zit er verschil in de switching technologie en zowel bij SAS als AHCI-FIS based switching zou er weinig performance verloren gaan.

Echter, nu is ZFS met RAID-Z families wel héél gevoelig met latency. Als je 40 disks hebt die allemaal 5ms doen maar een disk doet 7ms, dan telt het alsof alle disks 7ms hadden gedaan. Dat is met RAID5 niet het geval. Dit nadeel is inherent aan het ontwerp van RAID-Z, maar daar staan wel veel voordelen tegenover. Met name op het gebied van veiligheid (atomicity met een mooi woord). RAID5 is eigenlijk maar vies met zijn 2-phase writes.

Ga je voor veel disks met port multiplier in combinatie met ZFS, kies dan voor L2ARC cache om dit probleem het hoofd te bieden. Bedenk ook dat performance vooral schaalt met disks. En dat je misschien niet optimale efficiency haalt, maakt helemaal niets uit als je een overdosis aan disk I/O ter beschikking hebt. We hebben het over gigabit, toch? Dus.

[Xudonax]

Ik ben het direct met je eens dat hoe meer poorten er op de HBA zitten hoe beter Maar helaas kan ik persoonlijk geen HBA's vinden die meer dan 8 poorten hebben en ook nog eens fatsoenlijk betaalbaar zijn

Het enige dat de pricewatch bied is de LSI SAS 9201-16i, en die ziet er nu niet direct leverbaar uit. Anders kom ik uit op de LSI MegaRAID SAS 9260-16i, maar dan betaal ik in verhouding bijna 50% meer voor functionaliteit die ik niet eens wil hebben

[DXaroth]

Xudonax schreef op zondag 19 januari 2014 @ 22:05:
Ik ben het direct met je eens dat hoe meer poorten er op de HBA zitten hoe beter Maar helaas kan ik persoonlijk geen HBA's vinden die meer dan 8 poorten hebben en ook nog eens fatsoenlijk betaalbaar zijn

Het enige dat de pricewatch bied is de LSI SAS 9201-16i, en die ziet er nu niet direct leverbaar uit. Anders kom ik uit op de LSI MegaRAID SAS 9260-16i, maar dan betaal ik in verhouding bijna 50% meer voor functionaliteit die ik niet eens wil hebben

en de externe versies zijn nog een stukje duurder
Mocht je case/moederbord het toelaten, kan je natuurlijk ook gewoon voor 2 M1015's gaan...

[Xudonax]

Dat is inderdaad de goedkoopste oplossing (nee, de goedkoopste oplossing om gewoon minder data op te slaan ), maar met een mITX moederbord gaat dat erg lastig worden Sowieso kom ik dan weer terug op mijn eerdere punt, hoe de .... ga ik zoveel schijven fatsoenlijk in een mITX behuizing stoppen

[DXaroth]

Xudonax schreef op zondag 19 januari 2014 @ 22:24:
Dat is inderdaad de goedkoopste oplossing (nee, de goedkoopste oplossing om gewoon minder data op te slaan ), maar met een mITX moederbord gaat dat erg lastig worden Sowieso kom ik dan weer terug op mijn eerdere punt, hoe de .... ga ik zoveel schijven fatsoenlijk in een mITX behuizing stoppen

Als je meer dan 8 disks in 1 bak wilt hebben, moet je toch serieus gaan kijken of je koeling dat wel leuk vind... harde schijven produceren nou weer niet denderend veel warmte, maar klein beetje * 10 kan alsnog dusdanig veel worden dat het niet helemaal lekker meer loopt.

[Xudonax]

En dat is het mooie van de Bitfenix Prodigy, dat ding is gebouwd om een stevige GPU te hebben en te koelen. Er zit helemaal voorin dan ook een 230mm fan, dus er zou genoeg luchtstroom moeten zijn om de schijven koel te houden. Sowieso is het verder niet écht een systeem dat veel warmte genereerd.

Ik moet denk ik binnenkort maar weer eens kijken naar mijn plannen om de verwijderbare tray voor 3x 3.5" schijven te vervangen door een metalen geval waar ik 22 2.5" schijfjes in kwijt zou moeten kunnen Maar ja, tijd en geld he... Dat, en ik mis de kennis om het daadwerkelijk werkend te krijgen

[Tsurany]

Of een mITX behuizing en combineren met een externe behuizing. Alleen dan gaat het als JBOD over een enkele eSATA poort. Vaak ook een wat langzamere controller denk ik.
Maar toch is het niet zo heel gek: pricewatch: Sharkoon 5-Bay RAID Box

Als je een kleine kast wilt en toch meer schijven wilt aansluiten kan dit prima werken. Je moet enkel geen requirements hebben voor een hoge snelheidsverbinding.

[ Voor 20% gewijzigd door Tsurany op 19-01-2014 23:07 ]

[DXaroth]

Xudonax schreef op zondag 19 januari 2014 @ 22:36:
En dat is het mooie van de Bitfenix Prodigy, dat ding is gebouwd om een stevige GPU te hebben en te koelen. Er zit helemaal voorin dan ook een 230mm fan, dus er zou genoeg luchtstroom moeten zijn om de schijven koel te houden. Sowieso is het verder niet écht een systeem dat veel warmte genereerd.

Ik moet denk ik binnenkort maar weer eens kijken naar mijn plannen om de verwijderbare tray voor 3x 3.5" schijven te vervangen door een metalen geval waar ik 22 2.5" schijfjes in kwijt zou moeten kunnen Maar ja, tijd en geld he... Dat, en ik mis de kennis om het daadwerkelijk werkend te krijgen

dat is niet zo moeilijk:

http://www.supermicro.nl/...2027/SSG-2027R-E1R24L.cfm

.. het enige nadeel is dat de sas controller on-board is, en het bord een 2-socket bord is ... dus dat wordt idd snel duur (met nadruk op snel.. en duur).

[Q]

-Venom- schreef op zondag 19 januari 2014 @ 21:13:
Misschien een stomme vraag maar werkt een simpele port multiplier ook goed met ZFS ?

Een SAS expander is vaak zo duur dat je beter gewoon 2x of 3x M1015 kunt kopen, wat ik dus zelf heb gedaan. Die dingen zijn 105 euro per stuk. En dan heb je de volle bandbreedte. Dit vereist wel een bord met voldoende 8x sloten (mag 4x electrisch zijn).

Als ik misschien een blogpost van mijzelf mag pluggen -> zie 'nas platform' in mijn signature: de X9SCM-F van SuperMicro is zo'n bord en daar kun je nog infiband, fibrechannel of quad-gigabit naast pluggen.

[ Voor 5% gewijzigd door Q op 20-01-2014 01:30 ]

[sphere]

Q schreef op maandag 20 januari 2014 @ 01:28:
Een SAS expander is vaak zo duur dat je beter gewoon 2x of 3x M1015 kunt kopen, wat ik dus zelf heb gedaan. Die dingen zijn 105 euro per stuk. En dan heb je de volle bandbreedte. Dit vereist wel een bord met voldoende 8x sloten (mag 4x electrisch zijn).

Volgens bij is dat niet zo. Ik heb begrepen dat die dingen niet werken in 4x elektrisch.

[FireDrunk]

Volgens mij wel hoor? Ik heb hem hier al eens in een x4 slot gehad volgens mij...

[Bolk]

Zo, long time no see

Ik heb ondertussen al ruim een jaar een SuperMicro server met 6 Disks in RAID-Z2 draaien en ben zeer tevreden Tijd om een 2e te gaan bouwen. Ik heb reeds een case met plaats voor 20 trays, en ik ga beginnen met een enkele RAID-Z pool van 5 disks. Enige wat ik niet zo snel kan vinden:

Weet iemand of een USAS2-L8e/i HBA van Supermicro om kan gaan met 3 TB disks?

[Q]

sphere schreef op maandag 20 januari 2014 @ 07:40:
[...]

Volgens bij is dat niet zo. Ik heb begrepen dat die dingen niet werken in 4x elektrisch.

Ik heb er 3 op dat moederbord en die doen het uitstekend.

[CooleSmurf]

@Bolk: ik heb sinds anderhalf jaar 8 seagate 3TB schijven hangen aan een Supermicro Add-on Card AOC-USAS2-L8e. Via VT-d geef ik ze in ESXi door en werkt probleemloos.

Let wel op de je de 2 (AOC-USA2-L8e) versie koopt en niet de (AOC-USA-L8e) versie (heb ik gedaan, kon gelukkig omruilen). Dan herkent hij de 3 TB schijven niet.

[ Voor 33% gewijzigd door CooleSmurf op 20-01-2014 10:28 . Reden: Toevoeging versie ]

[SadisticPanda]

trappel trappel..

http://ftp.freebsd.org/pub/FreeBSD/ISO-IMAGES-amd64/10.0/

nu nog wachten op de officele aanouncement?

[]Byte[]

Vraagje:
Ik ben nu aan het rondkijken voor een ander MB om van mijn probleem met PCIe af te komen wat (vermoedelijk) door de PLX-chip zou komen.
Ik heb ooit eens een overzicht gevonden van mainboards waarvan bekend is dat ze wel/niet goed werken met ZFSguru.
Ik kan die pagina alleen nergens meer vinden.
(en het is niet de pagina op ZFSguru die al bijna 2 jaar dood is)
Ik dacht toen al eens gezien te hebben dat er goede ervaringen waren met ASUS-borden (Maximus Extreme serie), maar ik zag vandaag dat die over dezelfde PLX-chip (PEX 8747) beschikt als mijn huidige Gigabyte-board ook heeft.
Nu heb ik alleen al voor de vier kaarten 28 lanes nodig. (en geen 20 zoals ik eerder zei - M1015 heeft x8 en geen x4)
Daarbij reken ik dan nog niet de onboard graphics/USB/... meuk mee.

Iemand een idee?

[InflatableMouse]

Ik snap dit niet ...

Van de IBM site over de M1015 SAS/SATA controller:

Eight internal 6 Gbps SAS/SATA ports
Supports SAS and SATA drives (but not in the same RAID volume)
Two Mini-SAS internal connectors (SFF-8087)
...
Connects to up to 16 SAS or SATA drives

Een SAS mini-port heeft toch een breakout naar 4 SATA connectors? Dus hoe kunnen ze zeggen dat er 16 drives aan kunnen als tie maar 2 van die mini-SAS connectors heeft?

[FireDrunk]

]Byte\[ schreef op maandag 20 januari 2014 @ 10:48:
Vraagje:
Ik ben nu aan het rondkijken voor een ander MB om van mijn probleem met PCIe af te komen wat (vermoedelijk) door de PLX-chip zou komen.
Ik heb ooit eens een overzicht gevonden van mainboards waarvan bekend is dat ze wel/niet goed werken met ZFSguru.
Ik kan die pagina alleen nergens meer vinden.
(en het is niet de pagina op ZFSguru die al bijna 2 jaar dood is)
Ik dacht toen al eens gezien te hebben dat er goede ervaringen waren met ASUS-borden (Maximus Extreme serie), maar ik zag vandaag dat die over dezelfde PLX-chip (PEX 8747) beschikt als mijn huidige Gigabyte-board ook heeft.
Nu heb ik alleen al voor de vier kaarten 28 lanes nodig. (en geen 20 zoals ik eerder zei - M1015 heeft x8 en geen x4)
Daarbij reken ik dan nog niet de onboard graphics/USB/... meuk mee.

Iemand een idee?

Als je echt zoveel lanes nodig hebt moet je naar een Socket 2011 bord gaan. Die zijn daar op gemaakt.
Dan krijg je dit soort CPU's
http://ark.intel.com/prod...Cache-up-to-3_80-GHz?q=39
http://ark.intel.com/prod...5M-Cache-2_20-GHz?q=e5-26

Beide 40 PCIe lanes.

@InflatableMouse
Door middel van een expander kan je er meer drives aan hangen.

[ Voor 91% gewijzigd door FireDrunk op 20-01-2014 11:11 ]

[InflatableMouse]

heb je daar een linkje van mischien?

Als ik in de pricewatch zoek denk ik niet dat je die bedoelt ..

Of bedoel je 'gewoon' van die SATA port multipliers?

[sphere]

Q schreef op maandag 20 januari 2014 @ 10:20:
Ik heb er 3 op dat moederbord en die doen het uitstekend.

OK, ik heb niet zorgvuldig genoeg geformuleerd. Ik geloof van harte dat het bij jou werkt, maar ik heb ook begrepen dat het in veel moederborden niet werkt, bijv in de B75 Pro3-M en andere borden idem dito. Soms helpt het om USB3 uit te zetten, of andere tweaks uithalen, maar niet altijd zomaar out-of-the-box.

https://www.google.nl/search?q=m1015+pcie+4x+electrical

[FireDrunk]

SATA port multipliers werken volgens de AHCI specificatie, en dat ondersteunen die controllers juist niet. Het zijn SAS controllers. SAS controllers horen in principe ook SATA te ondersteunen onder het mom van backwards compatibiliteit.

Wat ze waarschijnlijk bedoelen is dat ze maximaal 16 drives in 1 RAID volume ondersteunen. Als je twee controllers in je systeem hangt kun je volgens mij een spanned RAID volume maken van maximaal 16 drivers (2 controllers).

In IT-mode ondersteunen die controllers volgens mij gewoon 128 drives (de max van SAS).

[Bolk]

CooleSmurf schreef op maandag 20 januari 2014 @ 10:26:
@Bolk: ik heb sinds anderhalf jaar 8 seagate 3TB schijven hangen aan een Supermicro Add-on Card AOC-USAS2-L8e. Via VT-d geef ik ze in ESXi door en werkt probleemloos.

Let wel op de je de 2 (AOC-USA2-L8e) versie koopt en niet de (AOC-USA-L8e) versie (heb ik gedaan, kon gelukkig omruilen). Dan herkent hij de 3 TB schijven niet.

Sounds good! Thanks

[InflatableMouse]

@Firedrunk: bedankt voor de uitleg!

[Q]

sphere schreef op maandag 20 januari 2014 @ 11:12:
[...]

OK, ik heb niet zorgvuldig genoeg geformuleerd. Ik geloof van harte dat het bij jou werkt, maar ik heb ook begrepen dat het in veel moederborden niet werkt, bijv in de B75 Pro3-M en andere borden idem dito. Soms helpt het om USB3 uit te zetten, of andere tweaks uithalen, maar niet altijd zomaar out-of-the-box.

https://www.google.nl/search?q=m1015+pcie+4x+electrical

Sorry, maar als je dit soort kaarten in een consumenten bordje (ook zonder ECC geheugen) gaat stoppen dan is het ook niet echt gek dat het (soms) niet werkt.

[FireDrunk]

Wat heeft ECC hier nou weer mee te maken? Het is zeker bekend dat Consumenten borden slechtere BIOS/UEFI's hebben waardoor die kaarten slechter werken. Maar als je een fatsoenlijke vendor hebt (Intel bijvoorbeeld) dan is de kans net zo groot dat iets werkt als met server borden.

Server borden zijn ook echt niet heilig wat dat betreft...

[ItsValium]

Ik lees net in de aankondiging van FreeBSD dat er tegenwoordig ondersteuning is voor TRIM icm ZFS, wat moet ik me hier bij voorstellen, is het 'echt' TRIM of een workaround? Kan handig zijn gezien ik een aantal NAS/SAN's heb draaien met ZFS en all-SSD pools, waar ik op geregelde basis disk per disk een secure erase moet doen om de performance wat op te krikken. Kan één van de BSD experts hier iets meer over vertellen?

[FireDrunk]

Het is 'echt' TRIM maar dan wel voor ZFS. Er zijn ook een aantal TRIM sysctl waardes waarmee je dit alles kan regelen.

[root@NAS ~]# sysctl -a | grep trim
vfs.zfs.vdev.trim_on_init: 1
vfs.zfs.vdev.trim_max_bytes: 2147483648
vfs.zfs.vdev.trim_max_pending: 64
vfs.zfs.trim.enabled: 1
vfs.zfs.trim.txg_delay: 32
vfs.zfs.trim.timeout: 30
vfs.zfs.trim.max_interval: 1

SSD Pools hebben hier dus inderdaad zeker nut van.

[ Voor 6% gewijzigd door FireDrunk op 20-01-2014 14:11 ]

[ItsValium]

FireDrunk dank voor het snelle antwoord, dan ga ik hier dan toch eens achteraan zou mij toch wel wat manuele acties schelen per maand

[Dadona]

azz_kikr schreef op maandag 20 januari 2014 @ 10:27:
trappel trappel..

http://ftp.freebsd.org/pub/FreeBSD/ISO-IMAGES-amd64/10.0/

nu nog wachten op de officele aanouncement?

Je bent het bericht nu vast al tegengekomen: nieuws: Ontwikkelaars brengen versie 10.0 van FreeBSD uit
Veel plezier met FreeBSD en ZFS op je Raspberry Pi.

[jadjong]

S:00 H:0 T:0 
S:17 H:0 T:0 
S:17 H:10480 T:18124 
S:17 H:0 T:0 
S:17 H:0 T:0 
S:17 H:0 T:0

Rara welke disc is stuk.

[FireDrunk]

Ik denk de eerste, want die geeft allemaal Nulletjes

[Q]

FireDrunk schreef op maandag 20 januari 2014 @ 13:17:
Wat heeft ECC hier nou weer mee te maken? Het is zeker bekend dat Consumenten borden slechtere BIOS/UEFI's hebben waardoor die kaarten slechter werken. Maar als je een fatsoenlijke vendor hebt (Intel bijvoorbeeld) dan is de kans net zo groot dat iets werkt als met server borden.

Server borden zijn ook echt niet heilig wat dat betreft...

Jammer dat alles altijd zo expliciet moet worden uitgeschreven. Naast het nadeel dat die bordjes vaker incompatibel zijn, missen ze ook support voor ECC geheugen, dus mijn punt is: koop gewoon een server bordje en de kans dat je ellende meemaakt is een stuk kleiner.

[fluppie007]

Net effe een benchmark gedaan op een vrij goed gevulde pool. Bestaande uit 6x 3TB disks (ATA Hitachi HDS5C303 AAB0)

code:

ZFSguru 0.2.0-beta9 (9.2-001) pool benchmark
Pool            : storagepool (16.2T, 79% full)
Test size       : 256 GiB
normal read : 361 MB/s
normal write    : 249 MB/s
I/O bandwidth   : 31 GB/s

EDIT: Dit betreft een RAID-Z2 setup op een IBM M1015 (VT-D passthrough). Als OS gebruik ik FreeBSD met de ZFSguru schil .

Dit is op een ESXi bak (5.0 Update 2) met 16GB RAM en 2 Vcores. Mag ik tevreden zijn met deze cijfers?

[ Voor 12% gewijzigd door fluppie007 op 20-01-2014 19:31 ]

[DXaroth]

Wellicht handig om wat meer te vertellen over je setup...

6x3TB in een stripe performed namelijk een stukkie sneller dan 6x3TB in een mirror... en alle andere combinaties daar ergens tussenin.

Je kan ook Bonnie++ gebruiken.. deze geeft wat meer informatie qua output (sequential/random snelheden etc.)

[duiveltje666]

Waar kan ik trouwens de install scripts vinden voor de webinterface? de link op http://zfsguru.com/doc/bsd/zfsguru is dood

[Verwijderd]

Je bedoelt de web-interface?

[duiveltje666]

Verwijderd schreef op dinsdag 21 januari 2014 @ 21:23:
Je bedoelt de web-interface?

Is die download hetzelfde als bedoeld op die page met "Now we will download the ZFSguru web-interface scripts and extract it in the /usr/local/www/data folder:

fetch http://zfsguru.com/files/ZFSguru-0.1.6-script.tgz
tar xvfz ZFSguru-0.1.6-script.tgz" ?

[Verwijderd]

Ja, alleen dan de URL aanpassen en het tar commando ook aanpassen naar de bestandsnaam. Je moet wel weten dat deze manuele installatie unsupported is; je kunt tegen dingen aanlopen. De Livecd gebruiken voor een installatie is veel gemakkelijker en ook beter omdat bepaalde configuratie wordt ingesteld die je mist bij een manual install.

[Eagleman7]

Mijn UPS probleem is "opgelost" ik heb nog steeds apcupsd draaien die de ESXi server afsluit. Alleen na dat het afgesloten is wordt het niet meer automatish opgestart nadat de stroom weer terug is. Doormiddel van een scriptje op mijn router zou ik nog kunnen zeggen dat er een WoL pakketje verstuurt moet worden na 5 minuten uptime.

Ben op het moment nog in gesprek met APC over een "echte" oplossing, kreeg eerst een half sprekekende Nederlandse Albanese vrouw aan de telefoon. En nadat ik de survey had ingevuld kreeg ik ineens iemand een engineer uit Nederland aan de telefoon xD


Maar voordat ik weer helemaal offtopic ga:

Voordat ik met ZFS begonnen ben heb ik een serverertje in elkaar gezet zonder ECC ram. Pas een half jaar later ben ik eens gaan kijken naar ZFS (FreeNAS).

Als een pool corrupt raakt door het gebruik van non ECC zou je dit dus kunnen opvangen met de incremental backups die tot een half jaar lang terug gaan.
Het enigste risico wat ik nu nog loop is dat ik te maken kan krijgen met een bit flip maar om hier nu 1000 euro voor uit te gaan geven lijkt me een beetje een overkill.

Met incremental backups zorg ik er dus voor dat als mijn pool tussentijds corrupt raakt ik alsnog terug kan gaan tot voor die tijd.

Is dit een oplossing of mis ik nog iets?

[duiveltje666]

Verwijderd schreef op dinsdag 21 januari 2014 @ 21:41:
Ja, alleen dan de URL aanpassen en het tar commando ook aanpassen naar de bestandsnaam. Je moet wel weten dat deze manuele installatie unsupported is; je kunt tegen dingen aanlopen. De Livecd gebruiken voor een installatie is veel gemakkelijker en ook beter omdat bepaalde configuratie wordt ingesteld die je mist bij een manual install.

Haha , nou , heb vandaag mn cdspeler gesloopt in mn server .. en mn usbstick gaat over de pis als ie vanuit de webinterface een systemimage gaat downloaden

Dus kan alleen freebsd kaal vanaf usb-stick installen

[Verwijderd]

Noot: ik heb reacties verplaatst naar het DIY RAID NAS topic die over serverhardware gingen.
Graag daar verder discussiëren, bedankt!

[Verwijderd]

@duiveltje666
Als je ZFSguru op USB-stick hebt geinstalleerd en daarvan kan booten, dan ben je al een heel eind. Je zegt dat het mis ging toen je probeerde te downloaden. Maar je kunt ook tijdelijk 'tmpfs' dus memory disk mounten op de locatie waar wordt gedownload, mits je voldoende RAM-geheugen hebt (2GB+). Dan hoef je niet naar de USB-stick te schrijven.

Geloof me dat dat veel beter is dan kaal FreeBSD naar ZFSguru krijgen, want je mist alle config files en dingen die probleempjes kunnen veroorzaken. Zoals GPT-ids waardoor de namen van je disks die ZFS ziet kunnen veranderen van 'gpt/samsung-disk1' naar 'gptid/923848923798473298'. En in sommige gevallen kun je twee keer dezelfde disk zien in de web-interface, omdat de disk onder verschillende namen bekend is. Al dit soort dingen is met config files verholpen, maar die mis je als je handmatige route volgt.

Bedenk dat je prima op een ander systeem kunt installeren en dan kunt booten op een ander systeem. Het is geen Windows waarbij dat vaak niet werkt, bij Linux/UNIX hoort dat gewoon te werken.

Alternatief is om een mooie pricewatch: Zalman VE300 Zilver waarmee je een externe schijf hebt met een _iso directory en daarmee kun je hem ook als externe bootable CD/DVD/BluRay laten fungeren. Enorm handig voor ZFSguru, memtest en ander gein. Hiermee hoef je nooit meer cd/dvd-tjes te branden en kun je al je opticals de deur uit doen.

[duiveltje666]

uh .. hoe moet ik tmpfs mounten voor die download locatie?

[Verwijderd]

Daarvoor moet ik eerst weten hoe je installatie heet. Kun je mij geven de output van: zfs list

Je kunt op System->Command line dit uitvoeren en copypasten.

[duiveltje666]

de pool heet iig tank