Het grote ZFS topic

[Verwijderd]

ImmortalSoul schreef op donderdag 05 september 2013 @ 12:19:
Even een vraagje voor de zekerheid:
Ik heb ZFSguru 9.0-004 lopen met de 0.2.0-beta7 interface, en ik wil graag upgraden naar de nieuwste versie. Ik heb een Root-on-ZFS installatie.

Als ik nu 9.1-006 download en ook als Root-on-zfs installeer dan installeert hij deze op mijn huidige pool naast de huidige installatie en raak ik niet mijn data kwijt. Zodra ik dan een reboot doe pakt hij automatisch de nieuwe versie en hoef ik alleen maar mijn ZFS pool opnieuw te importeren + de samba shares opnieuw aan te maken.

Inderdaad, maar pool importeren hoeft ook niet. Je verliest je huidige services en samba share instellingen. Dus enige wat je hoeft te doen is op de Files pagina je nieuwe Samba shares maken en de nieuwe services te installeren die je gebruikte.

Je huidige (oude) installatie blijft behouden inclusief alle service gegevens. Je kunt deze later weer activeren op de System->Booting pagina. Dus je kunt ook altijd weer terug naar je oude installatie als je dat wilt.

FireDrunk schreef op donderdag 05 september 2013 @ 12:26:
Ja, maar je bent wel AL je verdere configuratie kwijt

Niet iedereen gaat zijn installatie buiten ZFSguru om customizen, dus het komt neer op Samba settings en services. Dat is prima in een paar minuutjes te fixen met wat muisklikjes.

jacovn schreef op donderdag 05 september 2013 @ 12:52:
Waaar download je eigenlijk 9.1-006 ?

Zoals gezegd download je de nieuwe versie bij stap2 van de installatieprocedure. Maar je kunt ook direct de nieuwe .iso downloaden:

bravo.zfsguru.com/livecd/ZFSguru-LiveCD-9.1-006-amd64-normal.iso
bravo.zfsguru.com/livecd/ZFSguru-LiveCD-9.1-006-amd64-gnome.iso (grafisch)

[Ravefiend]

Side note: nog wat interessant leesvoer voor beginners:

https://calomel.org/zfs_raid_speed_capacity.html

[DrDoo]

Ravefiend schreef op donderdag 05 september 2013 @ 15:49:
Side note: nog wat interessant leesvoor voor beginners:

https://calomel.org/zfs_raid_speed_capacity.html

De link doet bij mij niet veel...

[analog_]

DrDoo schreef op donderdag 05 september 2013 @ 16:13:
[...]


De link doet bij mij niet veel...

Goede achtergrond documentatie nochtans.

[DrFlash]

Niet heel erg goed, er staat bijv in dat raid 2,3 en 4 niet gebruikt worden in de IT industrie. 2 en 3 weet ik het dan niet zeker van. Maar ik weet wel zeker dat raid 4 gebruikt wordt. Raid 4 is de standaard bij NetApp filers, nogal een grote jongen als je het mij vraagt.

[webfreakz.nl]

Waarom RAID4? Is RAID5 niet beter omdat je dan de parity workload over meer disks verdeeld?

[DrFlash]

webfreakz.nl schreef op donderdag 05 september 2013 @ 16:58:
Waarom RAID4? Is RAID5 niet beter omdat je dan de parity workload over meer disks verdeeld?

ik werk niet bij netapp, moet je aan hun vragen. Weet alleen dat het zo werkt aangezien dat mij verteld is door netapp in de trainingen.

[FireDrunk]

NetApp heeft meerdere parities van het type RAID4, niet maar 1. Er is geloof ik een Horizontale en een Verticale parity berekening volgens mij. Het is vrij ingewikkeld, en hoort niet echt in dit topic.

Suffice to say: Oordeel niet te snel...

[batsma]

@FireDrunk

Ben je nog verder gekomen met ZFSGuru onder hyper-v 2012?
zo ja, zou je willen aangeven hoe?
zo nee, mis je iets of heb je wat nodig? misschien kan ik helpen, zou namelijk wel graag een kant en klare oplossing voor thuis willen gebruiken (ZFSGuru) is wel zo makkelijk

[FireDrunk]

Ik ben er eerlijk gezegd niet meer mee bezig geweest omdat hier al iemand had bevestigd dat het werkte icm ZFSonLinux. FreeBSD onder Hyper-V draaien heb ik nog niet geprobeerd fatsoenlijk werkend, en een van mijn belangrijkste onderzoekspunten was om te kijken of de SCSI controller van Hyper-V met ZFS werkte. Nu dat blijkbaar werkt, is de noodzaak voor mij wat lager geworden.

Ik ben momenteel bezig om een Clustertje te maken, maar ik weet nog niet zeker of ik ESXi of Hyper-V ga draaien. Mocht ik daar Hyper-V op gaan draaien, zal ik nog weer eens een poging wagen om FreeBSD aan de praat te krijgen.

Maar verwacht niet binnen enkele dagen resultaat.

[batsma]

Klopt, ZFSonLinux werkt, er staat in dit topic zelfs nog een handleiding van mij hoe je dit op kunt zetten. Maar voor mij als Linux leek, en waarschijnlijk ook anderen, is dit vrij veel werk en bij eventuele issues ben je altijd aangewezen op de liefdadigheid van anderen. vandaar mijn vraag, een kant en klaar pakket is dan wel zo simpel.

nou ja, in ieder geval bedankt voor de moeite, en mocht je toch nog gaan experimenteren hou ons/mij dan op de hoogte

mag ik vragen hoe je dat cluster in je hoofd had zitten?

[FireDrunk]

Ik heb een 2 setjes gekocht (G1610 + ASRock H77 Pro4-M) en heb nog wat ram liggen.
Komen in Chenbro 1U kastjes icm PicoPSU's (ook allemaal al liggen).

Verbruik onder Hyper-V 2012 is 21W, verbruik onder ESXi is 25-26W.

Heb gister mijn Quad port 4Gb Fibre Channel kaartjes binnen gekregen, die verbruiken onder ESXi 12W. Ik moet nog kijken of ze onder Windows minder verbruiken.

Als het veel verschil maakt blijf ik bij Hyper-V denk ik.

[wallyberk]

Firedrunk, wat is het voordeel van ZFS in combinatie met Fibre Channel?

Of kan je over een Fibre Channel lun ook iets ander gooien dan een block device?

[FireDrunk]

Fibre Channel is heel snel, meer niet. Voor een ESXi clustertje is het gewoon leuk

[wallyberk]

Oke jammer, ik hoopte dat ZFS functies (zoals replication) werkte via Fibre Channel.

[ilovebrewski]

Ik ben vandaag aan het rommelen geweest met ZFSguru versie 9.1-006.
nu heb ik de drie onderstaande meldingen (ook wanneer ik terug ga naar 9.1-005):

Warning: failed fetching remote file zfsguru_system.txt from any master server - check your internet connection!

Notice: using an outdated offline copy for system images.

Notice: using an outdated local copy of the service database.

Er is gewoon een internetverbinding aanwezig en heb al een paar keer herstart.
Anderen die ook deze meldingen hebben of heb ik weer iets gedaan?

[ Voor 42% gewijzigd door ilovebrewski op 08-09-2013 22:07 ]

[Durandal]

batsma schreef op vrijdag 06 september 2013 @ 10:41:
Klopt, ZFSonLinux werkt, er staat in dit topic zelfs nog een handleiding van mij hoe je dit op kunt zetten. Maar voor mij als Linux leek, en waarschijnlijk ook anderen, is dit vrij veel werk en bij eventuele issues ben je altijd aangewezen op de liefdadigheid van anderen. vandaar mijn vraag, een kant en klaar pakket is dan wel zo simpel.

Nu klinkt het echt zo alsof je veel problemen met ZoL gaat krijgen, maar dat is echt niet zo.

Ubuntu installeren gaat net zo makkelijk als windows, en ZoL is ook een paar regels typen en je ZPool aanmaken is er ook maar een. Samba is een config filetje instellen en dan heb je al hetzelfde als een ZFS nasje.
Onderhoud is echt nagenoeg niets.

[syl765]

@ilovebrewsky

Heb je hier wat aan.

http://zfsguru.com/forum/zfsgurusupport/286

Gr
Johan

[HyperBart]

Je hebt een statisch ip gegeven en resolv.conf niet aangepast... (?)

[FireDrunk]

wallyberk schreef op vrijdag 06 september 2013 @ 16:44:
Oke jammer, ik hoopte dat ZFS functies (zoals replication) werkte via Fibre Channel.

Ik zag net dat er in de LSI driver LAN over Fibre Channel functionaliteit zit, in theorie kan het dus waarschijnlijk wel. Maar garanties kan ik nog niet geven.

[Duikhond]

Ik heb al enige tijd een NAS gedraaid op Ubuntu server (10.x) met 5 2TB disken in Raid 5. Wil nu overstappen op ZFS, maar weet niet goed welke OS te kiezen en had graag een advies van jullie kant.

De hardware:
Gigbayte moederbordje met 8GB ram en AMD64 processor
5x 2TB Seagates voor RAIDZ
1x 120Gb harddisk dedicated voor Zoneminder beelden (wekelijkse backup naar RAIDZ volume)
1x 60GB Kingston SSD voor OS en L2ARC

Gebruik:
- Opslagplaats voor media (films, muziek etc), geen directe streaming, afspelen gebeurt op dedicated XBMC doos
- Zoneminder voor 3 IP camera's. Dit is mijn struikelblok: ik moet een OS hebben dat Zoneminder goed kan draaien EN en goede ZFS implementatie heeft.
- Webserver nog nader te bepalen.

Zoekende kom ik op ofwel FreeBSD (of de NAS4Free variant), ofwel toch weer Ubuntu server 12.04LTS waar nu blijkbaar native ZFS in kan.

Wat is jullie advies?

Kleine sidenote: Ik ga er even vanuit dat de L2ARC op een partitie van de SSD kan waar ook het OS op staat. Ook vind ik een goede webinterface belangrijk (gebruikte nu Webmin, maar NAS4Free ziet er ook goed uit).

[ Voor 5% gewijzigd door Duikhond op 09-09-2013 10:59 ]

[Q]

Kies het platform waar je bedreven mee bent.

[Duikhond]

@Q,
Geen grote verschillen in performance voor ZFS in de diverse OS'sen?

[pierce]

Kan iemand een sata controller kaart aanraden om te gebruiken icm zfs, budget ongeveer 50 euro?
Twee keer sata is voldoende en moet PCI-e zijn.

[FireDrunk]

ASMedia 1061 / 1062. Kosten op ebay 11,- ofzo.

[pierce]

andere opties dan ebay? (duurt eeuwen voordat ik het in huis heb...)

[jacovn]

Deze wellicht: pricewatch: Conceptronic PCI Express Card SATA 600

Zelfde kaart alleen 25 euro in NL..

[ Voor 11% gewijzigd door jacovn op 09-09-2013 13:40 ]

[0xDEADBEEF]

pierce schreef op maandag 09 september 2013 @ 12:46:
Kan iemand een sata controller kaart aanraden om te gebruiken icm zfs, budget ongeveer 50 euro?
Twee keer sata is voldoende en moet PCI-e zijn.

pricewatch: Startech 2 Port SATA 6 Gbps PCI Express SATA Controller Card

pricewatch: Highpoint Rocket 620 Deze lijkt instabiel te zijn: http://lists.freebsd.org/...011-September/063852.html

(via http://tweakers.net/categ...J0gjSD7JVGrrUTWD2408mT1n4)

[ Voor 24% gewijzigd door 0xDEADBEEF op 09-09-2013 17:16 ]

[pierce]

0xDEADBEEF schreef op maandag 09 september 2013 @ 16:56:
[...]

pricewatch: Startech 2 Port SATA 6 Gbps PCI Express SATA Controller Card
pricewatch: Highpoint Rocket 620
(via http://tweakers.net/categ...J0gjSD7JVGrrUTWD2408mT1n4)

De pricewatch kan ik wel vinden hoor Maar daar wordt natuurlijk niet vermeld of de controller geschikt is voor zfs.
Ik dacht trouwens ergens in dit topic te hebben gelezen dat die highpoint geen goede is voor zfs?
Anders wil ik de Highpoint 640L namelijk nog wel overwegen.

[ilovebrewski]

HyperBart schreef op maandag 09 september 2013 @ 00:28:
Je hebt een statisch ip gegeven en resolv.conf niet aangepast... (?)

Vraag me niet hoe ik het gedaan heb maar het lijkt dat ik per ongeluk een regel heb verwijderd.
Nu geen meldingen meer

[FireDrunk]

HighPoint zou ik inderdaad niet voor ZFS gebruiken, TENZIJ (en dat is een grote tenzij) hij gebruik maakt van de native AHCI driver, maar dat doen ze zelden... HighPoint levert meestal gewoon een custom driver mee.

De ASMedia daarentegen werkt gewoon met de AHCI driver.

[jacovn]

Die kaart die ik linkte heeft een asmedia 1061 chipset, en kost 25 euro. Nog snel bestellen heb je hem morgen in huis via meerdere leveranciers.

[Bigs]

Waarom kan ZFS toch zo slecht met vol rakende pools omgaan? En met vol raken bedoel ik relatief vol raken (95%). Zodra ik op onderstaand systeem wat lichte I/O doe (in dit geval 2 rsyncs.. misschien 80 IOPS en paar honderd KB/s) stort het hele systeem in elkaar, je kunt er niet eens meer naar SSH'en:

[root@- ~]# zpool list
NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
tank 13.6T 13.0T 591G 95% 1.00x ONLINE -

[root@- ~]# uname -a
FreeBSD - 9.1-RELEASE-p6 FreeBSD 9.1-RELEASE-p6 #0: Wed Aug 21 20:40:52 UTC 2013 [e-mail]:/usr/obj/usr/src/sys/GENERIC amd64

[ Voor 5% gewijzigd door Bigs op 09-09-2013 22:06 ]

[FireDrunk]

Geef eens iets meer info, klakkeloos roepen dat het aan ZFS ligt is natuurlijk een beetje kort door de bocht.
Heb je je logs al bekeken? kan je wel fysiek iets op de server? Is het ding niet aan het pagen?
Staat je root partitie op dezelfde pool? In het geval van zfsguru, is je log filesystem niet gewoon vol?

Uitgebreide specs zijn ook wel handig.

[ Voor 6% gewijzigd door FireDrunk op 09-09-2013 22:07 ]

[0xDEADBEEF]

Bigs schreef op maandag 09 september 2013 @ 22:02:
Waarom kan ZFS toch zo slecht met vol rakende pools omgaan? En met vol raken bedoel ik relatief vol raken (95%). Zodra ik op onderstaand systeem wat lichte I/O doe (in dit geval 2 rsyncs.. misschien 80 IOPS en paar honderd KB/s) stort het hele systeem in elkaar, je kunt er niet eens meer naar SSH'en:


[...]

Gelukkig heeft FreeBSD software aan boord om inzicht in I/O-belasting te geven, zoals zdb, zpool iostat <pool>, iostat/vmstat/pstat/gstat

Volgens mij wordt het overigens sterk afgeraden je pool zover vol te maken:
http://www.osdevcon.org/2...s_internals_uli_graef.pdf
http://jhell.googlecode.com/files/ondiskformat0822.pdf
http://www.osdevcon.org/2008/files/osdevcon2008-max.pdf

[Bigs]

Het probleem lost zich op zodra er op de pool meer ruimte vrij is (nu is er 1.04T vrij en loopt alles als een zonnetje). Op het moment dat de pool 'vol' raakt (nog 500GB beschikbaar) zie je dat een simpele operatie die in zpool iostat 80 writes/s op de pool laat zien ervoor zorgt dat de schijven vol bezig zijn (iostat -x laat een %b van 60~95%) zien. Het lijkt alsof ZFS dus heel veel housekeeping moet doen of de data niet efficient kan wegschrijven. Zodra er meer vrij is verdwijnt het probleem (ik kan nu dus ook niets testen zonder m'n pool eerst vol te schrijven).

Ik heb dit al eerder meegemaakt op een server met een single-disk pool en op internet lees je ook veel verhalen van mensen bij wie de performance inzakt zodra de pool >90% vol raakt. Vandaar dat het mij echt een issue met ZFS lijkt. Ik bedoel op deze manier kan ik de laatste 500GB van mijn schijven gewoon niet gebruiken, dat is wel een beetje vreemd niet? (heb dat met andere volume managers/filesystems nog nooit meegemaakt)

Specs zijn als volgt:

• Supermicro barebone
• Xeon E3-1220L
• 8 GB RAM
• LSI SAS HBA (mps driver)
• 5x 3TB Seagate Constellation ES.2 harddisks
• FreeBSD 9.1 (geen zfsguru of andere tools)
• RAIDZ2 pool van bovenstaande schijven
• Server doet niets anders dan 's nachts wat rsyncen van andere systemen

Ik zie twee issues met het systeem: mogelijk te weinig geheugen (hoe stel je dat vast? hij swapt niet) en er wordt swap op ZFS gebruikt.

[FireDrunk]

Swap op ZFS, dat lijkt mij hier niet handig. Als ZFS druk is met housekeeping ten tijden van die laatste paar honderd GB, is er denk ik heel veel geheugen nodig om alles te rangschikken. Op dat moment zit je RAM waarschijnlijk vol en gaat ZFS swappen... Naar de pool waar hij housekeeping op aan het doen is. En heeft hij dus nog meer RAM nodig, en dus.... word alles traag...

Is meer mijn educated guess... Maar ik denk dat je met een sloot RAM wel verder komt. Maar garanties kan ik niet geven.

Simpele test, pak een SSD, partioneer die als swap device en probeer het nog eens. (en disable de oude swap).

[ Voor 9% gewijzigd door FireDrunk op 10-09-2013 08:22 ]

[Bigs]

Het zou kunnen, er wordt op piekmomenten 320 MB swap gebruikt wat niet veel is maar wel tot een aardige deadlock kan leiden. Ik zal eens kijken of ik hier nog wat geschikt RAM heb liggen. Een extra swap device toevoegen vind ik onwenselijk (aangezien ik dat dan ook weer redundant moet uitvoeren en het nauwelijks wordt gebruikt), dus als het swappen voorkomen kan worden zou dat mooi zijn (al weet ik dat je swappen niet kunt voorkomen in unix-achtige systemen).

[FireDrunk]

Uiteraard is een nieuw Swap device niet handig, maar als tijdelijke oplossing om te kijken het je probleem verhelpt, lijkt het mij wel een goede stap.

Je kan ook even kijken of je van je SWAP ZVOL de reservation property kan aanpassen. Misschien dat dat scheelt.

[sphere]

Hoe bruikbaar is ZFSonLinux momenteel? Ik zie nog bergen milestones open voor er een stable versie klaar is: krap 400 issues.

https://github.com/zfsonlinux/zfs/issues/milestones

Aan de andere kant kan ik ook nog wel een tijd wachten voordat Xen/FreeBSD in dom0 kan draaien...

[FireDrunk]

Wil je perse zfs in je main os dan? Je kan toch zfs virtualiseren?

[Xudonax]

ZFS on Linux 0.6.2 is goed stabiel. Draai het hier ook, en werkt perfect. Ook inclusief KVM merk ik niets van problemen. Je kunt ZFS inderdaad ook virtualiseren, maar dan moet je weer iets anders hebben voor je VM storage lijkt me

[Geckx]

Is het af te raden om tijdens het resilveren bestanden te lezen van je storage? Of maakt het niks uit?

[FireDrunk]

Maakt niet uit, je resilver heeft alleen lagere prio, dus je remt hem af als je iets geks gaat doen.

[Geckx]

Ok bedankt. Kunnen we vanavond nog rustig filmpje kijken

[enthernal]

Wat ZFS-on-Linux betreft, bedoel je in termen van stabiel draaien of van toeters en bellen? Qua stabiliteit is het zeker voldoende. Ik draai het hier op 2 systemen en beide werken perfect (het ene is test-systeem en krijgt aardig wat te verduren, maar nog geen problemen met ZFS ). Wat toeters en bellen betreft, de meeste/grootste toeters zitten er op. Er zijn natuurlijk wel wat belletjes hier en daar die er nog aan moeten, maar die heb je voor gewoon gebruik niet nodig.

[FireDrunk]

Is er iemand die al eens getest heeft of meerdere SLOG/ZIL devices de snelheid ten goede komt?
Ik lees op internet tegenstrijdige verhalen, de een zegt dat het wel schaalt, de ander zegt van niet.

Ik zit te denken om 4 SSD's als ZIL te gebruiken voor een 6 disk RAIDZ2 pool ten behoeve van Virtual machines. Iemand een idee?

[HyperBart]

FireDrunk schreef op dinsdag 10 september 2013 @ 19:33:
Maakt niet uit, je resilver heeft alleen lagere prio, dus je remt hem af als je iets geks gaat doen.

Een scrub daarentegen . Die had ik eens aangezet en daarna een filmpje gaan kijken, ging niet goed nie.

[FireDrunk]

* Prioritize resilvering by setting the delay to zero
set zfs:zfs_resilver_delay = 0

* Prioritize scrubs by setting the delay to zero
set zfs:zfs_scrub_delay = 0

Even hoger zetten dus

root@NAS:/datapool/data/Linux # sysctl -a | grep resilver
vfs.zfs.resilver_delay: 2
vfs.zfs.resilver_min_time_ms: 3000
root@NAS:/datapool/data/Linux # sysctl -a | grep scrub
vfs.zfs.scrub_delay: 4
vfs.zfs.no_scrub_io: 0
vfs.zfs.no_scrub_prefetch: 0
root@NAS:/datapool/data/Linux #

De defaults op mijn systeem. Hoe hoger, hoe minder prioriteit.

[ Voor 46% gewijzigd door FireDrunk op 11-09-2013 10:03 ]

[jadjong]

FireDrunk schreef op woensdag 11 september 2013 @ 09:10:
Is er iemand die al eens getest heeft of meerdere SLOG/ZIL devices de snelheid ten goede komt?
Ik lees op internet tegenstrijdige verhalen, de een zegt dat het wel schaalt, de ander zegt van niet.

Ik zit te denken om 4 SSD's als ZIL te gebruiken voor een 6 disk RAIDZ2 pool ten behoeve van Virtual machines. Iemand een idee?

De mijne werd automatisch een mirror bij het toevoegen van een 2e ZIL, de cache werd wel een stripe.

[FireDrunk]

Dit ligt aan je commando?

zpool add log gpt/SLOG1 gpt/SLOG2
of
zpool add log mirror gpt/SLOG1 gpt/SLOG2

[syl765]

@firedrunk.

Het is absoluut aan te raden de Slog als mirrors in de pool te plaatsen.
Een slog device kan data corruptie veroorzaken als deze wegvalt.

[Durandal]

sphere schreef op dinsdag 10 september 2013 @ 16:40:
Hoe bruikbaar is ZFSonLinux momenteel? Ik zie nog bergen milestones open voor er een stable versie klaar is: krap 400 issues.

https://github.com/zfsonlinux/zfs/issues/milestones

Aan de andere kant kan ik ook nog wel een tijd wachten voordat Xen/FreeBSD in dom0 kan draaien...

Ik zou zeggen heel bruikbaar. Draai het nu bijna een jaar de stabiele versie zonder problemen, 24TB netto, ong. kwart vol.
Ik heb al diverse updates gekregen en dat ging goed, heb een slechte disk gehad en die is later gestorven en dat heeft hij ook zonder issues overleefd.

Die milestones zijn denk ik voor de volgende stable release.

[FireDrunk]

syl765 schreef op woensdag 11 september 2013 @ 21:00:
@firedrunk.

Het is absoluut aan te raden de Slog als mirrors in de pool te plaatsen.
Een slog device kan data corruptie veroorzaken als deze wegvalt.

Dat is alleen maar voor pool versie v28. Daarna maakt het niets meer uit. Als je SLOG uitvalt gaat ZFS gewoon weer de ZIL op je pool plaatsen.

Ik lees op een hoop blogs dat mirrored SLOG alleen maar handig is om de performance hit op te vangen ten tijde van het falen van een SLOG.

[Snow_King]

sphere schreef op dinsdag 10 september 2013 @ 16:40:
Hoe bruikbaar is ZFSonLinux momenteel? Ik zie nog bergen milestones open voor er een stable versie klaar is: krap 400 issues.

https://github.com/zfsonlinux/zfs/issues/milestones

Aan de andere kant kan ik ook nog wel een tijd wachten voordat Xen/FreeBSD in dom0 kan draaien...

Ik draai meerdere ZFS on Linux systemen:

* Mijn desktop met een single disk, makkelijk /home snapshotten
* Een productie storage server met 8x 1TB in RAIDZ2, draait al maanden perfect (doet NFS)
* Een productie server met 16x 3TB in 2x RAIDZ2 en draait ook al maanden perfect

Ik heb echt niets aan te merken op ZFSonLinux, werkt gewoon lekker.

Moet wel zeggen dat alle andere ZFS systemen (~12) binnen het bedrijf allemaal FreeBSD draaien.

[ Voor 6% gewijzigd door Snow_King op 12-09-2013 10:54 ]

[Kek]

Hoi medetweakers,

Ik ben van plan een Nas4Free box te maken met een aantal WD green 2tb schijven.

Ik vroeg mij af wat de beste snelheid en veiligheid geeft als ik ZFS wil gaan gebruiken.

De hardware zal een ASRock B75 Pro3-M mobo zijn, vooralsnog geen extra sata/raid kaart
een berg RAM (weet nog niet hoeveel) en een G1610 als cpu.

Wat zal het beste en veiligste resultaat zijn met ZFS als ik 4 a 5 schijven wil gaan gebruiken?

ik zat zelf te denken aan raidz1, maar andere opties hoor ik graag...


Dank voor het mee denken.

[FireDrunk]

Als je echt de veiligste oplossing wil, kan je voor een drieweg mirror gaan, of voor RAIDZ3.
Maar dat is overdreven.
5 schijven icm RAIDZ1 zou in principe goed genoeg zijn. 4 kan ook wel, alleen kost je dat een klein beetje performance omdat het een niet optimaal aantal schijven is voor RAIDZ.

Ik zou voor minimaal 8GB, maar liever 16GB RAM gaan.

[Kek]

en RAIDZ1 met die wd greens is geen probleem met time-limited error recovery ?

het zal in een esxi bak komen waar ook nog wat andere vm's in draaien (zie andere topic), ik plan om er 16 gb in te doen en dan bijv. 12gb aan de nas te geven.

[ Voor 14% gewijzigd door Kek op 12-09-2013 12:30 ]

[FireDrunk]

Nee, ZFS heeft niets van doen met TLER (tenminste, het gaat er niet kapot van).
Wel zul je met VT-d moeten werken, want de onboard controller ga je niet door kunnen geven als daar al VM's op moeten draaien.

Een M1015 is aan te raden.

[Kek]

alleen de schijven doorgeven werkt dus niet? dat zal via een extra controller moeten?

[FireDrunk]

Jup.

[Kek]

FireDrunk schreef op donderdag 12 september 2013 @ 12:30:


Een M1015 is aan te raden.

Weet je ook nog een goede voor een wat kleinere beurs?

[DrDoo]

Sil3112 of Sil3114 voor weinig op ebay.
Dan je onboard sata poorten doorgeven.

[syl765]

@firedrunk

vanaf versie 28 kan je inderdaad je slog verwijderen, en zullen de gewone schijven de slog functionaliteit weer opvangen, maar het kan zijn dat als je slog verdwijnt, en je server herstart dat er data is blijven staan, of nog niet is weggeschreven.
Als dit je overkomt, dan moest het zo zijn, maar het kan wel.!!!

Any data in the ZIL/SLOG also is in the ARC until it is flushed to the spinning HDDs, which NexentaStor does every five seconds by default. Thus, only if the SLOG device fails and controller power is lost within five seconds would data be lost

http://www.nexenta.com/co...zfss-hybrid-storage-pool-

[FireDrunk]

Als je slog device faalt, staan de writes zelf nog gewoon in RAM en kan ZFS de writes gewoon weer terughalen... Het is een LOG, geen Cache. Op een aantal Oracle blogs werd daar best uitgebreid over gesproken. Een SLOG kwijtraken is dus helemaal niet erg. Behalve als je inderdaad vlak daarna ook power verliest. In het geval je voeding dus klapt heb je inderdaad een probleem.

Maar dat heb je ook als je een gemirrorde SLOG setup hebt... Enige verschil is, als je SSD's hebt met powercaps, dan schrijven ze hun laatste writes nog naar NAND.

En de kans dat zowel je SSD als je RAM tegelijkertijd falen is vrij klein, tenzij je hele server faalt, en dan heb je sowieso al een probleem...

[com2,1ghz]

Op mijn server heb ik Proxmox draaien en ZFS-Fuse. Echter krijg ik niet voor elkaar om ZFS-Fuse op te laten starten bij boot. Hij staat wel ingesteld in rc.d dmv ' update-rc.d zfs-fuse defaults'.
Het lijkt op een distro probleem waardoor het mis gaat met /var/run/zfs-fuse.pid file. Zelfs als ik start met '/etc/init.d/zfs-fuse start' krijg ik een fout dat hij niet gestart kan wordn. Behalve als ik de pid file weghaal start hij zonder problemen op. Totdat ik reboot. En het probleem is ook dat ik mn zpool constant moet importeren en moet mounten.

Heeft iemand een oplossing voor mijn probleem?

ZoL is mij ook niet gelukt omdat ik de kernel modules mis. HIervoor zou ik de headers van mn kernel moeten downloaden.

[FireDrunk]

Die headers zijn el te downloaden, ik verwacht alleen dat de proxmox kernel veel te oud is voor veel van die software.
Proxmox zit volgens mij nog op 2.6.38-41 of zo.
En icm zfs is dat niet aan te raden...

[Mafketel]

Kek schreef op donderdag 12 september 2013 @ 12:41:
[...]
Weet je ook nog een goede voor een wat kleinere beurs?

Minder schijven aansluiten

die 8 poorts sas kaart is gewoon het goedkoopste per poort voor elke beurs.

Heb je echt geen budget haal dan een 2dehands moederbord, cpu en geheugen en gebruik die poorten voor een tweede systeem. complete 6 poorts sata pc's zijn voor niet al te veel te kopen.

nevermind.... je zat met een allinoneserver probleem.... dat is een van de weinige situaties waar zon extra controllertje handig kan zijn.

[ Voor 13% gewijzigd door Mafketel op 14-09-2013 09:33 . Reden: niet ver genoeg terug gelezen ]

[Habana]

FireDrunk schreef op donderdag 12 september 2013 @ 12:30:
Nee, ZFS heeft niets van doen met TLER (tenminste, het gaat er niet kapot van).
Wel zul je met VT-d moeten werken, want de onboard controller ga je niet door kunnen geven als daar al VM's op moeten draaien.

Een M1015 is aan te raden.

Ik dacht dat schijven met TLER zoals de WD-RED's niet geschikt waren voor ZFS , of ieder geval niet lekker samen gaan?, of heb ik dat verkeerd begrepen?

@ FireDrunk onder: Het kan dus wel maar niet aan te bevelen, of ieder geval indien mogelijk TLER disablen, ik begon even te twijfelen daar ik regelmatig zie dat mensen deze RED´s gebruiken in samen met ZFS en daardan niet op gewezen worden, thanks voor de respons FireDrunk

[ Voor 22% gewijzigd door Habana op 14-09-2013 14:07 ]

[FireDrunk]

Nou ja, dat was ook de tenminste die ik noemde. ZFS heeft geen TLER nodig, maar kan ook prima met TLER schijven werken. Enige nadeel van TLER icm ZFS is dat je schijven misschien niet hun uiterste best doen om juist een bad sector te recoveren. Dus *als* je een kapotte disk hebt, en je rebuild, *en* er komt een bad sector langs, is het beter dat de schijf de bad sector probeert te repareren, dan dat de schijf vroegtijdig opgeeft, en je dus potentieel een file verliest. ZFS zal er nooit helemaal corrupt door raken, er zal hooguit een file kapot gaan waar de bad sector zich in bevindt.

[com2,1ghz]

FireDrunk schreef op zaterdag 14 september 2013 @ 07:33:
Die headers zijn el te downloaden, ik verwacht alleen dat de proxmox kernel veel te oud is voor veel van die software.
Proxmox zit volgens mij nog op 2.6.38-41 of zo.
En icm zfs is dat niet aan te raden...

Ja dat klopt. Dat zeggen ze ook op het Proxmox forum.
Ik gebruik nu zfs-fuse en heb het start-on-boot probleem opgelost met een iets minder nette manier. In rc.local doe ik het volgende:

/etc/init.d/zfs-fuse start
zfs mount -a

Het gaat hier niet om OS disks maar om data schijven dus dit zal wel goed blijven werken.

[Compizfox]

Ik had een RAIDZ1-pool van 3 disks, waarvan 2 dezelfde (750 GB) en 1 andere (1 TB). Nu heb ik twee van diezelfde 1 TB disks erbij gekocht om m'n pool netjes te maken en hem dus te laten bestaan uit 3 dezelfde, 1 TB disks.
Ook de ashift moet aangepast worden, dus mijn idee was om die ene 1 TB disk uit m'n oude pool te verwijderen (zodat ie degraded is) en dan een nieuwe pool aan te maken met de 3 1 TB schijven. Dan kan ik de data overkopieeren. Een disk verwijderen blijkt echter niet mogelijk te zijn, maar ik las dat je de pool kunt destroyen en opnieuw aan kunt maken met de 2 overgebleven schijven. Ik krijg het echter niet voor elkaar.

Namen van de schijven:

Pool 1:
gpt/Storage1 750 GB
gpt/Storage4 750 GB
gpt/Storage5 1 TB

Twee nieuwe schijven:
gpt/Storage6 1 TB
gpt/Storage7 1 TB

Ik heb geprobeerd met zpool create gpt/Storage1 gpt/Storage4 de pool weer aan te maken, maar dat maakt een nieuwe pool aan. M'n oude pool ligt dus nu uit elkaar en ik weet niet hoe ik hem kan recoveren. Wat moet ik doen?

[ Voor 5% gewijzigd door Compizfox op 14-09-2013 15:44 ]

[Durandal]

Volgens mij kun je de disk gewoon fysiek verwijderen en dan blijft je pool van 2x750 degraded doordraaien.

Je moet dan alleen die gebruikte 1TB disk schoonmaken (boot sector wissen oid? - precies weet ik dit niet) zodat ZFS hem niet opnieuw vind en je hem kan gebruiken in je nieuwe 3x1TB pool.

[Compizfox]

Durandal schreef op zaterdag 14 september 2013 @ 15:45:
Volgens mij kun je de disk gewoon fysiek verwijderen en dan blijft je pool van 2x750 degraded doordraaien.

Dat wil ik niet, de disk moet onderdeel worden van een nieuwe pool. Ik kon de disk wel offline gooien maar dat verwijdert hem niet uit de pool, en op die manier kon ik hem dus niet toevoegen aan de nieuwe pool.

Je moet dan alleen die gebruikte 1TB disk schoonmaken (boot sector wissen oid? - precies weet ik dit niet) zodat ZFS hem niet opnieuw vind en je hem kan gebruiken in je nieuwe 3x1TB pool.

Mijn vraag op dit moment is hoe ik mijn oude pool recover, want ik geloof dat de data er nog allemaal is. Alleen de pool zelf is weg...

[Durandal]

Dat disk verwijderen was een voorbeeld om aan te geven dat je niets hoefde te doen met je oude pool en je je 1TB disk voor je nieuwe kon gebruiken.
Doe in ieder geval nog even niets met die 2x750's.

E.e.a hangt ook een beetje af van je OS. ZFS guru?

[jimmy87]

FireDrunk schreef op zaterdag 14 september 2013 @ 07:33:
Die headers zijn el te downloaden, ik verwacht alleen dat de proxmox kernel veel te oud is voor veel van die software.
Proxmox zit volgens mij nog op 2.6.38-41 of zo.
En icm zfs is dat niet aan te raden...

Proxmox zal ook nooit hoger krijgen dan dat zolang ze openvz nog ondersteunen, die stopt na kernel 2.6.

[Compizfox]

Durandal schreef op zaterdag 14 september 2013 @ 15:51:
Dat disk verwijderen was een voorbeeld om aan te geven dat je niets hoefde te doen met je oude pool en je je 1TB disk voor je nieuwe kon gebruiken.
Doe in ieder geval nog even niets met die 2x750's.

E.e.a hangt ook een beetje af van je OS. ZFS guru?

Jup, ZFSGuru.

[Durandal]

Dan haak ik af en kan je beter even wachten op de zfs guru gurus.
Volgens mij ben je nog niets kwijt.

[ Voor 4% gewijzigd door Durandal op 14-09-2013 16:15 ]

[Compizfox]

De ZFS ervan is hetzelfde hoor, dat verschilt niet tussen operating systems.

Dit is trouwens wat zpool import ervan zegt:

code:

   pool: Data
     id: 6975638004222885187
  state: UNAVAIL
 status: One or more devices are missing from the system.
 action: The pool cannot be imported. Attach the missing
    devices and try again.
   see: http://illumos.org/msg/ZFS-8000-3C
 config:

    Data                     UNAVAIL  insufficient replicas
      raidz1-0               UNAVAIL  insufficient replicas
        9089533342236109654  UNAVAIL  cannot open
        gpt/Storage5         ONLINE
        5239209975426519292  UNAVAIL  cannot open

Het lijkt dus er dus op dat hij gpt/Storage1 en gpt/Storage4 niet meer herkent en daardoor de pool niet wil importen.

[ Voor 82% gewijzigd door Compizfox op 14-09-2013 16:49 ]

[Compizfox]

Ik moet ZFS vertellen dat de twee disks waar "cannot open" staat, de disks gpt/Storage1 en gpt/Storage4 zijn. Maar gaat hij die überhaupt nog wel slikken, nadat ik die per ongeluk in een mirror heb gezet? Ik neem aan dat ie ze niet heeft gewiped daarmee, of wel?

Moet ik m'n data als verloren beschouwen? Het meeste kan ik wel opnieuw downloaden, maar het liefst heb ik natuurlijk gewoon m'n data terug.

[FireDrunk]

zfs replace is dan je vriend denk ik.

Als de GPT id's gewijzigd zijn, moet je denk ik die ID's replacen met de nieuwe namen. Dan zal ZFS ze weer herkennen volgens mij.

[Compizfox]

Maar m'n pool is nog niet geimport. Hoe doe ik het replacen voor/tijdens het importen?

[HyperBart]

Compizfox schreef op zaterdag 14 september 2013 @ 17:56:
Ik moet ZFS vertellen dat de twee disks waar "cannot open" staat, de disks gpt/Storage1 en gpt/Storage4 zijn. Maar gaat hij die überhaupt nog wel slikken, nadat ik die per ongeluk in een mirror heb gezet? Ik neem aan dat ie ze niet heeft gewiped daarmee, of wel?

Moet ik m'n data als verloren beschouwen? Het meeste kan ik wel opnieuw downloaden, maar het liefst heb ik natuurlijk gewoon m'n data terug.

Ik heb dat ook eens geprobeerd met een test pool, maar ik slaagde er ook niet in om die beestjes terug te koppelen in de pool.

Ik volg FD's redenering: die ID's zouden moeten werken, maar hoe of wat, misschien best even wachten tot er iemand met een redelijk kant en klaar commando komt en vooral kalm blijven. Je verliest misschien een heel klein beetje data, maar volgens mij is ZFS nog steeds zo robuust dat het merendeel te resilveren/vinden valt.

[Durandal]

Dus de 1TB disk herkent hij, en de 2 750GBs niet. Ik zou precies andersom verwachten. Is dat een nieuwe pool?
Ik lees ook dat je die 2x750 in mirror hebt gezet? Dat laat ZFS niet zondermeer toe.
Welke handelingen en commando's heb je eigenlijk precies gedaan tot nu toe?

[ Voor 18% gewijzigd door Durandal op 14-09-2013 18:51 ]

[Compizfox]

Ik ben volkomen kalm (zo veel staat er nou ook weer niet op het spel; ik heb van belangrijke data backups, het enige 'probleem' is dat ik veel films e.d. opnieuw zal moeten downloaden), maar ben wel een beetje ongeduldig

De reden dat hij de 2 750 GB disks (gpt/Storage1 en gpt/Storage4) niet herkent, is denk ik dat ik daar per ongeluk een nieuwe pool (mirror) op heb aangemaakt. Maar ik neem aan dat de disks niet heeft gewiped, toch? Of wel?

Het probleem is alsvolgt: Ik kan de missing disks niet replacen omdat de pool nog niet geimport is. Ik kan de pool niet importen omdat hij 2 disks mist Is er geen manier om de pool te importen en tegelijkertijd aan te wijzen welke de missing disks zijn?

Durandal schreef op zaterdag 14 september 2013 @ 18:47:
Dus de 1TB disk herkent hij, en de 2 750GBs niet. Ik zou precies andersom verwachten.

Waarom?

Is dat een nieuwe pool?

Wat is een nieuwe pool?

Welke handelingen en commando's heb je eigenlijk precies gedaan tot nu toe?

1. Ik heb gpt/Storage5 offline gegooid uit m'n oude pool.
2. Ik heb geprobeerd een nieuwe pool aan te maken uit gpt/Storage5, gpt/Storage6 en gpt/Storage7. Dat lukte niet omdat gpt/Storage5 nog in gebruik was in de oude pool, al dan niet offline.
3. Ik heb gedaan wat ZFSGuru een "quick format" noemt op gpt/Storage5 omdat ik bovenstaande nog niet inzag en dacht dat er misschien nog resten van de oude pool waren of zo.
4. Ik heb de oude pool destroyed.
5. In een poging de pool te herstellen in degraded staat (zonder gpt/Storage5) heb ik een nieuwe mirror aangemaakt uit gpt/Storage1 en gpt/Storage4.
6. Bovenstaande pool heb ik weer destroyed omdat het dus niet het resultaat opleverde wat ik wilde (nieuwe pool ipv bestaande pool herstellen)

Als ik nu zpool import doe krijg ik m'n oude pool te zien, die ik echter niet kan importen. Als ik zpool import -D doe krijg ik de 'verkeerde' mirror uit gpt/Storage1 en gpt/Storage4 te zien.

[FireDrunk]

Ik vraag me af, of ZFS een 'niveau' diep kan kijken. Het weet natuurlijk niet dat 1 en 4 een mirror waren wat weer een vdev was van je pool. Ik denk dat ZFS wel scant naar een pool, maar niet snapt dat het een mirror was.

Ik weet niet of je die vdev weer kan reconstructen zonder dat hij lid is van een pool. Dat kan volgens mij wel.
Als je dat hebt scant ZFS weer wat voor een vdev het is, en zal hij waarschijnlijk weer als onderdeel gezien worden van een oude pool.

[Compizfox]

Ik snap niet precies wat je bedoelt. 1 en 4 waren een mirror die ik per ongeluk had aangemaakt. In de oude pool (die ik terug wil) waren 1 en 4 geen mirror, maar waren 1, 4 en 5 een RAIDZ1.

Hoe reconstruct ik die vdev dan?

[ Voor 54% gewijzigd door Compizfox op 14-09-2013 19:43 ]

[FireDrunk]

Oh, dan heb ik je verkeerd begrepen. Ik dacht dat 1 van je VDEV's uit je RAIDZ pool een mirror was.

Voor nu weet ik ook even niet wat je moet doen...

zpool import [-d dir] [-D]

Lists pools available to import. If the -d option is not specified,
this command searches for devices in "/dev" with the prefix "disk".
The -d option can be specified multiple times, and all directories
are searched. If the device appears to be part of an exported pool,
this command displays a summary of the pool with the name of the
pool, a numeric identifier, as well as the vdev layout and current
health of the device for each device or file. Destroyed pools,
pools that were previously destroyed with the "-zpool destroy" com-
mand, are not listed unless the -D option is specified.

The numeric identifier is unique, and can be used instead of the
pool name when multiple exported pools of the same name are avail-
able.

-d dir Searches for devices or files in dir. The -d option can
be specified multiple times.


-D Lists destroyed pools only.


zpool import [-d dir] [-D] [-f] [-o opts] [-R root] pool | id [newpool]

Imports a specific pool. A pool can be identified by its name or
the numeric identifier. If newpool is specified, the pool is
imported using the name newpool. Otherwise, it is imported with the
same name as its exported name.

If a device is removed from a system without running "zpool export"
first, the device appears as potentially active. It cannot be
determined if this was a failed export, or whether the device is
really in use from another host. To import a pool in this state,
the -f option is required.

-d dir Searches for devices or files in dir. The -d option can
be specified multiple times.


-D Imports destroyed pool. The -f option is also required.


-f Forces import, even if the pool appears to be poten-
tially active.


-o opts Comma-separated list of mount options to use when mount-
ing datasets within the pool. See zfs( for a descrip-
tion of dataset properties and mount options.


-R root Imports pool(s) with an alternate root. See the "Alter-
nate Root Pools" section.


zpool import [-d dir] [-D] [-f] [-a]

Imports all pools found in the search directories. Identical to the
previous command, except that all pools with a sufficient number of
devices available are imported. Destroyed pools, pools that were
previously destroyed with the "-zpool destroy" command, will not be
imported unless the -D option is specified.

-d dir Searches for devices or files in dir. The -d option can
be specified multiple times.


-D Imports destroyed pools only. The -f option is also
required.


-f Forces import, even if the pool appears to be potentially
active.

Misschien eens proberen: zpool import -D?

[ Voor 91% gewijzigd door FireDrunk op 14-09-2013 19:50 ]

[Compizfox]

Met zpool import -D krijg ik enkel de mirror-pool te zien ik die onterecht had aangemaakt.

[0xDEADBEEF]

Why the fuck kan ik, met een installer-versie hoger dan 9.1-RELEASE (=9.2-RC4 of 10.0-ALPHA1), met geen mogelijkheid een zpool aanmaken ?
Het lijkt erop dat er een '/' voor de pool-naam geplakt wordt?

Het volgende werkt op 9.1, na de noodzakelijke gpart-commando's:[code]# zpool create -f -o altroot=/mnt -o cachefile=/tmp/zpool.cache zroot ada0[/]
Ja, met -f, omdat het elke keer wipen van de schijf met /dev/zero te veel tijd kost.

Ah, is 'n bug. PR: http://www.freebsd.org/cgi/query-pr.cgi?pr=bin/181847

[ Voor 21% gewijzigd door 0xDEADBEEF op 15-09-2013 23:48 . Reden: @hieronder: inderdaad. ]

[Verwijderd]

@0xDEADBEEF: 'zpool create' bedoel je denk ik?

Maar wat je doet is niet goed; je zegt ada0 terwijl je zou moeten opgeven een GPT partitie, en dus iets als /dev/gpt/Disk06. Afhankelijk van je hoe disks gepartitioneerd zijn.

En met -f is niet nodig als je zoals het hoort een pool importeert en dan destroyed. Dat laatste zorgt ervoor dat hij gemakkelijk overschreven kan worden met een nieuwe pool. Maar zonder dat jij hebt aangegeven dat de pool naar de klere kan zal hij ZFS data van een vorige pool niet willen overschrijven zonder de -f optie als waarschuwing.

@Compizfox: jammer maar waarschijnlijk dankzij je 'ongeduld' heb je gevaarlijke dingen gedaan die het niet eenvoudig maken je pool weer netjes te importeren. Wat je vooral niet moet doen is de disks gebruiken voor nieuwe pools, wat je wellicht hebt gedaan. Bij het verliezen van de partitietabel kun je inderdaad de quick format methode gebruiken als je dat in het begin ook hebt gedaan. Dan kan ZFS de disk weer zien omdat hij dan de partitie ziet die op 1MiB offset is opgeslagen. Zodra de partitietabel onzichtbaar wordt, wordt ook deze partitie onzichtbaar en ziet ZFS de disk niet als een door ZFS in gebruik zijnde disk.

[0xDEADBEEF]

Verwijderd schreef op zondag 15 september 2013 @ 01:34:
@0xDEADBEEF: 'zpool create' bedoel je denk ik?

Ja - gecorrigeerd, thanks.

Maar wat je doet is niet goed; je zegt ada0 terwijl je zou moeten opgeven een GPT partitie, en dus iets als /dev/gpt/Disk06. Afhankelijk van je hoe disks gepartitioneerd zijn.

Partitionering:

code:

gpart create -s gpt ada0
gpart add -b 34 -s 94 -t freebsd-boot -l head_boot ada0
gpart add -s 4G -t freebsd-swap -l head_swap ada0
gpart add -t freebsd-zfs -l head_root ada0
gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada0

(al werkt 'gpart add -s 64K -t freebsd-boot -l head_boot ada0' ook).

Hm, maar hier gebruiken ze mfid0:

quote: https://wiki.freebsd.org/RootOnZFS/Light

export DISK=mfid0
/etc/rc.d/tmp start
dd if=/dev/zero of=/dev/$DISK bs=1m count=10
gpart create -s gpt $DISK
gpart add -b 34 -s 256 -t freebsd-boot $DISK
gpart add -b 512 -s 32G -t freebsd-swap -l sys-swap0 $DISK
gpart add -t freebsd-zfs -l sys-zfs0 $DISK
gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 $DISK

En met -f is niet nodig als je zoals het hoort een pool importeert en dan destroyed. Dat laatste zorgt ervoor dat hij gemakkelijk overschreven kan worden met een nieuwe pool. Maar zonder dat jij hebt aangegeven dat de pool naar de klere kan zal hij ZFS data van een vorige pool niet willen overschrijven zonder de -f optie als waarschuwing.

Nouja, ik volg -CURRENT en recentelijk gaf 'zpool status' aan dat de zpool niet 4k-aligned is/zou zijn (op een vertex2).. niet dat ik dat op deze installatie belangrijk vind.
Hoe je dat, zoals het hoort, voor elkaar krijgt is me momenteel een raadsel: met 'gnop -s 4096 ...' of 'gpart -a 4k ...'
http://forums.freebsd.org...4b19&p=132848&postcount=1

---

Wat evenmin lukt is 'freebsd-update -r 10.0-ALPHA1 upgrade' (omdat er niks te downloaden valt), en 'make buildworld buildkernel installkernel' op basis van -CURRENT-code op een non-aligned installatie zorgt ervoor dat FreeBSD naar de je wellicht bekende 'mountroot>'-console opstart, waar geen enkel(e) GPT-label/schijf herkent wordt? http://www.freebsd.org/do...s/handbook/makeworld.html

/edit Ah: http://lists.freebsd.org/...013-September/044550.html
Dat ziet er hoopvol uit, later nog maar eens 'n upgrade uitvoeren.
/edit zo:

code:

$ uname -a
FreeBSD undermydesk 10.0-ALPHA1 FreeBSD 10.0-ALPHA1 #0 r255602: Sun Sep 15 20:55:43 UTC 2013     root@undermydesk:/usr/obj/usr/src/sys/GENERIC  amd64

[ Voor 18% gewijzigd door 0xDEADBEEF op 15-09-2013 23:01 ]

[FireDrunk]

Volgens mij wil je allemaal te snel. Zomaar make buildworld buildkernel installkernel doen is niet verstandig, en je vergeet sowieso make installworld (welke het meeste software veranderd).
Je moet je kernel nog configureren en kiezen welke modules je wil.

Is FreeBSD-CURRENT niet iets te hoog gegrepen?

[Verwijderd]

@0xDEADBEEF

Met:
gpart add -t freebsd-zfs -l head_root ada0
Krijg je een device node op /dev/gpt/head_root. Dan moet je die ook gebruiken, en geen /dev/ada0 ofzoiets.

Voor de rest vind ik je partitionering niet zo goed; je begint niet met 1MiB offset zoals aanbevolen is. Dat maakt het zaakje minder compatible met ZFSguru en andere operating systems, maar is geen absoluut probleem. Heb je er nog geen data op zou ik dit wel corrigeren:

code:

gpart destroy -F ada0
gpart create -s gpt ada0
gpart add -b 34 -s 512 -t freebsd-boot ada0
gpart add -b 2048 -t freebsd-zfs -l system0 ada0
gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada0

Verander "system0" naar de gewenste naam en "ada0" naar de naam van je disk.

[0xDEADBEEF]

FireDrunk schreef op zondag 15 september 2013 @ 09:54:
Volgens mij wil je allemaal te snel. Zomaar make buildworld buildkernel installkernel doen is niet verstandig, en je vergeet sowieso make installworld (welke het meeste software veranderd).
Je moet je kernel nog configureren en kiezen welke modules je wil.

Is FreeBSD-CURRENT niet iets te hoog gegrepen?

Nee, van een snapshot-memstick naar -CURRENT upgraden vind ik over het algemeen comfortabeler: de kernel- en world-ABI verschillen dan het minst van elkaar, en mergemaster is minder langdradig. [/ramble]
De GENERIC-configuratie voldoet.

Verwijderd schreef op zondag 15 september 2013 @ 13:46:

code:

gpart add -b 2048 -t freebsd-zfs -l system0 ada0

Dat werkt niet zoals verwacht: 'gpart: autofill: No space left on device'.

[ Voor 18% gewijzigd door 0xDEADBEEF op 15-09-2013 17:05 ]

[Durandal]

Bij het verliezen van de partitietabel kun je inderdaad de quick format methode gebruiken als je dat in het begin ook hebt gedaan. Dan kan ZFS de disk weer zien omdat hij dan de partitie ziet die op 1MiB offset is opgeslagen. Zodra de partitietabel onzichtbaar wordt, wordt ook deze partitie onzichtbaar en ziet ZFS de disk niet als een door ZFS in gebruik zijnde disk.

Da's interessant. Kun je hierover wat uitweiden of heb je wellicht wat meer info over hoe ZFS zijn disks vindt, CiPHER?

[Compizfox]

Verwijderd schreef op zondag 15 september 2013 @ 01:34:
@Compizfox: jammer maar waarschijnlijk dankzij je 'ongeduld' heb je gevaarlijke dingen gedaan die het niet eenvoudig maken je pool weer netjes te importeren. Wat je vooral niet moet doen is de disks gebruiken voor nieuwe pools, wat je wellicht hebt gedaan.

Ja, dat klopt. Ik was in de veronderstelling dat ik de pool weer terug zou krijgen met zpool create. Dat had natuurlijk zpool import moeten zijn, maar inderdaad mijn fout ja.

Bij het verliezen van de partitietabel kun je inderdaad de quick format methode gebruiken als je dat in het begin ook hebt gedaan. Dan kan ZFS de disk weer zien omdat hij dan de partitie ziet die op 1MiB offset is opgeslagen. Zodra de partitietabel onzichtbaar wordt, wordt ook deze partitie onzichtbaar en ziet ZFS de disk niet als een door ZFS in gebruik zijnde disk.

Dus als ik een quick format doe op gpt/Storage1 en gpt/Storage4 zou hij ze weer zien in zpool import?

EDIT: No joy. Ben bang dat ik m'n pool gewoon kwijt ben. Of is er nog een mogelijkheid? Valt me eigenlijk wel een klein beetje van ZFS tegen dat dit niet te recoveren is, wetende dat alle data gewoon nog aanwezig is.

Ik stel het op prijs als iemand kan bevestigen dat mijn pool écht onherstelbaar weg is, dan kan ik namelijk zonder te twijfelen verder en maak ik nieuwe pools aan.

[ Voor 15% gewijzigd door Compizfox op 15-09-2013 17:50 ]

[Squixx]

Sinds kort begint mijn zpool trager te worden, nu denk ik dat het komt omdat hij redelijk vol begint te raken (>90%)

en dat mijn RAM wellicht tekort schiet, nu kan write performance me bar weinig schelen, maar de read moet wel goed blijven. De freenas UI geeft bij reporting nu ook aan dat er ~1gb aan swap word gebruikt. Betekend dit dat als ik er extra ram bij prik (heb nu 8gb dus word 16gb) er niet meer geswapped zou worden en iig de read weer wat vlotter zal worden? (ookal blijft de pool vol, ik ben namelijk voorlopig niet van plan uit te gaan breiden)

[Compizfox]

Zo, performance van m'n nieuwe pool bestaande uit 3x WDC WD10EZRX:

code:

ZFSguru 0.2.0-beta8 (9.1-005) pool benchmark
Pool            : Data (2.72T, 0% full)
Test size       : 64 GiB
normal read : 283 MB/s
normal write    : 220 MB/s
lzjb read   : 2 GB/s
lzjb write  : 1 GB/s
I/O bandwidth   : 14 GB/s

Da's 50% sneller dan mijn oude pool bestaande uit 3x Samsung HD753LJ:

code:

ZFSguru 0.2.0-beta8 (9.1-005) pool benchmark
Pool            : Data (2.03T, 20% full)
Test size       : 32 GiB
normal read    : 186 MB/s
normal write    : 144 MB/s
lzjb read    : 3 GB/s
lzjb write    : 1 GB/s
gzip read    : 3 GB/s
gzip write    : 1 GB/s
I/O bandwidth    : 14 GB/s

[Geckx]

Ik merkte onlangs het volgende op in windows 7. Als ik mijn zfsguru share toevoeg als netwerkschijf staat er (net zoals bij lokale schijven) hoeveel opslag er nog beschikbaar is met het welbekende blauwe/rode balkje erbij.

Nu is dit bij mijn zfsguru share alsof er niets opstaat. Er staat dus 8,22 TB van 8,22TB vrij. Terwijl dit duidelijk niet het geval is.

Weet iemand of dit kan verholpen worden en hoe? (instelling in windows of in zfsguru?)