Het grote ZFS topic

[Verwijderd]

En zeer recent de Seagate 600 Pro, deze kan dus als 3e inherent veilige consumenten SSD aan het lijstje worden toegevoegd.

[FireDrunk]

Spuit11

[FutureCow]

Even een kort vraagje:
Ik heb de volgende disks op dit moment:
- 1TB ext4 met 800GB DATA
- 1TB leeg
- 1TB leeg

Ik wil hier graag een RAIDZ pool van maken. hoe zorg ik er voor dat ik de 800GB data niet verlies?

[Waking_The_Dead]

1) Zet de twee lege schijven samen met een RAM drive in RAID-Z1.
2) Kopieer de data.
3) Vervang de RAM drive door de fysieke resterende schijf.

[Verwijderd]

Nou nee, je moet absoluut niet data kopiëren terwijl de RAM-drive nog onderdeel is van de RAID-Z; dat gaat helemaal verkeerd. Je moet direct rebooten na het aanmaken van de RAID-Z. Je krijgt dan een degraded RAID-Z zonder RAM-drive. Dan kun je data kopiëren.

Als je ZFSguru gebruikt kun je op Disks->Memory je RAM-disk maken. Enige wat je hoeft te doen is de grootte aanpassen (groter dan je overige schijven zoals 3TiB voor 3TB schijven; je kunt hem ook 100 terabyte maken het verbruikt maar enkele megabytes omdat er weinig naar de RAMdisk wordt geschreven gedurende het aanmaken van de pool). Daarna formatteer je de RAM-disk net als overige disks. Daarna maak je de RAID-Z aan met 2 schijven+ramdisk. Dan rebooten. Daarna data kopiëren. Daarna de 3e disk toevoegen aan de pool ipv RAM-disk. Ook dit kan via de web-interface in ZFSguru op de Pools pagina (klik op je pool, gebruik de dropdown box en replace de missing device met de nieuw-geformatteerde 3e disk). Voila.

[Waking_The_Dead]

Dat bedoelde ik dus wel degelijk; alleen een beetje ongelukkig en te kort geformuleerd.

[B2]

Ik heb een raid z2 pool met 4 disken op een Ubuntu 12.04 ZoL systeem. De pool is ooit aangemaakt in ZFSGuru. Nu wil ik een van de disken detachen, maar dat lijkt niet te werken.

[code]

root@storage:~# zpool status
pool: data
state: ONLINE
status: The pool is formatted using a legacy on-disk format. The pool can
still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'. Once this is done, the
pool will no longer be accessible on software that does not support
feature flags.
scan: scrub repaired 0 in 3h54m with 0 errors on Wed May 8 15:29:34 2013
config:

NAME STATE READ WRITE CKSUM
data ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
ata-WDC_WD20EARX-00PASB0_WD-WCAZAF638030 ONLINE 0 0 0
ata-WDC_WD20EARX-00MMMB0_WD-WCAWZ2666090 ONLINE 0 0 0
ata-WDC_WD20EARX-22PASB0_WD-WCAZAA154961 ONLINE 0 0 0
ata-WDC_WD20EARX-00PASB0_WD-WCAZAF637757 ONLINE 0 0 0
cache
l2arc UNAVAIL 0 0 0
ata-M4-CT128M4SSD2_0000000012390917A5BC-part3 ONLINE 0 0 0
[/code]

[code]
root@storage:~# zpool detach data ata-WDC_WD20EARX-00PASB0_WD-WCAZAF637757
cannot detach ata-WDC_WD20EARX-00PASB0_WD-WCAZAF637757: no such device in pool
[/code]

Ook /dev/disk/by-id/<id> werkt niet, ik denk dat het e.e.a te maken heeft met dat de pool in ZFSGuru is aangemaakt..
Tips? Ideeen?

detach.. mirror .... laat maar...

[onox]

Ik heb ook een ZFS vraagje: ik heb een SSD met daarop 1 pool (A). En 2 HDDs die ik als mirror wil gaan gebruiken voor een 2e pool (B). Wat is nu de beste manier om een backup van pool A te maken en op pool B te zetten? Een filesystem aanmaken in pool B (B/backups) en dan zfs send <opties> | zfs receive <opties> gebruiken? Of is er een betere manier?

[ Voor 3% gewijzigd door onox op 10-05-2013 07:42 ]

[FireDrunk]

Je kan alleen snapshots senden en recieven. Dus je moet eerst een "full" snapshot maken van A, en die senden naar B.

[onox]

Dat had ik al in de man page gelezen ja. Maar is snapshots senden en receiven de beste manier voor het maken van een backup van een pool? Is het trouwens zo dat -r nodig is bij het maken van een snapshot? Of is dat alleen nodig als je de individuele filesystems van de snapshot wilt kunnen gebruiken/manipuleren?

[ Voor 52% gewijzigd door onox op 10-05-2013 11:42 ]

[B2]

FireDrunk schreef op vrijdag 10 mei 2013 @ 10:49:
Je kan alleen snapshots senden en recieven. Dus je moet eerst een "full" snapshot maken van A, en die senden naar B.

Wat is daarvoor de beste manier, een 'full' snapshot? Dat is toch gewoon de eerste keer dat je een snapshot maakt?
Ik zit namelijk met hetzelfde. Ik wil op de disken die in mijn server zitten vervangen voor andere (ook andere types en pool properties, dus geen replace).

Ik heb nu een snapshot gemaakt met

code:

zfs snapshot pool/filesystem@20130511

en dit vervolgens met

code:

zfs send pool/filesystem@20130511 | zfs receive poolnieuw/filesystemnieuw

op de nieuwe disken terecht laten komen.

[FireDrunk]

HyperBart is er meer mee bezig geweest dan ik, misschien kan hij er een lichtje op schijnen.

[Verwijderd]

B2: het is me nog niet duidelijk wat je wilt. Jouw voorbeeld is afdoende om een simpele snapshot te dupliceren naar een nieuwe pool. Is dat wat je wilt?

Als je de data van een complete pool wilt overzetten, inclusief alle snapshots en clones en wat niet al, dan gebruik je:

zfs snapshot -r tank@2013-05-11
zfs send -R tank@2013-05-11 | zfs receive newpool

Als je liever alle filesystems in een sub-filesystem hebt op je nieuwe pool, dan gebruik je newpool/newfs op het laatst. De -R parameter zal dus alle snapshots en children filesystems overzetten.

Wil je alles overzetten naar een ander systeem via SSH login, dan kun je gebruiken op het bronsysteem:

zfs send -R tank@2013-05-11 | ssh root@newsystem zfs receive newpool/newfs

[blobber]

Als je eenmaal de initiele snapshot (tank@datum1) hebt overgezet, kun je daarna incremental snapshots verzenden met
zfs send -R -i tank@datum1 tank@datum2 | zfs receive -F backuppool
(-F is optioneel, forceert een rollback naar de meest recente snapshot van je backup voordat de incremental wordt verzonden, alleen nodig als je backup gewijzigd is sinds de laatste snapshot, als je dan een incremental toepast, kan dat een corrupte backup pool tot gevolg hebben geeft zfs een foutmelding)

[ Voor 4% gewijzigd door blobber op 14-05-2013 12:23 ]

[FireDrunk]

Krijg je niet gewoon een foutmelding van ZFS dat die backup niet gesynced kan worden? Want silent corruption op snapshots zou natuurlijk een bitch zijn

[blobber]

FireDrunk schreef op zondag 12 mei 2013 @ 07:30:
Krijg je niet gewoon een foutmelding van ZFS dat die backup niet gesynced kan worden? Want silent corruption op snapshots zou natuurlijk een bitch zijn

Daar heb je wel een punt, zfs geeft een foutmelding als de backup in de tussentijd gewijzigd is: zie http://breden.org.uk/2008...ckups-from-zfs-snapshots/
Het verhaal over corrupte data kan ik niet terugvinden, ik vermoed dat het een broodje aap was, ik heb mijn post aangepast

[ Voor 16% gewijzigd door blobber op 14-05-2013 12:32 ]

[FutureCow]

is deze schijf te kapot of valt daar nog wel wat meer te doen:

Raw Read Error Rate 3965
Spin Up Time 7940
Start Stop Count 3925
Reallocated Sector Ct 0
Seek Error Rate 0
Seek Time Performance 9725
Power On Hours 11815
Spin Retry Count 0
Calibration Retry Count 0
Power Cycle Count 3904
Read Soft Error Rate 3762
Runtime Bad Block 3
End-to-End Error 0
Reported Uncorrect 6526
Command Timeout 0
Airflow Temperature Cel 24
Temperature Celsius 25
Hardware ECC Recovered 10930660
Reallocated Event Count 736
Current Pending Sector 235
Offline Uncorrectable 1
Multi Zone Error Rate 980
Soft Read Error Rate 891

[Kompaan]

FutureCow schreef op zondag 12 mei 2013 @ 18:36:
is deze schijf te kapot of valt daar nog wel wat meer te doen:

...
Reported Uncorrect 6526
Reallocated Event Count 736
Current Pending Sector 235
Offline Uncorrectable 1
Multi Zone Error Rate 980
...

Ik zou hem weggooien

[Trunksmd]

Heeft iemand een mirror voor zfsguru iso? Downloadsite werkt niet.

[Verwijderd]

Hm vaag, gelijk mailtje gedaan naar Jason. Maar je kunt de beta4 wel gebruiken. Voordat je installeert gebruik je dan de updatefunctie om te updaten naar beta8 web-interface, en je downloadt de nieuwste systeemversie bij stap2 van de installatieprocedure.

[ Voor 12% gewijzigd door Verwijderd op 12-05-2013 20:37 . Reden: beta4 unlinked; beta8 weer beschikbaar ]

[onox]

Verwijderd schreef op zaterdag 11 mei 2013 @ 15:36:
Als je de data van een complete pool wilt overzetten, inclusief alle snapshots en clones en wat niet al, dan gebruik je:

zfs snapshot -r tank@2013-05-11
zfs send -R tank@2013-05-11 | zfs receive newpool

Ok, dus je moet wel -r gebruiken bij snapshot? Wat als je nou dat niet hebt gedaan en je bij send wel -R doet? Wat gaat ZFS dan precies doen?

Is het trouwens beter om op elk van de 2 HDDs 2 partities te maken (partitie voor backup pool en partitie voor data pool zodat je 2 mirrors krijgt) of gewoon 1 partitie en dan een backup filesystem, die je dan gebruikt bij zfs receive?

@FireDrunk: gefeliciteerd!

[Trunksmd]

Verwijderd schreef op zondag 12 mei 2013 @ 19:45:
Hm vaag, gelijk mailtje gedaan naar Jason. Maar je kunt de beta4 wel gebruiken. Voordat je installeert gebruik je dan de updatefunctie om te updaten naar beta8 web-interface, en je downloadt de nieuwste systeemversie bij stap2 van de installatieprocedure.

Dank je, ik heb ondertussen beta 4 ook al gevonden en geinstalleerd. Helaas gaat updaten via diezelfde bravo.zfsguru.com en is dus niet mogelijk. Tis niet erg, ik ben het nog aan het bekijken in virtualbox. En ik moet zeggen dat jullie het wel heel erg makkelijk hebben gemaakt. Ik ben erg onder de indruk. Ben benieuwd naar beta 8.

[Verwijderd]

Server inclusief beta8 download zou het weer moeten doen, kun je dat controleren?

[Trunksmd]

Check, het werkt, Dank je wel

[base_]

Zit net een discussie te lezen over ZFS en ECC RAM: http://hardforum.com/showthread.php?t=1689724 en kan me inderdaad voorstellen dat geheugenproblemen behoorlijk kritiek kunnen zijn voor een ZFS systeem. Ik vraag me dan ook af of ik niet beter een E3 Xeon icm ECC kan gebruiken i.p.v. een i5 met niet-ECC geheugen? Ben alleen bang dat het prijsverschil ook behoorlijk is...

[Verwijderd]

Helaas is er weer zo'n studie die dingen test, waar mensen dan ook weer helemaal overtuigd door zijn. Alleen kunnen mensen permanente en tijdelijke corruptie niet van elkaar scheiden.

ZFS kan prima tegen RAM-geheugen bitfouten. Ja, er vindt corruptie plaats en ja, die worden aan de applicatie doorgegeven. Dat is het grootste bezwaar. Maar bij een volgende access of scrub zal ZFS ook weer net zogoed de corruptie herstellen. Kortom, voor thuisgebruikers is ECC voor je ZFS server niet zo belangrijk.

Als je ECC wilt, kun je dat het beste éérst voor al je workstations nemen die helemaal geen bescherming bieden tegen geheugencorruptie. ZFS heeft namelijk wel tenminste enige bescherming hiertegen. En zelfs al gaat het onherstelbaar fout bijvoorbeeld omdat je maar enkelvoudige parity gebruikt en je hebt meervoudige RAM-corruptie gehad, dan kan ZFS uiteindelijk zeggen dat bestand X corrupt is geraakt.

Kortom, ZFS kan prima tegen een stootje. Ieder die anders beweert, mag dat aantonen van mij. Ik heb het zelf getest met een reepje brak RAM geheugen op mijn testserver. Uiteindelijk waren alle bestanden na een scrub met goed geheugen weer intact en conform de originele MD5 checksums. Probeer dat eens op je onbeschermde workstations! Als die corrupte data schrijven naar ZFS, is het definitief afgelopen want dat ga je nooit meer corrigeren.

Als je ECC wilt, doe je dat eerst op alle workstations, en pas als laatste op je ZFS server. Alleen zakelijke gebruikers die sterke behoefte hebben aan de End-to-End data integrity willen natuurlijk wel ECC op hun fileserver.

[base_]

Een werkstation dat compleet crashed vanwege geheugencorruptie kan me niet zoveel schelen, ook al is dit tijdens het opslaan van een bestand (en daarmee dat bestand onbruikbaar makend), dan hoop ik maar dat ik een backup/version heb die nog wel goed is. Als de opslag zelf echter crashed en/of corrupt raakt door RAM problemen dan is dat veel vervelender. Natuurlijk moeten er backups gemaakt worden maar bij volumes > 5Tb gaat een restore best wel lang duren. Wat wordt er eigenlijk het meest gebruikt voor backups van 5+Tb?

[Verwijderd]

Je gaat er ten onrechte vanuit dat RAM-corruptie leidt tot een crash; dat gebeurt misschien als kernel-level componenten met RAM-corruptie te maken krijgen, maar als je data aan het schrijven bent (of aan het kopiëren) naar je ZFS NAS, en in die data bevinden zich RAM bitflips, dan schrijf je keihard corrupte data naar je ZFS NAS die door ZFS zelf onopgemerkt blijft. Silent corruption dus. Omdat alle besturingssystemen je RAM als filecache gebruiken, betekent dit in feite dat al je data wat je workstations in handen krijgen, corrupt kan raken zonder dat jij dat direct opmerkt. Je merkt het pas op als het te laat is.

Ook backups doen je dan geen goed, want die corruptie kan keihard doorvloeien naar je backups. Ergo; als je je zorgen maakt om RAM corruptie, dan zorg je allereerst dat je workstations ECC krijgen; en je ZFS NAS pas als laatste. Omgekeerd kan ook, maar dan spijker je de kluis dicht terwijl de sleutel zoekraakt, ofzoiets.

[nero355]

Verwijderd schreef op woensdag 08 mei 2013 @ 21:42:
En zeer recent de Seagate 600 Pro, deze kan dus als 3e inherent veilige consumenten SSD aan het lijstje worden toegevoegd.

Deze ook dan of is die te traag

http://nl.hardware.info/n...drives-met-rs4-controller

[base_]

nero355 schreef op dinsdag 14 mei 2013 @ 03:25:
[...]
Deze ook dan of is die te traag
http://nl.hardware.info/n...drives-met-rs4-controller

Het gaat vooral om de betrouwbaarheid m.b.t. stroomstoringen (veilig) en betaalbaarheid (consumentenschijf), dure enterprise schijven hebben over het algemeen ook een power fail buffer/beveiliging maar zijn erg duur.
Het valt mij op dat op de getoonde PCB de condensator Pads wel aanwezig zijn maar de condensatoren zelf ontbreken.
Zijn er al reviews en/of benchmarks van deze SSD's?
Ze worden als industrial SSD's aangeprezen, niet echt consumenten SSD lijkt me?

[Verwijderd]

http://au.finance.yahoo.c...ries-solid-080400401.html

Vooral bedoelt voor embedded en andere bedrijfsmatige toepassingen.

Het grote probleem met zelfontwikkelde oplossingen is dat er weinig over bekend is. En het blijft een complex product. Als er tekortkomingen zijn zoals bugs, dan zul je daar hoogstwaarschijnlijk niets over horen. Ik raad dus vooral aan dat men blijft bij bekende mainstream-producten die wel beveiligd zijn. De Intel 320 zou de meest betrouwbare consumer-grade SSD zijn, terwijl de M500 daar de 2e plek voor zou kunnen krijgen; al moet die zich nog bewijzen.

Dus een eigen ontwerp in elkaar flansen is leuk, maar tenzij die grote populariteit geniet onder een bepaalde doelgroep en het een lange en vooral goede trackrecord heeft op het gebied van betrouwbaarheid, zie ik er weinig heil in.

[base_]

TDK's (eerste?) eigen nieuwe controller... spannend inderdaad!

[ Voor 5% gewijzigd door base_ op 14-05-2013 03:53 ]

[FireDrunk]

Ik zie nergens een uitspraak over IOPS, wel een beetje verdacht.. En 180/130 MB/s is ook echt niet snel.
De Error recovery opties klinken dan wel weer goed...
---

[root@NAS /home/ssh]# VBoxManage controlvm "Downloader;5900" poweroff
0%...10%...20%...30%...40%...50%...

Wat is VirtualBox onder FreeBSD toch een jankproduct... Gadverdamme wat is dat instabiel...

Maar snel naar ESXi of bhyve...

[ Voor 44% gewijzigd door FireDrunk op 14-05-2013 10:35 ]

[FutureCow]

Om nog een laatste reanimatie van mijn HD te doen wil ik hem gaan zero fillen. Zijn de volgende commando's dan goed?

zpool offline tank /dev/sdb
dd if=/dev/zero of=/dev/sdb bs=1M
zpool online tank /dev/sdb

[nero355]

Verwijderd schreef op dinsdag 14 mei 2013 @ 03:42:
De Intel 320 zou de meest betrouwbare consumer-grade SSD zijn

Zelfs die heb ik een keer laten flippen, maar na een reboot was alles weer OK gelukkig en heb ik er nooit meer last van gehad

Ik heb de 120 GB en de 300 GB versie in mijn PC en behalve dit incidentje met de 300 GB versie heb ik eigenlijk nooit problemen ermee gehad in tegenstelling tot de 4x OCZ Vertex 64 GB SSD's die ik een tijdje in RAID 0 heb gedraaid toen SSD's net op de markt kwamen. Was echt verschrikkelijk balen en ondanks heel wat RMA's altijd gezeik ermee gehad

Dus wat mij betreft Intel 320 FTW!!!

[FireDrunk]

FutureCow schreef op woensdag 15 mei 2013 @ 22:57:
Om nog een laatste reanimatie van mijn HD te doen wil ik hem gaan zero fillen. Zijn de volgende commando's dan goed?

zpool offline tank /dev/sdb
dd if=/dev/zero of=/dev/sdb bs=1M
zpool online tank /dev/sdb

Op zich wel, maar ik zou even wachten met de schijf terug te hangen in de pool. Kijk eerst even naar de SMART waardes, en kijk of Current Pending Sector 0 is. Als dat zo is, heeft je schijf alle corrupte sectoren op kunnen vangen, zo niet, afschrijven.

[FutureCow]

Dit is de output na een zero fill:

Raw Read Error Rate 4402
Spin Up Time 7940
Start Stop Count 3925
Reallocated Sector Ct 0
Seek Error Rate 0
Seek Time Performance 9725
Power On Hours 11908
Spin Retry Count 0
Calibration Retry Count 0
Power Cycle Count 3904
Read Soft Error Rate 3925
Runtime Bad Block 3
End-to-End Error 0
Reported Uncorrect 6689
Command Timeout 0
Airflow Temperature Cel 25
Temperature Celsius 25
Hardware ECC Recovered 63314225
Reallocated Event Count 970
Current Pending Sector 222
Offline Uncorrectable 1
Multi Zone Error Rate 492
Soft Read Error Rate 4

Wordt dus toch een nieuwe schijf vrees ik. Deze is "slechts?" 5 jaar oud...

[Verwijderd]

Die schijf is continu nieuwe bad sectors aan het aanmaken, en dien je inderdaad af te schrijven.

[HyperBart]

FutureCow schreef op donderdag 16 mei 2013 @ 15:11:
Deze is "slechts?" 5 jaar oud...

Slechts? Bij een continu gebruik vind ik dat absoluut niet slecht, zeker niet voor een consumer grade harde schijf. Zelfs al wordt ze maar een paar uur per dag gebruikt, aan en uit gezet, spindown, spinup is 5 jaar zeker niet slecht.

Ik heb het ooit erger gehad met een setje van 4 x 2TB van Seagate. Ik denk dat ik in totaal 8 of 9 exemplaren de revue heb zien passeren

ABCD
C kapot
X in de plaats
X kapot
Y in de plaats
B kapot
Z in de plaats
Z kapot
G in de plaats

[ilovebrewski]

Ik zit met het volgende.
Ik heb onder ZFSguru de volgende configuraties
ada0 wd red 3TB
ada1 wd red 3TB
ada2 kingston ssd 120GB
ada3 wd red 3TB
ada4 wd red 3TB
ada5 samsung HD204UI
ada6 wd red 3TB
ada7 samsung HD204UI

De western digital zitten in een RAIDZ1 pool. De 2st samsung zitten in een MIRROR pool.

Ik heb middels commando 'camcontrol standby' ingesteld dat de schijven na 20 minuten in spindown gaan.

Nu het volgende:
Wanneer al mijn schijven (op mijn ssd met ZFSguru na) in spindown staan en ik ga naar een willekeurige pagina van mijn server wordt mijn schijf ada5 wakker. Het is altijd deze schijf en geen andere welke actief wordt.
Hoe kan dit en kan ik hier iets aan doen?

[FireDrunk]

Wat bedoel je met 'pagina'? De ZFSguru webinterface?

[ilovebrewski]

Sorry, klopt helemaal

[FireDrunk]

Dat is inderdaad vreemd... Je kan de disk in kwestie monitoren met DTrace, ik kan zo snel alleen even geen dtrace scriptje vinden wat geeft wat jij nodig hebt (het PID wat de IO doet...)

Zucht... DTrace support in ZFSguru is sowieso stuk als je ports gebruikt... Of iig: Ik kan de kernel modules niet laden, want ik krijg een Exec format error (vaak betekend dat dat de kernel modules niet matchen met de kernel versie zelf...)

@CiPHER, is het mogelijk om een fatsoenlijk werkende DTrace build te produceren van ZFSguru?

[ Voor 47% gewijzigd door FireDrunk op 20-05-2013 13:28 ]

[ilovebrewski]

OK
Ik mis nog wat ervaring dus moet het met wat hulp doen. Als ik het goed begrijp moet ik eea aanpassen in deZFSguru kernel.
Kan dit met onderstaande link?

https://wiki.freebsd.org/DTrace

[Dadona]

Ik heb een soortgelijk probleem. In mijn geval gaat het om Samsung F3EG schijven. Er zijn een aantal pagina's die geen trigger zijn, maar bij de meeste pagina's dan krijg ik te maken met een spinup. Heel irritant.

[FireDrunk]

ilovebrewski schreef op maandag 20 mei 2013 @ 13:46:
OK
Ik mis nog wat ervaring dus moet het met wat hulp doen. Als ik het goed begrijp moet ik eea aanpassen in deZFSguru kernel.
Kan dit met onderstaande link?

https://wiki.freebsd.org/DTrace

Je moet een hoop doen, namelijk de sources downloaden, nieuwe kernel compilen, deze installeren, en daarna eigenlijk world recompilen, en installeren. Dat is nogal een karwei...

Ik vraag me echt af welk proces dan die disks op laat spinnen...

[ilovebrewski]

hmm.. dat durf ik nog niet aan
Miss als ik wat meer ervaring heb

[iRReeL]

Als ik mijn nieuwe windows 8 VM afsluit herstart de hele server

De oude OS disks heb ik eruit gehaald en 1 SSD erin gezet. ZFSguru geinstalleerd (0.2. beta8, image 9.1-005, ziet er mooi uit ).
Nieuwe VM aangemaakt (windows 8 32bit) met virtualbox 4.1. Als ik de Win8 VM uitschakel dan herstart de hele server. Herstart van de VM werkt wel zonder problemen. ACPI shutdown vanuit virtual box console geeft hetzelfde resultaat, herstart van de server.

Kernel log laat zo te zien alleen info van de huidige boot zien dus weet niet welke error er is.

[Verwijderd]

Heb je meer dan één CPU gegeven? Heb je 3D-functionaliteit ingeschakeld? Je kunt proberen dat soort settings te veranderen.

Maar VirtualBox is niet zo'n stabiel product. Ook onder Linux en Windows heb ik crashes, en soms ook host crashes (BSOD). Dus of het specifiek aan FreeBSD + VirtualBox ligt durf ik niet te zeggen.

[iRReeL]

Ik had verder geen settings aangepast eigenlijk, alleen USB2.0 uitgeschakeld. Ik zal nog verder testen. De XP installatie werkte iig zonder enig probleem met 9.1-004 (maar daar had ik idd moeite met windows 8, maar niet dat de hele server herstartte).

En nu werkt Windows 8 eigenlijk als een zonnetje, behalve dit issue..

Toch een screenshot kunnen maken

[ Voor 12% gewijzigd door iRReeL op 21-05-2013 17:46 ]

[FireDrunk]

ARC even limiteren... virtualbox maakt ruzie met zfs om geheugen verwacht ik.

[Kortfragje]

Ik wilde in de nabije toekomst een zfs pool op gaan zetten. Nu zat ik te denken aan een zooitje WD Green's (zoals anderen in dit topic ook hebben gedaan). Echter, ik lees hier en daar dat deze problemen hebben met trage error recovery ( 1 , 2, 3 , 4 ).

Dit zou ertoe leiden dat drives voor broken arrays zorgen. Nu is mijn vraag, in hoeverre lopen mensen hier tegenaan (als ik het topic doorkijk kom ik dit eigenlijk niet tegen...)

Dus maar gewoon met WD green gaan?

[Verwijderd]

Dat verhaal van broken arrays gaat op voor slechte RAID engines, met name Hardware RAID en Windows onboard RAID. Het gaat niet op voor Linux software RAID en BSD software RAID. En ook niet voor ZFS, mits je de disks op een non-RAID controller gebruikt, dus niet op een Areca controller.

Kortom, WD EARX is zo'n beetje de beste schijf voor gebruik met ZFS. Bedenk wel dat je de headparking wilt uitschakelen (APM254 of WDIDLE.exe).

[Dadona]

Tenzij het met de meest recente schijven weer hebben aangepast kan dat met recente schijven van Western Digital ... erm...niet meer. Bij mijn WD20EARS schijven ging dat prima, maar de EARX staat het mij niet toe om het te wijzigen.

Wat Virtualbox betreft, het is vooral met de recente builds problematisch. Ik draai een oudere combinatie waar ik gewoon mee mag afsluiten (feature!! ) zonder dat de host onderuit gaat:
-ZFSguru 0.2.0-beta8
-System image 9.1-004
De virtualbox daarin werkt prima (ik kan even niet zo snel naar de Virtualbox versie kijken, de machine is daar te druk voor bezig, de web interface doet er jaren over..).

[mkroes]

Aanpassing is ook bij de EARX schijven nog mogelijk. (ik gebruik wdidle 3.0?).
Probleem is wel dat na elke opdracht met wdidle je de pc moet rebooten om het resultaat te zien/op te vragen.
Geheel uitschakelen was volgens mij niet mogelijk maar de timer werd op max (62 min) gezet.

[Verwijderd]

Op 20 minuten zetten vind ik eigenlijk veel beter. Headparking is best nuttig, het punt is dat het niet elke 7 seconden moet gebeuren. Dus iets tussen 5 en 30 minuten lijkt mij wenselijk.

[Kortfragje]

Verwijderd schreef op dinsdag 21 mei 2013 @ 23:10:
Dat verhaal van broken arrays gaat op voor slechte RAID engines, met name Hardware RAID en Windows onboard RAID. Het gaat niet op voor Linux software RAID en BSD software RAID. En ook niet voor ZFS, mits je de disks op een non-RAID controller gebruikt, dus niet op een Areca controller.

Kortom, WD EARX is zo'n beetje de beste schijf voor gebruik met ZFS. Bedenk wel dat je de headparking wilt uitschakelen (APM254 of WDIDLE.exe).

Jah ik had inderdaad al zo'n vermoeden omdat ik nergens een specifieke onderbouwing kon vinden, slechts bewoordingen zoals 'Doe het niet want greens werken nooit met RAID..'

Thanks

[FutureCow]

ik zou het zelf ook wel fijn vinden als de schijven na een tijdje (30min) gaan spindownen. Ik gebruik Linux Mint(/ubuntu) met ZFSonLinux.

heb ik daarvoor een script nodig? Ik ben o.a. deze tegen gekomen:

http://forums.servethehom...pinup-scripts-zpools.html

weet alleen niet of die ook op Linux werkt ipv FreeBSD?

[FireDrunk]

Spindown heeft weinig met ZFS te maken... Je kan reguliere spindown scripts gebruiken...

hdparm -s is meestal voldoende.

[analog_]

FutureCow schreef op woensdag 22 mei 2013 @ 14:57:
ik zou het zelf ook wel fijn vinden als de schijven na een tijdje (30min) gaan spindownen. Ik gebruik Linux Mint(/ubuntu) met ZFSonLinux.

heb ik daarvoor een script nodig? Ik ben o.a. deze tegen gekomen:

http://forums.servethehom...pinup-scripts-zpools.html

weet alleen niet of die ook op Linux werkt ipv FreeBSD?

Ik begrijp niet waarom je mint voor server wilt gebruiken, waarom niet gewoon debian? apt-get install hdparm, nano /etc/hdparm.conf bevat de configuratie voor de voor de debian derivaten en deze wordt tijdens boot ingesteld.

code:

/dev/sda {
        spindown_time = 250
}

/dev/sdb {
        spindown_time = 250
}

/dev/sdc {
        spindown_time = 250
}

/dev/sdd {
        spindown_time = 250
}

/dev/sde {
        spindown_time = 250
}

Het werkt ook in combinatie met ZFS, twijfelde eerst maar het werkt.

[jacovn]

issue met mijn 2e zfsguru systeem.

foutmeding tijdens boot:

Loading configuration files.
/etc/rc.conf:27 Syntax error: Unterminated quoted string
Enter full pathname of Shell or RETURN for /bin/sh:

Met een search op google vindt ik wel een oplossing lijkt het:
http://cyberjotter.blogsp...orrupted-rcconf-file.html

helaas boot het systeem niet in single user mode.. :
mps0:cannot allocate INTx interrupt
mps0: mps_attach failed to setup interupt

als ik niet in de single user mode ga krijg ik wel een prompt, maar het filesysteem lijkt niet goed te zijn, vi is er bijvoorbeeld niet (/usr/bin is leeg)

er staat geen data op, dus ik kan zo een re-install doen, maar wellicht is er een simplele manier om het op te lossen?

Ik kan niet zo zien wat er fout is (regel 27 blijkbaar) geen vi, ee. Alleen cat rc.conf werkt maar dan zie ik de laatste paar regels alleen. redirect naar more etc doet het niet.

[ Voor 10% gewijzigd door jacovn op 24-05-2013 15:16 ]

[FireDrunk]

In single user mode worden de child filesystems van ZFSGuru niet gemount. Die moet je zelf even mounten.
Maar simpel gezegd, heb je gewoon een foutje in je /etc/rc.conf

[jacovn]

single user mode boot niet goed..

Ik heb een 10 GE config toegevoegd de laatste keer, wellicht een " vergeten achter de laatste MTU 9000

Enig idee hoe ik dat kan oplossen als de single user mode niet werkt ?

[FireDrunk]

zfsguru livecd mounten, pool importeren via commandline met een alternatief mountpoint, even naar de file browsen, wijzigen, opslaan, rebooten.

[ Voor 19% gewijzigd door FireDrunk op 24-05-2013 15:43 ]

[jacovn]

FireDrunk schreef op vrijdag 24 mei 2013 @ 15:42:
zfsguru livecd mounten, pool importeren via commandline met een alternatief mountpoint, even naar de file browsen, wijzigen, opslaan, rebooten.

live cd was makkelijk

Nu de pool import via command line

De devices staan toch in \dev\
De SSD hangt op een onboard sata poort, dus ad*
Daar zie ik er 3 van, 2 x ssd en 1 x hdd hangt er aan.

ada0
ada0p1
ada0p2

ada1
ada1p1
ada1p2
ada3p3

ada2
ada2p1
adapp2

Neem aan dat de p1,p2p3 partities zijn.
Ik ga wel even herbooten met alleen de systeem ssd aangesloten, dan kan ik me niet vergissen.

Syntax ?
mount -w ada(x) /mnt/tempmount

[FireDrunk]

Uh, wacht, je hebt het toch gewoon over ZFS? Dan is het een kwestie van:

zpool import -R /mount/point [naamvanjepool]

[Chrisiesmit93]

Heb een snel vraagje over scrub, kan dit samen gebruikt worden met iSCSI?
Ik heb namelijk al mijn data binnen 2 iSCSI volumes staan.

[Verwijderd]

Een scrub zal enkel controleren of ZFS intact is en de redundantie die ZFS beheert overeenkomt met de originele data. Een scrub is geen vervanging van een filesystem check op je iSCSI volumes. Het kan zijn dat ZFS helemaal foutloos is, maar je (NTFS?) filesystem op je iSCSI-volume helemaal corrupt is. Die twee leven min of meer apart van elkaar.

[Chrisiesmit93]

Okee, dan kan ik dus beter mijn data via CIFS benaderen ? (iSCSI is / was indderdaad NTFS)

[FDMK]

Chrisiesmit93 schreef op zaterdag 25 mei 2013 @ 19:26:
Okee, dan kan ik dus beter mijn data via CIFS benaderen ? (iSCSI is / was indderdaad NTFS)

sowieso minder overhead

[BlauwKeut]

Ik wou eens navragen of iemand dit al heeft meegemaakt? Nog aan het troubleshooten - dus misschien vind ik het zelf nog.

Heb momenteel een ESXi setup, met twee M1015 in passthrough naar een virtuele ZFSGuru. Ik heb vanavond wat cablemanagement gedaan, en ondanks dat alles lijkt goed te zitten ziet ZFSGuru 5 van mijn 6 disks gewoon niet meer.

Buiten het herorganiseren van kabels (zonder ze anders aan te sluiten) heb ik de systeemtijd goed gezet omdat mijn oog erop viel dat die compleet verkeerd stond (28 februari 2013). Geen idee hoe dat komt maar goed. Gecorrigeerd door ESXi via een ntp server de juiste tijd te laten oppikken.

Ik heb al datakabels heen en weer gestoken, de andere controller gebruikt, maar het systeem vindt de disks niet. Kan het te maken hebben met de tijdsverandering? Of toch het cablemanagement waarbij ik 5 disks niet goed heb aangesloten (wat me sterk lijkt. één tot daar aan toe, maar 5?)...

Thoughts?

[analog_]

#1 vraag: zie je ze tijdens POST ?

[BlauwKeut]

Nope...

[edit]
gevonden en 't is niet goed... door een sluiting in een voedingskabel heeft juist de ene Norco bay waar 5 disks inzaten 7,5 volt op de 5 volt lijn voor de kiezen gehad. Dus 5 gloednieuwe disks in één keer opgeblazen. Gelukkig heb ik alle data nog in backup.

Zouden die schijven nog te redden zijn? Of zouden die stuurprintjes van de schijven te vervangen zijn? Zijn Barracuda's 3TB fwiw.

Zal maar beginnen met 5 nieuwe schijven in bestelling te zetten.

[ Voor 97% gewijzigd door BlauwKeut op 25-05-2013 23:38 ]

[Verwijderd]

Je kunt ze nog altijd proberen te RMA'en. (Niet allemaal tegelijk natuurlijk, maar met nog bijna 2 jaar garantie kun je het vast wel een beetje uitsmeren.)

[analog_]

Condoleances.
Heb je een gemodde molex voor 7.5V fan in je backpane gestoken of hangen er werkelijk losse draadjes? .oO vraagt zich af

[HyperBart]

BlauwKeut schreef op zaterdag 25 mei 2013 @ 22:51:
Nope...

[edit]
gevonden en 't is niet goed... door een sluiting in een voedingskabel heeft juist de ene Norco bay waar 5 disks inzaten 7,5 volt op de 5 volt lijn voor de kiezen gehad. Dus 5 gloednieuwe disks in één keer opgeblazen. Gelukkig heb ik alle data nog in backup.

Zouden die schijven nog te redden zijn? Of zouden die stuurprintjes van de schijven te vervangen zijn? Zijn Barracuda's 3TB fwiw.

Zal maar beginnen met 5 nieuwe schijven in bestelling te zetten.

Duuuude, das geen lachertje... Ik vind dat je er nog redelijk rustig onder blijft... Doet mij er toch nog maar eens aan denken dat ik een backup moet nemen...

[FireDrunk]

En waarom zou je ze niet allemaal tegelijk op mogen sturen? Garantie is garantie hoor...

[Verwijderd]

Omdat 7V op de 5V-lijn zetten valt onder oneigenlijk gebruik en niet wordt gedekt onder de garantie. Je televisie in het water gooien betekent ook dat je garantie geweigerd mag worden.

Echter, de vraag is of ze er moeilijk om doen. Vaak wordt een product gewoon getest en als het beestje het niet meer doet krijg je gewoon garantie. Zoiets komt gewoon op de grote stapel. Toch zou ik zelf in dit geval ook iets voorzichtiger zijn en eerst twee schijven retourneren en daarna pas de overige drie; just in case.

[BlauwKeut]

't was mijn eigen fout - dat geef ik ruiterlijk toe - per abuis idd 7,5V aangesloten op de backplane. Eer je daar achter komt... Dacht dat de stroom ok was omdat de statusleds op de bay gewoon brandden...

Heb ze ondertussen terug werkend, dankzij google:

http://forums.seagate.com...-TVS-diode-FAQ/m-p/118908
en
http://forums.seagate.com...ap-ST3000DM001/m-p/186792

Eerst getest met één drive, blijkt dat de beschreven TVS diode (zekering basically) doorgebrand is en de rest van de electronica is daardoor gevrijwaard gebleven van verdere schade. Vervangen en ze draaien weer. Een geluk dat het maar 7,5V was en geen 12V want daar heb ik verhalen van ontplofte chips over gelezen.

HyperBart schreef op zondag 26 mei 2013 @ 12:04:
[...]


Duuuude, das geen lachertje... Ik vind dat je er nog redelijk rustig onder blijft... Doet mij er toch nog maar eens aan denken dat ik een backup moet nemen...

Ik heb eens goed gevloekt, dat wel maar what else can you do?

[Phuncz]

Super dat je het zo hebt kunnen oplossen, tweaker-powerrrrr

[FireDrunk]

Tja, dat had ik dus weer niet gedaan, nu heb je zelf aan de print gesoldeerd en ben je dus sowieso je garantie kwijt...

[Phuncz]

Als ze dat kunnen zien

[FireDrunk]

True

[HyperBart]

BlauwKeut schreef op zondag 26 mei 2013 @ 13:33:
't was mijn eigen fout - dat geef ik ruiterlijk toe - per abuis idd 7,5V aangesloten op de backplane. Eer je daar achter komt... Dacht dat de stroom ok was omdat de statusleds op de bay gewoon brandden...

Heb ze ondertussen terug werkend, dankzij google:

http://forums.seagate.com...-TVS-diode-FAQ/m-p/118908
en
http://forums.seagate.com...ap-ST3000DM001/m-p/186792

Eerst getest met één drive, blijkt dat de beschreven TVS diode (zekering basically) doorgebrand is en de rest van de electronica is daardoor gevrijwaard gebleven van verdere schade. Vervangen en ze draaien weer. Een geluk dat het maar 7,5V was en geen 12V want daar heb ik verhalen van ontplofte chips over gelezen.


[...]

Ik heb eens goed gevloekt, dat wel maar what else can you do?

Vind ik best proper gedaan dan, als dit met mijn drives was gebeurd en dat was me gelukt dan sprong ik nu om de 5 minuten rond met een vreugdedansje...

[BlauwKeut]

FireDrunk schreef op zondag 26 mei 2013 @ 14:20:
Tja, dat had ik dus weer niet gedaan, nu heb je zelf aan de print gesoldeerd en ben je dus sowieso je garantie kwijt...

Vandaar dat ik ook eerst geprobeerd heb op ééntje. Mocht het niet gelukt zijn had ik de andere drives nog kunnen RMA'en...

HyperBart schreef op zondag 26 mei 2013 @ 17:49:
[...]

Vind ik best proper gedaan dan, als dit met mijn drives was gebeurd en dat was me gelukt dan sprong ik nu om de 5 minuten rond met een vreugdedansje...

Het was het proberen waard en ik slaakte toch ook wel een zucht van verlichting...

[HyperBart]

BlauwKeut schreef op zondag 26 mei 2013 @ 18:35:
[...]

Vandaar dat ik ook eerst geprobeerd heb op ééntje. Mocht het niet gelukt zijn had ik de andere drives nog kunnen RMA'en...
[...]

Het was het proberen waard en ik slaakte toch ook wel een zucht van verlichting...

Ik ben hier nav je pech ondertussen vrolijk aan het senden en receiven met ZFS naar een mirror van 2 x 2TB... Die gaat zodadelijk "gebroken" worden (terwijl andere toekomstige zfs receives vrolijk doorlopen op de andere disk van de mirror) en één van de 2 disks gaat dan in de auto naar mijn vader. Later komt die dan terug, doe ik een resilver en ik heb weer op op beide disks een recente backup. Repeat en we hebben een relatief veilige backupstrategie, alleen tijdens bliksem of brand terwijl alle schijven in mijn server zitten ben ik kwetsbaar (nu ja, dat zou ook nog op te lossen zijn met een derde disk en die bij in de mirror te steken, maar daar ben ik voorlopig nog niet paranoid genoeg voor

@CiPHER: het blijft redelijk stil rondom ZFSguru, er komen precies weinig functionaliteiten bij en de vooruitgang staat ogenschijnlijk stil. Kan je ons wat licht schijnen over het ontwikkelwerk van ZFSguru en toekomstige functionaliteiten? Ik heb soms een beetje het gevoel dat ZFSguru wel "wil" maar dat het gewoon niet lukt om echt eens vlot door te gaan met te evolueren...

[ Voor 28% gewijzigd door HyperBart op 26-05-2013 20:07 ]

[Verwijderd]

Jason heeft een week geleden nog een update gegeven over de development van ZFSguru. Voorlopig ben ik even uit de running, Jason heeft het zelf ook druk. Maar er zijn echt wel vorderingen geboekt. Alleen gaat het wat langzamer, maar er zijn ook veel lastige dingen voorbijgekomen. Jason heeft veel pech gehad met vanalles, veel energie verloren aan veranderingen in de opzet van FreeBSD zelf.

Alhoewel, alle moeilijke dingen zijn gefixed die op het rijtje stonden. ZFSguru is nu helemaal FreeBSD 10 Ready. Nieuwe builds met 9.0, 9.1, 9-STABLE en 10-CURRENT komen eraan. Over een week ofzo misschien al. Maar je weet hoe dat gaat met verwachtingen.

[Phuncz]

Zeer tof om te horen dat jullie volledig "bij de tijd" zijn. Zodra ik mijn NAS compleet heb, ga ik eerst beginnen bij ZFSguru op mijn zoektocht naar een OS.

[jacovn]

Goed nieuws denk ik. Maar de huidige release werkt ook goed voor mij.
Problemen die ik heb komen door mijzelf..

[FireDrunk]

@CiPHER, als het hebben over die wijzigingen in FreeBSD 10, gaat het dan vooral over PKGNG of over andere dingen?

[Verwijderd]

Goede vraag. Wat ik weet inderdaad pkgng en diverse workarounds in de build scripts. Maar ik weet er het fijne niet van. Alleen dat er nu al de 7e build iteratie is gekomen (met alle service builds en testen van .iso's en services). Kortom, het was een lange bevalling.

[deludi]

Ik heb een paar vraagjes over de ZFS indeling van mijn setup.
Heb 2 supermicro behuizingen met elk 16 disks (3TB 3,5 inch).
Ik wil hierop freenas gaan draaien vanaf usb stick.
Het plan is om data tussen beide machines te laten repliceren.
Ik denk er nu aan om per machine 1 raid-z2 set op te zetten van 15 disks met daarnaast 1 disk als hot spare.
Ik wil op de volumes gemengde data opslaan: een stuk of 10 vm's (linux) en daarnaast veel gewone data.
Intern geheugen is 32GB per machine.

vraagjes:
Is bovenstaande setup snel genoeg of moet ik er meteen al zil en l2arc ssd's in zetten?
Is bovenstaande setup nog 'hanteerbaar' of doe ik er beter aan om 2 volumes per machine op te zetten.

[FireDrunk]

Voor Random IO wil je altijd zil, 1 SSD is sneller dan wel 100 15k SAS schijven. De performancewinst is gewoon fenomenaal.

15 disks in 1 VDEV is wat fors, maar kan wel. Met 16 schijven is het lastig om een 'goede' config te maken.
Ideaal is 2 sets van 6 of 2 sets van 10 schijven in RAIDZ2.

[deludi]

Bedankt voor de snelle reactie.
Ga voor 2 vdev's per machine.

[FireDrunk]

Nadeel is een beetje dat 2*8 schijven een niet optimale RAIDZ2 grote is..

[deludi]

ik dacht aan een 10 disk en een 6 disk vdev.

[deludi]

sorry nog een toevoeging:

10 disk raidz2 vdev voor data
3 x 2 disk mirror voor vm's

[FireDrunk]

Dat is een prima oplossing, je kan dan nog een SSD toevoegen, en meerdere partities aanmaken op die ene SSD, en die partities als ZIL aan pools toevoegen. Dan heb je echt een snelle setup

(Wel een goede SSD kopen, want hij kan het wel eens druk gaan krijgen )

[ Voor 4% gewijzigd door FireDrunk op 28-05-2013 15:56 ]

[deludi]

top bedankt
ik ga me nog even inlezen over de benodigde ssd's

[DRAFTER86]

Ik ben wel benieuwd hoeveel mensen er hier ZFS on Linux draaien?
Aangezien het inmiddels productie-rijp is verklaard lijkt dat me een erg mooie optie voor mijn Ubuntu thuisserver, die o.a. Samba, Apache, torrents, Mysql, XBMC, MPD etc doet, maar ook al mijn fotos bevat.
Wat ik me vooral afvraag is of men het root-filesystem in een ZFS pool gooit?
Wat me persoonlijk erg handig lijkt is de snapshot functie, juist voor het besturingssysteem.
Maar ik ben toch ook een beetje huiverig voor de complexiteit, ik ben nu ook al wel even zoet als ik mijn GRUB weer eens gesloopt heb :-)
Wat zijn de ervaringen hier mee?