Het grote ZFS topic

Die 2e optie levert exact evenveel IOPS op je pool op, en de synced writes zitten elkaar net zoveel in de weg. De disks eronder moeten toch exact dezelfde IO's leveren? Of dat nou op 1 Filesystem staat, of op meerdere, maakt dan niets uit dunkt me...

Ik zou voor Optie 1 gaan met een ZIL, dan hoef je sync ook niet uit te zetten.

En die bulk storage, wat is dat dan? Databases? want dan kan je spindown al vergeten...

FireDrunk wijzigde deze reactie 07-05-2013 13:00 (10%)

quote:

FireDrunk schreef op dinsdag 07 mei 2013 @ 12:45:
Holy crap, je gaat wel even uitpakken...

Je denkwijze is volgens mij prima. Enige wat ik mis is op welke controller je dit alles gaat aansluiten?

12 disks + 2 SSD's is 14 devices

offtopic:
Ik heb ook nog intel 320's in de aanbieding

Aan mijn post het volgende toegevoegt.
- 2x IBM M1015

Kan je me mailen voor de SSD's en kosten?

Bulk storage zijn voornamelijk multimedia, geen databases. Ik dacht dat het sync write verhaal vooral speelde op NFS niveau, wat voor problemen zou zorgen. Die 5MB/s sequentieel die eerder aangehaald werd lijkt mij namelijk wel erg laag om meerdere VM's te draaien. Blijkbaar zit het toch iets anders in elkaar en moet ik mij nog wat verder inlezen .

NFS is niets anders dan een primitief doorgeef luik. Enige nadeel is, is dat alle NFS metadata commando's (zoals: Open File, Sluit File, Wijzig attributen, yada, yada) SYNC writes zijn. Dat is leuk, maar van nature doet NFS redelijk vaak een commit volgens mij, en daardoor krijg je relatief veel SYNC writes ten opzichte van een 'normale' NTFS partitie.

Alle gekheid op een stokje: als ik een ZIL toevoeg dan zou mijn performance al omhoog moeten gaan, period. Waarom dat nu niet gebeurt: geen idee. Het lijkt me in ieder geval niet normaal...

Ik ben nog altijd op zoek naar een manier om een soort van dd in synced mode te doen om ESXi volledig uit te sluiten.

zfs set sync=always hulk/data
dd if=/dev/zero of=/hulk/data/testje.000 bs=1M count=10024

Zoiets?

Of:

bonnie++ -d /datapool/data/temp/bonnietest -b -s 32768 -b -u 1000

FireDrunk wijzigde deze reactie 07-05-2013 14:40 (29%)

Intel X520-DA2 werkt zonder issues direct in ZFSGuru
Simpele direct attach kabel van 60 euro ertussen en 10GE werkt als een speer.
Ik heb nu copy speed van mijn win 7 PC van 235 Mbyte/sec via samba. De windows PC is niet al te snel qua i/o met een HW raid-5 van 5x1 TB.

Probeer eens 2 RAM drives Ben beniewd!

van ramdrive van win7 pc naar raidz2 volume zie ik tussen de 300 en 500 mbyte/sec gaan.
Laatste getal is 367 Mbyte/sec

Dat is dan een 2.7 GB iso file, de ramdrive is maar 4 GB, en de copy snelheid met windows is een beetje onduidelijk..

mtu is 1500 bytes, het is een point to point verbinding, dus ik zou hem wellicht op 9000 kunnen zetten ?

jacovn wijzigde deze reactie 07-05-2013 16:43 (18%)

quote:

jacovn schreef op dinsdag 07 mei 2013 @ 16:37:

mtu is 1500 bytes, het is een point to point verbinding, dus ik zou hem wellicht op 9000 kunnen zetten ?

Jep, als beide machine jumbo frames aankunnen.

quote:

Neptunus schreef op dinsdag 07 mei 2013 @ 12:23:
[...]

Ben benieuwt hoe jij het zou opzetten!

Precies zo. Heb een soortgelijk systeem en dat draait al maanden. Zorg dat je de ZFS VM genoeg geheugen geeft. Ik dacht met 6 disks genoeg te hebben aan 8GB, maar nu dat ding 20GB heeft is snelheid bijna verdubbeld. (reads van 700MB/s door arc en l2arc ) Enige nadeel is het all-in-one principe, wanneer ik een bios-update of vmware-update doe werkt niets meer in huis. Voordeel is dat onderlinge connectie tussen vm's redelijk snel is, zonder dat je moet investeren in 10GbE of Infiniband spul.

quote:

jadjong schreef op dinsdag 07 mei 2013 @ 17:02:
[...]

Precies zo.

Goed om te weten, ik heb genoeg geheugen 64GB totaal. Dat moet handig te verdelen zijn. Ik heb 10 HDD van 2TB voor de ZFS opstelling. Heb als eens opzoek gegaan naar vuistregels om de hoeveelheid geheugen te bepalen. Helaas niet echt wat kunnen vinden. Jij hebt dat zo te lezen wel. Nu zeg ik: share ze met ons

De enterprise regel is 1GB per 1TB bovenop reguliere OS/Applicatie requirements.
Ik zou zeggen begin met benchmarken van 16GB en 32GB en als het geen verschil maakt, pak je 16GB.
Dat zou afdoende moeten zijn.

Test ook niet alleen met een lege pool, maar ook met een halfvolle (of hoe ver je hem kan vullen) pool.

Als je L2ARC en Deduplicatie aan zet, moet je ook nog extra ram rekenen. (Vooral Dedup is erg geheugen hongerig)

FireDrunk wijzigde deze reactie 07-05-2013 17:45 (15%)

quote:

Neptunus schreef op dinsdag 07 mei 2013 @ 17:00:
[...]


Jep, als beide machine jumbo frames aankunnen.

De win7 pc op 9014 en de zfs kant op 9000 gezet.
Iets hogere transfer rate lijkt het, nu rond de 240 mbyte/sec voor een blu ray rip.

Het is sneller dan naar de 120 gb intel ssd boot disc in de win 7 pc

jacovn wijzigde deze reactie 07-05-2013 19:35 (11%)

Ik heb nu ondertussen ESXi geherinstalleerd met de laatste versie (zonder tuning of aanpassingen, gewoon vanilla). Verder heb ik mijn M4 nu dedicated aan mijn M1015 gehangen en als ZIL ingesteld.

De resultaten zijn nog altijd bedroevend vanuit een VM op ESXi op een NFS-share... 5MB/s.

Als ik de M4 als een aparte pool en er een FS op aanmaak en ik stel in dat alles synced moet gaan op dat FS en ik doe een DD op ZFSGURU zelf dan krijg ik snelheden van om en bij de 85MB/s....

EDIT: ik begin nu te denken dat mijn SSD te traag is . Ik heb een full memory backed disk aangemaakt van 4GB en deze even GPT geformatteerd en aan mijn pool gehangen als ZIL...

bart@Pyro3:~/test$ dd if=/dev/zero of=test.file bs=1M count=5000
5000+0 records in
5000+0 records out
5242880000 bytes (5.2 GB) copied, 20.2704 s, 259 MB/s

Dat gaat dus wel vooruit, en nog geen klein beetje, want dit zijn allemaal synced writes vanuit ESXi...

EDIT2: Bovenstaande snelheden haal ik ondertussen ook al niet meer, zit nu rond de 80 à 90MB/s

HyperBart wijzigde deze reactie 08-05-2013 00:12 (36%)

80MB/s synced is zo slecht nog niet hoor... bedenk je goed dat die synced writes single threaded zijn. Je moet het dus vergelijken met de 4k resultaten van AS-SSD.

Als ik vanavond tijd over heb zal ik mijn 320's eens als ZIL inzetten en benchmarken vanuit ESXi.

FireDrunk wijzigde deze reactie 08-05-2013 08:03 (23%)

Seagate heeft nu ook power failsafe consumenten SSD's http://tweakers.net/nieuw...ste-consumenten-ssds.html (alleen de pro's geloof ik en voor mij nooit meer seagate.)

En voor mij nooit meer Seagate terwijl dit hun eerste SSD is? Hoezo bevooroordeeld?

Tering,

http://www.storagereview....pro_enterprise_ssd_review

Dat ding is een partij snel... Kan zich qua pieken bijna meten met de 840 Pro, en houdt het langer en beter uit in server workloads...

EN het ding heeft Power Caps... EN hij rent rondjes om de M500...

Ik zeg dat ding is ideaal voor ZFS

FireDrunk wijzigde deze reactie 08-05-2013 10:25 (65%)

Ik denk dat we, afgaand op spec's alleen, een nieuwe konings-SSD hebben voor ZIL/L2ARC:

http://www.storagereview....pro_enterprise_ssd_review

Nog geen prijzen bekend zeker? Hopelijk brengen ze een 32/64 GB versie uit, dat is wel fijn dan idd als L2ARC of SLOG

quote:

Capacities: 100GB(ST100FP0021), 120GB (ST120FP0021), 200GB(ST200FP0021), 240GB (ST240FP0021), 400GB(ST400FP0021) and 480GB (ST480FP0021)

Lezen is moeilijk

Neen, maar prijzen worden aangegeven aan 1,4 EUR / GB.

140-150,- voor 100GB is wel aan de hoge kant idd... Dat is ruim duurder dan een Intel 320.

Zijn wel 8-10x zo snel, maar goed...

Vandaag nog even wat verder zitten testen, writes zijn relatief traag, maar wat me wel opvalt is dat wanneer ik aan het writen ben dat ZFS ook heel wat zit te lezen...

Dit is een iostat terwijl ik vanuit een VM een write aan het doen was naar een VMDK op NFS op ZFS:

                 capacity     operations    bandwidth
pool          alloc   free   read  write   read  write
------------  -----  -----  -----  -----  -----  -----
hulk          8.89T  4.73T     72  1.50K  9.03M   153M
  raidz1      8.89T  4.73T     72  1.36K  9.03M   143M
    gpt/bay1      -      -     71    345  2.29M  29.2M
    gpt/bay2      -      -     72    366  2.26M  30.8M
    gpt/bay3      -      -     72    364  2.32M  30.9M
    gpt/bay4      -      -     40    363  1.27M  30.8M
    gpt/bay5      -      -     31    401  1.05M  35.9M
logs              -      -      -      -      -      -
  gpt/MEM      926M  3.06G      0    138      0  9.15M
cache             -      -      -      -      -      -
  gpt/L2ARC   40.0G   112K      0    330      0  39.3M
------------  -----  -----  -----  -----  -----  -----

                 capacity     operations    bandwidth
pool          alloc   free   read  write   read  write
------------  -----  -----  -----  -----  -----  -----
hulk          8.89T  4.73T    371    720  45.7M  46.7M
  raidz1      8.89T  4.73T    371      0  45.7M      0
    gpt/bay1      -      -    352      0  11.0M      0
    gpt/bay2      -      -    348      0  10.8M      0
    gpt/bay3      -      -    360      0  11.2M      0
    gpt/bay4      -      -    210      0  6.47M      0
    gpt/bay5      -      -    202      0  6.25M      0
logs              -      -      -      -      -      -
  gpt/MEM      926M  3.06G      0    720      0  46.7M
cache             -      -      -      -      -      -
  gpt/L2ARC   40.0G    16K     65    326  8.17M  39.3M
------------  -----  -----  -----  -----  -----  -----

quote:

FireDrunk schreef op woensdag 08 mei 2013 @ 10:41:
140-150,- voor 100GB is wel aan de hoge kant idd... Dat is ruim duurder dan een Intel 320.

Zijn wel 8-10x zo snel, maar goed...

Maar inmidddels is er ook de Crucial M500...

En zeer recent de Seagate 600 Pro, deze kan dus als 3e inherent veilige consumenten SSD aan het lijstje worden toegevoegd.

Spuit11

Even een kort vraagje:
Ik heb de volgende disks op dit moment:
- 1TB ext4 met 800GB DATA
- 1TB leeg
- 1TB leeg

Ik wil hier graag een RAIDZ pool van maken. hoe zorg ik er voor dat ik de 800GB data niet verlies?

1) Zet de twee lege schijven samen met een RAM drive in RAID-Z1.
2) Kopieer de data.
3) Vervang de RAM drive door de fysieke resterende schijf.

Nou nee, je moet absoluut niet data kopiëren terwijl de RAM-drive nog onderdeel is van de RAID-Z; dat gaat helemaal verkeerd. Je moet direct rebooten na het aanmaken van de RAID-Z. Je krijgt dan een degraded RAID-Z zonder RAM-drive. Dan kun je data kopiëren.

Als je ZFSguru gebruikt kun je op Disks->Memory je RAM-disk maken. Enige wat je hoeft te doen is de grootte aanpassen (groter dan je overige schijven zoals 3TiB voor 3TB schijven; je kunt hem ook 100 terabyte maken het verbruikt maar enkele megabytes omdat er weinig naar de RAMdisk wordt geschreven gedurende het aanmaken van de pool). Daarna formatteer je de RAM-disk net als overige disks. Daarna maak je de RAID-Z aan met 2 schijven+ramdisk. Dan rebooten. Daarna data kopiëren. Daarna de 3e disk toevoegen aan de pool ipv RAM-disk. Ook dit kan via de web-interface in ZFSguru op de Pools pagina (klik op je pool, gebruik de dropdown box en replace de missing device met de nieuw-geformatteerde 3e disk). Voila.

Dat bedoelde ik dus wel degelijk; alleen een beetje ongelukkig en te kort geformuleerd.

Ik heb een raid z2 pool met 4 disken op een Ubuntu 12.04 ZoL systeem. De pool is ooit aangemaakt in ZFSGuru. Nu wil ik een van de disken detachen, maar dat lijkt niet te werken.

[code]

root@storage:~# zpool status
pool: data
state: ONLINE
status: The pool is formatted using a legacy on-disk format. The pool can
still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'. Once this is done, the
pool will no longer be accessible on software that does not support
feature flags.
scan: scrub repaired 0 in 3h54m with 0 errors on Wed May 8 15:29:34 2013
config:

NAME STATE READ WRITE CKSUM
data ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
ata-WDC_WD20EARX-00PASB0_WD-WCAZAF638030 ONLINE 0 0 0
ata-WDC_WD20EARX-00MMMB0_WD-WCAWZ2666090 ONLINE 0 0 0
ata-WDC_WD20EARX-22PASB0_WD-WCAZAA154961 ONLINE 0 0 0
ata-WDC_WD20EARX-00PASB0_WD-WCAZAF637757 ONLINE 0 0 0
cache
l2arc UNAVAIL 0 0 0
ata-M4-CT128M4SSD2_0000000012390917A5BC-part3 ONLINE 0 0 0
[/code]

[code]
root@storage:~# zpool detach data ata-WDC_WD20EARX-00PASB0_WD-WCAZAF637757
cannot detach ata-WDC_WD20EARX-00PASB0_WD-WCAZAF637757: no such device in pool
[/code]

Ook /dev/disk/by-id/<id> werkt niet, ik denk dat het e.e.a te maken heeft met dat de pool in ZFSGuru is aangemaakt..
Tips? Ideeen?

detach.. mirror .... laat maar...

Ik heb ook een ZFS vraagje: ik heb een SSD met daarop 1 pool (A). En 2 HDDs die ik als mirror wil gaan gebruiken voor een 2e pool (B). Wat is nu de beste manier om een backup van pool A te maken en op pool B te zetten? Een filesystem aanmaken in pool B (B/backups) en dan zfs send <opties> | zfs receive <opties> gebruiken? Of is er een betere manier?

onox wijzigde deze reactie 10-05-2013 07:42 (3%)

Je kan alleen snapshots senden en recieven. Dus je moet eerst een "full" snapshot maken van A, en die senden naar B.

Dat had ik al in de man page gelezen ja. Maar is snapshots senden en receiven de beste manier voor het maken van een backup van een pool? Is het trouwens zo dat -r nodig is bij het maken van een snapshot? Of is dat alleen nodig als je de individuele filesystems van de snapshot wilt kunnen gebruiken/manipuleren?

onox wijzigde deze reactie 10-05-2013 11:42 (52%)

quote:

FireDrunk schreef op vrijdag 10 mei 2013 @ 10:49:
Je kan alleen snapshots senden en recieven. Dus je moet eerst een "full" snapshot maken van A, en die senden naar B.

Wat is daarvoor de beste manier, een 'full' snapshot? Dat is toch gewoon de eerste keer dat je een snapshot maakt?
Ik zit namelijk met hetzelfde. Ik wil op de disken die in mijn server zitten vervangen voor andere (ook andere types en pool properties, dus geen replace).

Ik heb nu een snapshot gemaakt met
code:

zfs snapshot pool/filesystem@20130511

en dit vervolgens met
code:

zfs send pool/filesystem@20130511 | zfs receive poolnieuw/filesystemnieuw

op de nieuwe disken terecht laten komen.

HyperBart is er meer mee bezig geweest dan ik, misschien kan hij er een lichtje op schijnen.

B2: het is me nog niet duidelijk wat je wilt. Jouw voorbeeld is afdoende om een simpele snapshot te dupliceren naar een nieuwe pool. Is dat wat je wilt?

Als je de data van een complete pool wilt overzetten, inclusief alle snapshots en clones en wat niet al, dan gebruik je:

zfs snapshot -r tank@2013-05-11
zfs send -R tank@2013-05-11 | zfs receive newpool

Als je liever alle filesystems in een sub-filesystem hebt op je nieuwe pool, dan gebruik je newpool/newfs op het laatst. De -R parameter zal dus alle snapshots en children filesystems overzetten.

Wil je alles overzetten naar een ander systeem via SSH login, dan kun je gebruiken op het bronsysteem:

zfs send -R tank@2013-05-11 | ssh root@newsystem zfs receive newpool/newfs

Als je eenmaal de initiele snapshot (tank@datum1) hebt overgezet, kun je daarna incremental snapshots verzenden met
zfs send -R -i tank@datum1 tank@datum2 | zfs receive -F backuppool
(-F is optioneel, forceert een rollback naar de meest recente snapshot van je backup voordat de incremental wordt verzonden, alleen nodig als je backup gewijzigd is sinds de laatste snapshot, als je dan een incremental toepast, kan dat een corrupte backup pool tot gevolg hebben geeft zfs een foutmelding)

blobber wijzigde deze reactie 14-05-2013 12:23 (4%)

Krijg je niet gewoon een foutmelding van ZFS dat die backup niet gesynced kan worden? Want silent corruption op snapshots zou natuurlijk een bitch zijn

quote:

FireDrunk schreef op zondag 12 mei 2013 @ 07:30:
Krijg je niet gewoon een foutmelding van ZFS dat die backup niet gesynced kan worden? Want silent corruption op snapshots zou natuurlijk een bitch zijn

Daar heb je wel een punt, zfs geeft een foutmelding als de backup in de tussentijd gewijzigd is: zie http://breden.org.uk/2008...ckups-from-zfs-snapshots/
Het verhaal over corrupte data kan ik niet terugvinden, ik vermoed dat het een broodje aap was, ik heb mijn post aangepast

blobber wijzigde deze reactie 14-05-2013 12:32 (16%)

is deze schijf te kapot of valt daar nog wel wat meer te doen:

Raw Read Error Rate 3965
Spin Up Time 7940
Start Stop Count 3925
Reallocated Sector Ct 0
Seek Error Rate 0
Seek Time Performance 9725
Power On Hours 11815
Spin Retry Count 0
Calibration Retry Count 0
Power Cycle Count 3904
Read Soft Error Rate 3762
Runtime Bad Block 3
End-to-End Error 0
Reported Uncorrect 6526
Command Timeout 0
Airflow Temperature Cel 24
Temperature Celsius 25
Hardware ECC Recovered 10930660
Reallocated Event Count 736
Current Pending Sector 235
Offline Uncorrectable 1
Multi Zone Error Rate 980
Soft Read Error Rate 891

quote:

FutureCow schreef op zondag 12 mei 2013 @ 18:36:
is deze schijf te kapot of valt daar nog wel wat meer te doen:

...
Reported Uncorrect 6526
Reallocated Event Count 736
Current Pending Sector 235
Offline Uncorrectable 1
Multi Zone Error Rate 980
...

Ik zou hem weggooien

Heeft iemand een mirror voor zfsguru iso? Downloadsite werkt niet.

Hm vaag, gelijk mailtje gedaan naar Jason. Maar je kunt de beta4 wel gebruiken. Voordat je installeert gebruik je dan de updatefunctie om te updaten naar beta8 web-interface, en je downloadt de nieuwste systeemversie bij stap2 van de installatieprocedure.

CiPHER wijzigde deze reactie 12-05-2013 20:37 (12%)
Reden: beta4 unlinked; beta8 weer beschikbaar

quote:

CiPHER schreef op zaterdag 11 mei 2013 @ 15:36:
Als je de data van een complete pool wilt overzetten, inclusief alle snapshots en clones en wat niet al, dan gebruik je:

zfs snapshot -r tank@2013-05-11
zfs send -R tank@2013-05-11 | zfs receive newpool

Ok, dus je moet wel -r gebruiken bij snapshot? Wat als je nou dat niet hebt gedaan en je bij send wel -R doet? Wat gaat ZFS dan precies doen?

Is het trouwens beter om op elk van de 2 HDDs 2 partities te maken (partitie voor backup pool en partitie voor data pool zodat je 2 mirrors krijgt) of gewoon 1 partitie en dan een backup filesystem, die je dan gebruikt bij zfs receive?

@FireDrunk: gefeliciteerd!

quote:

CiPHER schreef op zondag 12 mei 2013 @ 19:45:
Hm vaag, gelijk mailtje gedaan naar Jason. Maar je kunt de beta4 wel gebruiken. Voordat je installeert gebruik je dan de updatefunctie om te updaten naar beta8 web-interface, en je downloadt de nieuwste systeemversie bij stap2 van de installatieprocedure.

Dank je, ik heb ondertussen beta 4 ook al gevonden en geinstalleerd. Helaas gaat updaten via diezelfde bravo.zfsguru.com en is dus niet mogelijk. Tis niet erg, ik ben het nog aan het bekijken in virtualbox. En ik moet zeggen dat jullie het wel heel erg makkelijk hebben gemaakt. Ik ben erg onder de indruk. Ben benieuwd naar beta 8.

Server inclusief beta8 download zou het weer moeten doen, kun je dat controleren?

Check, het werkt, Dank je wel

Zit net een discussie te lezen over ZFS en ECC RAM: http://hardforum.com/showthread.php?t=1689724 en kan me inderdaad voorstellen dat geheugenproblemen behoorlijk kritiek kunnen zijn voor een ZFS systeem. Ik vraag me dan ook af of ik niet beter een E3 Xeon icm ECC kan gebruiken i.p.v. een i5 met niet-ECC geheugen? Ben alleen bang dat het prijsverschil ook behoorlijk is...

Helaas is er weer zo'n studie die dingen test, waar mensen dan ook weer helemaal overtuigd door zijn. Alleen kunnen mensen permanente en tijdelijke corruptie niet van elkaar scheiden.

ZFS kan prima tegen RAM-geheugen bitfouten. Ja, er vindt corruptie plaats en ja, die worden aan de applicatie doorgegeven. Dat is het grootste bezwaar. Maar bij een volgende access of scrub zal ZFS ook weer net zogoed de corruptie herstellen. Kortom, voor thuisgebruikers is ECC voor je ZFS server niet zo belangrijk.

Als je ECC wilt, kun je dat het beste éérst voor al je workstations nemen die helemaal geen bescherming bieden tegen geheugencorruptie. ZFS heeft namelijk wel tenminste enige bescherming hiertegen. En zelfs al gaat het onherstelbaar fout bijvoorbeeld omdat je maar enkelvoudige parity gebruikt en je hebt meervoudige RAM-corruptie gehad, dan kan ZFS uiteindelijk zeggen dat bestand X corrupt is geraakt.

Kortom, ZFS kan prima tegen een stootje. Ieder die anders beweert, mag dat aantonen van mij. Ik heb het zelf getest met een reepje brak RAM geheugen op mijn testserver. Uiteindelijk waren alle bestanden na een scrub met goed geheugen weer intact en conform de originele MD5 checksums. Probeer dat eens op je onbeschermde workstations! Als die corrupte data schrijven naar ZFS, is het definitief afgelopen want dat ga je nooit meer corrigeren.

Als je ECC wilt, doe je dat eerst op alle workstations, en pas als laatste op je ZFS server. Alleen zakelijke gebruikers die sterke behoefte hebben aan de End-to-End data integrity willen natuurlijk wel ECC op hun fileserver.

Een werkstation dat compleet crashed vanwege geheugencorruptie kan me niet zoveel schelen, ook al is dit tijdens het opslaan van een bestand (en daarmee dat bestand onbruikbaar makend), dan hoop ik maar dat ik een backup/version heb die nog wel goed is. Als de opslag zelf echter crashed en/of corrupt raakt door RAM problemen dan is dat veel vervelender. Natuurlijk moeten er backups gemaakt worden maar bij volumes > 5Tb gaat een restore best wel lang duren. Wat wordt er eigenlijk het meest gebruikt voor backups van 5+Tb?

Je gaat er ten onrechte vanuit dat RAM-corruptie leidt tot een crash; dat gebeurt misschien als kernel-level componenten met RAM-corruptie te maken krijgen, maar als je data aan het schrijven bent (of aan het kopiëren) naar je ZFS NAS, en in die data bevinden zich RAM bitflips, dan schrijf je keihard corrupte data naar je ZFS NAS die door ZFS zelf onopgemerkt blijft. Silent corruption dus. Omdat alle besturingssystemen je RAM als filecache gebruiken, betekent dit in feite dat al je data wat je workstations in handen krijgen, corrupt kan raken zonder dat jij dat direct opmerkt. Je merkt het pas op als het te laat is.

Ook backups doen je dan geen goed, want die corruptie kan keihard doorvloeien naar je backups. Ergo; als je je zorgen maakt om RAM corruptie, dan zorg je allereerst dat je workstations ECC krijgen; en je ZFS NAS pas als laatste. Omgekeerd kan ook, maar dan spijker je de kluis dicht terwijl de sleutel zoekraakt, ofzoiets.

quote:

CiPHER schreef op woensdag 08 mei 2013 @ 21:42:
En zeer recent de Seagate 600 Pro, deze kan dus als 3e inherent veilige consumenten SSD aan het lijstje worden toegevoegd.

Deze ook dan of is die te traag

http://nl.hardware.info/n...drives-met-rs4-controller

quote:

nero355 schreef op dinsdag 14 mei 2013 @ 03:25:
[...]
Deze ook dan of is die te traag
http://nl.hardware.info/n...drives-met-rs4-controller

Het gaat vooral om de betrouwbaarheid m.b.t. stroomstoringen (veilig) en betaalbaarheid (consumentenschijf), dure enterprise schijven hebben over het algemeen ook een power fail buffer/beveiliging maar zijn erg duur.
Het valt mij op dat op de getoonde PCB de condensator Pads wel aanwezig zijn maar de condensatoren zelf ontbreken.
Zijn er al reviews en/of benchmarks van deze SSD's?
Ze worden als industrial SSD's aangeprezen, niet echt consumenten SSD lijkt me?

http://au.finance.yahoo.c...ries-solid-080400401.html

Vooral bedoelt voor embedded en andere bedrijfsmatige toepassingen.

Het grote probleem met zelfontwikkelde oplossingen is dat er weinig over bekend is. En het blijft een complex product. Als er tekortkomingen zijn zoals bugs, dan zul je daar hoogstwaarschijnlijk niets over horen. Ik raad dus vooral aan dat men blijft bij bekende mainstream-producten die wel beveiligd zijn. De Intel 320 zou de meest betrouwbare consumer-grade SSD zijn, terwijl de M500 daar de 2e plek voor zou kunnen krijgen; al moet die zich nog bewijzen.

Dus een eigen ontwerp in elkaar flansen is leuk, maar tenzij die grote populariteit geniet onder een bepaalde doelgroep en het een lange en vooral goede trackrecord heeft op het gebied van betrouwbaarheid, zie ik er weinig heil in.

TDK's (eerste?) eigen nieuwe controller... spannend inderdaad!

base_ wijzigde deze reactie 14-05-2013 03:53 (5%)

Ik zie nergens een uitspraak over IOPS, wel een beetje verdacht.. En 180/130 MB/s is ook echt niet snel.
De Error recovery opties klinken dan wel weer goed...
---

[root@NAS /home/ssh]# VBoxManage controlvm "Downloader;5900" poweroff
0%...10%...20%...30%...40%...50%...

Wat is VirtualBox onder FreeBSD toch een jankproduct... Gadverdamme wat is dat instabiel...

Maar snel naar ESXi of bhyve...

FireDrunk wijzigde deze reactie 14-05-2013 10:35 (44%)

Om nog een laatste reanimatie van mijn HD te doen wil ik hem gaan zero fillen. Zijn de volgende commando's dan goed?

zpool offline tank /dev/sdb
dd if=/dev/zero of=/dev/sdb bs=1M
zpool online tank /dev/sdb

quote:

CiPHER schreef op dinsdag 14 mei 2013 @ 03:42:
De Intel 320 zou de meest betrouwbare consumer-grade SSD zijn

Zelfs die heb ik een keer laten flippen, maar na een reboot was alles weer OK gelukkig en heb ik er nooit meer last van gehad

Ik heb de 120 GB en de 300 GB versie in mijn PC en behalve dit incidentje met de 300 GB versie heb ik eigenlijk nooit problemen ermee gehad in tegenstelling tot de 4x OCZ Vertex 64 GB SSD's die ik een tijdje in RAID 0 heb gedraaid toen SSD's net op de markt kwamen. Was echt verschrikkelijk balen en ondanks heel wat RMA's altijd gezeik ermee gehad

Dus wat mij betreft Intel 320 FTW!!!

quote:

FutureCow schreef op woensdag 15 mei 2013 @ 22:57:
Om nog een laatste reanimatie van mijn HD te doen wil ik hem gaan zero fillen. Zijn de volgende commando's dan goed?

zpool offline tank /dev/sdb
dd if=/dev/zero of=/dev/sdb bs=1M
zpool online tank /dev/sdb

Op zich wel, maar ik zou even wachten met de schijf terug te hangen in de pool. Kijk eerst even naar de SMART waardes, en kijk of Current Pending Sector 0 is. Als dat zo is, heeft je schijf alle corrupte sectoren op kunnen vangen, zo niet, afschrijven.

Dit is de output na een zero fill:

Raw Read Error Rate 4402
Spin Up Time 7940
Start Stop Count 3925
Reallocated Sector Ct 0
Seek Error Rate 0
Seek Time Performance 9725
Power On Hours 11908
Spin Retry Count 0
Calibration Retry Count 0
Power Cycle Count 3904
Read Soft Error Rate 3925
Runtime Bad Block 3
End-to-End Error 0
Reported Uncorrect 6689
Command Timeout 0
Airflow Temperature Cel 25
Temperature Celsius 25
Hardware ECC Recovered 63314225
Reallocated Event Count 970
Current Pending Sector 222
Offline Uncorrectable 1
Multi Zone Error Rate 492
Soft Read Error Rate 4

Wordt dus toch een nieuwe schijf vrees ik. Deze is "slechts?" 5 jaar oud...

Die schijf is continu nieuwe bad sectors aan het aanmaken, en dien je inderdaad af te schrijven.

quote:

FutureCow schreef op donderdag 16 mei 2013 @ 15:11:
Deze is "slechts?" 5 jaar oud...

Slechts? Bij een continu gebruik vind ik dat absoluut niet slecht, zeker niet voor een consumer grade harde schijf. Zelfs al wordt ze maar een paar uur per dag gebruikt, aan en uit gezet, spindown, spinup is 5 jaar zeker niet slecht.

Ik heb het ooit erger gehad met een setje van 4 x 2TB van Seagate. Ik denk dat ik in totaal 8 of 9 exemplaren de revue heb zien passeren

ABCD
C kapot
X in de plaats
X kapot
Y in de plaats
B kapot
Z in de plaats
Z kapot
G in de plaats

Ik zit met het volgende.
Ik heb onder ZFSguru de volgende configuraties
ada0 wd red 3TB
ada1 wd red 3TB
ada2 kingston ssd 120GB
ada3 wd red 3TB
ada4 wd red 3TB
ada5 samsung HD204UI
ada6 wd red 3TB
ada7 samsung HD204UI

De western digital zitten in een RAIDZ1 pool. De 2st samsung zitten in een MIRROR pool.

Ik heb middels commando 'camcontrol standby' ingesteld dat de schijven na 20 minuten in spindown gaan.

Nu het volgende:
Wanneer al mijn schijven (op mijn ssd met ZFSguru na) in spindown staan en ik ga naar een willekeurige pagina van mijn server wordt mijn schijf ada5 wakker. Het is altijd deze schijf en geen andere welke actief wordt.
Hoe kan dit en kan ik hier iets aan doen?

Wat bedoel je met 'pagina'? De ZFSguru webinterface?

Sorry, klopt helemaal

Dat is inderdaad vreemd... Je kan de disk in kwestie monitoren met DTrace, ik kan zo snel alleen even geen dtrace scriptje vinden wat geeft wat jij nodig hebt (het PID wat de IO doet...)

Zucht... DTrace support in ZFSguru is sowieso stuk als je ports gebruikt... Of iig: Ik kan de kernel modules niet laden, want ik krijg een Exec format error (vaak betekend dat dat de kernel modules niet matchen met de kernel versie zelf...)

@CiPHER, is het mogelijk om een fatsoenlijk werkende DTrace build te produceren van ZFSguru?

FireDrunk wijzigde deze reactie 20-05-2013 13:28 (47%)

OK
Ik mis nog wat ervaring dus moet het met wat hulp doen. Als ik het goed begrijp moet ik eea aanpassen in deZFSguru kernel.
Kan dit met onderstaande link?

https://wiki.freebsd.org/DTrace

Ik heb een soortgelijk probleem. In mijn geval gaat het om Samsung F3EG schijven. Er zijn een aantal pagina's die geen trigger zijn, maar bij de meeste pagina's dan krijg ik te maken met een spinup. Heel irritant.

quote:

ilovebrewski schreef op maandag 20 mei 2013 @ 13:46:
OK
Ik mis nog wat ervaring dus moet het met wat hulp doen. Als ik het goed begrijp moet ik eea aanpassen in deZFSguru kernel.
Kan dit met onderstaande link?

https://wiki.freebsd.org/DTrace

Je moet een hoop doen, namelijk de sources downloaden, nieuwe kernel compilen, deze installeren, en daarna eigenlijk world recompilen, en installeren. Dat is nogal een karwei...

Ik vraag me echt af welk proces dan die disks op laat spinnen...

hmm.. dat durf ik nog niet aan
Miss als ik wat meer ervaring heb

Als ik mijn nieuwe windows 8 VM afsluit herstart de hele server

De oude OS disks heb ik eruit gehaald en 1 SSD erin gezet. ZFSguru geinstalleerd (0.2. beta8, image 9.1-005, ziet er mooi uit ).
Nieuwe VM aangemaakt (windows 8 32bit) met virtualbox 4.1. Als ik de Win8 VM uitschakel dan herstart de hele server. Herstart van de VM werkt wel zonder problemen. ACPI shutdown vanuit virtual box console geeft hetzelfde resultaat, herstart van de server.

Kernel log laat zo te zien alleen info van de huidige boot zien dus weet niet welke error er is.

Heb je meer dan één CPU gegeven? Heb je 3D-functionaliteit ingeschakeld? Je kunt proberen dat soort settings te veranderen.

Maar VirtualBox is niet zo'n stabiel product. Ook onder Linux en Windows heb ik crashes, en soms ook host crashes (BSOD). Dus of het specifiek aan FreeBSD + VirtualBox ligt durf ik niet te zeggen.

Ik had verder geen settings aangepast eigenlijk, alleen USB2.0 uitgeschakeld. Ik zal nog verder testen. De XP installatie werkte iig zonder enig probleem met 9.1-004 (maar daar had ik idd moeite met windows 8, maar niet dat de hele server herstartte).

En nu werkt Windows 8 eigenlijk als een zonnetje, behalve dit issue..

Toch een screenshot kunnen maken

iRReeL wijzigde deze reactie 21-05-2013 17:46 (12%)

ARC even limiteren... virtualbox maakt ruzie met zfs om geheugen verwacht ik.

Ik wilde in de nabije toekomst een zfs pool op gaan zetten. Nu zat ik te denken aan een zooitje WD Green's (zoals anderen in dit topic ook hebben gedaan). Echter, ik lees hier en daar dat deze problemen hebben met trage error recovery ( 1 , 2, 3 , 4 ).

Dit zou ertoe leiden dat drives voor broken arrays zorgen. Nu is mijn vraag, in hoeverre lopen mensen hier tegenaan (als ik het topic doorkijk kom ik dit eigenlijk niet tegen...)

Dus maar gewoon met WD green gaan?

Dat verhaal van broken arrays gaat op voor slechte RAID engines, met name Hardware RAID en Windows onboard RAID. Het gaat niet op voor Linux software RAID en BSD software RAID. En ook niet voor ZFS, mits je de disks op een non-RAID controller gebruikt, dus niet op een Areca controller.

Kortom, WD EARX is zo'n beetje de beste schijf voor gebruik met ZFS. Bedenk wel dat je de headparking wilt uitschakelen (APM254 of WDIDLE.exe).

Tenzij het met de meest recente schijven weer hebben aangepast kan dat met recente schijven van Western Digital ... erm...niet meer. Bij mijn WD20EARS schijven ging dat prima, maar de EARX staat het mij niet toe om het te wijzigen.

Wat Virtualbox betreft, het is vooral met de recente builds problematisch. Ik draai een oudere combinatie waar ik gewoon mee mag afsluiten (feature!! ) zonder dat de host onderuit gaat:
-ZFSguru 0.2.0-beta8
-System image 9.1-004
De virtualbox daarin werkt prima (ik kan even niet zo snel naar de Virtualbox versie kijken, de machine is daar te druk voor bezig, de web interface doet er jaren over..).

Aanpassing is ook bij de EARX schijven nog mogelijk. (ik gebruik wdidle 3.0?).
Probleem is wel dat na elke opdracht met wdidle je de pc moet rebooten om het resultaat te zien/op te vragen.
Geheel uitschakelen was volgens mij niet mogelijk maar de timer werd op max (62 min) gezet.

Op 20 minuten zetten vind ik eigenlijk veel beter. Headparking is best nuttig, het punt is dat het niet elke 7 seconden moet gebeuren. Dus iets tussen 5 en 30 minuten lijkt mij wenselijk.

quote:

CiPHER schreef op dinsdag 21 mei 2013 @ 23:10:
Dat verhaal van broken arrays gaat op voor slechte RAID engines, met name Hardware RAID en Windows onboard RAID. Het gaat niet op voor Linux software RAID en BSD software RAID. En ook niet voor ZFS, mits je de disks op een non-RAID controller gebruikt, dus niet op een Areca controller.

Kortom, WD EARX is zo'n beetje de beste schijf voor gebruik met ZFS. Bedenk wel dat je de headparking wilt uitschakelen (APM254 of WDIDLE.exe).

Jah ik had inderdaad al zo'n vermoeden omdat ik nergens een specifieke onderbouwing kon vinden, slechts bewoordingen zoals 'Doe het niet want greens werken nooit met RAID..'

Thanks

ik zou het zelf ook wel fijn vinden als de schijven na een tijdje (30min) gaan spindownen. Ik gebruik Linux Mint(/ubuntu) met ZFSonLinux.

heb ik daarvoor een script nodig? Ik ben o.a. deze tegen gekomen:

http://forums.servethehom...pinup-scripts-zpools.html

weet alleen niet of die ook op Linux werkt ipv FreeBSD?

Spindown heeft weinig met ZFS te maken... Je kan reguliere spindown scripts gebruiken...

hdparm -s is meestal voldoende.

quote:

FutureCow schreef op woensdag 22 mei 2013 @ 14:57:
ik zou het zelf ook wel fijn vinden als de schijven na een tijdje (30min) gaan spindownen. Ik gebruik Linux Mint(/ubuntu) met ZFSonLinux.

heb ik daarvoor een script nodig? Ik ben o.a. deze tegen gekomen:

http://forums.servethehom...pinup-scripts-zpools.html

weet alleen niet of die ook op Linux werkt ipv FreeBSD?

Ik begrijp niet waarom je mint voor server wilt gebruiken, waarom niet gewoon debian? apt-get install hdparm, nano /etc/hdparm.conf bevat de configuratie voor de voor de debian derivaten en deze wordt tijdens boot ingesteld.
code:

/dev/sda {
        spindown_time = 250
}

/dev/sdb {
        spindown_time = 250
}

/dev/sdc {
        spindown_time = 250
}

/dev/sdd {
        spindown_time = 250
}

/dev/sde {
        spindown_time = 250
}

Het werkt ook in combinatie met ZFS, twijfelde eerst maar het werkt.

issue met mijn 2e zfsguru systeem.

foutmeding tijdens boot:

Loading configuration files.
/etc/rc.conf:27 Syntax error: Unterminated quoted string
Enter full pathname of Shell or RETURN for /bin/sh:

Met een search op google vindt ik wel een oplossing lijkt het:
http://cyberjotter.blogsp...orrupted-rcconf-file.html

helaas boot het systeem niet in single user mode.. :
mps0:cannot allocate INTx interrupt
mps0: mps_attach failed to setup interupt

als ik niet in de single user mode ga krijg ik wel een prompt, maar het filesysteem lijkt niet goed te zijn, vi is er bijvoorbeeld niet (/usr/bin is leeg)

er staat geen data op, dus ik kan zo een re-install doen, maar wellicht is er een simplele manier om het op te lossen?

Ik kan niet zo zien wat er fout is (regel 27 blijkbaar) geen vi, ee. Alleen cat rc.conf werkt maar dan zie ik de laatste paar regels alleen. redirect naar more etc doet het niet.

jacovn wijzigde deze reactie 24-05-2013 15:16 (10%)

In single user mode worden de child filesystems van ZFSGuru niet gemount. Die moet je zelf even mounten.
Maar simpel gezegd, heb je gewoon een foutje in je /etc/rc.conf

single user mode boot niet goed..

Ik heb een 10 GE config toegevoegd de laatste keer, wellicht een " vergeten achter de laatste MTU 9000

Enig idee hoe ik dat kan oplossen als de single user mode niet werkt ?

zfsguru livecd mounten, pool importeren via commandline met een alternatief mountpoint, even naar de file browsen, wijzigen, opslaan, rebooten.

FireDrunk wijzigde deze reactie 24-05-2013 15:43 (19%)

quote:

FireDrunk schreef op vrijdag 24 mei 2013 @ 15:42:
zfsguru livecd mounten, pool importeren via commandline met een alternatief mountpoint, even naar de file browsen, wijzigen, opslaan, rebooten.

live cd was makkelijk

Nu de pool import via command line

De devices staan toch in \dev\
De SSD hangt op een onboard sata poort, dus ad*
Daar zie ik er 3 van, 2 x ssd en 1 x hdd hangt er aan.

ada0
ada0p1
ada0p2

ada1
ada1p1
ada1p2
ada3p3

ada2
ada2p1
adapp2

Neem aan dat de p1,p2p3 partities zijn.
Ik ga wel even herbooten met alleen de systeem ssd aangesloten, dan kan ik me niet vergissen.

Syntax ?
mount -w ada(x) /mnt/tempmount

Uh, wacht, je hebt het toch gewoon over ZFS? Dan is het een kwestie van:

zpool import -R /mount/point [naamvanjepool]

Heb een snel vraagje over scrub, kan dit samen gebruikt worden met iSCSI?
Ik heb namelijk al mijn data binnen 2 iSCSI volumes staan.

Een scrub zal enkel controleren of ZFS intact is en de redundantie die ZFS beheert overeenkomt met de originele data. Een scrub is geen vervanging van een filesystem check op je iSCSI volumes. Het kan zijn dat ZFS helemaal foutloos is, maar je (NTFS?) filesystem op je iSCSI-volume helemaal corrupt is. Die twee leven min of meer apart van elkaar.

Okee, dan kan ik dus beter mijn data via CIFS benaderen ? (iSCSI is / was indderdaad NTFS)

quote:

Chrisiesmit93 schreef op zaterdag 25 mei 2013 @ 19:26:
Okee, dan kan ik dus beter mijn data via CIFS benaderen ? (iSCSI is / was indderdaad NTFS)

sowieso minder overhead

Ik wou eens navragen of iemand dit al heeft meegemaakt? Nog aan het troubleshooten - dus misschien vind ik het zelf nog.

Heb momenteel een ESXi setup, met twee M1015 in passthrough naar een virtuele ZFSGuru. Ik heb vanavond wat cablemanagement gedaan, en ondanks dat alles lijkt goed te zitten ziet ZFSGuru 5 van mijn 6 disks gewoon niet meer.

Buiten het herorganiseren van kabels (zonder ze anders aan te sluiten) heb ik de systeemtijd goed gezet omdat mijn oog erop viel dat die compleet verkeerd stond (28 februari 2013). Geen idee hoe dat komt maar goed. Gecorrigeerd door ESXi via een ntp server de juiste tijd te laten oppikken.

Ik heb al datakabels heen en weer gestoken, de andere controller gebruikt, maar het systeem vindt de disks niet. Kan het te maken hebben met de tijdsverandering? Of toch het cablemanagement waarbij ik 5 disks niet goed heb aangesloten (wat me sterk lijkt. één tot daar aan toe, maar 5?)...

Thoughts?

#1 vraag: zie je ze tijdens POST ?

Nope...

[edit]
gevonden en 't is niet goed... door een sluiting in een voedingskabel heeft juist de ene Norco bay waar 5 disks inzaten 7,5 volt op de 5 volt lijn voor de kiezen gehad. Dus 5 gloednieuwe disks in één keer opgeblazen. Gelukkig heb ik alle data nog in backup.

Zouden die schijven nog te redden zijn? Of zouden die stuurprintjes van de schijven te vervangen zijn? Zijn Barracuda's 3TB fwiw.

Zal maar beginnen met 5 nieuwe schijven in bestelling te zetten.

BlauwKeut wijzigde deze reactie 25-05-2013 23:38 (97%)

Je kunt ze nog altijd proberen te RMA'en. (Niet allemaal tegelijk natuurlijk, maar met nog bijna 2 jaar garantie kun je het vast wel een beetje uitsmeren.)

Condoleances.
Heb je een gemodde molex voor 7.5V fan in je backpane gestoken of hangen er werkelijk losse draadjes? .oO vraagt zich af