Reageren op probleem van HyperBart graag in zijn nieuwe topic: Troubleshooting en oorzaak ZFS cksum errors.
Uit interesse en omdat ik het leuk vind om met m'n systeem te klieren heb ik op een spare SSD (256GB Samsung 830) een ZFS volume aangemaakt. Ik denk, leuk voor vmtjes met veel random read/writes enzo. Snapshots maken en daarna repliceren naar m'n "main" pool.
Ik denk, laat ik es compression en dedup aanzetten op die SSD pool. Er stond 104GB op, heb ik er af gehaald en het er opnieuw opgezet. Er is nog maar 45GB van over.
Voor dedup zou ik voor die (effectief) 198GB niet zoveel RAM nodig hoeven hebben en die LZ4 compressie behoorlijk efficient heb ik gelezen.
Anyway, met er op copieren had ik wel redelijke load, gemiddeld 40% CPU verspreid over m'n cores maar nu het er eenmaal weer op staat is dat totaal niet meer aan de orde.
Sterker nog, ik heb een heel sterk vermoeden dat lezen zelfs behoorlijk stuk sneller is geworden. Kan dat kloppen na bovenstaande wijzigingen of beeld ik me dat in?
Ik denk, laat ik es compression en dedup aanzetten op die SSD pool. Er stond 104GB op, heb ik er af gehaald en het er opnieuw opgezet. Er is nog maar 45GB van over.
Voor dedup zou ik voor die (effectief) 198GB niet zoveel RAM nodig hoeven hebben en die LZ4 compressie behoorlijk efficient heb ik gelezen.
Anyway, met er op copieren had ik wel redelijke load, gemiddeld 40% CPU verspreid over m'n cores maar nu het er eenmaal weer op staat is dat totaal niet meer aan de orde.
Sterker nog, ik heb een heel sterk vermoeden dat lezen zelfs behoorlijk stuk sneller is geworden. Kan dat kloppen na bovenstaande wijzigingen of beeld ik me dat in?
In theorie wel ja. Als de VM's echt een gezamelijke basis hebben kan je ARC in theorie efficienter zijn.
Waar je normaal gesproken 5 VM disks in ARC had met een dekking van misschien maar 20% per VM, kan je door overlap misschien wel 60% van al je VM disks in ARC hebben
Waar je normaal gesproken 5 VM disks in ARC had met een dekking van misschien maar 20% per VM, kan je door overlap misschien wel 60% van al je VM disks in ARC hebben
Even niets...
Vergeet ook het effect van compressie niet. In het ideale geval kan je throughput vermenigvuldigd worden met je compressiefactor. Met
Ter voorbeeld, gemiddeld heb ik een compressie factor van bijna 1.3 op alle virtual harddrive bestanden, met een paar uitschieters van >2. Aangezien LZ4 inderdaad erg efficient is gebruik ik compressie op vrijwel al mijn datasets.
code:
kun je de compressiefactor voor een bepaalde dataset zien; voor bestanden kun je de filesize gegeven door ls vergelijken met du (de effectieve data usage).1
| zfs get compressratio pool/dataset |
Ter voorbeeld, gemiddeld heb ik een compressie factor van bijna 1.3 op alle virtual harddrive bestanden, met een paar uitschieters van >2. Aangezien LZ4 inderdaad erg efficient is gebruik ik compressie op vrijwel al mijn datasets.
[ Voor 9% gewijzigd door narotic op 19-01-2016 20:30 . Reden: d/t fout ]
- = Step Into The Pit | Industrial Strength = -
Ik zit op 1.36 compressie factor.
Kan ik nu ook nog zien hoe effectief dedup is dan?
Kan ik nu ook nog zien hoe effectief dedup is dan?
Ja, op pool niveau.
Even niets...
Ah of course.
Da's maar 1.02x.
Hmm da's veel minder dan ik had verwacht, want ik ben 60% minder maar compressie is maar 1.36x.
Da's wel gek ...
Maar goed, er staan nu alleen maar verschillende soorten vm's op, dat zal wel enorm oplopen naarmate er meer dezelfde os'en op komen te staan, verwacht ik.
Da's maar 1.02x.
Hmm da's veel minder dan ik had verwacht, want ik ben 60% minder maar compressie is maar 1.36x.
Da's wel gek ...
Maar goed, er staan nu alleen maar verschillende soorten vm's op, dat zal wel enorm oplopen naarmate er meer dezelfde os'en op komen te staan, verwacht ik.
Verwijderd
In hoeverre werkt ZFS met trim? En in hoeverre kun je dan zeggen: ZFS, je krijgt 90% van die schijf (waarna trim 10% reserveert voor dode 'sectoren')?
Heb net een nieuwe server met Supermicro bord erin, 4x nieuwe Kingston V300 SSD's in raidz en net als HyperBart na een paar scrubs errors die je dan met zpool clear weer weg krijgt. Maar lekker zit het mij niet... iemand een idee waar ik kan zoeken?
Heb net een nieuwe server met Supermicro bord erin, 4x nieuwe Kingston V300 SSD's in raidz en net als HyperBart na een paar scrubs errors die je dan met zpool clear weer weg krijgt. Maar lekker zit het mij niet... iemand een idee waar ik kan zoeken?
Dode sectoren?? TRIM is ervoor zodat bij verwijderde bestanden deze ruimte beschikbaar te stellen aan de SSD voor intern gebruik. Zonder dit zou vanuit het perspectief van de SSD uiteindelijk alle LBA sectoren in gebruik zijn, ook al heb je daadwerkelijk maar 50% van de ruimte in gebruik. Dit omdat uiteindelijk alle sectoren worden beschreven en zonder TRIM weet de SSD niet dat de inmiddels vrijgekomen sectoren niet meer in gebruik zijn door het filesystem.
ZFS onder BSD ondersteunt gewoon TRIM, onder andere operating systems zoals Linux en Solaris niet - volgens mij.
V300 is geen beveiligde SSD dus logisch dat ZFS zo nu en dan corruptie detecteert. Het kan zelfs zo zijn dat uiteindelijk je hele pool corrupt is, omdat bepaalde metadata niet meer klopt. Dit kan gebeuren omdat 'data at rest' niet veilig is bij onbeveiligde SSDs, en Sandforce controllers zoals ook door de V300 wordt gebruikt, voegt daar nog het risico van een niet-kloppende deduplicationtable bij.
Je kunt onbeveiligde SSDs wel prima gebruiken als L2ARC cache voor je HDD pool, omdat corruptie automatisch wordt gecorrigeerd door simpelweg van de HDD pool te lezen. Iets wat niet werkt bij andere SSD caching mechanismen zoals Intel SRT onder Windows.
ZFS onder BSD ondersteunt gewoon TRIM, onder andere operating systems zoals Linux en Solaris niet - volgens mij.
V300 is geen beveiligde SSD dus logisch dat ZFS zo nu en dan corruptie detecteert. Het kan zelfs zo zijn dat uiteindelijk je hele pool corrupt is, omdat bepaalde metadata niet meer klopt. Dit kan gebeuren omdat 'data at rest' niet veilig is bij onbeveiligde SSDs, en Sandforce controllers zoals ook door de V300 wordt gebruikt, voegt daar nog het risico van een niet-kloppende deduplicationtable bij.
Je kunt onbeveiligde SSDs wel prima gebruiken als L2ARC cache voor je HDD pool, omdat corruptie automatisch wordt gecorrigeerd door simpelweg van de HDD pool te lezen. Iets wat niet werkt bij andere SSD caching mechanismen zoals Intel SRT onder Windows.
ZFSonLinux is wel bezig met TRIM, maar ze lopen nog tegen wat performance issues aan als er heel erg veel TRIM commando's tegelijk los komen (FreeBSD heeft dat issue ook
), daarom is de code nog niet gemerged. Staat voor 0.7.0 op de planning volgens mij.
Even niets...
Verwijderd
Klopt, doelde erop dat de SSD een deel van flash in reserve houdt en daarmee de kapotte cellen vervangt, heeft uiteraard nada met trim te maken.Verwijderd schreef op woensdag 20 januari 2016 @ 02:20:
Dode sectoren?? TRIM is ervoor zodat bij verwijderde bestanden deze ruimte beschikbaar te stellen aan de SSD voor intern gebruik. Zonder dit zou vanuit het perspectief van de SSD uiteindelijk alle LBA sectoren in gebruik zijn, ook al heb je daadwerkelijk maar 50% van de ruimte in gebruik. Dit omdat uiteindelijk alle sectoren worden beschreven en zonder TRIM weet de SSD niet dat de inmiddels vrijgekomen sectoren niet meer in gebruik zijn door het filesystem.
ZFS onder BSD ondersteunt gewoon TRIM, onder andere operating systems zoals Linux en Solaris niet - volgens mij.
V300 is geen beveiligde SSD dus logisch dat ZFS zo nu en dan corruptie detecteert. Het kan zelfs zo zijn dat uiteindelijk je hele pool corrupt is, omdat bepaalde metadata niet meer klopt. Dit kan gebeuren omdat 'data at rest' niet veilig is bij onbeveiligde SSDs, en Sandforce controllers zoals ook door de V300 wordt gebruikt, voegt daar nog het risico van een niet-kloppende deduplicationtable bij.
Je kunt onbeveiligde SSDs wel prima gebruiken als L2ARC cache voor je HDD pool, omdat corruptie automatisch wordt gecorrigeerd door simpelweg van de HDD pool te lezen. Iets wat niet werkt bij andere SSD caching mechanismen zoals Intel SRT onder Windows.
Ok, welke SSD's/HDD's zou je dan wel aanraden voor een raidz pool? Moet zuinig, betrouwbaar en 2,5" zijn (en dus traag maar daar gaat het bij deze niet om).
Jij bedoelt Overprovisioning 
Hoeveel ruimte wil je hebben? Want 2.5" HDD's zijn in absolute zin (puur Watt) wel zuinig, maar in relatieve zin weer niet zo (Watt per GB).
Hoeveel ruimte wil je hebben? Want 2.5" HDD's zijn in absolute zin (puur Watt) wel zuinig, maar in relatieve zin weer niet zo (Watt per GB).
Even niets...
Het kwartje begint te vallen...! Vandaar dat de rechten van de anonieme gebruiker ook op "share share" stonden. Van een ingelogde gebruiker zou het dus bv "tim thuis" moeten zijn conform de "user group" naamgeving. Edit: Strange... van de user "tim" die in de groep "thuis" zit schrijft hij alsnog de groep "share" als owner. Heeft dat iets met de Write List optie van de Samba share te maken?FireDrunk schreef op dinsdag 19 januari 2016 @ 14:41:
Samba honoreert volgens mij de default groep, dus als je van de Samba user de default groep omzet naar de "Thuis" groep zou samba dat moeten gebruiken volgens mij.
Commando's:
gpasswd -a user groep
Dus bijvoorbeeld:
gpasswd -a plex thuis
ZFSguru 'Share Groepen' zijn volgens mij iets anders dan Filesystem groepen zoals ik ze noem. ZFSguru kan wel met filesystem groepen overweg, maar heeft zijn eigen 'visie' over hoe het zou moeten werken die niet strookt met wat ik hier weerspiegel.
Ik heb iig de plex user toegevoegd aan de groepen share en thuis (d.m.v. "ee /etc/group"; gpasswd kent BSD kennelijk niet). Dan kan Plex zowel files lezen van de anonieme gebruikers (waar de files van onder share/share worden geschreven), als de ingelogde gebruiker (ongetest nu, maar k verwacht dat dat tim/thuis zal worden dan). In ieder geval zijn de users (/etc/group) en users (/etc/passwd) eenvoudig in te zien / wijzigen.
Met de smb.conf rechten 664/775 zou het goed moeten gaan voor nieuwe files.
Heb voor de zekerheid ook maar weer even alle files/directories op 664/775 gezet met chmod in PuTTy.
Dat wordt nog eens wat met mij en command line
Daarnaast weet ik ook waarom het niet goed gaat in de file browser window van ZFSguru... heel simpel door spaties in de map namen. Een workaround met %20 in de URL werkt ook niet, klein bugje dus aan de kant van ZFSguru. Een structuur zonder spaties wordt wel goed getoond.
[ Voor 4% gewijzigd door F-Tim op 20-01-2016 09:46 ]
Wanna play?
De ZFSguru webinterface draait waarschijnlijk niet onder root (maar heeft wel sudo rechten). Goede kans dat de Lighttpd daemon onder iets als nobody of www draait.
Als je die user ook nog toevoegd aan de goede groep zal het vast goedkomen.
Om er achter te komen onder welke user het draait
Als je die user ook nog toevoegd aan de goede groep zal het vast goedkomen.
ps -eaf | grep lighttpd
Om er achter te komen onder welke user het draait
Even niets...
Verwijderd
Klopt en daar ben ik jaren mee weg gekomen... elke SSD hield ik 20% van vrij en jaren zonder problemen gewerkt zonder enige uitval.FireDrunk schreef op woensdag 20 januari 2016 @ 09:14:
Jij bedoelt Overprovisioning
Hoeveel ruimte wil je hebben? Want 2.5" HDD's zijn in absolute zin (puur Watt) wel zuinig, maar in relatieve zin weer niet zo (Watt per GB).
Ruimte: 300GB of meer maar max 1TB totaal voor de pool.
Die user bestaat nietFireDrunk schreef op woensdag 20 januari 2016 @ 09:20:
De ZFSguru webinterface draait waarschijnlijk niet onder root (maar heeft wel sudo rechten). Goede kans dat de Lighttpd daemon onder iets als nobody of www draait.
Als je die user ook nog toevoegd aan de goede groep zal het vast goedkomen.
ps -eaf | grep lighttpd
Om er achter te komen onder welke user het draait
Maar, k weet 100% zeker dat het een klein bugje in ZFSguru is, ik had nl. 2 mappen "Photos" en "Photos iPhone", en in de web file browser werd in beide gevallen de content van "Photos" getoond. De querystring wordt ws. niet goed uitgelezen of geparsed met spaties.
Wanna play?
Ik neem aan dat je bedoeld: "beter een scrub teveel dan eentje te weinig"?HyperBart schreef op dinsdag 19 januari 2016 @ 15:29:
Er waren hier wat collega-Tweakers die één keer per week scrubben wat "te" vonden, maar als ik dit nu zie heb ik zoiets van "beter een scrub te weinig dan eentje te veel".
In 2012 of 2013 waren er al geruchten over iSCSI sharing support voor ZFS.
Ik heb nog altijd goede hoop dat dat gaat komen, iemand die daar nog wat zinnigs over weet?
Ik heb nog altijd goede hoop dat dat gaat komen, iemand die daar nog wat zinnigs over weet?
Dat is er toch allang? Solaris heeft kernel-level support, BSD heeft kernel-level suport en Linux weet ik niet maar heeft vast ook wel iets.
ik bedoel ingebouwd, zoals nfs sharing en samba, dus:
zfs set shareiscsi=on pool/volume
Er is/was een test build waar het in zat, Aaron Toponce spreekt er ook over (2013) maar tot nu toe is het nog niet doorgedruppeld in de linux builds. Volgens is het op Solaris en BSD ook nog niet beschikbaar (ingebouwd dan, of wel?).
zfs set shareiscsi=on pool/volume
Er is/was een test build waar het in zat, Aaron Toponce spreekt er ook over (2013) maar tot nu toe is het nog niet doorgedruppeld in de linux builds. Volgens is het op Solaris en BSD ook nog niet beschikbaar (ingebouwd dan, of wel?).
Volgens mij kunnen Solaris en BSD het inderdaad wel, maar Linux nog niet. Het iSCSI landschap is daar iets breder dan onder BSD waardoor er niet maar 1 implementatie nodig is om dit goed te implementeren.
Voor BSD is het geloof ik alleen de nieuwe iSCSI kernel implementatie en niet de oude iscsitgtd?
Voor BSD is het geloof ik alleen de nieuwe iSCSI kernel implementatie en niet de oude iscsitgtd?
Even niets...
Als je gewoon targetcli of scst gebruikt voor iscsi dan werkt alles redelijk simpel/eenvoudig, maar het zit inderdaad niet standaard in zol.
Ik moest het even opzoeken, maar ik schijn dan weer IET te gebruiken. Desalniettemin kan ik me prima aansluiten bij Q, het werkt prima zonder dat het ingewikkeld is of moeilijk wordt.
Er is net een nieuwe commit op ZoL om een probleem op te lossen met het verwijderen van files van een volle pool. :kaaas schreef op woensdag 13 januari 2016 @ 10:07:
Edit Ik heb een oorzaak/fix zie einde van mijn post
Ik heb een interessant probleem met zfs on linux.
Ik heb een volle pool (0k vrij) en ik kan er niets meer van verwijderen met bijv een rm.
https://github.com/zfsonl...22c1c09e0eace4f7da7381a62
Is een port van : Illumos 4950 - files sometimes can't be removed from a full filesystem
Vraagje(s) aan de ZoL gebruikers:
gebruikt er iemand LUKS voor zijn pool?
If so: Wat zijn de ervaringen? Hoe doen jullie de unlock? Manueel/at boot? Is je root pool ook encrypted?
Zijn er nadelen aan het gebruik van LUKS iswm ZoL?
Op FreeNAS werkt dit perfect en zonder zorgen en nu ik gestart ben met migratie ESX(FreeNAS VM) > Proxmox vraag ik mij af of dit even betrouwbaar is.
gebruikt er iemand LUKS voor zijn pool?
If so: Wat zijn de ervaringen? Hoe doen jullie de unlock? Manueel/at boot? Is je root pool ook encrypted?
Zijn er nadelen aan het gebruik van LUKS iswm ZoL?
Op FreeNAS werkt dit perfect en zonder zorgen en nu ik gestart ben met migratie ESX(FreeNAS VM) > Proxmox vraag ik mij af of dit even betrouwbaar is.
- Deze advertentie is geblokkeerd door Pi-Hole -
Ik ben nog steeds aan het voorbereiden voor een migratie van mijn esxi/zfsguru all-in-one setup naar een SmartOS -oplossing. Ik draai al een tijdje een test-server (op aparte hardware) waar ik vanalles op aan het uitproberen ben.
Nu ben ik voornemens om voor m'n primaire vm's (onderdeel van het thuis-netwerk, denk aan fileserver (zone)/windows-server (KVM) voor remote access/palo alto firewall-appliance (KVM)/crashplan (nog niet getest)/spotweb (lx-zone)/etc wat er nog bij moet) ssd(s) te gaan gebruiken echter lees ik her en der dat er onder illumos nog geen support voor TRIM is.
Ik vraag me af in hoeverre dit een issue is in thuis-gebruik omgevingen, dit omdat men in datacenters ook ssd's toepast voor SmartOS. Nu zal daar mogelijk op andere lagen gezorgd worden dat er eens in de zoveel tijd een cleanup van alle ssd's plaatsvind binnen een node waarbij de applicaties gewoon op andere hardware door blijft draaien (deze mogelijkheid heb ik zelf thuis natuurlijk niet aangezien ik niet met meerdere hardware-nodes werk).
Concreet, mijn vraag:
Wanneer is het ontbreken van TRIM -support binnen een OS een issue bij het gebruik van ssd's en is dit nog merk/feature afhankelijk? Intel DC is gericht op datacentergebruik, zal deze op de een of andere manier beter op hardware/firmware-level omgaan met fragmentatie waardoor je geen/minder last hebt van het onbreken van TRIM in het OS? Zal een Crucial MX-200 (consumentenmarkt georienteerd) sneller issues krijgen/vertonen vanwege fragmentatie en ontbreken van OS TRIM -support tov enterprise -ssd's?
Nu ben ik voornemens om voor m'n primaire vm's (onderdeel van het thuis-netwerk, denk aan fileserver (zone)/windows-server (KVM) voor remote access/palo alto firewall-appliance (KVM)/crashplan (nog niet getest)/spotweb (lx-zone)/etc wat er nog bij moet) ssd(s) te gaan gebruiken echter lees ik her en der dat er onder illumos nog geen support voor TRIM is.
Ik vraag me af in hoeverre dit een issue is in thuis-gebruik omgevingen, dit omdat men in datacenters ook ssd's toepast voor SmartOS. Nu zal daar mogelijk op andere lagen gezorgd worden dat er eens in de zoveel tijd een cleanup van alle ssd's plaatsvind binnen een node waarbij de applicaties gewoon op andere hardware door blijft draaien (deze mogelijkheid heb ik zelf thuis natuurlijk niet aangezien ik niet met meerdere hardware-nodes werk).
Concreet, mijn vraag:
Wanneer is het ontbreken van TRIM -support binnen een OS een issue bij het gebruik van ssd's en is dit nog merk/feature afhankelijk? Intel DC is gericht op datacentergebruik, zal deze op de een of andere manier beter op hardware/firmware-level omgaan met fragmentatie waardoor je geen/minder last hebt van het onbreken van TRIM in het OS? Zal een Crucial MX-200 (consumentenmarkt georienteerd) sneller issues krijgen/vertonen vanwege fragmentatie en ontbreken van OS TRIM -support tov enterprise -ssd's?
Ik heb ze zelf nooit in handen gehad, maar ik meen dat enterprise SSD's dat voornamelijk oplossen door veel hogere overprovisioning. High end intel SSD's uit de DC serie hebben bijvoorbeeld tot 30-40% overprovisioning, waardoor de noodzaak voor TRIM een heel stuk minder is. Consumentendrives komen over het algemeen uit de fabriek met tussen de 0-10% overprovisioning, maar als je wilt kun je natuurlijk zoveel ruimte vrij laten als je wilt (dus niet gepartitioneerde ruimte of host protected area).wopie schreef op zaterdag 23 januari 2016 @ 21:26:
Concreet, mijn vraag:
Wanneer is het ontbreken van TRIM -support binnen een OS een issue bij het gebruik van ssd's en is dit nog merk/feature afhankelijk? Intel DC is gericht op datacentergebruik, zal deze op de een of andere manier beter op hardware/firmware-level omgaan met fragmentatie waardoor je geen/minder last hebt van het onbreken van TRIM in het OS? Zal een Crucial MX-200 (consumentenmarkt georienteerd) sneller issues krijgen/vertonen vanwege fragmentatie en ontbreken van OS TRIM -support tov enterprise -ssd's?
- = Step Into The Pit | Industrial Strength = -
Neen, heb er wel heel lang naar zitten kijken maar ik hoop eigenlijk dat de support eerder van ZFS gaat komen dan dat je het block device an sich encrypteert. Ik vind het persoonlijk wat riskanter als je encryptie gaat toepassen op een laag waar ZFS geen controle over heeft. Op zich is dat wel de kerngedachte van ZFS maar het is weer een factor die de complexiteit verhoogt en in die mate dat als er daar iets mis gaat dat het echt wel bye bye data is.A1AD schreef op zaterdag 23 januari 2016 @ 19:27:
Vraagje(s) aan de ZoL gebruikers:
gebruikt er iemand LUKS voor zijn pool?
Ligt er aan wat je op je rootpool hebt staan en tegen wat je jezelf wilt beschermen natuurlijk. Unlock zou ik doen met een USB-stick, bij reboot er even in, uithalen en opbergen. Klaar. Dat je als het ware een fysieke sleutel hebt voor je server op te starten.If so: Wat zijn de ervaringen? Hoe doen jullie de unlock? Manueel/at boot? Is je root pool ook encrypted?
Zijn er nadelen aan het gebruik van LUKS iswm ZoL?
Op FreeNAS werkt dit perfect en zonder zorgen en nu ik gestart ben met migratie ESX(FreeNAS VM) > Proxmox vraag ik mij af of dit even betrouwbaar is.
Ik heb misschien een Newbie vraag, maar ik zit met de volgende situatie:
ik gebruik zfs voor mijn backups met snapshots iedere week. Dit werkt prima.
Ik maak momenteel een snapshot over de hele "dir"
zfs list -t all
storage/backup
storage/backup@24-01-2016
storage/backup@etc.etc.
In de folder backup heeft elke computer een eigen folder.
Nu heb ik door recente ontwikkelingen ondervonden dat ik graag een snapshot wil maken per computer.
gewenste situtie is dan
storage/backup/comp_1@<datum>
Weet iemand hoe ik dit voor elkaar krijg. Als ik zfs create storage/backup/comp_1 gebruik krijg ik een lege folder.
Gewoon zfs snapshot storage/backup/comp_1@${today} mag niet.
ik gebruik zfs voor mijn backups met snapshots iedere week. Dit werkt prima.
Ik maak momenteel een snapshot over de hele "dir"
zfs list -t all
storage/backup
storage/backup@24-01-2016
storage/backup@etc.etc.
In de folder backup heeft elke computer een eigen folder.
Nu heb ik door recente ontwikkelingen ondervonden dat ik graag een snapshot wil maken per computer.
gewenste situtie is dan
storage/backup/comp_1@<datum>
Weet iemand hoe ik dit voor elkaar krijg. Als ik zfs create storage/backup/comp_1 gebruik krijg ik een lege folder.
Gewoon zfs snapshot storage/backup/comp_1@${today} mag niet.
[ Voor 4% gewijzigd door Dogooder op 24-01-2016 23:20 ]
Je maakt op je doel de structuur aan zoals je het wilt, dus:
Vervolgens is dit je send / receive commando:
code:
1
2
3
| zfs create storage zfs create storage/backup zfs create storage/backup/comp_1 |
Vervolgens is dit je send / receive commando:
code:
1
| zfs send storage/backup@24-01-2016 | zfs receive -Fdvu storage/backup/comp_1 |
Sinds de 2 dagen regel reageer ik hier niet meer
Nou zit wel mee, na 3 jaar zfsguru draaiend had ik een vervelend probleempje vorige week door mijn laptop. Kijk ik vandaag is 1 schijf gewoon kwijt en draait hij degraded. Zo maar even uitzetten en kijken of alle kabels nog goed vast zitten. Anders wordt het tijd om een schijf te vervangen.
Kabels omwisselen is ook nuttig; als je het probleem dan opeens met een andere schijf hebt is dat een goede indicatie dat het aan de kabels zelf ligt.
Even voor de zekerheid nog wat data kopieren. Maar zal hem daarna even uitzetten en kabels proberen. Hopelijk is er gewoon een kabel los getrilt of kabel fout.Verwijderd schreef op maandag 25 januari 2016 @ 18:57:
Kabels omwisselen is ook nuttig; als je het probleem dan opeens met een andere schijf hebt is dat een goede indicatie dat het aan de kabels zelf ligt.
Update: kabels aanduwen, sata kabel gewisseld, nieuwe power kabel erin. Zelfde disk blijft offline. Boot geeft volgende aan:
Denk dat mijn disk toch dood is. Zal hem er nog even uithalen een aansluiten in extern ding. Maar ben er bang voor. Moet ik toch opzoek gaan naar een nieuwe disk.ahcich1: AHCI reset: device not ready after 31000ms (tfd = 00000080)
ahcich1: Poll timeout on slot 0 port 15
ahcich1: is 00000000 cs 00000001 ss 00000000 rs 00000001 tfd 00 serr 00000000 cmd 0000e017
(aprobe1:ahcich1:0:15:0): SOFT_RESET. ACB: 00 00 00 00 00 00 00 00 00 00 00 00
(aprobe1:ahcich1:0:15:0): CAM status: Command timeout
(aprobe1:ahcich1:0:15:0): Error 5, Retries exhausted
ahcich1: Poll timeout on slot 0 port 0
ahcich1: is 00000000 cs 00000001 ss 00000000 rs 00000001 tfd 00 serr 00000000 cmd 0000e017
(aprobe0:ahcich1:0:0:0): SOFT_RESET. ACB: 00 00 00 00 00 00 00 00 00 00 00 00
(aprobe0:ahcich1:0:0:0): CAM status: Command timeout
(aprobe0:ahcich1:0:0:0): Error 5, Retries exhausted
run_interrupt_driven_hooks: still waiting after 60 seconds for xpt_config
ada0 at ahcich0 bus 0 scbus0 target 0 lun 0
ada0: <ST2000DM001-9YN164 CC4H> ATA-8 SATA 3.x device
ada0: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
ada0: Command Queueing enabled
ada0: 1907729MB (3907029168 512 byte sectors: 16H 63S/T 16383C)
ada1 at ahcich2 bus 0 scbus2 target 0 lun 0
ada1: <ST2000DM001-9YN164 CC4H> ATA-8 SATA 3.x device
ada1: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
ada1: Command Queueing enabled
ada1: 1907729MB (3907029168 512 byte sectors: 16H 63S/T 16383C)
update 2: Denk toch dat hij echt dood is. HIj gaat wel draaien maar ook in externe hd behuizing wordt hij niet gevonden. Ook gelijk getest of een andere schijf wel gezien wordt met de behuizing.
Tijd om dus een nieuwe schijf aan te schaffe denk ik zo. Ik heb op dit moment dus 3 x Seagate Desktop HDD ST2000DM001 in raid-z. Qua ruimte had ik op dit moment nog genoeg, denk dat hij half vol is. Nu kan ik voor ongeveer 70E weer een zelfde aanschaffen, maar dit is denk ik een beetje zonde.
Opties zijn dus om een 3 of 4 TB schijf te kopen en heb even de ondestaande lijst samengesteld:
# | Product | Prijs | Subtotaal |
1 | Seagate Desktop HDD ST3000DM001, 3TB | € 95,95 | € 95,95 |
1 | Seagate Desktop HDD ST4000DM000, 4TB | € 127,50 | € 127,50 |
1 | Toshiba DT01ACA300, 3TB | € 84,95 | € 84,95 |
1 | WD Blue WD30EZRZ, 3TB | € 95,57 | € 95,57 |
1 | WD Green HDD, 3TB | € 97,95 | € 97,95 |
Bekijk collectie Importeer producten | Totaal | € 501,92 |
De toshiba is qua prijs erg voordelig echter zijn de reviews niet heel lovend. Over de seageate 3TB lees ik ook niet veel goeds, namelijk hoge uitval. Eventueel zou ik kunnen gaan voor de 4TB seagate, iets lagere uitval over bekend. Ik zou dan persoonlijk voor de WD 3TB green of blue gaan. Echter zijn deze schijven 5400 RPM in tegenstelling tot 7200 RPM die ik nu heb. Gaat dit veel uitmaken?
Wat zou jullie advies zijn? Gewoon de toshiba? Of toch de seagate 3 TB? Of toch voor een WD schijf?
[ Voor 108% gewijzigd door krijn1985 op 26-01-2016 00:13 ]
Als een bestand volledig overschreven wordt door een identiek bestand (zeg maar een traditionale full backup, maar met ongewijzigde bestanden), dan neem ik aan dat dit op ZFS niveau effectief een volledig nieuw bestand is? (met alle gevolgen van dien voor snapshots). Of is ZFS (of eigenlijk elk ander FS) in staat dit te herkennen als identiek?
[ Voor 12% gewijzigd door ijdod op 26-01-2016 11:10 ]
Root don't mean a thing, if you ain't got that ping...
Ik weet het niet 100% zeker, maar ik verwacht dat bij een snapshot alleen de wijziging in timestamp (creation date) aangepast zal worden. Aangezien de inhoudelijke data gewoon nog het zelfde is.ijdod schreef op dinsdag 26 januari 2016 @ 10:54:
Als een bestand volledig overschreven wordt door een identiek bestand (zeg maar een traditionale full backup, maar met ongewijzigde bestanden), dan neem ik aan dat dit op ZFS niveau effectief een volledig nieuw bestand is? (met alle gevolgen van dien voor snapshots). Of is ZFS (of eigenlijk elk ander FS) in staat dit te herkennen als identiek?
De vraag is dus eigenlijk wat er precies gebeurt zodra je een file overschrijft. Gevoelsmatig werkt dat als het weggooien van het oude bestand, en het vervolgens aanmaken van een nieuw bestand. De vraag is of ZFS dat ziet als dezelfde data en dus alleen de timestamp aanpast, of een nieuw file plaats. In dat laatste geval zou ik verwachten dat er in het snapshot nog de verwijzing staat naar het gehele oude bestand, en kost het je dus effectief twee keer diskruimte (totdat je de snapshots opschoont). Ik zal vanavond even gaan experimenterenkrijn1985 schreef op dinsdag 26 januari 2016 @ 15:23:
[...]
Ik weet het niet 100% zeker, maar ik verwacht dat bij een snapshot alleen de wijziging in timestamp (creation date) aangepast zal worden. Aangezien de inhoudelijke data gewoon nog het zelfde is.
Root don't mean a thing, if you ain't got that ping...
Dat is niet het geval:
# zfs create storage/test # cp game2.sav /storage/test/game2.sav # zfs snapshot storage/test@snap1 # cp game2.sav /storage/test/game2.sav # zfs snapshot storage/test@snap2 # zfs list -t snapshot | grep test storage/test@snap1 157M - 157M - storage/test@snap2 0 - 157M - # zfs list | grep test storage/test 315M 3.37T 157M /storage/test
Even mee zitten spelen, het is effectief ook afhankelijk van hoe je applicatie zijn data opslaat. Een (vrij groot 6 MB)) Word bestaand wordt door Word2013 kennelijk in zijn geheel overschreven, dus 2 saves en snapshots later staat er effectief 18 MB aan data).
Zal vast geen verassing zijn voor de mensen die meer in de storage hoek zitten...
Zal vast geen verassing zijn voor de mensen die meer in de storage hoek zitten...
Root don't mean a thing, if you ain't got that ping...
Toshiba 7200rpm kun je wel doen, scheelt wel iets. Ze maken wel aardig wat lawaai en zijn niet superzuinig. Betrouwbaarheid zou mogelijk ook iets slechter kunnen zijn. Maar het prijsverschil is er wel. Als je dat belangrijk vindt kun je dat prima doen.krijn1985 schreef op maandag 25 januari 2016 @ 18:59:
De toshiba is qua prijs erg voordelig echter zijn de reviews niet heel lovend. Over de seageate 3TB lees ik ook niet veel goeds, namelijk hoge uitval. Eventueel zou ik kunnen gaan voor de 4TB seagate, iets lagere uitval over bekend. Ik zou dan persoonlijk voor de WD 3TB green of blue gaan. Echter zijn deze schijven 5400 RPM in tegenstelling tot 7200 RPM die ik nu heb. Gaat dit veel uitmaken?
Wat zou jullie advies zijn? Gewoon de toshiba? Of toch de seagate 3 TB? Of toch voor een WD schijf?
Voor je volgende build zou ik voor 5400rpm class gaan, zoals de huidige WD's. Heerlijk stil en ook prima snel voor grote files.
Ik heb op dit moment toch maar voor de Toshiba gekozen. Ik kon wel weer met het oog op het toekomst naar mogelijk upgrade 30 a 40 euro meer betalen, maar voor het zelfde geld zit ik de komende twee jaar nog wel goed met de ruimte die ik heb (en hopelijk geen overlijdende schijven).
Nog bedankt voor de input.
Nog bedankt voor de input.
De toshiba-dt01aca300 is een hgst design hdd.
Ik heb er een aantal van en zelfs 1 met toshiba label die zich presenteert als hgst 7K3000.
Ze worden wel warm, en echt stil kan ik ze ook niet noemen.
Ik heb er een aantal van en zelfs 1 met toshiba label die zich presenteert als hgst 7K3000.
Ze worden wel warm, en echt stil kan ik ze ook niet noemen.
8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase
Tip voor de volgende keer, V&A checken, er zijn een paar zeer betrouwbare verkopers van de Seagate modelletjes zoals verkoper_nick en delange43.krijn1985 schreef op dinsdag 26 januari 2016 @ 20:36:
Ik heb op dit moment toch maar voor de Toshiba gekozen. Ik kon wel weer met het oog op het toekomst naar mogelijk upgrade 30 a 40 euro meer betalen, maar voor het zelfde geld zit ik de komende twee jaar nog wel goed met de ruimte die ik heb (en hopelijk geen overlijdende schijven).
Nog bedankt voor de input.
Bedankt voor de tip. Ik had wel even in V&A gekeken, maar wilde de schijf eigenlijk zo snel mogelijk binnen hebben zodat mijn NAS weer aan kan en weer normaal raid-z kan draaien.HyperBart schreef op dinsdag 26 januari 2016 @ 22:48:
[...]
Tip voor de volgende keer, V&A checken, er zijn een paar zeer betrouwbare verkopers van de Seagate modelletjes zoals verkoper_nick en delange43.
Update: vandaag schijf binnen gekregen. Via de webgui van ZFSguru GPT gepartitioneerd en label eraan gehangen. Resilverd en nu is hij met een scrub bezig. Komende dagen even een scriptje gaan instellen wat mij automatisch een mailtje stuurt met HD problemen.
Allen in ieder geval bedankt voor de tips.
[ Voor 25% gewijzigd door krijn1985 op 27-01-2016 21:11 ]
Heb een half gaar scriptje gemaakt in python om ZFS resilver performance van verschillende Pool / VDEV configuraties te benchmarken.
https://github.com/louwrentius/zfs-resilver-benchmark
Ik ga ook daadwerkelijk testen op mijn oude NAS met 12 x 1 TB disks. Heb nog geen stats
https://github.com/louwrentius/zfs-resilver-benchmark
Ik ga ook daadwerkelijk testen op mijn oude NAS met 12 x 1 TB disks. Heb nog geen stats
Tip voor velen onder ons, en zeker alle beginners (zoals ik): Webmin
Ik kreeg het gister van een vriend als tip, heb het gelijk op mijn ZFSguru installatie geinstalleerd met PuTTy, damn... dat maakt het configureren wel verdomd eenvoudig!
En de installatie zelf via Portsnap stelde ook niet veel voor.
Onder andere de volgende zaken eenvoudig via een web interface te configureren:
User en groep beheer
Netwerk configuratie (Static IP o.a.)
Samba (incl. permissies pér share en default permissies)
ProFTPd
Cron jobs
Package updates
Perfect is het zeer zeker niet, maar verdomd handig vond ik het in ieder geval wel!
Ik kreeg het gister van een vriend als tip, heb het gelijk op mijn ZFSguru installatie geinstalleerd met PuTTy, damn... dat maakt het configureren wel verdomd eenvoudig!
Onder andere de volgende zaken eenvoudig via een web interface te configureren:
User en groep beheer
Netwerk configuratie (Static IP o.a.)
Samba (incl. permissies pér share en default permissies)
ProFTPd
Cron jobs
Package updates
Perfect is het zeer zeker niet, maar verdomd handig vond ik het in ieder geval wel!
Wanna play?
Het is wel handig om niet lui te zijn en ook wat command line spul te leren. Handig voor als dingen fout gaan en de GUI geen hulp meer kan bieden. Met name zfs commandos.
Tot op zekere hoogte mee eens, máár ik heb tot nu toe álles ZFS gerelateerd met de UI van ZFSguru kunnen doen... zonder enig ZFS commando in te typen. Weliswaar in een VM ermee gespeeld, maar uiteindelijk geen commando nodig gehad tijdens de daadwerkelijke install.Q schreef op vrijdag 29 januari 2016 @ 08:27:
Het is wel handig om niet lui te zijn en ook wat command line spul te leren. Handig voor als dingen fout gaan en de GUI geen hulp meer kan bieden. Met name zfs commandos.
De zaken waar ik persoonlijk de command line voor nodig had waren voor de FreeBSD gerelateerde zaken die ik hierboven ook benoem. Dingen die zoals nu blijken, allemaal via Webmin eenvoudiger te beheren waren. Met name het file/folder permissies i.c.m. file manager deel in Webmin zouden mij geholpen hebben met het troubleshooten toen ik tegen wat problemen aanliep dat ik bestanden niet in Plex zag. Terwijl ik het nu enkel dankzij hulp van FireDrunk netjes kon oplossen (waar ik nog steeds zeer dankbaar voor ben!)
Dus... nuttig? Ja!
Moet het je enige redmiddel zijn? Zeer zeker niet!
Wanna play?
My 2 cents:
WebGUI voor beheer is leuk en aardig, maar het beperkt je tegelijkertijd ook en je leert er imo weinig van.
Voor dagelijkse taken kan het zeker wel handig zijn en je mogelijk wat tijd besparen (op korte termijn) doordat je snel bepaalde dingen kunt uitvoeren/instellen.
Zolang zo'n ding werkt is het allemaal koek en ei, maar wanneer het op zijn gat gaat ben je het haasje. Want: je hebt geen idee wat die tool allemaal heeft uitgevreten, waar wat staat noch wat je kunt doen om het op te lossen.
Nou verschilt dat ook behoorlijk van web-managementsysteem tot web-managementsysteem.
Ik heb een keer een klant gehad met een Plesk installatie die een major upgrade wilde naar een nieuwere versie. Laat ik het kort houden: wat een ellende, begin daar nooit aan
Zelf gebruik ik ze niet en gaat alles met de shell. En als je daar handig in wordt, dan snap je niet dat je ooit anders hebt gedaan.
WebGUI voor beheer is leuk en aardig, maar het beperkt je tegelijkertijd ook en je leert er imo weinig van.
Voor dagelijkse taken kan het zeker wel handig zijn en je mogelijk wat tijd besparen (op korte termijn) doordat je snel bepaalde dingen kunt uitvoeren/instellen.
Zolang zo'n ding werkt is het allemaal koek en ei, maar wanneer het op zijn gat gaat ben je het haasje. Want: je hebt geen idee wat die tool allemaal heeft uitgevreten, waar wat staat noch wat je kunt doen om het op te lossen.
Nou verschilt dat ook behoorlijk van web-managementsysteem tot web-managementsysteem.
Ik heb een keer een klant gehad met een Plesk installatie die een major upgrade wilde naar een nieuwere versie. Laat ik het kort houden: wat een ellende, begin daar nooit aan

Zelf gebruik ik ze niet en gaat alles met de shell. En als je daar handig in wordt, dan snap je niet dat je ooit anders hebt gedaan.
Als je stil blijft staan, komt de hoek wel naar jou toe.
Tja, ergens handig in worden kost tijd en moeite natuurlijk. Maar zet dan gewoon een QNAP of Synology neer en ga niet met BSD / Linux ZFS / MDADM en Webmin spelen, als ik toch even een knuppel in het hoenderhok mag gooien. Of zet Windows neer met storage spaces ofzo.
Want een systeem neerzetten wat je in feite dus niet beheerst: zodra er iets fout gaat ben je de sjaak en kom je hier op het forum om hulp en dan nog.
Zoals Utraman schrijft: mijn servers hebben geen GUI, die beperkt mij alleen maar, ze zijn zo KISS opgezet, kwestie van wat files met een text editor aanpassen. Vim is een prima gui. Hahaha.
Want een systeem neerzetten wat je in feite dus niet beheerst: zodra er iets fout gaat ben je de sjaak en kom je hier op het forum om hulp en dan nog.
Zoals Utraman schrijft: mijn servers hebben geen GUI, die beperkt mij alleen maar, ze zijn zo KISS opgezet, kwestie van wat files met een text editor aanpassen. Vim is een prima gui. Hahaha.
Idd, als t je geen lor interesseert en je wilt zo min mogelijk inspanning leveren om t te leren kennen dan pak je een oplossing die uit de doos werkt, neemt je er een SLA bij die je bevalt en blijf je mijlen ver weg van andere oplossingen.Q schreef op vrijdag 29 januari 2016 @ 13:44:
Tja, ergens handig in worden kost tijd en moeite natuurlijk. Maar zet dan gewoon een QNAP of Synology neer en ga niet met BSD / Linux ZFS / MDADM en Webmin spelen, als ik toch even een knuppel in het hoenderhok mag gooien. Of zet Windows neer met storage spaces ofzo.
Want een systeem neerzetten wat je in feite dus niet beheerst: zodra er iets fout gaat ben je de sjaak en kom je hier op het forum om hulp en dan nog.
GUI is pfuiZoals Utraman schrijft: mijn servers hebben geen GUI, die beperkt mij alleen maar, ze zijn zo KISS opgezet, kwestie van wat files met een text editor aanpassen. Vim is een prima gui. Hahaha.
Vi(m) of nano is voldoende om config files aan te passen, remote acces middels ssh, bloatware als RDP en de bijbehorende services die moeten draaien is niet nodig. Een evt. web interface zoals ZFSguru heeft is handig, maar geen vereiste.
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R

Helaas crashte mijn script bij een raidz2 test. Ergens een race conditie.
Ergens vrees ik dat mijn manier van testen mogelijk niet OK is.
Ik replace een bestaande drive die on-line blijft met een 'spare'. Of het gedrag/performance anders is als de bestaande schijf afwezig is, weet ik niet. Moet ik ook testen.
[ Voor 74% gewijzigd door Q op 29-01-2016 20:07 ]
Nu heb ik al een hele tijd ZFSguru niet meer gebruikt, maar was het niet zo dat ZFSguru een groot deel van deze dingen kon? Sterker nog, dat het belangrijke redenen waren om juist voor ZFSguru te gaan? Waarom plaats je nu Webmin daar dan naast?F-Tim schreef op vrijdag 29 januari 2016 @ 07:44:
Tip voor velen onder ons, en zeker alle beginners (zoals ik): Webmin
Ik kreeg het gister van een vriend als tip, heb het gelijk op mijn ZFSguru installatie geinstalleerd met PuTTy, damn... dat maakt het configureren wel verdomd eenvoudig!En de installatie zelf via Portsnap stelde ook niet veel voor.
Onder andere de volgende zaken eenvoudig via een web interface te configureren:
User en groep beheer
Netwerk configuratie (Static IP o.a.)
Samba (incl. permissies pér share en default permissies)
ProFTPd
Cron jobs
Package updates
Perfect is het zeer zeker niet, maar verdomd handig vond ik het in ieder geval wel!
Webmin kan dingen die ZFSguru niet kan. Uit mijn hoofd:
- Static IP kan ZFSguru niet via de web-interface, al staat er wel hapklare voorbeelden in /etc/rc.conf hoe je dat kunt activeren.
- Samba met permissies per share kan ZFSguru volgens mij juist heel goed, dus daar heb je geen Webmin voor nodig.
- ProFTPd is beschikbaar als service addon en er is ook 'pureadmin' als frontend. Maar ik heb daar zelf geen ervaring mee. Mogelijk veel beter onder Webmin.
- Cronjobs doet ZFSguru niet, dus ook een plus van Webmin.
- Package updates kan nuttig zijn als je deze los wilt updaten ipv het hele systeem updaten.
Dat laatste is waar het mij dus om gaat inderdaad. Als ze op veel vlakken hetzelfde doen, dan zou ik echt kiezen voor een BSD/Linux met ZFS en Webmin, of voor ZFSguru.
Mja, aan de andere kant als je het fijn vindt om niks op de CLI te doen kan Webmin wel een aanvulling zijn. Zelf denk ik dat de GUI fijn is maar het prima is als je sommige dingen op de CLI doet, leer je ook eens wat. Idee is ook dat je de simpele dingen ook simpel werkend kunt krijgen via de GUI en vervolgens de meer specifieke/bijzondere/geavanceerde dingen via de CLI doet.
Dat is ook een goede manier om UNIX te leren kennen denk ik: beginnen bij iets wat werkt zodat je de broodnodige dingen gewoon werkend hebt, om vervolgens de rest te leren met een acceptabele leercurve. Zomaar iemand in het diepe gooien en BSD zonder GUI te laten draaien - zoals soms wordt gesuggereerd - is denk ik een goede manier om iemand heel snel een Qnap of Synology te laten aanschaffen. Juist die middenweg is denk ik belangrijk om een veel breder publiek warm te krijgen voor ZFS.
Dat is ook een goede manier om UNIX te leren kennen denk ik: beginnen bij iets wat werkt zodat je de broodnodige dingen gewoon werkend hebt, om vervolgens de rest te leren met een acceptabele leercurve. Zomaar iemand in het diepe gooien en BSD zonder GUI te laten draaien - zoals soms wordt gesuggereerd - is denk ik een goede manier om iemand heel snel een Qnap of Synology te laten aanschaffen. Juist die middenweg is denk ik belangrijk om een veel breder publiek warm te krijgen voor ZFS.
Cipher,
Ik heb een aantal berichten verstuurd naar jouw mailadres van tweakers.
Jos
Ik heb een aantal berichten verstuurd naar jouw mailadres van tweakers.
Jos
Verwijderd schreef op zondag 17 januari 2016 @ 16:30:
[...]
Probeer eens handmatig een nieuwe database te downloaden, misschien is het downloaden halverwege onderbroken ofzo en heb je een onvolledige database.
System->Preferences->Advanced en klik op de knop Refresh database.
Verwijderd
Dit:
Als ik hier kijk:
http://www.zfsbuild.com/2010/05/26/zfs-raid-levels/
dan staat daar:
Die multiple mirror is dus puur performance gerelateerd met redundance voor elke mirror ansich, dat je 19 schijven kunt kwijtraken is complete onzin.
Zelf getest met 6 disks in VB, 3 mirrors van elk 2 disks en na eruit rukken van 5 waardoor ik dus een enkele in een mirror overhield was het niet meer terug te bouwen.
Jammer dat er geen mirror over mirrors is.
heb ik eerder geschreven en indien raidz1-1 wegvalt, ben je je data kwijt.1 ding snap ik niet. stel je hebt de volgende situatie:
datapool
raidz1-0
c0t5001
c0t5002
c0t5003
raidz1-1
c0t5004
c0t5005
c0t5006
dan heb je dus een stripe over 2 raidz's (?) en áls 1 van die raidz's failed dan is ál je data weg omdat het een stripe is. of zie ik dit fout?
Als ik hier kijk:
http://www.zfsbuild.com/2010/05/26/zfs-raid-levels/
dan staat daar:
kijken naar wat ik bold heb gemaakt is dat domweg niet waar... want hij/zij zegt dat je 10 mirror maakt van 20 schijven en dat je 19 schijven kunt kwijt raken en dat je dan nog steeds je set weer kunt opbouwen. En dat klopt niet want het is een raid0/stripe over al die mirrors en als je net als boven met die raidz1-1 een wegvalt (1 mirror dus) dan is het dus ook bye-bye data.Mirrored Vdev’s (RAID1)
This is akin to RAID1. If you mirror a pair of Vdev’s (each Vdev is usually a single hard drive) it is just like RAID1, except you get the added bonus of automatic checksumming. This prevents silent data corruption that is usually undetectable by most hardware RAID cards. Another bonus of mirrored Vdev’s in ZFS is that you can use multiple mirrors. If we wanted to mirror all 20 drives on our ZFS system, we could. We would waste an inordinate amount of space, but we could sustain 19 drive failures with no loss of data. How To Create Mirrored Vdev Zpool
Die multiple mirror is dus puur performance gerelateerd met redundance voor elke mirror ansich, dat je 19 schijven kunt kwijtraken is complete onzin.
Zelf getest met 6 disks in VB, 3 mirrors van elk 2 disks en na eruit rukken van 5 waardoor ik dus een enkele in een mirror overhield was het niet meer terug te bouwen.
Jammer dat er geen mirror over mirrors is.
Je leest dat stukje tekst verkeerd. Hij bedoeld 1 schijf 19x spiegelen. Oftewel een normale mirror van twee schijven:
| |
Of een mirror met 20 schijven:
| | | | | | | | | | | | | | | | | | | |
Nu kunt nu dus 19 schijven verliezen en je data nog in tact hebben. Vandaar ook de "inordinate amount of space" dat je verspilt.
| |
Of een mirror met 20 schijven:
| | | | | | | | | | | | | | | | | | | |
Nu kunt nu dus 19 schijven verliezen en je data nog in tact hebben. Vandaar ook de "inordinate amount of space" dat je verspilt.
Sinds de 2 dagen regel reageer ik hier niet meer
Verwijderd
Ik snap het echt niet.CurlyMo schreef op maandag 01 februari 2016 @ 13:37:
Je leest dat stukje tekst verkeerd. Hij bedoeld 1 schijf 19x spiegelen. Oftewel een normale mirror van twee schijven:
| |
Of een mirror met 20 schijven:
| | | | | | | | | | | | | | | | | | | |
Nu kunt nu dus 19 schijven verliezen en je data nog in tact hebben. Vandaar ook de "inordinate amount of space" dat je verspilt.
/edit Hoe kan ik dan met ZFS 10 mirror maken zoals hij daar aangeeft?
[ Voor 7% gewijzigd door Verwijderd op 01-02-2016 13:50 ]
Meer dan 2-way mirroring is niet heel bekend met mensen die van RAID afkomen. Bijvoorbeeld controllers als Areca kunnen dit volgens mij niet. Wel meerdere mirrors, zodat je RAID0+1 of RAID1+0 krijgt, maar niet 3+-way mirroring. Dus ik begrijp wel dat het bij sommigen als vreemd klinkt.
3-way mirroring is wel heel nuttig voor read-intensive workloads, met name voor random read IOps en waarbij opslagruimte niet cruciaal is. Denk aan databases en VM storage.
Bij een 3-way mirror staat dezelfde data op drie schijven.
Bij een 20-way mirror staat dezelfde data op.... 20 schijven! You get the point.
Je kunt bij zo'n 20-way mirror dus 19 van de 20 schijven verliezen en dan heb je nog steeds alle opgeslagen gegevens. Maar je hebt dus ook maar de opslagruimte van één disk. Een 2-way mirorr of een 20-way mirror hebben dus dezelfde bruikbare opslagcapaciteit.
3-way mirroring is wel heel nuttig voor read-intensive workloads, met name voor random read IOps en waarbij opslagruimte niet cruciaal is. Denk aan databases en VM storage.
Vrij simpel: bij een normale (2-way) mirror staat dezelfde data op twee schijven.Verwijderd schreef op maandag 01 februari 2016 @ 13:46:
Ik snap het echt niet.
Bij een 3-way mirror staat dezelfde data op drie schijven.
Bij een 20-way mirror staat dezelfde data op.... 20 schijven! You get the point.
Je kunt bij zo'n 20-way mirror dus 19 van de 20 schijven verliezen en dan heb je nog steeds alle opgeslagen gegevens. Maar je hebt dus ook maar de opslagruimte van één disk. Een 2-way mirorr of een 20-way mirror hebben dus dezelfde bruikbare opslagcapaciteit.
[ Voor 40% gewijzigd door Verwijderd op 01-02-2016 13:49 ]
Verwijderd
Ok... dus zpool create tank mirror <disk1> <disk2> mirror <disk3> <disk4> is een stripe en zpool create tank mirror <disk1> <disk2> <disk3> <disk4> werkt ook??Verwijderd schreef op maandag 01 februari 2016 @ 13:47:
Meer dan 2-way mirroring is niet heel bekend met mensen die van RAID afkomen. Bijvoorbeeld controllers als Areca kunnen dit volgens mij niet. Wel meerdere mirrors, zodat je RAID0+1 of RAID1+0 krijgt, maar niet 3+-way mirroring. Dus ik begrijp wel dat het bij sommigen als vreemd klinkt.
3-way mirroring is wel heel nuttig voor read-intensive workloads, met name voor random read IOps en waarbij opslagruimte niet cruciaal is. Denk aan databases en VM storage.
[...]
Vrij simpel: bij een normale (2-way) mirror staat dezelfde data op twee schijven.
Bij een 3-way mirror staat dezelfde data op drie schijven.
Bij een 20-way mirror staat dezelfde data op.... 20 schijven! You get the point.
Je kunt bij zo'n 20-way mirror dus 19 van de 20 schijven verliezen en dan heb je nog steeds alle opgeslagen gegevens. Maar je hebt dus ook maar de opslagruimte van één disk. Een 2-way mirorr of een 20-way mirror hebben dus dezelfde bruikbare opslagcapaciteit.
Verwijderd
Hoe bizar... dit ga ik nu proberen in VB, mega dank, dit wist ik dus echt niet, weer wat geleerd.Verwijderd schreef op maandag 01 februari 2016 @ 13:54:
Ja, dat eerste zijn twee mirrors van elk twee disks, dat laatste is dus een enkele 4-way mirror.
Of dus een mirror met 20 disks. Precies zoals ik dus al zeiVerwijderd schreef op maandag 01 februari 2016 @ 13:54:
Ja, dat eerste zijn twee mirrors van elk twee disks, dat laatste is dus een enkele 4-way mirror.
Sinds de 2 dagen regel reageer ik hier niet meer
Verwijderd
Ja, wist niet dat je achter zpool create tank mirror domweg een zwik hdd's kunt aangeven en dat ZFS dan al die disks spiegelt.CurlyMo schreef op maandag 01 februari 2016 @ 13:56:
[...]
Of dus een mirror met 20 disks. Precies zoals ik dus al zei
Leuke is dat ZFS on-the-fly disks kan toevoegen én verwijderen van de mirror. Dus je kunt een enkele disk uitbreiden naar een mirror, door een disk toe te voegen aan dezelfde vdev. Je kunt daarna nog een disk toevoegen en je hebt een 3-way mirror. Daarna twee disks verwijderen en je hebt een enkele disk.
Dat trucje werkt ook met meerdere vdevs. Stel je begint met wee disks in RAID0 (twee vdevs met elk één disk). Dan kun je daar een tweetal mirrors van maken door aan elke vdev/disk een extra disk toe te voegen. En dan heb je opeens een RAID10 - oftewel twee mirrors in stripe.
Hetzelfde trucje werkt niet met RAID-Z1/2/3 vdevs - daar kun je geen disks aan toevoegen of verwijderen. Dat is een feature die veel mensen missen in ZFS.
Dat trucje werkt ook met meerdere vdevs. Stel je begint met wee disks in RAID0 (twee vdevs met elk één disk). Dan kun je daar een tweetal mirrors van maken door aan elke vdev/disk een extra disk toe te voegen. En dan heb je opeens een RAID10 - oftewel twee mirrors in stripe.
Hetzelfde trucje werkt niet met RAID-Z1/2/3 vdevs - daar kun je geen disks aan toevoegen of verwijderen. Dat is een feature die veel mensen missen in ZFS.
De M1015 is steeds moeilijker te verkrijgen, ook zijn broertjes zoals de Dell en consoorten.
Is iemand al bekend met SAS3 controllers à la LSI 3008 die vlot verkrijgbaar zijn voor gebruik met ZFS? Of een alternatief? Ik vind namelijk niet veel...
Je kan dus in theorie prima een pool aanmaken van
een 2 way mirror
een 2 way mirror
een 3 way mirror
een raidz1 van 3 disks
een raidz2 van 10 disks
en een raidz3 van 11 disks
Dat het niet zo netjes is, dat is wat anders, maar het kan.
Is iemand al bekend met SAS3 controllers à la LSI 3008 die vlot verkrijgbaar zijn voor gebruik met ZFS? Of een alternatief? Ik vind namelijk niet veel...
Je moet het commando eigenlijk een stuk per stuk analyseren:Verwijderd schreef op maandag 01 februari 2016 @ 14:00:
[...]
Ja, wist niet dat je achter zpool create tank mirror domweg een zwik hdd's kunt aangeven en dat ZFS dan al die disks spiegelt.
Dit commando maakt een POOL aan.
per keer dat je mirror of raidz1/2/3 aangeeft maak je eigenlijk een VDEV aan. Een pool kan één of meerdere VDEV's hebben en een VDEV kan maar tot één pool behoren. Als je NIETS meegeeft dan worden de disks gewoon per disk onder de pool gehangen zonder redundantie. Een disk kwijt? Hele pool kwijt...mirror <disk1> <disk2> mirror <disk3> <disk4>
Op het niveau van een VDEV definieer je wat je redundantie of pariteit is, niet op het pool niveau.is een stripe en zpool create tank mirror <disk1> <disk2> <disk3> <disk4> werkt ook??
Je kan dus in theorie prima een pool aanmaken van
een 2 way mirror
een 2 way mirror
een 3 way mirror
een raidz1 van 3 disks
een raidz2 van 10 disks
en een raidz3 van 11 disks
Dat het niet zo netjes is, dat is wat anders, maar het kan.
[ Voor 13% gewijzigd door HyperBart op 01-02-2016 15:25 ]
Verwijderd
Deze 2 situaties snap ik niet, zou je die svp een keer kunnen uitleggen dmv commando's want als ik een pool bouw met 1 disk heb ik 1 vdev echter als ik dan 1 disk dmv add toevoeg aan de vdev dan heb ik een stripe en geen mirror. Toch?Verwijderd schreef op maandag 01 februari 2016 @ 14:27:
Leuke is dat ZFS on-the-fly disks kan toevoegen én verwijderen van de mirror. Dus je kunt een enkele disk uitbreiden naar een mirror, door een disk toe te voegen aan dezelfde vdev. Je kunt daarna nog een disk toevoegen en je hebt een 3-way mirror. Daarna twee disks verwijderen en je hebt een enkele disk.
Dat trucje werkt ook met meerdere vdevs. Stel je begint met wee disks in RAID0 (twee vdevs met elk één disk). Dan kun je daar een tweetal mirrors van maken door aan elke vdev/disk een extra disk toe te voegen. En dan heb je opeens een RAID10 - oftewel twee mirrors in stripe.
/edit: typo
http://docs.oracle.com/cd...819-5461/gcfhe/index.html
Hier staat een duidelijk voorbeeld. Commando om dat te doen is niet zpool add, maar zpool attach.
Hier staat een duidelijk voorbeeld. Commando om dat te doen is niet zpool add, maar zpool attach.
Even niets...
Mag weg / dom dom
[ Voor 100% gewijzigd door A1AD op 02-02-2016 22:32 ]
- Deze advertentie is geblokkeerd door Pi-Hole -
mmm momenteel oude kernels verwijderd en zit nu met het volgende:
replace werkt niet, want de disk zit al in de pool.
Disk is wel vindbaar en benaderbaar.
Heb het al eens eerder gehad, maar kan de oplossing niet meer terug vinden.
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
| root@server:# zpool status pool: datapool state: ONLINE status: One or more devices could not be used because the label is missing or invalid. Sufficient replicas exist for the pool to continue functioning in a degraded state. action: Replace the device using 'zpool replace'. see: http://zfsonlinux.org/msg/ZFS-8000-4J scan: none requested config: NAME STATE READ WRITE CKSUM datapool ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 ata-SAMSUNG_HD204UI_S2H7J1CB903205-part1 ONLINE 0 0 0 6718266392156530758 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13010 ata-SAMSUNG_HD204UI_S2H7J1CB903201-part1 ONLINE 0 0 0 14505516383149480938 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13035 ata-WDC_WD20EZRX-00D8PB0_WD-WMC4M0H5LYU2-part1 ONLINE 0 0 0 logs ata-Crucial_CT250MX200SSD1_15331060F8E5-part6 ONLINE 0 0 0 cache ata-Crucial_CT250MX200SSD1_15331060F8E5-part7 ONLINE 0 0 0 errors: No known data errors |
replace werkt niet, want de disk zit al in de pool.
Disk is wel vindbaar en benaderbaar.
Heb het al eens eerder gehad, maar kan de oplossing niet meer terug vinden.
https://pvoutput.org/intraday.jsp?id=102416&sid=90116
Probeer een zpool export en import, of anders eerst onder BSD importeren en kijken wat dat oplevert.
Probeer in het vervolg ook ZFS de GPT partitie labels te laten gebruiken en dus niet die disk IDs. ZFS on Linux kan namelijk niet tegen veranderde device nodes - dan moet je opnieuw importeren. Wel vreemd is dat je pool gewoon op ONLINE staat terwijl twee van de 5 disks UNAVAIL zijn - dat begrijp ik zelf niet helemaal....
Probeer in het vervolg ook ZFS de GPT partitie labels te laten gebruiken en dus niet die disk IDs. ZFS on Linux kan namelijk niet tegen veranderde device nodes - dan moet je opnieuw importeren. Wel vreemd is dat je pool gewoon op ONLINE staat terwijl twee van de 5 disks UNAVAIL zijn - dat begrijp ik zelf niet helemaal....
Heb hem gebouwd via The ZFS Storage Blog!Verwijderd schreef op woensdag 03 februari 2016 @ 18:32:
Probeer een zpool export en import, of anders eerst onder BSD importeren en kijken wat dat oplevert.
Probeer in het vervolg ook ZFS de GPT partitie labels te laten gebruiken en dus niet die disk IDs. ZFS on Linux kan namelijk niet tegen veranderde device nodes - dan moet je opnieuw importeren. Wel vreemd is dat je pool gewoon op ONLINE staat terwijl twee van de 5 disks UNAVAIL zijn - dat begrijp ik zelf niet helemaal....
met dit commando (eigen disknames)
code:
1
| zpool create datapool raidz /dev/disk/by-partlabel/DATAPOOL-A-Z3009899 /dev/disk/by-partlabel/DATAPOOL-B-Z3009891 /dev/disk/by-partlabel/DATAPOOL-C-Z3009892 /dev/disk/by-partlabel/DATAPOOL-D-Z3009893 /dev/disk/by-partlabel/DATAPOOL-E-Z3009894 |
tis geupdate:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
| pool: datapool state: UNAVAIL status: One or more devices are faulted in response to IO failures. action: Make sure the affected devices are connected, then run 'zpool clear'. see: http://zfsonlinux.org/msg/ZFS-8000-HC scan: none requested config: NAME STATE READ WRITE CKSUM datapool UNAVAIL 0 0 0 insufficient replicas raidz1-0 UNAVAIL 0 0 0 insufficient replicas ata-SAMSUNG_HD204UI_S2H7J1CB903205-part1 ONLINE 0 0 0 6718266392156530758 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13010 ata-SAMSUNG_HD204UI_S2H7J1CB903201-part1 ONLINE 0 0 0 14505516383149480938 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13035 ata-WDC_WD20EZRX-00D8PB0_WD-WMC4M0H5LYU2-part1 ONLINE 0 0 0 logs ata-Crucial_CT250MX200SSD1_15331060F8E5-part6 ONLINE 0 0 0 cache ata-Crucial_CT250MX200SSD1_15331060F8E5-part7 ONLINE 0 0 0 errors: List of errors unavailable (insufficient privileges) |
[ Voor 17% gewijzigd door maomanna op 03-02-2016 19:37 ]
https://pvoutput.org/intraday.jsp?id=102416&sid=90116
bij export loopt de ssh terminal vast
https://pvoutput.org/intraday.jsp?id=102416&sid=90116
mja kan er geen BSD op zetten.
staat buitenshuis
staat buitenshuis
https://pvoutput.org/intraday.jsp?id=102416&sid=90116
ZoL zou ik niet aanraden als je geen fysieke toegang hebt tot de machine. Daarvoor is het toch niet stabiel genoeg. Regelmatig hoor ik verhalen dat bij een update er weer problemen zijn. Het werkt gewoon niet zo foutloos als op BSD platform. Als je zelf wat kunt prutsen is het allemaal wel weer aan de gang te krijgen. Maar als je geen fysieke toegang hebt tot de machine kun je misschien overwegen voor een andere oplossing te kiezen.
krijg nu:
code:
1
2
| root@server:/# zpool export datapool cannot export 'datapool': pool I/O is currently suspended |
https://pvoutput.org/intraday.jsp?id=102416&sid=90116
Ja, krijg het dan ook.
kan importeren en exporteren, blijft wel de 2 disks op unavailable houden.
1 voor 1 eruit halen en replacen?
of
# zpool clear datapool?
kan importeren en exporteren, blijft wel de 2 disks op unavailable houden.
1 voor 1 eruit halen en replacen?
of
# zpool clear datapool?
[ Voor 107% gewijzigd door maomanna op 03-02-2016 19:53 ]
https://pvoutput.org/intraday.jsp?id=102416&sid=90116
Enige optie bij I/O currently suspended is een reboot.
Hmm, exporteren en importeren werkt wel. Dat lukt hier nooit met die melding.
Hmm, exporteren en importeren werkt wel. Dat lukt hier nooit met die melding.
[ Voor 42% gewijzigd door CurlyMo op 03-02-2016 20:30 ]
Sinds de 2 dagen regel reageer ik hier niet meer
ik kan gewoon bij de data komen, dus dat is wel raar.
dat zou ook niet moeten kunnen.
edit*
Volgens mij gaat het fout doordat hij bij het booten, de schijven niet goed meepakt.
zo eens fstab bekijken.
edit2*
Schijven lijken goed te staan:
en nog meer info:
dat zou ook niet moeten kunnen.
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
| root@server:# zpool status pool: datapool state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: http://zfsonlinux.org/msg/ZFS-8000-8A scan: none requested config: NAME STATE READ WRITE CKSUM datapool ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 ata-SAMSUNG_HD204UI_S2H7J1CB903205-part1 ONLINE 0 0 0 6718266392156530758 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13010 ata-SAMSUNG_HD204UI_S2H7J1CB903201-part1 ONLINE 0 0 0 14505516383149480938 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13035 ata-WDC_WD20EZRX-00D8PB0_WD-WMC4M0H5LYU2-part1 ONLINE 0 0 0 logs ata-Crucial_CT250MX200SSD1_15331060F8E5-part6 ONLINE 0 0 0 cache ata-Crucial_CT250MX200SSD1_15331060F8E5-part7 ONLINE 0 0 0 errors: 4 data errors, use '-v' for a list root@server:/# zpool online datapool 6718266392156530758 cannot online 6718266392156530758: pool I/O is currently suspended |
edit*
Volgens mij gaat het fout doordat hij bij het booten, de schijven niet goed meepakt.
zo eens fstab bekijken.
edit2*
Schijven lijken goed te staan:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
| (parted) toon Model: ATA SAMSUNG HD204UI (scsi) Schijf /dev/sda: 2000GB Sectorgrootte (logisch/fysiek): 512B/512B Partitietabel: gpt Nummer Begin Einde Grootte Bestandssysteem Naam Vlaggen 1 1049kB 2000GB 2000GB zfs DATAPOOL-A-CB903205 (parted) q root@server:/# parted /dev/sdb GNU Parted 2.3 Apparaat /dev/sdb wordt gebruikt. Welkom bij GNU Parted! Typ 'help' voor een opdrachtenoverzicht. (parted) toon Model: ATA SAMSUNG HD204UI (scsi) Schijf /dev/sdb: 2000GB Sectorgrootte (logisch/fysiek): 512B/512B Partitietabel: gpt Nummer Begin Einde Grootte Bestandssysteem Naam Vlaggen 1 1049kB 2000GB 2000GB zfs DATAPOOL-B-BB13010 (parted) q root@server:/# parted /dev/sdc GNU Parted 2.3 Apparaat /dev/sdc wordt gebruikt. Welkom bij GNU Parted! Typ 'help' voor een opdrachtenoverzicht. (parted) toon Model: ATA SAMSUNG HD204UI (scsi) Schijf /dev/sdc: 2000GB Sectorgrootte (logisch/fysiek): 512B/512B Partitietabel: gpt Nummer Begin Einde Grootte Bestandssysteem Naam Vlaggen 1 3146kB 2000GB 2000GB zfs DATAPOOL-C-CB903201 (parted) q root@server:/# parted /dev/sdd GNU Parted 2.3 Apparaat /dev/sdd wordt gebruikt. Welkom bij GNU Parted! Typ 'help' voor een opdrachtenoverzicht. (parted) toon Model: ATA SAMSUNG HD204UI (scsi) Schijf /dev/sdd: 2000GB Sectorgrootte (logisch/fysiek): 512B/512B Partitietabel: gpt Nummer Begin Einde Grootte Bestandssysteem Naam Vlaggen 1 3146kB 2000GB 2000GB zfs DATAPOOL-D-BB13035 (parted) q root@server:/# parted /dev/sde GNU Parted 2.3 Apparaat /dev/sde wordt gebruikt. Welkom bij GNU Parted! Typ 'help' voor een opdrachtenoverzicht. (parted) toon Model: ATA WDC WD20EZRX-00D (scsi) Schijf /dev/sde: 2000GB Sectorgrootte (logisch/fysiek): 512B/4096B Partitietabel: gpt Nummer Begin Einde Grootte Bestandssysteem Naam Vlaggen 1 3146kB 2000GB 2000GB zfs DATAPOOL-E-M0H5LYHU2 |
en nog meer info:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
| root@server:/datapool/data# zpool history datapool History for 'datapool': 2016-01-20.22:09:22 zpool create datapool raidz /dev/disk/by-partlabel/DATAPOOL-A-CB903205 /dev/disk/by-partlabel/DATAPOOL-B-BB13010 /dev/disk/by-partlabel/DATAPOOL-C-CB903201 /dev/disk/by-partlabel/DATAPOOL-D-BB13035 /dev/disk/by-partlabel/DATAPOOL-E-M0H5LYHU2 2016-01-20.22:31:43 zpool add datapool log /dev/disk/by-id/ata-Crucial_CT250MX200SSD1_15331060F8E5-part6 2016-01-20.22:32:05 zpool add datapool cache /dev/disk/by-id/ata-Crucial_CT250MX200SSD1_15331060F8E5-part7 2016-01-20.22:35:29 zpool remove datapool ata-Crucial_CT250MX200SSD1_15331060F8E5-part7 2016-01-20.22:36:30 zpool add datapool cache /dev/disk/by-id/ata-Crucial_CT250MX200SSD1_15331060F8E5-part7 2016-01-20.22:41:30 zfs create datapool/data 2016-01-20.22:41:38 zfs create datapool/films 2016-01-20.22:41:59 zfs create datapool/downloads 2016-01-20.22:42:07 zfs create datapool/web 2016-01-20.22:42:17 zfs create datapool/series 2016-01-23.13:53:53 zpool import -N datapool 2016-01-23.15:10:52 zpool import -N datapool 2016-01-24.11:42:45 zpool import -N datapool 2016-02-03.11:19:43 zpool import -N datapool 2016-02-03.13:01:00 zpool import -N datapool 2016-02-03.17:33:17 zpool import -N datapool 2016-02-03.17:43:44 zpool import -N datapool 2016-02-03.17:44:17 zpool export datapool 2016-02-03.17:52:04 zpool import -N datapool 2016-02-03.18:16:45 zpool import datapool 2016-02-03.19:50:39 zpool import -N datapool 2016-02-03.19:51:51 zpool export datapool 2016-02-03.19:52:08 zpool import datapool 2016-02-03.21:26:34 zpool clear datapool 2016-02-03.21:27:12 zpool clear datapool 2016-02-03.21:52:02 zpool import -N datapool |
[ Voor 150% gewijzigd door maomanna op 03-02-2016 22:30 ]
https://pvoutput.org/intraday.jsp?id=102416&sid=90116
Zorg eerst dat je je pool "weg" kan krijgen, exporten of even via een andere server/OS en doe eens
zpool import -d /dev/disk/by-partlabel/
Je pool zou dan als "ok" moeten terugkomen, zoals bij mij bv:
via hetzelfde commando maar dan met de pool naam er bij dan importeren:
zpool import -d /dev/disk/by-partlabel/
Je pool zou dan als "ok" moeten terugkomen, zoals bij mij bv:
root@nas:~# zpool import -d /dev/disk/by-partlabel/ pool: M4-STRIPE id: 16336261802148093069 state: ONLINE action: The pool can be imported using its name or numeric identifier. config: M4-STRIPE ONLINE M4-1 ONLINE M4-2 ONLINE M4-3 ONLINE
via hetzelfde commando maar dan met de pool naam er bij dan importeren:
zpool import M4-STRIPE -d /dev/disk/by-partlabel/
Zo issie idd ook aangemaakt. Via partlabel.
Met jou cmd maakt hij hem opnieuw aan?
Ik heb de data nog op mijn eigen server staan, ZoL,, die geen problemen heeft met zfs en updates. Dus ga het denk ik gewoo. Proberen
Met jou cmd maakt hij hem opnieuw aan?
Ik heb de data nog op mijn eigen server staan, ZoL,, die geen problemen heeft met zfs en updates. Dus ga het denk ik gewoo. Proberen
https://pvoutput.org/intraday.jsp?id=102416&sid=90116
Los van je problemen, niet al je partitie beginnen op dezelfde offset. Is dat met een reden of een foutje?
Even niets...
mmm nou je het zegt.FireDrunk schreef op donderdag 04 februari 2016 @ 06:51:
Los van je problemen, niet al je partitie beginnen op dezelfde offset. Is dat met een reden of een foutje?
Ik heb je handleiding gevolgd, en beginlocatie op +2M gezet.
https://pvoutput.org/intraday.jsp?id=102416&sid=90116
Bijvoorbeeld deze: http://www.supermicro.nl/.../addon/AOC-S3008L-L8i.cfmHyperBart schreef op maandag 01 februari 2016 @ 15:11:
Is iemand al bekend met SAS3 controllers à la LSI 3008 die vlot verkrijgbaar zijn voor gebruik met ZFS? Of een alternatief?
Zie hem voor 209$ staan.
Geen driver support voor freebsd zo te zien.
Pci-e x8 3.0 sloten nodig..
Hier: https://lime-technology.com/forum/index.php?topic=31932.0 hebben ze info om hem in IT mode te krijgen, maar lijkt het niet goed te werken.
8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase
Mwoah zo goed verkrijgbaar zijn ze niet, ik vind ze bv niet eenvoudig via benelux webshops of op ebay zijn ze ook niet zo dik gezaaid.
pricewatch unsorted: IBM N2215 SAS/SATA HBA for System x 2Int
https://maxict.nl/product...c&utm_campaign=pricewatch
Disclaimer: De controller is gebaseerd op LSI3008, waardoor hij in theorie naar IT-mode te flashen is, maar persoonlijk geen ervaring mee, of uberhaupt over gelezen. Dus: YMMV.
Nog 1: pricewatch: LSI SAS HBA 9300-8i Single controller
https://maxict.nl/product...c&utm_campaign=pricewatch
Disclaimer: De controller is gebaseerd op LSI3008, waardoor hij in theorie naar IT-mode te flashen is, maar persoonlijk geen ervaring mee, of uberhaupt over gelezen. Dus: YMMV.
Nog 1: pricewatch: LSI SAS HBA 9300-8i Single controller
[ Voor 13% gewijzigd door FireDrunk op 04-02-2016 12:05 ]
Even niets...
doettie ookHyperBart schreef op woensdag 03 februari 2016 @ 23:14:
Zorg eerst dat je je pool "weg" kan krijgen, exporten of even via een andere server/OS en doe eens
zpool import -d /dev/disk/by-partlabel/
Je pool zou dan als "ok" moeten terugkomen, zoals bij mij bv:
root@nas:~# zpool import -d /dev/disk/by-partlabel/ pool: M4-STRIPE id: 16336261802148093069 state: ONLINE action: The pool can be imported using its name or numeric identifier. config: M4-STRIPE ONLINE M4-1 ONLINE M4-2 ONLINE M4-3 ONLINE
via hetzelfde commando maar dan met de pool naam er bij dan importeren:
zpool import M4-STRIPE -d /dev/disk/by-partlabel/
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
| root@server:~$ sudo zpool export datapool root@server:~$ sudo zpool import -d /dev/disk/by-partlabel/ pool: datapool id: 7211674227080709518 state: ONLINE action: The pool can be imported using its name or numeric identifier. config: datapool ONLINE raidz1-0 ONLINE DATAPOOL-A-CB903205 ONLINE DATAPOOL-B-BB13010 ONLINE DATAPOOL-C-CB903201 ONLINE DATAPOOL-D-BB13035 ONLINE DATAPOOL-E-M0H5LYHU2 ONLINE cache L2ARC logs sLOG ONLINE root@server:~$ sudo zpool status -v no pools available root@server:~$ sudo zpool import datapool root@server:~$ sudo zpool status -v pool: datapool state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: http://zfsonlinux.org/msg/ZFS-8000-8A scan: none requested config: NAME STATE READ WRITE CKSUM datapool ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 ata-SAMSUNG_HD204UI_S2H7J1CB903205-part1 ONLINE 0 0 0 6718266392156530758 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13010 ata-SAMSUNG_HD204UI_S2H7J1CB903201-part1 ONLINE 0 0 0 14505516383149480938 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13035 ata-WDC_WD20EZRX-00D8PB0_WD-WMC4M0H5LYU2-part1 ONLINE 0 0 0 logs ata-Crucial_CT250MX200SSD1_15331060F8E5-part6 ONLINE 0 0 0 cache ata-Crucial_CT250MX200SSD1_15331060F8E5-part7 ONLINE 0 0 0 errors: Permanent errors have been detected in the following files: <metadata>:<0x0> <metadata>:<0x1b> <metadata>:<0x20> /datapool/data/ root@server:~$ |
maar de error blijft
edit
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
| root@server:~$ sudo zpool import datapool -d /dev/disk/by-partlabel/ root@server:~$ sudo zpool status -v pool: datapool state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: http://zfsonlinux.org/msg/ZFS-8000-8A scan: none requested config: NAME STATE READ WRITE CKSUM datapool ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 DATAPOOL-A-CB903205 ONLINE 0 0 0 DATAPOOL-B-BB13010 ONLINE 0 0 1 DATAPOOL-C-CB903201 ONLINE 0 0 0 DATAPOOL-D-BB13035 ONLINE 0 0 3 DATAPOOL-E-M0H5LYHU2 ONLINE 0 0 0 logs sLOG ONLINE 0 0 0 cache L2ARC ONLINE 0 0 0 errors: Permanent errors have been detected in the following files: <metadata>:<0x0> <metadata>:<0x1b> <metadata>:<0x20> /datapool/data/ |
met poolname herstelde hij het wel!
alleen moet er data terug? zie laatste paar regels.
data corrupt??
[ Voor 18% gewijzigd door maomanna op 04-02-2016 18:38 ]
https://pvoutput.org/intraday.jsp?id=102416&sid=90116
Laat een scrub draaien - mogelijk verdwijnt dan corruptie als het uiteindelijk toch in orde blijkt te zijn. Maar metadata corruptie is zeker niet fijn. Hele directory-structuren kunnen verdwijnen.
Zie je, op basis van partlabel vindt hij alle partities en kan hij dus netjes importerenmaomanna schreef op donderdag 04 februari 2016 @ 18:36:
[...]
doettie ook
[code]
root@server:~$ sudo zpool export datapool
root@server:~$ sudo zpool import -d /dev/disk/by-partlabel/
pool: datapool
id: 7211674227080709518
state: ONLINE
action: The pool can be imported using its name or numeric identifier.
config:
datapool ONLINE
raidz1-0 ONLINE
DATAPOOL-A-CB903205 ONLINE
DATAPOOL-B-BB13010 ONLINE
DATAPOOL-C-CB903201 ONLINE
DATAPOOL-D-BB13035 ONLINE
DATAPOOL-E-M0H5LYHU2 ONLINE
cache
L2ARC
logs
sLOG ONLINE
Neen! Dit dus niet doen want dan krijg je weer het onderstaande resultaat.root@server:~$ sudo zpool status -v
no pools available
root@server:~$ sudo zpool import datapool
Dat is het belangrijkste stukje. Je importeert altijd een pool bij name of door zijn nummer te gebruiken, het is dat laatste stuk dat het verschil maakt en correct is in jouw geval.root@server:~$ sudo zpool status -v
pool: datapool
state: ONLINE
status: One or more devices has experienced an error resulting in data
corruption. Applications may be affected.
action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://zfsonlinux.org/msg/ZFS-8000-8A
scan: none requested
config:
NAME STATE READ WRITE CKSUM
datapool ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
ata-SAMSUNG_HD204UI_S2H7J1CB903205-part1 ONLINE 0 0 0
6718266392156530758 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13010
ata-SAMSUNG_HD204UI_S2H7J1CB903201-part1 ONLINE 0 0 0
14505516383149480938 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13035
ata-WDC_WD20EZRX-00D8PB0_WD-WMC4M0H5LYU2-part1 ONLINE 0 0 0
logs
ata-Crucial_CT250MX200SSD1_15331060F8E5-part6 ONLINE 0 0 0
cache
ata-Crucial_CT250MX200SSD1_15331060F8E5-part7 ONLINE 0 0 0
errors: Permanent errors have been detected in the following files:
<metadata>:<0x0>
<metadata>:<0x1b>
<metadata>:<0x20>
/datapool/data/
root@server:~$
[/code]
maar de error blijft
edit
[code]
root@server:~$ sudo zpool import datapool -d /dev/disk/by-partlabel/
Neen! Je moet je commando's eens doorlezen.root@server:~$ sudo zpool status -v
pool: datapool
state: ONLINE
status: One or more devices has experienced an error resulting in data
corruption. Applications may be affected.
action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://zfsonlinux.org/msg/ZFS-8000-8A
scan: none requested
config:
NAME STATE READ WRITE CKSUM
datapool ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
DATAPOOL-A-CB903205 ONLINE 0 0 0
DATAPOOL-B-BB13010 ONLINE 0 0 1
DATAPOOL-C-CB903201 ONLINE 0 0 0
DATAPOOL-D-BB13035 ONLINE 0 0 3
DATAPOOL-E-M0H5LYHU2 ONLINE 0 0 0
logs
sLOG ONLINE 0 0 0
cache
L2ARC ONLINE 0 0 0
errors: Permanent errors have been detected in the following files:
<metadata>:<0x0>
<metadata>:<0x1b>
<metadata>:<0x20>
/datapool/data/
[/code]
met poolname herstelde hij het wel!
Die poolnaam heb je toch bij alle import commando's meegegeven? Dit stuk zorgt er voor dat je pool geimporteerd wordt op basis van partitienamen en DAARDOOR werkt het netjes en goed:
-d /dev/disk/by-partlabel/
Rustig... Lijkt me heel sterk, doe maar eens een paar keer een scrub en 9 kansen van de 10 gaan die fouten weg. Ik had dat zelf een tijdje geleden bij een disk voor backups die ik per ongeluk van de stroom had gehaald, en dat was een enkele disk, scrub gedraaid, allemaal weg en in ordealleen moet er data terug? zie laatste paar regels.
data corrupt??
Oh ja, je pool dus altijd zo importeren met die by-partlabel er bij in de toekomst want anders dan ga je die fouten ooit terugkrijgen...
[ Voor 6% gewijzigd door HyperBart op 04-02-2016 19:13 ]
Maar waarom moet dat? We weten al dat Linux veranderde device-nodes tijdens boot-time niet kan herkennen zoals BSD wel kan. Maar als je handmatig een import commando geeft, dan worden toch alle device nodes afgezocht naar disks die naar de juiste data verwijzen? Waarom zou hij dan -d moeten opgeven?HyperBart schreef op donderdag 04 februari 2016 @ 19:11:
Oh ja, je pool dus altijd zo importeren met die by-partlabel er bij in de toekomst want anders dan ga je die fouten ooit terugkrijgen...
Omdat vanwege legacy ondersteuning /dev/sd[x] eerst gescanned wordt. En dat zal nog wel even zo blijven.
Net als dat ik nog steeds geen yum update heb onder FreeBSD... Het is een beetje zeuren/zeveren over de bekende weg...
ZFS kan je zelfs zo compileren dat het euwe devices nodes in /dev niet meer pikt, maar dat is nou eenmaal niet zo by default.
Deal with it...
Heb er overigens een bugje voor aangemeld:
https://github.com/zfsonlinux/zfs/issues/3892
Net als dat ik nog steeds geen yum update heb onder FreeBSD... Het is een beetje zeuren/zeveren over de bekende weg...
ZFS kan je zelfs zo compileren dat het euwe devices nodes in /dev niet meer pikt, maar dat is nou eenmaal niet zo by default.
Deal with it...
Heb er overigens een bugje voor aangemeld:
https://github.com/zfsonlinux/zfs/issues/3892
[ Voor 11% gewijzigd door FireDrunk op 04-02-2016 21:47 ]
Even niets...
Maar als daar geen device node wordt gevonden, dan gaat het zoeken/scannen toch door naar overige device nodes? Hoe kan het dan voorkomen dat de device niet gevonden wordt tenzij je -d opgeeft? Het enige wat -d zou mogen veranderen is dat de ene device node in plaats van de andere wordt gekozen, zoals een GPT label ipv een device ID. Maar het zou toch nooit mogen voorkomen dat zonder het gebruik van -d parameter, de device helemaal niet wordt gevonden?!FireDrunk schreef op donderdag 04 februari 2016 @ 21:43:
Omdat vanwege legacy ondersteuning /dev/sd[x] eerst gescanned wordt.
Het heeft te maken met het strict honoreren van de cache file voor zover ik heb kunnen debuggen (zie ook de bugreport).
Ik moet nog een keer in die env variabelen duiken om te kijken of dat een permanente fix is.
Om je vraag duidelijker te beantwoorden: volgens mij zit /dev/disk/by-partlabel niet in het default zoekpad.
Ik moet nog een keer in die env variabelen duiken om te kijken of dat een permanente fix is.
Om je vraag duidelijker te beantwoorden: volgens mij zit /dev/disk/by-partlabel niet in het default zoekpad.
[ Voor 19% gewijzigd door FireDrunk op 04-02-2016 21:53 ]
Even niets...
Dus de cache file wordt niet alleen gebruikt voor het booten als de pool al was geïmporteerd; hij wordt ook gebruikt als je handmatig probeert te importeren? Dat is best wel vreemd en ook zeer irritant. Elke keer automatisch de cache file maar verwijderen voordat je importeert dan? Het lijkt mij zeer onnodig dit te doen; het importeren mag best iets langer duren waarbij alle devices worden gescanned; alleen tijdens boot wil je dat misschien niet doen vanwege performanceredenen. Maar BSD doet dat wel dus waarom Linux dit niet zou doen is mij ook niet helemaal duidelijk.
De enige valide reden voor die cachefile lijkt mij dat Linux bootcode die informatie gebruikt om van te booten, omdat Linux niet de geavanceerde bootcode heeft van BSD waarbij daadwerkelijk devices en partities worden gescanned zodat booten met veranderde device nodes probleemloos werkt. Daar valt nog over heen te stappen. Maar dat je eerst de cachefile zou moeten verwijderen voordat een zpool import commando normaal functioneert, vind ik best wel vreemd als dat inderdaad nodig zou zijn. Wie heeft dat bedacht?!
De enige valide reden voor die cachefile lijkt mij dat Linux bootcode die informatie gebruikt om van te booten, omdat Linux niet de geavanceerde bootcode heeft van BSD waarbij daadwerkelijk devices en partities worden gescanned zodat booten met veranderde device nodes probleemloos werkt. Daar valt nog over heen te stappen. Maar dat je eerst de cachefile zou moeten verwijderen voordat een zpool import commando normaal functioneert, vind ik best wel vreemd als dat inderdaad nodig zou zijn. Wie heeft dat bedacht?!
Let op:
Voor het bouwen van een ZFS NAS en andere hardwarevragen kun je beter terecht in Het grote DIY RAID NAS topic deel 3, zodat we dit topic reserveren voor ZFS-specifieke vragen en discussies.
Voor het bouwen van een ZFS NAS en andere hardwarevragen kun je beter terecht in Het grote DIY RAID NAS topic deel 3, zodat we dit topic reserveren voor ZFS-specifieke vragen en discussies.