:fill(white):strip_exif()/i/2003943496.jpeg?f=thumbmini)
:strip_exif()/i/1321263566.png?f=thumbmini)
/u/200133/artemis_square_e_60-60.png?f=community)
Zelf zat ik een beetje met dezelfde keuze, en uiteindelijk ben ik gegaan voor een Intel DC P4510. In de ideale wereld had ik liever een Optane gehad, uit mijn ervaring levert zo een schijf als SLOG en L2ARC gewoon SSD-prestaties op een array met eco-schijven, maar uit kostenoverwegingen viel die af. Met mijn gebruik zijn de prestaties van deze schijf ook prima, en dan gebruik ik de schijf voor gemengd gebruik als bootschijf, voor wat containers en als SLOG en L2ARC voor 2 pools met HDD's.
:strip_exif()/u/49248/DPCkoeienUD.gif?f=community)
Sorry, maar dat is echt geen geld voor een dergelijke SSD naar mijn mening!
Hou er alleen rekening mee dat het blijkbaar een U.2 exemplaar is en je daarom dus het één en ander erbij zal moeten kopen als je geen U.2 poorten op je moederbord hebt!
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
:strip_exif()/u/70909/BlueKachina_60x60.gif?f=community)
@unezra Deze artikeltjes al eens gelezen?
https://www.servethehome....nd-what-makes-a-good-one/
https://www.servethehome....og-ssd-intel-optane-nand/
Vooral in de eerste staat interessante info, zoals dit diagram:
De goedkope Intel Optane's zijn best interresant als SLOG.
Dit artikeltje moet ik altijd om grinniken:
https://www.tweaktown.com...me-ssd-review/index5.html
Hier lees je heel duidelijk dat ze niet zo goed snappen wat een SSD snel maakt. Gigantische read speeds op hoge queue depths is leuk. Maar in de praktijk zie je echt amper zo'n hoge queue, tenzij je een drukke enterprise SAN/NAS bent die IO van > 100 VM's te verduren krijgt.
Wat een SSD goed maakt is lage latency. Hoe korter de latency, hoe sneller de queue weer vrijgegeven wordt. *ALLE* writes naar je ZIL (dus niet alleen naar een SLOG, maar ook die naar je 'normale' ZIL) zijn 'SYNC'. Waardoor er dus geen queue ontstaat. Hierdoor moet je gewoon de latency van 1 request wachten totdat het 'systeem' weer door gaat.
ZFS doet dit in 2 fases. Eerst wordt er een transactie groep gestart (een verzameling IO's die op stabiele storage gezet gaan worden). Alle IO's die binnenkomen worden met slimme algoritme's in die transactie groep geplaatst (op slimme volgorde, gegroepeerd, gesorteerd, anti-fragmentatie, weet ik wat allemaal).
Komt er in zo'n transactie groep een SYNC IO terecht, moet die eerst, want de gebruiker staat te wachten.
Op dat moment wordt de transactie groep meteen geflushed (naar disk gezet). Als eerst wordt de ZIL beschreven met de SYNC IO. Als dat klaar is, krijgt de gebruiker (het process wat de IO deed) een OK.
Op dat moment gaat ZFS pas de async IO naar disk sturen. Ondertussen is alle async data dus niet naar de ZIL geschreven, deze was immers async, en mag als verloren worden beschouwd zonder ack.
Ondertussen dat ZFS dit doet, wordt er een nieuwe transactie groep gestart om weer data te verzamelen.
Rinse and repeat....
Hieruit zie je dat ZFS nooit veel IO zal queuen in 1 transactiegroep tenzij in een *heel* kort window er *heel* veel SYNC IO's binnen komen die naar de SLOG zouden moeten. De kans dat dat gebeurt is zeer beperkt, waardoor de latency van de SSD een immens veel grotere rol speelt dan de totale bandbreedte van het ding.
Intel Optane's hebben voor zover ik kan zien, geen DRAM cache, maar schrijven hun IO direct in 3D X-Point NAND, wat hele lage latency heeft.
Daarom komen die dingen ook niet naar voren als zijnde SSD's met stroombescherming's features, die zijn namelijk niet nodig. Alle SYNC IO gaat *direct* naar stable NAND.
Dat maakt ze uitermate geschikt als SLOG
Lastige is: Sommige SSD's met DRAM en Stroombescherming kunnen in sommige benchmarks sneller lijken dan Optane's. Dat komt omdat Optane's extreem geoptimaliseerd zijn voor latency, en niet voor bandbreedte.
Ik heb gemerkt dat het heeeeel lastig kan zijn om echt goede benchmarks te vinden als het gaat om QD=1 waar de review sites echt weten wat ze doen.
ServeTheHome staat er om bekend dat ze vrij goede latency benchmarks doen.
https://www.servethehome....nd-what-makes-a-good-one/
https://www.servethehome....og-ssd-intel-optane-nand/
Vooral in de eerste staat interessante info, zoals dit diagram:
De goedkope Intel Optane's zijn best interresant als SLOG.
Dit artikeltje moet ik altijd om grinniken:
https://www.tweaktown.com...me-ssd-review/index5.html
Die SSD doet bijna 39.000 IOPS bij QD=1. Dat is behoorlijk snel.
Hier lees je heel duidelijk dat ze niet zo goed snappen wat een SSD snel maakt. Gigantische read speeds op hoge queue depths is leuk. Maar in de praktijk zie je echt amper zo'n hoge queue, tenzij je een drukke enterprise SAN/NAS bent die IO van > 100 VM's te verduren krijgt.
Wat een SSD goed maakt is lage latency. Hoe korter de latency, hoe sneller de queue weer vrijgegeven wordt. *ALLE* writes naar je ZIL (dus niet alleen naar een SLOG, maar ook die naar je 'normale' ZIL) zijn 'SYNC'. Waardoor er dus geen queue ontstaat. Hierdoor moet je gewoon de latency van 1 request wachten totdat het 'systeem' weer door gaat.
ZFS doet dit in 2 fases. Eerst wordt er een transactie groep gestart (een verzameling IO's die op stabiele storage gezet gaan worden). Alle IO's die binnenkomen worden met slimme algoritme's in die transactie groep geplaatst (op slimme volgorde, gegroepeerd, gesorteerd, anti-fragmentatie, weet ik wat allemaal).
Komt er in zo'n transactie groep een SYNC IO terecht, moet die eerst, want de gebruiker staat te wachten.
Op dat moment wordt de transactie groep meteen geflushed (naar disk gezet). Als eerst wordt de ZIL beschreven met de SYNC IO. Als dat klaar is, krijgt de gebruiker (het process wat de IO deed) een OK.
Op dat moment gaat ZFS pas de async IO naar disk sturen. Ondertussen is alle async data dus niet naar de ZIL geschreven, deze was immers async, en mag als verloren worden beschouwd zonder ack.
Ondertussen dat ZFS dit doet, wordt er een nieuwe transactie groep gestart om weer data te verzamelen.
Rinse and repeat....
Hieruit zie je dat ZFS nooit veel IO zal queuen in 1 transactiegroep tenzij in een *heel* kort window er *heel* veel SYNC IO's binnen komen die naar de SLOG zouden moeten. De kans dat dat gebeurt is zeer beperkt, waardoor de latency van de SSD een immens veel grotere rol speelt dan de totale bandbreedte van het ding.
Intel Optane's hebben voor zover ik kan zien, geen DRAM cache, maar schrijven hun IO direct in 3D X-Point NAND, wat hele lage latency heeft.
Daarom komen die dingen ook niet naar voren als zijnde SSD's met stroombescherming's features, die zijn namelijk niet nodig. Alle SYNC IO gaat *direct* naar stable NAND.
Dat maakt ze uitermate geschikt als SLOG
Lastige is: Sommige SSD's met DRAM en Stroombescherming kunnen in sommige benchmarks sneller lijken dan Optane's. Dat komt omdat Optane's extreem geoptimaliseerd zijn voor latency, en niet voor bandbreedte.
Ik heb gemerkt dat het heeeeel lastig kan zijn om echt goede benchmarks te vinden als het gaat om QD=1 waar de review sites echt weten wat ze doen.
ServeTheHome staat er om bekend dat ze vrij goede latency benchmarks doen.
[ Voor 6% gewijzigd door FireDrunk op 25-09-2019 08:56 ]
Even niets...
@FireDrunk Dat is een verdomd interessant verhaal om te lezen.
Zonder anderen te kort te willen doen die hier in dit topic ook echt verdomd fijne, interessante, leerzame zaken schrijven: Dank je wel. (Anderen dus ook bedankt. Dit topic leeft opeens en hoe.)
Qua Optanes, ik snap het nut. Stel dat ik op termijn daar toch iets mee wil doen en dan wil kiezen tussen NVMe of PCIe (domweg omdat ik beiden beschikbaar heb en mijn SATA poorten sneller op gaan raken), zijn deze 3 dan zinvolle Optanes?
pricewatch: Intel Optane 800P M.2 58GB
pricewatch: Intel Optane 800P M.2 118GB
pricewatch: Intel Optane 900P PCI-e Star Citizen Promo Pack 280GB
Die eerste is "maar" een 58G NVMe, maar als ik het goed begrijp (correct me if I'm wrong), is dat voor SLOG/L2ARC meer dan goed genoeg. Daar 2 van in het systeem. partitioneren en gaan. (Of is het met zo'n apparaat acceptabel om de SLOG niet op een mirror te zetten, maar op een enkele Optane? Dan kan de SLOG op de ene en de L2ARC op de 2e.)
Puur qua prijs zit 'ie goed. De prijs per G is gigantisch hoog, maar met zo'n heel specifiek doel maakt dat niet uit omdat het ding toch niet voor iets anders ingezet gaat worden dan SLOG/L2ARC.
De PCIe kaart is ook interessant, alleen heb ik maar 2 volledig bruikbare PCIe slots. Het kan zijn dat de 3e te krap op de rest zit. In 1 komt een 4xGBit NIC, dus ik moet er voorlopig vanuit gaan dat ik nog maar 1 PCIe slot vrij heb.
Zonder anderen te kort te willen doen die hier in dit topic ook echt verdomd fijne, interessante, leerzame zaken schrijven: Dank je wel. (Anderen dus ook bedankt. Dit topic leeft opeens en hoe.)
Qua Optanes, ik snap het nut. Stel dat ik op termijn daar toch iets mee wil doen en dan wil kiezen tussen NVMe of PCIe (domweg omdat ik beiden beschikbaar heb en mijn SATA poorten sneller op gaan raken), zijn deze 3 dan zinvolle Optanes?
pricewatch: Intel Optane 800P M.2 58GB
pricewatch: Intel Optane 800P M.2 118GB
pricewatch: Intel Optane 900P PCI-e Star Citizen Promo Pack 280GB
Die eerste is "maar" een 58G NVMe, maar als ik het goed begrijp (correct me if I'm wrong), is dat voor SLOG/L2ARC meer dan goed genoeg. Daar 2 van in het systeem. partitioneren en gaan. (Of is het met zo'n apparaat acceptabel om de SLOG niet op een mirror te zetten, maar op een enkele Optane? Dan kan de SLOG op de ene en de L2ARC op de 2e.)
Puur qua prijs zit 'ie goed. De prijs per G is gigantisch hoog, maar met zo'n heel specifiek doel maakt dat niet uit omdat het ding toch niet voor iets anders ingezet gaat worden dan SLOG/L2ARC.
De PCIe kaart is ook interessant, alleen heb ik maar 2 volledig bruikbare PCIe slots. Het kan zijn dat de 3e te krap op de rest zit. In 1 komt een 4xGBit NIC, dus ik moet er voorlopig vanuit gaan dat ik nog maar 1 PCIe slot vrij heb.
Ná Scaoll. - Don’t Panic.
Nogmaals, staar je niet blind op mijn verhaal dat je Optane moet gebruiken. Ze zijn heel geschikt, maar zeker niet de enige geschikte kandidaat. Ik gebruik ze vooral als voorbeeld. Goede enterprise SSDs met battery backed DRAM kunnen in theorie zelfs hogere prestaties leveren dan een Optane. DRAM is nog altijd sneller dan 3D X-Point. Het zit hem vooral in de firmware van de Optane wat hem wel leuk maakt.
Maar *nogmaals*: Kijk goed of je wel sync nodig hebt. Draai je Database met ingewikkelde transacties die goed teruggedraait moeten kunnen worden, of VM's die een oud non-journalling filesystem draaien, welke corrupt kan raken bij wat async writes die niet gehonoreerd worden? Is het antwoord nee? Dan kan je prima sync=disabled gebruiken.
sync=disabled is *nog* veel sneller dan een SLOG. Je zet namelijk effectief de ZIL gewoon *uit*.
EDIT: nog wat meer best goede benchmarks gevonden:
Hier zie je dat de Optane bij QD=1 hele hoge read iops haalt, maar niet extreem goed is in writes bij QD=1.
Nog steeds beter dan de concurrentie, maar niet bij een factor 10 zoals bij reads:
https://www.anandtech.com...-intel-samsung-memblaze/5
Overigens zijn dit allemaal enterpise SSDs.
Maar *nogmaals*: Kijk goed of je wel sync nodig hebt. Draai je Database met ingewikkelde transacties die goed teruggedraait moeten kunnen worden, of VM's die een oud non-journalling filesystem draaien, welke corrupt kan raken bij wat async writes die niet gehonoreerd worden? Is het antwoord nee? Dan kan je prima sync=disabled gebruiken.
sync=disabled is *nog* veel sneller dan een SLOG. Je zet namelijk effectief de ZIL gewoon *uit*.
EDIT: nog wat meer best goede benchmarks gevonden:
Hier zie je dat de Optane bij QD=1 hele hoge read iops haalt, maar niet extreem goed is in writes bij QD=1.
Nog steeds beter dan de concurrentie, maar niet bij een factor 10 zoals bij reads:
https://www.anandtech.com...-intel-samsung-memblaze/5
Overigens zijn dit allemaal enterpise SSDs.
[ Voor 24% gewijzigd door FireDrunk op 25-09-2019 12:03 ]
Even niets...
/u/11437/wandcontactdoos.png?f=community)
Even een recap, als ik het goed heb gevolgd heb je het volgende:
Asrock X470D4U
Ryzen 5 3600
2x 256GB SSD (mirror?): OS + kleine VMs
4x 5TB HDD: grotere VMs, data-disken VMs, data fileserver
1x PCIe 4x gigabit (heb je die al? anders misschien 10g overwegen, een switch met 10g poorten kost nog maar 120 euro of zo)
En je overweegt nog wat je wil doen voor SLOG en L2ARC?
Vanwaar L2ARC? Hoeveel RAM steek je in het systeem? Er past 128 GB in
En, L2ARC kost ook geheugen. Op https://forums.servetheho...oth-slog-and-l2arc.19700/ wordt aangegeven dat het goed zou moeten gaan met een P900. 800P's zijn wel een stukje langzamer dan 900P's, maar passen in je M.2 sloten
De 900P is er ook in 2.5" met M.2 kabelkit Ik weet niet of er latency-verschil zit tissen PCIe 2 en 3, en wat zo'n optane doet als'ie maar 2 PCIe lanes beschikbaar heeft, maar je hebt twee M.2 sloten. Wel zitten ze op de chipset en niet op de CPU. Als het echt om SPEED!!!!! / latency te doen is zou ik dus eerder iets in de PCIe-sloten zetten dan in de M.2 sloten.
Aan de andere kant, het is een thuis-server.. Een goedkope Optane in de 'langzame' M.2 sloten lijkt me RUIM snel genoeg in zo'n situatie Zelf heb ik sync disabled, zo belangrijk zijn de VMs die er op staan namelijk niet De data wel, maar daar heb ik een backup van.
Asrock X470D4U
Ryzen 5 3600
2x 256GB SSD (mirror?): OS + kleine VMs
4x 5TB HDD: grotere VMs, data-disken VMs, data fileserver
1x PCIe 4x gigabit (heb je die al? anders misschien 10g overwegen, een switch met 10g poorten kost nog maar 120 euro of zo)
En je overweegt nog wat je wil doen voor SLOG en L2ARC?
Vanwaar L2ARC? Hoeveel RAM steek je in het systeem? Er past 128 GB in
En, L2ARC kost ook geheugen. Op https://forums.servetheho...oth-slog-and-l2arc.19700/ wordt aangegeven dat het goed zou moeten gaan met een P900. 800P's zijn wel een stukje langzamer dan 900P's, maar passen in je M.2 slotenDe 900P is er ook in 2.5" met M.2 kabelkit
Ik weet niet of er latency-verschil zit tissen PCIe 2 en 3, en wat zo'n optane doet als'ie maar 2 PCIe lanes beschikbaar heeft, maar je hebt twee M.2 sloten. Wel zitten ze op de chipset en niet op de CPU. Als het echt om SPEED!!!!! / latency te doen is zou ik dus eerder iets in de PCIe-sloten zetten dan in de M.2 sloten.Aan de andere kant, het is een thuis-server.. Een goedkope Optane in de 'langzame' M.2 sloten lijkt me RUIM snel genoeg in zo'n situatie
Zelf heb ik sync disabled, zo belangrijk zijn de VMs die er op staan namelijk niet De data wel, maar daar heb ik een backup van.
"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock
:strip_exif()/u/396800/D-_3427da0a9c293b63f2a66dea2e642102.gif?f=community)
Dat lijstje klopt inderdaad.
Mogelijk met nog 2x 1T SSD d'r in, maar het kan zijn dat die niet goed meer zijn. Voordat ik die in productie neem moet ik echt even heel goed naar de SMART waardes gaan kijken en zien of ze uberhaupt nog veilig in te zetten zijn, of rijp voor de prullenbak. Voorlopig geen 10G hier, al hou ik er wel rekening mee dat ik op termijn (enkele jaren) wél 10G ga inzetten.
Ik heb een hele zooi leftovers van kantoor, waaronder een aantal 4xGBit kaarten en een paar behoorlijk fatsoenlijke Aruba PoE switches.
Zonder dat, had ik waarschijnlijk gewoon enkel de 2x on-board NIC's gebruikt of een simpel 2x kaartje gekocht.10G begint betaalbaar te worden, maar dan moet er weer een losse PoE switch bij. Daar wil ik nu net vanaf.
(Een van de redenen voor deze nieuwe server is een vereenvoudiging van mijn setup, dus minder componenten.)
De luxe van die leftovers betekend dat ik op bepaalde punten flink overkill kan creeeren zonder dat het me iets kost en tja, dan is het gewoon ook leuk en leerzaam.
Er zit 64G in.En je overweegt nog wat je wil doen voor SLOG en L2ARC?
Vanwaar L2ARC? Hoeveel RAM steek je in het systeem? Er past 128 GB in
Reden is simpel: Dat had ik nog liggen én het is voorlopig genoeg.
(Ik gebruik op dit moment op mijn huidige hypervisors zo'n 20G, wat ademruimte voor ZFS d'r bij en dan zit ik op een ruwe 24-28G, dus nog meer dan 32G over.)
Juh.De 900P is er ook in 2.5" met M.2 kabelkit
Aan de andere kant, het is een thuis-server.. Een goedkope Optane in de 'langzame' M.2 sloten lijkt me RUIM snel genoeg in zo'n situatie
Met die eerder bestelde SSD's ongeschikt en dus terug, is dit ook meer iets voor de langere termijn.
Heb ik het nodig? Waarschijnlijk niet.
Ga ik er iets van merken? Misschien in benchmarks.
Is het leuk om d'r eens mee te rommelen? Jup en dan is het ook niet erg als het een beetje geld kost, maar binnen grenzen.
Fin, ik heb vaker Tweakers Wishlists gemaakt met onderdelen die ik 1, 2 jaar later eens review en dan bestel. (Uiteraard wel met een check of er dan geen beter alternatief is.) Dit is ook zoiets. Leuk om nu over na te denken, maar gezien het gebrek aan noodzaak, ook iets waar ik geen haast mee heb. (If ever, want misschien besluit ik wel dat het prima is zo en laat ik die M.2 slots lekker voor wat ze zijn.)
Ná Scaoll. - Don’t Panic.
Als je echt wat leuks wilt doen met 10 Gbps NIC's in meerdere systemen kan je beter naar deze switches kijken :
- https://mikrotik.com/product/crs305_1g_4s_in
- https://mikrotik.com/product/crs309_1g_8s_in
- https://mikrotik.com/product/crs312_4c_8xg_rm
Verder heeft D-Link onlangs ook nog een refresh uitgebracht van hun 1 Gbps + 10 Gbps modellen : https://nl.hardware.info/...switches-met-10gbs-uplink
en kwam iemand daar in de reacties met dit model : https://www.fs.com/de-en/products/72944.html
Keuze zat dus, maar afhankelijk van je wensen kan het best wel een duur geintje worden!
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
Die eerste zit wel in dezelfde prijscategorie, maar heeft (had? Ik heb er al even niet naar gekeken) veel moeite met een usecase die in deze doelgroep HEEL VEEL voor zal komen: 10G naar een paar devices en dan 1G uplink naar de rest van het netwerk.
Zelf heb ik maar 2 poorten nodig en zou de 'uplink' aangesloten worden op 24x100+4x1G, dus dan is de CSS-326 prima, vooral ook omdat ik al een EdgeRouter heb en CRS dus niet nodig heb
Maar, als Mikrotik het probleem met de 305 gefixt heeft en je al een fatsoenlijke switch hebt dan is dat zeker een mooi dingetje Zeker als je L3 wil gaan doen maar je niet alles naar via je (internet)router wil sturen.Zeker, en het wordt ook steeds goedkoper, maar dat was wel waarom ik met een € 120 model kwamKeuze zat dus, maar afhankelijk van je wensen kan het best wel een duur geintje worden!
"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock
Grote switch met veel poorten die de meesten waarschijnlijk al zullen hebben in de meterkast dus dan kan je beter zo'n klein switchje erbij nemen:
Zeker, en het wordt ook steeds goedkoper, maar dat was wel waarom ik met een € 120 model kwam
Maar wat ik al zei : Het is maar net wat je zoekt!
En bedankt voor het opzoeken in de Pricewatch, want dat lukte mij niet als ik gewoon op MikroTik zocht, terwijl dat een paar weken geleden zonder enig probleem lukte... /weird
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
Dat was mijn eerste opzet, maar toen dat nog actueel was (ik heb nu een directe link tussen mijn beide 10G machines en wat entries in mijn hosts-bestand) kon dat goedkope kleintje iig niet goed overweg met verkeer tussen 10G en 1G.:
Grote switch met veel poorten die de meesten waarschijnlijk al zullen hebben in de meterkast dus dan kan je beter zo'n klein switchje erbij nemen
Hmm, ik weet het ook niet? Ik zocht iig op https://tweakers.net/pricewatch/zoeken/?keyword=crs305En bedankt voor het opzoeken in de Pricewatch, want dat lukte mij niet als ik gewoon op MikroTik zocht, terwijl dat een paar weken geleden zonder enig probleem lukte... /weird
"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock
Een tool (wrapper) om automatisch en gescheduled ZFS snapshots te maken en (met het meegeleverde syncoid), te repliceren naar andere systemen, met automatische cleanup, etc.
https://github.com/jimsalterjrs/sanoid
https://www.svennd.be/zfs-snapshots-of-proxmox-using-sanoid/
Super nuttige tool vind ik. Alleen met de onhebbelijkheid dat het snapshots aanmaakt met een naam die niet op een normale manier met Windows Shadow Copy (Previous Versions) te gebruiken zijn.
Alternatief is dit:
https://blog.chaospixel.c...ow-copies-with-samba.html
Maar daar zit dan weer geen tool bij om automatisch de zooi naar de overkant te synchroniseren voor backups.
Als ik dát nog vind, iets dat de functionaliteit en het gemak van sanoid/syncoid levert, maar wel met namen die bruikbaar zijn voor Shadow Copy, ben ik blij.(Voor nu kan ik er prima omheen werken, het is niet dat ik het ooit nodig heb gehad, enkel snapshots zijn vooralsnog in deze situatie prima maar hey, als snapshots op deze manier in te zetten zijn is dat natuurlijk wel leuk.)
Ná Scaoll. - Don’t Panic.
/u/3875/gnu_linux_freebsd_openbsd_small_v2.png?f=community)
pvoutput. Waarom makkelijk doen, als het ook moeilijk kan! Every solution has a new problem
Right; maar hoe maak je dan een snapshot als je laptop niet constant aan staat? Doe je dan pollen of werkt dat met de stand van de zon
pvoutput. Waarom makkelijk doen, als het ook moeilijk kan! Every solution has a new problem
De snapshot word gemaakt op de machine waarop ZFS draait.:
[...]
Right; maar hoe maak je dan een snapshot als je laptop niet constant aan staat? Doe je dan pollen of werkt dat met de stand van de zon
Ofwel: Je NAS (met ZFS).
Dat ding maakt periodiek snapshots (bij FreeNAS vanuit de eigen tooling, bij een Linux machine, met iets als SanOid, wat ook niet meer is dan een wrapper om bestaande zfs snapshot functionaliteit), alleen je maakt de snapshots *zichtbaar* in Windows. (Rechtsklik op bestand of directory --> Properties --> Previous Versions)
Het snapshot word dus niet gemaakt door Windows, maar door je fileserver en die draait in veel gevallen 24/7.
Ná Scaoll. - Don’t Panic.
Kom er net achter dat compression uit staat op mijn datasets. 
Dacht dat het met ZoL / Proxmox standaard aan stond en ben domweg vergeten het te controleren.
Weet iemand wat de beste methode is dat aan te zetten én alle data te comprimeren? (Ik ben bang dat het uit gaat komen op domweg alle data lokaal kopieren en dan terugzetten op de plek waar het stond.)
Helaas kan ik ook niet vinden waar ik dat als default, samen met het compression algoritme, aan zou moeten zetten.
Damn, dat zuigt!
EDIT: Ik besef me dat het net voor mijn PVE vm's relatief makkelijk is. PVE kan vm's moven van de ene plek naar de andere, zonder downtime én herschrijft daarbij disks uiteraard. Dus tijdelijke dataset aanmaken, vm daarheen moven, terug moven, klaar.
Blijft over mijn SMB data, misschien dat rsync en dan mv toch het handigste is maar ik sta open voor suggesties.
Compleet ongerelateerde vraag, weet iemand of er voordelen zijn aan NFS direct via ZFS doen, ipv /etc/exports?
https://blog.programster.org/sharing-zfs-datasets-via-nfs
Dacht dat het met ZoL / Proxmox standaard aan stond en ben domweg vergeten het te controleren.
Ik weet dat het vragen naar de bekende weg is, maar toch:
Weet iemand wat de beste methode is dat aan te zetten én alle data te comprimeren? (Ik ben bang dat het uit gaat komen op domweg alle data lokaal kopieren en dan terugzetten op de plek waar het stond.)
Helaas kan ik ook niet vinden waar ik dat als default, samen met het compression algoritme, aan zou moeten zetten.
Damn, dat zuigt!
EDIT: Ik besef me dat het net voor mijn PVE vm's relatief makkelijk is. PVE kan vm's moven van de ene plek naar de andere, zonder downtime én herschrijft daarbij disks uiteraard. Dus tijdelijke dataset aanmaken, vm daarheen moven, terug moven, klaar.
Blijft over mijn SMB data, misschien dat rsync en dan mv toch het handigste is maar ik sta open voor suggesties.
Compleet ongerelateerde vraag, weet iemand of er voordelen zijn aan NFS direct via ZFS doen, ipv /etc/exports?
https://blog.programster.org/sharing-zfs-datasets-via-nfs
[ Voor 12% gewijzigd door unezra op 04-10-2019 17:59 ]
Ná Scaoll. - Don’t Panic.
/u/172597/crop5e1225c8b1011.png?f=community)
No trees were harmed in creating this message. However, a large number of electrons were terribly inconvenienced.
Hmmm. Ik zie het idd.
Aan de andere kant, ik moet het alsnog aanzetten en zijn conclusie is dan ook weer dat het ook geen kwaad kan. Dus ik denk dat ik gewoon voor lz4 ga.
Heel raar. Ik heb de machine geïnstalleerd met een stock ISO van PVE6, root is wel compressed maar de datapools die ik heb aangemaakt niet. Dom dat ik dat niet heb gecontroleerd direct ná installatie en vóór ik er data op ging zetten.
Dat past. Gelukkig.
Denk dat ik mijn vm's maar ga omzetten via PVE zelf, domweg omdat dat zonder downtime kan.
SMB data maakt wat minder uit, omdat die nauwelijks wijzigt en ik best even kan leven met dat ik data readonly moet beschouwen. Daar is zfs send denk ik wel een heel goede, omdat het veel sneller moet gaan dan rsync. (Die SMB data zijn op sommige punten extreem veel kleine bestandjes en dat gaat ook via rsync traag.)
ISO's same thing, die kunnen ook best even readonly.
Ik ga vandaag maar een beginnetje maken.
EDIT:
Even een eerste vm overgezet naar een tijdelijke plek (gaat direct weer terug).
root@clarke:~# zfs get compressratio datapool00/PVE/VM datapool00/PVE/TST datapool00/PVE/VM_TMP
NAME PROPERTY VALUE SOURCE
datapool00/PVE/TST compressratio 1.00x -
datapool00/PVE/VM compressratio 1.00x -
datapool00/PVE/VM_TMP compressratio 1.88x -
root@clarke:~#
Dat is dus waarom ik het aan wilde hebben.
Ik weet van mijn vorige setup dat ik tegen de 2 kan halen, zeker op vm's. Het scheelt gewoon gigantisch veel opslagruimte als ik compression aan heb staan. Met PVE is het wel relatief makkelijk, gewoon moven naar een tijdelijke plek, direct terug en klaar. Zonder downtime whatsoever. Die datapool00/PVE/VM_TMP verwijder ik waarschijnlijk weer als ik klaar ben, of ik laat 'm staan.
[ Voor 10% gewijzigd door unezra op 05-10-2019 10:19 ]
Ná Scaoll. - Don’t Panic.
No trees were harmed in creating this message. However, a large number of electrons were terribly inconvenienced.
Jup.
Die inheritance gaat inderdaad goed, maar ik dacht werkelijk dat hij in zijn zfs defaults ook compression aan had staan voor nieuwe zpools. Dat heb ik helaas niet gecontroleerd, dus nu zit ik met een stukje nawerk dat ongepland was. Gelukkig valt, naar het lijkt, de klus mee. Ik ben nu mijn vm's aan het overzetten (online, 2x een move) en ga zo even uitzoeken hoe ik met zfs send & zfs receive het beste mijn SMB data en ISO's over kan zetten.
Het suffe is, ik meen begrepen te hebben dat je ergens in je zfs config defaults neer kunt zetten voor dit soort zaken, maar ik kan het niet vinden. Nu veranderd er in de regel niet zo veel in mijn zpools en maak ik datasets altijd als sub aan van hun main, met inheritance staat het dan allemaal meteen goed, maar toch.
Ik gebruik datasets behoorlijk intensief. Het is zó makkelijk en geeft me net even wat meer inzicht. Ik probeer ook echt het gebruik van zvols te vermijden. Vind het niet praktisch. Op mijn PVE installatie heb ik domweg een dataset datapool00/PVE/VM en daarin stop ik de qcow2 images van mijn vm's. Fin, de verdeling spreekt redelijk voor zich.
PVE data gescheiden van SMB data, ISO is een beetje een vreemde want die gebruik ik zowel via en voor PVE, als dat ik 'm gebruik als generieke ISO storage. (Hij is via SMB ook gedeeld met mijn netwerk.)Vraag me nog wel af wat beter is qua sharing. Ik maak nu gebruik van klassiek NFS met een /etc/exports, maar ik weet dat ZFS dit ook kan. Weet alleen niet of het een voordelen en/of nadelen heeft boven het ander. /etc/exports is prettig overzichtelijk en makkelijk, maar als het voordelen heeft het via ZFS te doen, gooi ik dat misschien wel om.
Ná Scaoll. - Don’t Panic.
Als ik dit zo lees, dan lijkt het er op dat ZFS gewoon inhaakt op de NFS functionaliteit van Linux. Voor zover er verschillen zijn verwacht ik dat dat 'm enkel zit in bepaalde nfs opties die meegegeven worden (rond regel 390 van de genoemde link). Ander voordeel is dat 't je in theorie maintenance scheelt. Als je een ZFS'je zou verplaatsen, dan hoef je dat nog maar op 1 plek te doen, ipv 2.
Zou je het met dezelfde opties mounten, verwacht ik geen verschil in performance. Maar dat is natuurlijk te benchmarken
No trees were harmed in creating this message. However, a large number of electrons were terribly inconvenienced.
Heeft iemand hier een goed idee voor.
Ik heb twee lokale NAS'. Eentje die 24/7 aan staat [A] en eentje puur voor archief [B].
[Edit]
Wat ik wil gaat niet theoretisch niet lukken
Ik heb twee lokale NAS'. Eentje die 24/7 aan staat [A] en eentje puur voor archief [B].
[Edit]
Wat ik wil gaat niet theoretisch niet lukken
[ Voor 97% gewijzigd door CurlyMo op 13-10-2019 21:00 ]
Sinds de 2 dagen regel reageer ik hier niet meer
"Religion is an insult to human dignity. With or without it you would have good people doing good things and evil people doing evil things. But for good people to do evil things, that takes religion." - Steven Weinberg
:strip_icc():strip_exif()/u/289675/crop6401bf2c85501_cropped.jpg?f=community)
Is de kernel geupdate en heb je mkinicpio nog een keer gedraaid? Welke ZFS packages gebruik je?
Heb je ook iets van quiet in de boot opties staan? Anders de logging verder opvoeren.
----
Ik heb een vraagje - al een tijd ben ik aan het denken om over te stappen naar een andere indeling voor mijn schijven.
Stel je hebt 2x 3TB en 2x 2TB - welke ZFS raids zou ik dan kunnen gebruiken?
Het liefst wil ik zoals nu een hele grote snelle pool hebben (heb nu dus 4TB + 6TB - maar ben met 6TB totaal tevreden), Ik zie even door de bomen het bos niet meer.
Kan je mij daar meer over vertellen?
Ik kom er even niet zo uit.
Heb nu de volgende twee gevonden:
- Raidz2
- Raid10 (is dat wat je bedoeld)?
Ik zou graag, indien mogelijk, 6TB willen gebruiken als opslag en de overige voor snelheid/als mirror. Klopt het dat Raid10 dit biedt?
/u/204872/crop65a1d5f52b87f.png?f=community)
Au Contraire Mon Capitan!
/u/1176/crop635f8931b2b68_cropped.png?f=community)
Moet het powered zijn? Unpowered kun je net zo goed 4 x dit op een USB hub gooien:
https://www.bol.com/nl/p/...Q0PCNSl3pLhxoCLfwQAvD_BwE
of met power:
2 x deze:
https://www.bol.com/nl/p/...F3eH8fYPZ3MRoCqHwQAvD_BwE
[ Voor 3% gewijzigd door Q op 14-11-2019 00:26 ]
@Q Ik zoek specifiek een oplossing om één of (bij voorkeur) meerdere SATA-kabels aan te sluiten via USB, waarbij ik de fysieke schijven niet onhandig direct aan hoef te sluiten omdat deze al in verschillende nette enclosures zitten:
Met een bakje als dit kan ik een nette oplossing bouwen:
Alleen bovengenoemde specifieke bakjes zijn wel erg dun (qua controller) en oud (qua snelheid). Het zou helemaal mooi zijn als zoiets bestaat met USB-C.
Met een bakje als dit kan ik een nette oplossing bouwen:
Alleen bovengenoemde specifieke bakjes zijn wel erg dun (qua controller) en oud (qua snelheid). Het zou helemaal mooi zijn als zoiets bestaat met USB-C.
🇪🇺 Buy from EU (GoT)
@Sando : Is het dan geen idee om naar zoiets toe te switchen zoals @Q destijds heeft gebouwd :
https://blog.quindorian.o...er-storage-hardware.html/
https://blog.quindorian.o...er-storage-hardware.html/
[ Voor 6% gewijzigd door nero355 op 15-11-2019 18:05 ]
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
Dit is wel heel vet, maar ook echt een orde van grootte groter.:
@Sando : Is het dan geen idee om naar zoiets toe te switchen zoals @Q destijds heeft gebouwd :
https://blog.quindorian.o...er-storage-hardware.html/
Dat is allemaal erg professioneel. Mijn use-case is wat meer small business prosumer at best.
Dat zijn inderdaad mooie doch prijzige oplossingen. Mijn einddoel laat eigenlijk vrij weinig speling over anders dan dat ik vroeg.
Ik heb 3x een mooie nette enclosure met 3 schijven/ZFS erin. Ze functioneren prima, en ze waren zeker ook zo prijzig, waardoor ik ze niet wil vervangen. Het grootste verschil is dat mijn enclosures niet één eSata/USB aansluiting hebben, maar een SATA aansluiting per schijf. Drie per enclosure dus. Toentertijd heb ik deze bewust gekocht zonder controller, met losse SATA-aansluitingen, zodat ik deze aan 3 grote lompe desktops met voldoende SATA-poorten kon aansluiten.
Inmiddels zijn alle grote desktops afgeschreven en (bijna) vervangen door drie mini-computers. De grootste is een Mini-STX, waar ik nog net een kaartje als dit in heb kunnen proppen:
Hiervoor heb ik wel een lelijk gat in de zijkant moeten boren om 3 SATA-kabels door te steken.
De andere twee computers worden waarschijnlijk een System76 Meerkat en een Intel Nuc. Beide met onvoldoende SATA-poorten of uitbreidingsmogelijkheden om klaar te zijn. Ze hebben wel mooie USB 3.2 en USB-C poorten.
Wat ik dus wil is de resterende twee 3-disk ZFS enclosures op een zo nette en goedkoop mogelijke doch betrouwbare manier aansluiten op deze minicomputers.
Hier ben ik dus een beetje huiverig voor. De genoemde controller is lastig te vinden en een beetje exotisch. Geen bekend degelijk merk. Bovendien heb ik een slechte ervaring met een soortgelijke controller waar ook zo'n klein chipje zonder heatsink op zat (was geloof ik een jmicron) waarvan de throughput niet hoger dan 40 MByte/s kwam. Mijn ZFS heeft op peak performance 240 MByte/s.
PS. Ik weet dat iedereen en zijn moeder ontraad om een 3-disk ZFS (RAID-Z1) array te bouwen. Toen ik ze bouwde heb ik helaas verkeerde informatie gelezen waarin het juist geprezen werd, en nu is het zoals het is. Ik ben nog wel zo verstandig geweest om disks van verschillende merken in een enclosure te stoppen.
Nieuwschierig: Deze JBoD enclosures hebben 1x eSata. Ondersteunt SATA dan ook raw disk passthrough waardoor je over 1x (e)Sata 4 JBoD disks kan aansluiten die je OS dan ook ziet als 4 disks? (Ik dacht dat dit alleen met USB kon, waar dit in Linux out of the box wordt ondersteund.)
🇪🇺 Buy from EU (GoT)
Au Contraire Mon Capitan!
Korte opmerking: ZFS 3-disk RAIDZ: Niets mis mee.
Ik heb je verhaal gelezen en dit is mijn mening: ik begrijp niet helemaal waarom je telkens een externe enclosure met 3 disks 1-op-1 wilt aansluiten op een bepaalde computer, nuc of rpi, maakt niet uit.
Ik denk dat je dit niet wilt horen maar volgens mij ben jij beter af met een centrale NAS met SMB/NFS waar dan al die schijven in passen. Misschien dat een NAS voor jou niet werkt, maar dan ben ik wel benieuwd waarom dat zo is en wat je precies wilt bewerkstelligen. Dat is mij eigenlijk nog steeds niet duidelijk.
Natuurlijk heb jij al geld besteed aan deze enclosures, maar als je zelf al geen fatsoenlijke sata-controller kunt vinden waar je vertrouwen in hebt, waar gaat dit dan naar toe? Don't throw good money after bad.
Die sata controller die je op het oog had was ook al weer 75 dollar ofzo, waarvan je er meer nodig hebt.
Gezien wat je nu doet had je beter van die DAS enclosures kunnen kopen (lijken op NAS maar met een USB3 interface) waarbij alle x schijven individueel te benaderen zijn maar de USB3 kabel delen (wat een bottleneck is maar 200/300 MB/s is prima zat voor de meeste toepassingen.
https://www.banggood.com/...ID=47757&cur_warehouse=CN
Eentje van deze kost iets minder als twee van die SATA controllers die je wilde kopen. Koop er twee en je hebt al je problemen opgelost.
Edit: Als je met onderstaande kunt leven dan kun je 3 x disks in een open enclosure via USB3 aansluiten voor minder als die ene SATA controller die je hebt gevonden. Niet ideaal, maar wel prijs bewust.
https://www.banggood.com/...s=search&cur_warehouse=CN
Ik vrees dat je de verkeerde investering hebt gedaan of dat de investering van destijds nu is ingehaald door je veranderende desktop/systeem behoefte.
[ Voor 24% gewijzigd door Q op 24-11-2019 11:25 ]
In navolging hiervan, waar ik verder niet meer naar heb gekeken
, werd ik vandaag verrast door een "pool has been degrated" mail:En deze zpool status output voor die pool:
pool: backup
state: DEGRADED
status: One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
using 'zpool clear' or replace the device with 'zpool replace'.
see: http://zfsonlinux.org/msg/ZFS-8000-9P
scan: scrub repaired 2M in 0 days 00:56:34 with 0 errors on Sun Dec 1 10:33:51 2019
config:
NAME STATE READ WRITE CKSUM
backup DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
ata-WDC_WD20EZRZ-00Z5HB0_WD-WCC4M1ZZ9803 DEGRADED 7 0 11 too many errors
ata-WDC_WD40EZRX-00SPEB0_WD-WCC4E0VYJ8F8 ONLINE 0 0 0
errors: No known data errors
Lijkt dan erop dat een van de twee HDDs aan het overlijden is (of een rotte kabel heeft)? Hiervoor zal ik dan ook nog even een post doen in het Check je SMART topic. RobertMe in "Check je SMART"
Met een zpool clear kan ik de error dan wel weghalen en evt. een nieuwe scrub draaien om te bevestigen dat er iets aan de hand is, maar dat is dan misschien ook niet de handigste optie? Omdat die tijd tot nieuwe degrated de schijf dus gewoon op online zal staan? alhoewel ik niet weet of er qua bv schrijven nog verschil zit tussen degrated en online. Ik vermoed dat de data wel nog steeds naar beide wordt geschreven?
En in hoeverre kan zo'n read/checksum error nog veroorzaakt worden door andere factoren? Volgens mij kan (defect) geheugen ook deze symptomen veroorzaken? Alhoewel ik het dan eerder over beide schijven verwacht en niet maar voor een van beide.
Schijf is precies 3 jaar en 3 maanden oud (besteldatum 30-8-16), dus zal vast (net?) buiten de garantie liggen. En een WD Blue die volgens de power on hours 2,5 jaar heeft aan gestaan en maar 49 keer een power cycle heeft gehad verwacht ik ook niet dat snel garantie op wordt gegeven omdat die niet bedoeld zijn voor continu gebruik. Intussen in ieder geval op Amazon nog voor €88 een Seagate 5TB (externe / 2,5") opgepikt. Dus binnenkort kan deze (helaas) al vervangen worden
Mooie is ook dat in diezelfde mirror een WD Green 4TB zit, dat is dus echt al een oudje maar die lijkt gewoon nog in orde te zijn ondanks dat die dus denk ik een jaar of 3, 4 ouder is. Als ik dus al had moeten gokken welke kapot was had ik eerder op die oudere gegokt.
Vandaag de nieuwe drive geplaatst. In eerste instantie wil ik even een three way mirror opzetten om de nieuwe drive wat uurtjes te laten maken.:
[...]
Schijf is precies 3 jaar en 3 maanden oud (besteldatum 30-8-16), dus zal vast (net?) buiten de garantie liggen. En een WD Blue die volgens de power on hours 2,5 jaar heeft aan gestaan en maar 49 keer een power cycle heeft gehad verwacht ik ook niet dat snel garantie op wordt gegeven omdat die niet bedoeld zijn voor continu gebruik. Intussen in ieder geval op Amazon nog voor €88 een Seagate 5TB (externe / 2,5") opgepikt. Dus binnenkort kan deze (helaas) al vervangen worden
Klopt het dat ik daarvoor dit commando moet gebruiken?
zpool attach backup ata-WDC_WD40EZRX-00SPEB0_WD-WCC4E0VYJ8F8 ata-ST5000LM000-2AN170_WCJ2S1PD
"backup" is dus de pool naam, vervolgens het id (/dev/disks/by-id) van de nog werkende schijf en dan het id van de nieuwe schijf.
En later kan ik dan dit commando uitvoeren om de defecte disk eruit te halen?
zpool detach backup ata-WDC_WD20EZRZ-00Z5HB0_WD-WCC4M1ZZ9803
Dus het id van de disk die defect is/als degrated gemarkeerd.
En effectief is dan het resultaat dus gelijk aan dat ik nu het volgende doe?
zpool replace backup ata-WDC_WD20EZRZ-00Z5HB0_WD-WCC4M1ZZ9803 ata-ST5000LM000-2AN170_WCJ2S1PD
Met dus <pool> <degrated disk> <nieuwe disk>
Bedankt voor het bevestigen
resilver loopt nu. Had alleen nog een -f nodig gezien het een (geformateerde) externe HDD is/was. Oftewel:invalid vdev specification use '-f' to override the following errors: /dev/disk/by-id/ata-ST5000LM000-2AN170_WCJ2S1PD-part2 contains a filesystem of type 'ntfs'
Even een nieuwe post, want nieuw probleem
Tijd niet opgelet en een mailbox vol (van zed) en zit nu met het volgende:
De HDD staat nu dus op removed, waarvan ik ook enkele mails heb ontvangen. Maar de laatste mail die ik heb is:
Mijn vermoeden is dat ik de schijf in een hot swap bay heb gedaan die niet helemaal lekker is. Ik heb wel alle bays aangesloten, maar de lege zijn nooit gebruikt/getest. In principe wil ik de disk dus in een andere bay zetten en opnieuw proberen.
De disk heb ik namelijk wel al getest. Is een Seagate externe drive, en heb die (over USB) al getest met SeaTools en h2testw alvorens deze van zijn omhulsel te ontdoen.
Tijd niet opgelet en een mailbox vol (van zed) en zit nu met het volgende:
[robert@nas ~]$ sudo zpool status backup
pool: backup
state: DEGRADED
status: One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
using 'zpool clear' or replace the device with 'zpool replace'.
see: http://zfsonlinux.org/msg/ZFS-8000-9P
scan: resilvered 11.3G in 0 days 00:34:47 with 0 errors on Sun Dec 15 14:36:16 2019
config:
NAME STATE READ WRITE CKSUM
backup DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
ata-WDC_WD20EZRZ-00Z5HB0_WD-WCC4M1ZZ9803 DEGRADED 19 0 53 too many errors
ata-WDC_WD40EZRX-00SPEB0_WD-WCC4E0VYJ8F8 ONLINE 0 0 0
ata-ST5000LM000-2AN170_WCJ2S1PD REMOVED 0 0 0
errors: No known data errors
De HDD staat nu dus op removed, waarvan ik ook enkele mails heb ontvangen. Maar de laatste mail die ik heb is:
Oftewel: de resilver is klaar. Mijn belangrijkste vraag is dus: wat is de status van de pool? En gezien de disk volgens Linux nu wel bestaat (zowel /dev/sde als de by-id variant) moet ik nog iets doen aan de "REMOVED" status (zoals de clear optie voor degrated disks).
Mijn vermoeden is dat ik de schijf in een hot swap bay heb gedaan die niet helemaal lekker is. Ik heb wel alle bays aangesloten, maar de lege zijn nooit gebruikt/getest. In principe wil ik de disk dus in een andere bay zetten en opnieuw proberen.
De disk heb ik namelijk wel al getest. Is een Seagate externe drive, en heb die (over USB) al getest met SeaTools en h2testw alvorens deze van zijn omhulsel te ontdoen.
Wederom bedankt voor de zeer snelle reactie. Maar de online doet "niks", behalve aantonen dat clear ook een optie is
[robert@nas ~]$ sudo zpool online backup ata-ST5000LM000-2AN170_WCJ2S1PD
warning: device 'ata-ST5000LM000-2AN170_WCJ2S1PD' onlined, but remains in faulted state
use 'zpool clear' to restore a faulted device
[robert@nas ~]$ sudo zpool status backup
pool: backup
state: DEGRADED
status: One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
using 'zpool clear' or replace the device with 'zpool replace'.
see: http://zfsonlinux.org/msg/ZFS-8000-9P
scan: resilvered 11.3G in 0 days 00:34:47 with 0 errors on Sun Dec 15 14:36:16 2019
config:
NAME STATE READ WRITE CKSUM
backup DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
ata-WDC_WD20EZRZ-00Z5HB0_WD-WCC4M1ZZ9803 DEGRADED 19 0 53 too many errors
ata-WDC_WD40EZRX-00SPEB0_WD-WCC4E0VYJ8F8 ONLINE 0 0 0
ata-ST5000LM000-2AN170_WCJ2S1PD REMOVED 0 0 0
errors: No known data errors
Oftewel:
[robert@nas ~]$ sudo zpool clear backup ata-ST5000LM000-2AN170_WCJ2S1PD
[robert@nas ~]$ sudo zpool status backup
pool: backup
state: DEGRADED
status: One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
using 'zpool clear' or replace the device with 'zpool replace'.
see: http://zfsonlinux.org/msg/ZFS-8000-9P
scan: resilvered 11.3G in 0 days 00:34:47 with 0 errors on Sun Dec 15 14:36:16 2019
config:
NAME STATE READ WRITE CKSUM
backup DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
ata-WDC_WD20EZRZ-00Z5HB0_WD-WCC4M1ZZ9803 DEGRADED 19 0 53 too many errors
ata-WDC_WD40EZRX-00SPEB0_WD-WCC4E0VYJ8F8 ONLINE 0 0 0
ata-ST5000LM000-2AN170_WCJ2S1PD REMOVED 0 0 0
errors: No known data errors
Ik ga dus even de drive verplaatsen. Ook gezien dmesg redelijk gevuld lijkt te zijn met errors gerelateerd aan sde, oftewel, deze drive.
Ik update deze post zometeen weer.
Na omprikken was de status meteen ONLINE + resilvering. We wachten dus even af.
Toch blijf ik issues houden. Systeem is aantal keren ontzettend traag geweest en gaf andere issues totdat ik uiteindelijk maar een reboot heb gedaan. Die vervolgens weer faalde met issue van vorige maand. Boot die bleef hangen. Zonder de (oude) falende schijf (WD Blue) lijkt de boot wel te lukken. Dom genoeg heb ik die daarna weer terug geplaatst en waren de lockups weer terug. Reboot daarbij heb ik (uiteindelijk) monitor weer erbij gepakt omdat systeem weer niet up kwam. Tot mijn verbazing bleek toen dat deze nog bezig was met het afsluiten (al 5 minuten volgens systemd), en wel specifiek het unmounten van de child datasets van backup. Na een tijdje sloot die dan toch eindelijk af en de boot zonder WD Blue was succesvol. Maar toen had ik weer een nieuw issue. Geen van de pools waren geïmporteerd. Met een zfs import -a werden deze wel herkent, maar mounten mislukte (intussen waren er al verschillende (sub)mappen aangemaakt op de mount points). Vervolgens dus die mappen verwijderd en met een zfs mount werd alles netjes gemount.
Maar een zpool status wees toen uit dat de resilver van de Seagate weer opnieuw begonnen was. Lijkt mij niet de bedoeling? Ik denk zelfs dat die op het moment dat de problemen begonnen al klaar was (gaat om 266GB aan data, meen dat die initieel aangaf ongeveer drie kwartier nodig te hebben voor de resilver).
Even later was het systeem weer redelijk unresponsive (lijkende op "backup pool is traag / werkt niet"). dmesg / journalctl leide vervolgens tot verschillende van deze regels:
Met verschillende "taken" (txg_sync, DataFileSync en zfs). Nadat ik de Seagate op offline heb gezet zijn deze fouten ook weg.
Daarom de Seagate maar weer op online gezet. En wederom startte de resilver vanaf 0. Deze loopt intussen nog steeds, ogenschijnlijk ook zonder issues, maar de snelheid bleef maar zakken en zakken. Daardoor is dit ook de huidige status:
De defecte WD Blue (WD20EZRZ) heb ik dus zelf op offline gezet en is ook losgekoppeld.
De resilver is nu dus zo traag dat zelfs ZFS geen schatting meer kan geven over hoe lang deze nog zal lopen. Overigens liep de h2testw test (over USB 3.0) met om en nabij de 100MByte/s. Dus de disk zou goed moeten zijn en niet zoals nu maar 10M/s (waarvan ik niet durf te gokken of ZFS het in bytes of bits meld, maar langzamer is het zeer zeker).
Wie kan mij dus advies geven om hier nog iets van te maken? Of adviseren in welke richting te zoeken. SATA bekabeling? Kapot RAM? kapotte SATA aansluitingen? Maar bij defecte aansluiting of kabels verwacht ik ATA errors in dmesg/journal, en die zijn er niet.
Een systeem/ZFS upgrade lukt op het moment overigens ook niet. Iets met Arch Linux willen draaien waarbij de thirth party ZFS packages niet compatible zijn met de (LTS) kernel die momenteel in de repo staat. Oftewel dependency conflict.
Edit:
Intussen een system upgrade gedaan middels het DKMS package. Performance leek nog steeds nergens over te gaan. Daarom de disk op offline gezet en een hdparm -t gedaan. De eerste poging was zeer slecht (20MB/s). Tweede al iets beter (60MB/s) en derde goed (116MB/s). Disk nu dan maar weer op online gezet en hij begint soort van hoopvol op 75M/s (iets minder dan 1 uur voor 266GB)
Edit2:
Overigens was ook het afsluiten (na updaten/voor update te "activeren") weer super traag en duurde (al) minuten. Toen ik monitor weer erbij had bleek dit weer te liggen aan het unmounten van de datasets op de backup pool. Als "test" de Seagate eruit getrokken en een paar seconden later was die afgesloten en ook het opstarten ging goed. (En daarna de Seagate weer erin geprikt).
Overigens blijkt ook nu de performance van de resilver weer in te zakken, van ~70M/s op tijd van paar minuten al naar ~50M/s. Terwijl een tool als h2testw dus continu met rond de 100MB/s te kunnen schrijven.
Edit numero 3:
Omdat de performance maar weer bleef zakken wou ik de Seagate weer eruit halen en terug via USB aan PC testen. Tegelijkertijd maar de WD Blue terug gezet (ondanks de bad sectors). De Seagate eerst netjes gedetached (zodat die helemaal weg zou zijn) en daarna pas verwijderd. En de WD Blue stond dan op offline en na weer aansluiten netjes op online gezet. Het directe gevolg daarvan was echter:
Nu lijkt dus de hele pool corrupt te zijn? (potentieel doordat de WD Blue in zijn metadata nog de Seagate had staan terwijl die in de andere disk (die continu erin heeft gezeten) gedetached was?).
Is er dus iets wat hier nog aan te doen valt? Of wordt het met een nieuwe/goede disk (die Seagate is dus ook iffy) een compleet nieuwe pool opzetten en data (en snapshots) over hevelen?
En ik was al aan het denken om nog een NASje op te zetten om buitenshuis te stallen om echte backups te hebben naast de ZFS snapshots. Lijkt erop dat ik na dit avondtuur dat toch maar echt moet gaan doen. Want dit begint een sterk gevalletje van Murphys law te worden waarbij ik toch wel "bang" begin te worden dat ik dadelijk helemaal niks meer over houd.
Laatste update voor vandaag:
Niet meer naar het ZFS deel gekeken (vind ik te riskant). Intussen wel nog de Seagate "getest". SATA-USB interface ingeprikt, onder Linux (op laptop dus ander systeem) een hdparm -t en performance was ook weer slecht (30MB/s). Reboot naar Windows, format naar NTFS en h2testw gestart: hetzelfde verhaal. Vervolgens, god knows why, de drive uit de hot swap bay gehaald (lees: 4 schroefjes die onderin worden gedraaid eruit gehaald), opnieuw h2testw gestart, en in ieder geval de eerste minuut was performance terug op ~110MB/s. En toen vond ik het welletjes. Morgenvroeg zie ik wel hoe ver die is aan de "13 uur om 5TB te schrijven."
Maar een zpool status wees toen uit dat de resilver van de Seagate weer opnieuw begonnen was. Lijkt mij niet de bedoeling? Ik denk zelfs dat die op het moment dat de problemen begonnen al klaar was (gaat om 266GB aan data, meen dat die initieel aangaf ongeveer drie kwartier nodig te hebben voor de resilver).
Even later was het systeem weer redelijk unresponsive (lijkende op "backup pool is traag / werkt niet"). dmesg / journalctl leide vervolgens tot verschillende van deze regels:
kernel: INFO: task txg_sync:22481 blocked for more than 120 seconds.
Met verschillende "taken" (txg_sync, DataFileSync en zfs). Nadat ik de Seagate op offline heb gezet zijn deze fouten ook weg.
Daarom de Seagate maar weer op online gezet. En wederom startte de resilver vanaf 0. Deze loopt intussen nog steeds, ogenschijnlijk ook zonder issues, maar de snelheid bleef maar zakken en zakken. Daardoor is dit ook de huidige status:
robert@nas ~]$ sudo zpool status backup
pool: backup
state: DEGRADED
status: One or more devices is currently being resilvered. The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Sun Dec 15 19:19:25 2019
266G scanned at 53.8M/s, 44.5G issued at 9.02M/s, 266G total
44.7G resilvered, 16.76% done, no estimated completion time
config:
NAME STATE READ WRITE CKSUM
backup DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
ata-WDC_WD20EZRZ-00Z5HB0_WD-WCC4M1ZZ9803 OFFLINE 0 0 0
ata-WDC_WD40EZRX-00SPEB0_WD-WCC4E0VYJ8F8 ONLINE 0 0 0
ata-ST5000LM000-2AN170_WCJ2S1PD ONLINE 0 0 0 (resilvering)
errors: No known data errors
De defecte WD Blue (WD20EZRZ) heb ik dus zelf op offline gezet en is ook losgekoppeld.
De resilver is nu dus zo traag dat zelfs ZFS geen schatting meer kan geven over hoe lang deze nog zal lopen. Overigens liep de h2testw test (over USB 3.0) met om en nabij de 100MByte/s. Dus de disk zou goed moeten zijn en niet zoals nu maar 10M/s (waarvan ik niet durf te gokken of ZFS het in bytes of bits meld, maar langzamer is het zeer zeker).
Wie kan mij dus advies geven om hier nog iets van te maken? Of adviseren in welke richting te zoeken. SATA bekabeling? Kapot RAM? kapotte SATA aansluitingen? Maar bij defecte aansluiting of kabels verwacht ik ATA errors in dmesg/journal, en die zijn er niet.
Een systeem/ZFS upgrade lukt op het moment overigens ook niet. Iets met Arch Linux willen draaien waarbij de thirth party ZFS packages niet compatible zijn met de (LTS) kernel die momenteel in de repo staat. Oftewel dependency conflict.
Edit:
Intussen een system upgrade gedaan middels het DKMS package. Performance leek nog steeds nergens over te gaan. Daarom de disk op offline gezet en een hdparm -t gedaan. De eerste poging was zeer slecht (20MB/s). Tweede al iets beter (60MB/s) en derde goed (116MB/s). Disk nu dan maar weer op online gezet en hij begint soort van hoopvol op 75M/s (iets minder dan 1 uur voor 266GB)
Edit2:
Overigens was ook het afsluiten (na updaten/voor update te "activeren") weer super traag en duurde (al) minuten. Toen ik monitor weer erbij had bleek dit weer te liggen aan het unmounten van de datasets op de backup pool. Als "test" de Seagate eruit getrokken en een paar seconden later was die afgesloten en ook het opstarten ging goed. (En daarna de Seagate weer erin geprikt).
Overigens blijkt ook nu de performance van de resilver weer in te zakken, van ~70M/s op tijd van paar minuten al naar ~50M/s. Terwijl een tool als h2testw dus continu met rond de 100MB/s te kunnen schrijven.
Edit numero 3:
Omdat de performance maar weer bleef zakken wou ik de Seagate weer eruit halen en terug via USB aan PC testen. Tegelijkertijd maar de WD Blue terug gezet (ondanks de bad sectors). De Seagate eerst netjes gedetached (zodat die helemaal weg zou zijn) en daarna pas verwijderd. En de WD Blue stond dan op offline en na weer aansluiten netjes op online gezet. Het directe gevolg daarvan was echter:
[robert@nas ~]$ sudo zpool online backup ata-WDC_WD20EZRZ-00Z5HB0_WD-WCC4M1ZZ9803
warning: device 'ata-WDC_WD20EZRZ-00Z5HB0_WD-WCC4M1ZZ9803' onlined, but remains in faulted state
use 'zpool replace' to replace devices that are no longer present
[robert@nas ~]$ sudo zpool status backup
pool: backup
state: DEGRADED
status: One or more devices is currently being resilvered. The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Sun Dec 15 22:20:24 2019
2.30G scanned at 118M/s, 1.41G issued at 71.9M/s, 266G total
1.41G resilvered, 0.53% done, 0 days 01:02:43 to go
config:
NAME STATE READ WRITE CKSUM
backup DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
ata-WDC_WD20EZRZ-00Z5HB0_WD-WCC4M1ZZ9803 DEGRADED 0 0 78 too many errors (resilvering)
ata-WDC_WD40EZRX-00SPEB0_WD-WCC4E0VYJ8F8 DEGRADED 0 0 78 too many errors
errors: 1 data errors, use '-v' for a list
[robert@nas ~]$ sudo zpool status backup -v
pool: backup
state: DEGRADED
status: One or more devices has experienced an error resulting in data
corruption. Applications may be affected.
action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://zfsonlinux.org/msg/ZFS-8000-8A
scan: resilvered 2.31G in 0 days 00:00:31 with 13 errors on Sun Dec 15 22:20:55 2019
config:
NAME STATE READ WRITE CKSUM
backup DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
ata-WDC_WD20EZRZ-00Z5HB0_WD-WCC4M1ZZ9803 DEGRADED 0 0 78 too many errors
ata-WDC_WD40EZRX-00SPEB0_WD-WCC4E0VYJ8F8 DEGRADED 0 0 78 too many errors
errors: Permanent errors have been detected in the following files:
<metadata>:<0x0>
Nu lijkt dus de hele pool corrupt te zijn?
(potentieel doordat de WD Blue in zijn metadata nog de Seagate had staan terwijl die in de andere disk (die continu erin heeft gezeten) gedetached was?).Is er dus iets wat hier nog aan te doen valt? Of wordt het met een nieuwe/goede disk (die Seagate is dus ook iffy) een compleet nieuwe pool opzetten en data (en snapshots) over hevelen?
En ik was al aan het denken om nog een NASje op te zetten om buitenshuis te stallen om echte backups te hebben naast de ZFS snapshots. Lijkt erop dat ik na dit avondtuur dat toch maar echt moet gaan doen. Want dit begint een sterk gevalletje van Murphys law te worden waarbij ik toch wel "bang" begin te worden dat ik dadelijk helemaal niks meer over houd.
Laatste update voor vandaag:
Niet meer naar het ZFS deel gekeken (vind ik te riskant). Intussen wel nog de Seagate "getest". SATA-USB interface ingeprikt, onder Linux (op laptop dus ander systeem) een hdparm -t en performance was ook weer slecht (30MB/s). Reboot naar Windows, format naar NTFS en h2testw gestart: hetzelfde verhaal. Vervolgens, god knows why, de drive uit de hot swap bay gehaald (lees: 4 schroefjes die onderin worden gedraaid eruit gehaald), opnieuw h2testw gestart, en in ieder geval de eerste minuut was performance terug op ~110MB/s. En toen vond ik het welletjes. Morgenvroeg zie ik wel hoe ver die is aan de "13 uur om 5TB te schrijven."
[ Voor 38% gewijzigd door RobertMe op 15-12-2019 23:21 ]
:strip_exif()/u/106968/belkar2.gif?f=community)
Wellicht een hele stomme vraag, maar ik wil toch graag bevestiging voordat ik huilend in m'n kruipruimte zit vanwege een denkfout.
Ik heb een pool van vier disks in raidz (dus 1 parity) waar niet heel veel data op staat op dit moment. Eigenlijk wil ik die schijven ergens anders gaan gebruiken maar om de data veilige te stellen heb ik wel al één van die schijven nodig. Anders moet ik alles gaan uploaden ergens en dat schiet natuurlijk niet op.
Mijn plan was dus om er gewoon één schijf uit te halen en die ergens los in te hangen waarna ik de data daarheen kopieer.
Ik besef mij terdege dat ik dan een degraded pool heb en dus mijn bescherming kwijt ben totdat ik de data op de andere locatie weer van bescherming en parity heb voorzien. Het mag dus niet tijdens dat traject ergens fout gaan. Ik durf dit aan omdat verlies de data niet onoverkomelijk zou zijn, het is erg vervelend maar niet onvervangbaar.
Gaat dit gewoon werken of zie ik onwijs iets over het hoofd?
Ik heb een pool van vier disks in raidz (dus 1 parity) waar niet heel veel data op staat op dit moment. Eigenlijk wil ik die schijven ergens anders gaan gebruiken maar om de data veilige te stellen heb ik wel al één van die schijven nodig. Anders moet ik alles gaan uploaden ergens en dat schiet natuurlijk niet op.
Mijn plan was dus om er gewoon één schijf uit te halen en die ergens los in te hangen waarna ik de data daarheen kopieer.
Ik besef mij terdege dat ik dan een degraded pool heb en dus mijn bescherming kwijt ben totdat ik de data op de andere locatie weer van bescherming en parity heb voorzien. Het mag dus niet tijdens dat traject ergens fout gaan. Ik durf dit aan omdat verlies de data niet onoverkomelijk zou zijn, het is erg vervelend maar niet onvervangbaar.
Gaat dit gewoon werken of zie ik onwijs iets over het hoofd?
Look for the signal in your life, not the noise.
Canon R6 | 50 f/1.8 STM | 430EX II
Sigma 85 f/1.4 Art | 100-400 Contemporary
Zeiss Distagon 21 f/2.8
@Gonadan ja, nee
Sinds de 2 dagen regel reageer ik hier niet meer
:strip_exif()/u/259931/stuiterbal2.gif?f=community)
Dat kan je proberen inderdaad. Zou geen kwaad moeten kunnen.
Wel behoorlijke YOLO om een Vertex 2 als ZIL te gebruiken
Wel behoorlijke YOLO om een Vertex 2 als ZIL te gebruiken
Even niets...
Wie kan/wil er iets zinnigs zeggen over deduplicatie?
Ik ben een machine aan het bouwen voor mijn offsite backups, waarop ik Proxmox VE ga draaien met ZFS als onderlaag. Replicatie ga ik op ZFS niveau doen met Sanoid/Syncoid. https://github.com/jimsalterjrs/sanoid
Een gedeelte van de data gaan mijn reguliere bestanden zijn. (Ofwel, mp3's, foto's, etc.) Een ander deel gaan complete Linux vm's worden die hier thuis draaien. (Grofweg 12 vm's op het moment, kunnen er ook 20 worden. OS varieert, vnl Linux maar diverse distro's en versies.)
De machine word een DL20 Gen9 met op dit moment 8G RAM, mogelijk 24G maar kan naar meer. (De machine zelf kan 64G RAM aan.) CPU is een Intel Pentium G4400. (product: Intel Pentium G4400 )
Mijn huidige te backuppen dataset is rond de 6.5T groot, mogelijk gaat daar 1T vanaf wegens een vm met oude backups die ik uit de pool wil halen van te backuppen vm's.
Compression staat aan en zal ik ook op de DL20 aan zetten voor álle data. Huidige compressratio is 1.14x
Ook maak ik regelmatig snapshots. (Al wil ik dat mogelijk wel verminderen en de periode verkorten als offsite replicatie operationeel is.)
Ik twijfel over de aanschaf van een paar 12T disks zodat ik rond de 12T netto over heb en wat headroom (~7.5T) heb. Maar 12T disks zijn duur. €390 per stuk voor het model dat ik op het oog heb: pricewatch: Toshiba N300 (Retail), 12TB
De 10T is "maar" €335,- per stuk en levert me rond de 5.5T (50%) headroom op: pricewatch: Toshiba N300 (Retail), 10TB
Kortom: Wat is wijsheid?
Loont deduplicatie in dit geval, of zal het qua benodigde opslag weinig uitmaken en eerder duurder zijn wegens zware CPU belasting en memory? (Machine komt in een datacenter te hangen, kWh prijs ligt op iets meer dan €0,41/kWh. Volcontinu 50W laten trekken kost daarmee 3-4 tientjes per jaar, terwijl de machine in regulier bedrijf met een set onzunige testdisks rond de 35W doet.)
(Ik ben ook een beetje bang gemaakt door dit artikel van een van dé ZFS primers en GOTO guides: https://pthree.org/2013/1...ue-cost-of-deduplication/ )
Ik ben een machine aan het bouwen voor mijn offsite backups, waarop ik Proxmox VE ga draaien met ZFS als onderlaag. Replicatie ga ik op ZFS niveau doen met Sanoid/Syncoid. https://github.com/jimsalterjrs/sanoid
Een gedeelte van de data gaan mijn reguliere bestanden zijn. (Ofwel, mp3's, foto's, etc.) Een ander deel gaan complete Linux vm's worden die hier thuis draaien. (Grofweg 12 vm's op het moment, kunnen er ook 20 worden. OS varieert, vnl Linux maar diverse distro's en versies.)
De machine word een DL20 Gen9 met op dit moment 8G RAM, mogelijk 24G maar kan naar meer. (De machine zelf kan 64G RAM aan.) CPU is een Intel Pentium G4400. (product: Intel Pentium G4400 )
Mijn huidige te backuppen dataset is rond de 6.5T groot, mogelijk gaat daar 1T vanaf wegens een vm met oude backups die ik uit de pool wil halen van te backuppen vm's.
Compression staat aan en zal ik ook op de DL20 aan zetten voor álle data. Huidige compressratio is 1.14x
Ook maak ik regelmatig snapshots. (Al wil ik dat mogelijk wel verminderen en de periode verkorten als offsite replicatie operationeel is.)
Ik twijfel over de aanschaf van een paar 12T disks zodat ik rond de 12T netto over heb en wat headroom (~7.5T) heb. Maar 12T disks zijn duur.
€390 per stuk voor het model dat ik op het oog heb: pricewatch: Toshiba N300 (Retail), 12TBDe 10T is "maar" €335,- per stuk en levert me rond de 5.5T (50%) headroom op: pricewatch: Toshiba N300 (Retail), 10TB
Kortom: Wat is wijsheid?
Loont deduplicatie in dit geval, of zal het qua benodigde opslag weinig uitmaken en eerder duurder zijn wegens zware CPU belasting en memory? (Machine komt in een datacenter te hangen, kWh prijs ligt op iets meer dan €0,41/kWh. Volcontinu 50W laten trekken kost daarmee 3-4 tientjes per jaar, terwijl de machine in regulier bedrijf met een set onzunige testdisks rond de 35W doet.)
(Ik ben ook een beetje bang gemaakt door dit artikel van een van dé ZFS primers en GOTO guides: https://pthree.org/2013/1...ue-cost-of-deduplication/ )
Ná Scaoll. - Don’t Panic.
Dat is an-sich geen probleem.
Er draait weinig latency-critical spul op.
Zeker als ik 'm de nacht door laat draaien maakt het allemaal niet veel uit. Die anderhalve bezoeker van mijn website merkt dat toch niet.
Hmmm.
Interpreteer ik het goed dat je daarmee grofweg 2G geheugen per 1T storage nodig hebt?
Of is dat niet als zodanig te zeggen?
(Dan word het vrij snel vrij duur. Systeem zelf kan 128G RAM aan, maar dat spul kost €6,- per G. Daarom wil ik beginnen met 24G. 2x8G plus de 2x4G die ik nog heb liggen.)
Ná Scaoll. - Don’t Panic.
Inmiddels de oude zil aan de nieuwe server toegevoegd (tijdelijk in een usb-enclosure, want de interne aansluitingen waren op, maakt voor zfs niks uit).
Het ging niet helemaal vanzelf, maar is uiteindelijk gelukt.
Nadat ik een zpool export gedaan had met de oude ZIL-partitie in het systeem was de drive-mapping aangepast. Overigens gaf hij bij zpool import vervolgens aan dat de pool nog in gebruik was door een ander systeem, beetje vreemd, maar middels zpool import -f gelukkig wel gewoon te importeren.
Hierna kwam alles online en kon ik de oude ZIL-partitie wél verwijderen.
Een nieuwe toevoegen kan proxmox kennelijk niet op een zpool met versie=28:
code:
1
2
| zpool add data log /dev/sda4 cannot add to 'data': pool must be upgraded to add these vdevs |
Voor ik de upgrade van mijn pool ga doen laat ik hem eerst even een paar dagen gewoon zo lopen en kijken of alles naar wens loopt zodat ik zeker weet dat ik niet meer terug hoef.
Tja, ik wist 8 jaar geleden niet beter. Hij heeft 8 jaar vlekkeloos gedraaid: 20GB voor OS, paar GB voor ZIL en nog iets van 30 voor L2ARC (in mijn systeem met ca 50% hit-rate toch een mooie aanvulling).Wel behoorlijke YOLO om een Vertex 2 als ZIL te gebruiken
Smartctl heb ik onder Openindiana nooit aan de praat gekregen, dus geen idee hoe erg end-of-life hij intussen is. Maar na 8 jaar was het een mooi moment om eens te gaan vervangen. Nieuwe server zit een Samsung evo 860 Pro in, ga ik ook weer gebruiken voor OS + ZIL + Cache.
Data-schijven zijn in die 8 jaar al 3 keer vervangen ivm ruimtegebrek, maar dat is omdat ik niet goed ben in dingen weggooien. Overigens zie ik op 1 van mijn schijven nu wel een smart-melding: " Device: /dev/sdc [SAT], 8 Currently unreadable (pending) sectors".
Ben er nog niet wat ik daar mee aan moet, verder geeft de schijf geen alarmerende waardes.
Maar hoeveel daarvan is waar?
Er word gezegd dat er ook een vuistregel is van 1G geheugen op 1T netto storage. Die regel is niet waar. Je kunt prima frank en vrij met een veel lagere ratio toe.
Hier hebben ze het zelfs over 20G RAM per 1T pool data:
https://superuser.com/que...ysical-deduped-compressed
This means you should plan for at least 20GB of system RAM per TB of pool data, if you want to keep the dedup table in RAM, plus any extra memory for other metadata, plus an extra GB for the OS.
Da's een heel andere waarde dan @FireDrunk heeft, die komt op 2G RAM per 1T pool data.
2G RAM per T is al behoorlijk heftig, ik plan op maximaal 20T op deze machine (ooit) en dat zou me dan 40G RAM kosten. Voor nu, met give or take 6T, zou het me 12G RAM kosten. Machine kan het aan. Daar kan 128G in maar RAM is niet goedkoop.
Als het 20G RAM per T is, word het helemaal bizar. Voor 20T op de machine zou ik dan 100G RAM nodig hebben. Nog steeds binnen wat de machine kan, maar dan zit je wel ff €600 aan RAM in die doos te duwen. (En zan zou ik nu, voor de 6T die ik wil, 36G alleen al voor dedup er in moeten zetten.)
Da's het lastige hier. De besparing klinkt interessant (al heb ik het nog niet gemeten), maar als ik nu al weet dat ik er 36G RAM voor nodig heb, koop ik wel die 12T disks om die later te upgraden naar 20T's of groter.
Ná Scaoll. - Don’t Panic.
Dat op het moment dat het echt zin het ook veel geheugen vraagt. Als het minder zin heeft ook minder geheugen. Een beetje een catch 22
Dedup in thuis situaties is gewoon niet interessant en je ziet het ook vrijwel nooit. Juist omdat de data er niet geschikt genoeg voor is.
Dedup in thuis situaties is gewoon niet interessant en je ziet het ook vrijwel nooit. Juist omdat de data er niet geschikt genoeg voor is.
Sinds de 2 dagen regel reageer ik hier niet meer
Zoals gezegd, je kunt uitrekenen hoe goed je huidige data te dedupliceren valt Aan de hand daarvan kun je zien wat er voor JOUW situatie nodig is.
Het probleem met vuistregels is dat ze nergens rekening mee houden. Ik heb heel veel media (RAW foto's, video footage) op mijn pool staan, en zou dus amper winst halen met dedup. In dat geval komt ieder blok overeen 1:1 overeen met een hash en heb je 2x zo veel geheugen nodig als wanneer je bijvoorbeeld veel VM's hebt draaien en je op een dedup ratio van 1:2 uit komt. Als je er veel backups naar wegschrijft en op een dedup ratio van 1:10 uitkomt kost het nog minder RAM.
Overigens komt het geheugengebruik voor ARC (waar die 1G/1T over het algemeen op slaat) bovenop het geheugengebruik voor je dedup tabel. Die tabel valt onder metadata, en als ik https://constantin.glez.d...-to-dedupe-or-not-dedupe/ goed lees moet je dus minstens 4x zoveel RAM hebben als je aan dedup data hebt om alles in RAM te houden, omdat de metadata maximaal een kwart van de ARC cache in mag nemen.
Andere optie is voor L2ARC gaan met een Optane 900P. 1000x langzamer dan RAM (10 µs vs 10 ns) maar per GB wel een stuk goedkoper.
Deduplicatie is leuk om mee te knutselen, of voor sommige filesystems in te zetten (bijvoorbeeld de datastore met je VMs), maar bottom line denk ik dat het voor thuisgebruik geen of amper zin heeft
Aan de hand daarvan kun je zien wat er voor JOUW situatie nodig is.Het probleem met vuistregels is dat ze nergens rekening mee houden. Ik heb heel veel media (RAW foto's, video footage) op mijn pool staan, en zou dus amper winst halen met dedup. In dat geval komt ieder blok overeen 1:1 overeen met een hash en heb je 2x zo veel geheugen nodig als wanneer je bijvoorbeeld veel VM's hebt draaien en je op een dedup ratio van 1:2 uit komt. Als je er veel backups naar wegschrijft en op een dedup ratio van 1:10 uitkomt kost het nog minder RAM.
Ook hier is het flink afhankelijk van wat je doet. Is het je privé NAS, of zijn het de profiel-schijven van 10k medewerkers? Bij vuistregels moet je heel goed opletten op welke situatie die vuistregel betrekking heeft.
Overigens komt het geheugengebruik voor ARC (waar die 1G/1T over het algemeen op slaat) bovenop het geheugengebruik voor je dedup tabel. Die tabel valt onder metadata, en als ik https://constantin.glez.d...-to-dedupe-or-not-dedupe/ goed lees moet je dus minstens 4x zoveel RAM hebben als je aan dedup data hebt om alles in RAM te houden, omdat de metadata maximaal een kwart van de ARC cache in mag nemen.
Andere optie is voor L2ARC gaan met een Optane 900P. 1000x langzamer dan RAM (10 µs vs 10 ns) maar per GB wel een stuk goedkoper.
Deduplicatie is leuk om mee te knutselen, of voor sommige filesystems in te zetten (bijvoorbeeld de datastore met je VMs), maar bottom line denk ik dat het voor thuisgebruik geen of amper zin heeft
"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock
@ZaPPZion @Paul Ik denk idd dat ik het even laat voor wat het is.
Ook omdat ik er, in mijn speurtocht naar het besparen van geld, achter kom dat ik maar 2.5T data heb ipv de dik 5T die ik dacht te hebben.
Dus terug naar de tekentafel en ik ben nu aan het kijken naar 8T disks en een beetje geheugen, mogelijk een NVMe voor het OS in een enclosure (niet omdat NVMe daar winst oplevert, maar omdat m.2 USB enclosures heel klein zijn) en dan klaar.
Ik kan weer terug naar mijn 10T+ HDD voor backups in colocatie (24/7 gebruik) topic en daar verder puzzelen.
Thnx voor de input!
Ook omdat ik er, in mijn speurtocht naar het besparen van geld, achter kom dat ik maar 2.5T data heb ipv de dik 5T die ik dacht te hebben.
Dus terug naar de tekentafel en ik ben nu aan het kijken naar 8T disks en een beetje geheugen, mogelijk een NVMe voor het OS in een enclosure (niet omdat NVMe daar winst oplevert, maar omdat m.2 USB enclosures heel klein zijn) en dan klaar.
Ik kan weer terug naar mijn 10T+ HDD voor backups in colocatie (24/7 gebruik) topic en daar verder puzzelen.
Thnx voor de input!
[ Voor 4% gewijzigd door unezra op 03-01-2020 23:55 ]
Ná Scaoll. - Don’t Panic.
/u/38159/DirkJan.png?f=community)
Is, maar daar zit 'ie nu nog niet.
Op dit moment zijn de 8T's nog flink voordeliger per G dan de 10T's en groter.
Tegen de tijd dat ik werkelijk 10T of groter nodig heb, zal hopenlijk de sweet spot ergens op 14T liggen.
Ná Scaoll. - Don’t Panic.
Ik weet niet of en wanneer dergelijke aanbiedingen nog langs gaan komen, maar als je voor Externe WD HDD's gaat die je kan "shucken" dan kom je op zoiets uit :
- 8 TB voor € 134
- 10 TB voor € 169
- 12 TB voor € 205
En dat zijn dan vaak WD Red of WD Blue modellen
Dus kijk daar gewoon eens naar, want Interne HDD's zijn belachelijk duur, terwijl je in feite minder krijgt...
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
Blue wil je volgens mij niet hebben? In ieder geval heb ik paar jaar terug een 6TB Blue besteld en die deed continu de leeskop parkeren om daarna toch weer gebruikt te worden.:
[...]
Ik weet niet of en wanneer dergelijke aanbiedingen nog langs gaan komen, maar als je voor Externe WD HDD's gaat die je kan "shucken" dan kom je op zoiets uit :
- 8 TB voor € 134
- 10 TB voor € 169
- 12 TB voor € 205
En dat zijn dan vaak WD Red of WD Blue modellen
Dus kijk daar gewoon eens naar, want Interne HDD's zijn belachelijk duur, terwijl je in feite minder krijgt...
En in mijn eigen recentere zoektocht bleek dat die WD externe schijven geen echte REDs meer bevatten maar een afwijkend typenummer. Dus dat het intern een RED is hoeft ook niet zo te zijn.
Daarnaast moet je afhankelijk van het gebruik ook opletten dat je geen SMR schijf hebt: Harde schijf (extreem) traag en veroorzaakt lockups En ook WD zou recenter bij bepaalde modellen (alleen externe?) HDDs SMR zijn gaan toepassen.
:
[...]
Ik weet niet of en wanneer dergelijke aanbiedingen nog langs gaan komen, maar als je voor Externe WD HDD's gaat die je kan "shucken" dan kom je op zoiets uit :
- 8 TB voor € 134
- 10 TB voor € 169
- 12 TB voor € 205
En dat zijn dan vaak WD Red of WD Blue modellen
Dus kijk daar gewoon eens naar, want Interne HDD's zijn belachelijk duur, terwijl je in feite minder krijgt...
- WD Red 12T: €0,035 per G
- WD Red 8T: €0,030 per G
- Toshiba N300 12T: €0,032 per G
- Toshiba N300 8T: €0,027 per G
Ná Scaoll. - Don’t Panic.
Dat waren de Greens inderdaad en sinds die verdwenen zijn hebben de Blue modellen die markt overgenomen, maar of ze daar ook last van hebben : Geen idee!
Met de juiste tools is dat vast wel op een hele hoge waarde te zetten net als vroeger
Klopt, maar voor zover ik weet zijn het wel Red modellen verder met de juiste features!
Die zitten er gelukkig niet in voor zover ik heb begrepen
Wie koopt die troep dan ook voor een NAS
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||