Het grote ZFS topic

[Pantagruel]

prekz schreef op donderdag 16 juni 2016 @ 09:01:
Ik heb freenas draaien op een ESX bak met een IBM 1015 hba gepassthrought.
Nu moet ik alleen alles ombouwen in een andere kast.

Ik weet niet 100% zeker of het iets uitmaakt dat ik alle kabels van de disken los ga maken, natuurlijk zorg ik er wel voor dat elke disk de zelfde kabel heeft op de HBA.

Normaal gesproken met een normale computer maakt dit niets uit maar met Freenas/ESX/HBA combo weet ik dit niet zeker

Kan iemand dit verifieren?

Hoort eerder in een ESXi gerelateerd topic thuis ipv ZFS, maar voor deze keer.

Dat maakt geen biet uit, je zet exact dezelfde config over naar een andere behuizing. Het is niet zo dat ESXi iets af weet van een ander 'jasje' .

Lichte problemen kun je verwachten bij het vervangen van een moederbord (zelfs bij hetzelfde bord maar van een andere revisie), wat doorgaans verholpen is met de HBA weer aan de VM doorgeven.

[idef1x]

DXaroth schreef op dinsdag 14 juni 2016 @ 22:05:
[...]


Ik draai ZFS op een instance in VMware, via ZoL op een Ubuntu 14.04 (moet echt een keer updaten naar 16.04 maar ben er nogal huiverig voor.. van ZoL naar een Ubuntu-build van ZFS, brr)

Upgrade van 14.04 LTS naar 16.04 ging bij mij de mist in en heb maar een fresh install van 16.04 gedaan voor mijn NAS (alles draait bij mij verder toch in LXC). Heb wel gemerkt dat een eigen kernel compile de standaard ubuntu ZFS ondersteuning sloopt en je dan alsnog zfs-dkms moet installeren. Ik ben maar terug gegaan naar de standaard Ubuntu implementatie en voor updates van ZoL wacht ik updates van Ubuntu wel af.

[albatross]

Denk dat ik zelf toch maar even afzie van FreeNAS. Je hebt ca. 1G geheugen nodig per Terabyte, en dat moet eigenlijk ook nog eens ECC geheugen wezen, wat zou betekenen dat ik mijn oude P6X58D Premium + i7 980X niet meer kan gebruiken, en alles weer nieuw moet kopen. Jammer. ZFS zag er op zich goed uit.

[FireDrunk]

Dat is een fabeltje. Dat is een *enterprise* vuistregel. Ik heb tijden een ZFS server gehad met 'maar' 6GB geheugen.

Ik durf er mijn hand(en) voor in het vuur te steken dat je een prima werkende ZFS server kan maken met 2 of 4GB geheugen.

Performance zal niet uitmuntend zijn, maar prima bruikbaar.

Bovendien zou ik die i7 980x sowieso niet gebruiken, dat is een van de meest power hongere monsters die er is volgens mij (op de oude Pentium D na )

Je kan veel goedkoper een zuinig klein nieuw systeempje kopen, en je i7 tweedehands verkopen.

[ Voor 29% gewijzigd door FireDrunk op 16-06-2016 13:28 ]

[EnerQi]

albatross schreef op donderdag 16 juni 2016 @ 13:26:
Denk dat ik zelf toch maar even afzie van FreeNAS. Je hebt ca. 1G geheugen nodig per Terabyte, en dat moet eigenlijk ook nog eens ECC geheugen wezen, wat zou betekenen dat ik mijn oude P6X58D Premium + i7 980X niet meer kan gebruiken, en alles weer nieuw moet kopen. Jammer. ZFS zag er op zich goed uit.

1 GB per TB is business requirement . Ik gebruik 16 GB (2x8GB) voor 40TB en heb totaal geen performance issues. Zolang je dedublication niet aanzet, heeft ZFS niet zoveel RAM nodig. Het heeft wel meer nodig dan andere filesystemen .

[albatross]

FireDrunk schreef op donderdag 16 juni 2016 @ 13:27:
Dat is een fabeltje. Dat is een *enterprise* vuistregel. Ik heb tijden een ZFS server gehad met 'maar' 6GB geheugen.

Ik durf er mijn hand(en) voor in het vuur te steken dat je een prima werkende ZFS server kan maken met 2 of 4GB geheugen.

Performance zal niet uitmuntend zijn, maar prima bruikbaar.

Bovendien zou ik die i7 980x sowieso niet gebruiken, dat is een van de meest power hongere monsters die er is volgens mij (op de oude Pentium D na )

Je kan veel goedkoper een zuinig klein nieuw systeempje kopen, en je i7 tweedehands verkopen.

Okay, ik ben overtuigd. Ja, die i7 980X slurpt 140W TDP (max). Misschien moet ik maar eens naar een supermicro bordje toe, met ingebouwde LSI controller.

[FireDrunk]

Wat is het doel van het systeem, en hoeveel schijven wil je er aan hangen? Want een SuperMicro met ECC geheugen is super mooi, maar ook niet goedkoop.

[albatross]

FireDrunk schreef op donderdag 16 juni 2016 @ 13:41:
Wat is het doel van het systeem, en hoeveel schijven wil je er aan hangen? Want een SuperMicro met ECC geheugen is super mooi, maar ook niet goedkoop.

Ik wou er zo'n 6-8 2T schijven aan hangen. Eigenlijk wil ik alleen maar gewoon een super-veilige datastore voor mijn films/muziek. En dan het liefst met ZFS (waarschijnlijk dus FreeNAS). Kan ook wel weer een ouderwetse RAID controller kopen, maar ik wou juist een beetje mee gaan met de tijd.

Op het FreeNAS forum lopen ze vreselijk moeilijk te doen over niet-ECC geheugen. En tja, dan kom je toch al gauw uit bij SuperMicro.

[FireDrunk]

Er zijn twee vrij goedkope alternatieven: Een Gigabyte en een ASUS plank met beide ECC support.

6-8*2T is niet heel erg veel voor een standaard systeem. Zuinig is zelfs nog om 2-3 * 6/8TB te doen. Dan heb je minder stroom verbruik, tenzij je perse RAIDZ2 wil gebruiken.

[Centropy]

Tot zover draai het en ben ik aan het testen voordat hij in bedrijf gaat, nu is het volgens mij gelukt om 2 vdev's in mijn pool te gooien en (2x 8x2tb raidZ2) maar nu wil ik graag zien hoe mijn pool is opgebouwd, ik kan het nergens meer terug vinden. Ergens moet ik toch kunnen vinden dat die pool bestaat uit 2 vdevs in raidz2?

[dcm360]

Als het goed is wordt dat wel duidelijk met zpool status.

[CyBeR]

Inderdaad:

[root@juliet ~]# zpool status
  pool: zones
 state: ONLINE
  scan: scrub repaired 0 in 0h42m with 0 errors on Mon Jun 20 21:07:16 2016
config:

        NAME        STATE     READ WRITE CKSUM
        zones       ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            c1t0d0  ONLINE       0     0     0
            c1t1d0  ONLINE       0     0     0

errors: No known data errors

[Centropy]

Maar in dit overzicht zie ik dan 3 vdev's? hoe kan ik dan de opbouw daarvan nog zien wat voor soort Vdev het is, RaidZ2 1 3 ? kan ik vanuit daar ergens ook de status en opbouw per Vdev zien inc aantal disk ent?

[ Voor 26% gewijzigd door Centropy op 21-06-2016 14:18 ]

[CyBeR]

Staat er bij? Bij mij is 't 1 vdev met 2 disks in mirror.

[dcm360]

En bij mij staat daar (op een van mn pools) raidz2 in plaats van mirror.

[Centropy]

Het werkt prima! bedankt!!

[Kortfragje]

Ik heb de afgelopen 2 maanden in mijn zfs pool twee keer een kleine correctie gehad (zie onder). Nu denk ik dat dit verder niets is om me zorgen over te maken (SMART lijkt ook ok). Heeft iemand misschien een idee wat dit kan veroorzaken ? Ik gebruik 'proven' sata cables, ECC geheugen, en 'proven sata connectors' .

code:

>zpool status 
  pool: zfspool
 state: ONLINE
  scan: scrub repaired 24K in 15h9m with 0 errors on Sun May 22 10:28:45 2016
config:

    NAME                                          STATE     READ WRITE CKSUM
    zfspool                                       ONLINE       0     0     0
      raidz2-0                                    ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741APJZ  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A9VN  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A0SN  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A3U2  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741AURX  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741ATS5  ONLINE       0     0     0

errors: No known data errors


>zpool status -v
  pool: zfspool
 state: ONLINE
  scan: scrub repaired 16K in 15h29m with 0 errors on Wed Jun 22 14:03:39 2016
config:

    NAME                                          STATE     READ WRITE CKSUM
    zfspool                                       ONLINE       0     0     0
      raidz2-0                                    ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741APJZ  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A9VN  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A0SN  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A3U2  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741AURX  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741ATS5  ONLINE       0     0     0

errors: No known data errors

[GioStyle]

EnerQi schreef op donderdag 16 juni 2016 @ 13:31:
[...]


1 GB per TB is business requirement . Ik gebruik 16 GB (2x8GB) voor 40TB en heb totaal geen performance issues. Zolang je dedublication niet aanzet, heeft ZFS niet zoveel RAM nodig. Het heeft wel meer nodig dan andere filesystemen .

Ik gebruik hier 8GB ram voor 30TB aan opslag. Het hangt voornamelijk af wat voor data je hebt en hoe je die gebruikt. Bij mij staat er alleen films/series en back-ups op de nas. En de nas staat nog geen 10 uur per week aan. Meer geheugen heeft in mijn geval geen tot weinig toegevoegde waarde. Alhoewel als een 8GB reepje onder de 40 euro duikt, ga ik waarschijnlijk wel naar 4x8=32GB, gewoon omdat het kan.

[stefan14]

Momenteel heb ik 2x een FreeNAS server draaien (6x 4TB RAID-z2). 1ste is de hoofdserver, 2e de backupserver. Alle datasets en snapshots worden via SSH gerepliceerd van server 1 naar 2. Nou begint m'n pool tegen de 90% aan te lopen en nou heb ik weinig behoefte om voor beide servers een hoop nieuwe hdd's te moeten kopen. Ik ben dus benieuwd of jullie nog tips hebben om mijn backups wat efficiënter in te richten?

[narotic]

Ik vraag mij af welke mogelijkheden er zijn om een ZFS pool met meerdere systemen op een netwerk te delen. Uiteraard is samba/NFS eenvoudig, maar dan mis je voordelen als compressie, ARC, etc.

De enige manier andere manier die ik kan bedenken is om een ZFS pool te maken binnen een iSCSI gedeelde block storage en vervolgens alle clients deze te laten mounten (dus 1 target met meerdere initiators). Ik ben echter vrij zeker dat dit ZFS dit niet ondersteunt en het dus hard de fout in zal lopen.

Heeft iemand hier ervaring mee? Zie ik een andere methode over 't hoofd?

[Bigs]

Met Samba en NFS heb je gewoon compressie en cache hoor..

[IceTeaGX]

Wil je nu een share vanop een ZFS server doen, of omgekeerd, want het is mij niet echt duidelijk.

Als server heeft NFS/samba wel voordeel van alle zfs features. Je plaatst je bestanden rechtstreeks op het ZFS filesystem, en ZFS zal volledig de afhandeling daarvan doen.

Als je vanuit de server een volume via iSCSI vrijgeeft, heb je net een groter probleem, omdat dat voor ZFS een black box is. Je gebruik zfs wel als volume manager, maar niet meer als file management. ZFS bied een volume aan, maar is zelf niet op de hoogte wat er in dat volume staat.
Maar zelfs dan heb je nog ARC, compressie, etc beschikbaar. Die worden dan toegepast op heel het volume (virtual disk if you like) omdat dat het enige "bestand" is dat zfs ziet.

[narotic]

Bigs schreef op dinsdag 28 juni 2016 @ 20:26:
Met Samba en NFS heb je gewoon compressie en cache hoor..

Heb je een link met meer informatie? Voor de duidelijkheid, idealiter zou ik willen dat de data gecomprimeerd de lijn over gaat en vervolgens op de client pas gedecomprimeerd wordt.

Ter voorbeeld, ik heb hier een file van 900MB, welke met LZ4 slechts 30MB inneemt. Als de client decompressie af zou handelen, zou ik de file zelfs over wifi binnen 3 a 4 seconden binnen moeten hebben. Via een samba share begint ie echter gerust de hele 900MB te downloaden, omdat decompressie op de server afgehandeld wordt (iig, dit is wat ik hier zie met een default samba 4.2 en sharesmb=on).

IceTeaGX schreef op dinsdag 28 juni 2016 @ 20:29:
Wil je nu een share vanop een ZFS server doen, of omgekeerd, want het is mij niet echt duidelijk.

Als server heeft NFS/samba wel voordeel van alle zfs features. Je plaatst je bestanden rechtstreeks op het ZFS filesystem, en ZFS zal volledig de afhandeling daarvan doen.

Het gaat mij er juist om dat ook de clients voordeel hebben van de ZFS features.

Als je vanuit de server een volume via iSCSI vrijgeeft, heb je net een groter probleem, omdat dat voor ZFS een black box is. Je gebruik zfs wel als volume manager, maar niet meer als file management. ZFS bied een volume aan, maar is zelf niet op de hoogte wat er in dat volume staat.
Maar zelfs dan heb je nog ARC, compressie, etc beschikbaar. Die worden dan toegepast op heel het volume (virtual disk if you like) omdat dat het enige "bestand" is dat zfs ziet.

Ik zou dus "ZFS on ZFS" willen. Met andere woorden, ZFS block device op mijn workstation en binnen dit block device weer een ZFS filesystem welke door de clients gebruikt wordt. Op deze manier wordt alle data sowieso gecomprimeerd over de netwerk verbinding verstuurd (het is immers een blockdevice, FS laag wordt door de clients afgehandeld), maar volgens mij is gelijktijdige toegang door meer clients (concurrency) niet ondersteund in ZFS.

[IceTeaGX]

Je clients moeten dan wel ZFS ondersteunen, want een iSCSI target is afhankelijk van de filsystems ondersteund door de clients.
Dan zou het in principe mogelijk zijn, maar dat is wel een heel exotische constructie, die toch niet aan te raden valt.

SMB en NFS ondersteunen geen compression. Maar als de transfer het probleem is, is ZFS ook niet echt de oplossing. Je zal dan een compresserend transport protocol moeten gebruiken, en dat werkt misschien niet zo transparant.

Maar ZFS op zich is een filesystem, en de "voordelen" daarvan zullen dus altijd van tel zijn op alle gegevens die er mee opgeslagen worden. Jij wilt met een truucje dat voordeel ook uitrekken tot het transport van de gegevens.

[Verwijderd]

narotic schreef op dinsdag 28 juni 2016 @ 21:12:
[...]


Heb je een link met meer informatie? Voor de duidelijkheid, idealiter zou ik willen dat de data gecomprimeerd de lijn over gaat en vervolgens op de client pas gedecomprimeerd wordt.

Ter voorbeeld, ik heb hier een file van 900MB, welke met LZ4 slechts 30MB inneemt. Als de client decompressie af zou handelen, zou ik de file zelfs over wifi binnen 3 a 4 seconden binnen moeten hebben. Via een samba share begint ie echter gerust de hele 900MB te downloaden, omdat decompressie op de server afgehandeld wordt (iig, dit is wat ik hier zie met een default samba 4.2 en sharesmb=on).


[...]


Het gaat mij er juist om dat ook de clients voordeel hebben van de ZFS features.


[...]


Ik zou dus "ZFS on ZFS" willen. Met andere woorden, ZFS block device op mijn workstation en binnen dit block device weer een ZFS filesystem welke door de clients gebruikt wordt. Op deze manier wordt alle data sowieso gecomprimeerd over de netwerk verbinding verstuurd (het is immers een blockdevice, FS laag wordt door de clients afgehandeld), maar volgens mij is gelijktijdige toegang door meer clients (concurrency) niet ondersteund in ZFS.

moet die client perse op een eigen ws of mag die ook virtueel zijn?

[narotic]

De clients zijn "bare-metal" machines, puur voor rekenkracht. Virtualisatie is dus uitgesloten.

SMB en NFS ondersteunen geen compression. Maar als de transfer het probleem is, is ZFS ook niet echt de oplossing. Je zal dan een compresserend transport protocol moeten gebruiken, en dat werkt misschien niet zo transparant.

Plus dat ik dan decomprimeer en weer opnieuw comprimeer, wat natuurlijk zonde van de cpu cycles is.

[IceTeaGX]

narotic schreef op dinsdag 28 juni 2016 @ 21:41:
De clients zijn "bare-metal" machines, puur voor rekenkracht. Virtualisatie is dus uitgesloten.

Plus dat ik dan decomprimeer en weer opnieuw comprimeer, wat natuurlijk zonde van de cpu cycles is.

Goh ja, het hangt er van af wat je nodig hebt. Ben je CPU limited of Bandwith limited.
Maar als je rekenkracht al aanhaalt, zal het wel CPU limited zijn. Dan kan je best de compression offloaden naar de fileserver. Want als je ZFS op de clients doet (als het uberhaupt al mogelijk is), krijg je uiteraard ook die extra overhead ook.

Netwerk kan je nog altijd wat pimpen als het echt nodig is. Link aggregation, multipath iSCSI of 10Gbe kan daar een oplossing zijn.

[narotic]

IceTeaGX schreef op dinsdag 28 juni 2016 @ 21:49:
[...]

Goh ja, het hangt er van af wat je nodig hebt. Ben je CPU limited of Bandwith limited.
Maar als je rekenkracht al aanhaalt, zal het wel CPU limited zijn. Dan kan je best de compression offloaden naar de fileserver. Want als je ZFS op de clients doet (als het uberhaupt al mogelijk is), krijg je uiteraard ook die extra overhead ook.

Netwerk kan je nog altijd wat pimpen als het echt nodig is. Link aggregation, multipath iSCSI of 10Gbe kan daar een oplossing zijn.

Zowel CPU als bandwidth: clients lezen data, doen berekeningen, schrijven resultaten. Ik werk inderdaad met 10Gbe en ik vrees een i7-4770 't sowieso niet gaat trekken om 2x10Gbe streams on-the-fly te comprimeren. LZ4 is zo licht qua decomprimeren dat ik me om de client-side sowieso geen zorgen zou maken.

Ik kan echter alleen indicaties vinden dat ZFS niet met concurrency overweg kan (2 devices die tegelijkertijd de dataset bewerken), dus ik ben bang dat ik 't idee maar uit mijn hoofd moet zetten. Uiteraard zal 't allemaal best ok werken ook met samba, maar 't blijft toch zonde als je bedenkt dat je zelfs met 10Gbe steeds weer 1 seconde verkwist in 't voorbeeld wat ik hierboven aanhaalde.

[Bigs]

Er zijn diverse clustered filesystems, die kunnen wel kunnen wat je wil. Je levert dan echter wel in op prestaties vanwege gedistribueerde locking etc.

[ Voor 12% gewijzigd door Bigs op 28-06-2016 22:23 ]

[IceTeaGX]

Als ik aan iSCSI denk, zou ZFS niet concurrent kunnen werken (al ken ik de innerlijke werking ook niet). De ARC cache per cllient is niet op de hoogte van eventuele veranderingen op het onderliggend filesystem, tenzij je toch ook weer steeds een check gaat uitvoeren, en dus toch nog met een vertraging zit.

Als een 10GBe link al gesatureerd wordt door een 4770, mag je toch wel van bandwith limitation spreken.
Moest je nu dual 8+ core xeons per machine gebruiken zou dat iets anders zijn.
Ja zal het geheel van de infrastructuur eens moeten analyseren denk ik, want je zit hier wel met een aanzienlijk zware en specifieke use-case.

[narotic]

Bigs schreef op dinsdag 28 juni 2016 @ 22:23:
Er zijn diverse clustered filesystems, die kunnen wel kunnen wat je wil. Je levert dan echter wel in op prestaties vanwege gedistribueerde locking etc.

Voor zover ik zo snel kon vinden zou glusterfs 't inderdaad kunnen, maar ceph ondersteunt volgens mij dan weer geen on-wire compressie. Maakt ook niet veel uit, voor een handvol nodes vind ik 't de moeite ook niet waard om een clustered filesystem op te zetten thuis.

IceTeaGX schreef op dinsdag 28 juni 2016 @ 22:28:
Als ik aan iSCSI denk, zou ZFS niet concurrent kunnen werken (al ken ik de innerlijke werking ook niet). De ARC cache per cllient is niet op de hoogte van eventuele veranderingen op het onderliggend filesystem, tenzij je toch ook weer steeds een check gaat uitvoeren, en dus toch nog met een vertraging zit.

Ik dacht exact hetzelfde wat betreft de ARC. En onbetrouwbare resultaten kunnen veel meer tijd kosten dan wat ik met compressie kan besparen...

Als een 10GBe link al gesatureerd wordt door een 4770, mag je toch wel van bandwith limitation spreken.
Moest je nu dual 8+ core xeons per machine gebruiken zou dat iets anders zijn.
Ja zal het geheel van de infrastructuur eens moeten analyseren denk ik, want je zit hier wel met een aanzienlijk zware en specifieke use-case.

De rekennodes zijn wel beide een dual e5-2670. Iig, dit is 't nadeel als je richting de wat zwaardere toepassingen gaat zonder enterprise budget Vroeg of laat zal ik vast een paar SSD's over hebben die iig voor leescache gebruikt kunnen worden. En t.z.t. zal ook 40Gbe bereikbaar worden 2e hands, net zoals 10Gbe dat nu is.

Iig bedankt voor het meedenken.

[Bardman01]

FireDrunk schreef op dinsdag 17 mei 2016 @ 09:57:
FreeNAS overgenomen door een bedrijf? FreeNAS is al jaaaaren van ixSystems? FreeNAS is al jaren een betaald product, alleen heeft dat de naam TrueNAS... Daar is de afgelopen jaren weinig in veranderd.

ixSystems is juist toonaangevend als het gaat om de manier waarop ze Open Source ontwikkelingen stimuleren maar toch hun geld kunnen verdienen door goed support te verkopen.

Nexenta(Stor) en Napp-It zijn leuke ontwikkelingen, maar bedenk wel dat die ten grondslag liggen aan (Open)Solaris. Als je dacht dat FreeBSD exostisch was, berg je dan maar voor Solaris

NAS4Free is net zo open source als FreeNAS, het is een illusie dat het beter is.

Nogmaals: FreeNAS is gratis en Open Source, en wordt echt niet zomaar ongedaan gemaakt, die strategie is al heel lang ongewijzigd.

tl;dr; Gewoon voor FreeNAS gaan, dat is een prima, veilige, en stabiele keuze.

Mocht je de broncode zoeken: staat gewoon hier -> https://github.com/freenas/freenas

Toch leuk dat je dan meteen even vermeld dat de ontwikkelaars van freenas opgestapt zijn nadat ixSystems de naam FreeNas kochten en registreerden, en zodoende Nas4Free begonnen zijn en dar hun ontwikkelingen verder doen. FreeNas is dus geen fork ofzo maar een verder ontwikkeling FreeNas.

En het eerste wat ze gedaan hebben, al heel lang terug is het achterlijke memory gebruik eruit slopen zonder performance in te leveren. 4 Gig Mem voor Nas4Free is meer dan voldoende, ook uit eigen ervaring. 100Mb per sec is normaal, tegenover een veelvoud voor Freenas. Komt bij dat het in het geheugen draait vanaf een usb stick, en dus meteen een sata poort over. Upgraden: usb stickje vervangen voor nieuwe distro, config importeren en het draait weer. Ook in een AD omgeving van M$ 2012R2 inclusief alle rechten vanuit M$ incl. grouppolicy's. Kan in AD als een native disk draaien.

Klein tegenwicht tegen de nare mensen van ixSystems, die een heel mooie omgeving minder mooi hebben gemaakt.

L8tr Brt

[CurlyMo]

Ik kan voor weinig de SuperMicro X7SPA-HF D525 op de kop tikken. Is dat verstandig in geval van ZFS? 64bit, max 8GB RAM, Dual LAN, passief gekoeld, IPMI. Klinkt goed toch?

[Verwijderd]

D525 is nog geen SoC chip dus idle power zal tegenvallen. Ook zeker niet krachtig. Maar je kunt er wel iets mee. Toch, ik weer niet wat 'weinig' is, maar tegenwoordig kun je met een Braswell bordje ook een eind komen, met ook nog onboard power. Alleen IPMI is dan echt een feature waar je iets meer voor betaalt.

Alles hangt dus af van de prijs maar ik denk ook vooral de moeite/tijd die je wilt steken in zo'n ding. De laatste tijd betaal ik liever wat meer en besteed ik minder tijd aan dingen; die kun je vaak aan nuttigere dingen besteden.

[CurlyMo]

Verwijderd schreef op vrijdag 01 juli 2016 @ 00:51:
D525 is nog geen SoC chip dus idle power zal tegenvallen. Ook zeker niet krachtig. Maar je kunt er wel iets mee. Toch, ik weer niet wat 'weinig' is, maar tegenwoordig kun je met een Braswell bordje ook een eind komen, met ook nog onboard power. Alleen IPMI is dan echt een feature waar je iets meer voor betaalt.

Alles hangt dus af van de prijs maar ik denk ook vooral de moeite/tijd die je wilt steken in zo'n ding. De laatste tijd betaal ik liever wat meer en besteed ik minder tijd aan dingen; die kun je vaak aan nuttigere dingen besteden.

Het doel is een offsite ZFS backup. IPMI is dus super handig qua beheer. Deze MB kan ik voor 25 krijgen. (Veel) kracht heb ik niet nodig. Eerst volgende combo dat 6 sata heeft in mini-itx formaat is een factor 6 duurder.

[FireDrunk]

25 euro is een prachtige prijs, daar kan niets anders tegenop. Router ervoor met VPN (of ssh forwarden) en IPMI aanroepen via VPN om de bak remote aan te zetten.

Bij bijna al die bakjes kan je IPMI benaderen via SSH waardoor je een CLI krijgt waar je gewoon power.on kan doen.

Dan kan je het opstarten van de bak voor remote backup scripten via IPMI

[narotic]

CurlyMo schreef op vrijdag 01 juli 2016 @ 08:40:
[...]

Het doel is een offsite ZFS backup. IPMI is dus super handig qua beheer. Deze MB kan ik voor 25 krijgen. (Veel) kracht heb ik niet nodig. Eerst volgende combo dat 6 sata heeft in mini-itx formaat is een factor 6 duurder.

Hoe belangrijk is snelheid? Een D525 heeft geen AES-NI en zal hoogstwaarschijnlijk dus ook geen 1Gbit/s throughput halen over SSH. Ik schat dat je ergens tussen de 300-600Mbit/s blijft hangen met de lichtere ciphers. Gezien je het over offsite hebt zal dat misschien ook wel ruim voldoende zijn.

[ Voor 6% gewijzigd door narotic op 01-07-2016 12:51 ]

[CurlyMo]

narotic schreef op vrijdag 01 juli 2016 @ 12:50:
Hoe belangrijk is snelheid? Een D525 heeft geen AES-NI en zal hoogstwaarschijnlijk dus ook geen 1Gbit/s throughput halen over SSH. Ik schat dat je ergens tussen de 300-600Mbit/s blijft hangen met de lichtere ciphers. Gezien je het over offsite hebt zal dat misschien ook wel ruim voldoende zijn.

Mijn upload is max. 30 Mbit/s Ruim voldoende dus.

[FireDrunk]

https://nl.hardware.info/...terprise-zfs-es1640dc-nas

* FireDrunk krijgt twinkel oogjes

- ZFS
- Dual Controller
- NVDIMM (stroomuitval bescherming van je geheugen!)
- Dikke garantie, en remote support.


Klinkt echt als een mooi ding voor bedrijven die willen beginnen met ZFS!

[ Voor 42% gewijzigd door FireDrunk op 07-07-2016 10:30 ]

[Bigs]

QNAP verkoopt al langer een Enterprise ZFS NAS ja, heb die hier wel eens gepost. Zou leuk zijn als ze wat van hun code open sourcen met name het dual controller stuk.

[FireDrunk]

Mja, aan de andere kant moet er ook geld verdient worden.

[Q]

Ik denk dat geen enkel bedrijf ene reet geeft om ZFS. Tuurlijk geven bedrijven om data integriteit, maar de meeste andere SAN oplossingen hebben daarvoor vaak ook al voorzieningen ingebouwd en die zijn meestal wel goed genoeg.

Dit soort dingen zit op een prijspunt dat ik me ga afvragen hoe zoiets tegen een next-gen entry-level SANzoals MSA 2040 concurreert, die nu ook wide-striping support (geen fixed raid arrays) met een zeer recente firmware update. En dat laatste is typisch een upscale feature van mid level en hogere sans die nu op dit soort entry-level spul beschikbaar is.

Edit:
http://www.simplynas.com/...dc-e5-96g-16-bay-nas.aspx

Als ik die prijzen zie dan zie dan weet ik het nog zo net niet.

[ Voor 15% gewijzigd door Q op 07-07-2016 17:05 ]

[Bigs]

En met zo'n SAN kun je tenminste 100% van je volume gebruiken zonder dat de performance keldert 😅

[FireDrunk]

Het is en blijft natuurlijk samenspraak met de 'verkoper' en 'it-beheerder' die de configuratie(s) aanraden.

Er is geen bedrijf wat zonder advies/it-er/whatever een SAN koopt bij een distri. Wat je zegt klopt zeker, het boeit ze geen ene reet, maar dat geld ook voor de 'gewone' SAN.

Ze willen 'features' en 'business behoeftes' zien. En als je als IT-Beheerder kan zeggen. Deze SAN geeft garantie van de data integriteit (waardoor hij bijvoorbeeld bijzonder goed geschikt is als backup target bijvoorbeeld).

Dan zullen er misschien wel meer oren naar zijn.

[Q]

FireDrunk schreef op vrijdag 08 juli 2016 @ 09:35:
Het is en blijft natuurlijk samenspraak met de 'verkoper' en 'it-beheerder' die de configuratie(s) aanraden.

Er is geen bedrijf wat zonder advies/it-er/whatever een SAN koopt bij een distri. Wat je zegt klopt zeker, het boeit ze geen ene reet, maar dat geld ook voor de 'gewone' SAN.

Ze willen 'features' en 'business behoeftes' zien. En als je als IT-Beheerder kan zeggen. Deze SAN geeft garantie van de data integriteit (waardoor hij bijvoorbeeld bijzonder goed geschikt is als backup target bijvoorbeeld).

Dan zullen er misschien wel meer oren naar zijn.

Tja precies, maar dataintegriteit is geen unique selling point. Wel ten opzichte van consumenten NAS gear, maar niet tov enterprise storage.

[FireDrunk]

Dat weet ik nog zo net niet. Juist in de backup sferen denk ik dat er wel oren naar zou zijn. Maar het ligt zeker aan het bedrijf, en het vertrouwen in Enterprise grade equipment.

[Centropy]

Freenas Vraagje,...:
Tijdens het copieren van een TB of 6 kreeg ik een error in freenass dat me array was degraded, en toen ik onder disk wou kijken kon hij de page niet laden vanwege een error, heb toen de boel geboot en alles is weer okey, maar waar vind ik ergens de log files van wat er precies nou aan de hand was...? Wil wel graag weten wat er aan de hand was. Tnx in advance!

_{CRITICAL: July 10, 2016, 9:45 a.m. - The volume ZFS-POOL (ZFS) state is ONLINE: One or more devices has experienced an unrecoverable error. An attempt was made to correct the error. Applications are unaffected.}

[ Voor 22% gewijzigd door Centropy op 10-07-2016 10:28 ]

[Q]

Centropy schreef op zondag 10 juli 2016 @ 10:03:
Freenas Vraagje,...:
Tijdens het copieren van een TB of 6 kreeg ik een error in freenass dat me array was degraded, en toen ik onder disk wou kijken kon hij de page niet laden vanwege een error, heb toen de boel geboot en alles is weer okey, maar waar vind ik ergens de log files van wat er precies nou aan de hand was...? Wil wel graag weten wat er aan de hand was. Tnx in advance!

Ik zou even een memtest draaien voor 24 uur ofzo om te kijken of het geheugen ok is.

[Centropy]

Het is nieuw ECC memory, zat het nog niet wezen? PS: error is toegevoegd

[CyBeR]

Kan ook gewoon een disk geweest zijn die niet meer reageerde. Sommige controllers kunnen daar heel slecht tegen.

[Q]

Centropy schreef op zondag 10 juli 2016 @ 10:29:
Het is nieuw ECC memory, zat het nog niet wezen? PS: error is toegevoegd

Goed punt, maar dan weet ik het ook even niet.

[Pantagruel]

Q schreef op zondag 10 juli 2016 @ 12:52:
[...]
[...]
Goed punt, maar dan weet ik het ook even niet.

Desondanks toch testen zou ik zeggen, dan weet je tenminste dat het geheugen OK is.

[Centropy]

nou ik heb nu een mail gehad en daar staat heel duidelijk 1 disk tussen die errors geeft... nu even ontdekken met welk commando ik ontdek welke poort dat ding aanhangt zodat ik de juiste heb, als iemand daar een goed idee voor heb hoe ik daar achter kom?

---

Checking status of zfs pools:
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
ZFS-POOL 58T 32.0T 26.0T - 34% 55% 1.00x DEGRADED /mnt
freenas-boot 14.4G 890M 13.5G - - 6% 1.00x ONLINE -

pool: ZFS-POOL
state: DEGRADED
status: One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
using 'zpool clear' or replace the device with 'zpool replace'.
see: http://illumos.org/msg/ZFS-8000-9P
scan: none requested
config:

NAME STATE READ WRITE CKSUM
ZFS-POOL DEGRADED 0 0 0
raidz2-0 ONLINE 0 0 0
gptid/97d076f1-30b2-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/9803f01a-30b2-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/986cd1fe-30b2-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/994aadb1-30b2-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/99825155-30b2-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/99d3f66c-30b2-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/9a449a0e-30b2-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/9aed4d5b-30b2-11e6-8f49-d05099c0e823 ONLINE 0 0 0
raidz2-1 ONLINE 0 0 0
gptid/1256b1d9-30b3-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/12ae1a3d-30b3-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/131e130a-30b3-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/13f3ffd2-30b3-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/14306b62-30b3-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/148a5e41-30b3-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/155bf6b9-30b3-11e6-8f49-d05099c0e823 ONLINE 0 0 0
gptid/15977101-30b3-11e6-8f49-d05099c0e823 ONLINE 0 0 0
raidz2-2 DEGRADED 0 0 0
gptid/60341cbd-4151-11e6-90f8-d05099c0e823 ONLINE 0 0 0
gptid/6196c39d-4151-11e6-90f8-d05099c0e823 ONLINE 0 0 0
gptid/62f0856e-4151-11e6-90f8-d05099c0e823 ONLINE 0 0 0
gptid/64499be0-4151-11e6-90f8-d05099c0e823 DEGRADED 0 0 221 too many errors
gptid/65822692-4151-11e6-90f8-d05099c0e823 ONLINE 0 0 0
gptid/66d30da6-4151-11e6-90f8-d05099c0e823 ONLINE 0 0 0
gptid/6825ca24-4151-11e6-90f8-d05099c0e823 ONLINE 0 0 0
gptid/697983c6-4151-11e6-90f8-d05099c0e823 ONLINE 0 0 0

errors: No known data errors

-- End of daily output --

[syl765]

Ik weet niet of je disks een eigen activity led hebben.
Als dat het geval is de defecte disk offline brengen met

code:

zpool offline ZFS-POOL gptid/64499be0-4151-11e6-90f8-d05099c0e823

en een scrub uitvoeren.
Er zal dan 1 schijf zijn waarvan de activity led niets doet.

Anders zul je met behulp van gpart en camcontrol het serienummer van de schijf moeten achterhalen.
gpart list en dan kijken op welke poort ada(x) of da(x) de schijf zit .
Dan met camcontrol identify ada(x) het serie nummer opvragen.

Ik label mijn disks altijd fysiek en met gpart, de -l optie. De pool maak je ook aan de hand van de gpart labels zodat je direct kan zien welke schijf het is.

Je gebruikt FreeNAS, misschien kun je ook informatie over de disk vinden in de GUI, maar dat durf ik niet te zeggen.

succes

[nMad]

Ik krijg de volgende melding van FreeNAS over mijn zpool van 12TB:

The capacity for the volume 'tank' is currently at 81%, while the recommended value is below 80%.

Gebruik het enkel voor de opslag van media dus vrijwel alleen leesacties. Enige write acties zijn het downloaden van nieuwe films / series.

Tot welk percentage kan ik nog doorgaan zonder dat ik hier echt last van ga krijgen?

[ Voor 6% gewijzigd door nMad op 31-07-2016 17:43 ]

[enthernal]

dat hangt van een aantal zaken af, waaronder het aantal disks in je pool. zelf heb ik een 5 disk 12TB en daar merk ik met media geen verschil tot rond de 95%, dan pas gaat de schrijfsnelheid onder de 100MBps van mijn gigabit lan. lezen zal nog minder snel problemen, dus je kan nog een tijdje voort

[nMad]

enthernal schreef op zondag 31 juli 2016 @ 18:09:
dat hangt van een aantal zaken af, waaronder het aantal disks in je pool. zelf heb ik een 5 disk 12TB en daar merk ik met media geen verschil tot rond de 95%, dan pas gaat de schrijfsnelheid onder de 100MBps van mijn gigabit lan. lezen zal nog minder snel problemen, dus je kan nog een tijdje voort

Bedankt voor je reactie! Is een 6x 3TB pool raidz2. Zal wel niet heel anders zijn dan vergeleken met jouw situatie? Verschil tussen 80 en 95 procent is al een heel stuk dus dat is fijn om te horen!

[Kortfragje]

Helaas weer hetzelfde probleem (repairen van een paar blocks). Nu zag ik tijdens de scurb dat het disk %APJZ die repairing gaf tijdens de scrub. Lange smart test gedaan en niets gevonden (smart hieronder). Systeem draait met ECC, iemand enig idee wat het kan zijn?

zpool status:

code:

zpool status -v 
  pool: zfspool 
 state: ONLINE 
  scan: scrub repaired 20K in 15h33m with 0 errors on Wed Aug 3 13:18:13 2016 
config: 
       NAME                                        STATE  READ WRITE CKSUM 
       zfspool                                     ONLINE    0     0     0 
       raidz2-0                                    ONLINE    0     0     0 
          ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741APJZ ONLINE    0     0     0 
          ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A9VN ONLINE    0     0     0 
          ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A0SN ONLINE    0     0     0 
          ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A3U2 ONLINE    0     0     0 
          ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741AURX ONLINE    0     0     0 
          ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741ATS5 ONLINE    0     0     0 

errors: No known data errors

smart:

code:

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   196   196   021    Pre-fail  Always       -       9158
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       61
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   087   087   000    Old_age   Always       -       9964
 10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       61
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       15
193 Load_Cycle_Count        0x0032   194   194   000    Old_age   Always       -       18270
194 Temperature_Celsius     0x0022   119   112   000    Old_age   Always       -       33
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%      9955         -
# 2  Short offline       Completed without error       00%      9851         -
# 3  Short offline       Completed without error       00%      9068         -
# 4  Short offline       Completed without error       00%      8093         -
# 5  Short offline       Completed without error       00%      6848         -
# 6  Short offline       Completed without error       00%      5286         -
# 7  Short offline       Completed without error       00%      2597         -
# 8  Short offline       Completed without error       00%        88         -

Hulp wordt gewaardeerd!

Update, net nog een scrub gerunned en nu alles ok. Neem dus maar aan dat dit enkele schijf fouten zijn...

code:

zpool status -v
  pool: zfspool
 state: ONLINE
  scan: scrub repaired 0 in 16h48m with 0 errors on Fri Aug  5 01:51:35 2016
config:

    NAME                                          STATE     READ WRITE CKSUM
    zfspool                                       ONLINE       0     0     0
      raidz2-0                                    ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741APJZ  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A9VN  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A0SN  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741A3U2  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741AURX  ONLINE       0     0     0
        ata-WDC_WD50EZRX-00MVLB1_WD-WX11D741ATS5  ONLINE       0     0     0

errors: No known data errors

[ Voor 11% gewijzigd door Kortfragje op 06-08-2016 12:37 ]

[InflatableMouse]

Valt me ineens op dat ik geen doorvoer meer zie met 'zpool status -v 1'. Om een of andere reden blijven alle getallen '0':

code:

  pool: data
 state: ONLINE
  scan: scrub repaired 0 in 4h54m with 0 errors on Wed Jul 13 02:34:00 2016
config:

    NAME                                      STATE     READ WRITE CKSUM
    data                                      ONLINE       0     0     0
      raidz1-0                                ONLINE       0     0     0
        6ad08a3a-4a0f-0643-bf78-c7bfa1c462e3  ONLINE       0     0     0
        5e8c059c-c8b7-0f4b-b596-4e93316ad9e3  ONLINE       0     0     0
        2a08e322-d8d9-0048-b3ff-9ce61ecbb324  ONLINE       0     0     0
    logs
      789f8094-6d1f-45ef-90a5-4f56358929f6    ONLINE       0     0     0
    cache
      6636b070-742b-4b25-b6ac-d8ad42264538    ONLINE       0     0     0

errors: No known data errors

  pool: data
 state: ONLINE
  scan: scrub repaired 0 in 4h54m with 0 errors on Wed Jul 13 02:34:00 2016
config:

    NAME                                      STATE     READ WRITE CKSUM
    data                                      ONLINE       0     0     0
      raidz1-0                                ONLINE       0     0     0
        6ad08a3a-4a0f-0643-bf78-c7bfa1c462e3  ONLINE       0     0     0
        5e8c059c-c8b7-0f4b-b596-4e93316ad9e3  ONLINE       0     0     0
        2a08e322-d8d9-0048-b3ff-9ce61ecbb324  ONLINE       0     0     0
    logs
      789f8094-6d1f-45ef-90a5-4f56358929f6    ONLINE       0     0     0
    cache
      6636b070-742b-4b25-b6ac-d8ad42264538    ONLINE       0     0     0

errors: No known data errors

  pool: data
 state: ONLINE
  scan: scrub repaired 0 in 4h54m with 0 errors on Wed Jul 13 02:34:00 2016
config:

    NAME                                      STATE     READ WRITE CKSUM
    data                                      ONLINE       0     0     0
      raidz1-0                                ONLINE       0     0     0
        6ad08a3a-4a0f-0643-bf78-c7bfa1c462e3  ONLINE       0     0     0
        5e8c059c-c8b7-0f4b-b596-4e93316ad9e3  ONLINE       0     0     0
        2a08e322-d8d9-0048-b3ff-9ce61ecbb324  ONLINE       0     0     0
    logs
      789f8094-6d1f-45ef-90a5-4f56358929f6    ONLINE       0     0     0
    cache
      6636b070-742b-4b25-b6ac-d8ad42264538    ONLINE       0     0     0

errors: No known data errors

  pool: data
 state: ONLINE
  scan: scrub repaired 0 in 4h54m with 0 errors on Wed Jul 13 02:34:00 2016
config:

    NAME                                      STATE     READ WRITE CKSUM
    data                                      ONLINE       0     0     0
      raidz1-0                                ONLINE       0     0     0
        6ad08a3a-4a0f-0643-bf78-c7bfa1c462e3  ONLINE       0     0     0
        5e8c059c-c8b7-0f4b-b596-4e93316ad9e3  ONLINE       0     0     0
        2a08e322-d8d9-0048-b3ff-9ce61ecbb324  ONLINE       0     0     0
    logs
      789f8094-6d1f-45ef-90a5-4f56358929f6    ONLINE       0     0     0
    cache
      6636b070-742b-4b25-b6ac-d8ad42264538    ONLINE       0     0     0

errors: No known data errors
^C

Dit terwijl ik in een andere terminal een grote move heb lopen. Waarom werken die counters niet meer, iemand een idee?

[CurlyMo]

Het commando is zpool iostat -v 1

[InflatableMouse]

CurlyMo schreef op woensdag 10 augustus 2016 @ 15:46:
Het commando is zpool iostat -v 1

...

[Geckx]

Na lang tijwfelen heb ik toch besloten om bij een nieuwe build over te stappen van zfsguru naar freenas.
Nu lees ik dat het niet echt aan te raden is om de de pool simpelweg te importeren in freenas.

Ik heb voldoende schijven om tijdelijk een andere server te maken met freenas op om de data te migreren.
Om nadien dan terug te migreren naar de nieuwe freenas server.

Hoe kan ik dit best aanpakken?

Met zfs send & receive of doodleuk alle copy-pasten over cifs/nfs?

Ter info: het gaat om een 5,5TB aan data. Voornamelijk multimedia

[CurlyMo]

Waarom is dat niet aan te raden?

[Geckx]

CurlyMo schreef op woensdag 10 augustus 2016 @ 21:16:
Waarom is dat niet aan te raden?

quote van iemand op forum van freenas:

You *can* just import the pool. It *should* work. Now here's where things get dicey. FreeNAS has expectations with how you create and store your pool on the disk. It expects to use GPT-IDs and use partition 2 with partition 1 being for swap. You also have the fact that different ZFS code does things differently, and they aren't always compatible despite the fact that they "should" work. So the general advice is if you are going to FreeNAS from something else you should recreate your pool in FreeNAS and move your data from the old server's pool to the new server via a network share or zfs replication.

There's plenty of people that have gone from NAS4Free and others like ZFSGuru that did an import and it worked great. Then one day their pool was corrupted and unmountable with no explanation as to what went wrong. So if you plan to do FreeNAS longterm and you want this stuff to "just work" in the future you're better off building a new system with a new pool and moving the data to the new pool vice reusing the pool.

Mijn kennis van ZFS is ontoereikend om te beoordelen of dit klopt of niet.

[ Voor 3% gewijzigd door Geckx op 10-08-2016 22:01 ]

[CurlyMo]

Met die uitleg zou ik niet eens FreeNAS willen gebruiken. zpool import moet gewoon cross-platform werken (features flags daargelaten).

[tweedebas]

Zelf gebruik ik al geen swap op mijn pool, dus kan bijvoorbeeld ook al zonder die partitie.

Als ik het zo lees denk ik dat als je via de gui een pool wilt importeren je afhankelijk bent hoe slim ze hun import script en alle herkenningen van functies / partities e.d. hebben verwerkt.

Als je goed weet wat je hebt aangemaakt zou je hem ook in de cli kunnen importeren en ben je niet afhankelijk van hun importscript.

[FireDrunk]

Die post is volgens mij een beetje overtrokken. Ik heb super vaak pools over een weer geimporteerd en geprutst. Werkt prima.

[Geckx]

Ok bedankt voor de antwoorden. Ik zal een backupserver opzetten met de resterende hardware waarnaar ik wekelijks ga repliceren. Dus ik ga de import wagen

[GeeMoney]

FireDrunk schreef op vrijdag 08 juli 2016 @ 11:15:
Dat weet ik nog zo net niet. Juist in de backup sferen denk ik dat er wel oren naar zou zijn. Maar het ligt zeker aan het bedrijf, en het vertrouwen in Enterprise grade equipment.

Een oude quote, maar wellicht om jou een beeld te geven:

Ik ben bij een aantal Enterprise Storage oplossingen en aanbestedingen betrokken geweest maar geen van allen draaien ze op ZFS.
Ook niet als back-up target. In Enterprise omgevingen is versioning,high availiabilty en logische error correctie van alledag waardoor ZFS weinig tot geen toegevoegde waarde geeft.
De storage systemen zelf hebben elk hun eigen oplossing vwb caching,write protection, auto expansion, pooling/tiering etc. etc. . Ik zie daar nog geen reden om ZFS toe te passen.

Voor thuis is het wellicht interessant maar ik heb het zelf bijvoorbeeld ook niet in gebruik omdat:
Ik heb meerdere versies en back-ups van mijn data zowel online als offline.
Ik nu een kant en klare NAS heb met beperkte hardware die de data prima en snel genoeg kan serveren.
Twee dagen down-time alleen maar lastig is maar verder eigenlijk geen consequenties heeft.
Beheer nu helemaal geen tijd en energie kost.

[InflatableMouse]

Ineens een probleem. Ik heb op m'n backup volume dedup en compressie aan gezet. Ik heb tijdelijk een nieuw volume aangemaakt, met rsync alles daarheen gekopieerd, verwijderd van de originele backup en terug gekopieerd met rsync. Na controle dat alles goed was, de tijdelijke backup volume verwijderd met zfs destroy. Kleine update van pacman (Arch linux) kwam binnen van oa syncthing, en ik reboot.

Nu blijft tie hangen op importing pools. Mijn root staat ook op zfs, maar fysiek andere schijf en volume dan m'n data pool waarop de backup staat.

Ik heb de pc nu opgestart met mn rescue stickie en ik probeer de data pool te importeren en ik krijg xeze meldingen:


Er staan er ondertussen 10. Ik hoor hevig geratel van de schijven dus hij lijkt wel bezig.

Wat moet ik hiermee? Gewoon nog even afwachten? Wat kan er gebeurd zijn?

Alvast dank!

Edit: oke hij is eruit gekomen. Fwew! Dat was effe zweten .

Ik heb hem een keer onderbroken, read-only import gedaan en daarna een export/import. Duurde paar minuten maar importeerde wel. Zdb -d data geeft wel een mismatch op space map refcount, expected 227 != actual 203.

Ik draai nu maar effe een scrub.

[ Voor 14% gewijzigd door InflatableMouse op 11-08-2016 15:38 ]

[FireDrunk]

Die ZFS destroy heeft waarschijnlijk async gedraait en was nog helemaal niet klaar toen jij rebootte

[InflatableMouse]

Hm is dat te checken, voor de volgende keer?

Scrub draait nu op data maar allejezus traag zeg. Zo traag is het nog nooit geweest. 20MB/2, 50 hours to go. Is al ruim een uur bezig. Normaliter is dat met een 3 tot 6 uur klaar.

Heb de scrub ook op zroot gedraaid, die was klaar voordat ik 'zpool status' kon intypen.

Kan dat zo traag worden door dedup/compression dat ik op m'n backup volume heb aangezet? Systeem is hardstikke snel, snelle 4TB Hitachi enterprise disks, 32GB DDR4. Wel bizar, als dat zo is.

[GeeMoney]

InflatableMouse schreef op donderdag 11 augustus 2016 @ 16:35:
Hm is dat te checken, voor de volgende keer?

Scrub draait nu op data maar allejezus traag zeg. Zo traag is het nog nooit geweest. 20MB/2, 50 hours to go. Is al ruim een uur bezig. Normaliter is dat met een 3 tot 6 uur klaar.

Heb de scrub ook op zroot gedraaid, die was klaar voordat ik 'zpool status' kon intypen.

Kan dat zo traag worden door dedup/compression dat ik op m'n backup volume heb aangezet? Systeem is hardstikke snel, snelle 4TB Hitachi enterprise disks, 32GB DDR4. Wel bizar, als dat zo is.

Dedup en compressie zullen door de CPU deels afgehandeld moeten worden?
En als dat vervolgens sequentieel gaat, single threaded en per volume dan ben je ff onderweg

[ Voor 6% gewijzigd door GeeMoney op 11-08-2016 16:49 ]

[InflatableMouse]

GeeMoney schreef op donderdag 11 augustus 2016 @ 16:48:
[...]


Dedup en compressie zullen door de CPU deels afgehandeld moeten worden?
En als dat vervolgens sequentieel gaat, single threaded en per volume dan ben je ff onderweg

Dat is niet single threaded. En op een laatste gen i5 @ 4.8Ghz ...

CPU load op de 4 cores is gemiddeld 3%. Piekjes naar 8%, als je dan over een piek kan spreken.

Ik had dedup en compressie ooit op een server aan staan, zelfde disks maar een i7 2600 en DDR3, daar merkte ik er niets van.

Maar, hij is iets gestegen. Zit nu op 106M/s, 6,5 uur te gaan. Dat begint er op te lijken. Mischien klaag ik gewoon te snel .

[ Voor 10% gewijzigd door InflatableMouse op 11-08-2016 17:34 ]

[FireDrunk]

- Hoe is je memory load?
- Heb je ZFS geknepen qua geheugen?
- Hoeveel data heb je daadwerkelijk in dedup mode gezet?
- Heb je vantevoeren een dedup table berekening gedaan?
- Past je hele dedup table in memory?

Zo nee, dan zit daar je probleem, als de dedup table niet in RAM past (dat is sneller dan je denkt) dan moet voor elke dedup vergelijking, je disks geraadpleegd worden. En dat is traag.

ps:
Bij zdb -b <pool> kreeg ik ook die vage space map refcount melding. En mijn pools zijn gewoon in orde.

[ Voor 16% gewijzigd door FireDrunk op 12-08-2016 08:42 ]

[InflatableMouse]

FireDrunk schreef op vrijdag 12 augustus 2016 @ 08:29:
- Hoe is je memory load?

Ik heb wel eens eerder gevraagd en getracht uit te zoeken hoeveel geheugen ZFS nou werkelijk gebruikt, en er geen antwoord op gevonden. Vooralsnog ga ik dan maar uit van de gebruikelijke stats, top, htop en free:

code:

# free -h
              total        used        free      shared  buff/cache   available
Mem:            30G         20G        6,3G        918M        4,5G        9,5G
Swap:          8,0G          0B        8,0G

FireDrunk schreef op vrijdag 12 augustus 2016 @ 08:29:
- Heb je ZFS geknepen qua geheugen?

Nee. 32GB (30GB effectief te gebruiken), hij mag alles pakken wat tie wil en zoals je ziet nog zat vrij.

FireDrunk schreef op vrijdag 12 augustus 2016 @ 08:29:
- Hoeveel data heb je daadwerkelijk in dedup mode gezet?

Hieronder de volumes waarop ik dedup heb aangezet en waarvan ik de data heb gekopieerd, verwijderd en terug gezet.

code:

NAME                 USED  AVAIL  REFER  MOUNTPOINT
data                2,23T  4,87T   139K  /data
data/backups         148G  4,87T   148G  /data/backups
data/software       76,7G  4,87T  76,7G  /data/software
data/vms             491G  4,87T   491G  /data/vms

FireDrunk schreef op vrijdag 12 augustus 2016 @ 08:29:
- Heb je vantevoeren een dedup table berekening gedaan?
- Past je hele dedup table in memory?

Niet van te voren berekend, maar het mag volgens mij geen probleem zijn:

code:

# zpool status -D data
  pool: data
 state: ONLINE
  scan: scrub repaired 0 in 4h38m with 0 errors on Thu Aug 11 20:11:44 2016
config:

    NAME                                      STATE     READ WRITE CKSUM
    data                                      ONLINE       0     0     0
      raidz1-0                                ONLINE       0     0     0
        6ad08a3a-4a0f-0643-bf78-c7bfa1c462e3  ONLINE       0     0     0
        5e8c059c-c8b7-0f4b-b596-4e93316ad9e3  ONLINE       0     0     0
        2a08e322-d8d9-0048-b3ff-9ce61ecbb324  ONLINE       0     0     0
    logs
      789f8094-6d1f-45ef-90a5-4f56358929f6    ONLINE       0     0     0
    cache
      nvme0n1p5                               ONLINE       0     0     0

errors: No known data errors

 dedup: DDT entries 3352458, size 992 on disk, 240 in core

bucket              allocated                       referenced          
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    2,73M    348G    348G    348G    2,73M    348G    348G    348G
     2     465K   58,1G   58,1G   58,0G    1,03M    132G    132G    132G
     4    10,4K   1,30G   1,30G   1,30G    48,9K   6,12G   6,12G   6,11G
     8    2,76K    353M    353M    353M    30,6K   3,82G   3,82G   3,82G
    16    1,12K    144M    144M    144M    22,2K   2,78G   2,78G   2,77G
    32       27   3,38M   3,38M   3,37M    1,10K    141M    141M    140M
    64       52   6,50M   6,50M   6,49M    4,91K    628M    628M    628M
   128        2    256K    256K    256K      355   44,4M   44,4M   44,3M
   256        1    128K    128K    128K      287   35,9M   35,9M   35,8M
    4K        1    128K    128K    128K    4,52K    578M    578M    578M
   32K        1    128K    128K    128K    33,4K   4,17G   4,17G   4,17G
 Total    3,20M    408G    408G    408G    3,90M    499G    498G    498G

3352458 * 240 / 1024 / 1024 = 767.32 MB.

FireDrunk schreef op vrijdag 12 augustus 2016 @ 08:29:
Zo nee, dan zit daar je probleem, als de dedup table niet in RAM past (dat is sneller dan je denkt) dan moet voor elke dedup vergelijking, je disks geraadpleegd worden. En dat is traag.

Lijkt me dus geen probleem. Uiteindelijk wat tie met de scrub in 4h38m klaar, eigenlijk hetzelfde als altijd. Het leek alleen veel trager te beginnen en veel langer te duren voordat tie sneller ging. Blijkbaar leek het maar zo, want hij heeft er in het verleden langer over gedaan (maar toen stond er mischien ook meer data op, heb wat oude snapshots verwijderd bijvoorbeeld).

FireDrunk schreef op vrijdag 12 augustus 2016 @ 08:29:
ps:
Bij zdb -b <pool> kreeg ik ook die vage space map refcount melding. En mijn pools zijn gewoon in orde.

Wel vreemd, vind je zelf ook niet? Mijn scrub is zoals altijd met 0 repaired geeindigd.

Edit: zdb -b output:

code:

# zdb -b data

Traversing all blocks to verify nothing leaked ...

loading space map for vdev 1 of 2, metaslab 61 of 62 .....
3.35T completed (5956MB/s) estimated time remaining: 4294594691hr 4294967238min 4294967295sec        
    No leaks (block sum matches space maps exactly)

    bp count:        20347620
    ganged count:           0
    bp logical:    2478278233600      avg: 121796
    bp physical:   2444605004800      avg: 120142     compression:   1.01
    bp allocated:  3685409427456      avg: 181122     compression:   0.67
    bp deduped:    145349033984    ref>1: 490678   deduplication:   1.04
    SPA allocated: 3540059578368     used: 29.61%

    additional, non-pointer bps of type 0:     140903
    Dittoed blocks on same vdev: 575546

space map refcount mismatch: expected 231 != actual 203

[ Voor 8% gewijzigd door InflatableMouse op 13-08-2016 12:05 . Reden: zdb -b output toegevoegd ]

[Packetloss]

Met dank aan het grote DIY RAID NAS top deel 3 (o.a. Packetloss in "Het grote DIY RAID NAS topic deel 3") heb ik nu een maand een FreeNAS 9.10.1 installatie draaien, naar tevredenheid. Omdat ik graag Graylog draai, heb ik deze met behulp van https://ariealview.com/graylog-on-freebsd-10-3-jail/ geinstalleerd in een jail; werkt perfect. Alleen zou ik graag graylog 2(.x) willen draaien, in plaats van de huidige Graylog 1.3.3. De huidige port is dus helaas verouderd.

Iemand die me kan adviseren hoe dit aan te pakken in FreeNAS, upgraden naar versie 2.x?

[FireDrunk]

In een Jail kan je toch gewoon installeren wat je zelf wil? Of bedoel je de graylog client in FreeNAS?

[RobertMe]

Gezien ik geen antwoord heb ontvangen in mijn dedicated thread wil ik het hier proberen.

Hoe geschikt zijn ZFS snapshots voor het maken van backups van belangrijke documenten/bestanden? Dit m.b.t. de mogelijkheden en eenvoud om bijvoorbeeld een enkel bestand terug te halen uit een oud snapshot. Op basis van wat ik heb gevonden, en beschreven in die thread, lijkt het in ieder geval mogelijk te zijn om losse bestanden terug te halen uit een eerder gemaakt snapshot (dus via de verborgen .zfs/snapshot map). Echter vraag ik mij af of ZFS snapshots hier ook voor bedoeld zijn. Of dat het primair bedoelt is voor bv de situatie waar ZFS als root partitie wordt in gezet en er een volledig snapshot terug gezet zal worden als er bij een OS update iets stuk is gegaan. Met dus als primaire doel om altijd met volledige snapshots te werken, en het eigenlijk niet bedoeld is om losse bestanden middels die map terug te halen.

[FireDrunk]

Die .zfs directory is juist bedoelt om losse bestanden terug te zetten.
Als je een hele disk terug moet zetten wil je niet per bestandje gaan kloten, dan doe je dat gewoon via zfs rollback. (http://docs.oracle.com/cd...5461/6n7ht6r4m/index.html)

Of het geschikt is als volledige backup hangt af van je eigen kunde. Kan je er goed mee omgaan, dan is het een van de krachtigste backup-/filesystems die er is. Wil je je er niet in verdiepen, kan het werken als een tweesnijdend zwaard.

[RobertMe]

Ok. Dus in principe is het ook perfect inzetbaar om losse bestanden mee te backuppen en terug te halen. I.p.v. de state van het volledige filesystem waarbij het is aanbevolen om altijd terug te gaan naar die volledige states. Gezien er dus wel een volledig zfs rollback commando is had ik misschien ook eerder iets verwacht om een enkel bestand te kunnen lezen/terugzetten uit een ouder snapshot en de .zfs/snapshot map voelt dan nogal onnatuurlijk aan binnen het hele verhaal van "maakt een snapshot van het filesystem en je kunt het hele filesystem dan ook rollbacken".

Verder vraag ik mij alleen nog af of het mogelijk is om oude snapshots te verwijderen, of dat die wellicht op zo'n manier verweven zijn in de historie van het filesystem dat dat niet mogelijk is en je alleen het meest recente snapshot kunt verwijderen. Echter kan ik hierover niks terug vinden, dus lijkt het mij perfect mogelijk om bv t.z.t. snapshots van 1 of 2 jaar oud te verwijderen en de andere "dagelijkse" snapshots te bewaren.

Voor de rest zat ik er dan aan te denken om de PCs dus automatisch de bestanden te laten kopiëren naar de NAS (of rsync tijdens boot of dan een echte sync oplossing zoals BitTorrent Sync). En vervolgens via een cronjob dagelijks of wekelijks een nieuw snapshot aan te maken. Gezien ik zeker in het begin niet teveel bestanden en mutaties verwacht lijkt mij dat een low-maintenance oplossing, zolang er niet teveel snapshots zijn waardoor de HDD vol raakt. Op een later moment zou ik het dan altijd nog kunnen uitbreiden om weer automatisch de oude snapshots te verwijderen, of een oplossing op de snapshots te repliceren naar een andere schijf voor off-site backups.

[Pantagruel]

FireDrunk schreef op maandag 05 september 2016 @ 15:42:
Die .zfs directory is juist bedoelt om losse bestanden terug te zetten.
Als je een hele disk terug moet zetten wil je niet per bestandje gaan kloten, dan doe je dat gewoon via zfs rollback. (http://docs.oracle.com/cd...5461/6n7ht6r4m/index.html)

Of het geschikt is als volledige backup hangt af van je eigen kunde. Kan je er goed mee omgaan, dan is het een van de krachtigste backup-/filesystems die er is. Wil je je er niet in verdiepen, kan het werken als een tweesnijdend zwaard.

Een ZFS file server werkt perfect in een windows omgeving en je kunt de gemaakte snapshots mbv 'previous version' gewoon terughalen dus geen aparte client software nodig om bij de file-level back-up te komen. Op gezette tijden je array op een 2e server of externe disk repliceren en je zit redelijk veilig.
En idd zoals wel vaker, als je wilt dat t werkt dan moet je wat leeswerk (oracle doc's/Google searches/zfs blog's/etc) verzetten.

[MikeVM]

moet je bij de WD-RED nog steeds eerst de sleep aanpassen met WDIDLE3.exe ?

[ Voor 4% gewijzigd door MikeVM op 06-09-2016 13:54 ]

[Compizfox]

Heeft iemand toevallig ervaring met het virtualiseren van een ZFS-bak onder Proxmox, of meer algemeen, KVM?

Ik las hier dat KVM het fysiek doorgeven van een disk ondersteunt.

Het lijkt me dus dat dat moet kunnen, als deze "physical disk passthrough" vergelijkbaar is met hoe dat onder Hyper-V en ESXi (physical RDM) werkt.

Dus eh, mis ik iets? Heb je met deze functie gewoon SMART e.d.?

[Verwijderd]

Dat is dus de vraag. Het punt is dat de VM-laag zelf een controller gaat emuleren en daar virtuele disks aan plakt die dezelfde eigenschappen (naam, grootte) krijgen als de fysieke disks. Alle I/O wordt dan door de VM-laag vertaald van de geëmuleerde controller naar de fysieke disk.

Beter is als je met vt-d de hele controller doorgeeft aan de guest die ZFS draait, zodat die de eigen drivers kan gebruiken om direct met de disk te communiceren. Dat betekent dat je minder stappen hebt naar de fysieke disk toe en minder 'bemoeienis' van buitenaf, wat problemen kan veroorzaken in zeer specifieke gevallen. Daar zijn veel voorbeelden van bekend.

Dat gezegd, het kan prima werken. Ik zou het zelf niet zo snel overwegen.

[Compizfox]

Verwijderd schreef op dinsdag 06 september 2016 @ 20:40:
Dat is dus de vraag. Het punt is dat de VM-laag zelf een controller gaat emuleren en daar virtuele disks aan plakt die dezelfde eigenschappen (naam, grootte) krijgen als de fysieke disks. Alle I/O wordt dan door de VM-laag vertaald van de geëmuleerde controller naar de fysieke disk.

Zoals je al zegt, dat is maar net de vraag.

Bij ESXi heb je bijvoorbeeld "virtual RDM" en "physical RDM". In het eerste geval wordt een HDD niet 'raw' doorgegeven, maar als block device. Je hebt dan binnen je VM geen SMART e.d., en de schijf wordt niet gezien als schijf, maar als een generiek block device. Dat moet je niet hebben met ZFS.

Maar met "physical RDM" is dat niet het geval en wordt de schijf echt als schijf doorgegeven. In dit geval is de schijf "niet van echt te onderscheiden" (je kunt dan via de VM bij SMART, camcontrol herkent het merk/type/serienummer van de schijf, enz). Dit is geen probleem voor ZFS.

En dat is precies de vraag waarin ik geïnteresseerd ben. Uit de Proxmox wiki maak ik op dat het om dat tweede geval gaat, maar ik zoek nog bevestiging (vandaar dat ik het hier vraag).

Beter is als je met vt-d de hele controller doorgeeft aan de guest die ZFS draait, zodat die de eigen drivers kan gebruiken om direct met de disk te communiceren. Dat betekent dat je minder stappen hebt naar de fysieke disk toe en minder 'bemoeienis' van buitenaf, wat problemen kan veroorzaken in zeer specifieke gevallen. Daar zijn veel voorbeelden van bekend.

Dat gezegd, het kan prima werken. Ik zou het zelf niet zo snel overwegen.

Dit verhaal ken ik Het doorgeven van een complete controller is niet praktisch, alleen al om het feit dat je een 2e (dure) controller nodig hebt. Die heb ik niet, en die ben ik niet bereid aan te schaffen als het niet nodig is.

Momenteel draait deze fileserver niet gevirtualiseerd, en ik ben nu aan het bekijken of virtualisatie mogelijk is.

[ Voor 4% gewijzigd door Compizfox op 06-09-2016 20:54 ]

[Packetloss]

FireDrunk schreef op maandag 05 september 2016 @ 09:38:
In een Jail kan je toch gewoon installeren wat je zelf wil? Of bedoel je de graylog client in FreeNAS?

Mee eens, maar ik zoek naar een manier hoe. In de packages is er dus alleen 1.3.3:

code:

root@graylog:~ # pkg search graylog
graylog-1.3.3                  Tool for centralized log collection
graylog-web-interface-1.3.3    Web Interface for Graylog

en ook in de ports lijkt het op te houden bij 1.3.3:

code:

root@graylog:/usr/ports/sysutils/graylog # cat distinfo
SHA256 (graylog-1.3.3.tgz) = 1e98509376dc22ff1602838cebb49b4732618296acc58063ba34f4a97f667ba0
SIZE (graylog-1.3.3.tgz) = 70204863

Dus ik hoop dat iemand me kan hinten hoe ik naar 2.x kan gaan.

Modbreak:

Helaas, maar dit valt buiten de scope van dit topic. Je mag hier over FreeNAS praten, en diens addons. Maar nu wijk je af van de addon van FreeNAS en wil je handmatig softwareproduct X op systeem Y installeren en je vraagt om instructies. Dat heeft niets meer met ZFS te maken.

Je kunt het wel proberen in het NOS-forum, maar ik denk dat je eerst ook wat moet inlezen over hoe je graylog van source moet compileren onder BSD.

De makkelijkste manier is natuurlijk wachten tot de port/pkg wordt bijgewerkt naar 2.0.x. Dat kun je mogelijk zelf bespoedigen door de maintainer van de port ([e-mail]) via een email op virtuele biertjes te trakteren als hij de port snel update.

[ Voor 30% gewijzigd door Verwijderd op 06-09-2016 21:30 ]

[Verwijderd]

Hier lees ik een interessant document over het verschil tussen physical RDM en virtual RDM:

Difference between Physical compatibility RDMs and Virtual compatibility RDMs (2009226)

Virtual RDM is gewoon hoe Virtualbox het doet, waarbij je zowel een file als back-end kan gebruiken voor een virtuele disk, of een hele disk doorgeven, waarbij de fysieke disk behalve READ en WRITE commando's volledig wordt geïsoleerd van de guest OS.

Physical RDM is ook emulatie, maar hierbij worden wel diverse kenmerken van de disk blootgesteld. Maar volgens mij altijd als een SCSI-device, ook al is de fysieke device AHCI. Dus TRIM is bijvoorbeeld problematisch mogelijk. Maar de SCSI-commando's worden wel bijna allemaal doorgestuurd naar de fysieke disk. Toch is dit ook emulatie; er is iets wat commando's bij A) wegplukt en naar stuurt, ipv dat dit zonder interventie gebeurt, zoals bij vt-d.

Kortom, beide zou ik als emulatie beschouwen. Maar Physical RDM heb je meer het gevoel met de eigenlijke hardware te communiceren. Toch bestaat de kans dat de emulatielaag zelf problemen of beperkingen introduceert, al is het maar omdat het altijd een SCSI-apparaat zal zijn, en je Guest OS geen directe controle over de controller heeft.

[Compizfox]

Verwijderd schreef op dinsdag 06 september 2016 @ 21:24:
Hier lees ik een interessant document over het verschil tussen physical RDM en virtual RDM:

Difference between Physical compatibility RDMs and Virtual compatibility RDMs (2009226)

Virtual RDM is gewoon hoe Virtualbox het doet, waarbij je zowel een file als back-end kan gebruiken voor een virtuele disk, of een hele disk doorgeven, waarbij de fysieke disk behalve READ en WRITE commando's volledig wordt geïsoleerd van de guest OS.

Physical RDM is ook emulatie, maar hierbij worden wel diverse kenmerken van de disk blootgesteld. Maar volgens mij altijd als een SCSI-device, ook al is de fysieke device AHCI. Dus TRIM is bijvoorbeeld problematisch mogelijk. Maar de SCSI-commando's worden wel bijna allemaal doorgestuurd naar de fysieke disk. Toch is dit ook emulatie; er is iets wat commando's bij A) wegplukt en naar stuurt, ipv dat dit zonder interventie gebeurt, zoals bij vt-d.

Kortom, beide zou ik als emulatie beschouwen. Maar Physical RDM heb je meer het gevoel met de eigenlijke hardware te communiceren. Toch bestaat de kans dat de emulatielaag zelf problemen of beperkingen introduceert, al is het maar omdat het altijd een SCSI-apparaat zal zijn, en je Guest OS geen directe controle over de controller heeft.

Sure, er vindt een vertaalslag plaats van SATA naar SCSI. Maar de schijf wordt door het guest OS wel gezien als schijf, en dat is het belangrijkste. Ik heb dit zelf onder Hyper-V en ESXi geprobeerd met ZFS en dat werkt prima.

Maar goed, het was niet echt mijn bedoeling om een discussie te beginnen over disk passthrough vs controller passthrough

Ik heb deze thread gevonden waarin iemand deze setup gebruikt ("physical disk to kvm" zoals beschreven in de Proxmox wiki). De TS heeft problemen met het weergeven van SMART-data in de OMV webinterface, maar meldt dat het weergeven van SMART-data via smartctl direct over SSH wel werkt. Dat laatste zou dus betekenen dat het inderdaad over 'raw' disk passthrough gaat, waarbij de schijf niet als block device maar als schijf maar wordt doorgegeven.

[FREAKJAM]

Compizfox schreef op dinsdag 06 september 2016 @ 20:37:
Heeft iemand toevallig ervaring met het virtualiseren van een ZFS-bak onder Proxmox, of meer algemeen, KVM?

Ik las hier dat KVM het fysiek doorgeven van een disk ondersteunt.

Het lijkt me dus dat dat moet kunnen, als deze "physical disk passthrough" vergelijkbaar is met hoe dat onder Hyper-V en ESXi (physical RDM) werkt.

Dus eh, mis ik iets? Heb je met deze functie gewoon SMART e.d.?

A1AD draait Proxmox + ZFS, je kunt hem altijd een DM sturen I guess

[dcm360]

Ik draai ook ProxMox met ZFS in een KVM vm (stamt van voor de tijd dat ProxMox native aan ZFS deed). Naast dat het wellicht te overwegen valt om ZFS op de host te doen tegenwoordig, ondervind ik geen problemen met ZFS via KVM. Moet ik nog wel even aan toevoegen dat ik de wellicht wat ongebruikelijke keuze gemaakt heb om ZFS op OpenSuse te gaan gebruiken (dus niet BSD-gebaseerd zoals FreeNas).

[MikeVM]

mn server is al sinds 19h bezig met "currently being resilvered"

maar het schiet niet echt op.



server spec:
Raidz2 10 disks of 3TB
intel Core i5 2400u
16GB DDR3

[FireDrunk]

Dat klinkt alsof een disk heeft lopen bokken, en weer online gekomen is, en ZFS nu diezelfde disk terug in de array aan het zetten is.

Kijk even je kernel logs na op disk uitval.

[MikeVM]

oh, ik was vergeten te melden dat een disk vervangen heb, en daarna deze handmatig heb toegevoegd.

ondertussen staat ie op 26%

[ Voor 30% gewijzigd door MikeVM op 07-09-2016 13:28 ]

[Verwijderd]

In het begin is een sync altijd heel langzaam omdat metadata wordt gesynced. Pas na een tijd gaat de scrub op een redelijke snelheid. In het begin zie je dan ook: "scan is slow, no estimated time' ofzoiets staan.

[MikeVM]

is het normaal dat dit veel meer dan 24h in beslag neemt?

[FireDrunk]

Tja, als je nog 17TB (17.825.792MB), en het gaat met 90MB/s, dan is dat niet zo gek.

90MB/s is best wel traag voor een RAIDZ2 array van 10 schijven, na 51h, mag je ervan uitgaan dat de metadata wel gesynced is (meestal gaat de snelheid na 20min-2h wel echt hard omhoog.

Is je array altijd zo traag geweest?

Zo gaat het hier (een scrub is zeer vergelijkbaar, maar niet 100%):

Start:

scan: scrub in progress since Wed Sep  7 18:36:03 2016
    86.6M scanned out of 19.8T at [b]4.33M/s[/b], (scan is slow, no estimated time)
    0 repaired, 0.00% done

Na 20 minuten:

scan: scrub in progress since Wed Sep  7 18:36:03 2016
    286G scanned out of 19.8T at [b]225M/s[/b], 25h19m to go
    0 repaired, 1.41% done

6*4TB RAIDZ2 array btw.

[ Voor 42% gewijzigd door FireDrunk op 07-09-2016 19:00 ]

[MikeVM]

FireDrunk schreef op woensdag 07 september 2016 @ 18:35:
Is je array altijd zo traag geweest?

is de bottleneck niet de schrijfsnelheid van die ene HDD? (WD RED)

zou het helpen als ik even 32GB ram erin plaats in plaats van 16GB?
kan ik het silverproces pauzeren?

2de disk is blijkbaar ook aan het stukgaan


gelukkige heb ineens 2 disks besteld..

[ Voor 38% gewijzigd door MikeVM op 08-09-2016 00:38 ]

[CurlyMo]

MikeVM schreef op donderdag 08 september 2016 @ 00:30:
is de bottleneck niet de schrijfsnelheid van die ene HDD? (WD RED)

2de disk is blijkbaar ook aan het stukgaan

Waarschijnlijk is dit je bottleneck. Deze falende disk trekt vermoedelijk de snelheid omlaag.

zou het helpen als ik even 32GB ram erin plaats in plaats van 16GB?

Nee, zfs moet toch de parity herbereken voor elke block en daarbij heeft caching niet echt zin. En zoals FireDrunk al aangeeft, moet het na een korte tijd weer veel sneller gaan, bijna ongeacht het geheugen.

kan ik het silverproces pauzeren?

Alleen door de nieuwe disk via detach weer los te koppelen.

[ Voor 8% gewijzigd door CurlyMo op 08-09-2016 06:52 ]

[Keiichi]

FireDrunk schreef op woensdag 07 september 2016 @ 18:35:


Na 20 minuten:

scan: scrub in progress since Wed Sep  7 18:36:03 2016
    286G scanned out of 19.8T at [b]225M/s[/b], 25h19m to go
    0 repaired, 1.41% done

6*4TB RAIDZ2 array btw.

Ik heb waarschijnlijk ergens iets over het hoofd gezien, maar hoe kun je hier 19.8T aan data op hebben? Ik dacht dat hier maar 16T maximaal op kon