Het grote ZFS topic

[FireDrunk]

Grub ondersteund nog geen booten van een ZFS root volume voor zover ik weet. Alleen Syslinux ondersteund dat, maar dat is weer amper in gebruik door grote distro's.

In Gentoo zou je het werkend kunnen krijgen, maar ik heb het nog niet geprobeerd.

Je kan natuurlijk nog wel een losse /boot maken, maar dat vind ik altijd zo half werk

[analog_]

DRAFTER86 schreef op dinsdag 28 mei 2013 @ 17:37:
Ik ben wel benieuwd hoeveel mensen er hier ZFS on Linux draaien?
Aangezien het inmiddels productie-rijp is verklaard lijkt dat me een erg mooie optie voor mijn Ubuntu thuisserver, die o.a. Samba, Apache, torrents, Mysql, XBMC, MPD etc doet, maar ook al mijn fotos bevat.
Wat ik me vooral afvraag is of men het root-filesystem in een ZFS pool gooit?
Wat me persoonlijk erg handig lijkt is de snapshot functie, juist voor het besturingssysteem.
Maar ik ben toch ook een beetje huiverig voor de complexiteit, ik ben nu ook al wel even zoet als ik mijn GRUB weer eens gesloopt heb :-)
Wat zijn de ervaringen hier mee?

Ik gebruik het niet by choice maar eerder uit vereiste vanwege andere redenen. Het werkt meer kan ik er niet over zeggen, het is wel niet bijzonder performant in vergelijking met OpenIndiana (orde 70%). Booten van ZFS gaat toch puur om je sysimage tralala? Kan je niet / ZFS maken en /boot ext-whatever? Crap, laatste zin niet gelezen van FD.

Owja gebruik /dev/disks/by-id/.

[ Voor 19% gewijzigd door analog_ op 28-05-2013 20:12 ]

[DRAFTER86]

FireDrunk schreef op dinsdag 28 mei 2013 @ 18:31:
Grub ondersteund nog geen booten van een ZFS root volume voor zover ik weet. Alleen Syslinux ondersteund dat, maar dat is weer amper in gebruik door grote distro's.

In Gentoo zou je het werkend kunnen krijgen, maar ik heb het nog niet geprobeerd.

Je kan natuurlijk nog wel een losse /boot maken, maar dat vind ik altijd zo half werk

/boot op een native ondersteund filesystem is inderdaad nodig voor zover ik begrijp.
Maar als dat het enige is is dat te overzien wat mij betreft. Er komt sowieso wel een SSD voor ZIL/L2ARC, daar kan ook wel een paar MB voor /boot vanaf

analog_ schreef op dinsdag 28 mei 2013 @ 20:06:
[...]

Ik gebruik het niet by choice maar eerder uit vereiste vanwege andere redenen. Het werkt meer kan ik er niet over zeggen, het is wel niet bijzonder performant in vergelijking met OpenIndiana (orde 70%). Booten van ZFS gaat toch puur om je sysimage tralala? Kan je niet / ZFS maken en /boot ext-whatever? Crap, laatste zin niet gelezen van FD.

Owja gebruik /dev/disks/by-id/.

Performance is voor mij niet direct een issue, data integriteit en compatibiliteit wel.
Maar goed, /boot op een aparte partitie is inderdaad het plan.
Op de mailinglist van ZoL waren een tijdje terug nog wat issues met /tmp en compressie meen ik, maar volgens mij hebben ze dat gefixt.
Goed, ik moet het maar gewoon eens gaan proberen denk ik

[Xudonax]

Ik heb weer eens iets stoms gedaan

Ik heb mijn systeem gestart terwijl één van mijn schijven niet aangesloten was (hotswap bay zat er niet goed in) dus nu is mijn pool degraded, maar de schijf is er (weer) gewoon. Mijn mpt_sas driver geeft ook aan dat het hotpluggen van de schijf gelukt is, en het device is er ook weer in /dev/disk/by-id, dus dat is allemaal in orde. Maar, hoe krijg ik ZFS nu zover dat 'ie de schijf weer oppakt zonder dat ik moet herstarten?

Ik bedoel, ik kan wel herstarten en dan werkt het weer, maar wat is daar de lol van?

Ik heb al een ZFS replace geprobeerd, en een ZFS online, maar die geven aan dat het apparaat niet in de pool zit

code:

$ sudo zpool online tank ata-HGST_HTS541010A9E680_JB100013J422JB
cannot online ata-HGST_HTS541010A9E680_JB100013J422JB: no such device in pool
$ sudo zpool replace tank ata-HGST_HTS541010A9E680_JB100013J422JB
invalid vdev specification
use '-f' to override the following errors:
/dev/disk/by-id/ata-HGST_HTS541010A9E680_JB100013J422JB-part1 is part of active pool 'tank'

Dit terwijl dit apparaat toch écht in mijn pool hangt:

code:

$ sudo zpool status tank
  pool: tank
 state: DEGRADED
status: One or more devices could not be used because the label is missing or
    invalid.  Sufficient replicas exist for the pool to continue
    functioning in a degraded state.
action: Replace the device using 'zpool replace'.
   see: http://zfsonlinux.org/msg/ZFS-8000-4J
  scan: scrub in progress since Tue May 28 21:23:45 2013
    469G scanned out of 4.26T at 213M/s, 5h12m to go
    0 repaired, 10.75% done
config:

    NAME                                         STATE     READ WRITE CKSUM
    tank                                         DEGRADED     0     0     0
      raidz2-0                                   DEGRADED     0     0     0
        ata-HGST_HTS541010A9E680_JB100013J4J15B  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J4HGNB  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J2RP1A  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J3TXGB  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J3ST5B  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J422JB  UNAVAIL      0     0     0

errors: No known data errors

En ook gewoon bestaat:

code:

$ ls /dev/disk/by-id/ata-HGST_HTS541010A9E680_JB100013J422JB*
/dev/disk/by-id/ata-HGST_HTS541010A9E680_JB100013J422JB        
/dev/disk/by-id/ata-HGST_HTS541010A9E680_JB100013J422JB-part9
/dev/disk/by-id/ata-HGST_HTS541010A9E680_JB100013J422JB-part1

Hoe krijg ik deze disk terug in mijn pool zonder ~750GB te moeten resilveren en zonder te moeten herstarten? Of is dit een onmogelijke opgave?

[analog_]

@Xudonax, zpool export, zpool import.
Via FD hierop gekomen: http://docs.oracle.com/cd...819-5461/gbbvb/index.html

[ Voor 120% gewijzigd door analog_ op 28-05-2013 23:10 ]

[FireDrunk]

Volgens mij kan je ook zfs online [disk] doen.

[onox]

Als ik de man page goed begrijp, zou het met zpool online moeten lukken. Anders bugje aanmelden op https://github.com/zfsonlinux/zfs/issues ?

[HyperBart]

FireDrunk schreef op dinsdag 28 mei 2013 @ 23:05:
Volgens mij kan je ook zfs online [disk] doen.

disk online gooien is idd de oplossing.

Heb dat hier recent nog een paar keer gedaan met hetzelfde issue als jij (hotswap niet er in geduwd).

[Xudonax]

De disk online gooien geeft aan dat die disk niet in de pool zit... Ik zal eens proberen met /dev/sdX...

code:

$ sudo zpool online tank ata-HGST_HTS541010A9E680_JB100013J422JB
cannot online ata-HGST_HTS541010A9E680_JB100013J422JB: no such device in pool
$ sudo zpool online tank /dev/sdh
cannot online /dev/sdh: no such device in pool

Nope Misschien dan toch maar gewoon herstarten...

[FireDrunk]

Je moet het op label doen, is dat niet je device ID?

[Xudonax]

Ik heb de array opgebouwd aan de hand van device ID's, dus zijn dat dan niet gewoon de labels? Ik heb in ieder geval niet zelf labels aan de schijven gegeven...

code:

$ sudo zpool status tank
  pool: tank
 state: DEGRADED
status: One or more devices could not be used because the label is missing or
    invalid.  Sufficient replicas exist for the pool to continue
    functioning in a degraded state.
action: Replace the device using 'zpool replace'.
   see: http://zfsonlinux.org/msg/ZFS-8000-4J
  scan: scrub repaired 0 in 8h18m with 0 errors on Wed May 29 05:41:54 2013
config:

    NAME                                         STATE     READ WRITE CKSUM
    tank                                         DEGRADED     0     0     0
      raidz2-0                                   DEGRADED     0     0     0
        ata-HGST_HTS541010A9E680_JB100013J4J15B  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J4HGNB  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J2RP1A  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J3TXGB  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J3ST5B  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J422JB  UNAVAIL      0     0     0

errors: No known data errors

[FireDrunk]

hmm, je vdev heeft een naam..
Misschien deze:

zfs online tank raidz2-0/ata-HGST_HTS541010A9E680_JB100013J422JB

[Xudonax]

Helaas niet

code:

$ sudo zpool online tank raidz2-0/ata-HGST_HTS541010A9E680_JB100013J422JB
[sudo] password for patrick: 
cannot online raidz2-0/ata-HGST_HTS541010A9E680_JB100013J422JB: operation not supported on this type of pool

[FireDrunk]

Hij zegt ook echt dat hij een label mist... dat is vaag...

One or more devices could not be used because the label is missing or
    invalid.

[Xudonax]

Na een reboot blijft de schijf nog steeds op UNAVAIL staan Ik denk dat ik de disk vanavond eens even volledig ga wipen...

code:

$ sudo zpool status
  pool: fcpx
 state: DEGRADED
status: One or more devices could not be used because the label is missing or
    invalid.  Sufficient replicas exist for the pool to continue
    functioning in a degraded state.
action: Replace the device using 'zpool replace'.
   see: http://zfsonlinux.org/msg/ZFS-8000-4J
  scan: scrub repaired 0 in 1h8m with 0 errors on Mon May 20 16:39:21 2013
config:

    NAME                                    STATE     READ WRITE CKSUM
    fcpx                                    DEGRADED     0     0     0
      raidz1-0                              DEGRADED     0     0     0
        ata-SAMSUNG_HD501LJ_S0MUJ1MP850217  ONLINE       0     0     0
        ata-ST3500820AS_5QM2E5LN            UNAVAIL      0     0     0
        ata-ST3500820AS_5QM2GSKG            ONLINE       0     0     0

errors: No known data errors

  pool: tank
 state: DEGRADED
status: One or more devices could not be used because the label is missing or
    invalid.  Sufficient replicas exist for the pool to continue
    functioning in a degraded state.
action: Replace the device using 'zpool replace'.
   see: http://zfsonlinux.org/msg/ZFS-8000-4J
  scan: scrub repaired 0 in 8h18m with 0 errors on Wed May 29 05:41:54 2013
config:

    NAME                                         STATE     READ WRITE CKSUM
    tank                                         DEGRADED     0     0     0
      raidz2-0                                   DEGRADED     0     0     0
        ata-HGST_HTS541010A9E680_JB100013J4J15B  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J4HGNB  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J2RP1A  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J3TXGB  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J3ST5B  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J422JB  UNAVAIL      0     0     0

errors: No known data errors
patrick@server:~
$ sudo zpool replace tank ata-HGST_HTS541010A9E680_JB100013J422JB
invalid vdev specification
use '-f' to override the following errors:
/dev/disk/by-id/ata-HGST_HTS541010A9E680_JB100013J422JB-part1 is part of active pool 'tank'
patrick@server:~
$ sudo zpool online ata-HGST_HTS541010A9E680_JB100013J422JB
missing device name
usage:
    online <pool> <device> ...
patrick@server:~
$ sudo zpool online tank ata-HGST_HTS541010A9E680_JB100013J422JB
cannot online ata-HGST_HTS541010A9E680_JB100013J422JB: no such device in pool
patrick@server:~
$ sudo zpool replace -f tank ata-HGST_HTS541010A9E680_JB100013J422JB
invalid vdev specification
the following errors must be manually repaired:
/dev/disk/by-id/ata-HGST_HTS541010A9E680_JB100013J422JB-part1 is part of active pool 'tank'

Hmm, ik zie nu ook dat mijn andere pool, waar wél belangrijke dingen op staan, ook degraded is... Niet goed

[FireDrunk]

Replace is het sowieso niet, anders had je een heel lang getal gezien bij de missende disk. Hij ziet je disk dus wel, en weet dat hij de pool hoort, maar wil hem niet online brengen.

Het commando zou dus echt moeten zijn zfs online...

Toch een bugje onder Linux misschien... kan je zfs online doen met -F?

[DRAFTER86]

Xudonax schreef op woensdag 29 mei 2013 @ 14:49:
Na een reboot blijft de schijf nog steeds op UNAVAIL staan Ik denk dat ik de disk vanavond eens even volledig ga wipen...

Hmm, ik zie nu ook dat mijn andere pool, waar wél belangrijke dingen op staan, ook degraded is... Niet goed

Uit nieuwsgierigheid, wat voor OS gebruik je?
En waar komen die partities op de disk in kwestie vandaan (part1 en part9), maakt ZFS die aan?

[Xudonax]

@FireDrunk: Nope

code:

$ sudo zpool online -f tank ata-HGST_HTS541010A9E680_JB100013J422JB
[sudo] password for patrick: 
invalid option 'f'
usage:
    online <pool> <device> ...

@DRAFTER86: Fedora 18, met de laatste updates. Die partities die maakt ZFS zelf aan, ik heb dat iig niet gedaan

[FireDrunk]

oh wacht, je hebt partities... dan moet je wel ff goed kijken dat je niet het DISK id gebruikt, maar het PARTITIE ID

ZFS heeft geen weet van partities

zfs online tank [label-van-partitie]

ZFS maakt zeker geen partities aan, dat heeft dan een linux script gedaan...

[ Voor 16% gewijzigd door FireDrunk op 29-05-2013 14:57 ]

[DRAFTER86]

FireDrunk schreef op woensdag 29 mei 2013 @ 14:56:
oh wacht, je hebt partities... dan moet je wel ff goed kijken dat je niet het DISK id gebruikt, maar het PARTITIE ID

ZFS heeft geen weet van partities

zfs online tank [label-van-partitie]

ZFS maakt zeker geen partities aan, dat heeft dan een linux script gedaan...

Maar dan had zijn zpool status toch ook de labels inclusief partitie moeten laten zien?

[Xudonax]

Helaas, online doen op part1 (de partitie met het ZFS volume) werkt ook niet

code:

$ sudo zpool online tank ata-HGST_HTS541010A9E680_JB100013J422JB-part1
cannot online ata-HGST_HTS541010A9E680_JB100013J422JB-part1: no such device in pool

[DRAFTER86]

Xudonax schreef op woensdag 29 mei 2013 @ 15:00:
Helaas, online doen op part1 (de partitie met het ZFS volume) werkt ook niet

code:

$ sudo zpool online tank ata-HGST_HTS541010A9E680_JB100013J422JB-part1
cannot online ata-HGST_HTS541010A9E680_JB100013J422JB-part1: no such device in pool

Hebben je andere schijven ook partities? Zo te zien zijn het allemaal dezelfde schijven, correct?

[Xudonax]

In deze pool zitten 6 dezelfde schijven ja, en ze hebben allemaal partities. Hierbij valt echter wel op dat 5 schijven een partitie 1 en 2 hebben, en 1 schijf de partitie 1 en 9. Dit terwijl ze toch echt allemaal tegelijkertijd (door ZFSGuru meen ik) geïnitialiseerd zijn en aan de pool toegevoegd zijn. Het word steeds raarder...

Sterker nog, de schijf met partitie 1 en 9 is degene die nu problemen heeft. Ziet iemand een verband?

[ Voor 15% gewijzigd door Xudonax op 29-05-2013 15:13 ]

[FireDrunk]

WAIT WHAT? je hebt ZFSGuru? En ik maar denken dat je linux had...

Je kan in de webinterface zien welke labels de disks hebben bij het disks tabje..

[Xudonax]

Ik heb ZFSGuru gebruikt om de disks te initialiseren. Daarna ben ik gauw terug gegaan naar ZFS-On-Linux

[FireDrunk]

Uh, das eng... ZFSguru doet GPT by default... en maakt GEOM labels aan...

[Xudonax]

Hmm... Nu dan maar stuk voor stuk disks wissen en opnieuw toevoegen zodat het "kale" GPT schijven zijn? Op zich is dat niet heel erg, het is alleen wat meer werk

[onox]

Xudonax schreef op woensdag 29 mei 2013 @ 15:18:
Hmm... Nu dan maar stuk voor stuk disks wissen en opnieuw toevoegen zodat het "kale" GPT schijven zijn? Op zich is dat niet heel erg, het is alleen wat meer werk

Voor een niet-systeem pool hebben je schijven eigenlijk niet eens een partitie tabel nodig. Je kunt gewoon direct een device gebruiken via /dev/disk/by-id/<device naam>.

[MrBarBarian]

DRAFTER86 schreef op dinsdag 28 mei 2013 @ 17:37:
Ik ben wel benieuwd hoeveel mensen er hier ZFS on Linux draaien?
Aangezien het inmiddels productie-rijp is verklaard lijkt dat me een erg mooie optie voor mijn Ubuntu thuisserver, die o.a. Samba, Apache, torrents, Mysql, XBMC, MPD etc doet, maar ook al mijn fotos bevat.
Wat ik me vooral afvraag is of men het root-filesystem in een ZFS pool gooit?
Wat me persoonlijk erg handig lijkt is de snapshot functie, juist voor het besturingssysteem.
Maar ik ben toch ook een beetje huiverig voor de complexiteit, ik ben nu ook al wel even zoet als ik mijn GRUB weer eens gesloopt heb :-)
Wat zijn de ervaringen hier mee?

Ik gebruik het ook, vrijwillig en deels naar tevredenheid

Grootste issue is dat de ZVOL's niet altijd aanwezig zijn na een reboot. Als ik het me goed herinner is ZFS dan van mening dat de pool is gebruikt door een ander systeem. UUID van de host lijkt dus te zijn veranderd. Een defintieve oplossing heb ik (nog) niet gevonden, maar zfs import lost het uiteindelijk wel op.

Verder blijven zfs share (nfs/smb) instellingen niet altijd bewaard over een reboot. Dat is/was een bekend issue.

Ik doe niet heel spannende zaken met ZoL. Heb slechts één pool van 4 disken met wat quota's erop. Booten vanaf ZoL vind ik voorlopig nog vééééél te riscant.

[analog_]

MrBarBarian schreef op woensdag 29 mei 2013 @ 17:06:
[...]

Ik gebruik het ook, vrijwillig en deels naar tevredenheid

Grootste issue is dat de ZVOL's niet altijd aanwezig zijn na een reboot. Als ik het me goed herinner is ZFS dan van mening dat de pool is gebruikt door een ander systeem. UUID van de host lijkt dus te zijn veranderd. Een defintieve oplossing heb ik (nog) niet gevonden, maar zfs import lost het uiteindelijk wel op.

Verder blijven zfs share (nfs/smb) instellingen niet altijd bewaard over een reboot. Dat is/was een bekend issue.

Ik doe niet heel spannende zaken met ZoL. Heb slechts één pool van 4 disken met wat quota's erop. Booten vanaf ZoL vind ik voorlopig nog vééééél te riscant.

Ik heb toevallig ergens in de bug-tracker iets gelezen dat ze dat hele UUID systeem willen circumventen op linux om die reden. Ik weet dat met debian zol er ook stiekem partities voor je gemaakt worden, echter gebruik je de hardeschijf namen, niet de partitielabels.

[enthernal]

Ik gebruik ook al een tijdje ZFS-on-Linux naar grote tevredenheid, wel enkel voor, mijn root filesysteem is gewoon ext4 op een usb-stickje, dus daar kan ik je niets over zeggen, maar voor een data array is het inderdaad al volwassen genoeg.

[onox]

Ik gebruik ZoL op 2 verschillende root filesystems en dat gaat prima

[Xudonax]

En toen had ik het serieus gesloopt volgens mij... Halp?

Ik ben zo "slim" geweest om een zpool attach /dev/disk/by-id/ata-HGST... te doen, waardoor deze schijf als losse schijf aan de pool is toegevoegd... En je raad het al, nu is de hele pool unavailable T_T Is er een manier om de pool in ieder geval weer werkend genoeg te krijgen dat ik mijn data kan overpompen naar een nog aan te schaffen 4TB schijf, zodat ik daarna een nieuwe pool kan aanmaken?

Als dit niet kan is er nog geen man overboord, maar is het enkel jammer van mijn Time Machine backups en die paar documenten waarvan ik niet eens meer weet of ze belangrijk zijn/waren of niet

code:

$ sudo zpool status tank
  pool: tank
 state: UNAVAIL
status: One or more devices could not be used because the label is missing 
    or invalid.  There are insufficient replicas for the pool to continue
    functioning.
action: Destroy and re-create the pool from
    a backup source.
   see: http://zfsonlinux.org/msg/ZFS-8000-5E
  scan: none requested
config:

    NAME                                         STATE     READ WRITE CKSUM
    tank                                         UNAVAIL      0     0     0  insufficient replicas
      raidz2-0                                   DEGRADED     0     0     0
        ata-HGST_HTS541010A9E680_JB100013J4J15B  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J4HGNB  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J2RP1A  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J3TXGB  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J3ST5B  ONLINE       0     0     0
        ata-HGST_HTS541010A9E680_JB100013J422JB  UNAVAIL      0     0     0
      ata-HGST_HTS541010A9E680_JB100013J422JB    UNAVAIL      0     0     0  corrupted data

[HyperBart]

Basically moet je eigenlijk die laatste schijf ff terug detachen en aan raidz2-0 toevoegen... That's all lijkt mij.

Euh, wacht ff, je hebt RAIDZ2? Dan zou dit toch geen probleem mogen zijn?

Oh ik zie het al, je hebt onder tank die disk toegevoegd, haal die al gewoon eens weg en kijk of je pool terug degraded beschikbaar komt.

[Xudonax]

Die disk kan ik niet eruit halen zegt 'ie...

code:

patrick@server:~
$ sudo zpool remove tank ata-HGST_HTS541010A9E680_JB100013J422JB
cannot open 'tank': pool is unavailable
patrick@server:~
$ sudo zpool detach tank ata-HGST_HTS541010A9E680_JB100013J422JB
cannot open 'tank': pool is unavailable
patrick@server:~
$ sudo zpool offline tank ata-HGST_HTS541010A9E680_JB100013J422JB
cannot open 'tank': pool is unavailable

Maar eens even kijken met een "fatsoenlijke" ZFS distributie (aka, ZFSGuru even op een USB stick gooien)?

[HyperBart]

Bij voorkeur ja

[Xudonax]

Dan ga ik even een ZFSGuru USB stick maken Hopelijk dat de shit dan in 1x opgelost is...

[Kortfragje]

Hmm, dankzij een disk failure zit ik iets eerder op ZFS dan ik had verwacht...

Maar ik wilde even ideeen vragen mbt de schijfindeling en de kans op data verlies minimaliseren...

Op dit moment gaat het om +/- 5 TB aan data wat ik uiteindelijk over twee servers wil verdelen. De ZFS wordt productie en voorlopig een windos + NTFS backup (welke over een paar weken ook ZFS wordt).

Optie 1:

code:

Server:
5*2TB in raidz2-0 
--> 6TB usable

Backup
1*2TB + 4* 1TB losse disks
--> 6TB usable

Mochten er dan 2 disks uitvallen in mijn array, is het maximale dataverlies bij een derde disk 2 TB, maar is de kans op max 1 TB verlies groter

Optie 2:

code:

Server
3*2TB in raidz1-0
3*1TB in raidz1-1
--> 6TB usable

Backup
3*2TB losse disks
--> 6TB usable

Mochten er dan 2 disks uitvallen in een enkel array, is het dataverlies bij een derde disk altijd 2 TB.


De vraag is dan ook wat te doen, ik heb wel een voorkeur voor optie 1.

[FireDrunk]

@Xudonax, Hate to brake it to you, maar ik denk dat dit een verloren zaak is.

[Xudonax]

@FireDrunk Ach, al doende leert men Enige dat ik daadwerkelijk zal missen is mijn Windows Server 2012 setup, maar ook dat is te herinstalleren Ik ga nog een poging doen met ZFSGuru (word atm op mijn USB gegooid) en als dat niet werkt, dan is het een kwestie van helaas pindakaas. Schrijven we het op onder het kopje "Dat doen we ook maar één keer" ofzo

EDIT: ZFSGuru wil ook niet helemaal lekker meewerken op mijn USB stick (wss is de stick half dood onderhand), dus dan mag alle data weg en beginnen we gezellig van voor af aan

[ Voor 20% gewijzigd door Xudonax op 30-05-2013 21:40 ]

[iRReeL]

Wat Virtualbox betreft, het is vooral met de recente builds problematisch. Ik draai een oudere combinatie waar ik gewoon mee mag afsluiten (feature!! ) zonder dat de host onderuit gaat:
-ZFSguru 0.2.0-beta8
-System image 9.1-004
De virtualbox daarin werkt prima (ik kan even niet zo snel naar de Virtualbox versie kijken, de machine is daar te druk voor bezig, de web interface doet er jaren over..).

Het is een beetje lastig testen want ik wil niet dat de server de heletijd aan het rebooten is Het werkt verder goed behalve het afsluiten, dus doe ik 'm maar niet afsluiten (ik zet 'm op pauze als het moet).

En dan kijken we wel weer verder als er weer een update is . Bedankt voor de suggesties in ieder geval

[servies]

Kortfragje schreef op donderdag 30 mei 2013 @ 21:03:
Hmm, dankzij een disk failure zit ik iets eerder op ZFS dan ik had verwacht...

Maar ik wilde even ideeen vragen mbt de schijfindeling en de kans op data verlies minimaliseren...

Op dit moment gaat het om +/- 5 TB aan data wat ik uiteindelijk over twee servers wil verdelen. De ZFS wordt productie en voorlopig een windos + NTFS backup (welke over een paar weken ook ZFS wordt).

Optie 1:

code:

Server:
5*2TB in raidz2-0 
--> 6TB usable

Backup
1*2TB + 4* 1TB losse disks
--> 6TB usable

Mochten er dan 2 disks uitvallen in mijn array, is het maximale dataverlies bij een derde disk 2 TB, maar is de kans op max 1 TB verlies groter

Optie 2:

code:

Server
3*2TB in raidz1-0
3*1TB in raidz1-1
--> 6TB usable

Backup
3*2TB losse disks
--> 6TB usable

Mochten er dan 2 disks uitvallen in een enkel array, is het dataverlies bij een derde disk altijd 2 TB.


De vraag is dan ook wat te doen, ik heb wel een voorkeur voor optie 1.

Ik snap dat je zeker van je data wilt zijn, maar wanneer zijn er bij jou voor het laatst binnen een dag van 5 disks 2 disks kapot gegaan?
Hier nog wat info over raidz en aantallen disks:
http://pthree.org/2012/12/05/zfs-administration-part-ii-raidz/ Ergens bij "Some final thoughts on RAIDZ", daar wordt gesuggereerd dat een raidz2 van 5 disks niet echt optimaal is...

Over de tijd die het kost om te resilveren: ja, de disks worden steeds groter en het resilveren zou dus steeds langer duren (met daarmee de kans op een 2e (of 3e etc) kapotte disk vergrotend).
Maar de disks worden ook steeds sneller en daarmee duurt het resilveren weer minder lang...
Het is een afweging die je moet maken, maar ik heb soms het idee dat mensen wel erg bang worden gemaakt...

[Verwijderd]

Probleem is alleen dat de snelheidsvergroting van harde schijven een wortelfunctie is van de datavergroting bij het gelijk blijven van het aantal platters en touren. Dus bij elke verviervoudiging van de opslagcapaciteit, duurt het compleet uitlezen van een harde schijf twee keer zo lang.

[HyperBart]

Klopt wat hierboven gezegd wordt, aan de andere kant kan je vaak op tijd via SMART detecteren dat een disk gaat failen. Het leuke van ZFS is dat je dan een dd van de te falen disk kan maken naar de vervang disk.

Handig hierbij is dat je daardoor minder strain plaatst op je hele pool van disks omdat er mogelijk maar een kleine fractie data geresilvered moet worden. Op die manier krijg je je hele pool zeer snel terug healthy, wat statistisch de kans verkleint op dataverlies in de nabije toekomst omdat je resilver minder lang geduurd heeft EN er minder data gelezen is moeten worden van de hele pool (wat op zijn beurt de kans verkleint dat er een URE optreed terwijl je aan het resilveren bent (zeker leuk bij RAIDZ). Met de groottes van disks ben je eigenlijk bij het inlezen van een volledige 3 of 4TB disk ZEKER dat je een Unrecoverable Read Error gaat tegenkomen.

Om een idee te geven: ik breek regelmatig een mirror waar ik naar backup, ik heb in de tussentijd bv. 10GB bijgeschreven op de degraded mirror. Als ik mijn disk die offline bij mijn vader ligt terug inplug en online zet, dan geeft ZFS aan dat de resilver om en bij de 500GB moet scannen @ 80MB/s, maar na een tiental minuutjes zegt hij al van "hey het is in orde hoor, ik heb 10GB geresilvered".

Klaar .

Anyway, de volgende keer ga ik zowieso over op RAIDZ2. De spindles worden te groot...

[ Voor 14% gewijzigd door HyperBart op 31-05-2013 11:31 ]

[FireDrunk]

Ook al plaats je alle data over met DD naar de nieuwe schijf, je moet daarna sowieso een scrub draaien.

En een scrub is even intensief als een resilver...

[HyperBart]

Dat is dan ook wel weer waar.

[FDMK]

Ik wil SABNZBD op mijn zfs(nu nas4free maar wil weer naar ZFSguru toe)gaan draaien omdat ik van mening ben dat het performance-wise het slimste is om het gelijk op de storage te doen ipv via een VM over ethernet.

Nu is het zo dat wanneer ik iets aan het downloaden ben en tegelijkertijd, op diezelfde array, en een film aan het kijken ben dat er dan gebufferd moet worden.
Dit had ik in mijn VM oplossing opgelost door op een tweede ssd-vmdk de temp downloads/rar/par te laten verwerken en daarna te moven naar de array. Kan ik een dergelijke oplossing ook maken met ZFSguru?
Overigens ben ik van plan om een 120gb M500 in de ZFSguru bak te hangen.

[FireDrunk]

Je moet gewoon SabNZBd IONICEn, dat werkt veel beter...

[Kortfragje]

Dank voor de ideen en commentaren. Ben toch voor de raidz2 gegaan. Soms moet je het gewoon goed doen al is het maar voor je gemoedsrust (ook belangrijk), dan kan gerust misgaan

code:

gertdus@ubuntu-backup:/zfspool$ sudo zpool status
  pool: zfspool
 state: ONLINE
  scan: none requested
config:

    NAME        STATE     READ WRITE CKSUM
    zfspool     ONLINE       0     0     0
      raidz2-0  ONLINE       0     0     0
        2tb1    ONLINE       0     0     0
        2tb2    ONLINE       0     0     0
        2tb3    ONLINE       0     0     0
        2tb4    ONLINE       0     0     0
        2tb5    ONLINE       0     0     0

errors: No known data errors


gertdus@ubuntu-backup:/zfspool$ sudo zfs list 
NAME        USED  AVAIL  REFER  MOUNTPOINT
zfspool    1.20T  4.08T   312K  /zfspool
zfspool/w  1.20T  4.08T  1.20T  /zfspool/w
zfspool/x   241K  4.08T   241K  /zfspool/x
zfspool/y   241K  4.08T   241K  /zfspool/y
zfspool/z   241K  4.08T   241K  /zfspool/z

(pool namen zijn zo dat mijn vrouw ook snapt wat wat is )

[FireDrunk]

Waarom moet je vrouw iets zien van ZFS? Je kan toch gewoon een netwerkdrive mapping maken?

[Verwijderd]

Trouwens, reserveert ZFS op de één of andere manier plaats voor zichzelf? Ik heb momenteel een raiz-z2 array van 10*4TB, en in windows zie ik slechts 27,1TiB. Nu zou dat 29,0TiB moeten zijn. Nu vraag ik me af waar ZFS die 2TB verstopt heeft.

[Verwijderd]

In de metadata. Waar moeten anders de directorystructuur, de intent log, de checksums en instellingen bewaard worden? Bovendien wordt alle metadata minimaal twee keer opgeslagen (ditto copies).

[Verwijderd]

Ik snap wel dat het ergens zou moeten staan, maar ik had er geen idee van dat het zoveel was, en dat het direct vanaf het begin aanwezig zou zijn. (Het betrof namelijk een lege data-pool, en het leek me dat er dan niet zoveel checksums van bestanden zijn.)

[ Voor 26% gewijzigd door Verwijderd op 01-06-2013 10:18 ]

[Neptunus]

In de start post wordt het volgende beschreven:

---

Hoe groot moet ik de partities dan maken?
Stel je heb twee SSDs van 128GB, dus totaal 256GB. Op je SSD maak je dan partities aan zoals:
- partitie 1 voor systeem/boot pool: 28GiB
- partitie 2 voor L2ARC cache: 60GiB
- partitie 3 voor SLOG: 4GiB
- rest van de ruimte onbenut laten als overprovisioning (let op: de SSD mag niet gebruikt zijn anders gaat deze ruimte verloren! secure erase of TRIM erase gebruikte SSDs alvorens overprovisioning toe te passen).

---

Nu is mijn vraag: Kan je dit voor elkaar krijgen met ESXi dat je partitie 1 gebruikt voor VM's en partitie 2/3 door kan geven aan ZFSguru?

[FireDrunk]

Nee, niet echt... Je kan ESXi op een USB stick installeren, en dan handmatig de SSD in ESXi partitioneren.
Maar je kan niet een partitie doorgeven.

Je kan wel VMDK's maken op die SSD en die doorgeven aan ZFSGuru, maar dan heb je SLOG en L2ARC op VMFS liggen, en dat is niet aan te raden.

ZFS houdt van direct contact met een disk, je moet dus eigenlijk de SSD aan een controller hangen die je doorgeeft aan ZFSGuru.

[Neptunus]

FireDrunk schreef op zaterdag 01 juni 2013 @ 16:05:
Nee, niet echt... Je kan ESXi op een USB stick installeren, en dan handmatig de SSD in ESXi partitioneren.
Maar je kan niet een partitie doorgeven.

Je kan wel VMDK's maken op die SSD en die doorgeven aan ZFSGuru, maar dan heb je SLOG en L2ARC op VMFS liggen, en dat is niet aan te raden.

ZFS houdt van direct contact met een disk, je moet dus eigenlijk de SSD aan een controller hangen die je doorgeeft aan ZFSGuru.

Thanks voor snelle reactie. Zo'n antwoord had ik verwacht, snap nu alleen niet helemaal wat er in de opening van de topic bedoelt wordt met partitie 1. Kan je dat nader toelichten.

[FireDrunk]

Dat verhaal gaat eigenlijk alleen op als je FreeBSD gebruikt als main operating system.

ESXi gooit ngoal wat roet in het eten...

[Neptunus]

FireDrunk schreef op zaterdag 01 juni 2013 @ 16:31:
Dat verhaal gaat eigenlijk alleen op als je FreeBSD gebruikt als main operating system.

ESXi gooit ngoal wat roet in het eten...

Ha jammer, maar als ik dus alleen een BSD variant gebruik. Zou ik die partitie 1 dus kunnen gebruiken om de BSD van de booten en dan partitie 2/3 voor log/cache van een ZFS pool.

[Verwijderd]

De vraag zelf is dikgedrukt, de rest van het verhaal is situatieomschrijving.

Ik zit met een klein vraagstukje. Zelf ben ik bezig met het migreren van mijn VM's naar een ZFS storage doos, en als dat gelukt is heb ik 2x een samsung 830 256GB vrij, zelf was ik van plan om deze in te zetten als L2ARC, SLOG en ZIL in raid 0. Ik zit echter met een klein vraagstukje met betrekking tot de hoeveelheid geheugen opgeslokt gaat worden. Ik heb namelijk de volgende tabel gevonden op hardforum:

Example maximum L2ARC sizes with 1GiB RAM dedicated to L2ARC:
128KiB recordsize -> 1GiB RAM = 640GiB L2ARC (SSD)
64KiB recordsize -> 1GiB RAM = 320GiB L2ARC (SSD)
32KiB recordsize -> 1GiB RAM = 160GiB L2ARC (SSD)
16KiB recordsize -> 1GiB RAM = 80GiB L2ARC (SSD)
8KiB recordsize -> 1GiB RAM = 40GiB L2ARC (SSD)
4KiB recordsize -> 1GiB RAM = 20GiB L2ARC (SSD)

Example RAM requirements to fully utilize L2ARC of 100GiB:
128KiB recordsize -> 100GiB L2ARC = 160MiB RAM
64KiB recordsize -> 100GiB L2ARC = 320MiB RAM
32KiB recordsize -> 100GiB L2ARC = 640MiB RAM
16KiB recordsize -> 100GiB L2ARC = 1,25GiB RAM
8KiB recordsize -> 100GiB L2ARC = 2,5GiB RAM
4KiB recordsize -> 100GiB L2ARC = 5,0GiB RAM

Maar het probleem is dat ik niet helemaal snap hoe het precies met record size en block size zit. Want voor zover ik weet heeft zfsguru standaard een recordsize van 128k, dus zou er 0,7GB ram gebruikt worden voor het indexeren van de L2ARC. Maar het probleem is dat dit - als ik het goed begrepen heb - een ideale situatie is. Ik heb namelijk wat kunnen lezen over een 'average record size', en over het feit dat ZFS bij bestanden kleiner dan 128K kleinere blocks cq recordsizes gebruikt. In hoeverre zou dit betekenen dat er meer dan 0,7GB aan RAM wordt gebruikt voor indexing van L2ARC? In tabellen die ik zag, was het ram gebruik tot maar liefst 40% van het L2ARC gebruik, bij een average blocksize van 0,5K.

NB: het geheel hangt aan een UPS, en bij stroomuitval wordt de zaak gewoon netjes afgesloten bij x aantal % accuvermogen, dus de 'onveilige' sdd's lijken me een afgewogen risico.

Karakteristieken van het systeem zijn overigens als volgt:

fysiek:
48GB ram, waarvan 24 voor ZFSguru
512GB solid state storage voor ZFSguru
10x4TB schijven, 10x2TB schijven
48TB netto storage, 40,7TiB in windows zichtbaar. (Zal minder zijn als NFS-share groter wordt)

Softwarematig:
Storage wordt voornamelijk gebruikt voor statische, oncompressed data
De VM's, waar de L2ARC voor bedoeld is, zullen waarschijnlijk oncompressed even groot zijn als de L2ARC zelf. Op de NFSshare voor ESXi staat overigens GZIP-1 aan, aangezien het vele vrij identieke server 2012 servers zullen betreffen. Op deze manier zouden ze sneller moeten zijn. (CPU-kracht is voldoende)

[FireDrunk]

Neptunus schreef op zaterdag 01 juni 2013 @ 16:37:
[...]


Ha jammer, maar als ik dus alleen een BSD variant gebruik. Zou ik die partitie 1 dus kunnen gebruiken om de BSD van de booten en dan partitie 2/3 voor log/cache van een ZFS pool.

Klopt, heb ik heel lang gehad. Ik had 2 Intel 320's (80GB) met elk 3 partities.
Een reguliere ZFS partie waarop een mirrored pool lag (genaamd rootpool), een ZIL en een L2ARC partitie.
De ZIL's stonden in Mirror en de L2ARC partities waren beide aan de pool toegevoegd.

Hierdoor krijg je eigenlijk de perfecte setup. Data gescheiden van OS, mirrored ZIL, striped L2ARC. Dus, safe, snel, en functioneel.

Verwijderd schreef op zondag 02 juni 2013 @ 21:16:
De vraag zelf is dikgedrukt, de rest van het verhaal is situatieomschrijving.

Ik zit met een klein vraagstukje. Zelf ben ik bezig met het migreren van mijn VM's naar een ZFS storage doos, en als dat gelukt is heb ik 2x een samsung 830 256GB vrij, zelf was ik van plan om deze in te zetten als L2ARC, SLOG en ZIL in raid 0. Ik zit echter met een klein vraagstukje met betrekking tot de hoeveelheid geheugen opgeslokt gaat worden. Ik heb namelijk de volgende tabel gevonden op hardforum:


[...]


Maar het probleem is dat ik niet helemaal snap hoe het precies met record size en block size zit. Want voor zover ik weet heeft zfsguru standaard een recordsize van 128k, dus zou er 0,7GB ram gebruikt worden voor het indexeren van de L2ARC. Maar het probleem is dat dit - als ik het goed begrepen heb - een ideale situatie is. Ik heb namelijk wat kunnen lezen over een 'average record size', en over het feit dat ZFS bij bestanden kleiner dan 128K kleinere blocks cq recordsizes gebruikt. In hoeverre zou dit betekenen dat er meer dan 0,7GB aan RAM wordt gebruikt voor indexing van L2ARC? In tabellen die ik zag, was het ram gebruik tot maar liefst 40% van het L2ARC gebruik, bij een average blocksize van 0,5K.

NB: het geheel hangt aan een UPS, en bij stroomuitval wordt de zaak gewoon netjes afgesloten bij x aantal % accuvermogen, dus de 'onveilige' sdd's lijken me een afgewogen risico.

Karakteristieken van het systeem zijn overigens als volgt:

fysiek:
48GB ram, waarvan 24 voor ZFSguru
512GB solid state storage voor ZFSguru
10x4TB schijven, 10x2TB schijven
48TB netto storage, 40,7TiB in windows zichtbaar. (Zal minder zijn als NFS-share groter wordt)

Softwarematig:
Storage wordt voornamelijk gebruikt voor statische, oncompressed data
De VM's, waar de L2ARC voor bedoeld is, zullen waarschijnlijk oncompressed even groot zijn als de L2ARC zelf. Op de NFSshare voor ESXi staat overigens GZIP-1 aan, aangezien het vele vrij identieke server 2012 servers zullen betreffen. Op deze manier zouden ze sneller moeten zijn. (CPU-kracht is voldoende)

Ik denk dat het wel kan, ookal gebruikt ZFS bij kleine files de metadata voor de data zelf, ik denk dat die recordsize gehonoreerd word, en je dus gewon een 128k recordverwijzing, alleen verwijst hij naar lege ruimte. Er is dus verder niet veel anders aan het cachen gok ik.

Aan de andere kant, al zou je L2ARC 2GB opslokken, wat geeft dat? Als je ZFS 24GB geeft, is 2GB aan L2ARC toch prima? Die 22GB ga je echt niet snel vol krijgen hoor. Als het geheel aan 1Gb netwerk hangt, zul je het verschil tussen 16 en 22GB niet echt merken, en al helemaal niet als je zo'n dikke L2ARC inricht.

Enige wanneer zo ontzettend veel RAM nodig is, is als je meerdere 1Gb of 10Gb verbindingen hebt die elk 100-den of zelfs 1000-den clients moeten serveren. Om dan alle prefetch data die bij elke request mee moet komen op te slaan, heb je massa's ram nodig.

In jouw geval denk ik dat het allemaal wel losloopt. Ik heb vandaag mijn ZFS machine eens met 4GB geheugen getest, (prefetch off dus) en zelfs dan is het ding nog prima snel...

[ Voor 69% gewijzigd door FireDrunk op 02-06-2013 22:15 ]

[Verwijderd]

FireDrunk schreef op zondag 02 juni 2013 @ 22:07:


Klopt, heb ik heel lang gehad. Ik had 2 Intel 320's (80GB) met elk 3 partities.
Een reguliere ZFS partie waarop een mirrored pool lag (genaamd rootpool), een ZIL en een L2ARC partitie.
De ZIL's stonden in Mirror en de L2ARC partities waren beide aan de pool toegevoegd.

Hierdoor krijg je eigenlijk de perfecte setup. Data gescheiden van OS, mirrored ZIL, striped L2ARC. Dus, safe, snel, en functioneel.

Hmm, hoewel je antwoord niet tegen mij gericht is, is dat wel handig om te onthouden.

Aan de andere kant, al zou je L2ARC 2GB opslokken, wat geeft dat? Als je ZFS 24GB geeft, is 2GB aan L2ARC toch prima? Die 22GB ga je echt niet snel vol krijgen hoor. Als het geheel aan 1Gb netwerk hangt, zul je het verschil tussen 16 en 22GB niet echt merken, en al helemaal niet als je zo'n dikke L2ARC inricht.

Klopt, klopt, maar ik ben momenteel ook nog aan het kijken om dedup aan te zetten voor mijn virtuele machines, en dan vreet ook weer geheugen. Daarnaast maak ik me natuurlijk niet zo'n zorgen over de 2GB, maar als het 8GB of nog meer zou zijn, dan zou ik dat toch wat minder prettig vinden, vandaar dat ik even vraag wat ik ongeveer zou kunnen verwachten. Maar dit vereist nog en beetje graafwerk.

Enige wanneer zo ontzettend veel RAM nodig is, is als je meerdere 1Gb of 10Gb verbindingen hebt die elk 100-den of zelfs 1000-den clients moeten serveren. Om dan alle prefetch data die bij elke request mee moet komen op te slaan, heb je massa's ram nodig.

Het moet gezegd worden dat ik mijn temp 'downloadschijf' op dezelfde plaats onder heb gebracht als de virtuele machines, om op die manier het unrarren etc wat sneller te laten verlopen. Dus hoewel niet constant, zal er zeker in korte bursts een maximale belasting van het systeem plaatsvinden. Ik moet alleen nog even kijken hoe de algoritmes van ZFS reageren op het regelmatig vullen + legen van een virtuele 100GB schijf. Ik kan me namelijk voorstellen dat dit iets andere resultaten geeft dan en stel VM's die constant op dezelfde plaats staan. (Ja, ik weet dat het eigenlijk niet veel uit maakt of een film nu in 10 seconden, of in 100 seconden geparred + unrarred is, maar dat is natuurlijk onderdeel van de hobby )

[FireDrunk]

Downloaden en unrarren is 'unieke' data, daar heeft L2ARC geen bal zin.. L2ARC werkt in dat geval FIFO (First In First Out). Normaal gesproken is het een combinatie van Last Used en Most Frequently Used, maar met 100% unieke data en alleen maar eenmalige used values, zal je L2ARC continu vervangen worden...

Over dat geheugen gebruik: Het worst case scenario stond er toch bij? Bij 128K recordsizes was het 1G per 100GB L2ARC? Als je dus 200G L2ARC inzet heb je 2G extra geheugen gebruik.

[Verwijderd]

Hmm, ik was in de veronderstelling dat omdat bepaalde 'blocks' op die virtuele 100GB schijf regelmatig gebruikt werden, ze automatisch op de SSD's afgehandeld werden, voordat ze weggeschreven werden naar de HDD's. Maar waarschijnlijk is dat een fundamentele basis van ZFS die ik schijnbaar verkeerd begrepen had.

Over dat geheugen gebruik: Het worst case scenario stond er toch bij? Bij 128K recordsizes was het 1G per 100GB L2ARC? Als je dus 200G L2ARC inzet heb je 2G extra geheugen gebruik.

Worst case in de tabel die ze op hardforum gegeven hadden, is 5GB/100GB L2ARC. Met ca 400-500GB L2ARC zou dat dus neerkomen op 20-25GB, dus zou dat een L2ARC betekenen die maar voor een klein deel gepopuleerd is omdat er geen plaats meer is in het RAM. Maar ik ga er eigenlijk vanuit dat het wel los loopt qua RAM. In het ergste geval kan ik vast nog wel een paar GB vrijmaken voor ZFSguru.

[riwi]

Na mijn experiment met ZFSguru een paar weken geleden wilde ik verder met linux + mdadm.
Hoofdzakelijk vanwege het feit dat ik niet zo bekend ben met FreeBSD en dat ik wol niet werkend kreeg onder FreeBSD. Na met mdadm en raid5 gespeeld te hebben vind ik toch de rebuild tijd van ongeveer 8-12 uur niet prettig (8x1.5T in Raid5).
Nu heb ik ZFS-on-Linux geinstalleerd. wol werkt weer , een raidz1 met 8x1.5T gemaakt. Prima.
Basis is Slackware64 14.0

Als ik nu de doorvoer snelheid bekijk ben ik wel teleurgesteld.

raid-0 / ext-4 : SMB read/write 90 MB/sec
raid-5 mdadm : SMB read/write +- 80MB/sec
raidz1 met ZFS guru : SMB read/write +- 70-80MB/sec
raidz1 met Z-o-L : SMB read/write +- 30MB/sec
Bovenstaande in een Athlon64 X2-3800 met 4GB DDR2
Daarna de raidz1 overgezet naar de andere Linux PC
raidz1 met Z-o-L : SMB read/write +- 30-35MB/sec (core2duo e6750 2.67 GHz, 2GB DDR2)
raidz1 met Z-o-L : SMB read/write +- 50MB/sec (core2duo e6750 2.67 GHz, 4GB DDR2)
raid0 onder linux in deze PC : SMB read/write 100-110MB/sec.(intern van raid0-raid0 250-350MB/sec)
Ook intern kopieren van een raid0 partitie naar de raidz is niet sneller (50MB/sec).

Ik heb zonet een i3-3220T besteld met Asrock Z77 bordje, kijken of het dan beter zal draaien. Ik heb 4x 4G DDR3 om mee te spelen uit de windows PC. Dan bestel ik later wat nodig is (4x8G?).

Heeft iemand nog tips om Z-o-L sneller te maken mbv instellingen oid?
Misschien dat wol met het Asrock bord onder FreeBSD wel werkt dan kan ik ook ZFSguru nog eens proberen.

Hoeveel geheugen zou je nodig hebben voor een setup met 10x2T, 6x3T en 8x1.5T (3 zpools raidz1 of raidz2)? Zou 16G genoeg zijn? Of maakt 24G of 32G nog een verschil? Die 8x1.5T wil ik vervangen door 6x4T op termijn. Ik heb geen zil of l2arc geplanned, maar boot wel van een SSD.

[Durandal]

Sorry, volgende keer eerst refreshen voor te reageren

[ Voor 89% gewijzigd door Durandal op 05-06-2013 21:42 ]

[riwi]

Durandal schreef op woensdag 05 juni 2013 @ 21:40:
Sorry, volgende keer eerst refreshen voor te reageren

Ik had nog wat ge-edit en aangevuld

[Bigs]

riwi schreef op woensdag 05 juni 2013 @ 21:32:
[...]

Hoeveel geheugen zou je nodig hebben voor een setup met 10x2T, 6x3T en 8x1.5T (3 zpools raidz1 of raidz2)? Zou 16G genoeg zijn? Of maakt 24G of 32G nog een verschil? Die 8x1.5T wil ik vervangen door 6x4T op termijn. Ik heb geen zil of l2arc geplanned, maar boot wel van een SSD.

Ik draai zelf 5x3TB RAIDZ2 met 8GB RAM en dat presteert op zich prima (onder FreeBSD, server doet verder niets anders), dus met 16GB zou je zeker uit de voeten moeten kunnen. Met FreeBSD kun je trouwens gewoon van je RAIDZ array booten, dus dan zou je die SSD (als hij een beetje degelijk is) kunnen inzetten als L2ARC (als dat voor de workload nuttig is). Let wel op dat de L2ARC ook weer meer RAM vereist dus dat je dan misschien wel voor meer geheugen moet gaan.

Als je een RAIDZ1 array met zoveel schijven gaat bouwen zou ik wel zorgen voor goede backups.. het rebuilden van een array met zulke grote schijven kan best even duren en het zou jammer zijn als er dan tijdens de rebuild nog een schijf faalt. Met RAIDZ2 verklein je dit risico aanzienlijk.

[riwi]

Aangezien de data puur videomateriaal is zal caching met L2Arc geen toegevoegde waarde hebben denk ik.
Ik heb een Crucial C300 van 128GB vrij voor het booten. Ik wil niet booten van de pool want ik wil mijn schijven kunnen verplaatsen van de ene PC naar de andere.

Tot nu toe draai ik altijd met raid-0, dus denk ik er met raidz1 kwa redundancy wel op vooruit te gaan.
Backups staan op usenet, en anders is weg=pech. Tevens heb ik veel oude schijven van 1T, 750G, 500G etc. die ik in de kast leg waar ik wel eens data op backup voor spul dat ik liever niet kwijt raak.

Kwa performance die ik zoek : intern kopieren zou 200MB/sec netjes zijn en via SMB/NFS wil ik 80MB/sec minimaal zien. Anders heb ik er niks aan en blijf ik bij mijn linux / lvm's met raid-0. Evenzo met Wake-on-Lan, zonder wol heb ik niks aan de machine.

Als het Z77 bordje binnen is zal ik testen met 4, 8, 12 en 16G geheugen met ZFS on Linux.
Dat geheugen 'leen' ik dan uit de windows7 PC, en dan bepaal ik wat ik kwa geheugen moet bij kopen.

[ Voor 5% gewijzigd door riwi op 06-06-2013 10:58 ]

[FutureCow]

Ik heb hier 3x2TB in Raidz1 op een ZoL systeem.

Hiermee haal ik standaard rond de 80MB/s over SMB maar heb ook wel langere pieken van 110MB/s (max van GBIT?)

Met een scrub haal ik 320MB/s geen idee hoe dit in verhouding staat?

[FireDrunk]

Gigabit kan niet sneller? En die 80MB/s haal je omdat Samba niet echt super snel is (en SMB an sich niet zo'n goed protocol is...)

[DRAFTER86]

FutureCow schreef op vrijdag 07 juni 2013 @ 08:52:
Ik heb hier 3x2TB in Raidz1 op een ZoL systeem.

Hiermee haal ik standaard rond de 80MB/s over SMB maar heb ook wel langere pieken van 110MB/s (max van GBIT?)

Met een scrub haal ik 320MB/s geen idee hoe dit in verhouding staat?

Hey, dat is zo ongeveer de setup die ik ook ongeveer op het oog heb. Zou je wat meer info kunnen geven? Ben benieuwd!

[Kortfragje]

Een kleine vraag hier, hoe moet ik de deduplication waarden lezen? op mijn huidige dataset heb ik een deduplication van 26.47x , betekend dit dat de volle set 26 maal zo groot zou zijn?

code:

NAME      SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
zfstest   232G  30.1G   202G    12%  26.47x  ONLINE  -


DDT-sha256-zap-duplicate: 12309 entries, size 300 on disk, 163 in core
DDT-sha256-zap-unique: 5882 entries, size 303 on disk, 182 in core

DDT histogram (aggregated over all DDTs):

bucket              allocated                       referenced          
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    5.74K    697M    697M    697M    5.74K    697M    697M    697M
     2      580    292K    292K    292K    1.36K    700K    700K    700K
     4      876    438K    438K    438K    4.59K   2.29M   2.29M   2.29M
     8     1019    510K    510K    510K    11.1K   5.54M   5.54M   5.54M
    16      983    492K    492K    492K    21.7K   10.9M   10.9M   10.9M
    32      938    469K    469K    469K    41.8K   20.9M   20.9M   20.9M
    64      947    474K    474K    474K    85.6K   42.8M   42.8M   42.8M
   128      946    473K    473K    473K     171K   85.4M   85.4M   85.4M
   256    1.05K    537K    537K    537K     389K    195M    195M    195M
   512    1.36K    694K    694K    694K    1013K    507M    507M    507M
    1K    2.17K   1.09M   1.09M   1.09M    3.23M   1.61G   1.61G   1.61G
    2K      941    470K    470K    470K    2.25M   1.13G   1.13G   1.13G
    4K      132     66K     66K     66K     764K    382M    382M    382M
    8K       94     47K     47K     47K    1.07M    546M    546M    546M
   16K       61   30.5K   30.5K   30.5K    1.39M    712M    712M    712M
   32K       56     28K     28K     28K    2.37M   1.18G   1.18G   1.18G
   64K       33   16.5K   16.5K   16.5K    3.08M   1.54G   1.54G   1.54G
  128K       10      5K      5K      5K    1.49M    762M    762M    762M
  256K        1     512     512     512     337K    169M    169M    169M
  512K        1     512     512     512     951K    476M    476M    476M
    2M        2      1K      1K      1K    6.80M   3.40G   3.40G   3.40G
    4M        2      1K      1K      1K    9.61M   4.80G   4.80G   4.80G
 Total    17.8K    703M    703M    703M    35.0M   18.2G   18.2G   18.2G

dedup = 26.47, compress = 1.00, copies = 1.00, dedup * compress / copies = 26.47

[FireDrunk]

Jup dat klopt. Let wel op je geheugen gebruik, hoe meer dedup hoe meer RAM.

Je moet bijvoorbeeld nooit dedup aanzetten op een volume van 10TB ofzo... Dan krakt je hele machine zeer waarschijnlijk

[riwi]

FireDrunk schreef op vrijdag 07 juni 2013 @ 08:53:
Gigabit kan niet sneller? En die 80MB/s haal je omdat Samba niet echt super snel is (en SMB an sich niet zo'n goed protocol is...)

Ik haal met SMB via Gbit op de core2duo PC met ext4 partities wel 100-110MB bij het kopieren van 40GB files vanaf een core i7-2600 windows7 PC.
Dus het kan wel maar SMB vergt meer van het geheugen en CPU dan NFS.

Ik tweak mijn SMB performance door in de smb.conf
socket options = TCP_NODELAY IPTOS_LOWDELAY SO_KEEPALIVE SO_RCVBUF=262144 SO_
SNDBUF=262144

Buffers staan standaard op 8192. Met 262144 vreet SMB veel meer geheugen, maar vergeleken met geheugen gebruik van ZFS is het peanuts.

[FireDrunk]

Klopt, er valt wel wat te tweaken... Maar dan blijf je bij sommige netwerkkaarten nog gewoon op 80MB/s max zitten. Waarom? Geen idee, ik heb ook wel eens van die bordjes gehad, die gewoon niet harder willen...

[Verwijderd]

FireDrunk schreef op vrijdag 07 juni 2013 @ 11:35:
Je moet bijvoorbeeld nooit dedup aanzetten op een volume van 10TB ofzo... Dan krakt je hele machine zeer waarschijnlijk

Wellicht ten overvloede, maar ik neem aan dat je 10TB data bedoelt? Een geshared volume van 10TB waarvan je op een subdirectory (met ca 300GB uncompressed data) dedup aanzet, zal niet zo'n probleem opleveren lijkt me.

Just checking.

[FireDrunk]

Ik bedoel inderdaad een filesystem... Volumes bestaan eigenlijk helemaal niet in ZFS

disk -> vdev -> pool -> filesystem -> [filesystem] -> files/directories.


Je (naar mijn weten) niet op een losse directory dedup aan zetten.

[ Voor 18% gewijzigd door FireDrunk op 07-06-2013 12:00 ]

[Compizfox]

FireDrunk schreef op zaterdag 01 juni 2013 @ 16:05:
Nee, niet echt... Je kan ESXi op een USB stick installeren, en dan handmatig de SSD in ESXi partitioneren.
Maar je kan niet een partitie doorgeven.

Je kan wel VMDK's maken op die SSD en die doorgeven aan ZFSGuru, maar dan heb je SLOG en L2ARC op VMFS liggen, en dat is niet aan te raden.

ZFS houdt van direct contact met een disk, je moet dus eigenlijk de SSD aan een controller hangen die je doorgeeft aan ZFSGuru.

Je kunt wel de SSD volledig doorgeven aan ZFSGuru, hem daar partitioneren, op één van de partities een iSCSI-volume aanmaken en die dan weer 'terugmounten' in ESXi.

[FireDrunk]

En waar start je ZFS guru van?

[Compizfox]

Van een datastore ergens.

Of was het de bedoeling dat die partitie op de SSD als datastore gebruikt werd om ZFSGuru zelf vanaf te booten? Dat gaat niet werken idd, ESXi moet altijd een losstaande datastore hebben (die ook nog eens geen USB-stick oid mag zijn)

[FutureCow]

DRAFTER86 schreef op vrijdag 07 juni 2013 @ 09:39:
[...]


Hey, dat is zo ongeveer de setup die ik ook ongeveer op het oog heb. Zou je wat meer info kunnen geven? Ben benieuwd!

Haal toch ook wel gewoon 100-110MB/s net nog ff getest:

Verder zijn het 3, 2TB Seagate schrijven.
Verdere specs:
- i3 2120 CPU
- Intel mobo
- 2x4GB RAM
- SSD van 64GB met OS etc en een partitie van 2GB voor ZIL.
Linux Mint 14(iets werkte niet helemaal lekker met ubuntu vandaar dit maar even geprobeerd. Debian zal ook prima werken!)
Totaal verbruikt het systeem rond de 35-40 watt, inc TV-kaart(gebruik de server ook al TV-server met tvheadend)

[ Voor 9% gewijzigd door FutureCow op 07-06-2013 22:30 ]

[FireDrunk]

Omdat ik het allemaal een beetje zat was met ZFSGuru en VirtualBox heb ik dit weekend maar eens gespendeerd aan het zelf inrichten van een kale FreeBSD10-CURRENT server...

Het was even priegelen, maar het is eigenlijk prima gelukt

FreeBSD10 snapshot downloaden, daarmee zelf een root-on-zfs installatie gedaan, alles geupdate vanuit ports tree, nieuwe kernel gecompileerd, en met de LaSi installer SabNZBd+, CouchPotato en SickBeard prima geinstalleerd gekregen. LaSi is niet feilloos, hier en daar moest ik nog even wat configs of rechten veranderen (zo wil Sab niet werken met de out of the box aangemaakte user... Geen idee waarom, gewoon onder root gedraaid, dat werkt tenminste...)

Performance is ook uitstekend, en verbruik is ook prima, zit nu op 43W ofzo.

[onox]

FireDrunk schreef op zondag 09 juni 2013 @ 18:50:
FreeBSD10 snapshot downloaden, daarmee zelf een root-on-zfs installatie gedaan, alles geupdate vanuit ports tree, nieuwe kernel gecompileerd, en met de LaSi installer SabNZBd+, CouchPotato en SickBeard prima geinstalleerd gekregen. LaSi is niet feilloos, hier en daar moest ik nog even wat configs of rechten veranderen (zo wil Sab niet werken met de out of the box aangemaakte user... Geen idee waarom, gewoon onder root gedraaid, dat werkt tenminste...)

Kun je in 10 vanuit de install wizard ZFS filesystems aanmaken, of kan dat nog steeds alleen vanuit de shell?

[FireDrunk]

Alleen vanaf de shell idd, maar zo moeilijk is dat niet.

[ykaenS]

nevermind

[ Voor 90% gewijzigd door ykaenS op 09-06-2013 21:44 ]

[Farmie]

Ik ben van plan om in mijn ZFSguru systeem 4 x 3 TB HDD's te plaatsen, in Raid-Z1. Ik zie wel dat de recommondations zegt om 3, 5,... schijven te gebruiken (en geen 4). Gaat dit veel invloed hebben op performance?
HDD's: Toshiba PA4293E-1HN0
SSD: Samsung 64GB (waarop 10GB voor ZFSguru boot, 30GB L2ARC)
Geheugen: 16GB

[EnerQi]

Farmie schreef op maandag 10 juni 2013 @ 11:11:
Ik ben van plan om in mijn ZFSguru systeem 4 x 3 TB HDD's te plaatsen, in Raid-Z1. Ik zie wel dat de recommondations zegt om 3, 5,... schijven te gebruiken (en geen 4). Gaat dit veel invloed hebben op performance?
HDD's: Toshiba PA4293E-1HN0
SSD: Samsung 64GB (waarop 10GB voor ZFSguru boot, 30GB L2ARC)
Geheugen: 16GB

Als je doel is om een Gbit snelheid vol te benutten dan is het antwoord, weinig invloed (misschien niet direct 100MB/s of 115MB/s maar 80MB/s bijvoorbeeld), is de uplink hoger (10Gb/s) is het antwoord: ramp/veel invloed ;-). In iedergeval om hoge snelheden te halen. ZFS ansich gaat hier overigens goed mee om maar met de nodige vertragingen.

[FireDrunk]

Ik heb hier 4*4TB in RAIDZ en haal nog dik 400MB/s lezen en ruim 300MB/s schrijven hoor... Dus maak je er niet al te druk om...

[ Voor 11% gewijzigd door FireDrunk op 10-06-2013 12:26 ]

[psy]

Waar ik al een tijdje mee rondloop, het volgende.

Stel ik bouw een aparte ZFS machine voor mijn dagelijkse automatische backups thuis (gebeurt nu nog onderling tussen Windows machines). Dan is de data op die machine als het goed is beschermd tegen onder meer data corruption.

Maar ik backup dagelijks naar die machine toe.
Stel er valt een bit om op een van mijn Windows-dozen, wordt dit dan niet domweg gerepliceerd naar mijn ZFS doos?

Of denk ik nu helemaal verkeerd?

[Verwijderd]

Ja, je corruptie kan doorvloeien naar ZFS en daar kan ZFS zelf niet tegen beschermen. Echter, je kunt als ZFS je backup server beschermt, wel snapshots gebruiken om een soort van incremental backups te implementeren. Dat betekent dat je elke keer dat je een backup doet, een snapshot hiervan maakt. Zou je dan corruptie detecteren die van je Windows box naar ZFS toe is gevloeid, dan kun je op de ZFS server 'terug in de tijd' gaan naar een oudere snapshot waar de corruptie nog niet voorkwam.

Als je het helemaal veilig wilt hebben, moet je overal ZFS én ECC geheugen gebruiken. Maar ZFS op de backup server in combinatie met snapshots kan je al een heel hoge mate van bescherming bieden.

[psy]

Dat zou perfect zijn.

Maar soms merk je "niks" van die data corruptie tot je maanden verder komt (zo ben ik een keer mijn complete Drivers directory kwijtgeraakt). Dan zou je dus lange tijd terug moeten gaan.
Nemen al die snapshots niet erg veel ruimte in beslag, ik heb geen idee wat ik me daarbij moet voorstellen?

ok dit staat wel in de OT
Het concept van een snapshot is al heel oud, maar de manier hoe het werkt bij ZFS maakt dat het gebruik ervan zeer flexibel werkt en heel economisch is met opslagruimte

[ Voor 24% gewijzigd door psy op 10-06-2013 15:24 ]

[Farmie]

EnerQi schreef op maandag 10 juni 2013 @ 11:31:
[...]


Als je doel is om een Gbit snelheid vol te benutten dan is het antwoord, weinig invloed (misschien niet direct 100MB/s of 115MB/s maar 80MB/s bijvoorbeeld), is de uplink hoger (10Gb/s) is het antwoord: ramp/veel invloed ;-). In iedergeval om hoge snelheden te halen. ZFS ansich gaat hier overigens goed mee om maar met de nodige vertragingen.

Ik ben niet van plan om mijn systeempje aan een Nexus 5000 ofzo te hangen Momenteel heb ik trouwens thuis enkel FastEthernet switchjes...

[Verwijderd]

@psy: snapshot is heel simpel eigenlijk. Je hebt een filesystem daarop staat data, als je die aanpast dan is dat 'voorgoed'. Tenzij... je een snapshot maakt.

zfs snapshot tank/data@2013-06-10

Na het maken van de snapshot, kun je bijvoorbeeld alle gegevens in tank/data verwijderen. Dan is alles weg... maar toch niet echt weg. Want de snapshot onthoudt nog de data zoals deze bestond toen je de snapshot aanmaakte. Anders gezegd: je kunt met snapshots 'terug in de tijd' naar het moment hoe de data toen was. Dit geldt niet alleen voor verwijderde bestanden, maar ook over aangepaste bestanden. Gewoon een soort 'fotokopie' van het moment van de data hoe deze was ten tijde van het aanmaken van de snapshot.

Een heel simpele vorm van snapshot is dat de data dubbel wordt opgeslagen. Maar bij ZFS werken snapshots heel economisch: alleen de 'verschillen' kosten opslagruimte. Dat betekent als je een snapshot hebt gemaakt en bestand X vervang je door een bestand met gelijke naam maar met andere inhoud, dan kost alleen dat extra bestand extra opslagruimte. Anderzijds betekent het wel dat als je een bestand verwijdert, dit geen extra opslagruimte oplevert. De ruimte die het bestand innam, komt niet beschikbaar als vrije ruimte. Dit komt omdat dat bestand nog wel opgeslagen (referenced) wordt door de snapshot. Pas als je de snapshot zelf verwijdert, komt die ruimte vrij.

Je kunt eenvoudig zien hoeveel extra ruimte de snapshots in beslag nemen:

code:

zfs list -t snapshot
NAME                                                 USED  AVAIL  REFER  MOUNTPOINT
sea/samsung/dev@2013-05-21                          6.59G      -   229G  -
sea/samsung/dev@2013-05-28                           166K      -   230G  -

Snapshots in ZFS zijn zeer krachtig, en het gebruik ervan is een enorm nuttige aanvulling voor een backup server. Dit maakt de stelling 'RAID is geen backup' ook discutabel, omdat een filesystem als ZFS met snapshots wel degelijk een vorm van historie heeft en daarmee een overlap met de functie van backup. Ik zou zeggen het is een uitstekende aanvulling op een backup, en de combinatie van backup en snapshots vormen een krachtige bescherming tegen gegevensverlies zoals met name silent corruption.

[psy]

Dan heb ik de voordelen van een aparte backup (wat ik nu wel heb) maar daarbij ook de voordelen van voorkomen van silent corruption plus de snapshots zonder dat dit te veel ruimte kost (wat ik nu niet heb en soms toch wel handig is)

Heb nog een DH67BL + i3-2100 ongebruikt liggen, misschien is het een goed idee om hier eens een ZFS machine van te maken die zit nu niets te doen

[Verwijderd]

Als je daar nog een mooi RAM-setje (2x8GiB) bij kunt koppelen is dat een uitstekend begin voor een mooie ZFS setup.

[Neptunus]

Ik wil mijn HDD's in standby kunnen krijgen. Ik heb tween M1015 geflashed met de laatste IT firmware, werkt verder allemaal prima.

code:

sideswipe:~# camcontrol devlist
<NECVMWar VMware IDE CDR10 1.00>   at scbus1 target 0 lun 0 (pass0,cd0)
<VMware Virtual disk 1.0>          at scbus2 target 0 lun 0 (pass1,da0)
<ATA Hitachi HUA72302 A840>        at scbus3 target 0 lun 0 (pass2,da1)
<ATA Hitachi HUA72302 A840>        at scbus3 target 1 lun 0 (pass3,da2)
<ATA Hitachi HUA72302 A840>        at scbus3 target 2 lun 0 (pass4,da3)
<ATA Hitachi HUA72302 A840>        at scbus3 target 3 lun 0 (pass5,da4)
<ATA Hitachi HUA72302 A840>        at scbus3 target 4 lun 0 (pass6,da5)
<ATA Hitachi HUA72302 A840>        at scbus4 target 0 lun 0 (pass7,da6)
<ATA Hitachi HUA72302 A840>        at scbus4 target 1 lun 0 (pass8,da7)
<ATA Hitachi HUA72302 A840>        at scbus4 target 2 lun 0 (pass9,da8)
<ATA Hitachi HUA72302 A840>        at scbus4 target 3 lun 0 (pass10,da9)
<ATA Hitachi HUA72302 A840>        at scbus4 target 4 lun 0 (pass11,da10)
<ATA INTEL SSDSA2CW12 0362>        at scbus4 target 5 lun 0 (pass12,da11)
<ATA INTEL SSDSA2CW12 0362>        at scbus4 target 6 lun 0 (pass13,da12)

Zie netjes al mijn disken.

code:

sideswipe:~#  camcontrol identify /dev/da1
sideswipe:~#

Werkt niet.

code:

sideswipe:~# camcontrol inquiry da1
pass2: <ATA Hitachi HUA72302 A840> Fixed Direct Access SCSI-6 device
pass2: Serial Number YFHSMMZA
pass2: 600.000MB/s transfers, Command Queueing Enabled

code:

sideswipe:~# camcontrol standby da1
(pass2:mps0:0:0:0): STANDBY_IMMEDIATE. ACB: e0 00 00 00 00 40 00 00 00 00 00 00
(pass2:mps0:0:0:0): CAM status: Function Not Available

code:

sideswipe:~# dmesg|grep mps0
mps0: <LSI SAS2008> port 0x5000-0x50ff mem 0xd2500000-0xd2503fff,0xd2540000-0xd257ffff irq 19 at device 0.0 on pci11
mps0: Firmware: 16.00.00.00, Driver: 14.00.00.01-fbsd
mps0: IOCCapabilities: 1285c<ScsiTaskFull,DiagTrace,SnapBuf,EEDP,TransRetry,EventReplay,HostDisc>
da1 at mps0 bus 0 scbus3 target 0 lun 0
da2 at mps0 bus 0 scbus3 target 1 lun 0
da3 at mps0 bus 0 scbus3 target 2 lun 0
da4 at mps0 bus 0 scbus3 target 3 lun 0
da5 at mps0 bus 0 scbus3 target 4 lun 0
sideswipe:~# dmesg | grep mps1
mps1: <LSI SAS2008> port 0x6000-0x60ff mem 0xd2600000-0xd2603fff,0xd2640000-0xd267ffff irq 16 at device 0.0 on pci19
mps1: Firmware: 16.00.00.00, Driver: 14.00.00.01-fbsd
mps1: IOCCapabilities: 1285c<ScsiTaskFull,DiagTrace,SnapBuf,EEDP,TransRetry,EventReplay,HostDisc>
da11 at mps1 bus 0 scbus4 target 5 lun 0
da12 at mps1 bus 0 scbus4 target 6 lun 0
da7 at mps1 bus 0 scbus4 target 1 lun 0
da8 at mps1 bus 0 scbus4 target 2 lun 0
da10 at mps1 bus 0 scbus4 target 4 lun 0
da9 at mps1 bus 0 scbus4 target 3 lun 0
da6 at mps1 bus 0 scbus4 target 0 lun 0

code:

sideswipe:~# ataidle /dev/da1
Model:
Serial:
Firmware Rev:
ATA revision:           unknown/pre ATA-2
LBA 48:                 no
Geometry:               0 cyls, 0 heads, 0 spt
Capacity:               0MB
SMART Supported:        no
Write Cache Supported:  no
APM Supported:          no
AAM Supported:          no

code:

sideswipe:~# ataidle -S 5 /dev/da0
ataidle: the device does not support power management

Hoe krijg ik het nu voor elkaar om ze in standby te krijgen?

[ Voor 6% gewijzigd door Neptunus op 10-06-2013 22:40 . Reden: Nog wat toegevoegt. ]

[FireDrunk]

Niet met camcontrol en/of ataidle, die zijn alleen voor AHCI/SATA controllers.
Je moet Spindown gebruiken.
Die is voor SCSI gemaakt. Je moet namelijk eerst het SCSI commando voor spindown geven aan de M1015, deze vertaalt dat daarna zelf weer naar het goede SATA commando.

[psy]

Nog even terugkomend op die snapshots.
Omdat ik ZFS als aparte backupmachine wil gebruiken wil ik nog even het volgende weten.

Ik werk 's middags aan een document en sla deze initieel op.
's Avonds wordt mijn profiel gesynct naar mijn Win2008 server (deze bevat altijd een identieke kopie) welke dit ook weer doorzet naar de backupmachine.

De dag erna werk ik nog wat verder aan mijn document en sla deze nieuwere versie weer op onder dezelfde naam. Alles wordt weer opnieuw gesynct naar mijn Win2008 bak en uiteindelijk ook op de backupmachine.

Ik zou dan graag willen dat de backupmachine/ZFS die beide versies dan heeft.
Als ik het goed begrijp, moet ik dan in plaats van een "domme" dagelijkse kopieeractie, een snapshot maken van de relevante Win2008 dir's welke ik vroeger gewoon kopieerde?

Staan dan op die backupmachine (als ik deze als ZFS zou bouwen) dan deze twee verschillende versies?
En zou je met wat extra getweak dan ook onder Windows versiebeheer kunnen terugzetten?

En nog een vraag nu ik zo aan het brainstormen ben...
Nu heb ik op de backupmachine allemaal shares die identiek zijn als de "hoofd"win2008 machine.
Beide shares (van bv dir Films) zitten in een DFS pool. Werkt perfect. Als ik bv wil klussen aan een van de twee machines merkt DFS dit op en gebruikt als nodig dan de share van de backupserver (erg belangrijk, dan kan de vrouw blijven kijken en ik kan verder klussen )
Ik neem aan dat dit voor ZFS ook geen enkel probleem is, omdat ik toch net zoals Windows alles via een share zal benaderen? Dus een ZFS share kan ik gewoon mee laten doen in de DFS pool?

[ Voor 4% gewijzigd door psy op 11-06-2013 00:01 ]

[FireDrunk]

De geavanceerde versiebeheer tools van Windows zijn niet werkend te krijgen onder FreeBSD/ZFS voor zover ik weet. Onder Solaris een beetje, daar kan je de snapshots iig laten zien in het windows "Previous Versions" menu van een share.

Ik vraag me af, of je die kopieeractie die nu gebeurt door middel van een backup schema, kan wijzigen zodat deze gebeurt op het moment dat je een file opslaat. Ik denk niet dat je zoveel ingewikkelde scripts moet willen bouwen.

Wat je kan doen, is 5 minuten nadat je windows 2008 server gesynced heeft, automatisch een snapshot maken op zfs niveau. Dan heb je na elke sync een snapshot.

[Neptunus]

FireDrunk schreef op maandag 10 juni 2013 @ 22:52:
Niet met camcontrol en/of ataidle, die zijn alleen voor AHCI/SATA controllers.
Je moet Spindown gebruiken.
Die is voor SCSI gemaakt. Je moet namelijk eerst het SCSI commando voor spindown geven aan de M1015, deze vertaalt dat daarna zelf weer naar het goede SATA commando.

Thanks,

Ik heb lopen slapen. Oeps...

Hier is het al eens aan bod gekomen.
Nog veel erger ik heb er al eens iets over gevraagt