Het grote ZFS topic

[tvwes]

Om te beginnen zijn capaciteitsverschillen nul of miniem sinds de idema dit probleem onderkende en er een standaard voor maakte: idema drive capacities

Klassieke opslag heeft hier meer last van dan ZFS. De enterprise markt lost dit op met custom firmware of dmv short-stroking maar dan minder short alleen een beetje aan het einde. Dit laatste doe ik ook om verschillende reden. Met HDAT2 of HDPARM kan je het ATA cmd SET MAX ADDRESS instellen. Hiermee kan je een eigen aantal blocks instellen. Door nu net iets kleiner te gaan vang je alle verschillen op.
Deze zelfde techniek kan je gebruiken voor je SSD's. Je kan door het verkleinen van de capaciteit van de SSD twee dingen bereiken. De levensduur wordt vergroot door een stuk overprovisioning. Ten tweede kan je voorkomen dat de prestaties inzakken naarmate de SSD volraakt. De extra vrije ruimte kan de SSD controller gebruiken om te swappen. Zelfs met TRIM kan dit helpen.

[Bigs]

Ik ben zelf inderdaad ook nog nooit grootteverschillen tegengekomen, terwijl wij in onze SAN's schijven van diverse leveranciers en leeftijden door elkaar gebruiken.

Heeft iemand al een setup met deze schijven in gedachten?

nieuws: WD start levering Hitachi 6TB-drives met helium in plaats van lucht

[]Byte[]

Bigs schreef op dinsdag 05 november 2013 @ 12:42:
Heeft iemand al een setup met deze schijven in gedachten?

nieuws: WD start levering Hitachi 6TB-drives met helium in plaats van lucht

Nah... nog niet.
Heb mijn huidige net in elkaar zitten met 4 TB's

[tvwes]

@Bigs
Dit is waarom alleen een schijf met een sticker van hetzelfde merk als de array in die array werkt. Ook al kan je in de caddy duidelijk zien dat er een WD, Seagate etc inzit. De fabrikant regelt dit allemaal voor je tegen een kleine premie. Met je je whitebox moet je dit zelf regelen.

Hoe leuk het er ook uit ziet deze 6TB drives, maar wacht ik toch even. Alleen al continu streamen zal zo' n 12 uur kosten om de schijf te vullen, laat staan op een array onder load. Ik moet daar nog even aan wennen.

[FireDrunk]

Iemand die hier wat zinnigs over kan zeggen:

L2 ARC Summary: (HEALTHY)
        Passed Headroom:                        3268
        Tried Lock Failures:                    4312558
        IO In Progress:                         0
        Low Memory Aborts:                      0
        Free on Write:                          13796
        Writes While Full:                      374
        R/W Clashes:                            0
        Bad Checksums:                          0
        IO Errors:                              0
        SPA Mismatch:                           951156363

L2 ARC Size: (Adaptive)                         22732727808
        Header Size:                    0.00%   0

L2 ARC Evicts:
        Lock Retries:                           1
        Upon Reading:                           0

L2 ARC Breakdown:                               261853
        Hit Ratio:                      0.01%   23
        Miss Ratio:                     99.99%  261830
        Feeds:                                  38549

L2 ARC Buffer:
        Bytes Scanned:                          891279655464448
        Buffer Iterations:                      38549
        List Iterations:                        2464926
        NULL List Iterations:                   47

L2 ARC Writes:
        Writes Sent:                    100.00% 34941

Ik snap de spa_mismatch niet helemaal... Iemand die weet wat dat betekend?

Ik heb het gevoel dat L2ARC ongelofelijk hard gevuld word, maar nooit uitgelezen... Nou heb ik ook:

ARC Efficiency:                                 10414386
        Cache Hit Ratio:                97.48%  10151975
        Cache Miss Ratio:               2.52%   262411
        Actual Hit Ratio:               92.95%  9680420

Dus op zich snap ik het wel, maar je zou verwachten dat die laatste 3 % toch grotendeels dan uit L2ARC komt?

[Pakjebakmeel]

Verwijderd schreef op donderdag 31 oktober 2013 @ 11:34:
[...]

Onderzoek goed of die extra poorten wel worden ondersteund. Vaak levert de chipset 6 poorten en de rest onboard zijn van losse chipjes. Die moeten dan wel goed ondersteund worden door BSD.


[...]

Eigenlijk heel simpel: haal alle parity disks weg en dan hoor je een macht van 2 te krijgen, dus 2, 4, 8, 16, 32, 64, 128.

Dus een 3 disk RAID-Z is optimaal (3-1 = 2)
Een 5 disk RAID-Z is optimaal (5-1 = 4)
Een 6 disk RAID-Z2 is optimaal (6-2 = 4)
Een 10 disk RAID-Z2 is optimaal (10-2 = 8 )
Een 19 disk RAID-Z3 is optimaal (19-3 = 16)

2, 4, 8, 16... je snapt het punt hier.

Ik heb momenteel 6x 3TB in RAIDZ, dit is niet optimaal ik weet het. Ik zit er over te denken om 6x 3TB in RAIDZ2 te draaien, vooralsnog alleen voor de extra zekerheid aangezien ik genoeg storage ruimte heb voor mijn gebruik. Toen ik het systeem neerzette was ik blij met de prestaties en de extra 3TB storage dus heb dit zo gelaten.

Afgezien van de extra redundancy, zou 6xRAIDZ2 sneller zijn dan 6xRAIDZ of compenseert de extra data disk voor het verlies op een niet optimale configuratie? Iemand een mening hierover?

[FireDrunk]

Het ontloopt elkaar niet zo veel. Je praat hooguit over enkele 10-tallen MB/s (10-40MB/s) sequentieel.

Qua Random IO zou het een fractie meer uit kunnen maken, maar om daar nou voor te switchen.

[ Voor 82% gewijzigd door FireDrunk op 06-11-2013 10:04 ]

[Pakjebakmeel]

FireDrunk schreef op woensdag 06 november 2013 @ 10:03:
Het ontloopt elkaar niet zo veel. Je praat hooguit over enkele 10-tallen MB/s (10-40MB/s)

Ik had al zo'n idee dat die extra disk het verlies zou compenseren maar had geen zin om al mijn data te verhuizen om het te testen.

Bedoel je dat verschil dan in positieve of negatieve zin? RAIDZ2 optimaal sneller of langzamer dan RAIDZ met 6 disks in beide gevallen?

edit:
Neuh, ik ben prima tevreden. Ik vroeg het me alleen af, ik ben alleen zo'n autist die het vervelend vind dat het 'niet optimaal' is. Ik hekel 'niet optimaal', het vreet aan je

Maar nee, ik zou het inderdaad alleen doen voor extra zekerheid.

[ Voor 21% gewijzigd door Pakjebakmeel op 06-11-2013 10:06 ]

[FireDrunk]

Refresh

[ Voor 10% gewijzigd door FireDrunk op 06-11-2013 10:06 ]

[Pakjebakmeel]

Oja, ik had nog een issue met ZFS die is niet opgelost. Had het al gepost op gentoo forums maar krijg daar ook geen antwoord.

Er staat ineens een melding bij mijn ZPOOL status, maar geen error oid. Krijg hem niet weg.

code:

  pool: storage
 state: ONLINE
   see: http://zfsonlinux.org/msg/ZFS-8000-EY
  scan: scrub repaired 0 in 4h22m with 0 errors on Fri Nov  1 04:22:02 2013
config:

        NAME                        STATE     READ WRITE CKSUM
        storage                     ONLINE       0     0     0
          raidz1-0                  ONLINE       0     0     0
            scsi-20004d927fffff810  ONLINE       0     0     0
            scsi-20004d927fffff800  ONLINE       0     0     0
            scsi-20004d927fffff820  ONLINE       0     0     0
            scsi-20004d927fffff850  ONLINE       0     0     0
            scsi-20004d927fffff840  ONLINE       0     0     0
            scsi-20004d927fffff830  ONLINE       0     0     0

errors: No known data errors

http://forums.gentoo.org/viewtopic-t-973782.html

Die see: melding, hij beweerd dat het hostid niet matched met wat het zou moeten zijn aldus het filesystem. Al netjes ge-export en weer ge-import maar de melding is er nog steeds. HostID is persistent tussen reboots.

Ik niet snap, lijkt wel een bug? Of is dat gewoon de laatste error en die blijft altijd staan ofzo, kan ik die melding niet 'clearen' ?

[ Voor 13% gewijzigd door Pakjebakmeel op 06-11-2013 10:11 ]

[FireDrunk]

Melding betekend:

Description

The ZFS pool was last accessed by another system.

Je kan proberen om zpool clear [poolnaam] te doen. Anders een import en een export.

[HyperBart]

Kan je met een ander systeem even importen en exporten?

Eeeey FireDrunk, wakker worden!

Al netjes ge-export en weer ge-import maar de melding is er nog steeds. HostID is persistent tussen reboots.

Beetje publiekelijk aan de schandpaal nagelen mag toch he?

[ Voor 68% gewijzigd door HyperBart op 06-11-2013 10:14 ]

[FireDrunk]

Tuurlijk schat, jij wel

Maar inderdaad, raar... Heb je de pool gemaakt onder ZFSonLinux of met iets als ZFSguru?

[Pakjebakmeel]

FireDrunk schreef op woensdag 06 november 2013 @ 10:12:
Melding betekend:

Description

The ZFS pool was last accessed by another system.

Je kan proberen om zpool clear [poolnaam] te doen. Anders een import en een export.

Allebei al gedaan, melding is nog steeds daar.

HyperBart schreef op woensdag 06 november 2013 @ 10:12:
Kan je met een ander systeem even importen en exporten?

Lastig, het zijn 6 disks en ik heb geen desktop beschikbaar. Wel heb ik het hostID veranderd, export gedaan en gereboot. Hij import het volume dan wel netjes maar de melding is nog daar.

FireDrunk schreef op woensdag 06 november 2013 @ 10:15:
Tuurlijk schat, jij wel

Maar inderdaad, raar... Heb je de pool gemaakt onder ZFSonLinux of met iets als ZFSguru?

Gewoon met ZoL onder gentoo.. Een keer gedaan tijden geleden met zo'n zpool of zfs commando. Kan me iets herrinneren met ashift=12 voor 4k disks.. Maar die dus, gewoon command line gentoo.

[ Voor 23% gewijzigd door Pakjebakmeel op 06-11-2013 10:18 ]

[HyperBart]

USB stickje met ZFSguru op hetzelfde systeem zou toch moeten gaan, niet?

[Pakjebakmeel]

HyperBart schreef op woensdag 06 november 2013 @ 10:16:
USB stickje met ZFSguru op hetzelfde systeem zou toch moeten gaan, niet?

Kweenie, nooit gebruikt :-)

Is op zich de moeite waard, echter draai ik ook mdadm voor boot, swap en root (/dev/md[1,2,3]) en ik heb gemerkt dat live USB distro's zoals ubuntu er alleen door te booten automatisch /dev/md[127,128,129] van maken en dan boot ie niet meer :-S Kun je dat weer fixen en ik heb geen monitor aan dat ding, sterker nog; er zit geen videokaart in.

Op zich geen ramp deze 'error' maar ik vroeg het me af, wil er iig geen rare capriolen voor gaan uithalen.

[tvwes]

@Firedrunk
Wat betreft je vraag over de SPA mismatch. Het is een FreeBSD kstat, daar weet ik nog minder van.
Maar ik heb wel een vermoeden. Kan je een zpool status posten? Oftwel de config van al je zpools?

[FireDrunk]

[root@NAS /datapool/lagelanden]# zpool status
  pool: datapool
 state: ONLINE
status: The pool is formatted using a legacy on-disk format.  The pool can
        still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
        pool will no longer be accessible on software that does not support feature
        flags.
  scan: scrub repaired 0 in 7h56m with 0 errors on Tue Nov  5 17:27:16 2013
config:

        NAME                STATE     READ WRITE CKSUM
        datapool            ONLINE       0     0     0
          raidz1-0          ONLINE       0     0     0
            gpt/datapool-A  ONLINE       0     0     0
            gpt/datapool-B  ONLINE       0     0     0
            gpt/datapool-C  ONLINE       0     0     0
            gpt/datapool-D  ONLINE       0     0     0
        logs
          gpt/ZIL           ONLINE       0     0     0
        cache
          gpt/L2ARC         ONLINE       0     0     0

errors: No known data errors

  pool: rootpool
 state: ONLINE
status: The pool is formatted using a legacy on-disk format.  The pool can
        still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
        pool will no longer be accessible on software that does not support feature
        flags.
  scan: none requested
config:

        NAME                  STATE     READ WRITE CKSUM
        rootpool              ONLINE       0     0     0
          gpt/rootpool-disk0  ONLINE       0     0     0

errors: No known data errors

[tvwes]

In uts/common/fs/zfs/arc.c gebeurt het.
In l2arc_write_eligible(uint64_t spa_guid, arc_buf_hdr_t *ab) wordt er gekeken buffers in de L2ARC kunnen worden opgenomen.
De eerste test:if (ab->b_spa != spa_guid) {
ARCSTAT_BUMP(arcstat_l2_write_spa_mismatch);
return (B_FALSE);
Wat hier volgens mij getest wordt is of deze buffer hoort bij de spa van de l2arc vdev.
De mismatch komt volgens mij doordat er buffers van de rootpool opzich klaar staan om naar de l2arc gaan. Maar de l2arc hoort bij datapool vandaar de mismatch.

[FireDrunk]

Klinkt heel aannemelijk! Thanks!

[tvwes]

@Firedrunk
Will it blend (mijn hypothese)?
Heb jij uberhaubt reads van je rootpool? Nu wordt het even opletten. Want ik heb hier al wel eens flink woorden over gekregen bij een klant. Die "beschuldigde" mij ervan dat er van alles niet deugde want "de load op het san was zo laag". De L2ARC had ik lokaal staan en absorbeerde gigantische veel reads. Waardoor inderdaad de load op het san naar beneden ging. Dit is wel een paar jaar terug, dus onbekend maakt onbemind. Waar gaat deze annecdote naar toe?
Je moet meten op de juiste plaats. In dit geval niet kijken naar de physieke disk (/io's) maar naar de vfs laag. ZFS zit daar tussenin. De ARC en L2ARC voorkomen dat de read van de physieke disk komt. Op zich heel simpel en een logisch maar een paar jaar geleden had niemand ooit hiervan gehoord.

Wat is de uptime van dit systeem? Draaien er nog andere processen? Wat is het OS nu precies?
Als je DTrace hebt, dan heb je zo de oorzaak van de reads van de rootpool boven water.

[FireDrunk]

Waar lees jij dat ik me druk maak om mijn root pool? Die werkt prima. Wat ik eerder gek vind is dat mijn ARC 'maar' 37G is, en mijn L2ARC al met 74G gevuld is. Je zou verwachten dat ARC altijd eerst voor 100% gevuld wordt, en dan pas de L2ARC gevuld wordt. In mijn geval is de L2ARC groter maar krijgt heel weinig cache hits (volgens zfs-stats). ARC hits zijn wel 97%+, wat weer prima is.

Wat ik ook weer raar vind is dat mijn random reads nog steeds niet boven de 8MB/s uit komen. Als mijn ARC goed werkt zou de complete benchmark van CrystalDiskMark in ARC moeten staan, en zou er dus op volle snelheid data geleverd moeten kunnen worden.

Enige reden die ik kan bedenken is dat iSCSI gewoon niet sneller kan over deze netwerkkaarten.
Maar aan de andere kant vind ik 3000 iops een beetje weinig over gigabit...

[tvwes]

Dat las ik niet dat jij je druk maakt over je rootpool. En ik heb dat niet beweerd, noch dat je rootpool kapot is. Ik formuleerde als hypothese gezien het feit dat je maar twee zpool's hebt en waarvan de datapool alleen een L2ARC en het grote aan SPA mismatches dat er ook reads op de rootpool moeten plaatsvinden. Het zou leuk zijn om dit te testen.
Jij poste een vraag zonder context, OS etc. Ik heb daar het beste van gemaakt op basis van de beperkt info en mijn beperkte kennis van FreeBSD als dat uberhaubt het OS is.
Om meer duidelijkheid te krijgen over deze spa mismatches op jouw systeem stelde ik een diagnose procedure voor, met een annecdote waarom je naar de VFS layer moet kijken en niet naar de drives.
Ipv even antwoord te geven op mijn vragen en voorstel kom je weer nieuwe zaken. Ik wil best wat uitzoeken en je helpen maar dan moet jij ook wat doen, goed lezen en even antwoord geven is het minste lijkt me.

Je kennis over de werking van de ARC en L2ARC is beperkt zo te lezen. Zonder nu volledig in de details te treden. Een paar dingen. Niet trace gebaseerde benckmarks zoals crystaldiskmark hebben weinig baat bij de L2ARC. De L2ARC heeft een feedrate, die het aantal opgeslagen blokken per sec beperkt. Sommige patronen zoals streams komen uberhaubt niet in de ARC. Dan heb je nog verschillende lists in de ARC waaronder ARC_mru en ARC_mfu. De lengte van deze lists wordt dynamisch bepaald zolang alles bij elkaar maar in de ARC past. Afhankelijk van je io patroon komt je data in de MRU of MFU of L2ARC. Tot slot zijn er een heleboel tuneable via sysctl of zfs properties. Echter daar aan zitten draaien zonder te weten wat het probleem is en waar die knoppen voor dienen pakt vaak averechts uit.

Ik kan je niet helpen met het tunen voor dit soort benchmarks.

[Compizfox]

@CiPHER: Zijn er ook ergens release notes van 9.2-001 te vinden? Ik kan ze niet vinden...

[Verwijderd]

Pas als de officiele aankondiging komt, en dan is het wachten op de i386 (32-bit) build die er nu ook is. Die is al deels geupload zie ik, dus de aankondiging zal ook wel snel volgen, met informatie over 9.2-001. Er zijn nieuwe services, andere verbeteringen. ZFS v5000 support met LZ4-compressie zijn de voornaamste verbeteringen.

Enig puntje waar je rekening mee moet houden is dat je je bootcode moet updaten naar system provided indien je wilt booten van v5000 ZFS pools met actieve features. Dit kun je doen achteraf en terwijl de pool actief is; de bootcode heeft zijn eigen partitie. Op de disks pagina klikken op je disk en dan op de roodkleurige freebsd-boot partitie. Daar zie je knoppen onderaan. Je moet 9.2-001 draaien om de system provided knop te zien.

[Compizfox]

LZ4 ziet er wel nice uit. http://freebsdnow.blogspo...re-highlight-zfs-lz4.html

[FireDrunk]

tvwes schreef op woensdag 06 november 2013 @ 16:18:
Dat las ik niet dat jij je druk maakt over je rootpool. En ik heb dat niet beweerd, noch dat je rootpool kapot is. Ik formuleerde als hypothese gezien het feit dat je maar twee zpool's hebt en waarvan de datapool alleen een L2ARC en het grote aan SPA mismatches dat er ook reads op de rootpool moeten plaatsvinden. Het zou leuk zijn om dit te testen.
Jij poste een vraag zonder context, OS etc. Ik heb daar het beste van gemaakt op basis van de beperkt info en mijn beperkte kennis van FreeBSD als dat uberhaubt het OS is.
Om meer duidelijkheid te krijgen over deze spa mismatches op jouw systeem stelde ik een diagnose procedure voor, met een annecdote waarom je naar de VFS layer moet kijken en niet naar de drives.
Ipv even antwoord te geven op mijn vragen en voorstel kom je weer nieuwe zaken. Ik wil best wat uitzoeken en je helpen maar dan moet jij ook wat doen, goed lezen en even antwoord geven is het minste lijkt me.

Je kennis over de werking van de ARC en L2ARC is beperkt zo te lezen. Zonder nu volledig in de details te treden. Een paar dingen. Niet trace gebaseerde benckmarks zoals crystaldiskmark hebben weinig baat bij de L2ARC. De L2ARC heeft een feedrate, die het aantal opgeslagen blokken per sec beperkt. Sommige patronen zoals streams komen uberhaubt niet in de ARC. Dan heb je nog verschillende lists in de ARC waaronder ARC_mru en ARC_mfu. De lengte van deze lists wordt dynamisch bepaald zolang alles bij elkaar maar in de ARC past. Afhankelijk van je io patroon komt je data in de MRU of MFU of L2ARC. Tot slot zijn er een heleboel tuneable via sysctl of zfs properties. Echter daar aan zitten draaien zonder te weten wat het probleem is en waar die knoppen voor dienen pakt vaak averechts uit.

Ik kan je niet helpen met het tunen voor dit soort benchmarks.

Excuus als ik bot klink, is niet de bedoeling, zit al een paar dagen te kutten met mijn server, en het wil niet echt lukken. Ik heb in een heel aantal versnipperde posts mijn setup wel uitgelegd, ik denk dat ik er (onterecht) van uitgegaan ben dat mensen dat oppikken.

Ik ben blij dat je meedenkt, laat dat duidelijk zijn

Even een complete situatieschets:

NAS:
Opteron 4164EE 6-Core 1.8Ghz
4*16GB 1066Mhz ECC Registered geheugen
SuperMicro H8SCM-F

4*4TB Seagate HDD.15 voor eigen data, bevat meerdere filesystems waaronder 1 voor het ESXi cluster.
840Pro 128GB opgedeeld in 3 partities (20GB rootpool, 8GB ZIL, 75GB L2ARC)
(Ja ik weet dat de 840Pro geen goede SSD voor ZIL is, maar dit bord heeft geen mSATA poort waar mijn Crucial M500 mSATA in kan )

ESXi Cluster
Node 1:
Core i5-3550
Intel DQ77MK
2*4GB 1600Mhz geheugen
Aangesloten via Intel Pro 1000 PT

Node 2 en 3:
Intel G1610
ASRock H77-Pro4-M
2*8GB 1600Mhz geheugen (maar loopt toch op 1333Mhz vanwege de Celeron's).
Onboard Realtek 8111E

Doel:
Een compleet enterprise ghetto cluster maken, dus inclusief: vCenter, DRS, HA, Active Directory, SCCM, SCOM, SCSM (eventueel), Backup, Anti-Virus, Group Policies.
Samen met HyperBart heb ik een Site-to-Site VPN waarover wij AD babbelen en meer van dat soort dingen willen opzetten. Doel is een beetje om te leren hoe je een multi site enterprise omgeving opzet.

Wat al gedaan:

NAS geinstalleerd met ZFSguru en ik had eerst het ESXi cluster draaien via NFS, maar dat performde voor geen meter. Daarom overgestapt op iSCSI en dat werkt al een stuk beter. Ik ben nu aan het kijken of ik het maximale van de opstelling bereikt heb, of dat ik via tuning nog meer kan bereiken dan de 3000 iops die ik nu haal voor Random Reads en Random Writes.

Ik zie heel vaak een getal van 80MB/s op mijn L2ARC terwijl die vele malen sneller kan schrijven. Ook zijn mijn sequentiele writes via iSCSI bijna altijd 80MB/s (terwijl ook die wel sneller zou moeten kunnen...)

Daarnaast zijn mijn ZIL en L2ARC scores voor single queue depth aan de magere kant (in mijn ogen). Het uitzetten van sync helpt daar niet veel bij. Ook de manier waarop mijn ARC momenteel gevuld word ten opzichte van mijn L2ARC begrijp ik niet.

Wat ik snap van L2ARC is dat zodra een pagina uit ARC ge'evict' zou worden, en er is nog ruimte op L2ARC (even los van MRU/MFU), word deze naar L2ARC gezet. Ik zou dus verwachten dat ten alle tijden als er nog ruimte in de ARC is, dat die eerder gevuld wordt dan L2ARC.

De statistieken tonen aan dat dit niet het geval is. Daar gingen mijn vorige posts over.

Ik ben niet benchmark geil, ik zou alleen wel graag willen dat zodra mijn ESXi cluster echt een aantal VM's gaat hosten, mijn storage dit bij kan houden. Als je mij een betere benchmark (methode) kan aanraden om onder een gevirtualiseerde host uit te voeren, graag! Ik kan natuurlijk altijd Intel IOMeter gebruiken, maar dat is een stuk minder overzichtelijk dan CrystalDiskMark is.

Tot zover mijn rant

[]Byte[]

FireDrunk schreef op woensdag 06 november 2013 @ 18:00:
[...]
Even een complete situatieschets:
[...]
Doel:
[...]

Whahahahahahaha.... En ik maar denken dat ik de enige ben op deze wereldbol die een dergelijke 'hobby' heeft.
* ]Byte[ wordt regelmatig voor ... uitgemaakt als ze mijn thuisopstelling zien.

Als ik je dan nog een tip mag geven voor HA-projecten...
Ik heb al eens een Trixbox-cluster gemaakt met DRDB in VM's (met HA en DRS op ESX 4.x)
Trixbox is inmiddels helaas al tijdje verouderd en niet meer gecontinueerd in de CE-editie.
Ik ga nu denk ik over naar Elastix, en gaat dus ook mijn volgende HA-projectje worden.
pfSense heeft alles al in zich (CARP) voor een uitstekende cluster-config.
Maar ik wil nu eerst mijn ZFS-box goed hebben.

[Quindor]

Ik ben op dit moment ook bezig om mijn thuis situatie om te bouwen. Op dit moment is dat nog 1 enkele ESXi server met daarin 4xSSD + 8x2TB. De disks zijn inmiddels 3,5 jaar oud dus zijn naar mijn mening aan vervaning toe. De nieuwe hardware is onderweg (een deel van de disks heb ik al en die staan op dit moment een extended (surface scan) test te doen).

De complete setup zal ik later een keertje hier neer gaan zitten, maar ik zit met het volgende. Na het proberen van NAS4Free, FreeNAS en ZFSguru ben ik er op uitgekomen dat ZFSguru wil gaan draaien. Beide andere producten werken voor mijn doen niet zoals ik het zou willen of zonder bugs.

ZFSguru doet het inmiddels prima in een test VM en bevalt goed dus als de hardware in elkaar zit (i5-2500, 24GB Memory, 5x4TB WD Green, 1x180GB Vertex2 + 1x240GB Vertex2) dan zou ik graag een RAIDz1 maken met daarop LZ4 compressie.

De NAS zal voornamelijk gebruikt worden voor documenten, foto's, downloads en VMware DataStore. De ESXi server gaat zelf ook 1TB+ aan SSD's hebben om high performance VM's direct daar vanaf te draaien.

Maar de vraag is, is dat al verstandig LZ4 compressie te gebruiken? Ik lees er alleen nog maar goede berichten over maar realiseer me ook dat het nog vrij nieuw is. Qua CPU verwacht ik dat mijn CPU meer dan krachtig genoeg is en dat de SSD's met L2ARC en ZIL de eventuele performance impact zouden kunnen opvangen dus het gaat me vooral om stabiliteit en of het al verstandig is dit te doen met ZFSguru. De GUI geeft iig enkele rode meldingen na het upgraden van de pool maar werkt verder nog wel prima.

[FireDrunk]

]Byte\[ schreef op woensdag 06 november 2013 @ 21:46:
[...]

Whahahahahahaha.... En ik maar denken dat ik de enige ben op deze wereldbol die een dergelijke 'hobby' heeft.
* ]Byte[ wordt regelmatig voor ... uitgemaakt als ze mijn thuisopstelling zien.

Als ik je dan nog een tip mag geven voor HA-projecten...
Ik heb al eens een Trixbox-cluster gemaakt met DRDB in VM's (met HA en DRS op ESX 4.x)
Trixbox is inmiddels helaas al tijdje verouderd en niet meer gecontinueerd in de CE-editie.
Ik ga nu denk ik over naar Elastix, en gaat dus ook mijn volgende HA-projectje worden.
pfSense heeft alles al in zich (CARP) voor een uitstekende cluster-config.
Maar ik wil nu eerst mijn ZFS-box goed hebben.

Ach ja, ik gebruik het cluster ook altijd om mijn trainingen op te oefenen. Nou heb je daarvoor natuurlijk niet zo'n asociaal dik cluster nodig, maar het helpt wel... Dus het is 90% hobby, en 10% nodig voor het werk

[tvwes]

@Firedrunk
Bedankt voor de uitleg, geen rant. Prima spullen. Is er budget om evt iets aan te schaffen? Ik moet er even over denken. Dan moeten er wat knopen worden doorgehakt. Misschien kunnen we wat meer tweakers helpen.

Een keuze is gelukkig al gemaakt: wel of niet de all-in-one.

Er zullen compromissen moeten worden gesloten en keuzes als in:

1. "snel, goedkoop, betrouwbaar" , kies er twee
2. NFS of iSCSI?
3. ZFS OS keuze. Ik werk zelf met de Illumos code base, voor dit is dan OmniOS het meest geschikte. Daar kan ik een ieder het beste mee helpen. Pure FreeBSD wil ik ook nog overwegen maar daarna haak ik af. Als je alles werkend hebt kan je altijd nog voor een schil oid gaan.
4. Network HA en multipath?
5. Is dit alleen fun, studie, poc? Of is dit een opmaat naar productie?

Toelichting

1. Klinkt als een open deur, maar is een taaie. Neem de sync writes van de NFS client van ESXi. Je kan de sync=disable vlag zetten, maar dan verlies je de betrouwbaarheid. Als je een SLOG toevoegd kost dat geld, zeker als je het goed wil doen. Kies maar.
2. Weer geen gemakkelijke keuze. Beide protocollen hebben voor en nadelen. Qua performance hoeven ze niet voor elkaar onder te doen. De verschillen, die er wel degelijk zijn, zijn soms subtiel. Maar ook hele makkelijke praktische verschillen. Zoals met NFS heb je geen gedoe met luns en je hebt direct toegang tot je vm's in ZFS.
3. Met een appliance als Nexenta, ZFSguru kan je prima al je storage regelen. Maar het is een black box. Als je wilt weten waarom iets niet performed heb je DTrace nodig. En dan is de keuze minder reuze, praktisch blijven dan FreeBSD en OmniOS over. Het voordeel van OmniOS is dat het zo dicht mogelijk bij de bron blijft en dat ik je het beste kan helpen. Als je eenmaal een werkende config hebt kan je altijd nog naar iets anders.
4. Heb je meerdere switches? Of wil je dat?
5. Hoe erg is het als de boel down gaat? Kan je makkelijk een nieuwe config maken zonder dat mensen gaan klagen?

Verplicht leesvoer:

• iscsi en vsphere
• nfs en vsphere

[FireDrunk]

tvwes schreef op donderdag 07 november 2013 @ 10:42:
@Firedrunk
Bedankt voor de uitleg, geen rant. Prima spullen. Is er budget om evt iets aan te schaffen? Ik moet er even over denken. Dan moeten er wat knopen worden doorgehakt. Misschien kunnen we wat meer tweakers helpen.

Een keuze is gelukkig al gemaakt: wel of niet de all-in-one.

Er zullen compromissen moeten worden gesloten en keuzes als in:

1. "snel, goedkoop, betrouwbaar" , kies er twee
2. NFS of iSCSI?
3. ZFS OS keuze. Ik werk zelf met de Illumos code base, voor dit is dan OmniOS het meest geschikte. Daar kan ik een ieder het beste mee helpen. Pure FreeBSD wil ik ook nog overwegen maar daarna haak ik af. Als je alles werkend hebt kan je altijd nog voor een schil oid gaan.
4. Network HA en multipath?
5. Is dit alleen fun, studie, poc? Of is dit een opmaat naar productie?

Toelichting

1. Klinkt als een open deur, maar is een taaie. Neem de sync writes van de NFS client van ESXi. Je kan de sync=disable vlag zetten, maar dan verlies je de betrouwbaarheid. Als je een SLOG toevoegd kost dat geld, zeker als je het goed wil doen. Kies maar.
2. Weer geen gemakkelijke keuze. Beide protocollen hebben voor en nadelen. Qua performance hoeven ze niet voor elkaar onder te doen. De verschillen, die er wel degelijk zijn, zijn soms subtiel. Maar ook hele makkelijke praktische verschillen. Zoals met NFS heb je geen gedoe met luns en je hebt direct toegang tot je vm's in ZFS.
3. Met een appliance als Nexenta, ZFSguru kan je prima al je storage regelen. Maar het is een black box. Als je wilt weten waarom iets niet performed heb je DTrace nodig. En dan is de keuze minder reuze, praktisch blijven dan FreeBSD en OmniOS over. Het voordeel van OmniOS is dat het zo dicht mogelijk bij de bron blijft en dat ik je het beste kan helpen. Als je eenmaal een werkende config hebt kan je altijd nog naar iets anders.
4. Heb je meerdere switches? Of wil je dat?
5. Hoe erg is het als de boel down gaat? Kan je makkelijk een nieuwe config maken zonder dat mensen gaan klagen?

Verplicht leesvoer:

• iscsi en vsphere
• nfs en vsphere

1) Bang for buck met veelal consumer spullen. Ik ben niet vies van geld uit geven, (hence de Opteron) maar het moet weer geen duizenden euro's kosten. Snelheid mag wel wat inboeten op performance uiteraard, maar ik wil niet zitten treuzelen bij installatie.
2) Voor nu is iSCSI het enige wat performed, technisch gezien zou ik liever NFS gebruiken omdat dat beheer veel makkelijker maakt (je kan vanaf de storage bij je VM's)
3) VMware Cluster HA, rest niet.
4) Ik heb nu ZFSguru met PCBSD PKG repo's. Dit maakt updaten gemakkelijker. Belangrijkste keuze voor mij is dat het goed te updaten is. Ik wil graag een gepatched systeem. Ook de installatie van dingen als SickBeard / CouchPotato zijn wel handig
5) Veelal fun, beetje studie, en absoluut geen productie. Het mag best uitvallen, het is meer dat ik leer hoe HA daadwerkelijk werkt (en wanneer neit ).

[Bigs]

@FireDrunk, je noemt eigenlijk maar 1 netwerkadapter in je systemen. Ik zou als je iSCSI gaat doen altijd een los storage netwerk opzetten, en jumbo frames inschakelen. Anders loop je vrij snel tegen een bottleneck aan als je een data gaat transferren van of naar je VM's. Bovendien kun je dan leuk testen wat er gebeurt als je storage verbinding wegvalt

[]Byte[]

FireDrunk schreef op donderdag 07 november 2013 @ 09:24:
[...]

Ach ja, ik gebruik het cluster ook altijd om mijn trainingen op te oefenen. Nou heb je daarvoor natuurlijk niet zo'n asociaal dik cluster nodig, maar het helpt wel... Dus het is 90% hobby, en 10% nodig voor het werk

Klinkt als muziek in de oren
Het is voor mij ook altijd leer-materiaal om te kijken of het ook is toe te passen bij mijn klanten.

[tvwes]

@Bigs
Klopt helemaal, met 10G ethernet kan je alles(storage, vmotion, kernel traffic etc) wel in vlans pakken en dan hopen dat je met je switch voldoende QoS kan afdwingen. Maar 1xgbit is wat weinig voor dit alles. En zelfs twee is wat weinig. Eigenlijk alleen met vier gbit links kan je goed alles tegelijk doen: storage io, vmotion en vm traffic.

@Firedrunk
Maar twee nics gaat ook wel, als je maar in je achterhoofd houd dat hier het eerst compromis is gemaakt. Minder storage en vmotion performance tegen minder kosten. Dit is dan de eerste uitgave, een intel nic en eentje extra voor de zekerheid. Wat voor een switch heb je?

aangaande je antwoorden

1. Goed dat je niet voor een dubbeltje op de eerste rang wilt zitten, dat werkt niet. Wat nu treuzelen met de installatie? Je moet er wel wat voor doen en wat leren. Even installeren kost het minste tijd, testen en benchmarken kost tijd.
2. We kunnen toch prima allebei testen? Ik probeer zoveel mogelijk NFS te gebruiken en dat performed prima. Maar we kunnen niets testen zonder een goede doelstelling en tools (lees DTrace)
3. Ik weet niets van vmware cluster HA
4. Prima als je straks zfsguru wilt gebruiken. Ik kan je daar niet mee helpen. Ik kan alleen helpen met OmniOS en hoogstens FreeBSD. Je kan je zpool straks overzetten.
5. Ik snap alleen je HA wens niet helemaal. Op storage en netwerk gebied heb je helemaal niks van HA. Of bedoel je dat je straks in (windows) vm's allemaal HA of cluster dingen wilt gaan doen.

[HyperBart]

Bigs schreef op donderdag 07 november 2013 @ 11:29:
@FireDrunk, je noemt eigenlijk maar 1 netwerkadapter in je systemen. Ik zou als je iSCSI gaat doen altijd een los storage netwerk opzetten, en jumbo frames inschakelen. Anders loop je vrij snel tegen een bottleneck aan als je een data gaat transferren van of naar je VM's. Bovendien kun je dan leuk testen wat er gebeurt als je storage verbinding wegvalt

Check, ik heb dezelfde cluster als FD, en ik heb nu het probleem dat alles over één NIC verloopt. Ik startte zonet een deploy van een template: baf, mijn host wordt opeens onbereikbaar. SSH sessie die naar die host openstond = gedaan, time out. Host is gewoon weg uit vCenter...

Toch eens kijken of ik ergens bepaald verkeer kan limiteren...

[tvwes]

@HyperBart
Wonderlijk, heb je daar een stapel van die FC kaarten liggen zit je te tobben met 1xgbit.

Zal ik eens kijken of ik wat van je FC kaarten kan maken. Ik zit er aan te denken om 1 quad in de nas te zetten en dan goedkope 1 poortjes in de clients. Dan kan je max 4 clients via fc op je nas aan sluiten. Dat zou op zich een hele interessante config kunnen zijn.

Voordat iedereen gaat stuiteren, de toepassing van deze setup is beperkt maar als VMFS datastore voor kan het leuk. Als ik het goed werkend krijg dan kan je voor een redelijk bedrag een goede perfomance halen. Het is in ieder geval goedkoper dan 10GE. Het helpt ook niet bij vmotion.
Het is dus geen netwerk en je kan er ook niet snel backups mee maken of wat dan ook. Het is een block-based SAN niks TCP/IP niks netwerk niks delen.
Het andere wat denk ik nu al zeker weet is dat het alleen op iets van Illumos of Solaris gaat werken. Volgens mij zijn er nog geen echte COMSTAR alternatieven op FreeBSD of Linux.

[FireDrunk]

Ik heb de FC kaartjes liggen HyperBart helpt alleen met adverteren

FreeBSD heeft CAM en Linux heeft ook een target layer (ben even de naam kwijt).
Nadeel van allemaal is dat het command line / config troep is, terwijl Comstar via een webinterface kan.

[ Voor 56% gewijzigd door FireDrunk op 07-11-2013 16:42 ]

[analog_]

LIO van Datera, helaas is mijn IB adapter niet ondersteund maar dat is het comstar equivalent. Er is een CLI syntax dacht ik.

[tvwes]

@analog_
Bedankt, dat klopt. Ik weet minder van Linux dan van illumos en freebsd. Als zelf Linux een device niet ondersteund is het wel een hele obscure...
Enig idee over performance van LIO vs Comstar?

[FireDrunk]

IB is zelf gewoon een beetje obscuur

[tvwes]

@Firedrunk
Config files zijn reproduceerbaar en uitwisselbaar. Waarom denk je dat iedere serieuze toepassing een CLI heeft? Zelfs windows heeft dat tegenwoordig. Hoe denk je dat een grote installatie wordt gedaan? Door op iedere machine vakjes aan te gaan klikken? Als de performance naar je zin is kan je weer terug naar je GUI.
Ik kan je alleen helpen via een CLI, scripts etc. niet met klikkerdeklik.

Heb je al de links die ik je stuurde gelezen? En heb je al een idee over je netwerk? Met 1 nic in je ESX gaat het in ieder geval niet lukken.

Voor de rest van je spullen:

• die opteron is eigenlijk voor jouw doel volkomen over de top, niet lullig bedoeld. Er zijn veel mensen die deze load prima afkunnen met de g1610 celeron. Pas als de 10GE of IB of FC hebt en voldoende verkeer gaat deze machine wat doen.
• Wat je zou kunnen doen is werk verplaatsen van vsphere naar de nas. Als je applicatie voor linux of bsd beschikbaar is kan je deze bijna altijd wel in een jail of zone draaien. Dan skip je het netwerk en heb je maximale performance. Onderschat dit niet, massa's bedrijven consolideren nu compute en storage in een node. Ik heb ongeveer alles in een zone draaien, super veilig, maximale performance. Ik ben grotendeel weg bij esx.
• Nog leuker is om zelf je windows machines op je NAS te draaien. Dat kan tegenwoordig op Illumos, daar zit een port van linux KVM in.
• Je SSD wordt nu niet echt handig ingezet. Als SLOG blijft het traag. En met 64GB ram heb je geen L2ARC nodig. Waar ik aan zit te denken is om de ssd als een grote rootpool te configuren. En de ongebruikt ruimte als snelle vm store te gebruiken. De draaiende disk zijn dan een langzame pool. Je kan voor je windows een 32GB boot disk maken en voor je data een D: drive op de draaiende disken.
• Zonder goede SLOG blijft het behelpen. Ik denk dat je dan beter af bent met sync=disabled of WCD=uit op je ISCSI lun en die checkdisk op de koop toe moet nemen als je je systeem niet netjes uitzet. Je schreef het zelf al, geen ramp bij crash.
• Vergeet ook niet die SLOG alleen maar schrijven is. Je 840Pro is geen 3700 van Intel, die vindt dat veel minder erg.

Ik denk dat ik je nu voldoende input heb gegeven. Om met een plan te komen. Het is tenslotte het grote ZFS topic en daar zijn we een beetje van afgedwaald.

[FireDrunk]

Snap ik wel, maar een webinterface die alle WWID meuk voor je doet is wel handig.

1) Die Opteron is helemaal niet zo snel, 1.8Ghz en veel cores is juist beter geschikt voor storage dan voor vmware. Bovendien is het een van de weinige betaalbare oplossingen die 64GB geheugen aan kan. (en ik heb hem tweedehands goedkoop op de kop getikt )
2) Snap ik, maar ESXi draaien is het doel (de applicatie) op zich. Ik ga binnenkort op training, en daarna wil ik gelijk door op examen, ik weet al een hele hoop van ESXi, maar juist het cluster verhaal is mij nog niet helemaal duidelijk. En ESXi draaien op de NAS is juist net weer onmogelijk
3) Helemaal gelijk, ik volg de ontwikkelingen van bhyve dan ook nauwkeurig, zodra dat bruikbaar word, wil ik daar zeker gebruik van gaan maken.
4) Helemaal mee eens, maar dan wil ik wel eerst een goede backup in place hebben. Bovendien heb ik tijdens veel van de benchmarks die ik reeds liet zien, sync al uit staan, en performde het nog steeds voor geen meter.
5) Een 840Pro doet 90000 random IOPS schrijven, ik snap dat ZIL bijna altijd Q=1 (single queue depth) is, waardoor er effectief nog maar 25000 iops overblijven. Vandaar dat ik de 3000 die ik zie erg laag vind.
Het is een beetje alsof je met je Ferrari die 250KM/h haalt op het circuit je nog maar 50KM/h haalt op de openbare weg. Tuurlijk zal het uitmaken dat er ander wegdek ligt, maar 120KM/h moet je toch zeker kunnen halen...

Mijn plan is juist ook om mijn setup een beetje als voorbeeld te laten werken voor anderen om de kracht van ZFS te laten zien. Dat gaat nu een beetje de mist in

[analog_]

tvwes schreef op donderdag 07 november 2013 @ 17:21:
@analog_
Bedankt, dat klopt. Ik weet minder van Linux dan van illumos en freebsd. Als zelf Linux een device niet ondersteund is het wel een hele obscure...
Enig idee over performance van LIO vs Comstar?

FireDrunk schreef op donderdag 07 november 2013 @ 17:44:
IB is zelf gewoon een beetje obscuur

IB is een dure premature baby. De evolutie in FC heeft het nut van IB in niet-HPC genekt volgens mij. De kaart werkt wel onder linux, enkel niet met dat framework. Terugkijkend op de afgelopen jaren zou ik IB afraden voor thuisgebruikers. FC is een beter ondersteunde oplossing.

Ze werken ook met OI met comstar, dat is waar ik naar toe wil zodra ik die IB switch heb.

[tvwes]

@analog_
leuke vergelijking. IB is een dure niche maar voor wie daarin mee wilt gaan bied het unieke features. Het is een kruising van FC en Ethernet. En met comstar gaat het natuurlijk altijd goed komen, mits er drivers voor zijn. Ik vind het persoonlijk helemaal super. Als je echt een extreem netwerk wilt bouwen dan is IB de oplossing. Ik weet dat DCE allerlij eigenschappen probeert over te nemen van IB maar het blijft een lapmiddel in vergelijking tot IB.

Denk je eraan dat je een switch regelt MET INGEBOUWDE subnetmanager.

[analog_]

Ja, helaas is dat niet altijd zo duidelijk. Ik mik nu op een ISR 9024d dacht ik. Gevoelsmatig komt die het dichtst bij mijn Voltaire 400 ex d/mellanox mhgh28 kaarten wat betreft generatie en dus hopelijk ook compabiliteit.

[ Voor 47% gewijzigd door analog_ op 07-11-2013 20:10 ]

[]Byte[]

Misschien een totale noobie vraag, maar ik snap 'm echt ff niet.... (en kan het antwoord ook niet vinden)

Op de eerste 2 SSD's heb ik partities gemaakt, buiten de boot-partitie, voor l2arc en slog.
Nu had ik begrepen dat het beste is om de slog in RAID1 te zetten en de l2arc in RAID0.
Als ik ze in een pool aanmaak in RAID1 en RAID0, kan ik ze niet toevoegen aan de datapool (pool1) waarin de 10 WD's zitten.

- heb ik het goed begrepen door de l2arc in RAID0 en de slog in RAID1 te zetten?
- hoe kan ik ze in de pool van de WD's erbij zetten?

Dit lijkt niet te willen werken:

code:

[ssh@zfsguru ~]$ zpool status
  pool: boot_mirror
 state: ONLINE
status: The pool is formatted using a legacy on-disk format.  The pool can
    still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
    pool will no longer be accessible on software that does not support feature
    flags.
  scan: none requested
config:

    NAME           STATE     READ WRITE CKSUM
    boot_mirror    ONLINE       0     0     0
      mirror-0     ONLINE       0     0     0
        gpt/boot   ONLINE       0     0     0
        gpt/boot2  ONLINE       0     0     0

errors: No known data errors

  pool: l2arc
 state: ONLINE
status: The pool is formatted using a legacy on-disk format.  The pool can
    still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
    pool will no longer be accessible on software that does not support feature
    flags.
  scan: none requested
config:

    NAME          STATE     READ WRITE CKSUM
    l2arc         ONLINE       0     0     0
      gpt/l2arc   ONLINE       0     0     0
      gpt/l2arc2  ONLINE       0     0     0

errors: No known data errors

  pool: pool1
 state: ONLINE
status: The pool is formatted using a legacy on-disk format.  The pool can
    still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
    pool will no longer be accessible on software that does not support feature
    flags.
  scan: none requested
config:

    NAME           STATE     READ WRITE CKSUM
    pool1          ONLINE       0     0     0
      raidz2-0     ONLINE       0     0     0
        gpt/dsk1   ONLINE       0     0     0
        gpt/dsk2   ONLINE       0     0     0
        gpt/dsk3   ONLINE       0     0     0
        gpt/dsk4   ONLINE       0     0     0
        gpt/dsk5   ONLINE       0     0     0
        gpt/dsk6   ONLINE       0     0     0
        gpt/dsk7   ONLINE       0     0     0
        gpt/dsk8   ONLINE       0     0     0
        gpt/dsk9   ONLINE       0     0     0
        gpt/dsk10  ONLINE       0     0     0

errors: No known data errors

  pool: slog
 state: ONLINE
status: The pool is formatted using a legacy on-disk format.  The pool can
    still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
    pool will no longer be accessible on software that does not support feature
    flags.
  scan: none requested
config:

    NAME           STATE     READ WRITE CKSUM
    slog           ONLINE       0     0     0
      mirror-0     ONLINE       0     0     0
        gpt/slog   ONLINE       0     0     0
        gpt/slog2  ONLINE       0     0     0

errors: No known data errors

code:

[ssh@zfsguru ~]$ zpool add pool1 cache l2arc
cannot open 'l2arc': no such GEOM provider
must be a full path or shorthand device name
[ssh@zfsguru ~]$

Waar sla ik deze plank mis?

[Verwijderd]

Je hebt nu drie pools gemaakt; dat is niet de bedoeling. Je hebt één pool met je hardeschijven, daar voeg je L2ARC cache en SLOG aan toe. L2ARC kan via de ZFSguru interface. SLOG ook maar daar zit in beta8 een bug in. Je kunt echter beide ook prima via de command line doen:

zpool add pooll cache gpt/l2arc gpt/l2arc2
zpool add pooll log mirror gpt/slog gpt/slog2

Merk op dat bij het 1e command gewoon twee devices worden gegeven achter elkaar. Dit betekent dat ze in "RAID0" ofwel interleaving komen te staan. Het 2e commando echter heeft het woord 'mirror' voor de twee devices. Hierdoor voeg je de SLOG als mirror toe.

Voordat je deze commando's kunt gebruiken, moet je de pool op de devices destroyen. Je hoofdpool kun je behouden.

[tvwes]

@analog_
Je hebt de 9024d-M nodig die heeft de ingebouwd subnet manager.

[ Voor 32% gewijzigd door tvwes op 07-11-2013 20:58 ]

[GioStyle]

Ik heb een standaardsetup nas gebouwd met zfs:

Asus H87I Plus
Intel Pentium G3320
2x 4GB Corsair Vengeance
6x 3TB WD Green

code:

[root@Hades ~]# zpool status                                                                                                        
  pool: Media                                                                                                                       
 state: ONLINE                                                                                                                      
  scan: none requested                                                                                                              
config:                                                                                                                             
                                                                                                                                    
        NAME                                            STATE     READ WRITE CKSUM                                                  
        Media                                           ONLINE       0     0     0                                                  
          raidz2-0                                      ONLINE       0     0     0                                                  
            gptid/52f74ef5-2c31-11e3-8044-d43d7eda344e  ONLINE       0     0     0                                                  
            gptid/53d6d547-2c31-11e3-8044-d43d7eda344e  ONLINE       0     0     0                                                  
            gptid/54babf56-2c31-11e3-8044-d43d7eda344e  ONLINE       0     0     0                                                  
            gptid/55a7cf5b-2c31-11e3-8044-d43d7eda344e  ONLINE       0     0     0                                                  
            gptid/5682341b-2c31-11e3-8044-d43d7eda344e  ONLINE       0     0     0                                                  
            gptid/5749a1b2-2c31-11e3-8044-d43d7eda344e  ONLINE       0     0     0                                                  
                                                                                                                                    
errors: No known data errors                                                                                                        
[root@Hades ~]# dd if=/dev/zero of=/mnt/Media/test.file bs=1m count=20k                                                             
20480+0 records in                                                                                                                  
20480+0 records out                                                                                                                 
21474836480 bytes transferred in 49.864041 secs (430667792 bytes/sec)                                                               
[root@Hades ~]# dd if=/mnt/Media/test.file of=/dev/null bs=1m count=20k                                                             
20480+0 records in                                                                                                                  
20480+0 records out                                                                                                                 
21474836480 bytes transferred in 69.152881 secs (310541458 bytes/sec)                                                                                                                 
[root@Hades ~]#

Uit bovenstaande maak ik op:

Reads: 296MB/s
Writes: 410MB/s

Op zich heb ik niets te klagen, Gbit lan trek ik hiermee makkelijk vol, alleen ik vraag me nog steeds het volgende af:

Als ik op internet rondkijk naar zfs raidz2 benchmarks, dan valt me op dat de reads altijd hoger zijn dan de writes. Echter is het in mijn geval andersom. Waar kan dit aan liggen? Ik ben daar gewoon nieuwsgierig naar.

[]Byte[]

Verwijderd schreef op donderdag 07 november 2013 @ 20:28:
[...]

Tnx. Werkt!
Ik zat weer eens veel te moeilijk te denken...

code:

[root@zfsguru ~]# zpool status pool1
  pool: pool1
 state: ONLINE
status: The pool is formatted using a legacy on-disk format.  The pool can
    still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
    pool will no longer be accessible on software that does not support feature
    flags.
  scan: none requested
config:

    NAME           STATE     READ WRITE CKSUM
    pool1          ONLINE       0     0     0
      raidz2-0     ONLINE       0     0     0
        gpt/dsk1   ONLINE       0     0     0
        gpt/dsk2   ONLINE       0     0     0
        gpt/dsk3   ONLINE       0     0     0
        gpt/dsk4   ONLINE       0     0     0
        gpt/dsk5   ONLINE       0     0     0
        gpt/dsk6   ONLINE       0     0     0
        gpt/dsk7   ONLINE       0     0     0
        gpt/dsk8   ONLINE       0     0     0
        gpt/dsk9   ONLINE       0     0     0
        gpt/dsk10  ONLINE       0     0     0
    logs
      mirror-1     ONLINE       0     0     0
        gpt/slog   ONLINE       0     0     0
        gpt/slog2  ONLINE       0     0     0
    cache
      gpt/l2arc    ONLINE       0     0     0
      gpt/l2arc2   ONLINE       0     0     0

errors: No known data errors
[root@zfsguru ~]#

[Quindor]

Iemand die toevallig wat kan roepen over LZ4 in combinatie met de huidige ZFSguru? Ik lees er alleen maar positieve verhalen over maar vroeg me af of iemand hier er al ervaring mee had. Ik had de vraag al eerder gesteld, maar wil de pool straks gaan bouwen. Nieuwe ESXi server zit inmiddels in elkaar en bezig met die installatie.

[Kortfragje]

Hmm geen ervaring met zfs guru, heb LZ4 hier wel aan staan (ZFS on Linux) en het werkt uitstekend. Snelheid wordt niet heel erg beinvloed (bottleneck zit hier toch bij de gigabit LAN) en compressie is bijna vergelijkbaar met je files in een rar stoppen.

Corruptie niets van gezien (ook nog niet lang genoeg voor gedraaid denk ik). Voordat ik het aan zette een uitgebreide zoektocht gedaan en daar voor zover ik kon zien geen sporen van vinden via google.

Als er iemand wel andere ervaringen heeft, wil ik die ook graag horen!

[Verwijderd]

LZ4 ben ik nu aan het testen met een grote dataset. Het is multithreaded en bloedsnel zeker als je meerdere cores hebt. Mijn quadcore slurpt in elk genoeg de data erdoorheen; heel even load spikes naar 0% idle (dus volle belasting op alle 4 cores) als ik heel snel poll. Echte benchmarks moet ik nog draaien met een RAM-drive (mdconfig -a -t malloc).

Maar ik denk dat ik nu al kan zeggen dat LZ4-compressie heel leuk is om op je hele pool in te schakelen. Binary data die al is ingepakt zul je nauwelijks iets vanaf snoepen, mijn resultaat is 2GB op 462GB tot zover:

code:

ezrx/share/project-lz4  refcompressratio      1.00x                    -
ezrx/share/project-lz4  written               460G                     -
ezrx/share/project-lz4  logicalused           462G                     -
ezrx/share/project-lz4  logicalreferenced     462G                     -

Maar toch betekent dit dat je blindelings compressie kunt inschakelen. Daar waar het nut heeft zal het automatisch zijn werk doen zonder dat je heel precies moet bepalen oh die dataset krijgt compressie. Dus voor diegenen die de compressie pool-wide willen inschakelen is dat mogelijk. Ik raad het aan altijd op datasets te doen, zoals 'share' die ZFSguru automatisch maakt voor je.

Wel rekening mee houden:

• Je moet je pool upgraden naar v5000 voor LZ4-compressie, dus je kunt nooit meer terug naar v28!
• Je moet je bootcode updaten om te kunnen booten van v5000
• Simpelweg LZ4-compressie inschakelen doet niets met je bestaande data. Alleen nieuw geschreven data wordt gecomprimeerd. Wil je je bestaande data ook van compressie voorzien, moet je de directory kopiëren naar een nieuw filesystem met LZ4-compressie ingeschakeld. Daarna kun je het origineel verwijderen.

Maar ik ben zeker enthousiast; dit is compressie waar we wat aan hebben.

[Compizfox]

Ik heb vandaag ook geupgrade naar ZFSGuru 9.2-001, en heb ZFS v5000 (feature flags) met LZ4 ook werkend Wel heb ik wat opmerkingen:

• Is het niet mogelijk in ZFSGuru om gewoon te upgraden naar een nieuwe versie van FreeBSD? Ik word er een beetje moe van om telkens een reinstall te moeten doen. Sommige configfiles worden wel bewaard (die van Samba bijvoorbeeld) maar heel veel ook niet. Elke nieuwe release van FreeBSD moet ik dus m'n users opnieuw aanmaken (en toevoegen in smbpasswd), m'n software opnieuw installeren, m'n rc.conf terugzetten (die wordt ook niet bewaard) en ga zo maar door. Beetje omslachtig imho.
• De webinterface lijkt ZFS v5000 nog niet te herkennen. Bij "Upgrade pool" staat in de lijst wel de mogelijkheid om te upgraden naar SPA 29 t/m 34, maar die zijn helemaal niet beschikbaar voor FreeBSD als ik het goed begrijp. Het is uiteindelijk wel gelukt om de pool te upgraden met een handmatige

  zpool upgrade Pool

  . Momenteel herkent de webinterface de poolversie ook niet als 5000: Er staat gewoon "-".
• Op precies dezelfde manier herkent de webinterface ook LZ4 niet. Ik heb het dus handmatig in moeten stellen met

  zfs set compression=lz4 Pool

  . De webinterface geeft nu aan dat ik geen compressie enabled heb, terwijl dat wel het geval is.

[Kortfragje]

LZ4 werkt hier ook erg goed, zoals gezegd, plaintekst files (die ik tot voor kort in een rar archief stopte (met het (kleine) risico dat een corrupt bitje je archief verknald) worden heel klein).

Reeds gecomprimeerde files is inderdaad weinig te behalen.

Overzichtje:

code:

root@gertdus-server:~# zfs get all | grep refcompress
zfspool                refcompressratio      1.09x                   -
zfspool/backup         refcompressratio      1.10x                   -
zfspool/software       refcompressratio      1.05x                   -
zfspool/werk           refcompressratio      1.73x                   -

[ Voor 8% gewijzigd door Kortfragje op 08-11-2013 00:31 . Reden: Typo ]

[Compizfox]

@CiPHER hoe benchmark je dat LZ4 nu dan? Aangezien er in de ZFSGuru benchmarkfunctie geen support voor is.

[FREAKJAM]

Ik wil mijn pool straks eigenlijk gebruiken om mijn media op te slaan, echter ben ik ook aan het kijken waar ik mijn (ESXi) snapshots het beste kan opslaan. Ik ga een aparte SSD inzetten die gaat fungeren als ESXi datastore, en ik wil graag daily/weekly snapshots wegschrijven van de VM's.

Is het verstandig/mogelijk deze snapshots weg te schrijven naar mijn RAIDZ2 zfs pool? Lijkt mij dat je backups beter kan wegschrijven naar een andere server/workstation. Mijn huidige HTPC heeft 2 schijven van 2TB die straks komen te vallen omdat ik een nieuwe ESXi bak ga bouwen en ik zou dus ESXi snapshots kunnen wegschrijven naar deze disken. Nadeel is dat ik mijn HTPC dan ook 24/7 moet aanzetten en daar heb ik eigenlijk weinig zin in.

Is het snapshotten van mijn VM's trouwens voldoende? Of moet ik op ZFS-niveau ook snapshotten? (En is dit raadzaam als ik grote mkv files ga storen?)

[ Voor 10% gewijzigd door FREAKJAM op 08-11-2013 15:59 ]

[Xudonax]

Wat betreft compressie heb ik even zitten spelen op mijn ZFS volume waarop mijn VM images staan, en ik moet zeggen dat ik aardig tevreden ben. Het enige dat wat minder is, is dat de writes niet héél snel zijn. Maar ik verdenk daar meer mijn VM platform (KVM met SATA emulatie) van dan dat ik vermoed dat het aan ZFS ligt. Wel zijn alle writes sync, wat voor mijn gevoel een stuk sneller (!!) is dan de standaard optie. En dit terwijl de ZIL op een Intel 320 SSD staat, wat niet eens zo'n heel groot snelheidsmonster is.

code:

NAME            PROPERTY       VALUE     SOURCE
tank/vm_images  compression    lzjb      local
tank/vm_images  compressratio  1.52x     -
tank/vm_images  referenced     72,4G     -
tank/vm_images  sync           always    local

Zou een andere compressie hier een (significante) verbetering in kunnen krijgen?

[FireDrunk]

sync=always is sneller??

Dat moet ik proberen

[Xudonax]

Ik weet niet of het echt sneller is, maar het voelt een stuk sneller aan in de Windows VMs die ik erop heb draaien. Ben benieuwd wat jouw resultaten zijn

[FireDrunk]

Was net een desktop vm aan het installeren, zal zo even een benchmark draaien.
Mijn ZIL draait iig overuren.

[ Voor 16% gewijzigd door FireDrunk op 08-11-2013 09:35 ]

[Quindor]

Cool, LZ4 compression it is!

Inmiddels snorren mijn nieuwe ESXi 5.5 server en de ZFSguru doos content sinds vannacht (kuch ochtend, beetje laat geworden 05:30)

Snel nog eventjes getest en uiteindelijk het werkende gekregen dat mijn ESXi machine via 2x 1Gbit crosscables een iSCSI LUN op de ZFSguru doos zien en deze via round-robin load-balancing gepresenteerd krijgt! Very nice!

Ik heb mijn design qua L2ARC en ZIL ook helemaal uitgedacht en wat ik wens te doen met mijn RAID sets, HDD's, etc.

Waar ik nu alleen nog mee zit. Ik heb 5x WD40EZRX die ik in 1 grote RAIDz wil gaan plaatsen. Nu heb ik al heel veel proberen te lezen over de APM settings, WDidle3 en de mogelijkheden binnen ZFSguru/FreeBSD, maar 1 ding kom ik niet helemaal uit.

De disks in de deze set mogen van mijn spindown doen, alle 24Hr zaken zullen of direct op SSD's of op een andere set disken komen te draaien.

Mijn keuzes volgens mij:
- Spindown/head parking via WD's laten verlopen, instellen op 300 seconden (instellen middels WDidle3)
- WDidle3 APM op 255 zetten en Spindown via ZFSguru laten verlopen (Ze zijn verbonden met een M1015)

Beide valt iets voor te zeggen en ik neig naar de laatste omdat je er dan gewoon wat meer controle over hebt. Maar, ik lees ook weer dat ZFS de spinup staggered doet en dat het dus een redelijke tijd gaat duren voordat je pool weer online is als deze aangesproken word. Het lijkt me dat de eerste methode daar wellicht minder of geen last van heeft?

Dus beide opties zijn een beetje nadelig lijkt het. Ook weet ik niet zeker of "OS initiated spindown" hetzelfde is als de standaard "head parking" feature die erin zit? Duurt beide even lang om vanuit terug te komen?

Heeft iemand antwoord op deze vragen? Ik weet dat het al veel besproken is maar ik heb nooit een eenduidig antwoord kunnen vinden helaas.

[tvwes]

@Quindor
Je vermoeden is juist, de hogere laag moet dit regelen niet de drives zelf. Het OS weet altijd meer dan de drives. Met zfs kunnen er bijvoorbeeld, vanuit de drive gezien, plots nog wat writes komen. ZFS probeert de async writes te aggregeren in een grote stream. ZFS en OS weten dat deze writes eraan komen, de drives niet. Zal het in de praktijk veel uitmaken, nee vermoed ik.
Headparking is niet hetzelfde als spindown. Bij headparking worden de koppen ingetrokken om beschadiging te voorkomen, het hangt een beetje van de drive af welk marketing verhaal eromheen vertelt wordt. De echte besparing komt van de spindown, dat zorgt altijd voor headparking, de hele motor wordt dan uitgezet. Afhankelijk van de implementie van het opstarten, of geen implementie (laat de drives automatisch opstarten) of wel een implementie die weet dat de drives uit stonden en ze al dan niet staggered start. Dit laatste kost wel geruime tijd voordat alles weer opgestart is. Maar voorkomt grote inschakelpieken wat je bij de "domme" variant wel hebt. Bij een krappe voeding kan dit dit problemen leiden.

[FireDrunk]

Iemand hier die weet hoe je performance statistieken uit istgt(onder FreeBSD) kan krijgen?

[ Voor 9% gewijzigd door FireDrunk op 08-11-2013 13:39 ]

[tvwes]

@Firedrunk,

zo te zien in istgt-20121028.tar.gz helemaal niks live. In istgt_log.h zie ik alleen wat logging staan maar niet echt verbruik statistieken. Misschien dat je met een gekunstelde dtrace wat kan tellen. Maar ik zie zo niet direct iets van snmp, kstats of wat dan ook. Het enige wat ik kan bedenken is wat postprocessing op je logs.

Wederom, installeer OmniOS en je kan je helemaal suf loggen en plotten. Ik kan nu op een klein test bakje 35664 statussen en tellers uitlezen. Het aantal varieert, extra disk erbij? Weer een groep disk tellers erbij even simpel gezegd. Wat jij zoekt heet observability, de mogelijkheid om een systeem te kunnen bekijken zonder het te verstoren. Solaris, illumos en dus ook OmniOS zijn daar echt heel goed in. Het is volledig verweven in het OS. Voor ieder onderdeel is wel een tellertje.
Overigens FreeBSD heeft heel veel van deze zaken overgenomen van Solaris. Het grote verschil wat dit forum aangaat tussen FreeBSD en OmniOS is dat alle gewenste storage technieken bij OmniOS in de kernel zitten en alles wat daarin zit is te "observen". Bij FreeBSD komen bepaalde storage/NAS features voor een gedeelte van externe applicaties zoals istgt. Al die applicaties missen de obervability features die kernel of heel goed geporte apps wel hebben.

[Verwijderd]

Als FreeBSD al die dingen heeft (DTrace) waarom zou je dan naar een stervend platform als Solaris willen gaan? Alleen om te testen?

istgt stelt weinig voor; er komt een nieuwe iSCSI service. http://lists.freebsd.org/...013-September/044237.html

@Quindor; jij hebt LSI controller dus APM instellen lukt dan niet meer. Dat betekent dat je enkel via WDIDLE je timer kunt aanpassen. Overigens is het helemaal niet zo'n groot issue meer; de headparking is allang niet meer zo agressief als vroeger out-of-the-box. Ik zit zonder tweaks nu op 5000 cycles op 550 uur; ongeveer 10 cycles per uur. Zou zeker nog lager kunnen en instellen op 200 of 300 seconden is wellicht beter, maar het is geen absolute noodzaak lijkt me.

Overigens is APM instelling 255 uitschakelen; het 254 wat je wilt gebruiken dat betekent max performance minimum power savings en dat schakelt headparking helemaal uit.

[Compizfox]

Quindor schreef op vrijdag 08 november 2013 @ 10:47:
Snel nog eventjes getest en uiteindelijk het werkende gekregen dat mijn ESXi machine via 2x 1Gbit crosscables een iSCSI LUN op de ZFSguru doos zien en deze via round-robin load-balancing gepresenteerd krijgt! Very nice!

Nice, maar het kan nog beter:
Mijn ZFS-systeem draait gevirtualiseerd onder mijn ESXi-doos, dus mijn overige VM's op die ESXi-doos hebben een 10 Gb/s-verbindingen met ZFSGuru

[tvwes]

Lezen! Ik schreef dat FreeBSD een hoop heeft geport van destijd Solaris en nu illumos, maar het is lang niet op het niveau van illumos. Solaris doe ik geen uitspraken over. Maar aangaande illumos wel, er zijn tal van bedrijven die hun hele onderneming op die kernel hebben gebouwd, nadat de source van Solaris destijds via de CDDL licentie is vrijgegeven. Zo stervend is het dus echt niet. De meeste van deze bedrijven zijn destijds opgericht door voormalige SUN teams. Bijvoorbeeld de uitvinders van ZFS of DTrace voor dom houden lijkt mij van de nodige zelfoverschatting getuigen. Die mensen weten donders goed waar zij hun tijd in steken.

OmniOS en FreeBSD lijken sprekend op elkaar. Voor een storage platform ontlopen ze elkaar weinig. Echter OmniOS is in sommige zaken veel beter dan FreeBSD. Bijna alle applicaties zijn gewoon beschikbaar voor OmniOS via oa pkgsrc. Als het er is voor FreeBSD dan zal het er ook wel zijn voor OmniOS. Wisselen tussen die twee kost weinig moeite als je je beperkt tot een storage platform. Als je ook nog eens allerlij applicaties gaat runnen dan loop je tegen verschillen aan. Bijv zones vs jails. Maar de applicatie config blijft natuurlijk hetzelfde.

Het enige wat ik promoot is de beste tool voor de klus te gebruiken. Veel mensen gebruiken OpenBSD als firewall/gateway. Waarom niet iets anders? Waarom gebruiken de meeste mensen niet FreeBSD als desktop? Omdat windows of osx net even wat geschikter is, helemaal voor een laptop. Hier vragen mensen om statistieken, willen weten waarom config x, y of z het niet goed doet. Om die zaken op te lossen stel ik voor de beste tool te pakken. Ik heb ook elke keer geschreven dat je als je eenmaal een goede config hebt prima kan switchen naar een ander platform, mits dat je ZFS versie en features ondersteunt. Er is dus geen enkele vendor lockin of wat dan ook. Als iemand niet kan wisselen tussen FreeBSD en OmniOS kan je uberhaubt maar beter bij ZFSguru oid blijven, maar moet dan niet moeilijk gaan doen.

Voor alle duidelijkheid, er is niks mis met FreeBSD ik gebruik het zelf ook. Alleen kan je sommige vragen/problemen die hier gesteld worden niet of omslachtig oplossen, terwijl dit met OmniOS wel makkelijk te doen is. Als het probleem is opgelost export je de pool en switch je weer terug naar je andere OS. Waar is de tweaker mentaliteit?

[FireDrunk]

Ik vraag me af of je zo bold kan zeggen dat als een package er voor BSD is, het er ook wel voor OmniOS zou zijn. Waar haal je dat vandaan? Als dat *echt* zo is, word de keuze inderdaad heel anders.

Ik heb een paar (tiental) pagina's terug een hele grote vergelijking gemaakt tussen alle ZFS platforms, en daar OmniOS niet in meegenomen. Als het zo makkelijk is als jij zegt, zou ik hem graag toevoegen.

CiPHER is bezig met dat diagram om te zetten naar HTML waardoor het op zfsguru.com kan. Misschien moeten we even in conclaaf gaan wat te doen.

[tvwes]

FireDrunk schreef op vrijdag 08 november 2013 @ 16:24:
Ik vraag me af of je zo bold kan zeggen dat als een package er voor BSD is, het er ook wel voor OmniOS zou zijn. Waar haal je dat vandaan? Als dat *echt* zo is, word de keuze inderdaad heel anders.

De bronnen:
Allereerst pkgsrc, vergelijkbaar met FreeBSD ports

• prebuild binaries van pkgsrc

Dan de IPS packages

• Wiki met alle OmniOS IPS repos
• Alle stable packages

Je kan IPS en pkgsrc naast elkaar gebruiken.

Ik heb een paar (tiental) pagina's terug een hele grote vergelijking gemaakt tussen alle ZFS platforms, en daar OmniOS niet in meegenomen. Als het zo makkelijk is als jij zegt, zou ik hem graag toevoegen.

Ik heb alles wat ik nodig heb in IPS of pkgsrc gevonden. Postgress, courier, unbound, proftpd, etc. Het enige wat ik volledige standalone op een CentOS server heb draaien is FreeSwitch, de voip softswitch. Ik heb nooit geprobeerd dat naar iets van BSD om te zetten. Daarnaast is alles van voip zo gevoelig dat ik het lekker op een op eigen bordje laat draaien. Of allerlei HTTP/torrent/nzb meuk beschikbaar is weet ik niet. In principe zou alles wat niet C of C++ is zonder al te veel problemen gewoon moeten draaien. Zoals Perl, Python, PHP apps etc. Zodra het native wordt moet het geport worden. Is iets geport naar FreeBSD dan kan het vaak met heel weinig inspanning geport worden naar illumos.

Download die ISO en overtuig jezelf. Het is niet moeilijker dan FreeBSD. OS installer starten, paar vragen beantwoorden en klaar. Daarna packages toevoegen.

Een disclaimer:
Deze OS'en zijn allemaal prima te installeren en te onderhouden als je maar leest. En even in een (b)log(boek) bij houd wat je allemaal hebt gedaan. Dan kan je het later weer makkelijk reproduceren. Voor mij is storage/zfs gesneden koek en ik kan me voorstellen dat het in het begin allemaal een beetje intimiderend kan zijn. Maar als je doel gericht te werk gaat, als vandaag wil ik mijn ups aansluiten of een ftp server configuren dan is het allemaal prima te doen. Ja het is meer werk dan klikkerdeklik maar je krijgt veel meer vrijheid en mogelijkheden daarvoor terug.

En nog maar een disclaimer:
Out-of-the-box is het allemaal voldoende secure voor thuis. Een attacker kan via tal van andere vectoren (gehachte windows client, router, gekraakte wifi etc) veel makkelijker kwaad aanrichten. Voordat een attacker toegang heeft, laat staan root, op een standaard OmniOS doos moet er heel wat gebeuren. Het wordt een ander verhaal als je allerlei applicaties gaat installeren. Maar diezelfde applicaties zijn op ieder platform kwetsbaar. Mocht je meer security willen dan zijn er prachtig frameworks als RBAC om de zaak verder dicht te timmeren. Maar dat gaat echt veel te ver voor thuis. Deze disclaimer lijkt op die van OpenBSD.

PS Heb je nog nagedacht over de FC oplossing?

[FireDrunk]

Ik heb even gemist wat je met FC wilde?

[Xudonax]

Ik heb zelf even wat benchmarks gedraait, en het verschil is groter dan ik dacht, maar niet direct merkbaar in normaal gebruik. In normaal gebruik zou ik juist zeggen dat sync=always een stuk soepeler is. Maar dat komt waarschijnlijk doordat een IO request dan tussen 0 en 500ms afgehandeld is, terwijl dit met sync=standard rustig 6 seconden (!!) kan duren. Maar ik vermoed dat dit voor een groot gedeelte ook komt door de Intel 320 SSD die erin zit. Zijn hier snellere SSDs voor te vinden?

In ieder geval, de screenshots van Crystaldiskmark:



Boven is met sync=always en onder is sync=standard.

Testopzet is ZFS on Linux 0.6.1, met kernel 3.11.1 (Fedora 19 x64) en KVM. Alles is up to date. De client is Windows 8.1 Pro met Mediacenter, volledig up to date, met alles via VirtIO dat via VirtIO kan lopen, dus disk, netwerk etc.

[FireDrunk]

Ik ga er even vanuit dat die 1.4GB/s uit RAM komt en niet van storage?

6MB/s is niet heel erg veel, ik haal nog wel meer. Die Intel 320 zit daar ongeveer op zijn max (3000 iops single queue writes).

Ik vraag me af of het misschien zin heeft om naar ZoL over te stappen omdat Linux wel een in-kernel iSCSI daemon heeft.

Is er al iemand die ZoL tegenover BSD gezet heeft inclusief een ZIL? Ik vraag me af of dat verschil maakt.

Om CiPHER nog maar even te quoten:

Verwijderd schreef op vrijdag 08 november 2013 @ 14:41:
istgt stelt weinig voor; er komt een nieuwe iSCSI service. http://lists.freebsd.org/...013-September/044237.html

Ik heb daar al naar gekeken, maar iedereen roept nog dat het absoluut niet productierijp is, en het draait alleen op FreeBSD10-CURRENT en het mist nog een aantal functies dacht ik. Bovendien moet je het zelf in je kernel compilen.

[ Voor 73% gewijzigd door FireDrunk op 08-11-2013 20:42 ]

[Verwijderd]

De nieuwe iSCSI kernel stack op basis van CAM Target Layer (CTL) zit al in FreeBSD 10 en 11 en wordt geshipped met 10.0, ZFSguru krijgt 10.0-001 systeemversie binnen een week verwacht ik. Dus dan kun je er al gemakkelijk mee spelen.

Bovendien is de documentatie ook al geschreven:
http://www.freebsd.org/do...ndbook/network-iscsi.html

Kortom, istgt is vanaf nu legacy en we hebben een nieuwe kernel-level iSCSI implementatie. Hoera!

[Quindor]

Verwijderd schreef op vrijdag 08 november 2013 @ 20:52:
De nieuwe iSCSI kernel stack op basis van CAM Target Layer (CTL) zit al in FreeBSD 10 en 11 en wordt geshipped met 10.0, ZFSguru krijgt 10.0-001 systeemversie binnen een week verwacht ik. Dus dan kun je er al gemakkelijk mee spelen.

Bovendien is de documentatie ook al geschreven:
http://www.freebsd.org/do...ndbook/network-iscsi.html

Kortom, istgt is vanaf nu legacy en we hebben een nieuwe kernel-level iSCSI implementatie. Hoera!

Cool, ik ben benieuwd! Wat gaat het grootste voordeel zijn boven istgt wat we nu hebben? Deze draait toch ook binnen de kernel als ik het me goed herinner?

[Verwijderd]

Nee istgt is gewoon een normale applicatie. En met tyfus enorm irritante configuratie (3 config files). Kernel level is leuk maar in dit geval extra leuk omdat het direct op FreeBSD's nieuwe CAM-infrastructuur inhaakt. Dat is zeg maar de unification van ATA en SCSI onder één dak en vormt daarmee een modern storage framework, iets waar FreeBSD best goed in is zoals ook met het GEOM-framework wat I/O modules zijn die op elkaar aansluiten.

Performance optimalisatie van de nieuwe kernel-level iSCSI implementatie moet nog wel gebeuren, en er wordt nog gewerkt aan RDMA (iSER) ondersteuning. Maar vanaf 10.0 volledig te gebruiken. Integratie in ZFSguru zal ook niet lang meer duren.

[Xudonax]

Damn, FreeBSD/ZFSGuru word steeds interessanter! Vooral omdat ik best wel veel heb aan een efficiente, simpele en goede iSCSI target implementatie...

[Verwijderd]

De nieuwe native iSCSI-implementatie van FreeBSD 10 is ook te gebruiken als initiator en kun je daarop met allerlei GEOM-frameworks weer bewerken (zoals encryptie) voordat je hem aan bijvoorbeeld ZFS geeft.

[Xudonax]

De initiator zit bij mij op mijn MacBook, maar het is wel super tof dat het kan. Opent een hoop leuke mogelijkheden. Ik vraag me af hoe het zou gaan als je een mirrored RAIDZ(1,2,3) pool hebt, waarbij iedere RAIDZ(1,2,3) set op een eigen systeem draait. Theoretisch zou je dan dus een systeem eruit kunnen gooien zonder dat dat serieus problemen geeft.

Nuttig is wat anders, maargoed

FireDrunk schreef op vrijdag 08 november 2013 @ 20:39:
Ik ga er even vanuit dat die 1.4GB/s uit RAM komt en niet van storage?

6MB/s is niet heel erg veel, ik haal nog wel meer. Die Intel 320 zit daar ongeveer op zijn max (3000 iops single queue writes).

Daar ga ik eerlijk gezegd ook vanuit. Dat komt ofwel uit de ARC of de L2ARC. Het eerste is gewoon DDR3 RAM, het tweede zit op dezelfde Intel 320. Eigenlijk zit ik een beetje te kijken naar een SSD die ik kan "opofferen" om L2ARC/SLOG te zijn in plaats van die Intel 320. Maar welke dan? De Crucial M500 doet 35.000 IOPS volgens de Crucial site, maar er waren volgens mij twijfels bij hoe goed de powersave caps daar werken... Ik weet het nog niet

EDIT: Was ik toch bijna CiPHER's Tweakblog vergeten Eens even de specs van van die aanbevolen SSD opzoeken
EDIT2: Damn, die doet ook maximaal 11.500 IOPS... Schiet niet heel erg op. Hoewel de 80GB variant volgens Intel wel 7.000 IOPS haalt. Dat is toch al ruim 2x zo snel als wat ik nu heb. Even goed over nadenken...

[ Voor 16% gewijzigd door Xudonax op 08-11-2013 22:50 ]

[Verwijderd]

Zelf ben ik overigens ook van plan om encryptie in de nieuwe ZFSguru iSCSI-implementatie te verwerken. Dat is de eenvoudigste en 'beste' manier om encryptie toe te passen op dit moment. FreeBSD heeft AES-NI hardware accelerated AES-256 encryptie, en met Ivy Bridge+ ook een hardware Random Number generator (RNG). Ook als je geen AESNI hebt kun je met multicore software implementatie best ver komen. De encryptie die in Oracle Solaris >v28 zit ingebakken is maar software single core, helemaal niet zo interessant dus performance-wise.

Hoe hot is encryptie in de ZFS-community? Het aanbod is denk ik nog ietwat lastig. Als dit makkelijker zou worden b.v. via iSCSI zou het dan populairder kunnen worden? Zeker nu processoren dit hardwarematig kunnen versnellen tegen meer dan 1GB/s (vaak het dubbele) zou je denken van wel.

[FireDrunk]

Xudonax schreef op vrijdag 08 november 2013 @ 22:40:
De initiator zit bij mij op mijn MacBook, maar het is wel super tof dat het kan. Opent een hoop leuke mogelijkheden. Ik vraag me af hoe het zou gaan als je een mirrored RAIDZ(1,2,3) pool hebt, waarbij iedere RAIDZ(1,2,3) set op een eigen systeem draait. Theoretisch zou je dan dus een systeem eruit kunnen gooien zonder dat dat serieus problemen geeft.

Nuttig is wat anders, maargoed


[...]


Daar ga ik eerlijk gezegd ook vanuit. Dat komt ofwel uit de ARC of de L2ARC. Het eerste is gewoon DDR3 RAM, het tweede zit op dezelfde Intel 320. Eigenlijk zit ik een beetje te kijken naar een SSD die ik kan "opofferen" om L2ARC/SLOG te zijn in plaats van die Intel 320. Maar welke dan? De Crucial M500 doet 35.000 IOPS volgens de Crucial site, maar er waren volgens mij twijfels bij hoe goed de powersave caps daar werken... Ik weet het nog niet

EDIT: Was ik toch bijna CiPHER's Tweakblog vergeten Eens even de specs van van die aanbevolen SSD opzoeken
EDIT2: Damn, die doet ook maximaal 11.500 IOPS... Schiet niet heel erg op. Hoewel de 80GB variant volgens Intel wel 7.000 IOPS haalt. Dat is toch al ruim 2x zo snel als wat ik nu heb. Even goed over nadenken...

Je kijkt helemaal verkeerd. ALLE fabrikanten adverteren met IOPS als het gaat om een queue van een heel aantal commando's diep. SSD's halen alleen hun maximale snelheid, als ze meerdere commando's tegelijk krijgen om af te handelen.

ZFS' ZIL is een single queue synced operatie. Daarmee haal je dus nooit het maximale van je SSD. Je kan beter CrystalDiskMark benchmarks opzoeken, en kijken naar de rechterkolom, 3e vakje van boven, dat is 4K Random Write Q=1, dat zijn benchmarks die het dichtst tegen de daadwerkelijke snelheid van je ZIL aan gaan komen, maar verwacht in de praktijk nog minder.

Goed voorbeeld:


Hier moet je dus naar donkergroen(/blauw w/e) kijken (4K writes)
Hier zie je dus heel grappig, dat het verschil tussen een (oude) 840 en een 840 Pro maar heel weinig is bij Q=1!

@CiPHER, Ik ben erg benieuwd naar de nieuwe systeemversie van ZFSguru!
Zou je gelijk even de PKG repo's kunnen fixen?

[ Voor 5% gewijzigd door FireDrunk op 09-11-2013 08:48 ]

[tvwes]

Firedrunk heeft helemaal gelijk het enige wat mist is de latency in zijn post.
In het grote DIY topic had ik wat ZIL en SLOG uitleg en SSD selectie criteria als reactie op een post daar gepost. Maar hier sluit het prima bij aan.

tvwes in "Het grote DIY RAID NAS topic deel 3"

[tvwes]

@Firedrunk

Ik vroeg of je het een leuk plan zou vinden om ipv gbit fibrechannel te gebruiken. Ik wil wel kijken of ik een mini san kan maken met die kaarten van je.

[FireDrunk]

Tuurlijk, graag zelfs. Ik krijg ze namelijk niet aan de praat onder ESXi. Ik verwachtte dat LSI wel drivers zou leveren, maar stom, niet even gecontroleerd...

Stuur maar een DM.

[tvwes]

Waar aan zit te denken is ipv van extra gbit nic's te kopen. Je een goedkope ondersteunde single port koopt per esxi machine. De quad maakt dan een point to point per poort naar iedere esxi host. Is dat wat?
Ik weet niet helemaal zeker of ik die quad aan de gang krijg maar ik wil het wel proberen. Als ik dit werkend krijg en jij hebt een snelle SAN dan verkoop je die quads als warme broodjes.

Hier kan je kijken welke FC hba in ESXi supported zijn.
http://www.vmware.com/res...rch.php?deviceCategory=io
Als je een kaart kiest wil je dan een model kiezen wat low profile is? Door de bracket om te wisselen kan je dan van een lage een hoge maken. Ik heb namelijk een lage nodig. En ik wil liever niet straks weer voor mezelf een andere kaart moeten valideren.

[syl765]

@CiPHER

Kernel level is leuk maar in dit geval extra leuk omdat het direct op FreeBSD's nieuwe CAM-infrastructuur inhaakt.

Bedoel je de nieuwe camlock infrastructuur geschreven door Alexander Motin?
Als dat zo is, dan is dit niet beschikbaar in 10.0, maar word deze code pas gemerged na de release van 10.0.
Dus 10.1 zal de eerste ondersteunde versie worden met het nieuwe camlock subsyteem.
Het is nu wel beschikbaar in HEAD (FreeBSD 11)
En ik geloof dat er al heel wat mooie resultaten behaald zijn met het nieuwe sub systeem.

http://people.freebsd.org/~mav/camlock.pdf

Lees zijn CFT

Hi.

I would like to invite more people to review and test my patches for
improving CAM and GEOM scalability, that for last six months you could
see developing in project/camlock SVN branch. Full diff of that branch
against present head (r255131) can be found here:
http://people.freebsd.org...es/camlock_20130902.patch

Heavy CAM changes there were focused on reducing scope of SIM lock to
only protecting SIM internals, but not CAM core. That allows many times
reduce lock congestion, especially on heavily parallel request
submission with GEOM changes below. More detailed description of changes
you could see here earlier:
http://docs.freebsd.org/cgi/mid.cgi?520D4ADB.50209

GEOM changes were focused on avoiding switching to GEOM up/down threads
in relatively simple setups where respective classes don't require it
(and were explicitly marked so). That allows save on context switches
and on systems with several HBAs and disks talk to them concurrently
(that is where CAM locking changes are handy). Such classes were
modified to support it: DEV, DISK, LABEL, MULTIPATH, NOP, PART, RAID
(partially), STRIPE, ZERO, VFS, ZFS::VDEV, ZFS::ZVOL and some others.
Requests to/from other classes will be queued to GEOM threads same as
before.

Together that allows to double block subsystem performance on high (at
least 100-200K) IOPS benchmarks, allowing to reach up to a million total
IOPS, while keeping full compatibility with all major ABIs/KBIs.

Since we are already in 10.0 release process and changes are quite big,
my plan is to wait and commit them to head branch after the freeze end,
and then merge to stable/10. I hope the release process will go on
schedule to not delay this work for another six months.

This work is sponsored by iXsystems, Inc.

gr
Johan

[]Byte[]

tvwes schreef op zaterdag 09 november 2013 @ 11:55:
@Firedrunk

Ik vroeg of je het een leuk plan zou vinden om ipv gbit fibrechannel te gebruiken. Ik wil wel kijken of ik een mini san kan maken met die kaarten van je.

Hmmmm...
Ik heb nog twee QLogic QLE2460's (HP) liggen.
Weet je toevallig of die ook makkelijk in T/I te zetten zijn?
Of moet ik ergens een switch op de kop zien te tikken?

[FireDrunk]

T/I mode heeft weinig met een switch te maken. Je hebt altijd een kaart nodig in Target mode. Volgens mij doen die QLogic's allemaal target mode, maar pin me er niet op vast. In FreeBSD volgens mij sowieso, of het ook zo is onder andere OSen durf ik even niet te zeggen.

Die QLE's zijn ook onder ESXi ondersteund volgens mij.

[]Byte[]

FireDrunk schreef op zaterdag 09 november 2013 @ 23:38:
Die QLE's zijn ook onder ESXi ondersteund volgens mij.

Klopt. Ik heb dat al gecontroleerd met de link van een paar posts terug.
Ik ga deze week wel eens wat onderzoek doen. (moet eerst de 2e kaart nog zien te vinden)
Als ik er wat verder mee ben zal ik het jullie laten weten.

[FireDrunk]

Kak, zojuist mijn ZFSguru webinterface gesloopt. Blijkbaar is het toevoegen van een PKG repo en daarvan updaten niet goed voor ZFSguru... Mochten mensen denken dat dat slim is, niet doen dus

[Verwijderd]

Ben eigenlijk benieuwd wat je precies doet dan? Wat is de (PHP-)error in de lighttpd error log? ZFSguru heeft eigenlijk alleen php5 en php5-session nodig (en php5-gd voor graphics) - dus weinig dependencies. Ben benieuwd hoe je het kunt slopen dan.

[FireDrunk]

Sudo updaten volgens mij. ZFSguru is iig zijn permissies kwijt.

[ Voor 65% gewijzigd door FireDrunk op 11-11-2013 14:28 ]

[Verwijderd]

Vreemd. Je weet zeker dat de config file sudoers niet is overschreven? Want normaliter zouden dit soort dingen gewoon moeten werken.

[FireDrunk]

## WARNING!!!
## Changes to this file will be lost during system updates. Please set
## custom option files in the /usr/local/etc/sudoers.d/ directory instead.
##

Logisch dus. Ik heb www en share al toegevoegd aan wheel groep (ja ja, niet secure, i know )
Maar dat helpt nog niet.

Ah, gefixt, wheel heeft default geeneens sudo rechten.

[ Voor 32% gewijzigd door FireDrunk op 11-11-2013 14:32 ]

[Verwijderd]

Die tekst staat niet in mijn sudoers file; maar misschien kan de config naar de sudoers.d directory zodat het niet overschreven wordt. Toch wel een beetje vreemd dat bij het updaten van een package een configuratiebestand wordt overschreven. Dat is zeker niet standaard het geval, meestal blijven die onaangetast. Dit is eigenlijk de eerste keer dat ik anders hoor.

Indien je het nodig hebt, de inhoud van sudoers op ZFSguru:

code:

# Disable logging to /var/log/messages
Defaults !syslog

# Enable logging to specific file (optional; causes writes when you use webinterface)
#Defaults logfile=/var/log/sudo.log

# User privilege specification
root    ALL=(ALL) ALL

# [ZFSGURU] grant root access without authentication to www user
%www    ALL=(ALL) NOPASSWD: ALL

[ Voor 36% gewijzigd door Verwijderd op 11-11-2013 14:36 ]

[FireDrunk]

Misschien ligt het aan mijn PC-BSD repo, die kan een variant van sudo geinstalleerd hebben die zijn inc config file packagen.

Ik heb nu wheel toegang gegeven tot sudo, en www en share toegevoegd aan wheel. Dat werkt ook

[ Voor 28% gewijzigd door FireDrunk op 11-11-2013 14:39 ]

[Verwijderd]

Ik speel met het idee om m'n eigen zfsguru server te bouwen. Op termijn zou ik een systeem willen creëren met 2 servers: 1 op mijn eigen netwerk en 1 op een remote location zoals dat dan heet. De 2de nas zou eigenlijk een 2e backup moeten worden voor de bestanden op m'n pc. Hoe zou ik dit het beste kunnen opzetten?

Ik dacht misschien aan een systeem waarbij mijn pc een backup stuurt naar de nas en de nas die dan weer doorstuurt naar de 2e nas via internet. Dit lijkt me handig gezien die servers toch altijd zullen opstaan en ik dus niet afhankelijk zou zijn van m'n pc voor de trage uploads. Zou Rsync hier de aangewezen methode voor zijn en kan dit dan beveiligd via https of vpn?



Een alternatief zou ook via de desktop client van owncloud kunnen zijn. Alleen hierbij ben ik dan natuurlijk wel van m'n pc afhankelijk.



Wat lijkt jullie het meest aangewezen? Of is er een beter alternatief? Indien Rsync geen https zou ondersteunen en ik manueel een vpn zou moeten instellen via de twee routers op de twee locaties dan kan dit misschien moeilijk zijn gezien op de ene een Telenet wireless modem als router staat (waarvan ik me niet kan indenken dat die een vpn kan creëeren maar mss werkt dat zo ook niet?) en op de andere een router die ik deel met andere mensen.

Alvast bedankt!

[analog_]

Lees eens over zfs send/receive, ssh en mbuffer, ik zou in dit topic er een link over gepost hebben een tijd terug.

[ Voor 89% gewijzigd door Verwijderd op 11-11-2013 19:09 . Reden: quote eruit geknipt; die is overbodig als je direct op bovenstaande post reageert. :) ]

[]Byte[]

Even een vraagje over Owncloud
Wanneer ik die probeer te installeren, duurt het een hele lange tijd en komt ie uiteindelijk met de melding dat de installatie niet gelukt is.

Failure: installation script failed for service owncloud

Hebben jullie dit ook? Ik zit er nu al een paar dagen mee te ....., maar blijft mislukken.
Ik gebruik 9.2-001

[update]
Bijzonder....
Zelfde distro in een VM gaat het wel goed. Zal eens verder zoeken (cq. herinstallatie doen...)

[ Voor 14% gewijzigd door ]Byte[ op 12-11-2013 09:15 ]