Het grote ZFS topic

[Xudonax]

Kriss1981 schreef op vrijdag 19 juli 2013 @ 16:35:
[...]


Werkt deze ook met een ZFS RAIDZ2 pool? Het betreft 6 disks aan een Intel SASUC8I

Ik heb al verschillende scripts geprobeerd, maar nog geen succes met automatische spindown.

Ik doe (deed, moet het even terugzetten) het op Linux met hdparm -S <tijd>. Dit werkt perfect op mijn M1015, en zorgt ervoor dat in ieder geval de grote 3.5" schijven stil worden 's nachts

Even een ander vraagje. Ik heb mijn Fedora weer geïnstalleerd, maar nu is mijn read performance echt om te janken, ik haal snelheden als dit als ik Deluge al mijn torrents laat checken:

code:

                                                       capacity     operations    bandwidth
pool                                                alloc   free   read  write   read  write
--------------------------------------------------  -----  -----  -----  -----  -----  -----
tank                                                3,12T  2,31T    515      1  63,4M  86,7K
  raidz2                                            3,12T  2,31T    515      1  63,4M  86,7K
    ata-HGST_HTS541010A9E680_JB100013J2RP1A             -      -    129      0  10,8M  23,5K
    ata-HGST_HTS541010A9E680_JB100013J3ST5B             -      -    139      0  11,6M  23,6K
    ata-HGST_HTS541010A9E680_JB100013J3TXGB             -      -    126      0  10,3M  23,6K
    ata-HGST_HTS541010A9E680_JB100013J422JB             -      -    120      0  9,76M  23,5K
    ata-HGST_HTS541010A9E680_JB100013J4HGNB             -      -    136      0  11,4M  23,5K
    ata-HGST_HTS541010A9E680_JB100013J4J15B             -      -    133      0  11,1M  23,6K
logs                                                    -      -      -      -      -      -
  ata-INTEL_SSDSA2CW120G3_CVPR126608BS120LGN-part1   256K  11,9G      0      0    269      8
cache                                                   -      -      -      -      -      -
  ata-INTEL_SSDSA2CW120G3_CVPR126608BS120LGN-part2  38,0G  16,0M      0    288    401  35,5M
--------------------------------------------------  -----  -----  -----  -----  -----  -----

Terwijl dit hiervoor ruimschoots 150MB of hoger was. Enige idee wat een reden hiervoor kan zijn? De RAIDZ2 setup is nog gewoon 100% intact. Komt dit misschien doordat de Intel 320 die ik als cache gebruik een ietwat traag is met schrijven?

EDIT: En als je dit dan net gepost hebt zie je dit soort snelheden welke ineens oplopen tot krap 200MB/s... Ik ben de logica hierachter kwijt. Mijn ZFS pool is bang voor jullie denk ik

code:

                                                       capacity     operations    bandwidth
pool                                                alloc   free   read  write   read  write
--------------------------------------------------  -----  -----  -----  -----  -----  -----
tank                                                3,12T  2,31T  1,14K     49   142M  2,71M
  raidz2                                            3,12T  2,31T  1,14K     49   142M  2,71M
    ata-HGST_HTS541010A9E680_JB100013J2RP1A             -      -    118     16  10,7M   742K
    ata-HGST_HTS541010A9E680_JB100013J3ST5B             -      -    369     12  35,9M   746K
    ata-HGST_HTS541010A9E680_JB100013J3TXGB             -      -    250     13  25,1M   747K
    ata-HGST_HTS541010A9E680_JB100013J422JB             -      -    240     13  25,0M   746K
    ata-HGST_HTS541010A9E680_JB100013J4HGNB             -      -    372     12  35,9M   744K
    ata-HGST_HTS541010A9E680_JB100013J4J15B             -      -    125     17  10,7M   745K
logs                                                    -      -      -      -      -      -
  ata-INTEL_SSDSA2CW120G3_CVPR126608BS120LGN-part1   256K  11,9G      0      0      0      0
cache                                                   -      -      -      -      -      -
  ata-INTEL_SSDSA2CW120G3_CVPR126608BS120LGN-part2  38,0G   128K      0    535      0  64,8M
--------------------------------------------------  -----  -----  -----  -----  -----  -----

[ Voor 25% gewijzigd door Xudonax op 19-07-2013 18:13 ]

[u_nix_we_all]

Xudonax schreef op vrijdag 19 juli 2013 @ 18:12:
[...]

Ehm, deluge Misschien is niet het beste tooltje om je pool te benchmarken

[Xudonax]

Dat sowieso Het viel me gewoon op dat iets simpels als het checken van alle torrents een stuk langzamer ging. Ik ga nog wel een fatsoenlijke benchmark doen. Maar eerst verder werken aan de designs van mijn nieuwe drive cage. De planning is om in totaal 31 disks in een mini ITX behuizing te frommelen, en het lijkt erop dat dat goed haalbaar is

[thof]

Firedrunk, ik het niet op een bepaalde manier mogelijk om resource voor de ZFS VM te reserveren of een hogere prioriteit te geven en zo op die manier een betere performance te halen?

Zit zelf ook in het proces om NAS/Virtualisatie op te zetten. Heb al wat hardware al in bezit: IBM M1015, HP NC364T Quadport NIC, 6x SAS8087 kabel, Samsng 830 SSD 128/256GB, 5.25 bay met 4x 2.5" hotswap.

Doel in eerste instantie:
- NAS/Storage (Documenten/foto's, Multimedia (HD films, audio))
- VM: Firewall/moitoring/filtering/security/vpn etc m.b.v. <even naam kwijt>
- VM: LAMP
- VM: Windows Server DC
- VM: Windows Server SharePoint (wellicht 2x)
- VM: Management machine
Op langere termijn wellicht een paar VM's er nog bij. Waarschijnlijk SQL Server ook op een apparte machine voor het gemak.

Een mogelijkheid zou een all-in-one ESXI/ZFS setup zijn, met SM X9SRL-F en E5-1620 waarbij de CPU zwaar overkill is (puur ivm memory limiet). Gezien de wisselende ervaringen met all-in-one setup's zit ik er ook aan te denken het misschien toch maar op te splitsen naar 2 machines, met als nadeel waarschijnlijk nog hogere aanschaf kosten, hogere draaikosten maar wel betere performance. Ook zal er dan iets van IB of pair-bonding gedaan moeten worden voor die performance. Ik ben er na al maanden (jaren) denken, nog steeds niet uit

[Verwijderd]

Tsja, ik heb gewoon nas en san in één doos gestopt. Zoals je zelf zegt: het betreft maar 40gb aan virtualisatiemateriaal. Met een beetje extra ram (48gb) en een l2arc van 128gb heb je voldoende plaats om én je vms en data te draaien op één machine. Qua extra stroomverbruik zal het toch niet veel schelen. Het zal eerder minder zijn, omdat je niet een tweede fileserver aan hoeft te zetten als je gaat oefenen.

En btw, je kunt de data alsnog prima 'logisch' scheiden: je maakt op je zfs systeem gewoon twee filesystems aan: een /esxidatastore en /files. Daarop kun je weer prima verschillende varianten van dedup/compress, of arc/l2arc caching aanzetten. Het algoritme kan vast prima zelf uitvogelen wat wl en niet gecached moet worden.

Ik heb overigens gemerkt dat je, wanneer je een zfs-setup gaat virtualiseren, je niet alleen aan voldoende geheugen, maar ook aan een voldoende snelle cpu moet denken. Zelfs waneer je enkel lzip gebruikt.

[FireDrunk]

thof schreef op vrijdag 19 juli 2013 @ 23:11:
Firedrunk, ik het niet op een bepaalde manier mogelijk om resource voor de ZFS VM te reserveren of een hogere prioriteit te geven en zo op die manier een betere performance te halen?

Zit zelf ook in het proces om NAS/Virtualisatie op te zetten. Heb al wat hardware al in bezit: IBM M1015, HP NC364T Quadport NIC, 6x SAS8087 kabel, Samsng 830 SSD 128/256GB, 5.25 bay met 4x 2.5" hotswap.

Doel in eerste instantie:
- NAS/Storage (Documenten/foto's, Multimedia (HD films, audio))
- VM: Firewall/moitoring/filtering/security/vpn etc m.b.v. <even naam kwijt>
- VM: LAMP
- VM: Windows Server DC
- VM: Windows Server SharePoint (wellicht 2x)
- VM: Management machine
Op langere termijn wellicht een paar VM's er nog bij. Waarschijnlijk SQL Server ook op een apparte machine voor het gemak.

Een mogelijkheid zou een all-in-one ESXI/ZFS setup zijn, met SM X9SRL-F en E5-1620 waarbij de CPU zwaar overkill is (puur ivm memory limiet). Gezien de wisselende ervaringen met all-in-one setup's zit ik er ook aan te denken het misschien toch maar op te splitsen naar 2 machines, met als nadeel waarschijnlijk nog hogere aanschaf kosten, hogere draaikosten maar wel betere performance. Ook zal er dan iets van IB of pair-bonding gedaan moeten worden voor die performance. Ik ben er na al maanden (jaren) denken, nog steeds niet uit

Je kan voor een vm prima resources reserveren, zowel in prioriteit als in harde reserveringen in MB/Mhz.

[Kriss1981]

webbier schreef op woensdag 17 juli 2013 @ 22:55:
Op een M1015 kun je spindown gebruiken. Heb hem zelf ook

FireDrunk in "Het grote ZFS topic"

Kriss1981 schreef op vrijdag 19 juli 2013 @ 16:35:

Werkt deze ook met een ZFS RAIDZ2 pool? Het betreft 6 disks aan een Intel SASUC8I

Ik heb al verschillende scripts geprobeerd, maar nog geen succes met automatische spindown.

Gister avond en vanacht even getest en het werkt inderdaad. Bedankt.

Is alleen vreemd dat soms één disk van de pool idle is en de rest niet.



Heeft iemand hier een verklaring voor? da0 t/m da5 zijn onderdeel van een RAIDZ2 pool.

[FireDrunk]

Dat komt omdat ZFS alleen de disk laat opspinnen die hij nodig heeft, als je dus alleen maar door de directory structuur browsed kan het zijn dat hij daar maar 1 disk voor nodig heeft.

[zzattack]

Twee dode disks, en hun vervangers aan gort tijdens het replacen. Nieuwe vervangende schijven hebben het resilveren wel overleefd, maar pool ziet er nu zo uit:

code:

root ~# zpool status -v store
  pool: store
 state: DEGRADED
status: The pool is formatted using a legacy on-disk format.  The pool can
        still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
        pool will no longer be accessible on software that does not support feat                                                                                                                                                             ure
        flags.
  scan: resilvered 2.73T in 30h45m with 0 errors on Fri Jul 19 08:08:21 2013
config:
 
        NAME                        STATE     READ WRITE CKSUM
        store                       DEGRADED     0     0     0
          raidz2-0                  DEGRADED     0     0     0
            da4                     ONLINE       0     0     0
            da5                     ONLINE       0     0     0
            da6                     ONLINE       0     0     0
            da7                     ONLINE       0     0     0
            da0                     ONLINE       0     0     0
            da1                     ONLINE       0     0     0
            da2                     ONLINE       0     0     0
            da3                     ONLINE       0     0     0
            replacing-8             DEGRADED     0     0     9
              5090249909160868685   UNAVAIL      0     0     0  was /dev/ada0
              15030625427272309525  OFFLINE      0     0     0  was /dev/ada1
              ada0                  ONLINE       0     0     0
            replacing-9             DEGRADED     0     0     9
              142625041018817204    OFFLINE      0     0     0  was /dev/ada1/old
              ada1                  ONLINE       0     0     0

Now what? De unavail en offline devices gewoon detachen?

[FireDrunk]

Hij is nog aan het replacen staat daar?
oh, het ziet er uit alsof je de devices toegevoegd hebt ipv gereplaced, klopt dat?

[ Voor 51% gewijzigd door FireDrunk op 20-07-2013 12:11 ]

[zzattack]

Heb wel de replace command gebruikt.

[FireDrunk]

Je scrub duurt wel heel lang... Maar in principe zou je de offline schijven eruit kunnen halen, nog een scrub draaien, en dan zou alles weer ok moeten zijn.

[HyperBart]

Je hebt toch RAIDZ2, dus als er met een van de disken iets misgaat qua commando's, is het nog niet rampzalig.

Doe eens een remove van dit device: 142625041018817204 en kijk eens of "replacing-9" netjes op "online" komt te staan.

Als dat het geval is, gewoon vervolgens 5090249909160868685 en daarna 15030625427272309525 verwijderen.

Want ZFS heeft nog altijd verwijzingen naar die oude disks staan. Die moeten weg.

[ Voor 11% gewijzigd door HyperBart op 20-07-2013 15:33 ]

[thof]

FireDrunk schreef op zaterdag 20 juli 2013 @ 09:44:
[...]


Je kan voor een vm prima resources reserveren, zowel in prioriteit als in harde reserveringen in MB/Mhz.

Maar ook dan is de performance nog niet optimaal dus, aangezien je aangeeft nog steeds niet de gewenste performance te halen. Wellicht dat ook in dan beter kan gaan kijken naar een gesplitste setup ipv all-in-one

[FireDrunk]

Het feit dat het bij mij niet werkt zoals ik wil, heeft ook niets te maken met reserveringen of vms die ruzieen om resources. Het is eerder een protocol probleem.

Zojuist mijn Opteron ingericht met NAS4Free en de 4 Intel SSD's in 1 pool (RAID0).



Getest vanaf mijn desktop met SYNC=ALWAYS, en NTFS WriteBack caching uit.
Via iSCSI

Zo hoort het dus...

[ Voor 43% gewijzigd door FireDrunk op 20-07-2013 15:56 ]

[Verwijderd]

Heb je al gekeken naar de smb.conf verschillen? Daar ben ik natuurlijk wel erg benieuwd naar.

[FireDrunk]

Dit is iSCSI
Ik kon overigens wel de pool importeren, alleen was het net even anders dan in ZFSGuru (je moet 2 keer klikken omdat hij de eerste keer zegt dat hij geen importeerbare pools vind, en pas de tweede keer een forced import doet.)

[ Voor 88% gewijzigd door FireDrunk op 20-07-2013 15:57 ]

[Verwijderd]

Zou natuurlijk mooi zijn als je ook met Samba kunt testen; want juist daar had je performance issues mee.

[u_nix_we_all]

FireDrunk schreef op zaterdag 20 juli 2013 @ 15:56:
Dit is iSCSI
...

Zou het verschil kunnen zitten in de blocksize van je ZVOL ? Die heeft volgens mij namelijk geen variabele blocksize....

[FireDrunk]

Waarom zou dat andere performance moeten geven? ZFS heeft toch geen write-hole?
(overigens staat iSCSI op 512b sectoren, dus veel verschil zal het niet maken)

SMB:


Overigens is een share aanmaken op NAS4Free een eitje, stelt echt niets voor, even service enablen, share aanmaken, en je moet een user aanmaken.

(Secure by-default, daar hou ik van )

[ Voor 77% gewijzigd door FireDrunk op 20-07-2013 16:31 ]

[Verwijderd]

ZVOL blocksize is nog wat anders dan de sectorsize. Dat heeft ook zeker invloed op de performance. 8KiB is standaard, maar 64KiB is veelal wel aan te raden afhankelijk van het gebruik.

[FireDrunk]

Staat op 8K.

Volgens mij proberen de goden mij iets te vertellen:



Zojuist getest met NAS4Free Virtueel:



Werkt dus eigenlijk prima... Dat de 4kQD32 niet hoger zijn klopt, omdat NFS van ESXi geforceerd SYNC is, en bij iSCSI niet.

En sequentieel is alles lager omdat het nog op E1000 staat en niet op VMXNET3.

[ Voor 139% gewijzigd door FireDrunk op 20-07-2013 19:54 ]

[Q]

FireDrunk schreef op zaterdag 20 juli 2013 @ 15:48:

Via iSCSI

Zo hoort het dus...

[FireDrunk]

Meh, ik heb het ooit eens op een NetApp getest, en daar was NFS zelfs sneller dan iSCSI, dus het is niet zo dat iSCSI pérse beter is dan NFS...

Misschien in combinatie met ZFS wel inderdaad...

Maar dan staat als een paal boven water dat NAS4Free het qua iSCSI configuratie zonder ook maar moeite te doen, het wint van ZFSguru qua configuratie... NAS4Free is vele malen duidelijker en geeft netjes foutmeldingen als je iets verkeerd/onlogisch doet...

[Verwijderd]

iSCSI in ZFSguru werkt niet zo heel prettig, dat klopt. Maar de service is ook best oud en niet meer echt bijgewerkt.

Overigens is er wel leuk nieuws op iSCSI gebied: Native iSCSI-target for FreeBSD op kernel-niveau. Zal nu vast ook nog niet goed performen, maar uiteindelijk wel een goede vervanger voor istgt-target wat we nu nog gebruiken.

[FireDrunk]

Dat is zeker goed nieuws!
Als de service dan gelijk een nieuw smoeltje krijgt is het een goede stap voorwaarts.

Mss moet ik die maar maken.

[ Voor 12% gewijzigd door FireDrunk op 21-07-2013 13:50 ]

[FireDrunk]

Nog even wat uitgebreider getest:


NAS4Free met VMXNET3:



(Schijven zijn vanaf hier omgewisseld, komt omdat ik ze opnieuw heb aangemaakt, de letters zijn dus verwisseld. Links is nog steeds iSCSI, en rechts NFS)
ZFSGuru met E1000:


ZFSGuru met VMXNET3:


Ik snap er geen sikkepit meer van, ik heb gewoon de hele bende opnieuw geinstalleerd en nu doet eigenlijk alles het prima.

Enige verschil wat ik nog graag zou willen oplossen is het verschil in random write bij een queue depth van 32. Dat komt zeer waarschijnlijk door de geforceerde NFS SYNC die ESXi doet in tegenstelling tot de normale honorering van SYNC bij iSCSI.

[ Voor 10% gewijzigd door FireDrunk op 21-07-2013 19:01 ]

[Q]

FireDrunk schreef op zondag 21 juli 2013 @ 11:34:
Meh, ik heb het ooit eens op een NetApp getest, en daar was NFS zelfs sneller dan iSCSI, dus het is niet zo dat iSCSI pérse beter is dan NFS...

Misschien in combinatie met ZFS wel inderdaad...

Waar het om gaat is dat er volgens mij niets mis is met je setup of met VMware en dat je setup dus nu werkt zoals je wilt.

P.S. waarom boeit die queue depth van 32 zo? Met dat soort queues zit je aan een pittige latency, wat de boel best traag maakt volgens mij, tenzij je genoeg spindels/io tot je beschikking hebt om dat af te handelen.

[ Voor 20% gewijzigd door Q op 21-07-2013 19:09 ]

[FireDrunk]

Als meerdere vms tegelijk een synced write doen, is het fijn als die tegelijk uitgevoerd kunnen worden. Juist dat scheelt enorm in de responsiveness van VMs als je er meerdere op 1 datastore plaatst.

IO wise zit het wel goed. Ik test een array van vier SSDs...

[ItsValium]

Hey FireDrunk
Ikzelf ben de laatste dagen ook druk aan het testen met Nas4Free opstellingen, en dan meer specifiek het HAST gedeelte. De uiteindelijke opstelling zou twee machines met elk 32 intel ssd's zijn in een een all-ssd pool van mirrored vdevs zijn. Omdat ik nog niet over voldoende ssd's beschik kan ik het schalen niet testen, heb jij een mogelijkheid om hier wat kleine testjes te doen?

Momenteel heb ik een opstelling draaien met twee fysieke identieke machines die booten van usb en elk vier 500gb sata schijven in twee mirrored vdevs. Daarbovenop draait CARP en HAST en via iSCSI werkt de failover probleemloos. Ik mis 1 a 2 pingrequests en draaiende vm's freezen voor een drie a vier seconden. Voor nfs moet ik de failover scripts nog gaan bijwerken omdat de nfs daemons actief blijven op beide nodes en dit voor ongewenste locks zorgt. Dat is iets voor later deze week.

Ik ben echt heel aangenaam verrast door nas4free, zowel in performance als in gebruiksgemak. Enkel het HAST gedeelte vergde een klein beetje cli werk van enkele regeltjes.

[ Voor 9% gewijzigd door ItsValium op 21-07-2013 19:30 ]

[FireDrunk]

Watvoor tests wil je dat ik doe?

[ItsValium]

Hangt er wat vanaf hoeveel ssd's je hebt, maar ik zoek de schaalbaarheid van een all ssd pool bij voorkeur uit mirror vdevs. Als je het ziet zitten kan je wat crystal disk mark testjes doen op 1 mirror in de pool, erna twee mirrors enz. En/of met single ssd vdevs, dus 1 ssd dan 2 enz. Ik heb er slechts twee waar ik mee kan testen en op een m1015 controller schaalt dat bijna lineair maar het zijn er dan ook maar twee he. Bedankt op voorhand al.

[FireDrunk]

Je kunt de resultaten redelijk uitrekenen hoor, een VDEV presteert zo goed als 1 disk als het gaat om random IOPS, dus een pool van 2 mirrors van 2 ssds doet evenveel als een pool van 2 losse ssd's.
Ik heb een pool van vier losse SSD's dus je kan ongeveer verwachten dat deze hetzelfde presteert als een pool van 4 mirrors van 2 ssds (als het gaat om random IOPS).

Andere data (sequentiele snelheden) hangen van veel meer factoren af.

[ItsValium]

Ok thx, dan kan ik toch al gaan rekenen wat 16 vdevs met 2ssd's in mirror me theoretisch moeten opleveren. Mits de controllers het aankunnen

[FireDrunk]

Ja, dat is een ruwe schatting, je CPU en controllers zijn inderdaad natuurlijk ook nog van belang.

Waarom trouwens 32 SSD's Dat is echt bizar veel

[ Voor 22% gewijzigd door FireDrunk op 21-07-2013 22:39 ]

[ItsValium]

Chassis ondersteunt 32 disks en de klant wil alle mogelijke performance uit zijn storage halen (wetenschappelijke data) vandaar.

En stiekem gebruik ik dat als testcase voor een toekomstige update van de storage van mijn virtualisatieclusters

[ Voor 33% gewijzigd door ItsValium op 21-07-2013 23:06 ]

[FireDrunk]

ALLE mogelijke? Dan moet hij dus gewoon 32 SSD's in RAID0 zetten... En een goede backup maken

[HyperBart]

Hmmm, ik begin te dromen over die Seagate 600's

[FireDrunk]

32 stuks in RAID0 ?

[analog_]

ItsValium schreef op zondag 21 juli 2013 @ 23:04:
Chassis ondersteunt 32 disks en de klant wil alle mogelijke performance uit zijn storage halen (wetenschappelijke data) vandaar.

En stiekem gebruik ik dat als testcase voor een toekomstige update van de storage van mijn virtualisatieclusters

Ergens heb ik een post met cijfers van 8 intel x25-e 32GB schijfjes en 4x Crucial m4s in verschillende opstellingen op een LSI 9266. Staan pics in m'n t.net foto album en van ZFS heb ik dit bijdehand, is met drie 20GB mkv's getarballed met dd.

dual sandy bridge 3.3G, 16GB ram (read/write/resilver per second):

4x crucial m4 128G
raid0: 1.87G/616M/1.79G 512G
raid10: 1.99G/272M/956M 256G
raid5: 1.54G/371M/1.77G 284G
raid6: 1.68G/261M/1.47G 256G

8x intel x25e 32G
raid0: 1.76G/1.15G/1.86G 256G
raid10: 1.71G/774M/966M 128G
raid5: 1.56G/568M/1.04G 192G
raid6: 1.58G/439M/1.42G 156G

Het schaalt dus erg lineair/te verwachten/consistent. Het grote probleem is dus niet IOPS genereren maar ze naar buiten krijgen naar je virtualisatie, ik hoop dat er iets á la FC/IB ligt. Ik gebruik zelf thuis DDR infiniband, nog niet helemaal tevreden over de performance maar andere prioriteiten.

[ Voor 12% gewijzigd door analog_ op 22-07-2013 05:50 ]

[ItsValium]

de backbone in de labo's van de klant zijn onlangs allemaal overgezet naar 10gbit ethernet. In de storage bakken zullen 4 dualport 10 gbit nic's zitten waarvan 2 voor verbindingen met de clients, 2 voor HAST sync en 2 gbit nics voor beheersdoeleinden. De bakken zullen benaderd worden door een 30-tal simulatiemachines die hun resultaten tijdelijk wegschrijven, om daarna er checks op los te laten om ze dan definitief weg te schrijven. Dus vrij intensief maar beperkt in clients. En de data bestaat vooral uit kleine datapacketjes. Tijdens het monitoring zie ik meer dan 90% schrijfacties die niet boven de 1024 KB uitkomen per actie. Vandaar de nood aan hoge iops en lage latency.

[ Voor 20% gewijzigd door ItsValium op 22-07-2013 09:25 ]

[FireDrunk]

Kan je dat niet beter in RAM doen dan?

Pak een dikke Xeon met 256GB RAM en maak een ramdisk aan van 200GB, en share die over het netwerk.

[ItsValium]

De eerste tijdelijke resultaten zullen inderdaad via een RAMdisk geschreven worden, na controle zullen ze dan naar de array geschreven worden. De bakken zullen beiden met 512GB uitgerust worden waarvan de helft als RAMdisk gebruikt zal worden.

[webfreakz.nl]

@ItsValium:
Zou wel cool zijn als je een leuke blogpost aan die build kan besteden zodra dat project af is

[ItsValium]

Zou ik héél graag doen, echter duurt dit nog wel even voordat er ook maar iets van opgebouwd zal worden. Overheidsinstellingen zijn bijzonder langzaam bij dit soort trajecten. De monitoring/testfase is nu net van start gegaan en duurt een drietal maanden. Daarna moeten de nodige perikelen rond budget en dergelijke overwonnen worden, waarna er de goedkeuringsfase van hogerhand moet komen. Pas dan kan de implementatie van start gaan, na eerst de aankoopdiensten gepasseerd te zijn die er ook dikwijls een paar maand over doen. De instelling waar dit allemaal zou moeten gebeuren is een maritiem labo verbonden aan de overheid en ze hangen dus volledig af van de overheid voor hun investeringen.

Wat ik sowieso wel van plan was is om eens mijn ervaringen met BSD/Nas4Free en dan vooral het HAST/CARP gedeelte te gaan notuleren, omdat ik toch merk dat er online over die tech's nog bitter weinig te vinden is. Echter zal dat eens op een kalmer moment moeten gebeuren, heb het vrij druk met een aantal grotere projecten waar ik nu mee bezig ben.

[FireDrunk]

Ben beniewd! HAST/CARP lijkt mij sowieso een keer een leuk speelproject!
Leuke manier om high available storage voor ESXi of Hyper-V mee te maken.

[ItsValium]

FireDrunk schreef op maandag 22 juli 2013 @ 13:40:
Ben beniewd! HAST/CARP lijkt mij sowieso een keer een leuk speelproject!
Leuke manier om high available storage voor ESXi of Hyper-V mee te maken.

Wat dus mijn uiteindelijke doel is Kan ik de dure licenties de deur uitgooien en mijn eigen oplossing uitrollen, waar ik dus meer aan hardware kan gaan spenderen. Maar dat is nog toekomstmuziek voorlopig.

[FireDrunk]

LOL, ik zie zojuist dat de Gentoo LiveCD gewoon ZFS ingebakken heeft

Hoezo toch stiekum ingeburgerd...

[Tha_Butcha]

Mijn ESXi server ging de mist in, dus ik moest een "Restore settings" doen, alle mijn VM's opnieuw geimporteerd. Dus ook mijn NAS4Free VM.

Alleen geeft die een kernel panic.

Ik heb net met een livecd image gecheckt, de configuratie geladen en een synchronize gedaan om te kijken of alles er nog is, wat zo is.

Kan ik nu ongestraft NAS4free opnieuw installen en mijn ZFS config laden en synchronizen?

[FireDrunk]

Ik zou liever uitzoeken waar het ding een kernel panic op geeft?

Heb je de .VMX files opnieuw geregistreerd? Want dan zou er niets aan de hand moeten zijn.

[Tha_Butcha]

Jup, precies op dezelfde manier als mijn linux hosts en die doen het prima.

Als ik NAS4free gewoon opstart (al dan niet verbose), blijft ie na een root filesystem check hangen op "Loading configuration files" doe ik een safe mode, dan geeft ie een kernel panic"

panic: No usable event timer found!

Iets daarvoor meldt ie problemen met interrupts:

atrtc0: Can't map interrupt.
attimer0: <AT Timer> at port 0x40 on isa0

En aangezien ik nou niet zo bekwaam ben in BSD als in linux, wilde ik liever nas4free reinstallen als ik toch de ZFS config kan importen. Scheelt me uiteindelijk tijd, dacht ik zo.

[FireDrunk]

Hmm, dat is raar inderdaad, probeer eens zonder ACPI te booten (je krijgt de optie in het boot menu)

[Tha_Butcha]

Dat had ik daarvoor al gedaan en dan blijft ie hangen op "Loading configuration files" (had ruim een uur gewacht). En voor de reset van ESXi bootte ik altijd met ACPI zonder problemen.

Edit: toevoeging

Vandaar dat ik terug kom op mijn originele vraag: kan ik gewoon een reinstall doen van NAS4Free, en dan mijn ZFS array importen? Niet omdat ik je hulp niet waardeer (integendeel zelfs), maar een reinstall lijkt me qua tijdsinvestering een beter idee dan blijven klooien met kernel panics. Zeker omdat ik nu pas sinds gisteren echt bezig ben met ZFS, lijkt me dat handiger.

[ Voor 51% gewijzigd door Tha_Butcha op 22-07-2013 16:01 ]

[FireDrunk]

Ja hoor, dat moet gewoon kunnen, maar je bent inderdaad wel je hele configuratie kwijt.
Alleen je pool, snapshots, en eventuele NFS shares blijven behouden, voor de rest niets.

[Tha_Butcha]

zo, alles weer gefixed. Heb de oorzaak van die kernel panic waars. gevonden. Jumbo frames vindt NAS4Free niet leuk (met vmxnet3 ethernet), werd ie ook heel instabiel van.

Ook maar gelijk mijn spindowns uitgezegd, na dit artikel op de wiki.

[Xudonax]

Ik heb een vrij aggresieve spindown op mijn ZFS pool staan (was 5 minuten, nu toch maar naar 30 gezet) en geen enkel probleem. Hang er een cache device aan en je hebt ook nauwelijks last meer van de delay van het opstarten. Ik zou zeggen, als je er geen last van hebt gewoon aanzetten Het scheelt IMO wel genoeg energie om de schijven uit te zetten.

[FireDrunk]

Zucht, dat artikel moeten ze verbieden, die mensen denken nog steeds dat de wereld van glas gemaakt is en dat alles kapot gaat als je het gewoon gebruikt.

Ik heb al jaren (zeker 5 jaar) mijn schijven na 10 minuten in spindown, en er is nog NOOIT een schijf niet weer opgespint. Zowel fysiek als virtueel met VT-d, en met bijna alle merken schijven (Samsung, Western Digital, Seagate, en IBM).

Het is een groot bangmakerig verhaal.

Dat laatste stuk is helemaal zielig, als je een USB->SATA adapter gebruikt icm ZFS snap je niet waarom je ZFS zou moeten gebruiken... Grote kolder dus...

En inderdaad, het scheelt genoeg energie hier thuis om na een paar jaar een nieuwe schijf te kopen.

[ Voor 8% gewijzigd door FireDrunk op 22-07-2013 18:44 ]

[Xudonax]

Okay, het lijkt erop dat mijn ZFS bak weer stabiel is nu ik de bridge interface heb weggedaan. Jammer maar helaas. De virtual machines die erop draaiden waren gelukkig niet zo belangrijk, daar kan ik wel zonder totdat de nieuwe Linux kernel uitkomt

Alleen, ik krijg constant meldingen dat er fouten zijn op /dev/sdj, een member van mijn RAIDZ2 pool...

code:

[ 7468.261681] end_request: critical target error, dev sdj, sector 1436302696
[10145.220959] sd 6:0:5:0: [sdj] Unhandled sense code
[10145.221010] sd 6:0:5:0: [sdj] CDB: 
[10145.221024] end_request: critical target error, dev sdj, sector 1634599240
[10149.581316] sd 6:0:5:0: [sdj] Unhandled sense code
[10149.581349] sd 6:0:5:0: [sdj] CDB: 
[10149.581361] end_request: critical target error, dev sdj, sector 1634594440
[10153.374424] sd 6:0:5:0: [sdj] Unhandled sense code
[10153.374478] sd 6:0:5:0: [sdj] CDB: 
[10153.374495] end_request: critical target error, dev sdj, sector 1634601336
[13574.529116] sd 6:0:5:0: [sdj] Unhandled sense code
[13574.529157] sd 6:0:5:0: [sdj] CDB: 
[13574.529170] end_request: critical target error, dev sdj, sector 1492751984
[13584.006313] sd 6:0:5:0: [sdj] Unhandled sense code
[13584.006356] sd 6:0:5:0: [sdj] CDB: 
[13584.006373] end_request: critical target error, dev sdj, sector 1537974008
[16647.251676] sd 6:0:5:0: [sdj] Unhandled sense code
[16647.251706] sd 6:0:5:0: [sdj] CDB: 
[16647.251727] end_request: critical target error, dev sdj, sector 438400168
[19553.677836] sd 6:0:5:0: [sdj] Unhandled sense code
[19553.677882] sd 6:0:5:0: [sdj] CDB: 
[19553.677894] end_request: critical target error, dev sdj, sector 1545844112

Echter, de SMART waardes lijken mij nog in orde te zijn. Als in, er zijn geen pre-fail waardes die serieus hoog lijken:

code:

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   062    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   100   100   040    Pre-fail  Offline      -       0
  3 Spin_Up_Time            0x0007   163   163   033    Pre-fail  Always       -       1
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       429
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   100   100   040    Pre-fail  Offline      -       0
  9 Power_On_Hours          0x0012   090   090   000    Old_age   Always       -       4485
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       116
191 G-Sense_Error_Rate      0x000a   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       23
193 Load_Cycle_Count        0x0012   078   078   000    Old_age   Always       -       228511
194 Temperature_Celsius     0x0002   150   150   000    Old_age   Always       -       40 (Min/Max 15/48)
196 Reallocated_Event_Count 0x0032   089   089   000    Old_age   Always       -       416
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0
223 Load_Retry_Count        0x000a   100   100   000    Old_age   Always       -       0

Het enige dat me opvalt is de vrij hoge temperatuur, maar dat is met dit weer niet écht een verassing in mijn ogen

Wat denken jullie? Schijf voor garantie opsturen? Ik heb de schijf nu net iets van 8-10 maanden.
En als ik 'em opstuur voor garantie, hoe ga ik dan de nieuwe schijf toevoegen aan de pool? Dat ging vorige keer namelijk grandioos mis, en ik heb geen zin om weer de hele pool te "mogen" rebuilden

[FireDrunk]

Reallocated event count is hoog. En dat is niet goed. Dat is (als ik het goed begrijp) het aantal bad secors dat de schijf al heeft opgelost. Op zich zijn er nu dus geen bad sectors meer, maar het is nooit goed als je bad sectors ziet denk ik dan...

http://www.ariolic.com/ac...location-event-count.html

[Contagion]

anders doe je even een smartctl -t long /dev/sdj, dan wordt de hele surface van de schijf gescant. Als hij klaar is zie je dan wel of er bad sectors gevonden zijn (smartctl -a /dev/sdj). Zelfs dan zou ik hem nog niet direct opsturen maar eerst kijken of je de bad sectors kan fixen.

Ik vind 40 graden voor een schijf echt totaal geen probleem hoor, zeker als ambient rond de 30 ligt (en zoals je kan zien is die schijf ook ooit 48 graden geweest )

Edit: wat je ook nog even kan controleren of de schijf de sector inderdaad al heeft gerelocate: hdparm --read-sector 1436302696 /dev/sdj. Als dat een fout geeft in het syslog kan je de sector zelf fixen: hdparm --write-sector 1436302696 --yes-i-know-what-i-am-doing /dev/sdj (de sector is daarna wel leeg, maar dat boeit met Raid-Z2 natuurlijk niet komt met een scrub wel weer goed).

[ Voor 29% gewijzigd door Contagion op 23-07-2013 10:08 ]

[FireDrunk]

nieuws: Intel kondigt zuinige op 14nm geproduceerde Xeon-soc aan

YAY, als het nou ook nog mogelijk word om er Registered geheugen in te gebruiken, kan je een mooie goedkope ZFS appliance maken met lekker veel geheugen!

[Phuncz]

Inderdaad, spijtig dat het nog wat langer duurt. Zelf ga ik vermoedelijk voor een Pentium G2020 met het bekende Asrock B75 Pro3-M bordje en 8GB geheugen.

Eindelijk schot in de zaak want mijn casemod is weeral een stapje verder:


(PowerMac G5 case)

[FireDrunk]

Ziet er tof uit!

[Habana]

Mijn ZFS systeempje staat ondertussen ook al weer een klein weekje te snorren.
Ik had nog een hoop onderdelen liggen, dus vanuit daar maar aan de slag gegaan, mijn Synology211+ had pas een paar nieuwe WD30EFRX REDS gekregen, met die twee oude WD's en nog twee nieuwe in de la + één verse gekochte WD20EARX schiet het lekker op.
Een ding is wat ik altijd doe bij elke build zijn die LIAN-LI Expansions kits gebruiken, je schroeft de grootse meuk er van af en dan hou je een mooi compact hotswap rackje over, spuitbus erover en Ready, ik moet zeggen dat ik altijd en nog steeds tevreden ben over de Synology, maar zelf bouwen is veel leuker, ZFSguru werkt lekker snel maar enkel de acces rechten voor de user is nog niet alles.

http://i1260.photobucket..../IMG_0725_zps3794c8d1.jpg

Bitfenix Prodigy
ASUS P8H77-6x Sata
Intel 3470 met 8GB Corsair Vengeance 1600Mhz
2x LianLi EX-H33 voor 6x Hotswap
5 X WD20EARX

@ FireDrunk, Dat is waar, maar dat was ook niet de opzet, eer ik dit vol hebt zitten en nog redelijke wijs naar 3GB schijven kan vind ik dit prima, ken ik mee zelf veel te goed, heb ik allang weer wat anders gebouwd, ZFS is leuk, zelf bouwen veééél leuker..

[ Voor 12% gewijzigd door Habana op 23-07-2013 18:43 ]

[FireDrunk]

Netjes! Enige nadeel van deze manier vind ik dat je geen M1015 ofzo kan gebruiken.

[Xudonax]

Een M1015 past nog keurig naast de drivebay hoor Draai zelf in een vergelijkbare setup, maar dan met een witte Bitfenix Prodigy. Ik heb er nu 6 2.5" Hitachi Travelstar 5K1000 in zitten, en met wat geluk komen daar dit jaar nog 20 van dezelfde schijven bij

Contagion schreef op dinsdag 23 juli 2013 @ 09:54:
anders doe je even een smartctl -t long /dev/sdj, dan wordt de hele surface van de schijf gescant. Als hij klaar is zie je dan wel of er bad sectors gevonden zijn (smartctl -a /dev/sdj). Zelfs dan zou ik hem nog niet direct opsturen maar eerst kijken of je de bad sectors kan fixen.

Ik vind 40 graden voor een schijf echt totaal geen probleem hoor, zeker als ambient rond de 30 ligt (en zoals je kan zien is die schijf ook ooit 48 graden geweest )

Edit: wat je ook nog even kan controleren of de schijf de sector inderdaad al heeft gerelocate: hdparm --read-sector 1436302696 /dev/sdj. Als dat een fout geeft in het syslog kan je de sector zelf fixen: hdparm --write-sector 1436302696 --yes-i-know-what-i-am-doing /dev/sdj (de sector is daarna wel leeg, maar dat boeit met Raid-Z2 natuurlijk niet komt met een scrub wel weer goed).

De ambient ligt wel ietsjes hoger dan de 30 graden ben ik bang Ik heb een lange scan lopen, ik kijk zometeen even wat het resultaat is. Ik ben benieuwd

[ Voor 68% gewijzigd door Xudonax op 23-07-2013 19:39 ]

[Verwijderd]

Pff, ZFS en Active directory is toch een drama als je het allemaal op ESXi draait:
-ZFSguru heeft geeneens een gui om ook maar iets met mogelijkheden mbt ADusers te doen.
-Freenas werkt in een testomgeving als een zonnetje, maar als je eenmaal de LSI's in passthough zet, dan helpen zelfs msi/msix instellingen niet om msi-interrupts tegen te gaan.
-Nas4free kan omgaan met de controllers en een domain joinen. Hij repliceert zelfs de AD users. Maar ik kan vervolgens in windows geen domain users toekennen aan bepaalde mappen. Ik moet ACL type ed op windows zetten of iets dergelijks? Het komt erop neer dat het er niet gemakkelijker op wordt voor de minder gevorderde gebruiker als hij voor zoiets de commandline in moet duiken.

[Verwijderd]

Kun je aangeven waarvoor je Active Directory wilt gebruiken? Waarom niet gewoon 'normale' permissies? Voor mijn gevoel zijn dit soort proprietary technieken uit de Windows-stal sowieso niet erg gebruikersvriendelijk en ik vraag me af welke problemen hiermee nu werkelijk worden geadresseerd?

[Mafketel]

Ik begrijp niet waarom je op je zfs fileserver box een ad gui nodig heb.
Het hele idee wat mij betreft om een ad te hebben is zodat je het via de diverse tools van windows kan regelen.
Aangezien je dit ook op een andere manier kan regelen dan via de windows tools is het niet noodzakelijk om ad integratie te hebben.

De nt4 tools werken zo lekker onder vista/win7/win8 vandaar .... maar misschien is er nog een andere reden?

[FireDrunk]

Verwijderd schreef op dinsdag 23 juli 2013 @ 22:12:
Kun je aangeven waarvoor je Active Directory wilt gebruiken? Waarom niet gewoon 'normale' permissies? Voor mijn gevoel zijn dit soort proprietary technieken uit de Windows-stal sowieso niet erg gebruikersvriendelijk en ik vraag me af welke problemen hiermee nu werkelijk worden geadresseerd?

Niet gebruikersvriendelijk? Daarom draait 90% van de wereld er op? Das vast omdat het zo ingewikkeld is.

In vergelijking tot NFS of POSIX ACL's zijn Windows ACL's echt een stuk-van-een-koekje...

Bovendien zijn er zat applicaties die alleen maar met AD willen integreren (VMWare Virtual Center, Microsoft System Center) en al dat soort fratsen...

[Verwijderd]

Mafketel schreef op dinsdag 23 juli 2013 @ 22:22:
Ik begrijp niet waarom je op je zfs fileserver box een ad gui nodig heb.

In de meegeleverde webGUI van freenas was het een kwestie van een kleinte tutorial volgen, een paar vinkjes goed zetten, en tadaa, UNIX beschouw ik dan ook simpelweg als een noodzakelijk kwaad om ZFS te draaien. De dag waarop Windows met een dergelijk systeem komt, is dan ook de dag dat ik overstap. Persoonlijk heb ik geen grote hobby aan de UNIX infrastructuur. Het komt allemaal vrij chaotisch op me over. (Al zullen de meeste hier het liever als overweldigend bestempelen. )

Kun je aangeven waarvoor je Active Directory wilt gebruiken? Waarom niet gewoon 'normale' permissies? Voor mijn gevoel zijn dit soort proprietary technieken uit de Windows-stal sowieso niet erg gebruikersvriendelijk en ik vraag me af welke problemen hiermee nu werkelijk worden geadresseerd?

Voornamelijk SSO: ik heb een twintigtal gebruikers die gebruik maken van diverse diensten: denk hierbij aan een VPN, diverse certificaten, toegang tot media, etc. Ik heb dus al een domain infrastructuur liggen, die ik graag wil behouden/uitbreiden. Daarnaast is het heel gebruiksvriendelijk naar mijn mening. Als het eenmaal draait kan ik niet alleen mijn shares, maar het hele netwerk vanuit een enkele omgeving managen. Ook zaken als vCenter ed zijn al geintegreerd in AD, dus zoiets simpels als shares op een lokale server managen komt voor mij daardoor nogal amateuristisch over. (Mits je een domain hebt draaien, heet dat. )

[ Voor 6% gewijzigd door Verwijderd op 24-07-2013 00:31 ]

[fonsoy]

Dit probleem is op te lossen door met iSCSI te werken.
Nu levert dat wel een performance impact op, maar je kunt wel je rechtenstructuur in windows configureren.
Dat was voor mij persoonlijk belangrijk, mede omdat er al een bestaande ingewikkelde structuur is

[Verwijderd]

Dat zou betekenen dat ik al mijn data om moet gaan gooien (wat momenteel onmogelijk is gezien de hoeveelheid), en ook een paar leuke features van ZFS moet gaan missen.

Ik ga nog een paar dagen kloten, in de hoop dat N4F toch aan de praat te krijgen is met AD permissions. Het is meer mensen al gelukt. (Al hadden die vreemd genoeg niet meer stappen nodig dan ik.)

[Xudonax]

code:

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%      4501         -

En nu zou mijn schijf ineens weer perfect in orde zijn? Ik snap er volgens mij niets meer van... Naja, zolang die 'et doet vind ik het best

[FireDrunk]

Verwijderd schreef op woensdag 24 juli 2013 @ 02:08:
Dat zou betekenen dat ik al mijn data om moet gaan gooien (wat momenteel onmogelijk is gezien de hoeveelheid), en ook een paar leuke features van ZFS moet gaan missen.

Ik ga nog een paar dagen kloten, in de hoop dat N4F toch aan de praat te krijgen is met AD permissions. Het is meer mensen al gelukt. (Al hadden die vreemd genoeg niet meer stappen nodig dan ik.)

Ik heb hier Nas4Free (versie 775) en een Server 2012 AD. Als ik vandaag tijd over heb, zal ik het eens proberen.

[Mafketel]

Verwijderd schreef op dinsdag 23 juli 2013 @ 22:38:
[...]

In de meegeleverde webGUI van freenas was het een kwestie van een kleinte tutorial volgen, een paar vinkjes goed zetten, en tadaa, UNIX beschouw ik dan ook simpelweg als een noodzakelijk kwaad om ZFS te draaien. De dag waarop Windows met een dergelijk systeem komt, is dan ook de dag dat ik overstap. Persoonlijk heb ik geen grote hobby aan de UNIX infrastructuur. Het komt allemaal vrij chaotisch op me over. (Al zullen de meeste hier het liever als overweldigend bestempelen. )

Dan snap ik nog steeds niet waarom je een ad gui nodig hebt op de zfs fileserver. Nadat je de fileserver in het domein hebt gehangen, je shares hebt aangemaakt en je snapshot schedule in cron. Regel je alles via de windows gui's, of maak je dagelijks nieuwe shares aan?
Overigens was in de veronderstelling dat de ad discussie hierboven ging over samba als ad server en niet waar jij het nu over hebt een fileserver die ook in het ad domein hangt. Dit kan zonder problemen met Samba > 3.0.20

[FireDrunk]

Je wil de mogelijkheid hebben om aan een SMB/CIFS share die op ZFS ligt, AD groepen toe te voegen.
Dan kan je daarna AD users gewoon in die groep hangen, en heeft de user automatisch rechten op die share.

[Verwijderd]

Mafketel schreef op woensdag 24 juli 2013 @ 09:07:
[...]

Dan snap ik nog steeds niet waarom je een ad gui nodig hebt op de zfs fileserver. Nadat je de fileserver in het domein hebt gehangen, je shares hebt aangemaakt en je snapshot schedule in cron. Regel je alles via de windows gui's, of maak je dagelijks nieuwe shares aan?

Ik weet niet wat jij onder ad gui verstaat, maar het enige wat ik wil dat de gui kan, is zorgen dat ik zover kom dat ik een domain kan joinen (check) waarbij alle users en groepen gerepliceerd worden (check, via wbinfo) en ik daarna de users kan selecteren als ik via de default domain admin de share benader. (Geen check, alleen users op locatie 'fileserver' beschikbaar: hij lijkt het domain niet te kunnen zien terwijl hij het wel kan joinen.) Bij freenas was de truc hierbij nog om acl type op windows te zetten, en vervolgens Administrator als owner van de share toe te kennen, maar ik heb eerlijk gezegd géén idee hoe dat bij n4f gaat. Google heeft het helaas ook goed verstopt.

[Verwijderd]

Nevermind, deze ochtend werkte het gewoon toen ik een screentje wou maken om hier te plaatsen.

*Edit* Vanaf een client lukt het me nog niet, maar vanaf een DC kan ik de shares wel managen (zelfde account btw)

[ Voor 38% gewijzigd door Verwijderd op 24-07-2013 13:03 ]

[FireDrunk]

Kan je je stappenplan posten? Ben wel benieuwd.

[Verwijderd]

Tuurlijk. Als je puur het Active directory verhaal wilt lezen, moet je onder de streep beginnen.

We installeren N4F, en volgen vervolgens deze blog om vmxnet3 draaiend te krijgen: http://itanalyses.blogspo...rtual-freenas-831-on.html

Hier zijn wel enkele aanpassingen bij nodig:
-ipv /tmp heb ik /usr/vmware als tijdelijk map gebruikt
-ik heb op N4F 9.1 de drivers van FreeBSD-9.0-amd64 ipv FreeBSD-8.1-amd64 gebruikt.
bij het editen van /boot/loader.conf heb ik direct de lines hw.pci.enable_msi=1 en hw.pci.enable_msix=0 toegevoegd.

Daarna afsluiten, vmxnet3 toegevoegd. In de GUI het IP adres toegevoegd. Default gateway en DNS staat momenteel nog op .254 (=router)
Afsluiten, 2xLSI2008 en 1xLSI1068 toegevoegd. Dit zou schijnbaar niet moeten kunnen omdat ik 3 devices in passthrough heb gezet, maar het heeft bij mij onder ESXi 5.1 nog nooit problemen opgeleverd. Wellicht handige info voor diegene die 3 devices in passthrough naar dezelfde VM willen zetten, maar het nog niet hebben geprobeerd vanwege deze beperking.

Daarna in de CLI de zpool Data geimporteerd. Denk eraan dat je bij N4F onder /mnt/ moet mounten. Als je onder / mount, ga je itt ZFSguru tegen een aantal problemen aanlopen. Precieze commando weet ik niet meer, maar ik neem aan dat dat niet zo'n probleem is. Vervolgens weer een reboot.

Daarna in de GUI bij disks -> configuration -> synchronize een synchronize gedaan. Anders ziet de GUI ze niet. Zodra dat gedaan was een NFS Share opgezet voor /mnt/Data/ESXiDataStore, en deze aan vmware gekoppeld, zodat ik mijn virtuele machines weer kon benaderen vanuit VMWare.

_____


DC's opgestart, en daarna in de GUI van de fileserver eerst DNS aangepast om ervoor te zorgen dat hij naar de DC's verwijst. Dit kan onder system -> general. Daarna onder access - active directory de juiste gegevens ingevuld om het AD domain te joinen.

Na het joinen even met wbinfo -u gecontroleerd of de users gerepliceerd worden. (Dit kan in de GUI ook onder diagnostics -> information -> MSdomain) En dit bleek het geval te zijn.

Daarna een SMB share aangemaakt van /mnt/Data/Files (Services -> SMB/CIFS). Bij SMB alles aangevinkt omdat het allemaal veelbelovend klonk, maar EA schijnt aan te moeten staan.

Daarna uren lopen kloten omdat alles eigenlijk zou moeten werken, maar het eigenlijk net niet werkte. Ik weet niet of het al hoort te werken vanaf dit punt, maar ik gok van wel. (Ik heb nog een aantal dingen als ZFS ACL's op passthrough gezet, omdat dit ook invloed zou moeten hebben, maar dat zullen anderen vast beter begrijpen dan ik.) Ik heb zojuist zitten kijken of ik mijn shares kan managen op de DC's, en dit kan. Op mijn eigen pc kan dit niet, maar op de memberservers kan het weer wel. Hoogstwaarschijnlijk heeft dit ermee te maken dat op mijn eigen pc de DNS server nog op .254 stond, terwijl het op de memberservers altijd op .20 (DC) heeft gestaan. Dus vermoedelijk heb ik urenlang in de verkeerde richting zitten zoeken, en werkt N4F gewoon als een zonnetje onder AD.


Edit: DNS settings van mijn client aangepast, en het werkt. Praise the Lord. Zes uur voor niks me zitten ergeren

[FireDrunk]

Verwijderd schreef op woensdag 24 juli 2013 @ 13:30:
DC's opgestart, en daarna in de GUI van de fileserver eerst DNS aangepast om ervoor te zorgen dat hij naar de DC's verwijst. Dit kan onder system -> general. Daarna onder access - active directory de juiste gegevens ingevuld om het AD domain te joinen.

check, werkt allemaal, ik zie keurig een nieuw account in AD verschijnen.

Na het joinen even met wbinfo -u gecontroleerd of de users gerepliceerd worden. (Dit kan in de GUI ook onder diagnostics -> information -> MSdomain) En dit bleek het geval te zijn.

Hier gaat het fout, ik krijg:

Results for net rpc testjoin:
Environment LOGNAME is not defined. Trying anonymous access.
Enter LLNAS01$'s password:
Could not connect to server 192.168.5.2
The username or password was not correct.
Connection failed: NT_STATUS_LOGON_FAILURE
Join to domain 'LAGELANDEN' is not valid: NT_STATUS_LOGON_FAILURE
Ping winbindd to see if it is alive:
Ping to winbindd succeeded
Check shared secret:
error code was NT_STATUS_CANT_ACCESS_DOMAIN_INFO (0xc00000da)
failed to call wbcCheckTrustCredentials: WBC_ERR_AUTH_ERROR
Could not check secret
checking the trust secret for domain LAGELANDEN via RPC calls failed

LLNAS01 = Nas4Free machine
LLDC01 (192.168.5.2) is de AD server.

[Verwijderd]

je hebt het als volgt ingevuld: (Let op hoofdletters is mijn ervaring)

Domain controller name LLDC1
Domain name (DNS/Realm-Name) ad.lagelanden.com
Domain name (NetBIOS-Name) AD
Administrator name Administrator
password *spreekt voor zich

Ik meende me te herrineren dat ik met Freenas geen toegang kreeg toen ik administrator ipv Administrator invoerde.

Heb je CIFS op active directory authentication staan btw? Het zou nu in princiepe niet uit horen te maken, maar je weet maar nooit.

[ Voor 32% gewijzigd door Verwijderd op 24-07-2013 14:04 ]

[jadjong]

Verwijderd schreef op woensdag 24 juli 2013 @ 13:30:

Afsluiten, 2xLSI2008 en 1xLSI1068 toegevoegd. Dit zou schijnbaar niet moeten kunnen omdat ik 3 devices in passthrough heb gezet, maar het heeft bij mij onder ESXi 5.1 nog nooit problemen opgeleverd. Wellicht handige info voor diegene die 3 devices in passthrough naar dezelfde VM willen zetten, maar het nog niet hebben geprobeerd vanwege deze beperking.

Twee is de limiet van 4.1, zes devices geldt voor 5.0/5.1.

[syl765]

Domain controller name LLDC1
Domain name (DNS/Realm-Name) ad.lagelanden.com
Domain name (NetBIOS-Name) AD
Administrator name Administrator
password *spreekt voor zich

Als ik het eerste bericht las is het domein lagelanden.
Het zou dus moeten worden.

Domain controller name LLDC01
Domain name (DNS/Realm-Name) lagelanden.com
Domain name (NetBIOS-Name) LAGELANDEN
Administrator name Administrator
password *spreekt voor zich

gr
Johan

[FireDrunk]

Dat heb ik ingevuld, (domein is alleen lagelanden.local, en niet .com).

Results for net rpc testjoin:
Environment LOGNAME is not defined. Trying anonymous access.
Join to 'LAGELANDEN' is OK
Ping winbindd to see if it is alive:
Ping to winbindd succeeded
Check shared secret:
checking the trust secret for domain LAGELANDEN via RPC calls succeeded

Domain Controller op IP basis mag dus niet, dat moet perse op naam.



Even de share editen en admin users = Administrator toevoegen helpt

[ Voor 84% gewijzigd door FireDrunk op 24-07-2013 15:40 ]

[Xudonax]

Dit is interessant. Binnenkort maar eens kijken of ik mijn Windows Server VM weer mag starten van mijn kernel en dan ook eens hiermee spelen Levert een hoop extra opties op zo te zien!

[Verwijderd]

Tsja, Zeker als je bedrijfsmatig ZFS wilt gaan inzetten als fileserver is een AD-koppeling simpweg noodzakelijk. Ik vraag me dan alleen af in hoeverre een ' hobbyistisch' systeem als FreeNAS geschikt is voor een bedrijf als fileserver. Al is dat meer een gevoel natuurlijk.

[FireDrunk]

Het hoeft niet je primaire fileserver te zijn natuurlijk, maar je kan het wel gebruiken als backup fileserver ofzo.

Of je gebruikt het niet voor performance servers, maar alleen voor servers waarvan de data altijd consistent moet zijn (ZFS Self-Healing / Checksums).

[Verwijderd]

Hmm, ik krijg momenteel nog een 'parameter incorrect' error als ik daadwerklijk op apply klik. Schijnt ACL-type gerelateerd te zijn. Eens eventjes kijken hoe ik dat kon omzetten (Dit was ook een optie die aangepast moest worden in freenas.)

En firedrunk, ben jij niet tegen dat probleem aangelopen?

[FireDrunk]

Nee, ik heb die twee opties die jij noemde aangezet, en ik heb bij de share het vinkje aangezet bij Enable ZFS ACL.

[ Voor 3% gewijzigd door FireDrunk op 24-07-2013 20:12 ]

[Mafketel]

Verwijderd schreef op woensdag 24 juli 2013 @ 13:30:
Edit: DNS settings van mijn client aangepast, en het werkt. Praise the Lord. Zes uur voor niks me zitten ergeren

Kan ook zijn omdat je de n4f samba service op een bepaald moment opnieuw hebt opgestart.
Ik mis in je beschrijving ook nog de ntp config en is kerberos inmiddels in samba3.6 geïntegreerd?

[FireDrunk]

Wijzigingen in Kerberos zijn volgens mij alleen nodig als je de machine als Domain Controller wil gebruiken.

[Verwijderd]

FireDrunk schreef op woensdag 24 juli 2013 @ 20:12:
Nee, ik heb die twee opties die jij noemde aangezet, en ik heb bij de share het vinkje aangezet bij Enable ZFS ACL.

Het vinkje! Dat deed de truc.

Ik kwam er zojuist achter dat een device vervangen in N4F ietsjes 'moeilijker' was - dat moet via CLI - maar dat lijkt me verder een kwestie van wennen.

Verder heb ik nog een leuk speeltje voor onze betrouwbare-storage-fetisjisten: Google Play: ZFS Monitor

Het is wel een zeer beperkte app: je kunt gemakkelijk zien welke disks online zijn, hoeveel data er gebruikt wordt, en of er een scrub plaats vindt, maar that's it. Gezien het feit dat hij via ssh werkt, zou er nog veel meer mogleijk moeten zijn dan alleen monitoren. Nu nog eens kijken voor een leuke app om vcenter mee in de gaten te houden.

Edit: VMCA is de enige die gratis is. Het heeft wel de looks van een website die door een 13-jarige gebouwd is, maar het heeft alle functionaliteiten die je maar wenst voor onderweg.

[ Voor 12% gewijzigd door Verwijderd op 25-07-2013 01:58 ]

[syl765]

Tsja, Zeker als je bedrijfsmatig ZFS wilt gaan inzetten als fileserver is een AD-koppeling simpweg noodzakelijk. Ik vraag me dan alleen af in hoeverre een ' hobbyistisch' systeem als FreeNAS geschikt is voor een bedrijf als fileserver. Al is dat meer een gevoel natuurlijk.

Hobbyistisch? Ik denk dat dat redelijk meevalt.
Truenas word gebruikt door grote instellingen en bedrijven.
Het grote voordeel van freenas, nas4free, zfsguru, freebsd enz is dat je heel flexibel bent met hardware.
Zolang je pool het doet kun je bijna alle kanten uit.
Nadeel is de samba performance in sommige gevallen.

Maar wij hebben een klant die een dure IBM oplossing heeft als SAN / NAS ingericht door een gespecialiseerd bedrijf. Die komen met de samba performance niet boven de 28 MB/s op 1Gbit netwerk.
En daarmee vergeleken presteert onze san/nas oplossing gebaseerd op freebsd een stuk beter.

En ook de IBM heeft een dag niet gewerkt ondanks alle redundantie van hba's multipath van alles enz.

Een tweede voordeel is dat alles redelijk inzichtelijk is.
Lukt het niet via een gui dan is er altijd nog de cli.
Daar kun je alles mee.
Een groot nadeel van windows, wat als dat vinkje dus niet doet wat het moet doen.
Ten tweede kan windows soms heel erg vage meldingen geven out of the blue.

In mijn ogen is freebsd in welke vorm dan ook prima geschikt om als nas te fungeren binnen een organisatie.

Gr
Johan.

[LiquidSmoke]

syl765 schreef op donderdag 25 juli 2013 @ 11:38:
[...]
Maar wij hebben een klant die een dure IBM oplossing heeft als SAN / NAS ingericht door een gespecialiseerd bedrijf. Die komen met de samba performance niet boven de 28 MB/s op 1Gbit netwerk.
En daarmee vergeleken presteert onze san/nas oplossing gebaseerd op freebsd een stuk beter.

Afgelopen week mijn mediacenter omgebouwd naar Ubuntu met ZFSonlinux, en zelfs out of the box trek ik de gigabit pijp helemaal dicht naar een raidz1 pool van 3 schijven over Samba, en dat terwijl er nog geparred en gerarred wordt op de achtergrond, en XBMC een bluray afspeelt over SMB...

Iemand trouwens ooit een web based monitoring/status tool gezien voor ZFS, of een php based iets?

[jadjong]

LiquidSmoke schreef op donderdag 25 juli 2013 @ 12:41:
[...]


Iemand trouwens ooit een web based monitoring/status tool gezien voor ZFS, of een php based iets?

Napp-it.

[ItsValium]

Ik gebruik ondertussen ZFS al een tweetal jaar in productie. Tot nu toe nog geen één keer spijt gehad van de omschakeling van mijn vroegere netapp naar de huidige omgeving. Momenteel druk bezig met het testen van de haalbaarheid om van betaalde Nexenta over te stappen naar een vrije vorm ...

Voor de prijs van de netapp omgeving heb ik nu 5 keer meer storage, dubbel zo veel performance ... Ok het vergt iets meer werk van mijn kant (hoewel ik zelfs dat niet echt meer kan zeggen, de netapp had ook wel zijn werk/maintenance nodig) maar dat heb ik er graag voor over.

Voor veel van mijn klanten is de overstap ook reeds een feit, enkel een aantal diehards blijven volhouden aan hun duurbetaalde bagger performende omgevingen. Maar daar komt meestal wel verandering in als het tijd word om uit te breiden of te vervangen

[syl765]

FireDrunk schreef op woensdag 24 juli 2013 @ 15:11:
Dat heb ik ingevuld, (domein is alleen lagelanden.local, en niet .com).

Even de share editen en admin users = Administrator toevoegen helpt

Admin users = administrator in de global sectie zetten, en het geld voor al je shares, wel zo makkelijk.

Gr
Johan

[Waking_The_Dead]

Momenteel heb ik deze ZFS NAS draaien: Waking_The_Dead in "Storage showoff topic - 10+ TB storage systems"

12TB vol met ISO's.... ik heb nog zo'n 20GB over nu. Die NAS gebruik ik enkel en alleen maar als centrale storage voor videomateriaal (voornamelijk in ISO formaat met hier en daar wat m2ts files).

Ik heb nog een heleboel series op BD in pre-order staan dus ik wil gaan uitbreiden. Nu heb ik dus 1 pool (6x3TB in RAID-Z2) met films, series en concerten erop. De verhouding is ongeveer 2/3 films en 1/3 voor de rest. Dus dacht ik om een extra pool aan te maken van 6x4TB (in RAID-Z2) en exclusief te gebruiken voor films. De huidige pool zou ik dan houden voor series en concerten.
Daar moet ik dan nog wel een tijdje mee verder kunnen.

Verder heb ik ook een Synology DS211+ waar mijn muziek en andere documenten op staan. Nu zou ik eventueel afstappen van die Syno en bij uitbreiding van mijn ZFS NAS alle data nu ook gewoon daar onderbrengen.

Dus had ik gedacht om nog een bijkomende pool aan te maken ter vervanging van de Syno. 2x2TB in RAID-0 zou voldoende moeten zijn (ik heb nog een tweede Syno draaien die elke nacht een incrementele backup maakt van de eerste Syno).

Op die manier zit ik al aan 14 disks en dat betekent dus dat ik een nieuwe case moet zoeken, een nieuw moederbord en minstens een tweetal controllers om al die schijven aan te sturen.

Nu, een movieserver heeft echt niet veel cpu-kracht nodig. Met mijn huidige NAS is het perfect mogelijk om zonder haperen een BD ISO te bekijken terwijl ik ondertussen twee andere BD's rip. Dus een betere cpu voor die bijkomende film-pool is niet nodig.
Het aansturen van die derde pool zal wellicht wat meer power nodig hebben. Nu is mijn vraag naar wat voor moederbord/CPU ik moet uitkijken. Mijn Syno wordt nu gebruikt als download-station, Squeezebox server en gewoon all-round fileserver (er zitten geen harde schijven in mijn desktop, enkel een SSD met alle software. Al mijn data staat op mijn Syno).
Moet ik dan ook gaan denken aan SSD's voor caching en dergelijke?