Het grote ZFS topic

[Verwijderd]

Panzy schreef op donderdag 19 december 2013 @ 19:38:
Bedankt voor de uitgebreide post weer, 1 ding snap ik alleen niet:

Kun je mij vertellen hoe ZFS kan weten dat het op een RAID array staat en daardoor commando's gaat uitschakelen? Mijn computer weet namelijk niet beter dan dat het gewoon een HDD is, wel knap dat ZFS daar omheen kan kijken.

Het is niet ZFS die FLUSH CACHE commando's uitschakelt; het is de hardware RAID controller. Die ontvangt dergelijke requests maar negeert ze gewoon, in elk geval in write-back modus. Vandaar dat de meeste controllers enkel write-back willen inschakelen als je een Battery Backup Unit (BBU) hebt om de eigen buffercache van de hardware RAID controller te beschermen. Zolang die buffer bij de hardeschijven terecht komt, is er weinig aan de hand. Alleen de buffercache van de hardeschijven gaat dan verloren.

Maar dat is wel een groot probleem. ZFS - inclusief alle 2e generatie filesystems zoals NTFS/Ext3/Ext4/UFS - bieden uitstekende bescherming tegen de harddisk write-back buffercache. De geheugenchip in hardeschijven dus die write-requests opspaart. Die ben je kwijt als de stroom uitvalt. Maar daar is een prima bescherming tegen gevonden. Traditioneel wordt daarvoor een journal gebruikt. Hierdoor kan de hardeschijf altijd zijn write-back verliezen zonder schade aan het filesystem zelf. Natuurlijk verlies je de meest recente wijzigingen, maar het filesystem zelf raakt niet corrupt. Bij 1e generatie filesystems is dat wel zo. Denk aan FAT bij Windows 95/98/ME waar je bij het opstarten vaak 'scandisk' kreeg en meer dan eens kon je recent aangeraakte bestanden vinden in de found.000 directory met een vage naam. Soms zelfs hele directories die verdwenen. 2e generatie filesystems hebben dat probleem verholpen door middel van journalling, soft updates en write barriers. In principe houdt dat in dat metadata en data gescheiden van elkaar wordt. Bovendien wordt daarbij een nieuw commando gebruikt: FLUSH BUFFER. Dit commando zegt tegen de hardeschijf dat hij zijn gehele DRAM buffer moet wegschrijven. Pas als dat gebeurd is, is het FLUSH-commando voltooid. Deze commando's worden gebruikt om te garanderen dat bepaalde matadata naar disk wordt geschreven vóórdat er nieuwe data wordt geschreven. Het garandeert in feite dat de volgorde van data en metadata writes niet verstoord raakt.

Een hardware RAID controller echter, kan zijn grote DRAM buffer van bijvoorbeeld 1 gigabyte nauwelijks gebruiken als het FLUSH-commando's zou gebruiken. De buffer zou dan met een halve megabyte gevuld zijn en dan een flush commando krijgen. Op die manier verlies je het voordeel van een dergelijk grote write-back. Dus de truc is dat de controller de FLUSH-commando's keihard negeert. ZFS weer daar niets van; die ziet gewoon een enkele SCSI-schijf. Dat de FLUSH-commando's niet bij de disks terecht komen, heeft ZFS geen weet van. ZFS ziet in dit geval de fysieke disks ook helemaal niet.

Gebruik je ZFS in combinatie met hardware RAID, dan bestaat het risico dat je hele pool corrupt raakt. Als dat gebeurt, kun je ook geen recovery meer plegen. In elk geval niet iets wat officiëel gesupport wordt; met het zdb-commando kun je met zeer specialistische kennis mogelijk wel je data recoveren, maar dat is onbetaalbaar en onpraktisch. Je kunt dan na een vage crash opeens zien dat je pool 'corrupted metadata' bevat en derhalve niet importeerbaar of toegankelijk is. Al je disks zijn online, je kunt verder niets doen. Kut!

ZFS kan in principe niet corrupt raken; ZFS is ontworpen om met write-back om te gaan zolang FLUSH CACHE commando's worden eerbiedigd. In het geval dat je echter een extra laag aanbrengt tussen ZFS en de fysieke disks - ofwel in software danwel in hardware - bestaat de mogelijkheid dat je ZFS pool toch corrupt raakt, zelfs al doen je hardeschijven prima hun werk.

Verder bestaat het risico dat Hardware RAID je disks uit de array gooit; bij passthrough of JBOD mode heb je geen arrays; of nouja arrays met één disk zeg maar. Maar die kan de controller wel onzichtbaar maken als er bad sectors optreden. Dit probleem heb ik concreet ervaren met Areca en er zijn meer van dit soort verhalen. Dit is een apart probleem van het probleem hierboven en kwam bij mijn Areca-controller voor in alle mogelijke configuraties: single-disk arrays, passthrough mode en JBOD mode (alle disks automatisch in passthrough). Bij bad sectors werden de disks onzichtbaar en kon ZFS er dus ook niets meer mee. Dat wil je ook niet. Bij het rebooten komen de disks weer terug; je data komt hierdoor niet in gevaar. Maar het is wel irritant.

Conclusie is dus dat Hardware RAID + ZFS een zeer slechte combinatie is. ZFS wilt zo dicht bij de disks zitten als mogelijk is. AHCI controller zoals je chipset Intel/AMD poorten zijn van de hoogste kwaliteit. De SAS-controllers van LSI zijn ook heel goed. Sommige hardware RAID controllers kun je in de juiste configuratie ook veilig met ZFS gebruiken. Ik durf hierbij geen zekerheid te bieden, maar ik vermoed dat 3ware en LSI het beter doen dan met name Highpoint en Areca. Ook kan de firmware veel verschil maken; mijn Areca is getest destijds met firmware versie 1.42 uit mijn hoofd.

Hopelijk heb ik je overtuigd nog eens na te denken. Het lijkt mij onverstandig om een route te kiezen waarvan je problemen kunt verwachten. ZFS kan veel hebben, maar sommige dingen dus niet. Dus kies daar dan ook niet voor zou ik zeggen en ga voor iets wat iedereen gebruikt; chipset SATA of LSI SAS controller. Dan weet je zeker dat het goed gaat werken en mag je er vanuit gaan dat je data niet corrupt raakt.

Succes

[Q]

Panzy schreef op donderdag 19 december 2013 @ 22:54:
Mooi kut dat, en daar betaal je dan hoeveel voor? Doe dan maar ZFS idd haha. Zou HP aanklagen ofzo, gewoon blijven volhouden dat je firmware up to date was.

Dat soort dingen doe ik niet en dat heeft geen zin, ze (hp) zien de logs. Maar ach, het was een backup SAN dus niet levensbedreigend. Het is entry-level SAN spul (rebranded dot-hill) en blijkbaar is dit wat je dan kunt verwachten.

Storage, hoeveel je er voor betaalt maakt niet uit, gaat gewoon stuk en daar moet je op voorbereid zijn.

We hebben nog een oude DL380G7 staan met 20+ disks die ik ook voor uitwijk inzet via iSCSI. Dat zou eigenlijk wel een mooie ZFS machine kunnen worden met nog 2x SSD die ongebruikt in een ander systeem zit.

////////////////////////////////////////////////////////

Ik heb in mijn hoofd geaccepteerd dat het toch wel verstandig is om bijvoorbeeld 2x12disk RAID6 te doen en niet alles in 1x24 disk RAID6 te stoppen, dan wordt die 2xparity me iets te 'licht'.

Nu wil ZFS dan liever een 18-disk RAIDZ2 + 6-disk RAIDZ2, wat dan tegen de vuistregel in gaat dat VDEVs even groot zouden moeten zijn, maar dat is meer voor echte bedrijfsomgevingen. Niet voor archivering lijkt me. Dat zou dan 80 TB moeten opleveren in mijn chassis. Daar doe ik niet moeilijk over.

In het chasis is er ruimte in de binnenkant voor 1x3.5 inch of beter: 2x2.5" SSD als boot en (eventueel) cache/slog .

Dank gaat waarschijnlijk de kogel door de kerk en gaat mijn setup op ZFS draaien als alles goed gaat. De grootste onbekende factor is nog de sequentiële read/write performance.

[ Voor 10% gewijzigd door Q op 20-12-2013 01:46 ]

[FireDrunk]

Als je de vdev caching wat tuned kan je echt hoge sequentiele performance halen. Het zou mij niets verbazen als je dik boven de 1GB/s uit komt. (mits je CPU/Geheugen daar ook naar zijn).

[RudolfR]

Gisteren m'n nieuwe HDDs ontvangen.
Eerst geprobeerd de boel weer op te zetten nadat ik alleen de kabels had vervangen.
Dat leek te werken, maar onder load ging het vrij snel mis.

Kwam vandaag dit draadje tegen:
http://lists.freebsd.org/...able/2013-May/073598.html
Daar wordt geopperd om de PSU te controleren.

Nu heb ik een be quiet! Pure Power L7 300W, waarvan ik hier wel gelezen dat-ie kan gaan falen.
't Ding is 1,5 jaar oud en draait 24/7.

Hoe controleer ik de PSU? Door 'm te vervangen?

[syl765]

@ RudolfR
Ja vervangen is de beste optie.
Misschien heeft iemand even een goede PSU te leen.
Anders word het inderdaad lastig zonder de juiste meet apparatuur.

gr
Johan

[Q]

FireDrunk schreef op vrijdag 20 december 2013 @ 07:53:
Als je de vdev caching wat tuned kan je echt hoge sequentiele performance halen. Het zou mij niets verbazen als je dik boven de 1GB/s uit komt. (mits je CPU/Geheugen daar ook naar zijn).

Interessant, gezien de hoeveelheden data overweeg ik om geen ZIL op een separaat SLOG te zetten, omdat zo'n SSD in no-time kapot gaat. Zou dat nog invloed hebben?

CPU is quad-core xeon en 16 GB RAM, should do the trick?

[BCC]

Mijn nieuwe server komt morgen binnen en ik wil eigenlijk Debian gaan draaien met ZFS.. wat is dan het handigste? FreeBSD met daar visualisatie op (kvm?) met daarin Debian (of kan dit dat in een Jail?). Of Debian met ZOL en daarop virtualisatie (docker/kvm)?

Het ding moet storage en virtualisatie gaan doen en ik wil van ZFS gaan booten.

[Sonic]

Aangezien mijn ESXi server al een tijdje meegaat en de schijven hierin 24/7 draaien lijkt het mij verstandig om deze te gaan vervangen. Daarnaast kan ik ook wat extra ruimte gebruiken.

Om het meteen goed te doen wil ik graag gebruik gaan maken van de IBM ServeRAID M1015 adapter.
Via de pricewatch gemakkelijk deze kaart kunnen vinden, echter zijn de SAS kabels die erbij horen aardig aan de prijs. Nu ben ik goedkopere SAS kabels tegengekomen, maar weet niet of deze geschikt zijn voor de M1015. Heeft iemand ervaring met de onderstaande kabels? Of kent iemand een adres waar deze kabels goedkoop af te halen zijn?

Kabels die ik zelf op het oog heb: (maar werkt dit met de M1015?)
http://tweakers.net/price...html]Supermicro CBL-0188L

Voor de schijven ben ik er ook nog niet helemaal uit. Ik zit zelf aan de WD Red's te denken, aangezien deze speciaal bedoeld zijn voor 24/7 systemen. Aan de andere kant, mijn WD greens draaien nu ook 24/7 al meerdere jaren zonder problemen... De Seagate Desktop 4TB schijven zijn dan weer een stukje goedkoper. Daarnaast maak ik ook gebruik van Spindown, dus mijn schijven draaien ook niet helemaal 24/7.

[FireDrunk]

Q schreef op vrijdag 20 december 2013 @ 10:32:
[...]


Interessant, gezien de hoeveelheden data overweeg ik om geen ZIL op een separaat SLOG te zetten, omdat zo'n SSD in no-time kapot gaat. Zou dat nog invloed hebben?

CPU is quad-core xeon en 16 GB RAM, should do the trick?

16GB is ok, maar het kan nog meer. Default is de transaction group timeout 5 seconden (op veel platforms).

Dat betekend dat ZFS 5 seconden data wil verzamelen voordat het geforceerd die transaction group gaat flushen. Op het moment dat ZFS gaat flushen, mag er al wel een nieuwe transaction group gemaakt worden.

In theorie als je schijven dus 1GB per seconde doen, kan je je write_limit_override op 5GB zetten, waardoor een transaction group tot 5GB groeit. Potentieel kan je dus 10GB geheugen nodig hebben *voor alleen de transaction groups*, 5GB een groep die uitgevoerd word, en 5GB voor een groep die gevuld word.

Als daar ook nog eens je ARC bij moet, heb je heel wat geheugen nodig.

Het zou in jouw geval dus lonen om de transaction group timeout terug te dringen naar 1 seconde met een grootte van 1GB, dan heb je potentieel maar 2GB geheugen nodig voor de transaction groups.

[Q]

Bedankt FireDrunk, dat is interessant, ik zal hier mee gaan testen.

[SparC-EHV]

@sonic, ja, heb zelf ook een IBM in mijn esx bak hangen en volgens mij gebruik ik dezelfde kabels. En wat ik lees in de specs moeten die gewoon werken.
WD red`s kun je best gebruiken als je RAID aan wilt houden, maar wat ik zo lees zijn er genoeg tweakers hier die ook gewoon Greens gebruiken voor hun ZFS NAS install.

[Sonic]

Thanks SparC-EHV!

Ik ga deze kaart bestellen met de bijbehorende SAS kabels. Over de schijven kan ik nog even nadenken. Eerst maar spelen met deze nieuwe kaart in combinatie met ZFS, VT-D en Spindown!

[]Byte[]

* ]Byte[ doet ff <knock> <knock> on the door of FireDrunk...
Ik heb m'n QLE2460 HBA's geïnstalleerd. Eentje in ZFSguru en eentje in mijn ESX-doosje.
In de /boot/loader.conf de driver geladen (ispfw_load="YES")
In de /boot/device.hints het volgende toegevoegd:

hint.isp.0.fullduplex="1"
hint.isp.0.topology="nport-only"
hint.isp.0.role="target"

De link staat op 4 Gb, dus de HBA's zien elkaar.
Ik heb nu alleen voor de POC twee ramdrives aangemaakt. (da14 en da15)
Ik heb nu alleen wat problemen met het zichtbaar krijgen van de ramdrives bij ESX. (rescan ook gedaan - 0 Targets - 0 Devices - 0 Paths)

code:

[root@zfsguru ~]# camcontrol devlist   
<ATA WDC WD40EFRX-68W 0A80>        at scbus1 target 8 lun 0 (pass0,da0)
<ATA WDC WD40EFRX-68W 0A80>        at scbus1 target 9 lun 0 (pass1,da1)
<ATA Samsung SSD 840 AB0Q>         at scbus1 target 10 lun 0 (pass2,da2)
<ATA Samsung SSD 840 AB0Q>         at scbus1 target 11 lun 0 (pass3,da3)
<ATA Samsung SSD 840 AB0Q>         at scbus1 target 12 lun 0 (pass4,da4)
<ATA Samsung SSD 840 AB0Q>         at scbus1 target 13 lun 0 (pass5,da5)
<ATA WDC WD40EFRX-68W 0A80>        at scbus2 target 6 lun 0 (pass6,da6)
<ATA WDC WD40EFRX-68W 0A80>        at scbus2 target 7 lun 0 (pass7,da7)
<ATA WDC WD40EFRX-68W 0A80>        at scbus2 target 8 lun 0 (pass8,da8)
<ATA WDC WD40EFRX-68W 0A80>        at scbus2 target 9 lun 0 (pass9,da9)
<ATA WDC WD40EFRX-68W 0A80>        at scbus2 target 10 lun 0 (pass10,da10)
<ATA WDC WD40EFRX-68W 0A80>        at scbus2 target 11 lun 0 (pass11,da11)
<ATA WDC WD40EFRX-68W 0A80>        at scbus2 target 12 lun 0 (pass12,da12)
<ATA WDC WD40EFRX-68W 0A80>        at scbus2 target 13 lun 0 (pass13,da13)
<SAMSUNG SSD 830 Series CXM03B1Q>  at scbus7 target 0 lun 0 (pass14,ada0)
<OCZ-VERTEX3 2.22>                 at scbus8 target 0 lun 0 (pass15,ada1)
<FREEBSD CTLDISK 0001>             at scbus9 target 1 lun 0 (da14,pass16)
<FREEBSD CTLDISK 0001>             at scbus9 target 1 lun 1 (da15,pass17)

[root@zfsguru ~]# ctladm port -l
Port Online Type     Name         pp vp WWNN               WWPN              
0    YES    IOCTL    CTL ioctl    0  0  0                  0                 
1    YES    INTERNAL CTL internal 0  0  0                  0                 
2    YES    INTERNAL ctl2cam      0  0  0x500000009dedeb00 0x500000009dedeb03

Wat mis ik nog?

[FireDrunk]

Je moet heel ctl nog installeren.
CAM is het framework. CTL is de software die target mode mogelijk maakt. (CAM Target Later...)

[ Voor 57% gewijzigd door FireDrunk op 21-12-2013 09:08 ]

[]Byte[]

Hmmmm... Die was bij mij nog niet in beeld.

Staat zo te zien al geïnstalleerd. Heb een ctladm en ctlstat.
ctlstat ziet ook beide luns.

code:

[root@zfsguru ~]# ctlstat 
  CPU              lun0             lun1 
          ms  KB/t tps  MB/s    ms  KB/t tps  MB/s 
  1.2%  0.06  0.78   0  0.00  0.00  0.84   0  0.00 
  1.5%  0.00  0.00   0  0.00  0.00  0.00   0  0.00 
  0.7%  0.00  0.00   0  0.00  0.00  0.00   0  0.00 
  1.8%  0.00  0.00   0  0.00  0.00  0.00   0  0.00 
  1.2%  0.00  0.00   0  0.00  0.00  0.00   0  0.00 
  1.8%  0.00  0.00   0  0.00  0.00  0.00   0  0.00 
  2.6%  0.00  0.00   0  0.00  0.00  0.00   0  0.00 
  0.8%  0.00  0.00   0  0.00  0.00  0.00   0  0.00

Ik ga ff hiermee verder aan de slag.

Natuurlijk had ik ctl al wel in beeld...

code:

[root@zfsguru ~]# ctladm port -l

[ Voor 6% gewijzigd door ]Byte[ op 21-12-2013 10:23 ]

[FireDrunk]

Je moet een kernel compileren volgens mij met device targ en device ctl aan.

http://www.freebsd.org/cg...tl/README.ctl.txt?rev=1.1
Stukje naar beneden scrollen naar Features, staat een readme.

[ Voor 48% gewijzigd door FireDrunk op 21-12-2013 14:51 ]

[FireDrunk]

* FireDrunk draait sinds een dagje Gentoo Linux icm ZFS

Eens kijken of we daar target mode voor FC aan de praat krijgen

[ Voor 5% gewijzigd door FireDrunk op 21-12-2013 14:56 ]

[RudolfR]

Mijn ZFS pool in ZFSGuru lijkt met de geleende voeding stabiel.
Nog tips om 't systeem en de schijven een beetje te stressen?
Maar ik denk wel dat de voeding het probleem is voor de AHCI timeouts.

Kan ik wel weer gewoon een Be Quiet L7 nemen? Ga liever voor de Seasonic G-360, maar de verkrijgbaarheid is niet optimaal. Of blijft dat de beste keus? Alternatieven? Of suggesties?

[]Byte[]

FireDrunk schreef op zaterdag 21 december 2013 @ 14:50:
Je moet een kernel compileren volgens mij met device targ en device ctl aan.

Hmmmm... dus de settings in loader.conf en devices.hints zijn niet genoeg.
* ]Byte[ denkt bij zichzelf.... das lang geleden zelf weer eens een kernel compileren...

RudolfR schreef op zaterdag 21 december 2013 @ 16:18:
Nog tips om 't systeem en de schijven een beetje te stressen?

Bonnie++
Crystal DiskMArk
IOmeter

[ Voor 46% gewijzigd door ]Byte[ op 21-12-2013 17:16 ]

[FireDrunk]

SabNZBd

[]Byte[]

FireDrunk schreef op zaterdag 21 december 2013 @ 17:15:
SabNZBd

Lol.... vooral als er par2 blokken repaired moeten worden.

[Q]

RudolfR schreef op zaterdag 21 december 2013 @ 16:18:
Mijn ZFS pool in ZFSGuru lijkt met de geleende voeding stabiel.
Nog tips om 't systeem en de schijven een beetje te stressen?
Maar ik denk wel dat de voeding het probleem is voor de AHCI timeouts.

Kan ik wel weer gewoon een Be Quiet L7 nemen? Ga liever voor de Seasonic G-360, maar de verkrijgbaarheid is niet optimaal. Of blijft dat de beste keus? Alternatieven? Of suggesties?

Volgens mij kun je beter voor Seasonic of Corsair voedingen gaan. Beetje opletten welk model, maar in je NAS wil je geen voeding hebben die instabiel is of afbrand

/////////////////////////////////

Linux Bonding: Met 4 x UTP tussen twee servers haal ik 3 Gbit/s wat neerkomt op 370 MB/s. Dat zou 4 Gbit moeten zijn, maar over 370 MB/s doe ik niet zo heel moeilijk. Het werkt alleen nog niet goed op mijn switch. Maar dat kan aan de bekabeling liggen.

[ Voor 25% gewijzigd door Q op 22-12-2013 01:01 ]

[FireDrunk]

FUUUUU, Denk je met SCST een pakket gevonden te hebben wat Target Mode ondersteund met je LSI FC adapters....

SCST compileren, Check!
SCST Admin Compileren, Check!

MPT Compileren, Faal! Kan <linux/smp_lock.h> niet vinden...
Ok vreemd, even zoeken... Hmm, die bestaat ook niet in de linux source code... Even googlen.

"smp_lock.h has been removed since kernel 2.6.32"... Wait, what? Die driver is dus gewoon al 10 jaar niet geupdatet? Ok fijn... Ff mailtje sturen naar de maker...

Google bounced de email direct:
"Error 550: No such person at this address".

Fijn... Werkt niet, geen support, en de maker is met de noorderzon vertrokken...

Bah, had ik maar QLogics gekocht

[]Byte[]

FireDrunk schreef op zondag 22 december 2013 @ 11:38:
"smp_lock.h has been removed since kernel 2.6.32"... Wait, what? Die driver is dus gewoon al 10 jaar niet geupdatet?
[...]
Bah, had ik maar QLogics gekocht

Of hij is gewoon al 10 jaar stabiel...

* ]Byte[ heeft Qlogic's maar nog geen nieuwe kernel...

[FireDrunk]

Nee, die driver is juist "alpha" zeggen ze... Dus hij is of al 10 jaar alpha, of ze vonden het leuk om tegen een 10 jaar oude kernel aan te linken...

[BCC]

Ik heb gisteravond geprobeerd om Ubuntu te booten van ZFS (zoals hier: https://github.com/zfsonl...ative-ZFS-Root-Filesystem), maar het werkt voor geen meter. Ik vermoed dat door de EFI komt, maar ik weet het niet helemaal zeker. Dus ik ga denk ik maar voor een normale Ubuntu installatie met software raid 5 en dan een ZFS pool waar ik /usr/ /var en /home naar verplaats... of heeft iemand een andere oplossing?

[FireDrunk]

/boot op een ext4 partitie? ZFS als module in je initramfs. Werkt prima.

[ Voor 45% gewijzigd door FireDrunk op 22-12-2013 12:16 ]

[Q]

@FireDrunk, op ebay zie ik sloten aan goedkope FC kaartjes van Qlogic, waarom heb je deze [andermerk] gekocht?

Zijn er goede bekende gedocumenteerde setups van FreeBSD / Linux als FC SAN? Met redundancy/load balancing? If so, is dat 4 pagina's instructies van 4 jaar oud en sources compilen tegen kernels van 5 jaar oud?

Ik vind FC als technologie erg interessant, maar het is natuurlijk ook echt enterprise spul met dito prijzen en achtergrond. Als je met FC aan de gang wilt dan heb je vaak ook een budget om een commerciële SAN neer te zetten en ga je niet snel met open-source zelf een SAN bouwen om daar dan je company data aan toe te vertrouwen.

Ik zie hier en daar wel blog posts over FC als target, maar ik zie geen echte open-source SAN community.

Dit projectje kwam ik toevallig tegen, maar niets mee gedaan.

https://code.google.com/p/enterprise-storage-os/

Het zou wel gaaf zijn dat als je FC (liefst met multi-pathing) aan de praat krijgt onder BSD of Linux dat daar een mooie blogpost oid uit voortkomt. Met al die verschillende targets implementatie LIO SCST, IETD, etc, ik snap er allemaal niets meer van.

[ Voor 60% gewijzigd door Q op 22-12-2013 13:26 ]

[FireDrunk]

Het lijkt allemaal heel veel, maar het valt allemaal wel mee...

FreeBSD heeft CAM / CTL, daar werken alleen de QLogic Adapters.
Onder Linux heb je LIO wat sterk verouderd is, en daar werken ook alleen de QLogic Adapters.
SCST is het betere broertje van LIO, maar die hebben het nooit in de kernel gered (LIO had betere 'marketing'). Daardoor moet je alles zelf compilen. SCST heeft Alpha support voor MPT Fibre Channel.

Onder Linux kan je ook nog gebruik maken van Emulex kaarten voor Target Mode, die drivers worden onderhouden door het Emulex team zelf voor zover ik gezien heb.
Ik heb ook nog Emulex kaartjes, maar die wil ik juist in mijn ESXi hosts gebruiken.

Ik heb de quad port LSI kaartjes voor nog geen 100,-/s kunnen kopen. Voor een kaart die theoretisch 200.000 IOPS per poort zou moeten kunnen doen, vond ik dat geen geld. Op alle websites staat ook dat de LSI kaartjes Target mode ondersteunen... Daarom heb ik ze ook gekocht.

Blijkt dus dat de kaartjes het wel ondersteunen, maar dat er voor geen enkel platform drivers geschreven zijn die dit ondersteunen. Enige platform wat ik nog niet getest heb, is Solaris zelf. OpenIndiana werkte niet met mijn AMD AHCI controller, dus die wilde niet installeren. Daar zijn vast wel fixes voor te vinden, maar OpenIndiana heeft niet echt mijn voorkeur.

Dat project wat jij aanhaalt, bevat ook de MPT FC code niet, daar heb ik al naar gekeken, dat is eigenlijk gewoon een prebuilt systeem met de QLogic drivers er in. Op zich een leuk initiatief, maar niet voor mijn kaartjes.

Mijn kaartjes werken prima als Initiators onder Hyper-V, dus ik zou me nog een keer kwaad kunnen maken en dat gaan gebruiken, maar een single NIC setup is onder Hyper-V niet te doen (dus meerdere VLAN's voor zowel guests als voor de HyperVisor...).

Het is gewoon allemaal kut

Het liefst zou ik:
Mijn huidige DQ77MK bordje goed verkopen, een paar QLogic's terugkopen en nog 2 extra cluster nodes, plus wat geheugen en 3U full height kasten.

Dan maak ik 4 nodes in 1 cluster met Emulex kaartjes en zet ik 2 quad port QLogic's in mijn NAS (of SAN dan eigenlijk ). Dan heeft elke cluster node 2*4Gb aan FC connectie naar mijn SAN.

Als ik mijn LSI's dan niet kwijtraak (waar ik een beetje bang voor ben), kan ik altijd nog een keer proberen om het allemaal aan de praat te krijgen met die LSI's onder Hyper-V.

[ Voor 12% gewijzigd door FireDrunk op 22-12-2013 13:33 ]

[Q]

FireDrunk schreef op zondag 22 december 2013 @ 13:30:
Het lijkt allemaal heel veel, maar het valt allemaal wel mee...

FreeBSD heeft CAM / CTL, daar werken alleen de QLogic Adapters.
Onder Linux heb je LIO wat sterk verouderd is, en daar werken ook alleen de QLogic Adapters.
SCST is het betere broertje van LIO, maar die hebben het nooit in de kernel gered (LIO had betere 'marketing'). Daardoor moet je alles zelf compilen. SCST heeft Alpha support voor MPT Fibre Channel.

Dus zelfs met SCST en Qlogic adapters zit je met Alpha support....

Onder Linux kan je ook nog gebruik maken van Emulex kaarten voor Target Mode, die drivers worden onderhouden door het Emulex team zelf voor zover ik gezien heb.
Ik heb ook nog Emulex kaartjes, maar die wil ik juist in mijn ESXi hosts gebruiken.

Ik heb de quad port LSI kaartjes voor nog geen 100,-/s kunnen kopen. Voor een kaart die theoretisch 200.000 IOPS per poort zou moeten kunnen doen, vond ik dat geen geld. Op alle websites staat ook dat de LSI kaartjes Target mode ondersteunen... Daarom heb ik ze ook gekocht.

Blijkt dus dat de kaartjes het wel ondersteunen, maar dat er voor geen enkel platform drivers geschreven zijn die dit ondersteunen. Enige platform wat ik nog niet getest heb, is Solaris zelf. OpenIndiana werkte niet met mijn AMD AHCI controller, dus die wilde niet installeren. Daar zijn vast wel fixes voor te vinden, maar OpenIndiana heeft niet echt mijn voorkeur.

Dat project wat jij aanhaalt, bevat ook de MPT FC code niet, daar heb ik al naar gekeken, dat is eigenlijk gewoon een prebuilt systeem met de QLogic drivers er in. Op zich een leuk initiatief, maar niet voor mijn kaartjes.

Niet met jouw kaartjes maar als je wat geld uitgeeft en de 'juiste' kaartjes koopt zou het wel werken- met een redelijk budget?

Mijn kaartjes werken prima als Initiators onder Hyper-V, dus ik zou me nog een keer kwaad kunnen maken en dat gaan gebruiken, maar een single NIC setup is onder Hyper-V niet te doen (dus meerdere VLAN's voor zowel guests als voor de HyperVisor...).

Het is gewoon allemaal kut

Het liefst zou ik:
Mijn huidige DQ77MK bordje goed verkopen, een paar QLogic's terugkopen en nog 2 extra cluster nodes, plus wat geheugen en 3U full height kasten.

Dan maak ik 4 nodes in 1 cluster met Emulex kaartjes en zet ik 2 quad port QLogic's in mijn NAS (of SAN dan eigenlijk ). Dan heeft elke cluster node 2*4Gb aan FC connectie naar mijn SAN.

Als ik mijn LSI's dan niet kwijtraak (waar ik een beetje bang voor ben), kan ik altijd nog een keer proberen om het allemaal aan de praat te krijgen met die LSI's onder Hyper-V.

Het is misschien jammer van het geld, maar een hobby mag gerust wat kosten. Als je het met FC stabiel aan de praat krijgt is dat natuurlijk wel erg gaaf.

Ik heb nu Quad-gigabit er in gestopt, maar FC of infiniband of dat soort spul is toch wel ff mooier.

Of dan toch maar een beetje gaan 'sparen' en een paar 10Gbit kaartjes + switch kopen, maar dat is een beetje een keuze tussen een leuke vakantie of dat spul

[FireDrunk]

Nee, SCST icm QLogic is stabiel (lees ik...), maar dat geld ook voor FreeBSD icm QLogic. Als ik dan toch kan kiezen, liever FreeBSD vanwege de in mijn ogen iets stabielere support voor ZFS. Hoewel ik zie dat Gentoo zijn zaakjes ook tiptop in orde heeft!, daar kan je gewoon door middel van wat use flags ZFS inbouwen in je eigen kernel, waardoor je keurig root-on-ZFS support hebt. Even de goede GRUB opties zetten en klaar!

Maar goed, SCST heeft mijn hart nog niet gewonnen, het is vrij onoverzichtelijk hoewel er redelijk wat documentatie voor handen is, is het nog niet echt een makkelijk systeem om aan de praat te krijgen...

Pijnlijke van het LSI verhaal is dat het in totaal toch een dikke 500,- gekost heeft voor iets wat niet werkt... (het was initieel iets van 370 euro, maar de douane was niet lief....)

[ Voor 12% gewijzigd door FireDrunk op 22-12-2013 19:37 ]

[]Byte[]

Heb je voor IB ook een aangepaste kernel nodig die 'target-mode' support voor IB zoals bij FC?

@Q

Hier op marktplaats bied iemand dual-port 10 Gb Ethernet kaartjes aan voor 175,-.
Maar kijk ik naar de omschrijving, lijkt het weer in 1 Gb NIC's te gaan met 3COM nummers. (voor die prijs???)
Maar als ik goed naar de foto kijk, zie ik daar QLE3142 (dual port 10 GbE kaarten)
Wat mij alleen nog niet duidelijk is, is of het glas- of koper-aansluitingen betreft.

[update]
Nadere bestudering van de foto lijkt het om de CU (koper) variant te gaan.

[ Voor 6% gewijzigd door ]Byte[ op 22-12-2013 19:51 ]

[FireDrunk]

10Gb voor die prijs is vaak door middel van SFP+ en niet via gewone koper UTP CAT6 kabel. Dat is wel een flink nadeel...

[]Byte[]

FireDrunk schreef op zondag 22 december 2013 @ 19:55:
10Gb voor die prijs is vaak door middel van SFP+ en niet via gewone koper UTP CAT6 kabel. Dat is wel een flink nadeel...

Klopt. Zijn SFP+ modules/kabels voor nodig!
Niet handig als die er niet bij zitten.
Had ook liever de glas-variant gezien.

Staat ook in de quickspec guide van Qlogic:

Ships with empty SFP+ cages. User must purchase passive SFP+ 10GbE direct attach copper cable separately.

[ Voor 19% gewijzigd door ]Byte[ op 22-12-2013 20:00 ]

[FireDrunk]

En die zijn ook niet super goedkoop...

[Goshimaplonker298]

10Gb Ethernet op basis van SFP+ Direct Attached of 10Gbase-T heeft wel wat onderling verschil.
Als je naar:
- latency kijkt heeft SFP+ een lagere latency - SFP+ 0.3μs vs 10Gbase-T 2.5μs ( verschil komt door de block encoding die een 10Gbase-T kaart moet doen)
- stroomverbruik kijkt gebruikt SFP+ minder - Intel X520-DA2 5.8Watt / Intel X540-T2 17,4W
- afstand kijkt kan SFP+ met passieve kabels 10 meter overbruggen en met actieve kabels 300 meter. met CAT6/6A is het 50/100 meter
- compatibility kijkt is 10Gbase-T makkelijker ivm backward compatibility met 1000Base-T

De nieuwere kaarten met koper aansluiting zijn leuk maar ze hebben ook een boel airflow over de pasieve heatsink nodig om de warmte af te voeren.
Een 3 of 5 meter SFP+ kabel kost tussen de 20 en de 30 euro's op ebay.

[Q]

FireDrunk schreef op zondag 22 december 2013 @ 19:35:
Nee, SCST icm QLogic is stabiel (lees ik...), maar dat geld ook voor FreeBSD icm QLogic. Als ik dan toch kan kiezen, liever FreeBSD vanwege de in mijn ogen iets stabielere support voor ZFS. Hoewel ik zie dat Gentoo zijn zaakjes ook tiptop in orde heeft!, daar kan je gewoon door middel van wat use flags ZFS inbouwen in je eigen kernel, waardoor je keurig root-on-ZFS support hebt. Even de goede GRUB opties zetten en klaar!

Maar goed, SCST heeft mijn hart nog niet gewonnen, het is vrij onoverzichtelijk hoewel er redelijk wat documentatie voor handen is, is het nog niet echt een makkelijk systeem om aan de praat te krijgen...

Pijnlijke van het LSI verhaal is dat het in totaal toch een dikke 500,- gekost heeft voor iets wat niet werkt... (het was initieel iets van 370 euro, maar de douane was niet lief....)

500 euro dat is balen, maar het is gewoon een risico van de hobby je kunt niet alles overzien.

10Gbit kaarten die te goedkoop blijken dan je zou vermoeden zijn vaak niet ethernet maar SFP+ gebaseerd waar je dan nog losse modules bij moet kopen van de prijs van de kaart zelf, als het tegen zit.
En dan mag je ook een bijpassende switch hebben, met dito modules en prijzen. Je kunt in plaats van glas ook koper doen in die poorten, maar die kabels zijn ook niet gratis. Op het werk hebben we dat (helaas) en ik ben er niet erg gecharmeerd van, maar het werkt wel.

Maar als ik je zo hoor zou ik zeggen: neem het verlies en ga voor de Qlogic apparatuur, met BSD of wat je prettig vind, als je het hebt draaien zoals je wilt ben je die 5 meier snel vergeten.

/////////////////

Ik zit nu met FIO een beetje random I/O te testen op een RAIDZ1 vdev en ik denk dat ik best verdrietig wordt. Niet heel erg, van random I/O maakt mij niets uit, maar van een vdev met 6 x 500Gb 7200 RPM diskjes verwacht ik meer (450) dan de IOPS van een enkele disk (75), maar ik had al gelezen dat dit 'normaal' is. Als je IOPS wilt moet je ofwel safety features uit zetten (waarom dan nog ZFS) ofwel wat echt moet: meerdere VDEVS aan elkaar knopen in de pool.

Als ik een 60 seconden run doe met FIO dan zie ik seconden lang super slechte read I/O en dan een spike van 20000 IOPS en dan weer een hele tijd niets. Lastig...

[ Voor 3% gewijzigd door Q op 22-12-2013 22:33 ]

[FireDrunk]

Inderdaad, ZFS heeft qua random iops wat nadelen. Je bent nog sneller met 2 * 3 schijven in RAIDZ1. 6 schijven is sowieso een lastig getal. Snelste setup is 3 mirrors. Dan kan er van alle schijven tegelijk gelezen worden, en naar 3 schijven tegelijk geschreven worden. Dus je hebt ongeveer 450 random read iops en 225 random write iops (met jouw iops berekeningen).

[Q]

Grappig. Dus als je random IO performance wilt onder ZFS dan heb je twee (dure) opties:

- heel veel kleinere RAIDZx VDEVS in een pool hangen of
- Een sloot aan RAID1 mirrors in een pool hangen -> 50% capaciteiten verlies conform RAID10.

Je betaalt een aardige prijs voor de veiligheid van ZFS. Voor mij wordt steeds helderder dat je met sloten RAM en SDD een hoop goed kan maken, maar dat dit ook wel nodig is. Of je betaalt heel veel geld voor een gerenomeerd SAN, liefst niet entry-level.

Leuk: ik test hier random reads 4K request size op een dataset van 6G. Met 16G Ram zie je hoe de hitratio en IOPS langzaam toe nemen. Op een gegeven moment zit bijna alles in RAM en ga je van 1K IOPS naar 250K IOPS.

code:

IOPs: 1192 | ARC cache hit ratio: 90.0 % | Hitrate: 1120 / Missrate: 72
IOPs: 1307 | ARC cache hit ratio: 90.0 % | Hitrate: 1230 / Missrate: 77
IOPs: 1079 | ARC cache hit ratio: 90.0 % | Hitrate: 1004 / Missrate: 75
IOPs: 1104 | ARC cache hit ratio: 90.0 % | Hitrate: 1031 / Missrate: 73
IOPs: 1271 | ARC cache hit ratio: 90.0 % | Hitrate: 1194 / Missrate: 77
IOPs: 1003 | ARC cache hit ratio: 90.0 % | Hitrate: 929 / Missrate: 74
IOPs: 847 | ARC cache hit ratio: 90.0 % | Hitrate: 770 / Missrate: 77
IOPs: 1291 | ARC cache hit ratio: 90.0 % | Hitrate: 1219 / Missrate: 72
IOPs: 1183 | ARC cache hit ratio: 90.0 % | Hitrate: 1108 / Missrate: 75
IOPs: 1125 | ARC cache hit ratio: 90.0 % | Hitrate: 1052 / Missrate: 73
IOPs: 1559 | ARC cache hit ratio: 90.0 % | Hitrate: 1484 / Missrate: 75
IOPs: 1466 | ARC cache hit ratio: 90.0 % | Hitrate: 1388 / Missrate: 78
IOPs: 1355 | ARC cache hit ratio: 90.0 % | Hitrate: 1283 / Missrate: 72
IOPs: 1173 | ARC cache hit ratio: 90.0 % | Hitrate: 1099 / Missrate: 74
IOPs: 1355 | ARC cache hit ratio: 90.0 % | Hitrate: 1281 / Missrate: 74
IOPs: 1329 | ARC cache hit ratio: 90.0 % | Hitrate: 1256 / Missrate: 73
IOPs: 1599 | ARC cache hit ratio: 90.0 % | Hitrate: 1526 / Missrate: 73
IOPs: 1404 | ARC cache hit ratio: 90.0 % | Hitrate: 1331 / Missrate: 73
IOPs: 1425 | ARC cache hit ratio: 90.0 % | Hitrate: 1350 / Missrate: 75
IOPs: 1395 | ARC cache hit ratio: 90.0 % | Hitrate: 1323 / Missrate: 72
IOPs: 1740 | ARC cache hit ratio: 90.0 % | Hitrate: 1664 / Missrate: 76
IOPs: 1351 | ARC cache hit ratio: 90.0 % | Hitrate: 1277 / Missrate: 74
IOPs: 1613 | ARC cache hit ratio: 90.0 % | Hitrate: 1536 / Missrate: 77
IOPs: 1920 | ARC cache hit ratio: 90.0 % | Hitrate: 1845 / Missrate: 75
IOPs: 1431 | ARC cache hit ratio: 90.0 % | Hitrate: 1354 / Missrate: 77
IOPs: 1675 | ARC cache hit ratio: 90.0 % | Hitrate: 1598 / Missrate: 77
IOPs: 1560 | ARC cache hit ratio: 90.0 % | Hitrate: 1484 / Missrate: 76
IOPs: 1574 | ARC cache hit ratio: 90.0 % | Hitrate: 1500 / Missrate: 74
IOPs: 2017 | ARC cache hit ratio: 90.0 % | Hitrate: 1946 / Missrate: 71
IOPs: 1696 | ARC cache hit ratio: 90.0 % | Hitrate: 1623 / Missrate: 73
IOPs: 1776 | ARC cache hit ratio: 90.0 % | Hitrate: 1702 / Missrate: 74
IOPs: 1671 | ARC cache hit ratio: 90.0 % | Hitrate: 1597 / Missrate: 74
IOPs: 1729 | ARC cache hit ratio: 90.0 % | Hitrate: 1656 / Missrate: 73
IOPs: 1902 | ARC cache hit ratio: 90.0 % | Hitrate: 1828 / Missrate: 74
IOPs: 2029 | ARC cache hit ratio: 90.0 % | Hitrate: 1956 / Missrate: 73
IOPs: 2228 | ARC cache hit ratio: 90.0 % | Hitrate: 2161 / Missrate: 67
IOPs: 2289 | ARC cache hit ratio: 90.0 % | Hitrate: 2216 / Missrate: 73
IOPs: 2385 | ARC cache hit ratio: 90.0 % | Hitrate: 2277 / Missrate: 108
IOPs: 2595 | ARC cache hit ratio: 90.0 % | Hitrate: 2524 / Missrate: 71
IOPs: 2940 | ARC cache hit ratio: 90.0 % | Hitrate: 2872 / Missrate: 68
IOPs: 2984 | ARC cache hit ratio: 90.0 % | Hitrate: 2872 / Missrate: 112
IOPs: 2622 | ARC cache hit ratio: 90.0 % | Hitrate: 2385 / Missrate: 237
IOPs: 1518 | ARC cache hit ratio: 90.0 % | Hitrate: 1461 / Missrate: 57
IOPs: 3221 | ARC cache hit ratio: 90.0 % | Hitrate: 3150 / Missrate: 71
IOPs: 3745 | ARC cache hit ratio: 90.0 % | Hitrate: 3674 / Missrate: 71
IOPs: 3363 | ARC cache hit ratio: 90.0 % | Hitrate: 3292 / Missrate: 71
IOPs: 3931 | ARC cache hit ratio: 90.0 % | Hitrate: 3856 / Missrate: 75
IOPs: 3765 | ARC cache hit ratio: 90.0 % | Hitrate: 3689 / Missrate: 76
IOPs: 4845 | ARC cache hit ratio: 90.0 % | Hitrate: 4772 / Missrate: 73
IOPs: 4422 | ARC cache hit ratio: 90.0 % | Hitrate: 4350 / Missrate: 72
IOPs: 5602 | ARC cache hit ratio: 90.0 % | Hitrate: 5531 / Missrate: 71
IOPs: 5351 | ARC cache hit ratio: 90.0 % | Hitrate: 5279 / Missrate: 72
IOPs: 6075 | ARC cache hit ratio: 90.0 % | Hitrate: 6004 / Missrate: 71
IOPs: 6586 | ARC cache hit ratio: 90.0 % | Hitrate: 6515 / Missrate: 71
IOPs: 7974 | ARC cache hit ratio: 90.0 % | Hitrate: 7907 / Missrate: 67
IOPs: 4434 | ARC cache hit ratio: 90.0 % | Hitrate: 4180 / Missrate: 254
IOPs: 9793 | ARC cache hit ratio: 90.0 % | Hitrate: 9721 / Missrate: 72
IOPs: 9395 | ARC cache hit ratio: 90.0 % | Hitrate: 9300 / Missrate: 95
IOPs: 6171 | ARC cache hit ratio: 90.0 % | Hitrate: 6089 / Missrate: 82
IOPs: 9209 | ARC cache hit ratio: 90.0 % | Hitrate: 9142 / Missrate: 67
IOPs: 14883 | ARC cache hit ratio: 90.0 % | Hitrate: 14817 / Missrate: 66
IOPs: 11304 | ARC cache hit ratio: 90.0 % | Hitrate: 11152 / Missrate: 152
IOPs: 228 | ARC cache hit ratio: 30.0 % | Hitrate: 71 / Missrate: 157
IOPs: 8321 | ARC cache hit ratio: 90.0 % | Hitrate: 8072 / Missrate: 249
IOPs: 15550 | ARC cache hit ratio: 90.0 % | Hitrate: 15450 / Missrate: 100
IOPs: 11819 | ARC cache hit ratio: 90.0 % | Hitrate: 11683 / Missrate: 136
IOPs: 28630 | ARC cache hit ratio: 90.0 % | Hitrate: 28367 / Missrate: 263
IOPs: 40484 | ARC cache hit ratio: 90.0 % | Hitrate: 40409 / Missrate: 75
IOPs: 104501 | ARC cache hit ratio: 90.0 % | Hitrate: 103982 / Missrate: 519
IOPs: 164483 | ARC cache hit ratio: 90.0 % | Hitrate: 163997 / Missrate: 486
IOPs: 229729 | ARC cache hit ratio: 90.0 % | Hitrate: 228956 / Missrate: 773
IOPs: 236479 | ARC cache hit ratio: 90.0 % | Hitrate: 235886 / Missrate: 593
IOPs: 249232 | ARC cache hit ratio: 90.0 % | Hitrate: 248836 / Missrate: 396
IOPs: 259156 | ARC cache hit ratio: 90.0 % | Hitrate: 258968 / Missrate: 188
IOPs: 276099 | ARC cache hit ratio: 90.0 % | Hitrate: 275857 / Missrate: 242
IOPs: 249382 | ARC cache hit ratio: 90.0 % | Hitrate: 249287 / Missrate: 95

Broncode van het script (voor zfs on linux): http://louwrentius.com/static/files/architratio.sh

De percentage berekening is nog super stom maar als je goed naar de IOPS kijkt zie je wel wat er gebeurd.

Of dit ook echt allemaal ergens op slaat weet ik eigenlijk niet. Ik lees /proc/spl/kstat/zfs/arcstats uit.

[ Voor 54% gewijzigd door Q op 23-12-2013 00:40 ]

[]Byte[]

@Goshimaplonker298
Tnx!
Weer wat bijgeleerd!

@Q
Wat gebruik jij buiten dit script om de IO's te genereren?
Was bonnie++ niet makkelijker geweest?

[jacovn]

Ik gebruik 10 GE met SFP+
2 NAS units en 1 PC, dit zit in een driehoek bekabeld. Ik kan dus van de PC naar beide nassen op 10 GE en ook onderling tussen de Nas units met 10 GE.
3 kaarten en 3 kabels nodig. Ik heb SFP+ kabels van rond de 50-60 euro gekocht.

Als je meer connecties wilt maken moet je een 10 Ge switch kopen, en dat is snel 1000 euro voor 4 poortjes.

[]Byte[]

jacovn schreef op maandag 23 december 2013 @ 09:18:
Ik gebruik 10 GE met SFP+

Welk merk en type kaartjes gebruik je? (ook onder ZFSguru?)

[Keiichi]

jacovn schreef op maandag 23 december 2013 @ 09:18:
Ik gebruik 10 GE met SFP+
2 NAS units en 1 PC, dit zit in een driehoek bekabeld. Ik kan dus van de PC naar beide nassen op 10 GE en ook onderling tussen de Nas units met 10 GE.
3 kaarten en 3 kabels nodig. Ik heb SFP+ kabels van rond de 50-60 euro gekocht.

Als je meer connecties wilt maken moet je een 10 Ge switch kopen, en dat is snel 1000 euro voor 4 poortjes.

pricewatch: Netgear XS708E 8 poortjes voor 765 euro :-) ik vind het al wel mee gaan vallen

-edit- Dit is dan wel enkel 10Gbase-T

[ Voor 3% gewijzigd door Keiichi op 23-12-2013 10:00 ]

[Q]

Wel even opletten dat het een unmanaged switch is maar voor 'onze' toepassing lijkt mij dat uitstekend. Alleen die prijs is 'best pittig'.

]Byte\[ schreef op maandag 23 december 2013 @ 09:11:


@Q
Wat gebruik jij buiten dit script om de IO's te genereren?
Was bonnie++ niet makkelijker geweest?

Nee, FIO geeft je prima controle over de exacte tests die je wilt doen. FIO rulez.

http://louwrentius.com/be...ifferent-raid-levels.html

jacovn schreef op maandag 23 december 2013 @ 09:18:
Ik gebruik 10 GE met SFP+
2 NAS units en 1 PC, dit zit in een driehoek bekabeld. Ik kan dus van de PC naar beide nassen op 10 GE en ook onderling tussen de Nas units met 10 GE.
3 kaarten en 3 kabels nodig. Ik heb SFP+ kabels van rond de 50-60 euro gekocht.

Die SFP+ kabels = koper toch? (Dikke kabels). Welke kaartjes heb je gekocht en voor hoeveel?

[ Voor 154% gewijzigd door Q op 23-12-2013 11:23 ]

[]Byte[]

Q schreef op maandag 23 december 2013 @ 11:18:
Die SFP+ kabels = koper toch? (Dikke kabels). Welke kaartjes heb je gekocht en voor hoeveel?

Je hebt ook SFP+ over glas!
Hangt dus af van wat voor modules je er in gebruikt.
Vorig jaar nog een D2D bij een klant geïnstalleerd die zowel koper als glas SFP+ had.
Ik heb de (2*) koper toen gebruikt voor de lokale koppelingen en de twee glas-modules die naar het 2e datacenter ging die ik voor de replicatie heb gebruikt (zat zo'n 68 en 70 km glas tussen (2 trace's) via DWDM).

Een paar posts naar boven heb ik een link gezet van iemand die de QLE3142 verkoopt voor 175,-
Maar dan heb je wel een dual-head kaart. (weet alleen niet of hij ook de kabels erbij heeft)
Kan je 20 Gb in teaming zetten

[ Voor 16% gewijzigd door ]Byte[ op 23-12-2013 12:18 ]

[Goshimaplonker298]

]Byte\[ schreef op maandag 23 december 2013 @ 11:52:
[...]

Je hebt ook SFP+ over glas!
Hangt dus af van wat voor modules je er in gebruikt.
Vorig jaar nog een D2D bij een klant geïnstalleerd die zowel koper als glas SFP+ had.
Ik heb de (2*) koper toen gebruikt voor de lokale koppelingen en de twee glas-modules die naar het 2e datacenter ging die ik voor de replicatie heb gebruikt (zat zo'n 68 en 70 km glas tussen (2 trace's) via DWDM).

SFP+ kabels heb je in 2 varianten
Passieve kabels das een koper kabel met een SFP+ connector aan elke kant. Zonder versterking of extra electronica. Meestal wordt 10 of 15 meter als max opgegeven
Actieve kabels zijn glas kabels met aan beide kanten een SFP+ connector met daarin extra electronica om het signaal te versterken. Hier zijn afstanden tot 300 meter gangbaar.

Daarnaast heb je SFP+ modules. (over glasvezel)
Dat zijn transcievers die je in je kaart kan prikken netzoals GBIC's of XENPACK. de transciever heeft meestal een LC aansluiting om de glasvezel kabel in te steken. Deze transcievers heb je ook weer in een aantal varianten van een paar honderd meter tot tientallen kilometers.
10Gbase-SR trancievers ( 300/400meter ) beginnen bij 125 euro. Als je ze bij een cisco of HP of .. zelf koopt vaak veel meer.

[Q]

Die tranceivers / GBICS of hoe heten ze tegenwoordig maken zo'n kaartje van 175 uiteindelijk toch duurkoop, dan kom je toch aan de 400+ euro en dan kun je het bijna gewoon nieuw kopen. Alleen als je met koper aan de slag gaat tussen 2 servers, of een driehoek opzet zoals beschreven, kan het relatief goedkoop blijven. Of je moet ook een switch kopen met SFP+ slots en daar dan al je koper op aansluiten als het bij elkaar blijft... Maar dan is 10Gbit over Cat6e / Cat7 waarschijnlijk goedkoper.

[jacovn]

Intel 10 GB kaartjes: X520 met 2 x 10 GB SPF+ poorten.

[Goshimaplonker298]

Er zijn een aantal switches waar je een 4X 10Gb poorten in combinatie met 24 of 48 1Gb poorten krijgt. Deze zijn nog redelijk geprijst.

Wat je ook kan doen is een stapel kaarten in je PC stoppen en deze als switch gebruiken.

In the end kost het allemaal geld en is er voorlopig nog geen zicht op 10Gbase-T voor de prijs waar je nu 1Gbase-T voor koopt.

Als je echt meerdere 10Gb poorten nodig hebt van een server naar clients ( die niet te ver weg zijn)
Moet je eens kijken naar Mellanox Connect X 3 VPI kaarten. Deze doen zowel IB als Ethernet. De QDR of FDR IB poorten zijn ook inzetbaar als 40 of 56Gb ethernet. Deze kan je via een kabel splitten naar 4x 10Gb SFP+ ethernet ( kabel heeft 1x een QSFP connector aan de ene kant en 4x een SFP+ connector aan de andere kant) Met 1 dual port kaart is 8x 10Gbe connecties.
Zo'n kaart kost je ex verzenden en douane 350 tot 400 dollar. Splitter kabels zijn er vanaf 100 euro.

[]Byte[]

Goshimaplonker298 schreef op maandag 23 december 2013 @ 17:02:
Wat je ook kan doen is een stapel kaarten in je PC stoppen en deze als switch gebruiken.

En die voorzien met Open vSwitch?

[Goshimaplonker298]

]Byte\[ schreef op maandag 23 december 2013 @ 17:31:
[...]

En die voorzien met Open vSwitch?

Hehe, dat is een optie. Met Open vSwitch kan je hele leuke dingen doen.
Maar als ik uitga van het kiss princiepe zou ik gewoon de boel met elkaar bridgen en er klaar mee zijn.

[Verwijderd]

Heren, mag ik vragen om discussies over netwerken elders te houden? Eventueel kan dat in het DIY RAID NAS topic, maar met ZFS heeft het weinig te maken. Alvast dank.

[Kompaan]

OK, terug naar ZFS, ik heb mijn pool 3x resilvered (1x verkeerde schijf eruit, 2x 1TB vervangen door 3TB)

Ik ben nu bijna aan het einde van de rebuild, maar nu dit:

code:

  pool: tank1
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
    continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Sun Dec 22 22:35:56 2013
        5.15T scanned out of 7.63T at 73.2M/s, 9h51m to go
        1.16T resilvered, 67.51% done
config:

    NAME                                            STATE     READ WRITE CKSUM
    tank1                                           DEGRADED     0     0     1
      raidz1-0                                      DEGRADED     0     0     2
        gptid/5a659497-342c-11e2-b15c-00241dc6d338  ONLINE       0     0     0
        gptid/5ad36fee-342c-11e2-b15c-00241dc6d338  ONLINE       0     0     0
        replacing-2                                 DEGRADED     0     0     0
          16017401463100480915                      UNAVAIL      0     0     0  was /dev/gptid/5b61ac7c-342c-11e2-b15c-00241dc6d338
          ada4                                      ONLINE       0     0     0  (resilvering)
        ada3                                        ONLINE       0     0     0
      mirror-1                                      ONLINE       0     0     0
        ada1                                        ONLINE       0     0     0
        ada2                                        ONLINE       0     0     0
    logs
      ada0s1                                        ONLINE       0     0     0
    cache
      ada0s2                                        ONLINE       0     0     0

errors: Permanent errors have been detected in the following files:
        <metadata>:<0x0>

maar ook na een

zpool clear tank1

nog steeds

code:

errors: Permanent errors have been detected in the following files:
        <metadata>:<0x0>

de paar read errors en 1 checksum error op ada4 is nu verdwenen, data is gewoon beschikbaar, maar ik vertrouw dit niet echt.

Dit is waarschijnlijk mijn eigen stomme fout dus, maar dit verteld mij dus niet welke file/folder het probleem is, dus ik weet niet zo goed wat ik hier aan kan doen...

Iemand nog mooie ideeën voordat ik een paar nieuwe schijven bestel en een nieuwe pool begin en alles overzet?

[Verwijderd]

Kompaan, wat voor controller gebruik je? Gebruik je misschien een RAID controller? Heb je je RAM gecontroleerd met MemTest86?

[Kompaan]

Verwijderd schreef op maandag 23 december 2013 @ 20:20:
Kompaan, wat voor controller gebruik je? Gebruik je misschien een RAID controller? Heb je je RAM gecontroleerd met MemTest86?

RAM is wel getest door MemTest in het begin, die kwam er goed doorheen (4x). De "server" is inmiddels wel een paar keer verhuisd, en 1x gestuiterd ook (DHL dacht ik ) (wel helemaal opnieuw opgebouwd daarna), dus misschien nog een memtest wel een idee.

Moederbord is zonder ECC, en heeft 2 controllers:

code:

ahci0: <JMicron JMB363 AHCI SATA controller> at channel -1 on atapci0
ahci0: AHCI v1.00 with 2 3Gbps ports, Port Multiplier supported
ahcich0: <AHCI channel> at channel 0 on ahci0
ahcich1: <AHCI channel> at channel 1 on ahci0
ahci1: <ATI IXP700 AHCI SATA controller> port 0xff00-0xff07,0xfe00-0xfe03,0xfd00-0xfd07,0xfc00-0xfc03,0xfb00-0xfb0f mem 0xfe02f000-0xfe02f3ff irq 22 at device 17.0 on pci0
ahci1: AHCI v1.10 with 6 3Gbps ports, Port Multiplier supported

ada4 zit op de ATI/AMD controller:

code:

ada4 at ahcich5 bus 0 scbus6 target 0 lun 0

pricewatch: Gigabyte GA-MA790FXT-UD5P
gallery: Kompaan (FreeNAS)

[FireDrunk]

Eeeeen we zitten weer op FreeBSD... Lang leve het maken van goede backups

Voor de mensen die toch graag Linux draaien is Gentoo zeker een mooie optie, ZFS werkt out of the box, en je kan het zelfs als je root filesystem gebruiken zonder al te veel moeite (niet meer dan Gentoo normaal al kost...)

[Verwijderd]

Je bent de laatste tijd wel vaker in een lollige bui, FireDrunk.

@Kompaan
Je hebt checksum fouten op je pool vdev, ipv enkel op de disks. Dat is ernstig. Dat kan v.z.i.w. door twee dingen komen:
1) je had geen redundancy maar nog wel ditto copies en hebt twee bad sectors op exact de verkeerde plek, iets wat zeer zelden voorkomt in normale situaties.
2) je hebt RAM-corruptie ondervonden waarbij de checksum verkeerd was, en daarmee de ditto blocks becherming ook laten falen. De data is dus wel goed, maar de checksum niet. Maar ZFS gaat dan uit van corruptie, en hence heb je corruptie op je metadata, wat normaliter nooit mag gebeuren.

Ik zelf denk aan het 2e.

Verder heb je waarschijnlijk je disks gereplaced terwijl de oude disk NIET is aangesloten. Dat is NIET verstandig! Je dient te replacen met de oude disk nog aangesloten, zodat je tijdens het rebuilden nog gewoon over redundancy beschikt!

[Kompaan]

Verwijderd schreef op maandag 23 december 2013 @ 22:11:
Je bent de laatste tijd wel vaker in een lollige bui, FireDrunk.

@Kompaan
Je hebt checksum fouten op je pool vdev, ipv enkel op de disks. Dat is ernstig. Dat kan v.z.i.w. door twee dingen komen:
1) je had geen redundancy maar nog wel ditto copies en hebt twee bad sectors op exact de verkeerde plek, iets wat zeer zelden voorkomt in normale situaties.
2) je hebt RAM-corruptie ondervonden waarbij de checksum verkeerd was, en daarmee de ditto blocks becherming ook laten falen. De data is dus wel goed, maar de checksum niet. Maar ZFS gaat dan uit van corruptie, en hence heb je corruptie op je metadata, wat normaliter nooit mag gebeuren.

Ik zelf denk aan het 2e.

Verder heb je waarschijnlijk je disks gereplaced terwijl de oude disk NIET is aangesloten. Dat is NIET verstandig! Je dient te replacen met de oude disk nog aangesloten, zodat je tijdens het rebuilden nog gewoon over redundancy beschikt!

inderdaad, niet geheel de bedoeling trouwens, verkeerde bays enzo....

ik denk echter eerder het eerste, ik had een "2 disk failure" (een schijf die ik wou vervangen eruit, maar met mijn dikke vingers ook de tweede bay open = 2e disk failure, uit de 2e vdev...), beetje pech, maar ik heb wel een backup van alle belangrijke dingen op en andere NAS en ook nog in de cloud.

Wat ik mij eigenlijk meer afvroeg was of er een manier was om ZFS weer in goede conditie te krijgen, met loss van een of meerdere bestanden die ik van backup terug kan zetten, ik durft er eigenlijk niet meer belangrijke dingen op te schijven nu.

Ik denk dat het tijd wordt voor een nieuwe raid, RAIDz2 ditmaal


edit:

FireDrunk schreef op maandag 23 december 2013 @ 21:53:
Eeeeen we zitten weer op FreeBSD... Lang leve het maken van goede backups

Voor de mensen die toch graag Linux draaien is Gentoo zeker een mooie optie, ZFS werkt out of the box, en je kan het zelfs als je root filesystem gebruiken zonder al te veel moeite (niet meer dan Gentoo normaal al kost...)

Misschien moet ik hier niet op ingaan, maar FreeBSD als basis ben ik meestal wel blij mee (pfSense, Nas4Free), voor servers zelf Debian/Ubuntu en professioneel meer met Debian en Nexenta bezig als je dat mooier vind?

"Elk voordeel heb z'n nadeel" enzo...

[ Voor 18% gewijzigd door Kompaan op 24-12-2013 02:22 ]

[TrsvK]

Welk besturingssysteem raden jullie aan voor een simpele thuisnas waarop ik Sabnzbd/sickbeard/couchpotato/headphones wil hosten en RAID z2 wil gebruiken?

Zit zelf aan freeNAS te denken... Maakt de snelheid van de usbstick uit in dat geval/Is een usbstick de handigste manier om freeNAS/nas4free te draaien?

[ Voor 188% gewijzigd door TrsvK op 24-12-2013 04:16 ]

[]Byte[]

Van wat ik begrijp is de standaard voor vfs.zfs.l2arc_noprefetch 1
Hetgeen betekend dat L2ARC geen streaming/sequentiële loads cached.

Is het niet verstandiger zeker bij bijv. (video) streaming (bijv. web- en security cams en video te bekijken) juist wel te laten doen?
Of heeft dit weinig voordeel / nut? (of zelfs nadelig effect)

[ Voor 13% gewijzigd door ]Byte[ op 24-12-2013 08:44 ]

[FireDrunk]

@Trsvk, probeer het lekker uit! Pak VirtualBox en installeer vanalles in virtual machines. Je weet het pas zeker als je het zelf geprobeerd hebt...

FreeNAS is zeker een optie hoewel ik het plugin/jail systeem niet zo handig vind...
Ubuntu is wat dat betreft makkelijker. Dan kan je gewoon de LaSi.sh installer gebruiken.

[SparC-EHV]

@trsvk Try before you buy zoals FireDrunk al aangaf. Hoe sneller de USB stick, hoe beter natuurlijk voor het booten van je software. Let alleen wel op dat USB3 vaak niet bootable is. Ik gebruik zelf freenas op een SD kaartje. Werkt goed.

[FireDrunk]

USB3 is prima bootable, alleen met UEFI, en dat ondersteund FreeBSD (nog) niet native.
Sowieso is een USB3 stick in een USB3 poort bootable via USB2 compatibility.

[ Voor 31% gewijzigd door FireDrunk op 24-12-2013 10:16 ]

[Kriss1981]

Goede dag allemaal,

Ik draai al lange tijd, met volle tevredenheid, zfsguru op mijn NAS. Sinds een week of twee geleden was de write performance van een van mijn zfs-pools dramatisch. Het betreft een raidz2 bestaande uit 6x 2TB samsung F4 schijven, welke zijn aangesloten op een Intel SASUC8I.

Ik heb de NAS een aantal keer ge-reboot en een scrub gedraaid op de betreffende pool. Daarna was de schrijfsnelheid weer iets beter, maar nu is het weer bagger. Ook had ik LZ4 compressie aanstaan, maar dit heb ik intussen ook weer uitgeschakeld. Hieronder de bij mij bekende gegevens. Wie weet wat hiervan de oorzaak kan zijn? Wie kan mij helpen?

code:

[root@zfsguru /home/ssh]# zpool status tank
  pool: tank
 state: ONLINE
  scan: scrub repaired 0 in 6h23m with 0 errors on Sun Dec 22 02:31:48 2013
config:

        NAME              STATE     READ WRITE CKSUM
        tank              ONLINE       0     0     0
          raidz2-0        ONLINE       0     0     0
            gpt/SAMSUNG1  ONLINE       0     0     0
            gpt/SAMSUNG2  ONLINE       0     0     0
            gpt/SAMSUNG3  ONLINE       0     0     0
            gpt/SAMSUNG4  ONLINE       0     0     0
            gpt/SAMSUNG5  ONLINE       0     0     0
            gpt/SAMSUNG6  ONLINE       0     0     0

errors: No known data errors

Dramatisch:

code:

ZFSguru 0.2.0-beta8 (9.2-001) pool benchmark
Pool            : tank (10.9T, 63% full)
Test size       : 64 GiB
normal read : 308 MB/s
normal write    : 17 MB/s
I/O bandwidth   : 32 GB/s

Na scrub, reboot, LZ4 off

code:

ZFSguru 0.2.0-beta8 (9.2-001) pool benchmark
Pool            : tank (10.9T, 63% full)
Test size       : 64 GiB
normal read : 361 MB/s
normal write    : 23 MB/s
I/O bandwidth   : 31 GB/s

[FireDrunk]

Is die SASUC8I misschien te warm?

[Kriss1981]

Al mijn disk zijn gemiddeld 25 graden. De temp van de SASUC8I, weet ik niet. Is die ergens uit te lezen?

[FireDrunk]

Voelen.

[vargo]

Resultaat van mijn laatste scrub:

code:

  pool: tank
 state: ONLINE
status: One or more devices has experienced an unrecoverable error.  An
        attempt was made to correct the error.  Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
        using 'zpool clear' or replace the device with 'zpool replace'.
   see: http://www.sun.com/msg/ZFS-8000-9P
 scrub: scrub in progress for 24h2m, 100.00% done, 0h0m to go
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          raidz2-0  ONLINE       0     0     0
            c4t0d0  ONLINE       0     0    34  726K repaired
            c4t1d0  ONLINE       0     0    46  984K repaired
            c4t2d0  ONLINE       0     0    29  622K repaired
            c4t3d0  ONLINE       0     0    45  960K repaired
            c4t4d0  ONLINE       0     0    45  966K repaired
            c4t5d0  ONLINE       0     0    48  1.00M repaired
            c4t6d0  ONLINE       0     0    47  1005K repaired
            c4t7d0  ONLINE       0     0    41  876K repaired

errors: No known data errors

Wat maken jullie hiervan?

Ik heb zo'n vermoeden dat er wat hardware kapot gaat (is); hoofdverdachte is geheugen en anders de SASUC8I. Machine maar meteen uitgezet. Nog geen memtest gedraaid.

Ik was al bezig om nieuwe hardware uit te zoeken (ivm stroomverbruik en 90% vd pool zit vol), maar ga daar nu nog maar eens echt werk van maken tijdens de kerstvakantie.

[EnerQi]

FireDrunk schreef op dinsdag 24 december 2013 @ 10:16:
USB3 is prima bootable, alleen met UEFI, en dat ondersteund FreeBSD (nog) niet native.
Sowieso is een USB3 stick in een USB3 poort bootable via USB2 compatibility.

Versie 9.1.005 (ZFSguru 0.2.0 beta 8 ) ondersteunt USB 3.0 wel maar op USB 2 snelheid . Ik boot van een USB 3.0 harddisk en de snelheid is (helaas) max 30 MB/s.

Ik heb nieuwe versies nog niet geprobeerd (10.0.001), maar ik ben al lang blij dat ie boot ervan

[Kriss1981]

FireDrunk schreef op dinsdag 24 december 2013 @ 15:58:
Voelen.

Ok, zal straks even 'meten'

[ Voor 0% gewijzigd door Kriss1981 op 24-12-2013 19:47 . Reden: typo ]

[C0rnelis]

Hallo allemaal,

ik heb iets langer dan een jaar mijn eigen nas draaien met ZFSGuru, ik heb hiervoor ook zes schijven voor aangeschaft die draaien in RAID-Z2, maar vandaag zag ik in de webinterface dat mijn pool als degraded wordt aangegeven! Kan iemand mij hierover adviseren ?

Allereerst: hoeveel waarde moet ik hechten aan SMART ? En dan met name de aantallen bij Reallocated Sector Count en de Seek Error Rate. Waarom deze twee ? Ik krijg een waarschuwing in beeld over de RSC en ik zie gelijkwaarde aantallen voor SER bij andere schijven met een RSC van 0.

Alle schijven hebben 0 Current Pending Sectors en 0 bij UDMA CRC Error Count.

Disk 1	ada0
Power cycles	44
Load cycles	26453
#5 Reallocated Sector Count	0
#7 Seek Error Rate	4.351.608.035
#9 Power On Hours	10.496
#240 Head Flying Hours	7568h+56m+53.870s

Disk 2	ada1
Power cycles	44
Load cycles	26065
#5 Reallocated Sector Count	0
#7 Seek Error Rate	57.044.152
#9 Power On Hours	10496
#240 Head Flying Hours	7519h+21m+04.348s

Disk 3	ada2
Power cycles	31
Load cycles	98631
#5 Reallocated Sector Count	4160
#7 Seek Error Rate	12.948.016.401
#9 Power On Hours	10494
#240 Head Flying Hours	5317h+19m+04.745s

Disk 4	ada3
Power cycles	31
Load cycles	96444
#5 Reallocated Sector Count	0
#7 Seek Error Rate	56.250.816
#9 Power On Hours	10.494
#240 Head Flying Hours	5342h+29m+53.976s

Disk 5	ada4
Power cycles
Load cycles
#5 Reallocated Sector Count
#7 Seek Error Rate
#9 Power On Hours
#240 Head Flying Hours

Disk 6	ada5
Power cycles	31
Load cycles	95068
#5 Reallocated Sector Count	0
#7 Seek Error Rate	12.946.964.696
#9 Power On Hours	10.494
#240 Head Flying Hours	5408h+15m+45.750s

ada4 is een schijf die volautomatisch uit de pool is gezet, maar ik weet niet sinds wanneer dit zo is. Moet ik nu zo snel mogelijk schijven ada4 en ada2 opsturen, laten vervangen en mijn pool rebuilden ?

# zpool status nas
  pool: nas
 state: DEGRADED
status: One or more devices has been removed by the administrator.
        Sufficient replicas exist for the pool to continue functioning in a
        degraded state.
action: Online the device using 'zpool online' or replace the device with
        'zpool replace'.
  scan: none requested
config:

        NAME                    STATE     READ WRITE CKSUM
        nas                     DEGRADED     0     0     0
          raidz2-0              DEGRADED     0     0     0
            gpt/afuture-d1      ONLINE       0     0     0
            gpt/afuture-d2      ONLINE       0     0     0
            gpt/azerty-d1       ONLINE       0     0     0
            gpt/azerty-d2       ONLINE       0     0     0
            437344199091100599  REMOVED      0     0     0  was /dev/gpt/mycom-d1
            gpt/mycom-d2        ONLINE       0     0     0

errors: No known data errors

Als jullie meer informatie nodig hebben dan hoor ik het graag!

[Kriss1981]

De temp van de controller is niet hoog. Volgens mij zelfs te laag. Ik heb nog een nieuwere firmware gevonden, maar heeft dit nog nut? Kan het niet aan ZFS liggen?

EDIT:

Ik heb de betreffende pool aan de onboard controller gehangen. Dit is het resultaat:

ZFSguru 0.2.0-beta8 (9.2-001) pool benchmark
Pool            : tank (10.9T, 63% full)
Test size       : 64 GiB
normal read	: 378 MB/s
normal write	: 366 MB/s
I/O bandwidth	: 30 GB/s

Aan de SASUC8I hangt nu de OS-schijf, een 128GB SSD, deze geeft het volgende resultaat:

ZFSguru 0.2.0-beta8 (9.2-001) pool benchmark
Pool            : zfsguru (71.5G, 9% full)
Test size       : 32 GiB
normal read	: 278 MB/s
normal write	: 248 MB/s
I/O bandwidth	: 30 GB/s

De SSD aan de SASUC8I geeft wel goede resultaten, dus ik vraag me af waar het nu aan ligt

[ Voor 72% gewijzigd door Kriss1981 op 24-12-2013 21:26 ]

[FireDrunk]

1 poortje kapot misschien? Probeer alle aansluitingen eens.

[Kriss1981]

FireDrunk schreef op dinsdag 24 december 2013 @ 21:28:
1 poortje kapot misschien? Probeer alle aansluitingen eens.

Hier zat ikzelf ook al aan te denken. Ik hang de pool weer aan de intel controller en ga dan elke disk apart benchmarken.

[Verwijderd]

@vargo: niet gaan scrubben met defect RAM; dat is gevaarlijk! Direct je RAM testen en daarna met 100% goed RAM nog een keer scrubben. Heb je dan oncorrigeerbare corruptie dan is de checksum door RAM corruptie verkeerd aangemaakt; dan ben je wel een bestand kwijt.

@Kriss1981: wat je kunt doen is een dd starten op elke disk, dan naar gstat kijken. Zoals:

dd if=/dev/ada0 of=/dev/null bs=1m &
dd if=/dev/ada1 of=/dev/null bs=1m &
dd if=/dev/ada2 of=/dev/null bs=1m &
gstat -f ada

Dit voorbeeld start op drie disks gelijktijdig een dd-benchmark en dan kun je met gstat kijken of er één disk is die minder snel gaat. Als dat het geval is, dan trekt die de performance van de hele RAID-Z naar beneden. Kan aan je controller liggen, aan de kabel of mogelijk aan de disk zelf.

@C0rnelis
Je kijkt naar raw value terwijl dat niet altijd nuttig is; met name Seek Error Rate is alleen de genormaliseerde waarde (tussen 0 en 100 in) nuttig, niet de raw value tenzij je weet hoe de schijf in kwestie die codeert. Dit soort attributen zijn niet letterlijk uit te lezen, zoals wel bij kabelfouten en bad sectors bijvoorbeeld. Maar ik zie gewoon removed staan. Dus ik zou zeggen: reboot en voeg de disk weer toe.

[C0rnelis]

Verwijderd schreef op dinsdag 24 december 2013 @ 21:46:
@C0rnelis
Je kijkt naar raw value terwijl dat niet altijd nuttig is; met name Seek Error Rate is alleen de genormaliseerde waarde (tussen 0 en 100 in) nuttig, niet de raw value tenzij je weet hoe de schijf in kwestie die codeert. Dit soort attributen zijn niet letterlijk uit te lezen, zoals wel bij kabelfouten en bad sectors bijvoorbeeld. Maar ik zie gewoon removed staan. Dus ik zou zeggen: reboot en voeg de disk weer toe.

Bedankt voor je reactie!

Na een reboot:

# zpool online nas 437344199091100599
warning: device '437344199091100599' onlined, but remains in faulted state
use 'zpool replace' to replace devices that are no longer present

# zpool status nas
  pool: nas
 state: DEGRADED
status: One or more devices has been removed by the administrator.
        Sufficient replicas exist for the pool to continue functioning in a
        degraded state.
action: Online the device using 'zpool online' or replace the device with
        'zpool replace'.
  scan: none requested
config:

        NAME                    STATE     READ WRITE CKSUM
        nas                     DEGRADED     0     0     0
          raidz2-0              DEGRADED     0     0     0
            gpt/afuture-d1      ONLINE       0     0     0
            gpt/afuture-d2      ONLINE       0     0     0
            gpt/azerty-d1       ONLINE       0     0     0
            gpt/azerty-d2       ONLINE       0     0     0
            437344199091100599  REMOVED      0     0     0  was /dev/gpt/mycom-d1
            gpt/mycom-d2        ONLINE       0     0     0

errors: No known data errors

Lijkt er dus op dat simpelweg online forceren niet werkt ?

[Verwijderd]

zpool online heb je al geprobeerd? Dan gewoon met zpool replace:

zpool replace nas 437344199091100599 /dev/gpt/mycom-d1

[Kriss1981]

Ik wordt helemaal gek. Heb de raidz2 pool weer op de SASUC8I aangesloten en nu zijn de snelheden weer goed:

ZFSguru 0.2.0-beta8 (9.2-001) pool benchmark
Pool            : tank (10.9T, 63% full)
Test size       : 64 GiB
normal read	: 359 MB/s
normal write	: 341 MB/s
I/O bandwidth	: 30 GB/s

Ik modder nog even aan en zie wel of ik de boosdoener vindt. Bedankt voor de reacties. Nu weet ik waar/hoe ik moet zoeken.

[FireDrunk]

Misschien een scheve kabel. Kijk FF naar je smart waardes.

[C0rnelis]

Verwijderd schreef op dinsdag 24 december 2013 @ 22:21:
zpool online heb je al geprobeerd? Dan gewoon met zpool replace:

zpool replace nas 437344199091100599 /dev/gpt/mycom-d1

Inderdaad, zpool online had ik zojuist gedaan, dat commando gaf dus de warning:
device '437344199091100599' onlined, but remains in faulted state

Ik kreeg een melding dat het device niet gevonden kon worden toen ik je suggestie volgde met zpool replace, toen ben ik dit gaan controleren en inderdaad, er stond helemaal geen mycom-d1 in /dev/gpt/! Ik merkte toen ook op dat ik nog maar 5 ada's had in /dev: ada0-4 ipv ada0-ada5..

Ik heb inmiddels in het BIOS gekeken en mijn 5e schijf in de array wordt niet meer herkend dus ik ga er vanuit dat deze schijf compleet dood is ? Ik heb foutieve bekabeling uitgesloten door bijna alle mogelijke combinaties van stekkertjes te proberen met schijf 6 en die verscheen gewoon in het BIOS.

Onder aanname van de huidige situatie:
• sata datakabel van moederbord poort 5 naar schijf 5: werkt niet
• sata stroomkabel van voeding naar schijf 5: werkt niet
• sata datakabel van moederbord poort 6 naar schijf 6: werkt wel
• sata stroomkabel van voeding naar schijf 6: werkt wel

Kwam naar voren
• sata datakabel van moederbord poort 5 naar schijf 6: werkt wel
• sata stroomkabel van voeding van schijf 5 naar schijf 6: werkt wel
• sata datakabel van moederbord poort 6 naar schijf 5: werkt niet
• sata stroomkabel van voeding van schijf 6 naar schijf 5: werkt niet

Tenzij iemand ideeën heeft lijkt het me dat ik dan deze schijf moet vervangen ? En als ik dan toch bezig ben met vervangen van schijven: is het dan aan te raden om de disk met 4160 reallocated sectoren ook te vervangen of is dit een verwaarloosbaar aantal ?

En terwijl ik dit aan het typen ben, weigert mijn NAS nog te booten, met nog een verdwijnende disk uit mijn BIOS: ada1
Kan dit gedrag duiden op een kapot moederbord (ik vind dit net iets te toevallig ) i.p.v. dode harde schijven? Ik ga ze van de week sowieso nog wel even testen in een andere computer. Woops, per ongeluk een stroomkabeltje vergeten terug aan te sluiten

[Durandal]

SMART - Reallocated Sector Count

Count of reallocated sectors. When the hard drive finds a read/write/verification error, it marks that sector as "reallocated" and transfers data to a special reserved area (spare area). This process is also known as remapping, and reallocated sectors are called "remaps". The raw value normally represents a count of the bad sectors that have been found and remapped. Thus, the higher the attribute value, the more sectors the drive has had to reallocate. This allows a drive with bad sectors to continue operation; however, a drive which has had any reallocations at all is significantly more likely to fail in the near future.[2] While primarily used as a metric of the life expectancy of the drive, this number also affects performance. As the count of reallocated sectors increases, the read/write speed tends to become worse because the drive head is forced to seek to the reserved area whenever a remap is accessed. If sequential access speed is critical, the remapped sectors can be manually marked as bad blocks in the file system in order to prevent their use.

Als het aantal reallocated sectors de laatste tijd stabiel is dan kan het zijn dat het zo blijft. Je hebt er echter wel aardig wat en ik denk niet dat je de historie kent. Ik zou hem zelf vervangen.

Maar... let op
Je hebt een RaidZ2 dus 2 redundante disks. Er is er 1 dood en als die met die realocated sectors ook dood gaat heb je geen redundantie meer.
Als het kan zou ik je NAS uitzetten tot je je nieuwe disks hebt. Dan dode disk er uit, nieuwe disk er in, resilveren. Dan reallocated disk er uit en 2e nieuwe er in en weer resilveren.

[HyperBart]

Als je kan, probeer dan altijd zoveel mogelijk devices die nog even online kunnen blijven online te houden tijdens je rebuild/replace.

Als je bijvoorbeeld een disk hebt die smart errors geeft van sectoren die reallocated zijn, gooi die disk dan toch terug online, maar vervang die disk dan wel zo snel mogelijk, zo vertrouw/leun je zo lang mogelijk om die disk tot ie echt de geest geeft.

Zo heb ik bv ooit hier een disk vervangen in een RAIDZ pool nog niet zo lang geleden door te zeggen "replace disk a met disk a-vervangertje". Het voordeel hiervan is dat je pool niet in degraded gaat (nou ja, bij jou al wel omdat je al één disk in RAIDZ2 hebt die al naar de zak is, maar je begrijpt het wel).

[vargo]

Verwijderd schreef op dinsdag 24 december 2013 @ 21:46:
@vargo: niet gaan scrubben met defect RAM; dat is gevaarlijk! Direct je RAM testen en daarna met 100% goed RAM nog een keer scrubben. Heb je dan oncorrigeerbare corruptie dan is de checksum door RAM corruptie verkeerd aangemaakt; dan ben je wel een bestand kwijt.

Ja de machine staat om die reden voorlopig ook uit: hopelijk valt de schade mee met corruptie.
En in de upgrade gaat er meteen ECC om dit soort problemen vroegtijdig te detecteren. Denk erover om nu voor de C2550 / C2750 (intel Avalon 4 / 8 core) Asrock te gaan met 16GB. En 4x4TB disks voor de nieuwe pool.

Ben er nog niet over uit hoe ik de pool dan ga migreren.
Optie 1: de SASUC8i inprikken op de nieuwe hardware en migreer update ik de pool van opensolaris => freebsd.
Optie 2: de huidige machine weer up and running brengen en met ZFS send / receive de data migreren.

[C0rnelis]

Durandal schreef op woensdag 25 december 2013 @ 00:15:
SMART - Reallocated Sector Count

[...]

Als het aantal reallocated sectors de laatste tijd stabiel is dan kan het zijn dat het zo blijft. Je hebt er echter wel aardig wat en ik denk niet dat je de historie kent. Ik zou hem zelf vervangen.

Maar... let op
Je hebt een RaidZ2 dus 2 redundante disks. Er is er 1 dood en als die met die realocated sectors ook dood gaat heb je geen redundantie meer.
Als het kan zou ik je NAS uitzetten tot je je nieuwe disks hebt. Dan dode disk er uit, nieuwe disk er in, resilveren. Dan reallocated disk er uit en 2e nieuwe er in en weer resilveren.

Thanks, ik heb 'em nu uitgezet en ga z.s.m. achter nieuwe schijven aan. Voor mijn informatie: het klopt dat ik ook met 4 disks (dus zonder enige vorm van redundantie) "zonder problemen" 2 nieuwe schijven kan aansluiten en mijn pool kan resilveren ?

[]Byte[]

Mijn FC wil nog steeds niet werken...

Wat heb ik gedaan:

in de /boot/loader.conf de volgende regel voor de driver toegevoegd:

code:

ispfw_load="YES"

(ja ik weet het, ik hoef in principe niet alle drivers te laden, maar alleen die van de QLE2300. - maar voor nu even beter mee verlegen dan om verlegen)
in de /boot/devices.hints de volgende regels toegevoegd:

code:

hint.isp.0.fullduplex="1"
hint.isp.0.topology="nport"
hint.isp.0.role="1"

En verder:

code:

[root@zfsguru /usr/src/sys/amd64/conf]# cp GENERIC MYKERNEL

en in MYKERNEL de volgende regel uncommented:

code:

#device          ctl             # CAM Target Layer

Vervolgens:

code:

[root@zfsguru /usr/src]# make buildkernel KERNCONF=MYKERNEL
[root@zfsguru /usr/src]# make installkernel KERNCONF=MYKERNEL

reboot

Kernelbuild lijkt goed te zijn gegaan:

code:

[root@zfsguru ~]# uname -a
FreeBSD zfsguru.bsd 9.2-RELEASE FreeBSD 9.2-RELEASE #0: Wed Dec 25 23:21:04 CET 2013     [e-mail]:/usr/obj/usr/src/sys/MYKERNEL  amd64

Na de reboot een RAMdrive aangemaakt om te testen...

code:

ctladm create -b ramdisk -s 1048576000000 -S ZFSSERIAL001 -d ZFSLUN001
ctladm port -o on
camcontrol devlist -v

En zie daar... de ramdrive:

code:

scbus9 on ctl2cam0 bus 0:
<FREEBSD CTLDISK 0001>             at scbus9 target 1 lun 0 (da14,pass16)
<>                                 at scbus9 target -1 lun -1 ()

In de dmesg:

code:

<knip>
(7:2:0:0): <FREEBSD CTLDISK 0001> Fixed Direct Access SCSI-5 device 
(7:2:0:0):  2048000000 blocks, blocksize 512
da14 at ctl2cam0 bus 0 scbus9 target 1 lun 0
da14: <FREEBSD CTLDISK 0001> Fixed Direct Access SCSI-5 device 
da14: 800.000MB/s transfers WWNN 0x500000020b0dfb00 WWPN 0x500000020b0dfb02 PortID 0x1
da14: Command Queueing enabled
da14: 1000000MB (2048000000 512 byte sectors: 255H 63S/T 127482C)
<knip>

Tot zover lijkt alles nog goed te gaan.

Nu in vSphere onder [Configuration] => [Storage Adapters] een “Rescan All” gedaan...
En toen bleef het akelig STIL!
Op ZFSguru zie ik in de /var/log/messages wel de discovery's van iSCSI naar verder 0,0 meldingen en zeker geen RAMdrive op mijn ESX.

Wat zie ik over het hoofd?

[ Voor 5% gewijzigd door ]Byte[ op 26-12-2013 12:12 ]

[HyperBart]

Kan iemand me eens uitleggen waarom de laatste 290 (!!!) GB niet bruikbaar is onder ZFS? Juggernaut is een pool die in de loop van de volgende week de data van titan gaat huisvesten (migratie van 3TB spindles naar 4TB). Maar ik vind ongeveer 300GB als "niet te gebruiken space" nogal veel.

Betreft een pool bestaande uit 5 x 4TB (pricewatch: Seagate Desktop HDD.15 (OEM), 4TB)

Ik begrijp dat dit andere noteringen zijn dan bij files, maar ik had toch graag eens een uitleg gehad van hoe of wat...

[root@nas /home/ssh]# zpool list
NAME         SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
BOOT-BARE   3.69G   586M  3.12G    15%  1.00x  ONLINE  -
juggernaut  18.1T  17.8T   290G    98%  1.00x  ONLINE  -
titan       13.6T  11.8T  1.80T    86%  1.00x  ONLINE  -

[root@nas /home/ssh]# zfs list -r juggernaut
NAME               USED  AVAIL  REFER  MOUNTPOINT
juggernaut        14.3T      0   243K  /juggernaut
juggernaut/share  14.3T      0  14.3T  /juggernaut/share

[Q]

Kan het zijn dat dit 'reserved' space is voor het copy-on-write verhaal? 1/64 wordt daarvoor gereserveerd meen ik en dan kom ik op 280 GB. Dus dat lijkt te kloppen?

[ Voor 16% gewijzigd door Q op 26-12-2013 15:07 ]

[HyperBart]

Scherp! Had ik nog niet aan gedacht of wist zelfs niet dat er zo een reserve bestond.

Klinkt heel aannemelijk. CiPHER, heb jij nog wat te vertellen hierover?

[]Byte[]

Wat interessant zou kunnen zijn...
Kan je er zelf een limiet aan stellen?
Op een gegeven moment worden de getallen dusdanig dat een percentage van deze orde van grote eigenlijk een beetje gierend de bocht uit vliegen.
Ik zat het zojuist even om te rekenen, maar dat komt bij mij neer op een kleine 600 GB.
Dat is wel heel veel...

[HyperBart]

Dat vind ik dus ook... Enkele GB's tot misschien tientallen had ik nog net acceptable gevonden, dit is gewoon iets te veel van het goede.

[A1AD]

Q schreef op donderdag 26 december 2013 @ 15:07:
Kan het zijn dat dit 'reserved' space is voor het copy-on-write verhaal? 1/64 wordt daarvoor gereserveerd meen ik en dan kom ik op 280 GB. Dus dat lijkt te kloppen?

Verlies je ook geen 2gig/disk aan swap (10gig)?

[Q]

Source van de 1/64 reserved space: http://cuddletech.com/blog/pivot/entry.php?id=1013

Ik heb nog niet uitgezocht of dit te tunen is. Ik ben bang van niet. Dus als je voor 50 GB gaat dan ben je zomaar even 800 GB 'kwijt'.

A1AD schreef op donderdag 26 december 2013 @ 23:01:
[...]


Verlies je ook geen 2gig/disk aan swap (10gig)?

Geen idee? Weer wat geleerd!

Die 1/64 zou mij 1.25 TB gaan kosten in mijn beoogde setup. Ik ga uitzoeken of dat niet te tunen valt want dat is gewoon zonde.

[ Voor 45% gewijzigd door Q op 26-12-2013 23:45 ]

[]Byte[]

Q schreef op donderdag 26 december 2013 @ 23:03:
[...]
Dus als je voor 50 GB gaat dan ben je zomaar even 800 GB 'kwijt'.
[...]
Die 1/64 zou mij 1.25 TB gaan kosten in mijn beoogde setup. Ik ga uitzoeken of dat niet te tunen valt want dat is gewoon zonde.

Ik neem aan dat je 50 TB bedoeld.

Misschien een feature request waard om dit configurable te maken!

[Q]

Ja TB 'oeps'.

Ik kan met wat google werk geen setting vinden die dit aanpast, maar ik moet mogelijk nog even beter zoeken. Als deze setting niet kan worden aangepast dan ga ik nog eens heel goed nadenken of ZFS voor mijn specifieke situatie wel de juiste keuze is.

[MikeVM]

Hey iedereen, ik heb nu al bijna een jaartje mijn zfsguru servertje up and running, maar de disks draaien de hele dag nonstop. ik vind nergens een goede guide hoe ik deze automatisch in sleepmodus laat gaan..

kan iemand me hierbij helpen

camcontroll idle/sleep/standby werkt niet hier.

#	Product	Prijs	Subtotaal
1	Intel Pentium G860 Boxed	€ 63,50	€ 63,50
1	ASRock B75 Pro3-M	€ 51,-	€ 51,-
10	WD Green WD30EZRX, 3TB	€ 95,50	€ 955,-
1	Norcotek RPC-4224	€ 487,03	€ 487,03
1	Scythe Shuriken Rev. B	€ 22,95	€ 22,95
2	Corsair Vengeance CMZ16GX3M2A1600C10	€ 135,10	€ 270,20
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Antec Earthwatts Platinum 550W	€ 92,66	€ 92,66
1	Intel 320 160GB	€ 297,66	€ 297,66
Bekijk collectie Importeer producten		Totaal	€ 2.358,58

[ Voor 84% gewijzigd door MikeVM op 27-12-2013 02:21 ]

[]Byte[]

Q schreef op vrijdag 27 december 2013 @ 02:12:
Ik kan met wat google werk geen setting vinden die dit aanpast, [...]

Ik heb dan zo het vermoeden dat het ergens in de code verwerkt zal zitten.
Enige optie lijkt dat dit omgezet zal moeten worden naar een string die zelf aangepast moet kunnen worden ([System] [Tuning] [Advanced] ?)

[BCC]

FireDrunk schreef op zondag 22 december 2013 @ 12:16:
/boot op een ext4 partitie? ZFS als module in je initramfs. Werkt prima.

Ik heb uiteindelijk 3x de partitietabel opgzet:
/sdb /sdc /sdd
487MiB - Fat32 -UEFI
487MiB - Ext2 - /boot (mdadm raid5)
20000 MiB - XFS (mdadm raid5)
3.9 TB (ZFS pool raidz1)

Dit werkt best prima nu met Ubuntu Saucy en /home, /var, /usr & /srv via ZFS mount
Nu ff uitzoeken hoe snapshotten en Mysql Percona op ZFS precies werken .. en docker.. en dan migreren maar!
SDA is een SSD die 16 GB swap doet en 80GB aan ZFS cache. Is er ook een goede toolie om ZFS te monitoren (behalve zpool status)?

[ Voor 22% gewijzigd door BCC op 27-12-2013 09:35 ]

[FireDrunk]

In welk opzicht? Failures of performance? Voor performance kan je kijken naar zfs-stats.
Voor failures kun je iets van Zabbix gebruiken, maar dat is veel te groot voor simple ZFS monitoring. Ik denk dat google wel ergens een monitor scriptje voor je vind

[BCC]

Failures. Ik was al bezig om Zabbix in Docker aan de praat te krijgen . Ik heb op mijn oude bakje Icinga draaien (er wordt weer meer gemonitord hier), maar die gaat er uit.

Ik zie trouwens nu net dat je dat Intel Q77 bordje te koop hebt, daar was ik naar op zoek :)! Ik ben nu voor de Gigabyte versie gegaan. Hoe connect je met die Intel vPro techniek vanaf een Apple/Linux trouwens? Gewoon via VNC?

[ Voor 41% gewijzigd door BCC op 27-12-2013 11:58 . Reden: q77 ]

[Q]

Erg interessant artikel van een engineer bij het Amazon AWS Team over silent data corruption. Op de schaal waar zij opereren zien ze ook veel RAM ECC errors.

http://perspectives.mvdir...stOfDependentSystems.aspx

The immediate lesson is you absolutely do need ECC in server application and it is just about crazy to even contemplate running valuable applications without it. The extension of that learning is to ask what is really different about clients? Servers mostly have ECC but most clients don’t. On a client, each of these corrections would instead be a corruption. Client DRAM is not better and, in fact, often is worse on some dimensions. These data corruptions are happening out there on client systems every day. Each day client data is silently corrupted. Each day applications crash without obvious explanation. At scale, the additional cost of ECC asymptotically approaches the cost of the additional memory to store the ECC. I’ve argued for years that Microsoft should require ECC for Windows Hardware Certification on all systems including clients. It would be good for the ecosystem and remove a substantial source of customer frustration. In fact, it’s that observation that leads most embedded systems parts to support ECC. Nobody wants their car, camera, or TV crashing. Given the cost at scale is low, ECC memory should be part of all client systems.

Deze meneer pleit dus eigenlijk dat ECC overal zou moeten worden toegepast, ook in desktops / laptops.
We denken dat geheugen fouten niet voorkomen, maar we hebben eigenlijk geen idee want we meten niets.

Zelf zou ik nooit meer een thuis server opzetten zonder ECC geheugen. Ik vraag me af of er ECC ram zit in die QNAP / Synology machientjes.

[ Voor 9% gewijzigd door Q op 27-12-2013 13:05 ]