Het grote ZFS topic

[CurlyMo]

Verwijderd schreef op maandag 02 juli 2012 @ 18:36:
En wat als je via de portstree compileert, want zaken buiten de portstree of package tree om installeren is eigenlijk _absoluut_ not done onder welke *NIX dan ook. Je package database klopt dan niet meer wat er daadwerkelijk geïnstalleerd is. Je moet ports of packages gebruiken om dingen netjes te houden.

Kortom, ik moet ergens kunnen lezen welke compile opties deze feature nodig hebben.

Dan werkt het nog niet, dat is ook de reden dat ik het buiten de portstree om heb gedaan. Ook sickbeard/sabnzbd/headphones heb ik buiten de portstree om gedaan. Verder installeer ik alles via de pkg_add functie. Vind ik nog wat makkelijker voor wat ik nodig heb dan de portstree.

De beste manier is om een handjevol IPs te whitelisten. Denyhosts is leuk maar beschermt niet tegen vulnerabilities in SSH. Ernstige vulnerabilities zouden nog steeds root toegang kunnen geven.

Klopt, maar dan moet je wel weten op welke vanaf welke locaties je ssh toegang wilt. Dat kan nogal eens verschillen met calamiteiten. Via NAT draai ik SSH op een andere poort dan 22 zodat portscanners niet meer langskomen. Het blacklisten van die paar pogingen die langskomen is dus effectief genoeg.

Het beste is gewoon als iemand van internet helemaal geen contact kan maken met jouw NAS, maar alleen jij wel.

Hoe zou je dit willen bereiken?

Ja, de Task Manager functionaliteit. Denk niet dat het snel zal komen, maar is wel een top feature die veel gevraagd wordt. Iets om aan te werken nadat de basale dingen goed werken IMO. Jason had hier ook ideeën over maar hij zag er ook tegen op. De eerste prioriteit zijn de system images en services op dit moment. Toch de basis van ZFSguru. De web-interface doet al vrijwel alle ZFS handelingen. Maar bijvoorbeeld zfs send/receive is iets wat goed met de Task Manager kan worden gecombineerd.

Ligt er natuurlijk aan hoe foolproof je het zou willen maken. Als het gewoon een aantal select boxen zijn voor minuten/uren/dagen/maanden/jaren, een textveld voor het te draaien commando en een optie of de uitvoer gemaild moet worden, dan kan je al een handig werkende taskmanager hebben. Als je inderdaad wilt dat niemand in staat is "rm -rf /" te draaien via een cron dan zal het inderdaad meer werk zijn.

[ Voor 50% gewijzigd door CurlyMo op 02-07-2012 21:01 ]

[Hakker]

wel fijn om een desktop te hebben waarop je in kan loggen maakt het voor heel veel nieuwe mensen een stuk makkelijker.

Een optie is om misschien teamviewer als vnc service te gebruiken. Deze draait in een eigen virtualbox als ik het goed heb. Misschien niet de netste oplossing maar als vnc client wel handig omdat die firewalls ignored.
Daarnaast misschien webmin een optie?

Het zijn maar ideetjes hoor CiPHER

Ik kan iig niet wachter op die nieuwe LiveCD van jou het klinkt echt heel mooi.

[revox862]

Verwijderd schreef op maandag 02 juli 2012 @ 18:36:
Nee, gewoon background I/O denk ik. Je kunt wat meer testjes doen. Heb je verder ergens last van in de praktijk qua traagheid?

Ja. De hele pool lijkt soms te "hangen". Tijdens kopiëren, browsen, o.i.d. Als ik een pool maak zonder die twee schijven geen problemen.

[ImmortalSoul]

Verwijderd schreef op maandag 02 juli 2012 @ 18:36:
[...]
Kijk eens naar de 150W PicoPSU met 150W netvoeding van Steacom:
pricewatch: Streacom PicoPsu 150W + 150W Adapter Power Kit

Hij is iets minder zuinig dan mijn eigen Mini-Box PicoPSU met 80W adapter, maar het verschil was hooguit één watt (14.0W versus 15.0W voor een NAS dat ik voor iemand heb gebouwd). De +12V adapter die dus 150W kan leveren (met nog meer als piekbelasting) is wel erg groot, maar dat heb je ook nodig ivm warmte.

Afhankelijk van je config kun je best veel schijven opspinnen met PicoPSU, maar dan moet je wel een zuinig systeem hebben. Een CPU met een lage TDP dus. Jouw 2100 is dat niet. Overweeg een Brazos setup als je echt zuinig (en goedkoop) wilt zijn.

Zo'n TDP zegt helemaal niks. Hier een test waarin de de E350 (bijvoorbeeld) en i3 2100 vergelijkt wordt: http://www.xbitlabs.com/a...re-i3-2100t_11.html#sect0

Je ziet dat de i3 2100 in idle bijvoorbeeld net zo zuinig is als de Brazos, bij CPU belasting verbruikt hij 10W meer maar hij is dan ook 4x sneller.

Maar ik zal eens verder onderzoek doen naar die PicoPSU

[sloth]

Het zegt net wél wat bij de bepaling van welke voeding geschikt voor je systeem is.
Een PicoPSU heeft namelijk maar een beperkte peak current, en IIRC is je processor even stressed wanneer je systeem boot.
De TDP is dan net wel belangrijk, aangezien een cpu met een te hoge TDP ervoor zorgt dat je systeem niet wil booten.

[Verwijderd]

ImmortalSoul schreef op dinsdag 03 juli 2012 @ 12:45:
[...]
Zo'n TDP zegt helemaal niks. Hier een test waarin de de E350 (bijvoorbeeld) en i3 2100 vergelijkt wordt: http://www.xbitlabs.com/a...re-i3-2100t_11.html#sect0

Dat is geen i3 2100, maar een i3 2100T; klein verschil want de T versie is 35W versus de 65W standaardversie.

TDP is belangrijk voor thermische eigenschappen, maar ook een maatstaf voor de piekbelasting die je voeding moet kunnen trekken. Op het moment dat jij op de stroomknop drukt, gaat je CPU aan, spinnen je schijven op en kortom; dat je de hoogste belasting die je zult bereiken voor je NAS. In de BIOS werken stroombesparingstechnieken ook niet, dus je hebt ook van je CPU een aardig piekverbruik in die paar seconden na het indrukken van de stroomknop.

Ga je hoger dan je voeding aankan, dan gaat je computersysteem vrolijk weer uit na een paar seconde in werking.

Je ziet dat de i3 2100 in idle bijvoorbeeld net zo zuinig is als de Brazos

Dat klopt; het maakt dus niet uit of je een 1000 euro CPU of een 20 euro CPU gebruikt; beide zitten idle rond een vermogen van enkele watts. Je komt dan terecht bij een kaal systeem van rond de 10 watt. Dat kan ik bevestigen: mijn Brazos systeem zit dichtbij het Ivy Bridge systeem wat ik draai. Idle dan natuurlijk!

Voor een NAS is idle ook het belangrijkst. Het zou helemaal niet erg zijn als je CPU 200W TDP zou hebben; dat is toch maar tijdelijk en bij een apparaat wat 99,9% idle is door 24/7 gebruik is eigenlijk alleen het verbruik in rust belangrijk voor de stroomrekening.

Brazos CPU is inderdaad flink minder krachtig, maar ook weer geen stront. Je kunt er prima een 6x RAID-Z2 mee bouwen; de CPU kracht zal alleen voor (gzip-)compressie een duidelijke bottleneck vormen. Desondanks laat ik mijn Brazos gewoon gzip en AES uitvoeren. Hij kan via gigabit tegen de 100MB/s halen dus mij lijkt dat Brazos genoeg CPU-kracht biedt voor een instap ZFS NAS, tenzij je speciale wensen hebt. Maar zelfs transcoden zou die Brazos redelijk moeten kunnen mits er (OpenCL) GPU-acceleratie aanwezig is.

[HyperBart]

Iemand bekend met SAS-kaarten met meer dan 2 poorten die qua ondersteuning gelijk zijn aan de M1015's/LSI 2008's?

[matty___]

HyperBart schreef op dinsdag 03 juli 2012 @ 13:09:
Iemand bekend met SAS-kaarten met meer dan 2 poorten die qua ondersteuning gelijk zijn aan de M1015's/LSI 2008's?

kan die lsi2008 chip niet gewoon meer poorten aan. Maw zolang die chip erop zit werkt het onafhankelijk van het aantal poorten

[Verwijderd]

Per LSI chip heb je 4 poorten of één mini-SAS kabel. Net als bij de LSI 1068E waarbij je kaarten had met twee LSI chips en 4 mini-SAS kabels en je dus 4x4=16 apparaten kunt aansluiten, zou je hetzelfde wel hebben met de LSI SAS2008 opvolger lijkt me. Maar meestal zijn die 16-poort kaarten wel flink duurder dan de 8-poort kaarten.

[ Voor 7% gewijzigd door Verwijderd op 03-07-2012 13:19 ]

[matty___]

of toch met een expander werken. Zolang je alleen sata300 schijven erin hebt zitten zou dat prima moeten werken.

[FireDrunk]

HyperBart schreef op dinsdag 03 juli 2012 @ 13:09:
Iemand bekend met SAS-kaarten met meer dan 2 poorten die qua ondersteuning gelijk zijn aan de M1015's/LSI 2008's?

Ja hoor: http://www.lsi.com/produc...Pages/LSISAS9201-16i.aspx

Dat is gewoon dezelfde architectuur, alleen een chip met 4x4 ipv 2x4. Dat het ding geen LSI2008 heet maakt niet uit. Zelfde driver onder alle OSen (MPT)

[Verwijderd]

Maakt wel uit vind ik, zeker als je maar beperkte PCIe slots hebt. Duw je deze in een Brazos server dan heb je maar PCIe 1.0 x4 dus 1GB/s ter beschikking. In de praktijk 700MB/s ofzo. Dat moet je dan delen met 16 poorten? Tuurlijk je gigabit performance zal er niet snel onder lijden, maar ik ga liever voor echte pure performance. Ik hou niet van bottlenecks die in interfaces liggen; dat is meer een gevolg van verkeerde technologische afwegingen.

De nieuwe SAS2008 chip heeft niet alleen SATA/600 maar ook PCIe 2.0 ipv 1.0. Op eenzelfde Brazos server heb je dan dus 2GB/s theoretisch ipv 1GB/s. Toch een aardig verschil met name voor deze 'dubbele kaarten' die toch min of meer bedoeld zijn voor systemen met te weinig PCI-express slots.

[ Voor 18% gewijzigd door Verwijderd op 03-07-2012 13:43 ]

[FireDrunk]

Verwijderd schreef op dinsdag 03 juli 2012 @ 13:40:
Maakt wel uit vind ik, zeker als je maar beperkte PCIe slotsl hebt. Duw je deze in een Brazos server dan heb je maar PCIe 1.0 x4 dus 1GB/s ter beschikking. In de praktijk 700MB/s ofzo. Dat moet je dan delen met 16 poorten?

De nieuwe SAS2008 chip heeft niet alleen SATA/600 maar ook PCIe 2.0 ipv 1.0. Op eenzelfde Brazos server heb je dan dus 2GB/s theoretisch ipv 1GB/s. Toch een aardig verschil met name voor deze 'dubbele kaarten' die toch min of meer bedoeld zijn voor systemen met te weinig PCI-express slots.

Uh, PCIe 1.0 doet 250MB/s per lane, PCIe 2.0 500MB/s.
Een LSI 1068E is 1.0 x8 dus 2GB/s
Een LSI 2008 is 2.0 x8 dus 4GB/s

[Verwijderd]

Maar op Brazos kun je maar 4 lanes gebruiken, dus:
PCIe 2.0 x8 wordt PCIe 2.0 x4 = 2GB/s
PCIe 1.0 x8 wordt PCIe 1.0 x4 = 1GB/s

Mijn punt is dat je dit soort kaarten vooral gebruikt voor systemen met te weinig PCIe slots, dus dan loop je vaker tegen beperkte PCIe slots aan, zoals op Brazos. Voor systemen met genoeg PCIe slots is de normale LSI controller met 2x mini-SAS goedkoper en heeft dus dubbele bandbreedte per disk beschikbaar.

[ImmortalSoul]

Verwijderd schreef op dinsdag 03 juli 2012 @ 12:57:
[...]

Dat is geen i3 2100, maar een i3 2100T; klein verschil want de T versie is 35W versus de 65W standaardversie.

TDP is belangrijk voor thermische eigenschappen, maar ook een maatstaf voor de piekbelasting die je voeding moet kunnen trekken. Op het moment dat jij op de stroomknop drukt, gaat je CPU aan, spinnen je schijven op en kortom; dat je de hoogste belasting die je zult bereiken voor je NAS. In de BIOS werken stroombesparingstechnieken ook niet, dus je hebt ook van je CPU een aardig piekverbruik in die paar seconden na het indrukken van de stroomknop.

Ga je hoger dan je voeding aankan, dan gaat je computersysteem vrolijk weer uit na een paar seconde in werking.

Na wat zoekwerk ga ik voor een Seasonic SS-300SFD 80 Plus voeding. Deze haalt bij een laag verbruik (rond de 45W) toch een mooie 81,5% efficiency .
Dat scheelt 4% met een PicoPSU, wat neerkomt op max 3/4W verschil (op jaarbasis 6/8 euro dus). De Seasonic is bijna 40 euro goedkoper dan een 150W PicoPSU + ik zit in ieder geval safe qua max. vermogen + een ATX voeding past mooier/fijner in mijn behuizing.

Nog een vraagje: Ik ben nu van plan om een aparte SSD aan te schaffen om mijn ZFS platform OS op te draaien, is het ook mogelijk/gunstig/net zo voordelig om een OS op een USB stick te draaien? Of kan ik met een SSD ook extra winst behalen voor mijn ZFS array (meer dan films/muziek streamen doe ik niet).

[ Voor 11% gewijzigd door ImmortalSoul op 03-07-2012 13:56 ]

[Verwijderd]

Als je voedingreviews moet geloven komen ze nooit onder 80% efficiency. Toch is de efficiency bij een Brazos servertje waarschijnlijk lager dan 50%; de voeding gebruikt dan meer stroom dan het computersysteem zelf.

45W is een hoog wattage wat je opgeeft. Dat komt overeen met 4 ZFS servers of 11 tot 15 hardeschijven. Als je inderdaad denkt dat je zeker 45W gaat verstoken, heeft een PicoPSU geen zin. En als je al zoveel idle verstookt; hoe ga je dan onder de 150W piekbelasting komen? Kortom, PicoPSU is leuk voor een 12W server met pieken net boven de 100W. Dat is de situatie waarin een PicoPSU het meeste verschil maakt.

Mijn stroommetingen met PicoPSU versus ATX voedingen geven aan dat nieuwe ATX voedingen flink onzuinig kunnen zijn. Een 10 jaar oude ATX voeding doet het bij mij met 10 watt idle stukken beter dan een 'moderne' Huntkey voeding. Echte kwaliteitsvoedingen heb ik niet getest, maar diverse reviews geven aan dat juist dit soort voedingen enorm inefficient kan zijn bij lage belasting.

Er is simpelweg niemand die voedingen test op 2 of 5 procent belasting. Lager dan 20 procent wordt vrijwel nooit getest. Doe je dat wel dan krijg je cijfers als:



Waar denk je dat deze lijnen gaan eindigen bij 10W belasting?

[iRReeL]

Verwijderd schreef op maandag 02 juli 2012 @ 18:36:
[...]
De temperatuur van je disks is echt te hoog hoor, daar moet je wat aan doen. Foto van je kast/schijven?

En verder die active bad sectors zijn eigenlijk niet zo spannend. Als die onleesbaar zijn omdat ZFS ze nooit gebruikt heeft, is dat niet zo erg (de-magnetisering). Dat wordt ook automatisch opgelost zodra ZFS er wel naar schrijft en die blocks dus in gebruik neemt. Dus als je een zpool scrub uitvoert, en je hebt daarna nog active/pending sectors op de disks, dan kunnen die geen kwaad.

Ja 1 van de front fans draait langzaam en de filter was nogal vies. Ik heb nu ff nog een fan achter de disks gezet en de temps zijn nu weer tussen de 30-35°C.
Active bad sectors zijn nu wel wat minder maar ik schrok toch om opeens een piek van bad sectors op 2 disks te zien!

[HyperBart]

Ik zit met een 300W voeding voor mijn Xeon 1230, de IBM M1015 en 6 disks in totaal dus dan toch nog niet zo slecht , right?

[Verwijderd]

Een ATX-voeding die bij lage load nog hoog efficient is, is deze:
pricewatch: FSP Aurum Gold 400

81,9% efficient op 5% load. Dat is erg indrukwekkend!

[FireDrunk]

Maar nog steeds getest bij 20W load. Als jij zegt dat jou Brazos setje 10W verstookt is dat nog steeds geen maatstaaf

[Verwijderd]

10W ex schijven, netwerk, fan. Netto draai ik 14,1W idle (2 notebook HDD 1TB + 2x SSD in DIPM).

Er zijn bijzonder weinig cijfers van, maar voedingen die bij 10-20 watt nog zeer efficient zijn, zijn enorm zeldzaam. Diegene die ik post heeft tenminste redelijk betrouwbare onafhankelijke testgegevens. En als hij 82% efficient is op 20W zou 15W wel rond de 80% zitten. Ik vermoed wel dat er een 'statisch' verbruik is, dus dat zodra je dichter bij 0W load komt (wat geeneens kan/mag bij een ATX voeding) dat statische verbruik steeds meer de efficiency omlaag drukt. Maar dat is maar een vermoeden, ik heb te weinig kennis van electro om daar wat over te zeggen.

Maar even praktisch. Wil je een ZFS server met 6 disks in RAID-Z2 dan is zo'n Brazos + PicoPSU prima haalbaar. Zo'n systeem heb ik onlangs nog gebouwd, met die Steacom 150W adapter set. Opspinnen lijkt prima te gaan. Het zijn 6x WD 2TB EARX schijven, die verbruiken net wat meer dan de Samsung F4EG bij het opspinnen. Andere moderne 5400rpm schijven zullen dus redelijk vergelijkbaar zijn met de load die deze schijven produceert.

Wil je een ZFS server met meer dan 6 schijven, dan moet je óf voor notebook schijven gaan wat momenteel erg duur is, óf gewoon een ATX voeding nemen. Omdat je idle verbruik dan toch stijgt tot boven de 20W door extra controller en extra schijven, zelfs in spindown, heb je niet zo heel veel meer aan die PicoPSU al zou die de spinup load kunnen trekken. Dus voor een medium ZFS build is PicoPSU niet geschikt meer. Wel voor een zuinige build tot 6 disks.

[cpf_]

@CiPHER:
Zou het mogelijk zijn om die setup evt. in pricewatch te tonen?
Ik ben namelijk op zoek om een goede, bijna-dedicated, NAS te bouwen. Voorlopig ben ik er nog niet 100% uit wat het allemaal gaat worden (Buiten dat ZFS een must is)

[ImmortalSoul]

Ik ben van plan om een aparte SSD aan te schaffen om mijn OS met ZFS op te draaien. Is het ook mogelijk/gunstig/net zo makkelijk om een OS op een USB stick te draaien? Of heeft een SSD toch wel beduidend meer voordelen om als OS schijf te dienen.

Veel performance hoef ik niet van mijn ZFS NAS, het is alleen maar om films/series en muziek te streamen en af en toe wat backups over te plaatsen.

[ Voor 7% gewijzigd door ImmortalSoul op 04-07-2012 16:49 ]

[CurlyMo]

Nu is het ook mijn beurt. Gisteren kreeg ik de melding van FreeBSD dat een van mijn schijven 'lost' was. Na een reboot deed het geheel het wel weer, maar later kwam de melding dat er checksum en lees en schrijf fouten waren geconstateerd in mijn data pool. Vandaag 2 nieuwe schijven gekocht om mijn HD204UI te vervangen door Barracuda Green's. Eerst een mirror van 2 2TB schijven. Zodra het me gelukt is om data over te kopiëren (dat is nog even de vraag) breng ik de schijven terug - ze waren namelijk nog binnen garantie - en haal ik nog 2 Barracuda's. Dan bouw ik daarmee een RAIDZ2 pool met 2 missing drives. Zodra de data van de mirror weer naar de RAIDZ2 is gekopieerd voeg ik per stuk de mirror schijven toe aan de RAIDZ2 zodat deze uiteindelijk helemaal functioneel is. Gelukkig heb ik al die tijd een externe schijf gehad voor de backup van mijn belangrijkste bestanden en ik ga er maar vanuit dat het terug kopiëren van de data van die schijf zonder problemen moet lukken.

Als iemand nog tips heeft om de data van mijn RAIDZ pool af te halen dan hoor ik dat graag. Is het bijv. verstandig om de stagnerende schijf offline te halen of gewoon proberen alles te laten zitten en geluk hebben dat ik alles over gekopieerd krijg?

Het probleem is namelijk dat één van de schijven goed aan het kloten is, maar een tweede schijf ook niet helemaal lekker meer werkt.

[Verwijderd]

@ImmortalSoul: de OS disk heeft niets aan extra performance. De OS disk bepaalt hooguit boot performance. USB sticks met te hoge write latencies kunnen nog wel problemen geven, maar eigenlijk maakt het dus niets uit.

Je kunt dus wel je SSD voor OS gebruiken, maar dat is extreem zonde tenzij je je SSD primair voor L2ARC/SLOG wilt gebruiken. Dat je dan ook een paar GB voor je OS reserveert is vrij logisch. Maar denk dus niet dat het zaakje sneller gaat draaien door OS op SSD te plaatsen.

@CurlyMo: waarom koop je gelijk nieuwe schijven als je nog niet weet wat er is gebeurd? Heb je bijvoorbeeld al naar de SMART gekeken? Stel je hebt een kabelprobleem dan hoef je geen schijven te vervangen, en kan hetzelfde ook met nieuwe schijven gebeuren. Dat gezegd: ja je kunt heel eenvoudig resilveren dat is geen probleem. En checksum fouten nadat je disk gedisconnect is, is logisch. De missende schijf heeft namelijk write-opdrachten gemist, en moet dat dus weer inhalen. Read en write errors zijn wat anders en geven I/O errors aan. Met name write errors zijn wel raar als je die krijgt.

[CurlyMo]

Verwijderd schreef op woensdag 04 juli 2012 @ 19:05:
@CurlyMo: waarom koop je gelijk nieuwe schijven als je nog niet weet wat er is gebeurd? Heb je bijvoorbeeld al naar de SMART gekeken? Stel je hebt een kabelprobleem dan hoef je geen schijven te vervangen, en kan hetzelfde ook met nieuwe schijven gebeuren. Dat gezegd: ja je kunt heel eenvoudig resilveren dat is geen probleem. En checksum fouten nadat je disk gedisconnect is, is logisch. De missende schijf heeft namelijk write-opdrachten gemist, en moet dat dus weer inhalen. Read en write errors zijn wat anders en geven I/O errors aan. Met name write errors zijn wel raar als je die krijgt.

Welke informatie wil je van me weten om me te helpen bij het diagnosticeren?

[Verwijderd]

SMART data en zpool status output als je die nog hebt, waarop die checksum en andere errors te zien waren. SMART data bedoel ik dus van de twee samsung schijven.

[CurlyMo]

Verwijderd schreef op woensdag 04 juli 2012 @ 19:09:
SMART data en zpool status output als je die nog hebt, waarop die checksum en andere errors te zien waren. SMART data bedoel ik dus van de twee samsung schijven.

ada0 [disk1]

code:

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   100   100   051    Pre-fail  Always       -       1
  2 Throughput_Performance  0x0026   055   055   000    Old_age   Always       -       18289
  3 Spin_Up_Time            0x0023   065   044   025    Pre-fail  Always       -       10718
  4 Start_Stop_Count        0x0032   084   084   000    Old_age   Always       -       16902
  5 Reallocated_Sector_Ct   0x0033   252   252   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   252   252   051    Old_age   Always       -       0
  8 Seek_Time_Performance   0x0024   252   252   015    Old_age   Offline      -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       9545
 10 Spin_Retry_Count        0x0032   252   252   051    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   252   252   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       175
181 Program_Fail_Cnt_Total  0x0022   097   097   000    Old_age   Always       -       78206148
191 G-Sense_Error_Rate      0x0022   098   098   000    Old_age   Always       -       20583
192 Power-Off_Retract_Count 0x0022   252   252   000    Old_age   Always       -       0
194 Temperature_Celsius     0x0002   064   044   000    Old_age   Always       -       27 (Min/Max 12/60)
195 Hardware_ECC_Recovered  0x003a   100   100   000    Old_age   Always       -       0
196 Reallocated_Event_Count 0x0032   252   252   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   252   252   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   252   252   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0036   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x002a   001   001   000    Old_age   Always       -       52631
223 Load_Retry_Count        0x0032   252   252   000    Old_age   Always       -       0
225 Load_Cycle_Count        0x0032   097   097   000    Old_age   Always       -       37055

ada1 [disk2]

code:

Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   100   100   051    Pre-fail  Always       -       324
  2 Throughput_Performance  0x0026   055   055   000    Old_age   Always       -       19063
  3 Spin_Up_Time            0x0023   072   065   025    Pre-fail  Always       -       8661
  4 Start_Stop_Count        0x0032   084   084   000    Old_age   Always       -       17003
  5 Reallocated_Sector_Ct   0x0033   252   252   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   252   252   051    Old_age   Always       -       0
  8 Seek_Time_Performance   0x0024   252   252   015    Old_age   Offline      -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       9538
 10 Spin_Retry_Count        0x0032   252   252   051    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   252   252   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       176
181 Program_Fail_Cnt_Total  0x0022   097   097   000    Old_age   Always       -       71581929
191 G-Sense_Error_Rate      0x0022   099   099   000    Old_age   Always       -       14332
192 Power-Off_Retract_Count 0x0022   252   252   000    Old_age   Always       -       0
194 Temperature_Celsius     0x0002   064   043   000    Old_age   Always       -       26 (Min/Max 12/65)
195 Hardware_ECC_Recovered  0x003a   100   100   000    Old_age   Always       -       0
196 Reallocated_Event_Count 0x0032   252   252   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   252   252   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   252   252   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0036   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x002a   001   001   000    Old_age   Always       -       67918
223 Load_Retry_Count        0x0032   252   252   000    Old_age   Always       -       0
225 Load_Cycle_Count        0x0032   097   097   000    Old_age   Always       -       36892

ada2 [disk2]

code:

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   100   100   051    Pre-fail  Always       -       128
  2 Throughput_Performance  0x0026   055   055   000    Old_age   Always       -       17850
  3 Spin_Up_Time            0x0023   065   065   025    Pre-fail  Always       -       10681
  4 Start_Stop_Count        0x0032   084   084   000    Old_age   Always       -       16857
  5 Reallocated_Sector_Ct   0x0033   252   252   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   252   252   051    Old_age   Always       -       0
  8 Seek_Time_Performance   0x0024   252   252   015    Old_age   Offline      -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       9565
 10 Spin_Retry_Count        0x0032   252   252   051    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   252   252   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       180
181 Program_Fail_Cnt_Total  0x0022   097   097   000    Old_age   Always       -       68190313
191 G-Sense_Error_Rate      0x0022   100   100   000    Old_age   Always       -       5610
192 Power-Off_Retract_Count 0x0022   252   252   000    Old_age   Always       -       0
194 Temperature_Celsius     0x0002   064   044   000    Old_age   Always       -       27 (Min/Max 12/62)
195 Hardware_ECC_Recovered  0x003a   100   100   000    Old_age   Always       -       0
196 Reallocated_Event_Count 0x0032   252   252   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   252   252   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   252   252   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0036   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x002a   100   100   000    Old_age   Always       -       10475
223 Load_Retry_Count        0x0032   252   252   000    Old_age   Always       -       0
225 Load_Cycle_Count        0x0032   097   097   000    Old_age   Always       -       36833

zpool status

code:

  pool: data
 state: DEGRADED
status: One or more devices has been removed by the administrator.
        Sufficient replicas exist for the pool to continue functioning in a
        degraded state.
action: Online the device using 'zpool online' or replace the device with
        'zpool replace'.
 scan: resilvered 117M in 0h6m with 0 errors on Tue Jul  3 10:29:40 2012
config:

        NAME                     STATE     READ WRITE CKSUM
        data                     DEGRADED     0     0     0
          raidz1-0               DEGRADED     0     0     0
            label/disk1          ONLINE       0     0     0
            6268080395729203317  REMOVED      0     0     0  was /dev/label/disk2
            label/disk3          ONLINE       0     0     0

errors: No known data errors

Na het weer online gooien van disk2 (wat ik gisteren ook al gedaan had)

code:

  pool: data
 state: ONLINE
 scan: resilvered 912K in 0h0m with 0 errors on Wed Jul  4 19:16:52 2012
config:

        NAME             STATE     READ WRITE CKSUM
        data             ONLINE       0     0     0
          raidz1-0       ONLINE       0     0     0
            label/disk1  ONLINE       0     0     0
            label/disk2  ONLINE       0     0     0
            label/disk3  ONLINE       0     0     0

errors: No known data errors

Nu na 10 min:

code:

  pool: data
 state: UNAVAIL
status: One or more devices are faulted in response to IO failures.
action: Make sure the affected devices are connected, then run 'zpool clear'.
   see: http://www.sun.com/msg/ZFS-8000-HC
 scan: resilvered 912K in 0h0m with 0 errors on Wed Jul  4 19:16:52 2012
config:

        NAME                     STATE     READ WRITE CKSUM
        data                     UNAVAIL      0     0     0
          raidz1-0               UNAVAIL      0     0     0
            label/disk1          ONLINE       0     0     0
            6268080395729203317  REMOVED      0     0     0  was /dev/label/disk2
            5308349332940257925  REMOVED      0     0     0  was /dev/label/disk3

errors: 1 data errors, use '-v' for a list

[ Voor 4% gewijzigd door CurlyMo op 04-07-2012 19:26 ]

[Verwijderd]

Wat zie je in de logs, zoals '/var/log/messages' of 'dmesg'? Alleen relevante delen posten svp.

[CurlyMo]

Ik heb de server weer uit staan, maar nu alle schijven aan mijn desktop hangen met de livecd. Gaat tot nu toe goed. Is er iets specifieks waar je naar op zoek bent?

[ Voor 4% gewijzigd door CurlyMo op 04-07-2012 21:36 ]

[Verwijderd]

Juist de log wanneer een schijf wegvalt; dat moet je kunnen zien namelijk. Maar niet nu je in de livecd bent geboot, daarvoor moet je terug booten naar je originele OS waar je logs worden opgeslagen.

[CurlyMo]

Toch handig zo'n usb mirror als root

Mijn log is tmpfs dus daarin is niks meer te zien van de vorige sessies. Wel heb ik een log in mijn mail staan van de melding die wordt gegeven:

code:

+(ada1:ahcich3:0:0:0): lost device
+(ada1:ahcich3:0:0:0): removing device entry
+ada1 at ahcich3 bus 0 scbus3 target 0 lun 0
+ada1: <SAMSUNG HD204UI 1AQ10001> ATA-8 SATA 2.x device
+ada1: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
+ada1: Command Queueing enabled
+ada1: 1907729MB (3907029168 512 byte sectors: 16H 63S/T 16383C)

Zo zag trouwens de output eruit met de read en write errors:

code:

pool: data
 state: ONLINE
status: One or more devices are faulted in response to IO failures.
action: Make sure the affected devices are connected, then run 'zpool clear'.
   see: http://www.sun.com/msg/ZFS-8000-HC
 scan: resilvered 117M in 0h6m with 0 errors on Tue Jul  3 10:29:40 2012
config:

    NAME             STATE     READ WRITE CKSUM
    data             ONLINE       0    12     0
      raidz1-0       ONLINE       0    14     0
        label/disk1  ONLINE       0     0     0
        label/disk2  ONLINE       0    24     0
        label/disk3  ONLINE       0    26     0

errors: 1 data errors, use '-v' for a list

[ Voor 39% gewijzigd door CurlyMo op 04-07-2012 22:07 ]

[Verwijderd]

Kan het zijn dat je stroomsplitters gebruikt met Molex-stekker, die af en toe niet of slecht contact maakt, en zo hardeschijven een harde hickup geven, ofzoiets? Best vreemd als je een device detach krijgt maar niets in de logs kan vinden over de oorzaak.

Heb je hetzelfde probleem ook met een schone installatie of met de LiveCD? Wat je verder kunt doen is zoveel mogelijk logs ergens op pastebin zetten. Je kunt bijvoorbeeld na inloggen van ssh een commando uitvoeren als:

tail -f /var/log/messages

Dan krijg je live nieuwe log messages te zien, omdat de -f parameter blijft wachten op nieuwe toevoegingen in die file. Control-C om te onderbreken.

[CurlyMo]

De belangrijkste vraag is natuurlijk of de huidige schijven aan het falen zijn. Ik heb nu serieus het idee dat het aan het moederbord ligt. Aangezien het geheel nu al een uur gewoon werkt in een ander systeem. Eerder heb ik geprobeerd om een notebook schijf toe te voegen maar dit leverde ook alleen maar problemen op, terwijl dit in de laptops en een ander systeem niet zo was. Als ook de schijven zelf aan vervanging toe zijn dan accepteer ik de nieuwe schijven die morgen worden bezorgd, anders stuur ik ze retour afzender en krijg ik gewoon mijn geld terug. De winkel is overigens bereid me het aankoop bedrag van de huidige samsungs terug te geven dus geld ga ik er niet echt op verliezen. Dan bouw ik het geheel om naar een RAIDZ2 met 4 nieuwe of 2 nieuwe en 2 oude schijven.

[CurlyMo]

Verwijderd schreef op woensdag 04 juli 2012 @ 22:41:
Kan het zijn dat je stroomsplitters gebruikt met Molex-stekker, die af en toe niet of slecht contact maakt, en zo hardeschijven een harde hickup geven, ofzoiets? Best vreemd als je een device detach krijgt maar niets in de logs kan vinden over de oorzaak.

Ik gebruik een picopsu met inderdaad 1x molex --> 2x molex en 1x molex --> 2x sata. Het zou natuurlijk kunnen, dus ik beschouw dit als een van de hypothesen.

Heb je hetzelfde probleem ook met een schone installatie of met de LiveCD? Wat je verder kunt doen is zoveel mogelijk logs ergens op pastebin zetten. Je kunt bijvoorbeeld na inloggen van ssh een commando uitvoeren als:

tail -f /var/log/messages

Dan krijg je live nieuwe log messages te zien, omdat de -f parameter blijft wachten op nieuwe toevoegingen in die file. Control-C om te onderbreken.

Zoals aangegeven draait het in een ander systeem tot nu toe prima. Eventueel een scrub draaien?

[ImmortalSoul]

Verwijderd schreef op woensdag 04 juli 2012 @ 19:05:
@ImmortalSoul: de OS disk heeft niets aan extra performance. De OS disk bepaalt hooguit boot performance. USB sticks met te hoge write latencies kunnen nog wel problemen geven, maar eigenlijk maakt het dus niets uit.

Je kunt dus wel je SSD voor OS gebruiken, maar dat is extreem zonde tenzij je je SSD primair voor L2ARC/SLOG wilt gebruiken. Dat je dan ook een paar GB voor je OS reserveert is vrij logisch. Maar denk dus niet dat het zaakje sneller gaat draaien door OS op SSD te plaatsen.

Oke, goed om te weten. Ik zie voor mij ook geen voordeel om een SSD als cache of log device te laten lopen. Dus in mijn situatie kan ik het beste (FreeNAS/FreeBSD of ZFSguru) op een USB stick installeren dus?

Het wordt waarschijnlijk deze: pricewatch: Adata Superior S102 Pro 16GB Grijs

[ Voor 9% gewijzigd door ImmortalSoul op 04-07-2012 23:22 ]

[Verwijderd]

Ja doe maar wat I/O.

En ik weet niet precies wat voor en hoeveel schijven je hebt, maar stel je hebt nu een RAID-Z van 3 disks en je koopt 3 disks bij, kun je migreren naar 6-disk RAID-Z2 zonder dataverlies:
1. Je steelt een disk van de huidige RAID-Z array (hiervoor moeten je huidige problemen met wegvallende disks wel opgelost zijn!)
2. je hebt nu 4 beschikbare disks. Daarmee kun je een degraded RAID-Z2 maken die uit 6 schijven bestaat: de 4 echte schijven en 2 memory disks. Na het rebooten zijn die memory disks weg en heb je dus twee pools die beide degraded zijn.
3. Nu kun je data overpompen naar je oude 3-disk pool met nu nog maar 2 schijven aanwezig, naar je nieuwe pool die normaal uit 6 schijven bestaat maar nu maar 4.
4. Als alle data op je nieuwe pool staat, kun je de oude 3-disk pool opheffen en de twee schijven die hierdoor vrijkomen gebruiken voor je nieuwe pool, die dan weer compleet is.

Let wel op, tussen stap 1 en 4 is je data kwetsbaar. Bitfouten en bad sectors kan ZFS niet meer corrigeren, tenzij deze in metadata plaatsvindt omdat die nog extra bescherming heeft (ditto copies).

[CurlyMo]

Mijn idee was als volgt, aangezien ik de data niet kwetsbaar wil hebben

1. 2 nieuwe disks als RAIDZ2 met 2 memory disks
2. Data overkopiëren van RAIDZ naar RAIDZ2
3. Eén schijf van RAIDZ naar RAIDZ2 zodat er veiligheid in de RAIDZ2 zit
4. Tweede schijf van RAIDZ naar RAIDZ2
5. Schijf die over is als extra backup gebruiken

De enige echte kwetsbaarheid zit dan alleen nog in stap 3.
Dit is een betere optie aangezien ik een picopsu van 90w heb, denk niet dat die 6 schijven leuk zal vinden.

Ik blijf nog steeds het antwoord op mijn vraag missen of de schijf (aan de hand van de SMART waarde) nog betrouwbaar zijn of niet?

Ik heb nu trouwens de schijven weer terug in mijn NAS gedaan met nog maar één verloop stukje molex naar 2x sata. Even kijken of het daar aan lag.

[ Voor 19% gewijzigd door CurlyMo op 04-07-2012 23:42 ]

[Verwijderd]

ImmortalSoul schreef op woensdag 04 juli 2012 @ 23:20:
Oke, goed om te weten. Ik zie voor mij ook geen voordeel om een SSD als cache of log device te laten lopen. Dus in mijn situatie kan ik het beste (FreeNAS/FreeBSD of ZFSguru) op een USB stick installeren dus?

Je kunt FreeBSD/ZFSguru direct op de pool installeren, dan heeft je OS ook bescherming en dat is gewoon het makkelijkst. Maar nadeel is dat je pool dan uit maximaal één vdev mag bestaan. Dus één RAID-Z1/2/3, mirror of single disk, geen meerdere arrays in één pool. Doe je dat wel, dan is je pool niet meer bootable.

Het wordt waarschijnlijk deze: pricewatch: Adata Superior S102 Pro 16GB Grijs

Die stick is ongeschikt voor 4K random writes. Wil je ZFSguru op USB stick installeren dan raad ik één van deze sticks aan:
pricewatch: Adata Nobility N005 32GB Grijs - normale versie dus NIET DE PRO versie!
pricewatch: Kingston DataTraveler Ultimate 3.0 G2 (DTU30G2/16GB) 16GB Wit
pricewatch: Kingston DataTraveler Ultimate 3.0 G2 (DTU30G2/32GB) 32GB Wit

Maar weinig sticks hebben redelijke 4K random write performance; dat is nodig om een USB stick als normale 'OS systeemdisk' te gebruiken, waar vooral kleine writes plaatsvinden. Normale USB sticks en simpel flash is daar enorm traag mee, trager dan 0,001MB/s (full LBA range). De betere sticks komen in de buurt van HDD random write performance wat ongeveer 0,5 - 1MB/s is of 2MB/s (8GB LBA). Betere random write performance betekent ook minder write amplification. Dus de stick gaat een factor 50 langer mee met voornamelijk random writes, ook een reden om een iets betere stick te kopen.

Voor FreeNAS en andere embedded installaties die één groot bestand lezen en geen random writes doen, is elk flash geschikt. Writesnelheden en write endurance zijn daar geen issue. Hooguit sequential read performance kan hierbij leuk zijn voor snellere boots.

[CurlyMo]

Het lijkt inderdaad aan los contact van de connectoren te hebben gelegen. Scrub wordt normaal afgerond en er zijn ook geen problemen meer geweest sinds ik ik alles met zo min mogelijk kabels heb aangesloten. Bij een uitbreiding dan maar even wat draden en elkaar solderen zodat het zeker weten vast zit. Aangezien schijven wel 3 jaar mee zouden moeten gaan, wacht ik nog maar even op de prijsverlagingen voordat ik nieuwe schijven ga kopen. Degene die ik besteld heb gaan dan gewoon retour afzender.

[Verwijderd]

Wil je dit in de toekomst voorkomen, dan raad ik alleen om alleen SATA power stekkers te gebruiken, en Molex zo min mogelijk en liefst helemaal niet meer gebruiken. Molex zijn gewoon slechte stekkers en ik heb er ook veel gezeik mee gehad. Vervelende in RAID is dat zo meerdere devices tegelijk kunnen wegvallen, vaak maar eventjes. Maar je schijven vinden het ook echt niet leuk om 'eventjes' de stroom te verliezen!

Dus bij voorkeur maak je gebruik van SATA power splitters, die een SATA power connector als input hebben en er 2 tot 4 nieuwe teruggeeft. De SATA power connector is vele malen beter/steviger dan Molex.

[CurlyMo]

Goede tip, had niet verwacht molex zo onbetrouwbaar was. Ik denk trouwens dat mijn schijven het wel overleeft hebben en aan de hand van de SMART waarden moeten ze nog wel een een paar jaartjes mee kunnen gaan. In ieder geval goed om te weten wat de oplossing was.

[Hakker]

vraagje waar kan ik het laden van mijn firewire port disablen? Hij probeert namelijk elke keer ook via mijn firewire port DHCP settings binnen te halen en dat duur best wel lang voor de timeouts.

[Wouter.S]

CiPHER, het is misschien geen slecht idee even iets te laten horen op het ZFSGuru forum. Aangezien jij de mogelijkheid hebt om ISO's te maken en er daar misschien wel enkele personen te vinden zijn die eventueel ook verder willen bijdragen aan het project.

Op die manier kan het project misschien echt 'open source' worden met een stabiele toekomst. Niet dat jouw werk niet goed is natuurlijk, maar volgens mij is stabiliteit zeker naar de toekomst toe beter te garanderen als meer mensen actief bijdragen aan het project en er dus een bredere basis ontstaat. Nu is er het geluk dat Jason jouw als 2de dev heeft aangesteld, was dit niet zo geweest was het project ondertussen effectief dood.

[FireDrunk]

Hakker schreef op zaterdag 07 juli 2012 @ 22:20:
vraagje waar kan ik het laden van mijn firewire port disablen? Hij probeert namelijk elke keer ook via mijn firewire port DHCP settings binnen te halen en dat duur best wel lang voor de timeouts.

BIOS -> Advanced Settings -> Disable FireWire?

(even zoeken...)

[Hakker]

FireDrunk schreef op zondag 08 juli 2012 @ 01:36:
[...]


BIOS -> Advanced Settings -> Disable FireWire?

(even zoeken...)

Ugh was al te lang op om daaraan te denken

[HyperBart]

Ter discussie:

RAID-Z of mirrors?
http://constantin.glez.de...-why-mirroring-still-best

[FireDrunk]

Dat wist ik al, enige reden om het niet te doen, zijn de kosten:)

[Verwijderd]

Wouter.S schreef op zondag 08 juli 2012 @ 00:01:
CiPHER, het is misschien geen slecht idee even iets te laten horen op het ZFSGuru forum.

Ga ik doen! Sinds terugkomst van mijn vakantie alleen maar extreem druk.

Moet ook nog een boel DMetjes beantwoorden. Deze week gelukkig wat meer tijd voor digitale zaken.

HyperBart schreef op maandag 09 juli 2012 @ 15:34:
Ter discussie: RAID-Z of mirrors?
http://constantin.glez.de...-why-mirroring-still-best

Wel geinig document. Alleen invalideert de auteur zichzelf door het in dit toch niet beknopte artikel totaal niet over L2ARC caching te hebben. Want dat heft het belangrijkste nadeel van RAID-Z op: de trage random reads. Dus leuk dat je met mirroring net 2x of 3x of 4x de random read performance kunt hebben, mooi man! Met L2ARC kom je daar ver boven.

Dus daarmee is het grootste nadeel van RAID-Z gelijk gekilled, dat is wel iets wat bij dat artikel mag worden bijgevoegd. Daarnaast bieden mirrors maar beperkte veiligheid; je hebt of bitfout correctie of bescherming tegen een uitvallende schijf, maar niet allebei. RAID-Z2 is dan ook superieur in zijn bescherming, omdat het altijd 2 falende sources kan garanderen.

[Verwijderd]

Je doet de aanname dat alles te cachen is. Als je data niet te cachen is krijg veel cache misses en zal je data evicten en steeds terug moet grijpen naar je disken, waarbij mirrors een veel snelere response tijd hebben dan raidZ vdevs.

Waar veel random IO gebeurt zijn mirrors *altijd* sneller in termen van response tijd.

[Verwijderd]

Alles ís ook te cachen, als je RAM en/of L2ARC maar groot genoeg is. Dat is ook voor veel serverapplicaties de daadwerkelijke situatie. Een databaseserver heeft een gedeelte van de database die zeer actief wordt opgevraagd, zeg 30%. Die 30% moet dan in RAM kunnen komen te staan, of de performance wordt erg laag omdat je naar disk I/O moet teruggrijpen. Een goed geconfigureerde typische database zal alle data in RAM kunnen houden en gebruikt te disks alleen om wijzigingen/mutaties weg te schrijven, niet of amper voor read requests.

Dan denk ik dat desktopgebruikers nog veel meer onberekenbare patronen hebben dan enterprisegebruikers. Bijvoorbeeld spellen die ze een maand niet spelen, en dan weer opeens intensief een week lang, zoiets. Dat is wel iets waar ook ZFS bij kan helpen: omdat ZFS niet een 'domme cache' heeft die alleen maar de laatst opgevraagde data onthoudt, zoals vrijwel alle VM subsystems. Maar maakt een scheiding aan tussen meest opgevraagd en recent opgevraagd. Die eerste is het meest interessant voor desktopgebruikers.

Kortom, leuk dat je met mirros 2x of 4x de IOps score hebt. SSDs kunnen dat met veelvouden verbeteren dus als je random IOps performance nodig hebt, kijk je bij voorkeur eerst naar caching en dedicated ZIL in plaats van te ruwe IOps van je storage device te verhogen. In veel gevallen is dat kansloos omdat 4x snellere random read helemaal niet zoveel betekent. 100x sneller of 1000x sneller? Ja dat is wel significant.

De enige échte reden om voor mirrors te gaan is het feit dat je gemakkelijk kunt uitbreiden met 2 disks per keer en dat je gemakkelijk een diskje kunt stelen en weer toevoegen. Maar qua bescherming doet een 2-way mirror tekort; dan liever RAID-Z2. Random write performance is gelijk aan een mirror; random read los je op met L2ARC. Klaar.

[Verwijderd]

Een dataset van 20TB ... alles is te cachen... was het maar zo

Daarnaast zijn je L2ARC entries gekoppeld aan je arc_meta_max die default een kwart van je RAM-1 is. Om te weten dat het op de L2ARC (cache) device staat moet je er een reference naar hebben.

Wat je wel kan doen is afhankelijk van je workload je MFU en MRU tweaken, maar back to the subject - mirrors zijn sneller.

[Verwijderd]

Verwijderd schreef op dinsdag 10 juli 2012 @ 13:52:
Een dataset van 20TB ... alles is te cachen... was het maar zo

Een internet databaseserver die 20TB opslaat valt duidelijk buiten de norm van een typische drukke databaseserver. Maar als dit echt zo zal zijn, zal 1TB RAM en de rest aan SSDs vast wel binnen het budget passen. Dit valt buiten de scope dit ik behandel in dit topic. Het gaat niet om de 1% corner cases maar om de mainstream.

Misschien dat Tweakers.net wat stats heeft van hun database server, en hoeveel van de actieve dataset in de RAM past. Want er is altijd een gedeelte wat actief opgevraagd wordt, en een gedeelte wat passief/dood lijkt. Een percentage van 30/70 respectievelijk lijkt mij een aardig gemiddelde. In geval van Tweakers.net zouden de databaseservers dus vrijwel alle reads uit RAM kunnen halen. Zou dat niet het geval zijn en ze moeten het doen met 60-150 IOps storage devices, dan denk ik niet dat Tweakers.net hetzelfde aantal bezoekers met de huidige hardware zou kunnen afhandelen.

Daarnaast zijn je L2ARC entries gekoppeld aan je arc_meta_max die default een kwart van je RAM-1 is. Om te weten dat het op de L2ARC (cache) device staat moet je er een reference naar hebben.

Leuk dit soort weetjes, maar zoals ik al vaker heb gezegd: het is Solaris specifiek. Heel veel zaken die over ZFS verteld worden, worden verteld alsof dit universele waarheid is voor ZFS. Terwijl het gewoon een specifiek iets is voor de implementatie van ZFS in het Solaris besturingssysteem. FreeBSD werkt weer anders waar metadata door sysctl wordt gestuurd:
vfs.zfs.arc_meta_limit: ARC metadata limit
vfs.zfs.arc_meta_used: ARC metadata used

Het geheugenmanagement voor ZFS verschilt enorm tussen Solaris en FreeBSD. Bij Solaris is dit gekoppeld aan de normale virtual memory subsystem zoals dat bij FreeBSD met UFS het geval is. Maar FreeBSD met ZFS werkt met kernel geheugen en dat werkt heel anders. Ik raad dus aan om voorzichtig te zijn met aannames op gebied van FreeBSD en Solaris als het over ZFS geheugenmanagement gaat.

Voor mensen die performance nodig hebben is de vraag of je mirrors of RAID-Z gaat gebruiken duidelijk van secundair belang. Belangrijkste is de hoeveelheid RAM, of er L2ARC en of dedicated ZIL aanwezig is, en pas dan de IOps performance van de storage. Die iets hogere random read van mirrors is het in vrijwel alle home-NAS gevallen niet waard versus de nadelen van mirrors.

[Verwijderd]

Denk juist dat het anders om is en jij de corner cases benoemt. 99% van de omgevingen die ik tegenkom zijn allemaal 50TB+ en ook nog eens HA clusters maar daar gaat het niet zo zeer om. Waar het wel omgaat is dat je cleam van "l2arc lost alles op" gewoon niet waar is.

Het verschil tussen illumos ZFS en BSD zfs is niet zo heel erg groot hoor, sterker nog alle benodige onderdelen zijn geport naar BSD zoals nvlist en onlangs nvpiar. geloof zelfs dat de nieuwe SPA versioning al in BSD zit zit tenminste in de head.

Dat arc tunable in BSD anders zet worden is niet relevant (sysctl vs mdb) maakt niet veel uit.

[Wouter.S]

*Neemt er een emmer popcorn bij

Er is blijkbaar een probleem met de ZFSGuru site, misschien heeft Jason de stekker eruit getrokken ofzo?
Je krijgt dit ...Our database is currently offline due to maintenance....

[victorb]

Ja gisteren ook al. Dacht net laat ik het eens downloaden en gaan proberen.

[FireDrunk]

Verwijderd schreef op dinsdag 10 juli 2012 @ 14:02:
Misschien dat Tweakers.net wat stats heeft van hun database server, en hoeveel van de actieve dataset in de RAM past.

http://tweakers.net/stats...=PerServer&Server=Artemis

Niet al die stats zijn makkelijk uit een Database Management System te halen, dat kost soms wat meer moeite. Misschien kan je een admin erop aanspreken, misschien is het wel leuk om zo'n scenario uit te werken.

Wat zou Tweakers.net voor ZFS nodig hebben om goed te performen

Even voor de duidelijkheid:
http://tweakers.net/stats...4&y=10&colServers=TotalIO

Het *hele* tweakers.net serverpark, doet dus een all-time gemiddelde van 450 iops, met pieken van 1800 iops.
Dat is niet veel...

[ Voor 22% gewijzigd door FireDrunk op 10-07-2012 16:23 ]

[victorb]

heeft iemand al eens EON ZFS STORAGE gedraait?
https://sites.google.com/site/eonstorage/

Hoe zijn de ervaringen hiermee?

[Verwijderd]

Verwijderd schreef op dinsdag 10 juli 2012 @ 15:22:
99% van de omgevingen die ik tegenkom zijn allemaal 50TB+ en ook nog eens HA clusters

Dat geloof ik best. Maar dat wil niet zeggen dat jouw gemiddelde het algemeen gemiddelde is. Ik wil er ook op wijzen dat in dit topic vooral thuis NAS besproken wordt.

Waar het wel omgaat is dat je cleam van "l2arc lost alles op" gewoon niet waar is.

Als dat jouw conclusie is van mijn verhaal, ben ik het helemaal met je eens. Dat is natuurlijk niet zo. L2ARC is een geweldige feature, maar er zijn genoeg setups waarbij je toch een naar hogere disk I/O moet kijken. Echter, wil ik daarbij wel aandragen dat het gebruik van SSDs in dat geval vooral de doorslag zal geven. SSDs schalen ook heerlijk en doen het beter in RAID5 en RAID-Z dan hardeschijven door hun lage random write latency al is RAID-Z gevoeliger voor latency fluctuaties bij SSDs.

Wat vooral mijn punt was, is dat het overgrote deel van de ZFS thuisgebruikers - inclusief kleinzakelijk - dat het gebruiken van mirrors alleen vanwege een beetje meer IOps eigenlijk gewoon onzin is. Dat zou niet de reden mogen zijn om voor mirrors te kiezen; wellicht de gemakkelijke uitbreiding ervan wél. Deze gebruikers zijn vaak al meer dan genoeg voorzien in random read behoeften (waar het vooral om draait) met een klein beetje L2ARC, zodat de metadata gewoon van de SSDs gelezen kan worden en ZFS zich min of meer automatisch aan het gebruikspatroon van de gebruiker aanpast. Geweldig toch?

Ben je nou een zware databasegebruiker die ook mét caching gewoon veel disk I/O doet, dan heb je niets aan RAID-Z; dat is alleen echt goed voor sequential I/O met name sequential write. SSDs zijn mogelijk een uitzondering; die zijn transfercapped dus RAID-Z kan het in random read en write nog best aardig doen, mits de request size voldoende hoog is ('random reads' van 128K blokken bijvoorbeeld).

Het verschil tussen illumos ZFS en BSD zfs is niet zo heel erg groot hoor

Ik heb niet de technische know-how om dat goed te beoordelen. Maar mijn ervaring is anders. Ik gebruik ZFS op BSD vanaf het moment dat het nog regelmatig crashde en corruptie opleverde, ver voordat het geïmporteerd werd in HEAD. Vanaf begin is altijd een zwak punt geweest dat ZFS kernel geheugen gebruikt, en dus handmatig zelf geheugen moet alloceren. Het kan niet zomaar alle ongebruikte geheugen opslurpen. Op i386 platforms was kernel geheugen zelfs tot 512MiB gelimiteerd. Dat is niet exclusief voor ZFS maar ook voor andere kernel memory allocatie. Hierdoor kun je gemakkelijk een crash krijgen met 'kmem_map too small'.

Tegenwoordig werkt het veel beter, vooral in 9.x waarbij auto-tuning zou zijn toegepast. Hoe dat precies zit weet ik niet, maar kernel memory map zouden automatisch groeien en ZFS zou geheugen opvragen zolang er voldoende kernel memory beschikbaar is. Dat lijkt goed te werken in mijn geval, waar Wired enorm groot kan worden zonder specifieke tuning.

Dat arc tunable in BSD anders zet worden is niet relevant (sysctl vs mdb) maakt niet veel uit.

Dat was een reactie op jouw stelling RAM minus 1GB. Dat is echt Solaris specifiek voor zover ik weet. Voor FreeBSD was de metadata eerst beperkt tot 128MiB, tenzij je die zelf tunede natuurlijk. Nu is dat afhankelijk gemaakt van de grootte van je RAM als ik me goed herinner. Tijd om te zoeken heb ik nu niet echt.

Tot slot: je hebt enorm veel kennis Gila, veel meer dan mij op een groot aantal gebieden. Zou je het interessant vinden om een bijdrage te doen aan een komend 'deel II' van dit topic? Bijvoorbeeld een stuk over Solaris of Enterprise ZFS setups en oplossingen; wat je wilt! Denk er maar overna.

Wouter.S schreef op dinsdag 10 juli 2012 @ 16:12:
*Neemt er een emmer popcorn bij

Helaas, geen bloedspatters dit keer.
En ik vind het helemaal niet erg dat ik wat tegenwind krijg. Dit topic zou ook voldoende ruimte moeten bieden aan Solaris en Linux ZFS gebruikers. Daarom zou het leuk zijn als Gila misschien een mooi stukje kan schrijven om dit misschien meer onder de aandacht te brengen.

Er is blijkbaar een probleem met de ZFSGuru site, misschien heeft Jason de stekker eruit getrokken ofzo?
Je krijgt dit ...Our database is currently offline due to maintenance....

Volgens mij is Jason er weer want ik zag net andere errors voorbij komen en even een timeout. Ben benieuwd.

[FireDrunk]

Verwijderd schreef op dinsdag 10 juli 2012 @ 15:22:
Denk juist dat het anders om is en jij de corner cases benoemt. 99% van de omgevingen die ik tegenkom zijn allemaal 50TB+ en ook nog eens HA clusters maar daar gaat het niet zo zeer om. Waar het wel omgaat is dat je cleam van "l2arc lost alles op" gewoon niet waar is.

Ik wil niet heel vervelend doen hoor, maar ook in de grote omgevingen word NAND of NVRAM toegevoegd om de random writes en random reads omhoog te krijgen. Bij NetApp heet het PAM als het gaat om speciaal RAM, en FlashCache als het gaat om near-line flash kaarten.

Hoe het bij EMC / HP / 3PAR heet, geen idee...

Wat ik denk dat de gulden middenweg in dit verhaal zit is:
Je moet L2ARC niet gebruiken om precies te kunnen halen wat je nodig hebt, ik denk dat je het moet zien als een middel om te groeien in performance. Als je door middel van L2ARC aan je top zit, kan je daarna niets meer doen om nog sneller te worden, het is een beetje een laatste redmiddel.

Maar wat CiPHER ook duidelijk aanhaalt, *eerst* RAM, dan misschien L2ARC, en dan misschien Disks toevoegen. Met de energieprijzen van tegenwoordig is het zelfs van voor naar achter ook gelijk hetgeen dat het meeste energie verbruikt.

[ Voor 29% gewijzigd door FireDrunk op 10-07-2012 19:27 ]

[Kriss1981]

Verwijderd schreef op dinsdag 10 juli 2012 @ 17:44:
[...]

Volgens mij is Jason er weer want ik zag net andere errors voorbij komen en even een timeout. Ben benieuwd.

De ZFSguru website ligt er nu helemaal uit. Hoop niet dat dit het einde is

[Verwijderd]

Dat was dus een paar uur geleden ook al. Vandaar dat ik vermoed dat hij er misschien weer is? Ik stuur nog even een mail.

edit: nu de compileserver offline, wordt nu wel spannend..

[ Voor 21% gewijzigd door Verwijderd op 10-07-2012 21:32 ]

[webbier]

Fingers crossed!

[Wouter.S]

Ik ken natuurlijk de exacte omstandigheden niet die Jason's maandenlange verdwijning kunnen verklaren (en dat zijn ook mijn zaken niet) maar als je bezig bent met een dergelijk project zo je toch wel enige tact kunnen verwachten. Tenzij hij echt een goede reden (ziekte, ongeval, overlijden al dan niet van hemzelf) had om niets te laten weten, vind ik het toch maar van weinig respect getuigen. Elke vorm van communicatie was beter geweest dan niets...met eerst nog loze beloftes erbij.

We wachten af...

[matty___]

Misschien weet iemand een oplossing voor dit issue:

config is 4x1tb samsung 7.2k disk in raid10, quadcore 2.5ghz en 8gb ram op freebsd 9 stable.

alles wat dit nasje doet is downloaden van een newsserver en als algehele backup dienen.

Wat me nu altijd al op viel is dat als ik met

code:

 netstat -I em0 -h -w1

kijk wat er aan data binnen komt en ik bv aan het downloaden ben (dus een gelijkmatige stream binnen komt), is dat de snelheid afneemt op het moment dat zfs een tx groep naar disk aan het schrijven is.

En dat vind ik raar want ik ga er vanaf uit dat als de groep vol is hij een nieuwe opent en daarin verder data wordt opgeslagen (in ram noatebene) en niet dat op het moment dat er een schrijfactie wordt gedaan de netwerkstream even wordt onderbroken.

Ik kan dit heel goed zien als ik 2 terms naast elkaar hou en op de ene met netstat de netwerk stream in de gaten hou en via zpool iostat de disks.

[nineball]

Ik ben van plan om Windows Server 2008 van m'n HP Microserver af te gooien en te vervangen door FreeBSD en de 4 schijven van 2TB in een ZFS raidz pool te stoppen. Heeft iemand er ervaring mee of de schijven dan nog downspinnen na een bepaalde tijd als er geen schijf io is?

[Verwijderd]

Samsung F4EG kun je overwegen. Maar dan zou ik er wel 5 nemen (RAID-Z) of 6 (RAID-Z2) mits die microserver dat kan. Wil je echt 4, gebruik dan de ashift-truc om je ZFS pool aan te maken.

Downspinnen kan via de host, of via de schijf (autonoom). In dat laatste geval moet de schijf APM ondersteunen.

[HyperBart]

Wat ik me afvroeg: kan je file versionering doen via ZFS ipv met snapshots te werken?

Dus eigenlijk dat bij iedere wijziging ZFS zelf de versies gaat bijhouden van de file, eventueel ge-enabled per share/folder...

[CurlyMo]

HyperBart schreef op woensdag 11 juli 2012 @ 20:44:
Wat ik me afvroeg: kan je file versionering doen via ZFS ipv met snapshots te werken?

Dus eigenlijk dat bij iedere wijziging ZFS zelf de versies gaat bijhouden van de file, eventueel ge-enabled per share/folder...

Wat mis je op dit moment in de zfs snapshots? Bedoel je bijv. dat bij elke keer dat je een bestand opslaat er een nieuwe versie wordt opgeslagen? Zo ja, waar zou dat dan moeten gebeuren?

[victorb]

Helaas gaat mijn ZFS server build niet door op het moment. De asus E35M1-I is waarschijnlijk EOL

[DutchNutcase]

Ik heb inderdaad ook gelezen dat de E350 CPU EOL is, maar je zou natuurlijk kunnen overwegen om een E450 te nemen of je zou aan een 35W 32nm Llano te nemen, maar dat is toch een TDP die bijna 2x zo hoog ligt als van het Zacate platform.

[HyperBart]

CurlyMo schreef op donderdag 12 juli 2012 @ 00:06:
[...]

Wat mis je op dit moment in de zfs snapshots? Bedoel je bijv. dat bij elke keer dat je een bestand opslaat er een nieuwe versie wordt opgeslagen? Zo ja, waar zou dat dan moeten gebeuren?

Dat bedoel ik idd . Ik weet het niet? Op dezelfde manier als snapshots worden bijgehouden ofzo?

Probleem is dat snapshots van ZFS time-triggered zijn... Ik had graag dat bij iedere save die iemand deed de wijzigingen bijgehouden werden samen met de vorige versie...

[ Voor 17% gewijzigd door HyperBart op 12-07-2012 11:42 ]

[FireDrunk]

Kan je dat niet realiseren via Windows met Previous Versions over een Samba share?

[Verwijderd]

File versies moet ondersteunt worden van uit de applicatie zoals word of excel etc. De samba aanpak maakt gebruik van snapshots maar is niet per file.

btw. als je wilt zien welke files tussen s1 en s2 zijn gewijzigd is zfs(1M) diff erg handig

[CurlyMo]

HyperBart schreef op donderdag 12 juli 2012 @ 11:38:
[...]


Dat bedoel ik idd . Ik weet het niet? Op dezelfde manier als snapshots worden bijgehouden ofzo?

Probleem is dat snapshots van ZFS time-triggered zijn... Ik had graag dat bij iedere save die iemand deed de wijzigingen bijgehouden werden samen met de vorige versie...

Je kunt natuurlijk zelf bepalen hoe vaak een snapshot gemaakt wordt. Als ik een snapshot zou hebben van om de 10 minuten, dan weet ik meestal wel te onthouden wat ik gedaan heb. Daarnaast is het ook mogelijk om mappen/bestanden uit je snapshot directory te symlinken. Via een cronjob maak ik elke dag verschillende snapshots en symlink ik die snapshots naar één map waarin ik het geheel wat overzichtelijker heb geordend.

FireDrunk schreef op donderdag 12 juli 2012 @ 11:46:
Kan je dat niet realiseren via Windows met Previous Versions over een Samba share?

Previous versions via samba werkt het beste via snapshots. Waarbij je snapshots wel aan een specifieke eis qua benaming moet voldoen.

Verwijderd schreef op donderdag 12 juli 2012 @ 11:49:
File versies moet ondersteunt worden van uit de applicatie zoals word of excel etc. De samba aanpak maakt gebruik van snapshots maar is niet per file.

Volgens mij zit je niet perse vast aan snapshots i.c.m. samba maar vooral aan een specifieke directory structuur en benaming. Of je dat via snapshots realiseert of via allerlei andere trucjes.

[NIK0]

Verwijderd schreef op maandag 09 juli 2012 @ 18:42:
[...]

Dus daarmee is het grootste nadeel van RAID-Z gelijk gekilled, dat is wel iets wat bij dat artikel mag worden bijgevoegd. Daarnaast bieden mirrors maar beperkte veiligheid; je hebt of bitfout correctie of bescherming tegen een uitvallende schijf, maar niet allebei. RAID-Z2 is dan ook superieur in zijn bescherming, omdat het altijd 2 falende sources kan garanderen.

Heeft mirroring standaard geen bitcorrectie (FreeBSD, Nexenta) of hangt dit nog af van instellingen die je mee kunt geven..? (was persoonlijk wel gecharmeerd van dat stuk en de simpele uitbreidingsmogelijkheden spreken me wel aan)
Heeft een L2ARC nog toegevoegde waarde aan een 2-way of 3-way mirror..?

[ Voor 7% gewijzigd door NIK0 op 12-07-2012 12:01 ]

[CurlyMo]

NIK0 schreef op donderdag 12 juli 2012 @ 11:59:
[...]


Heeft mirroring standaard geen bitcorrectie (FreeBSD, Nexenta) of hangt dit nog af van instellingen die je mee kunt geven..? (was persoonlijk wel gecharmeerd van dat stuk en de simpele uitbreidingsmogelijkheden spreken me wel aan)
Heeft een L2ARC nog toegevoegde waarde aan een 2-way of 3-way mirror..?

Bij een 3-way mirror kan het zo zijn dat een ssd geen echte meerwaarde meer heeft:
Verwijderd in "Het grote DIY RAID NAS topic deel 3"

Ligt natuurlijk wel aan je workload en de grootte van je geheugen.

[sloth]

HyperBart schreef op woensdag 11 juli 2012 @ 20:44:
Wat ik me afvroeg: kan je file versionering doen via ZFS ipv met snapshots te werken?

Dus eigenlijk dat bij iedere wijziging ZFS zelf de versies gaat bijhouden van de file, eventueel ge-enabled per share/folder...

Niet meteen een antwoord op je specifieke ZFS vraag, maar je kan dit makkelijk bereiken met ownCloud.

[matty___]

NIK0 schreef op donderdag 12 juli 2012 @ 11:59:
[...]


Heeft mirroring standaard geen bitcorrectie (FreeBSD, Nexenta) of hangt dit nog af van instellingen die je mee kunt geven..?

hoe kom je daar bij? ook met een raid1 opstelling met 2 disks heb je nog alle voordelen van zfs.

[FireDrunk]

Zelfs met een enkele disk heb je nog bitrot detectie (niet dat ZFS het op kan lossen, maar toch )

[NIK0]

matty___ schreef op donderdag 12 juli 2012 @ 12:13:
[...]

hoe kom je daar bij? ook met een raid1 opstelling met 2 disks heb je nog alle voordelen van zfs.

Verwijderd schreef op maandag 09 juli 2012 @ 18:42:
[...]

Dus daarmee is het grootste nadeel van RAID-Z gelijk gekilled, dat is wel iets wat bij dat artikel mag worden bijgevoegd. Daarnaast bieden mirrors maar beperkte veiligheid; je hebt of bitfout correctie of bescherming tegen een uitvallende schijf, maar niet allebei. RAID-Z2 is dan ook superieur in zijn bescherming, omdat het altijd 2 falende sources kan garanderen.

Ik heb gezien dat je met Nexenta iig een scrub-schedule kunt instellen op je Mirrors (scrubbing examines all data to discover silent errors due to hardware faults or disk failure.)
Hoe vaak doe je zo iets..?

@FireDrunk: eens dat je er geen ruk aan hebt als ZFS er niets aan kan repareren , enige wat je dan kunt doen is disk vervangen en last know good backup restoren ..?

[ Voor 38% gewijzigd door NIK0 op 12-07-2012 12:26 ]

[CurlyMo]

NIK0 schreef op donderdag 12 juli 2012 @ 12:23:
Ik heb gezien dat je met Nexenta iig een scrub-schedule kunt instellen op je Mirrors (scrubbing examines all data to discover silent errors due to hardware faults or disk failure.)
Hoe vaak doe je zo iets..?

Ik draai het hier elke week. Eerste set op maandag, tweede op dinsdag enz.

[matty___]

NIK0 schreef op donderdag 12 juli 2012 @ 12:23:
[...]


[...]


Ik heb gezien dat je met Nexenta iig een scrub-schedule kunt instellen op je Mirrors (scrubbing examines all data to discover silent errors due to hardware faults or disk failure.)
Hoe vaak doe je zo iets..?

wat hij bedoelt is dat als je maar 2 disks hebt en eentje valt uit. Dan draai je nog maar op 1 schijf en zouden er dan fouten komen ziet ZFS ze wel maar kan ze niet herstellen omdat geen replica bestaat.

maar zo ver was je zelf ook al

[ Voor 3% gewijzigd door matty___ op 12-07-2012 13:20 ]

[matty___]

CurlyMo schreef op donderdag 12 juli 2012 @ 13:11:
[...]

Ik draai het hier elke week. Eerste set op maandag, tweede op dinsdag enz.

en hoe vaak is tot nu toe gebleken dat er checksum fouten waren?

[CurlyMo]

matty___ schreef op donderdag 12 juli 2012 @ 13:19:
[...]

en hoe vaak is tot nu toe gebleken dat er checksum fouten waren?

Toevallig eergisteren De vorige keren bleek het door molex problemen te komen (zie eerdere posts)

[NIK0]

matty___ schreef op donderdag 12 juli 2012 @ 13:17:
[...]


wat hij bedoelt is dat als je maar 2 disks hebt en eentje valt uit. Dan draai je nog maar op 1 schijf en zouden er dan fouten komen ziet ZFS ze wel maar kan ze niet herstellen omdat geen replica bestaat.

maar zo ver was je zelf ook al

Beter dus om een 3-way mirror te draaien voor je important data

@CurlyMo
Werden die checksum error netjes automatisch gefixed..?

[matty___]

NIK0 schreef op donderdag 12 juli 2012 @ 13:52:
[...]

Beter dus om een 3-way mirror te draaien voor je important data

er bestaat nog een andere oplossing als je maar 2way hebt.
Je kunt per FS aangeven hoeveel copies er moeten bestaan.

Kan me best voorstellen dat niet alles wat erop staat even belangrijk is en zo zou je dat kunnen oplossen.
Maar dit is een behoorlijk performance hit omdat alles 2x wordt opgeslagen.

Maar ik denk dat je beter een 3de disk erbij kunt zetten

[CurlyMo]

NIK0 schreef op donderdag 12 juli 2012 @ 13:52:
@CurlyMo
Werden die checksum error netjes automatisch gefixed..?

Tot nu toe geen meldingen meer gehad.

[revox862]

Derde keer dat dit gebeurd.

Tijdens een zfs receive (migratie van 3.5TB) was de pool opeens DEGRADED met de disk als REMOVED. Na een reboot was de schijf weer ONLINE. Tijdens de resilver weer REMOVED. Na resilver en een reboot weer ONLINE en nu dus weer REMOVED.

Schijf stuk? Als de schijf ONLINE is geen opvallende SMART meldingen.

# dmesg -a
(da7:mps0:0:7:0): SCSI command timeout on device handle 0x000f SMID 806
(da7:mps0:0:7:0): SCSI command timeout on device handle 0x000f SMID 481
(da7:mps0:0:7:0): SCSI command timeout on device handle 0x000f SMID 205
(da7:mps0:0:7:0): SCSI command timeout on device handle 0x000f SMID 281
(da7:mps0:0:7:0): SCSI command timeout on device handle 0x000f SMID 1017
(da7:mps0:0:7:0): SCSI command timeout on device handle 0x000f SMID 510
(da7:mps0:0:7:0): SCSI command timeout on device handle 0x000f SMID 99
(da7:mps0:0:7:0): SCSI command timeout on device handle 0x000f SMID 458
(da7:mps0:0:7:0): SCSI command timeout on device handle 0x000f SMID 631
(da7:mps0:0:7:0): SCSI command timeout on device handle 0x000f SMID 485
(da7:mps0:0:7:0): SCSI command timeout on device handle 0x000f SMID 671
(da7:mps0:0:7:0): SCSI command timeout on device handle 0x000f SMID 122
mps0: (0:7:0) terminated ioc 804b scsi 0 state c xfer 0
mps0: (0:7:0) terminated ioc 804b scsi 0 state c xfer 0
mps0: (0:7:0) terminated ioc 804b scsi 0 state c xfer 0
mps0: (0:7:0) terminated ioc 804b scsi 0 state c xfer 0
mps0: (0:7:0) terminated ioc 804b scsi 0 state c xfer 0
mps0: (0:7:0) terminated ioc 804b scsi 0 state c xfer 0
mps0: (0:7:0) terminated ioc 804b scsi 0 state c xfer 0
mps0: (0:7:0) terminated ioc 804b scsi 0 state c xfer 0
mps0: (0:7:0) terminated ioc 804b scsi 0 state c xfer 0
mps0: (0:7:0) terminated ioc 804b scsi 0 state c xfer 0
mps0: (0:7:0) terminated ioc 804b scsi 0 state c xfer 0
mps0: mpssas_abort_complete: abort request on handle 0x0f SMID 806 complete
mps0: mpssas_complete_tm_request: sending deferred task management request for handle 0x0f SMID 481
mps0: mpssas_abort_complete: abort request on handle 0x0f SMID 481 complete
mps0: mpssas_complete_tm_request: sending deferred task management request for handle 0x0f SMID 205
mps0: mpssas_abort_complete: abort request on handle 0x0f SMID 205 complete
mps0: mpssas_complete_tm_request: sending deferred task management request for handle 0x0f SMID 281
mps0: mpssas_abort_complete: abort request on handle 0x0f SMID 281 complete
mps0: mpssas_complete_tm_request: sending deferred task management request for handle 0x0f SMID 1017
mps0: mpssas_abort_complete: abort request on handle 0x0f SMID 1017 complete
mps0: mpssas_complete_tm_request: sending deferred task management request for handle 0x0f SMID 510
mps0: mpssas_abort_complete: abort request on handle 0x0f SMID 510 complete
mps0: mpssas_complete_tm_request: sending deferred task management request for handle 0x0f SMID 99
mps0: mpssas_abort_complete: abort request on handle 0x0f SMID 99 complete
mps0: mpssas_complete_tm_request: sending deferred task management request for handle 0x0f SMID 458
mps0: mpssas_abort_complete: abort request on handle 0x0f SMID 458 complete
mps0: mpssas_complete_tm_request: sending deferred task management request for handle 0x0f SMID 631
mps0: mpssas_abort_complete: abort request on handle 0x0f SMID 631 complete
mps0: mpssas_complete_tm_request: sending deferred task management request for handle 0x0f SMID 485
mps0: mpssas_abort_complete: abort request on handle 0x0f SMID 485 complete
mps0: mpssas_complete_tm_request: sending deferred task management request for handle 0x0f SMID 671
mps0: mpssas_abort_complete: abort request on handle 0x0f SMID 671 complete
mps0: mpssas_complete_tm_request: sending deferred task management request for handle 0x0f SMID 122
mps0: mpssas_abort_complete: abort request on handle 0x0f SMID 122 complete
mps0: mpssas_complete_tm_request: sending deferred task management request for handle 0x0f SMID 0
mps0: mpssas_remove_complete on target 0x0007, IOCStatus= 0x8
(da7:mps0:0:7:0): lost device - 0 outstanding
(da7:mps0:0:7:0): removing device entry

Pool status.

  pool: tank
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
 scan: resilver in progress since Thu Jul 12 11:46:23 2012
    1.10T scanned out of 5.90T at 141M/s, 9h55m to go
    20.8G resilvered, 18.65% done
config:

        NAME                      STATE     READ WRITE CKSUM
        tank                      DEGRADED     0     0     0
          raidz2-0                DEGRADED     0     0     0
            gpt/disk1             ONLINE       0     0     0
            gpt/disk2             ONLINE       0     0     0
            gpt/disk3             ONLINE       0     0     0
            gpt/disk4             ONLINE       0     0     0
            gpt/disk5             ONLINE       0     0     0
            gpt/disk6             ONLINE       0     0     0
            gpt/disk7             ONLINE       0     0     0
            gpt/disk8             ONLINE       0     0     0
            gpt/disk9             ONLINE       0     0     0
            15956275902020118900  REMOVED      0     0     0  was /dev/gpt/disk10  (resilvering)

errors: No known data errors

[Verwijderd]

Welk OS draai je precies? Kun je wat zien aan de SMART data van disk10? Gebruik je wel de nieuwe mps driver of de oude die in 9.0-release zit?

[matty___]

en had je niet beter 2x5disk raidz2 kunnen maken? (eigenlijk had je dan 2x6 disk moeten hebben)

[revox862]

Verwijderd schreef op donderdag 12 juli 2012 @ 14:49:
Welk OS draai je precies? Kun je wat zien aan de SMART data van disk10? Gebruik je wel de nieuwe mps driver of de oude die in 9.0-release zit?

FreeBSD zfsguru.bsd 9.0-RELEASE FreeBSD 9.0-RELEASE #0: Sun Jan 15 22:48:55 UTC 2012 root@zfsguru:/usr/obj/usr/src/sys/OFED amd64

Ik heb verder niets met drivers gedaan. Waar vind ik de nieuwe? Stable?

[revox862]

matty___ schreef op donderdag 12 juli 2012 @ 16:15:
en had je niet beter 2x5disk raidz2 kunnen maken? (eigenlijk had je dan 2x6 disk moeten hebben)

Mischien. Voordelen?

[Verwijderd]

Een 10-disk RAID-Z2 is anders wel heer erg gaaf: wel dubbele paritybescherming maar slechts 20% overhead. Ook is dit een 4K-vriendelijke configuratie, dus wat mij betreft zelfs één van de beste ZFS configuraties voor goedkope massaopslag met degelijke bescherming.

En revox862: je draait nu 9.0-RELEASE dus ook de oude mps driver. Ik raad aan dat je update naar 9-STABLE, de 9.1-001 system image kun je proberen, maar die heeft geen/beperkte services. Ik was bezig met een nieuwe 9.1-002 system image die eigenlijk al vrijwel klaar was op wat kleine puntjes na. Helaas kan ik er nu nog meer bij. Ik heb nog wel een backup, maar ik wacht het even een paar dagen af nog.

Dus als je nog kunt wachten zou ik het nog even doen met wat je hebt, en dan straks overgaan op de nieuwe image. Je kunt als het goed is gewoon rebooten en dan is de disk weer zichtbaar, correct?

[matty___]

revox862 schreef op donderdag 12 juli 2012 @ 16:19:
[...]

Mischien. Voordelen?

Zie google voor voordelen van striping...

volgens mij stond het ook ergens in een best practice van Sun.

[ Voor 14% gewijzigd door matty___ op 12-07-2012 16:41 ]

[revox862]

Verwijderd schreef op donderdag 12 juli 2012 @ 16:35:
Een 10-disk RAID-Z2 is anders wel heer erg gaaf: wel dubbele paritybescherming maar slechts 20% overhead. Ook is dit een 4K-vriendelijke configuratie, dus wat mij betreft zelfs één van de beste ZFS configuraties voor goedkope massaopslag met degelijke bescherming.

En revox862: je draait nu 9.0-RELEASE dus ook de oude mps driver. Ik raad aan dat je update naar 9-STABLE, de 9.1-001 system image kun je proberen, maar die heeft geen/beperkte services. Ik was bezig met een nieuwe 9.1-002 system image die eigenlijk al vrijwel klaar was op wat kleine puntjes na. Helaas kan ik er nu nog meer bij. Ik heb nog wel een backup, maar ik wacht het even een paar dagen af nog.

Dus als je nog kunt wachten zou ik het nog even doen met wat je hebt, en dan straks overgaan op de nieuwe image. Je kunt als het goed is gewoon rebooten en dan is de disk weer zichtbaar, correct?

Klopt. Na een reboot is de schijf weer zichtbaar. Ik zal de 9.1-001 image proberen.

[Pantagruel]

Blergh

Dacht ik vandaag ZFSguru 0.2.0-Beta4 in ESXi als vm te installeren (met de M1015 in 'pass through' modus), blijkt dit niet te werken. Naar het schijnt als gevolg van een incomplete mpt driver. (Zonder de LSI 2008 geinstalleerd werkt ZFSguru 0.2.0-Beta4 wel)
En ik dacht nog wel eventjes snel de boel te virtualiseren , bummer.

[Verwijderd]

Dat is een bekende bug. Als je dat wilt moet je msi en msi_x uitschakelen, dan werkt het wel. Ik had ergens een post hoe dat moet, kan hem nu niet zo snel vinden. Maar even kort: de livecd boot je met Escape to Loader Prompt. Bij die prompt type je dan:
set hw.pci.enable_msix=0
set hw.pci.enable_msi=0
boot

Als het dan werkt, is het gewoon de combinatie ESXi + VT-d + LSI. Zelfde probleem met de LSI 1068E voor zover ik weet. Probleem komt bij Virtualbox en andere VM oplossingen niet voor.

[Pantagruel]

Verwijderd schreef op donderdag 12 juli 2012 @ 22:02:
Dat is een bekende bug. Als je dat wilt moet je msi en msi_x uitschakelen, dan werkt het wel. Ik had ergens een post hoe dat moet, kan hem nu niet zo snel vinden. Maar even kort: de livecd boot je met Escape to Loader Prompt. Bij die prompt type je dan:
set hw.pci.enable_msix=0
set hw.pci.enable_msi=0
boot

Als het dan werkt, is het gewoon de combinatie ESXi + VT-d + LSI. Zelfde probleem met de LSI 1068E voor zover ik weet. Probleem komt bij Virtualbox en andere VM oplossingen niet voor.

Thanks, mocht ik er dit weekend de tijd voor vinden ga ik het eens proberen.

Een andere optie is om OI als VM te draaien, schijnt dat een 'doorgestoken' M1015 wel wilt werken, ZFS pool importeren zou ook mogelijk moeten zijn.

[Dadona]

My apology to ZFSguru users by Jason