Het grote ZFS topic

[FireDrunk]

Ik heb een poos terug (dacht in het 2TB tijdperk) bijna alle leveranciers van 2TB disks afgezocht en gekeken of ze afwijkende sectoraantallen hadden. Dat hadden ze geen van allen...

Ik zeg niet dat het een garantie is, ik zeg niet dat je er niet goed aan doet om je hele disk aan ZFS te geven. Ik zeg alleen: In the real world, komt het bijna niet voor.

Ik persoonlijk heb daarom ook de gok maar genomen. Mocht het echt een keer zo ver komen dat mijn huidige schijven niet meer leverbaar zijn, en ik genoodzaakt ben om een andere 4TB schijf te proberen, kan ik dan altijd nog kijken of die nieuwe schijf evenveel sectoren heeft, of anders tweedehands een schijf proberen op te snorren...

[Xudonax]

Ik heb het niet uitgezocht, maar ben er eigenlijk gewoon vanuit gegaan. Beetje met de insteek dat het binnen één fabrikant en één type niet zo snel zal gebeuren. Sowieso laat ZFS on Linux 8.0MiB aan het einde van de schijf vrij, dus kleine afwijkingen zullen sowieso opgevangen worden. 8.0MiB zijn, met de moderne 4kiB sectoren 2048 sectoren. Dat is een vrij groot verschil lijkt me

[HMS]

Hmmm, ik heb het idee dat ik ongeveer 1TB aan ruimte mis.

Mijn pool bestaat uit 10*3TB RAID-Z2, door conversie tussen 10 en 2 machten kom ik op rond de 27TB.
Dan gaan er 2 schijven af door parity: 27 - (2*2,7) = 21,6 TB.

Alleen report 'zfs list' maar 20.4TB. Waar is de terabyte heen?

code:

root@zeus:~# zpool list
NAME      SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
storage  27.2T  6.48M  27.2T     0%  1.00x  ONLINE  -

root@zeus:~# zfs list storage
NAME      USED  AVAIL  REFER  MOUNTPOINT
storage  4.08M  20.4T   329K  /storage

root@zeus:~# zpool status
  pool: storage
 state: ONLINE
  scan: scrub repaired 0 in 0h0m with 0 errors on Mon Sep 23 19:25:36 2013
config:

        NAME                                               STATE     READ WRITE CKSUM
        storage                                            ONLINE       0     0     0
          raidz2-0                                         ONLINE       0     0     0
            pci-0000:03:00.0-sas-0x4433221107000000-lun-0  ONLINE       0     0     0
            pci-0000:03:00.0-sas-0x4433221106000000-lun-0  ONLINE       0     0     0
            pci-0000:03:00.0-sas-0x4433221105000000-lun-0  ONLINE       0     0     0
            pci-0000:03:00.0-sas-0x4433221104000000-lun-0  ONLINE       0     0     0
            pci-0000:03:00.0-sas-0x4433221103000000-lun-0  ONLINE       0     0     0
            pci-0000:03:00.0-sas-0x4433221102000000-lun-0  ONLINE       0     0     0
            pci-0000:03:00.0-sas-0x4433221101000000-lun-0  ONLINE       0     0     0
            pci-0000:03:00.0-sas-0x4433221100000000-lun-0  ONLINE       0     0     0
            pci-0000:0b:00.0-sas-0x5fcfffff00000004-lun-0  ONLINE       0     0     0
            pci-0000:0b:00.0-sas-0x5fcfffff00000003-lun-0  ONLINE       0     0     0

errors: No known data errors

[Borromini]

Op Linux wordt standaard 5% gereserveerd voor de root-user, zodat die nog kan inloggen als het bestandssysteem vol zit. Draai je Linux?

[HMS]

Ja, dit is inderdaad een ZFS on Linux. Maar ik wist niet dat de reservering ook gedaan wordt op ZFS, bij ext3 en ext4 weet ik het wel. De 5% komt ook precies overeen met wat ik zie.

20.4 / 27.2 = 0.75 (ik verwacht 0.8, dus ik mis 5%)

Even tune2fs checken

edit: Zoals ik al een beetje verwachtte, tune2fs werkt niet met zfs

[ Voor 12% gewijzigd door HMS op 23-09-2013 20:47 ]

[Kompaan]

zit er al userquota in ZoL dan?

zfs heeft nog metadata die ergens geparkeerd moet worden toch?

mijn arrays (4x2+2x1TB):
capacity operations bandwidth
pool alloc free read write read write
-------------------------------------- ----- ----- ----- ----- ----- -----
tank1 5.68T 2.48T 12 45 1.04M 820K
raidz1 5.08T 2.17T 9 27 844K 606K
gptid/5a659497-342c-11e2-b15c-00241dc6d338 - - 4 11 218K 229K
gptid/5ad36fee-342c-11e2-b15c-00241dc6d338 - - 3 10 209K 218K
gptid/5b61ac7c-342c-11e2-b15c-00241dc6d338 - - 4 11 218K 229K
gptid/5bdbe16e-342c-11e2-b15c-00241dc6d338 - - 4 10 209K 219K
mirror 610G 318G 2 17 225K 214K
ada0 - - 1 11 113K 214K
ada1 - - 1 11 113K 214K
-------------------------------------- ----- ----- ----- ----- ----- -----

[onox]

HMS schreef op maandag 23 september 2013 @ 20:29:
Hmmm, ik heb het idee dat ik ongeveer 1TB aan ruimte mis.

Mijn pool bestaat uit 10*3TB RAID-Z2, door conversie tussen 10 en 2 machten kom ik op rond de 27TB.
Dan gaan er 2 schijven af door parity: 27 - (2*2,7) = 21,6 TB.

Alleen report 'zfs list' maar 20.4TB. Waar is de terabyte heen?

Meneer denkt dat ie mogelijk 1 TB mist

* onox heeft slechts een mirror van twee 2.5" 1 TB schijfjes

Heb je je systeem al aangemeld bij het Storage showoff topic - 10+ TB storage systems?

[Durandal]

HMS schreef op maandag 23 september 2013 @ 20:29:
Hmmm, ik heb het idee dat ik ongeveer 1TB aan ruimte mis.

Mijn pool bestaat uit 10*3TB RAID-Z2, door conversie tussen 10 en 2 machten kom ik op rond de 27TB.
Dan gaan er 2 schijven af door parity: 27 - (2*2,7) = 21,6 TB.

Alleen report 'zfs list' maar 20.4TB. Waar is de terabyte heen?

Ik heb al een jaartje precies hetzelfde. 10x3TB Z2, ZoL, Free+used=20.4TB.
Eigenlijk nooit bij stil gestaan.

Als ik overigens de machten compenseer kom ik op bijna 7% uit. ( 8*3*10E12 / (1024^4) ) / 20.43TB = 1.068

[ Voor 9% gewijzigd door Durandal op 24-09-2013 01:13 ]

[Waking_The_Dead]

HMS schreef op maandag 23 september 2013 @ 20:29:
Hmmm, ik heb het idee dat ik ongeveer 1TB aan ruimte mis.

Mijn pool bestaat uit 10*3TB RAID-Z2, door conversie tussen 10 en 2 machten kom ik op rond de 27TB.
Dan gaan er 2 schijven af door parity: 27 - (2*2,7) = 21,6 TB.

Alleen report 'zfs list' maar 20.4TB. Waar is de terabyte heen?

Netto 8 schijven aan 3TB = 24TB = 21.83TiB
21.83TiB - 5% gereserveerd door Linux = 20.74TiB
Daar haalt ZFS ook nog eens 1/64e vanaf voor god weet welke reden; dus 20.74TiB * 63/64 = 20.41TiB

[FireDrunk]

Je hebt last van de slack gok ik.128KB stripes gedeeld door 6 schijven = 21.3K dus elke schijf gaat (als je 4k optimalisatie aan hebt) 24K daadwerkelijk schrijven.
Dat is 2.7K meer dan nodig, en dat is 2.1% slack.

[HMS]

Het zijn 10 schijven bruto, dus 8 + 2 parity. 128 / 8 = 16, wat ook 4k optimaal is.

[FireDrunk]

Ah, daar heb ik overheen gelezen, dan is slack inderdaad niet het probleem.

[HyperBart]

Verplicht leesvoer voor iedereen die aan het denken is om een NAS aan te schaffen:
Echt waar, ik blijf die Avotons geweldig vinden:

http://techreport.com/new...472gb-of-ram-into-one-box
http://www.zdnet.com/inte...y-avoton-chip-7000020173/
http://www.theinquirer.ne...-with-avoton-server-chips

http://www.servethehome.c...m%29&utm_content=FaceBook

https://www.google.com/se...official&client=firefox-a

http://www.asrock.com/server/overview.asp?Model=C2750D4I

http://forums.servethehom...s-12-sata-ports-ipmi.html

http://forums.servethehom...permicro-a1sai-2750f.html


http://www.asrock.com/server/index.asp?Form=mITX&CPU=

Ik reken even voor. Stel dat je thuis een NAS wilt bouwen en je wilt meer dan 8 SATA-devices aansluiten. De goedkoopste manier om aan 8+ poorten te geraken is sowieso al voor volgende setup te gaan:

ASRock B75-Pro3-M 54.35 EUR
M1015 100 EUR
G1610 35.45 EUR
2 x SAS Breakout-cables (tel ik even apart, aangezien dat niet zo iets is wat je standaard hebt liggen) 30 EUR

Combinatieprijs van deze componenten is 220 EUR, dan krijg je exactomundo 16 SATA poorten terug op consumer grade hardware. Ik laat voorlopig even geheugen weg, ik weet dat de Avoton mobootjes op ECC geheugen draaien. Straks doe ik even de volledige roundup.


Als je voor een Avoton gaat kost je een 8-core bordje iets van een 256 EUR. Dit bordje heeft dan ineens 12 onboard poorten. Dat zijn er inderdaad 4 minder dan bovenstaande combinatie, maar het energieverbruik ligt dan wel zomaar even ongeveer 5W lager, dat is een minimale besparing maar toch. Aan de andere kant krijg je 2 onboard NIC's van de nieuwe generatie die prima ondersteund zijn onder alle nieuwe generaties OS'en. Ook 2012 R2 en ESXi 5.5 (laatste niet zeker van). Onder 2012R2 een Intel NIC werkend hebben is al niet evident meer, vraag maar eens aan FireDrunk hoe het gaat met zijn zwaardere QuadPort Intel NIC en 2012 R2. Bijkomend is ook dat je IPMI/KVM krijgt.

EDIT: FireDrunk wees me net nog op iets, een G1610 is in totaliteit trager dan een Avoton octa-core.
Cinebench
G1610 = 2,1
Avoton = 3,77

Aan de andere kant is de singlecore performantie van een G1610 wel een stuk beter dan die van een Avoton, maar voor ZFS maakt dat niets uit, integendeel, dan is meer cores tot op zekere hoogte beter.


Nadeel van Avoton is dat je wel moet kiezen voor ECC geheugen wat in principe de prijs omhoog duwt.

ECC UDIMM
pricewatch: Kingston ValueRAM KVR16E11/8I

versus

gewoon
pricewatch: Crucial CT102464BA1339


Het gaat 'm uiteindelijk 50 EUR schelen denk ik als je beide bordjes quasi identiek uit probeert te rusten qua harde specs. Maar als je dan ook nog eens functionele noden apart gaat valueren (ik denk maar aan de 2 x NIC, IPMI/KVM en de ITX-formfactor) dan denk ik dat je met een Avoton moederbordje beter af bent.


8 cores zeg... Ideaal als NAS of multithreaded toepassing. Om nu maar een idee te geven:
http://techreport.com/new...472gb-of-ram-into-one-box

Dat zijn toch ultieme machines om parallelle loads op te draaien of zelfs VDI's...

[ Voor 16% gewijzigd door HyperBart op 24-09-2013 15:43 ]

[FireDrunk]

Mijn Intel Pro 1000 VT werkte niet, mijn Intel Pro 1000 PT werkte wel.
(Ik heb voorheen ergens eens geroepen dat de PT niet meer werkte, dat is dus niet zo, het gaat alleen om de VT)

Verder, die Avoton is sneller dan een G1610, hij is eerder vergelijkbaar met een stevige i3.
Op single core niveau is het inderdaad wel wat trager, maar voor ZFS maakt dat niets uit.

Dat tipt de scale wel even in favor van de Avoton, want een middenmoter i3 kost al gauw meer dan 100,-.

[ Voor 12% gewijzigd door FireDrunk op 24-09-2013 15:33 ]

[Bigs]

Leuk platform die Avoton. Ik zat eigenlijk te wachten op de Opteron X, maar dat lijkt nog niet echt van de grond de komen. Zo'n SuperMicro bordje als die A1SAi-2750F met 8-core Avoton kost echter wel >450 euro. Dat is dan wel weer pittig. Bovendien een beetje overkill met 8 cores en 4 ethernet poorten, maar een eenvoudiger model is er nog niet.

[FREAKJAM]

De Supermicro ondersteunt ook alleen SO-DIMM, stuk prijziger!

Beter wachten op de ASRockjes wellicht? (daar kunnen juist normale DIMMetjes in!)

FREAKJAM schreef op dinsdag 24 september 2013 @ 13:40:
Pricing here in Singapore is around (depending on retailer markup;
US$350 mark for the ASRock C2550
US$450 mark for the ASRock C2750

They are both out in November here.

[ Voor 7% gewijzigd door FREAKJAM op 24-09-2013 16:45 ]

[HyperBart]

Bigs schreef op dinsdag 24 september 2013 @ 16:33:
Leuk platform die Avoton. Ik zat eigenlijk te wachten op de Opteron X, maar dat lijkt nog niet echt van de grond de komen. Zo'n SuperMicro bordje als die A1SAi-2750F met 8-core Avoton kost echter wel >450 euro. Dat is dan wel weer pittig. Bovendien een beetje overkill met 8 cores en 4 ethernet poorten, maar een eenvoudiger model is er nog niet.

Bedenk wel dat één core van een Avoton niet zo snel is. Het is door in de breedte te schalen dat die Avotons sneller zijn dan een i3 3220

[Kompaan]

Ik zat ook al naar die supermicro bordjes te kijken, mooie low power virt speeldoosjes voor thuis, niet?

Of de Rangeley series met 10 Gbps AES door hardware versnelling, zou mooi (pfSense met AES-NI support?) als het VPN doosje zijn

Maar ZFS gerelateerd denk ik dat die AsRock bordjes meer te bieden hebben (12xSATA!)

[FREAKJAM]

Supermicro A1SAi-2750F and pfsense

Nog niet succesvol..

[Kompaan]

FREAKJAM schreef op woensdag 25 september 2013 @ 01:17:
Nog niet succesvol..

Was ook meer wishful thinking van mijn kant, maar het begin (van AES-NI support) zit in 2.1 die net uit is gebracht:
http://blog.pfsense.org/?p=712

om pfSense op die bordjes draaiend te krijgen moeten we nog een beetje knutselen

[HyperBart]

Kompaan schreef op woensdag 25 september 2013 @ 01:03:
Ik zat ook al naar die supermicro bordjes te kijken, mooie low power virt speeldoosjes voor thuis, niet?

Mja, dat dacht ik ook, FD is er wat huiveriger tegenover omdat de singlecore performantie van die beestjes niet echt super is...

Maar ZFS gerelateerd denk ik dat die AsRock bordjes meer te bieden hebben (12xSATA!)

Jup, dat is vooral één van hun key selling points ja.

[FireDrunk]

Mja, als je er een dikke SSD onder hangt zal de CPU eerder aan zijn top zitten als wanneer je van gewone harddisks VM"s draait. Ik draai hier VM's eigenlijk uitsluitend vanaf SSD (op een paar uitzonderingen na).

Dan merk je wel dat de CPU snel aan zijn dak zit.

[Moikvin]

Ik ben op zoek naar iemand die mij kan vertellen of mijn IOzone resultaten een beetje overeen komen met de specs van het systeem.

Op het moment zijn dit de specs:
- 4x2TB raid10
- 72gb RAM
- 2x samsung 840 EVO 120GB(L2arc en SLOG)
- Draait FreeNAS

Dit zijn de resultaten:
http://pastebin.com/8TNeYBZH

code:

        Auto Mode
        File size set to 25165824 KB
        Record Size 4096 KB
        Command line used: iozone -a -s 24g -r 4096
        Output is in Kbytes/sec
        Time Resolution = 0.000001 seconds.
        Processor cache size set to 1024 Kbytes.
        Processor cache line size set to 32 bytes.
        File stride size set to 17 * record size.
                                                    random  random    bkwd   record   stride                                  
      KB  reclen   write rewrite    read    reread    read   write    read  rewrite     read  
25165824    4096 1230044 1367486  4925642  5501203 4726952 1372497 4261364  4777107  4830400
 
fwrite frewrite   fread  freread
1387427  1330412 2385454  2429475

Ik heb autotune al eens aangezet in FreeNAS maar daar leek de performance op achteruit te gaan.
Ik vraag me af of de SSD's beter op een andere manier ingedeeld kunnen worden, 120GB lijkt me namelijk veel te groot voor een SLOG, zeker met een flush om de 5 seconden. Misschien moeten de SSD's in stripe komen te staan met een kleine partitie voor de SLOG?

[ Voor 36% gewijzigd door Moikvin op 25-09-2013 09:55 ]

[Ultraman]

FREAKJAM schreef op dinsdag 24 september 2013 @ 16:43:
Beter wachten op de ASRockjes wellicht? (daar kunnen juist normale DIMMetjes in!)

Dat is inderdaad een gaaf bordje zeg.
Zal wel redelijk aan de prijs zijn schat ik, maar je moet iets over hebben voor een dergelijk klein bordje welke zo uitermate geschikt lijkt te zijn voor een (ZFS) file server.
Ga ik in de gaten houden... hoewel mijn AMD-based systeem nog prima voldoet...
Nu nog een handige case...

[ Voor 9% gewijzigd door Ultraman op 25-09-2013 10:22 ]

[HyperBart]

Prijs valt best mee hoor. Ik kwoot mezelf even:

HyperBart schreef op dinsdag 24 september 2013 @ 15:27:
Verplicht leesvoer voor iedereen die aan het denken is om een NAS aan te schaffen:
Echt waar, ik blijf die Avotons geweldig vinden:

[..]

http://forums.servethehom...s-12-sata-ports-ipmi.html

Daar staat:

Pricing here in Singapore is around (depending on retailer markup;
US$350 mark for the ASRock C2550
US$450 mark for the ASRock C2750

They are both out in November here.

RB

[Ultraman]

Dat had ik gezien. Maar dat zijn nog niet de prijzen zoals we die hier zullen zien, daar moeten we nog even op wachten
Maar als ik bedenk dat ik mijn huidige set (CPU+mobo) voor flink minder dan dat heb gekocht, dan is "goedkoop" niet het woord wat in mij opkomt, eerder "betaalbaar".
Die 6 extra SATA heb ik dan niet met mijn huidige set, maar die kan ik voor een deel wegstrepen tegenover het RAM wat ik al heb.

[HyperBart]

Tja, dat is een afweging die je moet maken en waarvan ik hoop dat de post van mij wat inzicht biedt voor de meeste mensen.

Avoton is niet noodzakelijk het go to product om je oplossing te realiseren maar wel een zeer goede optie. Ik kan het prima voor mezelf verantwoorden dat ik wederom voor een bordje kies met iets "deftigere"/wijder ondersteunde hardware, IPMI/KVM en ECC. Of dat voor iedereen zo is...

[Bigs]

Het is ook maar net wat je gewend bent. Ik ben vanuit m'n werk niet anders gewend dan server-class hardware met dat soort features. Dan ga je thuis ook niet rommelen met consumentenhardware. Dat wil echter niet zeggen dat je met consumentenhardware niet prima een thuisserver kunt bouwen. Zeker met ZFS wat geen dure RAID controller e.d. vereist kun je dan prima uit de voeten.

[Ultraman]

Als je vanaf scratch moet beginnen is ie voor mij duidelijk: dan zou ik zo'n Avoton pakken.

Ik heb nu echter een werkend systeem op basis van een AM3 socket, met ECC support en ook dito RAM er in zitten. Overigens is ECC niet verplicht natuurlijk, maar ik wil dat gewoon in mijn server hebben zitten. Als je kiest voor data integriteit wil je dat gewoon hebben.

Dat Avoton bord is voor mij meer van: "ik zou het graag willen hebben" incluus handige case

[ Voor 4% gewijzigd door Ultraman op 25-09-2013 11:48 ]

[FireDrunk]

Juist als je al ECC hebt, kan je makkelijk naar Avoton switchen.. Zelfde RAM.

Juist reguliere gebruikers moeten nog investeren in ECC geheugen.

[HyperBart]

Unregistered ECC he!

[FireDrunk]

[Ultraman]

Dat is het inderdaad
Overstappen is vrij makkelijk, puur hardwarematig eigenlijk een kwestie van moederbordje wisselen en overprikken.

[ Voor 7% gewijzigd door Ultraman op 25-09-2013 14:54 ]

[Psycho_Bartje]

Ultraman schreef op woensdag 25 september 2013 @ 14:43:
Dat is het inderdaad
Overstappen is vrij makkelijk, puur hardwarematig eigenlijk een kwestie van moederbordje wisselen en overprikken.

Dan schijnt je data daarna weer benaderbaar te zijn, maar dat klinkt mij (ik heb daarom nog niet geprobeerd) toch als een griezelige stap; ik heb geen namelijk backup mogelijkheid om m'n mediacollectie weg te zetten. Maar ik wordt graag gerustgesteld door meer ervaren ZFS-tweakers

[Bigs]

Psycho_Bartje schreef op woensdag 25 september 2013 @ 14:58:
[...]


Dan schijnt je data daarna weer benaderbaar te zijn, maar dat klinkt mij (ik heb daarom nog niet geprobeerd) toch als een griezelige stap; ik heb geen namelijk backup mogelijkheid om m'n mediacollectie weg te zetten. Maar ik wordt graag gerustgesteld door meer ervaren ZFS-tweakers

Ik heb harddisks uit Linux en FeeBSD systemen overgezet naar compleet andere systemen (wel x86-64 natuurlijk) en dat werkt altijd prima. Het zit niet zo vast aan een bepaald hardwareprofiel als Windows. Het enige waar je vaak rekening mee moet houden is veranderende MAC adressen van je netwerkadapters.

[Ultraman]

Ga ik wel van uit, want ik heb het al eens gedaan. Van mijn huidige server heb ik het moederbord+RAM al eens vervangen. Dat was een upgrade van een BioStar AM2+ bord met DDR2 ECC RAM, naar een Asus AM3 bord en DDR3 ECC RAM. Vond FreeBSD geen enkel probleem; ik heb zelfs niks hoeven aanpassen want de onboard netwerkadapter gebruikte dezelfde driver.

Zou ik nu overstappen naar die Avuton dan zou ik het volgende moeten doen:
0. Eigen schuld van mij: ik heb ooit wat aanpassingen in make.conf gemaakt ter optimalisatie voor mijn CPU (o.a. march=k8-sse ofzoiets). Die heb ik later wel aangepast naar enkel tuning (-mtune ipv -march), maar voor de zekerheid zou ik even alle ports moeten recompilen met de default generic settings, zodat ik zeker weet dat alles gewoon werkt. Heb je hier nooit aangezeten, dan hoef je dit niet te doen, kun je in het algemeen dus negeren. Bovendien heeft dit niks met werking van het OS te maken, enkel met door mij geïnstalleerde meuk.
1. Configuratie voor de netwerk-adapter omzetten van "re0" naar "em0". Zodat ze voor de Intel NIC driver gelden ipv Realtek.
1b. Optioneel: In loader.conf de module "aibs" er uit halen. Dat is een driver voor de Asus hardware monitoring van mijn huidige bord.
2. Machine uitschakelen.
3. Hardware ombouwen
4. Machine inschakelen.
4b. Eventueel in BIOS zorgen dat alles netjes staat.
5. Werking controleren, maar als het goed is zou het prima moeten werken nu.

Ten tijde van de upgrade van het moederbord heb ik het net zo gedaan, m.u.v. stap 0.
Zolang FreeBSD de hardware ondersteunt kun je een werkend systeem verwachten.
Ook vaak zat hardware onder de kont van een Linux install veranderd zonder dat dat significant gezeur opleverde.

Vooraf zou je de hardwareondersteuning natuurlijk kunnen testen door eens losse install te doen op een random disk die je nog hebt liggen.
In dit specifieke geval zou ik dan mijn aandacht vestigen op de Marvell controller, want daar heb ik nog geen ervaring mee onder FreeBSD. Maar ik verwacht dat deze wel werkt met de algemene "ahci" driver. En verder wat rondneuzen alvorens ik echt mijn disken zou overzetten.

Maar ik kan je geruststellen: Unix is dikwijls echt zo robuust. Zolang je normale ondersteunde hardware gebruikt krijg je eigenlijk altijd wel een werkend systeem terug.

[ Voor 6% gewijzigd door Ultraman op 25-09-2013 15:27 ]

[Psycho_Bartje]

Kijk; dat bedoelde ik; mocht ik eens willen gaan ombouwen, ziet het er goed uit

[CurlyMo]

Ooit eens tijdelijk mijn NAS hardware kapot gehad. Toen de schijven in mijn desktop gezet. USB sticks met de root erin geprikt en klaar. Toen de NAS het weer deed, de schijven teruggezet. Op die manier waren we eigenlijk nooit zonder onze belangrijke data.

[nero355]

Ik zie hier boven iets over AsRock en NAS en zo, maar als het toch al wat duurder mag zijn dan zou ik zeggen kijk hier effe naar :

http://www.asrock.com/mb/...eme11/?cat=Specifications

Kost grofweg 300 € en zit gewoon een 8x SAS LSI controller op en natuurlijk de Intel chip zelf die je 6x SATA oplevert sowieso

Ik heb de X79 versie en het is echt totally awesome !!! Eindelijk een mobo met een fatsoenlijk aantal SAS/SATA poorten

[Kompaan]

nero355 schreef op donderdag 26 september 2013 @ 18:37:
Ik zie hier boven iets over AsRock en NAS en zo, maar als het toch al wat duurder mag zijn dan zou ik zeggen kijk hier effe naar :

http://www.asrock.com/mb/...eme11/?cat=Specifications

Kost grofweg 300 € en zit gewoon een 8x SAS LSI controller op en natuurlijk de Intel chip zelf die je 6x SATA oplevert sowieso

Ik heb de X79 versie en het is echt totally awesome !!! Eindelijk een mobo met een fatsoenlijk aantal SAS/SATA poorten

Mooi bordje maar echt een heel ander beest!
Dat bord gebruikt met proc idle al meer dan die Avotons onder full load!

[sphere]

Klopt het dat je in FreeNas 8 een share niet zowel via cifs/samba kan delen als met nfs? read-write dan natuurlijk. Kan me niet voorstellen dat je dat het dan erg bruikbaar is als ZFS omgeving, mocht het in 9 niet opgelost zijn. Ik lees posts als zou je NFS read-only moeten mounten.


http://doc.freenas.org/index.php/Sharing_Configuration
http://forums.freenas.org...s-and-nfs-together.10918/

etc.

[Ultimation]

Soms snap ik echt niets van NAS4Free. Vandaag, ineens uit het niets, alle config weg, web interface werkt niet meer, alle ZFS datasets + pools zijn weg (kan ze nog wel synchroniseren). Vaag product. Ben blij als ik over kan stappen op ZFSGuru.

Ik weet nog niet waardoor het kwam, maar het begon volgens mij met iSCSI problemen. Daarna liet de hele VM er maar mee op.

[ Voor 20% gewijzigd door Ultimation op 27-09-2013 19:23 ]

[Ultimation]

Oh, wacht, VM harddisk is vol.
Zucht en nu kan ik niet meer upgraden omdat een deel van de setup wel doorgegaan is. Dan maar een schone installatie.

[ Voor 65% gewijzigd door Ultimation op 27-09-2013 19:30 ]

[Compizfox]

Even spammen hoor...
V&A gevraagd: BuddyBackup-buddy gezocht

[FireDrunk]

Ik dacht, laat ik voor de grap eens ZFS on Linux proberen met mijn NAS. Vandaag een 120GB Crucial M500 in gebruik genomen ipv de 16GB Sandisk mSATA SSD die er in zat. Ubuntu kaal geinstalleerd, en daarna voorzien van ZFS. Wil je je pool importeren, krijg je dit:

root@NAS:~# zpool import
   pool: datapool
     id: 10236214267539680596
  state: ONLINE
 status: The pool was last accessed by another system.
 action: The pool can be imported using its name or numeric identifier and
        the '-f' flag.
   see: http://zfsonlinux.org/msg/ZFS-8000-EY
 config:

        datapool                             ONLINE
          raidz1-0                           ONLINE
            ata-ST4000DM000-1F2168_Z30097WG  UNAVAIL  corrupted data
            ata-ST4000DM000-1F2168_Z30097YR  ONLINE
            ata-ST4000DM000-1F2168_Z3009899  ONLINE
            ata-ST4000DM000-1F2168_Z300992X  ONLINE

Toch maar weer even die BSD mSATA SSD er in doen zo

En die zegt dit:

FreeBSD 10.0-CURRENT (NASKERNEL) #0 r251566M: Sun Jun  9 09:13:50 UTC 2013
root@NAS:~ # zpool status
  pool: datapool
 state: ONLINE
status: The pool is formatted using a legacy on-disk format.  The pool can
        still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
        pool will no longer be accessible on software that does not support feat                                                                           ure
        flags.
  scan: scrub repaired 0 in 5h55m with 0 errors on Wed Aug 14 02:51:59 2013
config:

        NAME                STATE     READ WRITE CKSUM
        datapool            ONLINE       0     0     0
          raidz1-0          ONLINE       0     0     0
            gpt/datapool-A  ONLINE       0     0     0
            gpt/datapool-B  ONLINE       0     0     0
            gpt/datapool-C  ONLINE       0     0     0
            gpt/datapool-D  ONLINE       0     0     0

errors: No known data errors

Uuuuuuh....

[ Voor 35% gewijzigd door FireDrunk op 28-09-2013 18:22 ]

[Durandal]

Van de link in de ZoL melding:

The pool has been written to from another host, and was not cleanly exported from the other system. Actively importing a pool on multiple systems will corrupt the pool and leave it in an unrecoverable state. To determine which system last accessed the pool, run the 'zpool import' command:

Staat er iets belangrijks op die pool?
Je kan eens die feature flag upgrade uitvoeren en het nog eens proberen. Ik ben wel benieuwd.

[ Voor 111% gewijzigd door Durandal op 28-09-2013 20:16 ]

[CurlyMo]

Heb je voor het importeren wel eerst de pool geëxporteerd?

[Verwijderd]

Explicitet exporteren hoort niet nodig te zijn. Het punt is gewoon dat ZFS wilt voorkomen dat dezelfde dataset door meerdere ZFS engines wordt aangesproken. Denk bij virtualisatie waarbij meerdere VMs een enkele disk kunnen zien, of andere setups waarbij dezelfde disk (kan een bestand zijn wat als disk dienst doet) door meerdere ZFS engines tegelijk wordt gebruikt. Dat gaat namelijk verkeerd; ZFS is een local filesystem en kan niet door meerdere computers tegelijk worden gebruikt zoals een clustered filesystem dat kan. Zelfde geldt overigens voor vrijwel alle filesystems.

Je moet bij het importeren dan -f (force) opgeven als bevestiging dat je weet wat je doet en dat er van speciale situaties zoals het al in gebruik zijn of write-geopend zijn van de disks helemaal geen sprake is.

De melding 'Corrupted metadata' ken ik van het probleem waarbij de disk/LBA die ZFS te zien krijgt, niet klopt. Dat kan aan het OS zelf liggen, omdat bijvoorbeeld de verkeerde disk of offset (partities) wordt gekozen. (Free)BSD werkt wat dat betreft veel beter met device tasting; waarbij elke device ofwel dienst partities wordt gesnuffeld of daar een ZFS device begint (vanaf die LBA-range). ZFS op FreeBSD 7.x had ook last van dit probleem omdat het 'tasten' wel eens verkeerd ging.

Simpelweg ZFS gebruiken en 'het werkt' is geen garantie dat de implementatie die je gebruikt in de toekomst wel eens problemen zou kunnen geven. Zeker qua disk/partitie management vind ik FreeBSD veruit superieur.

[Trunksmd]

sphere schreef op vrijdag 27 september 2013 @ 16:05:
Klopt het dat je in FreeNas 8 een share niet zowel via cifs/samba kan delen als met nfs? read-write dan natuurlijk. Kan me niet voorstellen dat je dat het dan erg bruikbaar is als ZFS omgeving, mocht het in 9 niet opgelost zijn. Ik lees posts als zou je NFS read-only moeten mounten.


http://doc.freenas.org/index.php/Sharing_Configuration
http://forums.freenas.org...s-and-nfs-together.10918/

etc.

Het staat er ook waarom. Het maakt trouwens niet uit of je FreeNas 8,.9 Nas4Free of anderen gebruikt. Het is nooit zinvol omdezelfde share de delen via verschillende methoden SAMBA/NFS/AFP. Je kunt in conflict komen met verschillende protocollen en evt bestandsverlies.. Als je al het probleem hebt dat je verschillende clienten hebt (linux/apple/windows) dan kun je het beste SAMBA alleen gebruiken of verschillende shares.

[Verwijderd]

Ik gebruik al tijden NFS en Samba vanaf verschillende computers naar dezelfde share onder ZFSguru, dat werkt hier allemaal prima.

Het is natuurlijk wel zo dat je bij een typische thuissituatie vooral concurrent access wilt naar dezelfde share die niet conflicterend is. Zodra je op de ene PC een grote map gaat kopiëren en op de andere de bronmap gaat verwijderen, zal het logisch zijn dat dat niet helemaal goed gaat. Maar dat doe je natuurlijk niet. Voor een situatie waarbij meerdere gebruikers bij dezelfde data komen is het natuurlijk wel fijn als je echte locking hebt, maar ik zie voor de meeste situaties geen problemen.

De permissies correct instellen kan nog wel irritant zijn, zeker op andere platforms. Bij ZFSguru gaat het prima als je uid maar 1000 is (standaard bij Ubuntu voor de 1e user), of anders moet je het zelf instellen. Anders krijg je het probleem dat je bestanden niet kunt wijzigen of verwijderen als deze via NFS zijn gemaakt. En dat is natuurlijk erg irritant.

[Compizfox]

Trunksmd schreef op zaterdag 28 september 2013 @ 21:54:
[...]

Het staat er ook waarom. Het maakt trouwens niet uit of je FreeNas 8,.9 Nas4Free of anderen gebruikt. Het is nooit zinvol omdezelfde share de delen via verschillende methoden SAMBA/NFS/AFP. Je kunt in conflict komen met verschillende protocollen en evt bestandsverlies.. Als je al het probleem hebt dat je verschillende clienten hebt (linux/apple/windows) dan kun je het beste SAMBA alleen gebruiken of verschillende shares.

Ik zou niet weten waarom dat niet kan. Het toch ook prima mogelijk om dezelfde bestanden lokaal en via SMB beschikbaar te hebben? Op dezelfde manier is het ook prima mogelijk dezelfde bestanden lokaal, via SMB en via NFS beschikbaar te hebben.

Heb ik hier onder FreeBSD (ZFSguru) zonder problemen draaien.

[ Voor 49% gewijzigd door Compizfox op 28-09-2013 22:21 ]

[FireDrunk]

Pool was niet geexporteerd inderdaad, maar dat doe ik nooit, en daar heb ik nog nooit deze meldingen van gekregen. Ik vond het maar vreemd.

Dus toch maar mijn originele FreeBSD 10.0-CURRENT installatie nog even behouden.
Zojuist een zfs export naar een file op mijn data pool gedaan. Nieuwe mSATA SSD erin, FreeBSD bootstickje erin, nieuwe pool aanmaken op de nieuwe SSD en weer een zfs receive doen van die file terug naar de nieuwe pool.

Werkte perfect

Er snort nu een Crucial M500 in mijn nasje

[ Voor 8% gewijzigd door FireDrunk op 28-09-2013 22:26 ]

[Trunksmd]

Compizfox schreef op zaterdag 28 september 2013 @ 22:19:
[...]

Ik zou niet weten waarom dat niet kan. Het toch ook prima mogelijk om dezelfde bestanden lokaal en via SMB beschikbaar te hebben? Op dezelfde manier is het ook prima mogelijk dezelfde bestanden lokaal, via SMB en via NFS beschikbaar te hebben.

Heb ik hier onder FreeBSD (ZFSguru) zonder problemen draaien.

Natuurlijk kan het. En ik heb het onder FREENAS ook ¨zonder problemen aan het draaien gehad¨En zeker als je de enige user bent van je ZFS server, zal het niet gauw problemen opleveren. Totdat je op een goede dag toch problemen krijgt.

De manual van FREENAS is nog niet zo slecht.

while the GUI will let you do it, it is a bad idea to share the same volume or dataset using multiple types of access methods. Different types of shares and services use different file locking methods. For example, if the same volume is configured to use both NFS and FTP, NFS will lock a file for editing by an NFS user, but a FTP user can simultaneously edit or delete that file. This will result in lost edits and confused users. Another example: if a volume is configured for both AFP and CIFS, Windows users may be confused by the extra filenames used by Mac files and delete the ones they don't understand; this will corrupt the files on the AFP share. Pick the one type of share or service that makes the most sense for the types of clients that will access that volume, and configure that volume for that one type of share or service. If you need to support multiple types of shares, divide the volume into datasets and use one dataset per share.


En lees ook eens het laatste commentaar in dit forumtopic:http://forums.freenas.org/threads/cifs-and-nfs-together.10918/

Dan weet je waarom .

[sphere]

Trunksmd schreef op zaterdag 28 september 2013 @ 21:54:
Het staat er ook waarom. Het maakt trouwens niet uit of je FreeNas 8,.9 Nas4Free of anderen gebruikt. Het is nooit zinvol omdezelfde share de delen via verschillende methoden SAMBA/NFS/AFP. Je kunt in conflict komen met verschillende protocollen en evt bestandsverlies.. Als je al het probleem hebt dat je verschillende clienten hebt (linux/apple/windows) dan kun je het beste SAMBA alleen gebruiken of verschillende shares.

Jij hebt duidelijk de luxe dat je niet in een heterogene omgeving werkt. Wij maken software die die draait onder windows, linux and unix. Als je dan support moet geven (mijn collega) aan klanten dan wil je niet je support data 2x opslaan. Dat is gewoon niet efficient. Maar goed, FreeNAS kan het niet, dus dan maar weer NetApp. Jammer.

[Trunksmd]

sphere schreef op zaterdag 28 september 2013 @ 22:48:
[...]

Jij hebt duidelijk de luxe dat je niet in een heterogene omgeving werkt. Wij maken software die die draait onder windows, linux and unix. Als je dan support moet geven (mijn collega) aan klanten dan wil je niet je support data 2x opslaan. Dat is gewoon niet efficient. Maar goed, FreeNAS kan het niet, dus dan maar weer NetApp. Jammer.

Lezen is echt een kunst, he. In FREENAS kan het ookl. Maar het wordt gewoon niet aangeraden. Het is jammer dat je die luxe niet hebt. Toch hoop ik voor je dat jullie juist in een bedrijfsomgeving een goede backup hebben.

[analog_]

De implementatie van hostid in ZoL is/wordt verbouwd, het is een architecturaal probleem waarvoor ze een permanente oplossing aan het zoeken waren (paar maanden gelden). Sommige systemen erkenden hun eigen pools niet na een reboot in bepaalde gevallen. De concrete details stonden in de bugreport.

[sphere]

Verwijderd schreef op zaterdag 28 september 2013 @ 22:13:
Ik gebruik al tijden NFS en Samba vanaf verschillende computers naar dezelfde share onder ZFSguru, dat werkt hier allemaal prima.

Het is natuurlijk wel zo dat je bij een typische thuissituatie vooral concurrent access wilt naar dezelfde share die niet conflicterend is. Zodra je op de ene PC een grote map gaat kopiëren en op de andere de bronmap gaat verwijderen, zal het logisch zijn dat dat niet helemaal goed gaat. Maar dat doe je natuurlijk niet. Voor een situatie waarbij meerdere gebruikers bij dezelfde data komen is het natuurlijk wel fijn als je echte locking hebt, maar ik zie voor de meeste situaties geen problemen.

De permissies correct instellen kan nog wel irritant zijn, zeker op andere platforms. Bij ZFSguru gaat het prima als je uid maar 1000 is (standaard bij Ubuntu voor de 1e user), of anders moet je het zelf instellen. Anders krijg je het probleem dat je bestanden niet kunt wijzigen of verwijderen als deze via NFS zijn gemaakt. En dat is natuurlijk erg irritant.

Voor Linux zijn er recent wel wat patches gemaakt voor VFS door Pavel Shilovsky. Ben benieuwd of dat soort ontwikkelingen ook doordruppelen naar BSD. Aan de andere kant zijn er allemaal verschillen tussen Net en Free dus dat is wellicht ijdele hoop.

Maar goed, NetApp kan het al jaren, dus ik heb er wel vertrouwen in dat het binnen afzienbare tijd ook in OSS terecht komt.

[Moikvin]

Ik merk dat de latency van mijn SLOG na een tijd kopieerden flink omhoog schiet, nu las ik dat SSD's langzamer worden naar mate hij meer beschreven is. Dit omdat hij de cellen eerst leeg moet maken voor hij opnieuw kan schrijven.

Klopt dit? Ervaren jullie dit ook?of doe ik iets verkeerd.

Gebruik op het moment trouwens 840 EVO als SLOG en nog een als L2ARC. Klopt het dat deze eigenlijk niet ideall is als SLOG?

[Bigs]

Een 840 EVO heeft een slim write buffer gedeelte wat in principe functioneert als een SLC SSD en daardoor behoorlijk snel is. Die buffer kan afhankelijk van het model 2,5-3GB bevatten volgens forum bronnen. Normaal gesproken schrijft de SSD de inhoud van die buffer op de achtergrond weg naar het TLC gedeelte. Als hij daar de kans niet voor krijgt door hoge belasting dan kan ik me voorstellen dat de prestaties behoorlijk instorten. TLC geheugen blinkt namelijk niet uit in schrijfsnelheid.

Of dit daadwerkelijk de oorzaak van je probleem is weet ik niet, dat ligt een beetje aan je schrijfbelasting. Maar optimaal zal een 840 EVO niet zijn (hij is er natuurlijk ook niet voor ontworpen).

[FireDrunk]

Als je ZIL tot 2GB groeit ben je een flinkje jongen, ik denk eerder dat je gewoon aan de max van je ZIL zit.
En latency zegt niet alles... Als je SLOG even snel 40MB moet wegschrijven zie je uiteraard hogere latencies van wanneer je SSD een opdracht krijgt om 4k weg te schrijven...

[Moikvin]

Wat zou een goede test zijn om te zien of dit aan de EVO ligt of aan de configuratie?

Ga sowieso zo even met een m4 testen.

edit: Ik zie dat het met de M4 een stuk beter gaat, die blijft netjes op een latency van 0,2ms als er lang wordt geschreven.

[ Voor 52% gewijzigd door Moikvin op 01-10-2013 16:02 ]

[FireDrunk]

Je configuratie eerst eens goed posten, en benchen met fatsoenlijke tools (Intel IOMeter / CrystalDiskMark / AS-SSD)

[- peter -]

Nou, ik moet zeggen dat zfs native on linux me absoluut niet tegenvalt. En met samba AIO trek ik makkelijk 110MB/s beide kanten op.
Kan ik makkelijk allerlei extra dingen installeren onder ubuntu, en toch de zekerheid van zfs voor data.
Aan te bevelen dus voor simpele homeservers en mensen die veel linux/ubuntu ervaring hebben.

[sphere]

Ik grijp net steeds naast de vtd cpus anders had ik het ook draaien

[com2,1ghz]

Hey allemaal,

Ik draai zfs-fuse 0.7.0-8 op Proxmox 2.3 en heb last van lage write/read speeds.
De volgende opstelling heb ik
Proxmox met zfs-fuse en NFS-kernel-server
-VM met de nfs share mounted en een Samba server

Als ik op proxmox een dd doe met een file van 2.1 gb, dan krijg ik ongeveer een write van 10mb/s. Als ik in windows dmv de samba share een bestand kopieer, dan zit ik rond de 8 mb/s.
Na een reboot van Proxmox zaten de snelheden rond de 60mb/s. Alsnog langzaam.

De volgende opstelling heb ik
-Raid 10 met 4x Seagate seagate st2000dm001

Relevante specs van de proxmox machine:
-I3 2120
-8gb ddr3 waarvan ongeveer 2 gb vrij.

Na een zoekopdracht kwam ik uit op oplossingen met 'sync' uitzetten of 'flushing' uitzetten. Echter waren dit oplossingen voor zfsonlinux. Zfs-fuse is niet echt bekend op dit gebied.

Waar ik aan dacht is het probleem met 4k Advanced format. Hier heb ik nog niets mee gedaan. Ik weet ook niet of dit de oorzaak is en of ik dit 'eventjes' kan wijzigen.

Wie weet waarom ik trage read/writes heb?

[FireDrunk]

Omdat je zfs-fuse gebruikt... ZFS via Fuse kan nooit snel zijn omdat het via Fuse gaat...

[com2,1ghz]

FireDrunk schreef op donderdag 03 oktober 2013 @ 11:18:
Omdat je zfs-fuse gebruikt... ZFS via Fuse kan nooit snel zijn omdat het via Fuse gaat...

Dat dacht ik al. ZoL gaat ook niet omdat proxmox een oude kernel heeft. Dat is wel zuur dus.
Dat wordt denk ik teruggaan naar mdadm.

[ Voor 6% gewijzigd door com2,1ghz op 03-10-2013 11:27 ]

[FireDrunk]

Nee, gewon Proxmox dumpen en overstappen op iets wat wel met de tijd meegaat

[Xudonax]

Ook wel bekend als SmartOS dus?
En met een beetje geluk kun je zonder meer je ZFS pool(s) gewoon importeren

[HMS]

Xudonax schreef op donderdag 03 oktober 2013 @ 11:45:
Ook wel bekend als SmartOS dus?
En met een beetje geluk kun je zonder meer je ZFS pool(s) gewoon importeren

Kan je hier gewoon meerdere VMs naast elkaar draaien en dan gewoon heen en weer switchen als een soort virtuele desktops? Daar ben al tijden naar op zoek . Zal het eens gaan bekijken.

[Mystic Spirit]

Dat SmartOS lijkt me interessant.... Om de discussie hier niet te vervuilen, heb ik een topic geopend over SmartOS ervaringen
De combi die door SmartOS wordt aangeboden lijkt namelijk erg interessant en ik wil er graag meer over weten.

Modbreak:

Als jullie het gebruik van ZFS op platforms als SmartOS willen bespreken, mag dat van mij ook in dit topic. Als je een discussie wilt over SmartOS in het algemeen en andere niet-ZFS features, dan graag het topic van Mystic Spirit raadplegen; zie link hierboven.

[ Voor 32% gewijzigd door Verwijderd op 03-10-2013 16:44 ]

[u_nix_we_all]

SmartOS is zeker interressant, de nieuwe belofte in open-solaris land. Maar een apart topic, ik weet niet of dat zo storm loopt.
Aangezien in dit topic de discussie vaak veel breder is dan ZFS alleen, en hier eigenlijk alle aspecten van de ZFS-gebaseerde distro's (zonder namen te noemen ) aan de orde komen, lijkt het mij geen bezwaar ook SmartOS hier te bespreken. Daarmee komt het ook beter onder de aandacht van hen die de naam SmartOS nog nooit gehoord hebben, en waarschijnlijk jouw topic ook niet zullen lezen.

[Mystic Spirit]

Het loopt inderdaad geen storm maar je moet ergens beginnen... Het is een OS en geen file system. Dus het is ook logisch om het ZFS file system gewoon hier te blijven bespreken en voor het SmartOS een nieuw topic te starten.

NIet geschoten is altijd is zullen we maar zeggen

[com2,1ghz]

Ja ik ga nu niet over van Proxmox naar SmartOS. Anders blijf ik bezig.
Hoe kan ik ervoor zorgen dat ik met zfs-fuse alsnog een redelijke read/write kan krijgen? Hoeft niet net zo snel te zijn als ZoL maar 10mb/s is wel heel rampzalig.
Het gekke is dat ik na een reboot weer op 60mb/s zat wat ook de helft is van de doorgaanse snelheid.

Als het echt niet anders kan dan moet ik helaas terug naar mdadm.

[u_nix_we_all]

Mystic Spirit schreef op donderdag 03 oktober 2013 @ 16:13:
Het is een OS en geen file system. Dus het is ook logisch om het ZFS file system gewoon hier te blijven bespreken en voor het SmartOS een nieuw topic te starten.

Maar dat geldt voor ZFSGuru ook, en daar wil men ook geen apart topic voor aanmaken geloof ik.

[FireDrunk]

Als je voor alle operating systems die er in de wereld zijn topic gaat aanmaken, ben je nog wel ff bezig...

Op een gegeven moment moet je groeperen met een gemene deler, en dat is in dit geval ZFS.

[Verwijderd]

Ik had wel de intentie om dit topic te splitsen in een puur ZFS topic en een apart topic voor ZFS platforms zoals ZFSguru, zodat ook minder ZFS gerelateerde onderwerpen zoals plugins/services/addons kunnen worden besproken. Tot die tijd mag je in dit topic over alle platforms praten zolang het het wel enige relevantie heeft met ZFS of een ZFS NAS. Zie ook de modbreak in deze post: Mystic Spirit in "Het grote ZFS topic".

[GioStyle]

Wat kan je verwachten van een raidz2 (6x 3TB), 4GB geheugen, realtek nic qua reads/writes met een CIFS share? Ik haal 45MB/s write en 55MB/s read. CPU-load staat tijdens tranfers op 1.0, wat volgens mij inhoudt single core op 100% load. Klopt dit? Dan betekent het ook gelijk dat het niet sneller gaat tenzij ik de processor vervang?

Als ik dd gebruik dan haal ik rond de 315 MB/s write en rond de 290 MB/s read.

[Phuncz]

Ik haal met 6x 2TB (WD20EZRX en WD20EARS) in RAIDZ2, 8GB DDR3 RAM, Intel Dual-core G2020 op een Asrock B75Pro3-M moederbord met een Intel CT 1000 NIC tussen de 100 en 118MB/sec Read throughput, met 20% CPU load. Op mijn array staat compressie aan wat de CPU extra belast. Dit als ik een unbuffered file naar een SSD kopieer over het Gbit netwerk met een Intel i217 NIC op de ontvangende PC met Windows 7.

Ik gebruik NAS4free met de volgende CIFS/SMB settings:

Send Buffer Size: 64240 (default)
Receive Buffer Size: 64240 (default)
Large read/write: enabled
Asynchronous I/O (AIO): enabled
AIO read size: 4096 (default)
AIO write size: 4096 (default)

En deze loader.conf tuneables:
vfs.zfs.arc_max: 6G (voor 8GB RAM)
vfs.zfs.prefetch_disable: 0 (was nodig voor bug in vorige versie)
vfs.zfs.write_limit_override: 0 (was nodig voor bug in vorige versie)
vm.kmem_size: 7G (voor 8GB RAM)

[ Voor 38% gewijzigd door Phuncz op 04-10-2013 22:05 ]

[GioStyle]

Dank voor de informatie, hier kan ik verder mee puzzelen.

[ilovebrewski]

Is er iemand wie bereid is mij via DM (heb nog niet al teveel ervaring en wil het topic niet teveel vervuilen ) te helpen om MySQL en PureFTPd werkend te krijgen onder ZFSguru system 9.1-006? Onder 9.1-005 is MySQL redelijk snel gelukt. PureFTPd nooit.
Nu onder 9.1-006 lukt geen van beide.

[matty___]

Phuncz schreef op vrijdag 04 oktober 2013 @ 22:00:
vfs.zfs.arc_max: 6G (voor 8GB RAM)
vm.kmem_size: 7G (voor 8GB RAM)

Waarom wil je deze nog tunen? Vanaf FB9 is dit eigenlijk niet langer nodig. Er zat in begin wel een bug in mbt de arc cache waardoor je systeem kon vastlopen maar die is er al heel lang uit

[Phuncz]

Geen idee of het moest, maar het kan ook geen kwaad want de prestaties en stabiliteit zijn beide goed. Deze settings gaan ook al een aantal maanden mee.

[- peter -]

Ok, ik sta beetje op t punt om 3 X 3tb schijven te kopen voor zfs. Nu zit ik toch met het tler verhaal. Ik was eerst van de green schijven afgebracht, maar als ik dit topic zo doorlees lijkt tler alleen van belang bij raid controllers. Ik gebruik gewoon chipset SATA. Ik zou dus toch gewoon voor greens kunnen gaan ? (Mits de performance me aanstaat)

[Verwijderd]

TLER heb je alleen nodig voor 'slechte' RAID engines. Dat betekent dat voor software RAID of ZFS onder een non-Windows operating system, je geen TLER nodig hebt. Echter, dit gaat alleen op als je zoals jij inderdaad chipset SATA (HBA) dus zonder RAID chip gebruikt. Als je een Areca controller gebruikt dan heb je wel TLER nodig ook al gebruik je software RAID of ZFS; het is dan de controller die de disk onzichtbaar en ontoegankelijk zal maken bij bad sectors. ZFS kan daar verder niets tegen doen omdat het geen directe controle heeft over de disks.

Overigens kun je ook de nieuwe 4TB overwegen. 3x4TB in RAID-Z is effectief 8TB bruikbaar en best een leuke config. Zie: pricewatch: Western Digital Green WD40EZRX, 4TB

Over het TLER verhaal heb ik onder de startpost nog een stukje geschreven: Verwijderd in "Het grote ZFS topic"

[- peter -]

Ok, bedankt voor de info. Had je 2e post idd niet gelezen, de rest wel. Duidelijk.

Ik zie echter toch ook dat de WD Green drives zo'n 30MB/s minder presteren dan de ongeveer even stille RED's, dus ga toch voor de REDs.

[Verwijderd]

Ook dat klopt niet, omdat er verschillende uitvoeringen zijn met 750GB en 1000GB platters. Laatstgenoemde is sneller en zuiniger. De verwarring bestaat als men een Red met 1000GB platters vergelijkt met een Green met 750GB platters. Maar die vergelijking is oneerlijk. Als je nu een Green koopt, krijg je hoogstwaarschijnlijk een model met 1000GB platters. Zie ook de platter capacity database.

Ga je toch voor de Reds, denk er dan om dat je TLER uitschakelt (standaard 120 seconden) bij gebruik met ZFS. De Greens hebben als voordeel dat je headparking kunt instellen, terwijl de Reds dit naar mijn weten permanent en onveranderlijk hebben uitgeschakeld in de firmware.

[GioStyle]

Phuncz schreef op vrijdag 04 oktober 2013 @ 22:00:
Ik haal met 6x 2TB (WD20EZRX en WD20EARS) in RAIDZ2, 8GB DDR3 RAM, Intel Dual-core G2020 op een Asrock B75Pro3-M moederbord met een Intel CT 1000 NIC tussen de 100 en 118MB/sec Read throughput, met 20% CPU load. Op mijn array staat compressie aan wat de CPU extra belast. Dit als ik een unbuffered file naar een SSD kopieer over het Gbit netwerk met een Intel i217 NIC op de ontvangende PC met Windows 7.

Ik gebruik NAS4free met de volgende CIFS/SMB settings:

Send Buffer Size: 64240 (default)
Receive Buffer Size: 64240 (default)
Large read/write: enabled
Asynchronous I/O (AIO): enabled
AIO read size: 4096 (default)
AIO write size: 4096 (default)

En deze loader.conf tuneables:
vfs.zfs.arc_max: 6G (voor 8GB RAM)
vfs.zfs.prefetch_disable: 0 (was nodig voor bug in vorige versie)
vfs.zfs.write_limit_override: 0 (was nodig voor bug in vorige versie)
vm.kmem_size: 7G (voor 8GB RAM)

Bovenstaande instellingen plus een latje van 4GB erbij (dus in mijn geval nu ook 8GB) levert toch een winst op. Ik kan nu 75MB/s lezen en schrijven over het netwerk. Voor de rest denk ik dat het aan de Realtek nic ligt.

[Geckx]

Ik heb de /etc/rc.conf aangepast zopdat de correcte APM instellingen telkens worden toegepast bij het herstarten van de server (zfsguru). Maar zoals gevreesd accepteert de schijf die verbonden is via de IBM M1015 kaart die instelling niet. Enkel diegene die aangesloten zijn vian de native Sata poorten van het mobo.

Weet iemand hoe ik dit wel werkend kan krijgen en hoe ik dus automatisch ook deze schijf kan laten downspinnen na 3600 seconden?

[com2,1ghz]

Ben van zfs-fuse weer terug naar mdadm. Werd zelfs zo erg dat in samba langzamerhand mappen gingen verdwijnen en pas terugkwamen na een reboot. En een snelheid van 500kb/s op raid10.

Nu met mdadm gaf hij met met een dd write ongeveer 360MB/s aan. Over het netwerk zo n 100MB/s. Misschien dat ik later weer een poging doe als de kernel van Proxmox geupdated is.

[webbier]

Geckx schreef op dinsdag 08 oktober 2013 @ 17:56:
Ik heb de /etc/rc.conf aangepast zopdat de correcte APM instellingen telkens worden toegepast bij het herstarten van de server (zfsguru). Maar zoals gevreesd accepteert de schijf die verbonden is via de IBM M1015 kaart die instelling niet. Enkel diegene die aangesloten zijn vian de native Sata poorten van het mobo.

Weet iemand hoe ik dit wel werkend kan krijgen en hoe ik dus automatisch ook deze schijf kan laten downspinnen na 3600 seconden?

Het is al een aantal keer in het forum langs gekomen hoe je dit kunt oplossen.

FireDrunk in "Het grote ZFS topic"

[FireDrunk]

Voor de mensen die BSD an sich al een leuk onderwerp vinden, en meer willen leren, is deze show misschien wel leuk.

YouTube: BGP & BSD | BSD Now 1

Allan Jude (bekende BSD guru) host de show samen met Kris Moore (Maker PC-BSD).

[BCC]

com2,1ghz schreef op donderdag 03 oktober 2013 @ 11:25:
[...]

Dat dacht ik al. ZoL gaat ook niet omdat proxmox een oude kernel heeft. Dat is wel zuur dus.
Dat wordt denk ik teruggaan naar mdadm.

Volgens de website doet Proxmox prima ZOL: http://pve.proxmox.com/wiki/ZFS
Ik hoop het wel, want dat wil ik ook gaan draaien

[Compizfox]

FireDrunk schreef op donderdag 10 oktober 2013 @ 16:30:
Marketing is het sowieso, maar gelul, nee... Er is daadwerkelijk verschil in firmware, dus is het iets om rekening mee te houden. Is het het geld waard omdat het alleen maar een softwarematig verschil is en niet hardwarematig? Dat moet je zelf weten...

Het punt is dat je die head-parkingsettings zelf gewoon kunt aanpassen. Dus nee, daar hoef je mijn inziens zeker niet extra voor te betalen.

[Stefanovic45]

Wordt ZFS nu eigenlijk al gebruikt in grotere professionele storage systemen? Ik heb er anderhalf jaar gelden een onderzoekje naar gedaan maar ik kwam er achter de implementatie in het bedrijfsleven toch nog wel beperkt is. Grootste reden zou zijn is dat ZFS niet als totaal oplossing wordt aangeboden grote storage bedrijven zoals Dell of HP of NetApp of... Hierdoor ben je zelf verantwoordelijk voor de koppeling tussen hard- en software. Dat durven niet veel bedrijven aan bij hun primaire storage!

[Bigs]

StefanvanGelder schreef op donderdag 10 oktober 2013 @ 19:26:
Wordt ZFS nu eigenlijk al gebruikt in grotere professionele storage systemen? Ik heb er anderhalf jaar gelden een onderzoekje naar gedaan maar ik kwam er achter de implementatie in het bedrijfsleven toch nog wel beperkt is. Grootste reden zou zijn is dat ZFS niet als totaal oplossing wordt aangeboden grote storage bedrijven zoals Dell of HP of NetApp of... Hierdoor ben je zelf verantwoordelijk voor de koppeling tussen hard- en software. Dat durven niet veel bedrijven aan bij hun primaire storage!

Volgens mij leunt Oracle/Sun vrij zwaar op ZFS inclusief veel van hun klanten.. In de mailinglists zie je regelmatig mensen voorbij komen met ZFS systemen met meer dan 300 disks en > 200TB opslagruimte. Ik ga er niet vanuit dat die voor thuisgebruik zijn.

[FireDrunk]

Ik hoorde een poos terug dat T-Mobile haar klantendatabase op ZFS had staan, in hoeverre dat nog steeds zo is, geen idee.

[Verwijderd]

Modbreak:

Ter notificatie: ik heb de discussie over hardeschijven verplaatst naar het DIY RAID NAS topic.

[matty___]

Bigs schreef op donderdag 10 oktober 2013 @ 19:47:
[...]


Volgens mij leunt Oracle/Sun vrij zwaar op ZFS inclusief veel van hun klanten.. In de mailinglists zie je regelmatig mensen voorbij komen met ZFS systemen met meer dan 300 disks en > 200TB opslagruimte. Ik ga er niet vanuit dat die voor thuisgebruik zijn.

http://www.oracle.com/us/...s7420/overview/index.html


Hybrid Storage Pools automate up to 2 TB of DRAM, over 12 TB of Read Flash cache, and 3.4 PB of disk drives

[ Voor 10% gewijzigd door matty___ op 11-10-2013 11:15 ]

[Kompaan]

Sommige storage vendors lopen er misschien niet zo heel erg te koop mee, inclusief Netgear (ReadyDATA) heeft ZFS aan boord (ik werk voor die mensen btw), er zijn genoeg grote dingen die op ZFS draaien.

(uitzending gemist gebruikt ook zfs, nexenta dacht ik)