Het grote ZFS topic

[Pantagruel]

Verwijderd schreef op dinsdag 20 september 2011 @ 21:45:
Voor Windows + RAID6 is die Areca inderdaad nog zeker bruikbaar; het blijft een mooie RAID controller. Het punt is dat met ZFS het RAID-tijdperk een beetje minder rooskleurig is; we hebben nu iets beters! Maar het blijft een hele mooie en nuttige controller voor het Windows platform. Dus als je er een mooie prijs met V&A voor kan krijgen zou ik dat doen; genoeg mensen die graag een controller voor hun Windows bak willen hebben en Areca is nu eenmaal de 'beste' controller voor dat platform.


[...]

Dat hoort dus ook zo. Het punt is dat na een reboot de pool nog steeds ashift=12 moet zijn; dat is het nut van die .nop providers. Helaas wat verwarrend, maar de nieuwste beta geeft nu aan voor welke sectorsize een pool is geoptimaliseerd, en dat is zeker een stuk duidelijker.

De 0.1.1.9-beta3 laat inderdaad zien dat de pool voor 4k is geoptimaliseerd, schept wel duidelijkheid.

[Sneezydevil]

Verwijderd schreef op dinsdag 20 september 2011 @ 22:39:
...

Maar de LSI 6Gbps kaarten zijn opzich wel aardig, alleen is de driversupport geloof ik nog niet optimaal. Dat zou je nog ergens kunnen navragen.

...

Ik heb hier een LSI 9211-8i, geflashed naar IT, onder ZFS Guru en current versies van FreeBSD doet hij het voorlopig gewoon goed, hij wordt zonder problemen gevonden.

Onder 8.2-stable heb ik het nog niet lopende gekregen, maar ben eerlijk gezegd niet zo'n FreeBSD man (Hoewel ik heel snel fan aan het worden ben).

[ Voor 6% gewijzigd door Sneezydevil op 21-09-2011 07:44 ]

[zzattack]

Pantagruel schreef op zondag 18 september 2011 @ 22:08:
De harde waren in gebruik (table top test opstelling)

SuperMicro X9SCM-F
Xeon E3-1230
4x4GB Kingston ECC UDIMM
10x 2TB WD EARS
[afbeelding]

Ik heb mijn pool ook opnieuw gemaakt maar met minstens vergelijkbare hardware haal ik bij lange na niet dezelfde resultaten.
De hardware hier is 10 Hitachi 7K3000 schijven, dus 7200rpm,
een 8-core Opteron 6128,
en 32GB EEC RAM van Kingston.
Als ik een RAIDZ2 van 10 disks maak haal ik read snelheden van 800MB/s of hoger, maar write komt niet boven de 120MB/s uit. Ik heb met de losse ZFSGuru php install gebenched.
Als ik daarentegen 2 RAIDZ1 vdev's maak van 5 schijven ieder stijgt de write naar 450MB/s. Al stukken beter natuurlijk, maar nog steeds niet optimaal dus.
Ik draai FreeBSD 8.2 met een recente kernel en heb verder geen tuning gedaan. Iemand tips om er nog net iets meer uit te halen? Het liefst gebruik ik raidz2 maar de performance die dat scheelt maakt dat ik toch voor 2xraidz1 kies, tenzij raidz2 sneller kan.

[FireDrunk]

Sneezydevil schreef op woensdag 21 september 2011 @ 07:43:
Ik heb hier een LSI 9211-8i, geflashed naar IT, onder ZFS Guru en current versies van FreeBSD doet hij het voorlopig gewoon goed, hij wordt zonder problemen gevonden.

Onder 8.2-stable heb ik het nog niet lopende gekregen, maar ben eerlijk gezegd niet zo'n FreeBSD man (Hoewel ik heel snel fan aan het worden ben).

Viel dat flashen nog tegen? Ik hoorde dat dat best gevaarlijk was omdat je je bios echt moest wissen?

[Sneezydevil]

FireDrunk schreef op vrijdag 23 september 2011 @ 14:48:
[...]


Viel dat flashen nog tegen? Ik hoorde dat dat best gevaarlijk was omdat je je bios echt moest wissen?

Viel wel mee, en je moet bij de nieuwere inderdaad eerst alles wissen en vervolgens de gewenste firmware flashen, bij die oude kon je gewoon met 1 commando flashen.

Op het moment dat je wist, wordt de kaart in een soort ready to flash state gezet. Als je dan flashed zie je dit ook voorbij komen.

Ik heb een paar keer geflashed omdat de hp expander die erachter zit niet met alle firmware versies van de LSI goed gedetecteerd wordt. Geen error gezien verder, waar ik erg blij mee was in verband met de verhalen die ik gelezen had.

[Verwijderd]

zzattack schreef op vrijdag 23 september 2011 @ 13:51:
[...]

Ik heb mijn pool ook opnieuw gemaakt maar met minstens vergelijkbare hardware haal ik bij lange na niet dezelfde resultaten.
(..)
Als ik een RAIDZ2 van 10 disks maak haal ik read snelheden van 800MB/s of hoger, maar write komt niet boven de 120MB/s uit. Ik heb met de losse ZFSGuru php install gebenched.
Ik draai FreeBSD 8.2 met een recente kernel en heb verder geen tuning gedaan.

Draai je dan de officiële system image die bij ZFSguru zit? Want daarin zit dus ZFS versie 28 en diverse optimalisaties, en automatische tuning van je geheugen in de /boot/loader.conf.

Zelf heb ik een theorie dat één van je schijven mogelijk langzamer is dan de rest. Dat heb ik vaker gezien/gelezen. Je kunt dat eenvoudig testen:

1) verwijder/destroy alle pools zodat je disks helemaal vrij/beschikbaar zijn
2) doe voor alle disks de volgende commando in de SSH shell:

dd if=/dev/zero of=/dev/ada0 bs=1m count=20000 &
dd if=/dev/zero of=/dev/ada1 bs=1m count=20000 &
dd if=/dev/zero of=/dev/ada2 bs=1m count=20000 &
.. etc..

Vervang de /dev/ada0 voor de device name. Belangrijk is de & op het einde, dat zorgt ervoor dat het commando op de achtergrond wordt uitgevoerd. Doe dit snel achter elkaar voor alle schijven tegelijk.

3) start nu (in een andere terminal!) een gstat, bijvoorbeeld:
gstat -a
of:
gstat -f ada

Je hoort nu alle disks zien schrijven, en ze horen even snel te gaan. Als je ze langzamer ziet gaan dan zou moeten (b.v. 90MB/s allemaal ipv 150MB/s) dan kan het zijn dat je hardware bandbreedte tekort komt, bijvoorbeeld omdat je PCI-express maar op 1 of 4 lanes werkt, ofzoiets. Echter, als één disk langzamer is dan de rest, dan is dat een sterke indicatie dat die schijf minder goed is dan de rest en dat gaat je hele array afremmen.

En nog een tip: gebruik de Benchmark functie van ZFSguru die mooie grafiekjes maakt, dan kun je ook zien welke configuraties wel goed presteren en welke niet. Mogelijk vertelt dat je ook meer over je probleem. Die functie zit onder de Disks pagina maar vereist wel dat je disks helemaal ongebruikt zijn, maar wel geformatteerd geloof ik.

Iemand tips om er nog net iets meer uit te halen? Het liefst gebruik ik raidz2 maar de performance die dat scheelt maakt dat ik toch voor 2xraidz1 kies, tenzij raidz2 sneller kan.

Mijn voorkeur zou zijn één RAID-Z2 van 10 disks; dat moet gewoon goed werken. Gewoon een beetje testen totdat je de oorzaak hebt gevonden.

Bijvoorbeeld, als je geen officiële distro gebruikt van ZFSguru kan het zijn dat je nog een UFS filesystem gebruikt, en dat veroorzaakt ook lagere performance omdat UFS geheugen steelt van ZFS en UFS+ZFS dus een slechte combinatie is.

[Pantagruel]

Zo vandaag de IBM ServeRAID/LSI9240-8i binnen gekregen die ik via Eay heb bemachtigd

Het omflashen naar IT mode mbv van de aanwijzigingem op het forum van lime-technology kon beginnen.

Alles ging goed, totdat na de reboot ik er de IT mode firmware in wilde flashen.
Het flashproggie braakte een foutmelding uit: "ERROR: Failed to initialize PAL. Exiting program"

ARGH, even Google'n en gelukkig bleek het probleem op te lossen door de flash in een ander Intel bord voort te zetten. Volgens de LSI knowledge base zijn er problemen met Intel bordjes op basis van de 5000 en 3000 chipset (de C20x klaarblijkelijk dus ook)
Dus een ander plank uit de kast (GA-X38-DQ6), de blanco LSI kaart in het 2e PCIe 16x slot gestoken en verder gegaan met de flash. Even geduld oefenen,...... Et le voila , zo maakt men van een M1015 een LSI 9240-8i in IT modus.

5 minuten later zit de geplande ZFS server al weer in elkaar en snort de boel vrolijk op.
Geen gemekker, geen gezeur, ZFSGuru heeft de oude array na het om steken gewoon weer gevonden en alles is weer in de lucht, geen vuiltje te bekennen en dat zien we graag

De situatie nu:
Xeon E3-1230
4x4GB ECC UDIMM
SuperMicro X9SCM-F
LS 9240-8i IT modus
WDAC Raptor 36 Gb tbv OS (FreeBSD 8.2stable+ ZFSGuru 1.1.9.beta3)
10 x 2 TB WD EARS
- 8 @ LS 9240-8i
- 2 @ onboard SATA of X9SCM-F

Benchmark runs vanuit ZFSGuru:

zero test 64GB

Pool : Vault
Read throughput : 687.1 MB/s
Read throughput : 655.3 MiB/s
Write throughput: 633.2 MB/s
Write throughput: 603.9 MiB/s

SWEEEEET!

Vrolijke bijkomstigheid is dat de pool nu al weer een uurtje data staat te ontvangen (80 a 100 MiB/sec over Samba) en geen enkele time-out of hick-up heeft gehad (was met de pool aan de ARC-1221x wel anders).
Wat me wel opvalt is dat het koellichaam op de chip van de LSI 9240-8i behoorlijk warm is geworden tijdens de kopieer actie, je vinger houdt je er niet lang tegen aan. Als de boel straks dus in de kast gaat dan toch maar een 120mm fan op de kaart richten om voor de broodnodige beademing te zorgen.

To Do:

De 'oude dame' uit elkaar halen zodat de CM Stacker ST101 gevuld kan worden met de nieuwe hardware zodat de boel netjes weggestopt zit ipv los op t tafelblad ligt.

Foto's maken want: ' Pics or it didn't happen '

[Verwijderd]

Na even dit topic te hebben gelezen (duurde maar een weekje ofzo ) leek het me een goed idee om even mijn laatste ideeën voor mijn ZFS NAS/SAN te toetsen. Aangezien ik van plan ben enkele aanbevelingen aan mijn laars te lappen, was ik wel benieuwd of er iemand me kon vertellen hoe rampzalig mijn ideeên dan wel zijn.

Het is mijn bedoeling om op mijn server ESXi te draaien met daaronder mijn NAS als virtuele server. Hiertoe wilde ik een controller (waarschijnlijk Intel SASUC8I, al hoor ik dat een Supermicro AOC-USAS2-L8e wellicht een betere keuze is) via VT-d doorgeven. Voor wat betreft het OS lijkt OpenIndiana me op dit ogenblik de beste gok want Nexenta is commercieel en Solaris Express is in handen van Oracle. In BSD-varianten heb ik veel minder vertrouwen dan in Solaris, dus die gebruik ik liever niet.

Relevante details van de hardware:
- 7x 1.5TB SATA HD (reeds bestaande Seagate Barracuda 7200.11) bedoeld voor de datapool. De 8ste poort van de controller plan ik voorlopig leeg te laten.
- 2x 64GB SSD op SATA-600 van moederbord (te kopen, gepland OCZ Agility 3 wegens goede prijs - indien nodig met firmware update)
- server zal op UPS zitten.

Installatie:
- voor ESXi twijfel ik nog of ik best boot van een USB stick of één van de SSD's.
- elk van de SSD's wil ik als datastore gebruiken
- in elke SSD datastore wil ik een virtuele thin-provisioned disk aanmaken. Deze twee virtuele disks wil ik dan in mirror gebruiken voor de installatie van OpenIndiana.

Nu voor mijn verzameling flagrante overtredingen van aanbevelingen:
-ik overweeg om nog twee virtuele disken (1 per SSD datastore) te gebruiken in mirror voor de ZIL.
-ik overweeg ook om twee virtuele disken (1 per SSD datastore) te gebruiken in stripe als L2ARC
PS: de reden dat ik deze twee zaken slechts overweeg is omdat ik op dit ogenblik nog twijfel in hoever dit me iets zal opleveren
PS2: het gebruik van ZFS op virtuele disken is blijkbaar iets dat nogal scheef bekeken wordt. Volgens mij is het gevaar bij de mirror voor het OS nogal laag. We spreken hier tenslotte over hoofdzakelijk leesacties, waarbij het schrijven vooral voor logs is. Ik begrijp ook dat het verlies van een L2ARC geen gevaar voor de data betekent. Blijft de ZIL waarbij ik me afvraag of die in mirror echt zo kwetsbaar is (meer dan die bij de datapool te houden).

Voor de datapool met 7 disks
- Slechts 1 disk redundantie bezorgt me kippevel. Om te beginnen ga ik ervan uit dat samen aangekochte hd's een goede kans maken om rond hetzelfde tijdstip defect te gaan. Verder is er het beroemde scenario waarbij een disk defect gaat en bij de vervanging de woorden klinken "oops, verkeerde disk". Conclusie: RAID-Z2
- Een raid-z2 van 7 disken is ééntje meer dan aanbevolen. Als ik de aanbevelingen volg, kan ik
1) ofwel ééntje hotspare maken, maar hotspares met slechts één vdev lijken me zinloos
2) ofwel raid-z3 gebruiken, maar ik vraag me af of ik wel *zo* paranoide ben
3) 2 raidz vdevs van 3 disken gebruiken met 1 hotspare, maar dat is kwetsbaarder en ik lees ook dat een 3 disk raidz niet erg performant is
4) 3 mirror vdevs gebruiken met 1 hotspare, maar dat is nog steeds kwetsbaar en erg verspillend met ruimte. Het is wel heel performant, maar of ik echt zoveel performantie nodig heb...
- Als ik de aanbevelingen naast me neerleg en dus voor een 7 disk raid-z2 kies, stel ik me de vraag wat de negatieve gevolgen zijn. Ik heb na lang zoeken ergens één persoon gevonden die wat relevante benchmarks had gedaan en daaruit bleek dat een raid-z2 met 7 disken een klein beetje *sneller* zou zijn dan één met 6. Performantie is dus het probleem blijkbaar niet. Mogelijk ligt het dan bij de efficientie van diskgebruik, maar met 25% meer ruimte mag je al iets minder efficient doen. Kortom, ik zie niet zo direct waarom 7 disks zo'n slecht idee zou zijn. Ik heb de theorie erachter gelezen, maar ik de gevolgen in de praktijk zijn me niet echt duidelijk.

[zzattack]

Je zou ook disks bij kunnen kopen. Toch?

[zzattack]

Verwijderd schreef op vrijdag 23 september 2011 @ 17:10:
Draai je dan de officiële system image die bij ZFSguru zit? Want daarin zit dus ZFS versie 28 en diverse optimalisaties, en automatische tuning van je geheugen in de /boot/loader.conf.

Nee, FreeBSD zelf. Ik zal eens kijken wat voor tuning ZFSGuru doet. Er zijn geen UFS bestandssystemen aanwezig. ZFS lijkt m'n overvloed aan geheugen niet te benutten. Tijdens de benches is zo'n 8GB unused, 18GB inactive en 4GB wired. De kleine rest is active.

Zelf heb ik een theorie dat één van je schijven mogelijk langzamer is dan de rest. Dat heb ik vaker gezien/gelezen. Je kunt dat eenvoudig testen:
[...]
Je hoort nu alle disks zien schrijven, en ze horen even snel te gaan. Als je ze langzamer ziet gaan dan zou moeten (b.v. 90MB/s allemaal ipv 150MB/s) dan kan het zijn dat je hardware bandbreedte tekort komt, bijvoorbeeld omdat je PCI-express maar op 1 of 4 lanes werkt, ofzoiets.

Dit lijkt te kloppen.

disk	write speed	controller channel	disk type	/dev/
#1	85	1	7k2000	da3
#2	85	1	7k2000	da4
#3	85	1	7k2000	da5
#4	85	1	7k2000	da6
#5	85	2	7k2000	da7
#6	100	2	7K3000	da8
#7	100	2	7K3000	da9
#8	100	2	7K3000	da10
#9	145	3	7K3000	da0
#10	145	3	7K3000	da1

Zodra ik er minder tegelijk doe, zeg alleen da3-7 (disks 1-5) dan halen deze 100MB/s ipv 85.
Ook disks 6-8 kunnen sneller: zodra deze apart getest worden gaan ze 130MB/s.
Dit lijkt allemaal in lijn met een controller die z'n bandbreedte niet goed verdeeld krijgt. De controller (RR2340...) zit op een PCI-e 8x bus en zou dus 2GBps moeten kunnen gebruiken.

Echter, het allervreemdste heeft betrekking op disks 9 en 10. Deze zitten samen op een poort op de controller. De overige 8 disks zitten met z'n 4en op twee poorten. Volgens de benchmark, en ik heb deze meerdere keren herhaald/geverifieerd, halen deze disks 145MB/s. Zowel volgens dd als volgens gstat. Maar: ze halen slechts 130MB/s (net als de andere 7K3000's) wanneer ze afzonderlijk getest worden! Ze presteren dus beter wanneer de andere disks ook meedraaien. Dit snap ik niet. Morgen ga ik verder zoeken naar problemen, en zodra ik de kans heb ga ik zien hoe de disks direct op het moederbord presteren.

[Psycho_Bartje]

Pantagruel schreef op vrijdag 23 september 2011 @ 20:07:

Het omflashen naar IT mode mbv van de aanwijzigingem op het forum van lime-technology kon beginnen.

Alles ging goed, totdat na de reboot ik er de IT mode firmware in wilde flashen.
Het flashproggie braakte een foutmelding uit: "ERROR: Failed to initialize PAL. Exiting program"

ARGH, even Google'n en gelukkig bleek het probleem op te lossen door de flash in een ander Intel bord voort te zetten. Volgens de LSI knowledge base zijn er problemen met Intel bordjes op basis van de 5000 en 3000 chipset (de C20x klaarblijkelijk dus ook)
Dus een ander plank uit de kast (GA-X38-DQ6), de blanco LSI kaart in het 2e PCIe 16x slot gestoken en verder gegaan met de flash. Even geduld oefenen,...... Et le voila , zo maakt men van een M1015 een LSI 9240-8i in IT modus.

Kijk, dat is nog eens fijne info die ik als oefenTweaker goed gebruiken kan bij mijn aanstaande zelfbouw NAS met ZFS.

Ik heb ongeveer dezelfde setup in gedachten; welke geheugenmodules heb je in dat Supermicro bord gestoken ? Degene die door Supermicro getest zijn ?
De door Cipher geopperde ICIDU Value DDR3,1333-8GB KIT in het DIY NAS topic hebben namelijk een wat aantrekkelijker prijskaartje, dus ik neig de gok te wagen en deze in dit bord te gaan steken.

Dat zijn trouwens inderdaad fraaie waardes die je systeem laat zien, hopelijk kom ik met mijn geplande 10x2TB Samsungs in dezelfde buurt uit als de boel binnenkort werkt; eerst nu binnenkort de boel (eindelijk) maar eens gaan bestellen

[FireDrunk]

Pantagruel schreef op vrijdag 23 september 2011 @ 20:07:
Wat me wel opvalt is dat het koellichaam op de chip van de LSI 9240-8i behoorlijk warm is geworden tijdens de kopieer actie, je vinger houdt je er niet lang tegen aan. Als de boel straks dus in de kast gaat dan toch maar een 120mm fan op de kaart richten om voor de broodnodige beademing te zorgen.

Als je er een paar seconden je vinger op kan houden, maar niet langer zal het koellichaam iets van 40-50c zijn.
Dat is nog niet erg voor chipjes hoor... Bij > 70c hoef je je pas druk te maken. (instant je vinger branden)

(Extra koeling is natuurlijk wel beter voor de levensduur )

[zzattack]

@Pantagruel: wat heb jij voor die ServeRaid betaald?

[Verwijderd]

zzattack schreef op zaterdag 24 september 2011 @ 00:31:
Je zou ook disks bij kunnen kopen. Toch?

In de veronderstelling dat dit in antwoord op mijn berichtje was: neen, dat lukt niet.

Om te beginnen heeft de controller maar 8 poorten en hoewel je met wat gerommel meerdere disks aan één poort kan hangen, is dit bepaald geen goed idee inzake betrouwbaarheid. Het uitvallen van 1 poort zou dan meteen twee disks uitschakelen en daarmee is de veiligheid van raid-z2 meteen weg.
Het toevoegen van 1 extra disk brengt me ook niets. Ik zou 10 disks moeten kunnen steken om de aanbevolen raid-z2 getallen te halen. Voor een extra controller is ook geen plaats op het moederbord, tenzij iemand een PCI-e 2.0 x1 controller met twee sata poorten kent die bruikbaar is om via VT-d aan OpenIndiana door te geven.

Om verder te gaan heeft de kast slechts 7 hotswap bays (en geen ruimte voor meer) die dus nu allen gevuld zijn met de genoemde 1.5 TB schijven. Vandaar dat ik vastzit aan het cijfer 7.

[zzattack]

Ok, duidelijk. Kun je disks op het mobo dan niet doorschuiven naar OpenIndiana? Ik zou raidz2 met 7 disks proberen, mocht dat toch tegenvallen kun je alsnog vanalles proberen.

[HyperBart]

Wat is eigenlijk het hele idee van die IT firmware op bepaalde kaartjes?

[zzattack]

Alle RAID onzin vervalt dan, het wordt een gewone HBA. De schijven worden ook niet gedisconnect als er bad sectors zijn, wat typically wel gebeurt bij RAID kaarten. Met IT flash lijkt het alsof het extra poorten op je mobo zijn, zeg maar. Perfect voor ZFS.

[ Voor 35% gewijzigd door zzattack op 24-09-2011 13:42 ]

[Verwijderd]

zzattack schreef op zaterdag 24 september 2011 @ 01:18:
Nee, FreeBSD zelf. Ik zal eens kijken wat voor tuning ZFSGuru doet. Er zijn geen UFS bestandssystemen aanwezig. ZFS lijkt m'n overvloed aan geheugen niet te benutten. Tijdens de benches is zo'n 8GB unused, 18GB inactive en 4GB wired. De kleine rest is active.

Inactive moet hooguit een paar megabyte zijn. Als je 18GB inactive hebt, moet je haast wel UFS filesystems actief hebben. Check eens met 'mount'. Wired is hetgene wat bijna al je geheugen moet opslurpen, dat is waar het ZFS geheugengebruik onder valt.

Dit lijkt te kloppen.
Zodra ik er minder tegelijk doe, zeg alleen da3-7 (disks 1-5) dan halen deze 100MB/s ipv 85.
Ook disks 6-8 kunnen sneller: zodra deze apart getest worden gaan ze 130MB/s.

Dat is een slecht teken, wat inhoudt dat je controller niet echt dedicated bandwidth levert. Maar je gebruikt nu kanaal 1,2 en 3, correct? Je controller heeft twee Marvell SAS chips, ik denk één per 2 kanalen. Wat als je je schijven nu eerlijker verdeelt en dus ook 4e kanaal gebruikt?

Echter, het allervreemdste heeft betrekking op disks 9 en 10. Deze zitten samen op een poort op de controller. De overige 8 disks zitten met z'n 4en op twee poorten. Volgens de benchmark, en ik heb deze meerdere keren herhaald/geverifieerd, halen deze disks 145MB/s. Zowel volgens dd als volgens gstat. Maar: ze halen slechts 130MB/s (net als de andere 7K3000's) wanneer ze afzonderlijk getest worden! Ze presteren dus beter wanneer de andere disks ook meedraaien. Dit snap ik niet.

Ik ook niet, erg vreemd inderdaad.

Morgen ga ik verder zoeken naar problemen, en zodra ik de kans heb ga ik zien hoe de disks direct op het moederbord presteren.

Dat lijkt me een goed plan. Als op je moederbord het wel werkt zoals je verwacht, d.w.z. geen verschil of je apart of allemaal tegelijk test, dan lijkt het een probleem van jouw specifieke controller. Maar ook je geheugensituatie en tuning kan van invloed zijn dus genoeg om nog uit te zoeken.

Verwijderd schreef op vrijdag 23 september 2011 @ 20:14:
Aangezien ik van plan ben enkele aanbevelingen aan mijn laars te lappen, was ik wel benieuwd of er iemand me kon vertellen hoe rampzalig mijn ideeên dan wel zijn.

Nouja, die zijn er niet voor niets natuurlijk. Als je ZIL op een ander filesystem laat lopen ben je voor de integriteit van je pool geheel afhankelijk van dat andere filesystem. Ik kan het je niet aanraden, met name de ZIL omdat die bij stroomfalen dus intact moet zijn; dat is de hele functie van dat ding. Als je door RDM geen integriteit meer hebt, kun je nog beter de hele ZIL uitschakelen.

Voor L2ARC zie ik veel minder risico; corruptie van de L2ARC zal ZFS detecteren en van je HDDs lezen ipv L2ARC. Maar verwacht wel een performance penalty want bij L2ARC gaat het om latencies, die verhoogt worden door emulatielagen als RDM.

Voor wat betreft het OS lijkt OpenIndiana me op dit ogenblik de beste gok want Nexenta is commercieel en Solaris Express is in handen van Oracle. In BSD-varianten heb ik veel minder vertrouwen dan in Solaris, dus die gebruik ik liever niet.

Prima keuze verder, maar mag ik vragen waarom je minder vertrouwen hebt in BSD?

- 2x 64GB SSD op SATA-600 van moederbord (te kopen, gepland OCZ Agility 3 wegens goede prijs - indien nodig met firmware update)

Sandforce schijven zijn natuurlijk uit den boze. Failure rate ligt heel hoog en ze zijn traag als je incomprimeerbare data schrijft. En dat doet ZFS dus juist heel veel, zoals alle metadata die standaard wordt gecomrimeerd. Ik raad je sterk aan de snellere en veiligere Crucial M4 64GB te overwegen en voor ZIL zou Intel 320 een veiligere - maar duurder/langzamere - optie zijn.

[HyperBart]

zzattack schreef op zaterdag 24 september 2011 @ 13:41:
Alle RAID onzin vervalt dan, het wordt een gewone HBA. De schijven worden ook niet gedisconnect als er bad sectors zijn, wat typically wel gebeurt bij RAID kaarten. Met IT flash lijkt het alsof het extra poorten op je mobo zijn, zeg maar. Perfect voor ZFS.

En waarom dan niet voor een gewone HBA gaan? Zijn die RAID-kaartjes verhoudingsgewijs zoveel goedkoper?

[Verwijderd]

Het is puur een kwestie van firmware; SAS kaarten kennen IT (Initiator Target) of IR (Integrated RAID) firmware. De prijzen verschillen inderdaad ook. Bijvoorbeeld de SuperMicro USAS2-L8e (dus niet i maar e op het einde) is standaard al IT mode en kan volgens mij ook geen IR mode aan.

Een IBM M1015 kopen en flashen naar IT mode is ook een veelgehoord alternatief, en waarschijnlijk goedkoper dan Intel of LSI kaarten.

[FireDrunk]

@HyperBart:
Ja, die komen uit grote productie partijen en worden opgekocht door ebay boeren.
Veel van LSI's productie is voor OEM en worden dan ook bij de nieuwe fabrikant van nieuwe firmware voorzien.
Vaak zijn het budget RAID kaartjes die alleen maar RAID 0, 1 en 0+1 ondersteunen omdat dat prima op software kan. Zie je dus een controller die hardware RAID5 ondersteund is het 99% zeker dat hij niet naar IT firmware geflasht kan worden.

Soms heb je geluk en kan je de LSI IT Firmware geforceerd over de oude heen flashen en krijg je weer een 'unbranded' kaart van LSI.

[Verwijderd]

zzattack schreef op zaterdag 24 september 2011 @ 13:41:
Alle RAID onzin vervalt dan, het wordt een gewone HBA. De schijven worden ook niet gedisconnect als er bad sectors zijn, wat typically wel gebeurt bij RAID kaarten. Met IT flash lijkt het alsof het extra poorten op je mobo zijn, zeg maar. Perfect voor ZFS.

Ik neem aan dat je bij een kaart als de Supermicro AOC-USAS2-L8e die geen RAID heeft dat flashen dus niet nodig is ?

Verwijderd schreef op zaterdag 24 september 2011 @ 13:56:
Nouja, die zijn er niet voor niets natuurlijk. Als je ZIL op een ander filesystem laat lopen ben je voor de integriteit van je pool geheel afhankelijk van dat andere filesystem.

Inderdaad, maar waarom zou *dat* filesystem dan plots als minder betrouwbaar geacht moeten worden ? Het antwoord op die vraag is me niet duidelijk. Misschien maak ik een grote blunder, maar mijn redenering is dat schrijven op een SSD veel sneller is dan op een HD, dus de kans dat er nog dingen ongeschreven zijn in de ZIL op het ogenblik van een theoretische stroomuitval ook veel lager is.

Ik kan het je niet aanraden, met name de ZIL omdat die bij stroomfalen dus intact moet zijn; dat is de hele functie van dat ding. Als je door RDM geen integriteit meer hebt, kun je nog beter de hele ZIL uitschakelen.

Wel, om te beginnen wilde ik geen RDM maar VMDK gebruiken. Ik wil mijn SSD's immers graag voor meer dan één ding gebruiken en ik begrijp dat Solaris daar nogal moeilijk over doet.
Voorts is het de bedoeling dat de server op UPS komt, dus dat stroomfalen zou vrij onwaarschijnlijk moeten zijn.
Tot slot rest mijn vraag hoe waarschijnlijk het is dat bij stroomfalen een gemirrorde ZIL plots corrupt zou zijn. Ik neem aan dat als ZFS alle data voorziet van checksums om de validiteit te verzekeren, dit ook wel het geval zal zijn voor de ZIL.

Prima keuze verder, maar mag ik vragen waarom je minder vertrouwen hebt in BSD?

Ik ga gewoon af op wat ik zie in de bedrijven die ik ken: Solaris gebruiken voor kritische zaken is geen punt voor hen al is dat meestal op Sparc. Linux wordt vaak vrij achterdochtig bekeken, maar is wel zeer dikwijls aanwezig. Enige vorm van BSD heb ik nog maar één keer gezien 15 jaar geleden en die server werd kort daarop door een Linux vervangen. Bovendien is Solaris de thuisbasis van ZFS en meestal betekent zoiets ook dat het daar dan beter werkt.

Sandforce schijven zijn natuurlijk uit den boze. Failure rate ligt heel hoog

Het is me al opgevallen dat er hier nogal negatief gedaan wordt over Sandforce. Failure rate hoger dan voor andere ? Is daar concrete data voor om dat te ondersteunen ? Ik vind verhalen over slechte ervaring met OCZ, maar evengoed met andere merken. Er zijn genoeg kopers van OCZ die wel heel gelukkig zijn met hun SSD, dus ik ga ervan uit dat de negatieve ervaringen gewoon de pechvogels geweest zijn.

en ze zijn traag als je incomprimeerbare data schrijft.

Ik ben even op zoek gegaan naar concrete cijfers en blijkbaar scoort de OCZ 60GB inderdaad zeer laag voor schrijven van niet comprimeerbare data , maar doet de 120GB veel beter. Stof tot nadenken dus, maar 2x120GB is wel wat duurder dan me lief is.
Bron: http://www.behardware.com...-disappointing-specs.html

En dat doet ZFS dus juist heel veel, zoals alle metadata die standaard wordt gecomrimeerd.

Over metadata maak ik me geen zorgen: dat is een verwaarloosbare hoeveelheid. Als ik even bekijk wat er op de SSD's moet komen, zie ik
- OpenIndiana OS: comprimeerbaar
- L2ARC: even moeten opzoeken, maar blijkbaar comprimeerbaar, zelfs indien gecomprimeerde filesystems worden gecached.
- ZIL: gebruikt om latency te verbeteren bij kleine synchrone schrijfacties. IOPS is hier veel belangrijker dan schrijfsnelheid.
- nog geen plannen wat er verder opkomt, maar zeker niet mijn collectie ZIP bestanden. Waarschijnlijk VMDK's en geen ZFS pool, dus verder niet relevant voor dit topic.

Ik raad je sterk aan de snellere en veiligere Crucial M4 64GB te overwegen.

Voor zover ik terugvind, heeft de Crucial M4 juist de repuatatie van een vreselijk trage schrijfsnelheid en bovendien is die duurder. Hij verbruikt zelfs 15% meer al gaat dat natuurlijk over slechts 0,4W .
Helaas schijnt zowat iedereen op internet de veel te dure 240GB/256GB versies te willen benchmarken en die zijn vermoedelijk niet relevant. Als ik daarop voortga, lijkt de Crucial zowat evenwaardig aan een Vertex voor niet comprimeerbare data, maar wordt die ver achtergelaten van zodra compressie mogelijk is.
Wat betreft veilig: elke SSD kan kapot gaan: dat is de reden dat ik mirror wil gebruiken.

[Verwijderd]

Verwijderd schreef op zaterdag 24 september 2011 @ 16:12:
[...]
Ik neem aan dat je bij een kaart als de Supermicro AOC-USAS2-L8e die geen RAID heeft dat flashen dus niet nodig is ?

Bij die kaart niet nee, maar dat is een uitzondering. Merk ook op dat de USAS kaarten een UIO form factor hebben; de componenten zitten aan 'de verkeerde kant', met name het bracket is een probleem want dat gaat niet passen in normale kasten. Dus of het bracket aanpassen of verwijderen. Meer info hierover lees je middels google. De SuperMicro optie is wel een goede verder, met name goedkoper.

Inderdaad, maar waarom zou *dat* filesystem dan plots als minder betrouwbaar geacht moeten worden ? Het antwoord op die vraag is me niet duidelijk. Misschien maak ik een grote blunder, maar mijn redenering is dat schrijven op een SSD veel sneller is dan op een HD, dus de kans dat er nog dingen ongeschreven zijn in de ZIL op het ogenblik van een theoretische stroomuitval ook veel lager is.

Dat laatste is natuurlijk onzin; en juist een SSD heeft met zijn mapping table een groot nadeel met uitvallende stroom. Daarom dat een ZIL device eigenlijk altijd supercaps moet hebben. Intel 320 is dus de enige goede manier voor een ZIL, omdat je dan zeker weet dat de SSD niet corrumpeert bij het wegvallen van de stroom, evenals dat de meest recente informatie ook daadwerkelijk opvraagbaar is. Dat is de hele functie van een ZIL.

Wat betreft je eerste punt; waarom is ZFS veiliger dan andere filesystems. Daar lees je in dit topic genoeg over. Andere filesystems bieden 0,0 bescherming tegen corruptie, hebben geen redundante metadata, kunnen corruptie niet detecteren en bieden maar matige bescherming tegen recent geschreven data in geval van een stroomstoring of reset, e.d.

Wel, om te beginnen wilde ik geen RDM maar VMDK gebruiken. Ik wil mijn SSD's immers graag voor meer dan één ding gebruiken en ik begrijp dat Solaris daar nogal moeilijk over doet.

Volgens Gila, iemand op dit forum, dus niet. Ik heb het ook nagevraagd omdat ik zoveel lees over dat op Solaris het combineren van normale pool+L2ARC+SLOG op dezelfde SSD niet aanbevolen wordt. Maar het topic wat ik daar zelf over heb aangemaakt wordt mij verteld dat dat niet zo is. Ik weet dus niet echt wat ik moet geloven. Maar het kan prima zijn dat deze beperking (wat met flush commando's te maken had) alleen geldt voor versies in het verleden en niet de recente Solaris edities. Ik kan je daar echter geen zekerheid over geven. Onder BSD is het in elk geval geen enkel probleem en een dergelijke setup draai ik zelf ook.

Voorts is het de bedoeling dat de server op UPS komt, dus dat stroomfalen zou vrij onwaarschijnlijk moeten zijn.

Dat is maar één schakel. Een loszittende stroomsplitter, een crashend OS, er kan zoveel gebeuren. Punt is dat de ZIL bij ZFS de laatste schakel is om je server goed te kunnen beveiligen tegen gegevensverlies. Als je dat goed hebt geregeld werkt ZFS op zijn best in die zin dat alle beveiligingen die zijn ingebouwd om je data te beschermen ook correct functioneren. ZFS met dergelijke beveiligingen uitgeschakeld of gereduceerd is nog steeds beter dan andere filesystems, maar als je voor ZFS gaat heb ik zelf zoiets van, doe het dan gelijk goed.

Tot slot rest mijn vraag hoe waarschijnlijk het is dat bij stroomfalen een gemirrorde ZIL plots corrupt zou zijn. Ik neem aan dat als ZFS alle data voorziet van checksums om de validiteit te verzekeren, dit ook wel het geval zal zijn voor de ZIL.

Het punt is dat bij wegvallen van de stroom de SSD:
- compleet kan falen (corrupte mapping tables)
- de meest recente data kwijt kan zijn
- mirroring is niet heilig in dit geval aangezien er een kans is dat beide SSDs corrumperen bij het wegvallen van de stroom; hoe groot die kans is durf ik geen uitspraken over te doen

Dat heeft alles te maken met write remapping en de eigenschap van NAND om data te corrumperen als de spanning te laag wordt, wat gebeurt als de stroom plots wegvalt.

Ik ga gewoon af op wat ik zie in de bedrijven die ik ken: Solaris gebruiken voor kritische zaken is geen punt voor hen al is dat meestal op Sparc. Linux wordt vaak vrij achterdochtig bekeken, maar is wel zeer dikwijls aanwezig. Enige vorm van BSD heb ik nog maar één keer gezien 15 jaar geleden en die server werd kort daarop door een Linux vervangen. Bovendien is Solaris de thuisbasis van ZFS en meestal betekent zoiets ook dat het daar dan beter werkt.

Oke maar dat zijn een hoop aannames. Sun/Oracle/Solaris zijn commerciële producten met ook commerciële support. Logisch dat dat meer bedrijven aantrekt maar dat zegt nog niets over de kwaliteit van de software of ZFS implementatie zelf. Verder is het ook zo dat Solaris nu in de handen van Oracle ligt en die heeft de toekomst van dit platform aardig op het spel gezet. OpenSolaris is dood met wat forks tot gevolg, en wat betreft ZFS is er nog geen enkele code onder CDDL vrijgegeven.

Vanuit mijn perspectief heeft ZFS dus vooral toekomst bij FreeBSD, wat niet in commerciële handen is en een sterke commitment heeft gemaakt naar ZFS. Zo is ZFS ook verbetert in meerdere opzichten ten opzichte van de implementatie in Solaris, en werken de FreeBSD developers ook samen met IllumOS. Wat betreft de toekomst van ZFS denk ik dat je dat eerder bij deze alliantie van open source ontwikkelaars moet zoeken dan bij Oracle. Vergeet ook niet dat alle kernontwikkelaars van Sun die aan ZFS werkten allemaal weg zijn uit het team.

Dat gezegd, de toekomst is onzeker en we zullen zien welke kant het op gaat. Voor nu is ZFS v28 een heel mooi filesystem en daar moeten we het nu mee doen. Dan heb je de keuze voor diverse Solaris platforms en het BSD platform. Linux zie ik (nog) niet als redelijk alternatief.

Het is me al opgevallen dat er hier nogal negatief gedaan wordt over Sandforce. Failure rate hoger dan voor andere ? Is daar concrete data voor om dat te ondersteunen ? Ik vind verhalen over slechte ervaring met OCZ, maar evengoed met andere merken. Er zijn genoeg kopers van OCZ die wel heel gelukkig zijn met hun SSD, dus ik ga ervan uit dat de negatieve ervaringen gewoon de pechvogels geweest zijn.

Dit is niet het topic om dat te bespreken, maar ik denk dat als je genoeg onderzoek verricht je zelf tot de conclusie zult komen dat Sandforce een significant hogere uitval kent dan andere controllers. OCZ heeft ook zelf toegegeven dat hun RMA rate op hoger dan 10% ligt, wat dus betekent dat de daadwerkelijke failure rate nog hoger ligt.

Ik ben even op zoek gegaan naar concrete cijfers en blijkbaar scoort de OCZ 60GB inderdaad zeer laag voor schrijven van niet comprimeerbare data

Crucial M4 is gewoon sneller, punt. En ook betrouwbaarder, dus ik zou Sandforce helemaal geen alternatief noemen. Alleen met sterk comrpimmeerbare data schiet je er qua performance iets mee op. Maar aangezien bij ZFS alle metadata niet goed te comprimmeren valt en je compressie nog beter door je CPU kunt laten doen, heeft Sandforce hier gewoon weinig toegevoegde waarde. Agility 3 is al helemaal een slechte keus; ZFS heeft met L2ARC juist veel baat bij een hoge random read queue depth performance. Serieus, kies een Crucial M4 voor performance of Intel 320. Zeker voor ZFS is Sandforce gewoon een slechte keus.

[Verwijderd]

Verwijderd schreef op zaterdag 24 september 2011 @ 16:43:
Merk ook op dat de USAS kaarten een UIO form factor hebben; de componenten zitten aan 'de verkeerde kant', met name het bracket is een probleem want dat gaat niet passen in normale kasten. Dus of het bracket aanpassen of verwijderen. Meer info hierover lees je middels google. De SuperMicro optie is wel een goede verder, met name goedkoper.

Over dat prutsen om de kaart te doen passen heb ik al één en ander gelezen. Dat zou geen onoverkomelijk probleem mogen stellen. Het viel me inderdaad op dat deze kaart nauwelijks duurder is dan de Intel SASUC8I maar meer mogelijkheden naar de toekomst biedt. Ook lijkt gebruik ervan met Solaris geen probleem.

Intel 320 is dus de enige goede manier voor een ZIL, omdat je dan zeker weet dat de SSD niet corrumpeert bij het wegvallen van de stroom, evenals dat de meest recente informatie ook daadwerkelijk opvraagbaar is. Dat is de hele functie van een ZIL.

Mij lijkt de Intel 320 duur en traag. Bovendien kwam ik tegen dat die beroemde supercaps doen werken ook niet zo triviaal is. Alles bij elkaar genomen ga ik me daar toch maar niet mee bezighouden.

Wat betreft je eerste punt; waarom is ZFS veiliger dan andere filesystems.<knip>

Dat was mijn punt helemaal niet. Mijn vraag was waarom de veiligheid van de ZIL plots in vraag gesteld werd als deze op een SSD geplaatst werd, alsof die gewoon op de harde schijven laten dan zoveel veiliger zou zijn.

Volgens Gila, iemand op dit forum, dus niet. Ik heb het ook nagevraagd omdat ik zoveel lees over dat op Solaris het combineren van normale pool+L2ARC+SLOG op dezelfde SSD niet aanbevolen wordt. Maar het topic wat ik daar zelf over heb aangemaakt wordt mij verteld dat dat niet zo is. Ik weet dus niet echt wat ik moet geloven.

Interessant om weten, maar het zal voor mij niets veranderen omdat ik niet de hele SSD kwijt wil aan OpenIndiana.

<knip> maar als je voor ZFS gaat heb ik zelf zoiets van, doe het dan gelijk goed.

Daar heb je een punt natuurlijk, maar ik kijk ook nog naar enkele andere zaken, zoals mijn geld.

Verder is het ook zo dat Solaris nu in de handen van Oracle ligt en die heeft de toekomst van dit platform aardig op het spel gezet.

Naar ik begrijp heeft Oracle nul komma nul te maken met OpenIndiana. Net zoals ze niets te zeggen hebben over LibreOffice.

Serieus, kies een Crucial M4 voor performance of Intel 320. Zeker voor ZFS is Sandforce gewoon een slechte keus.

Een Intel 320 zie ik niet zitten, maar als je zo sterk de Crucial M4 aanbeveelt, zal ik die sterk in overweging nemen. Is je ervaring met de 64GB versie of een andere ?

[Pantagruel]

Psycho_Bartje schreef op zaterdag 24 september 2011 @ 10:27:
[...]


Kijk, dat is nog eens fijne info die ik als oefenTweaker goed gebruiken kan bij mijn aanstaande zelfbouw NAS met

ZFS.

Ik heb ongeveer dezelfde setup in gedachten; welke geheugenmodules heb je in dat Supermicro bord gestoken ? Degene

die door Supermicro getest zijn ?
De door Cipher geopperde ICIDU Value DDR3,1333-8GB KIT in het DIY NAS topic hebben namelijk een wat aantrekkelijker

prijskaartje, dus ik neig de gok te wagen en deze in dit bord te gaan steken.

Dat zijn trouwens inderdaad fraaie waardes die je systeem laat zien, hopelijk kom ik met mijn geplande 10x2TB

Samsungs in dezelfde buurt uit als de boel binnenkort werkt; eerst nu binnenkort de boel (eindelijk) maar eens

gaan bestellen

Ik heb 4x4GiB van Kingston er in zitten. De modules van ICIDU heb ik toen ik de boel bestelde net gezien (of ze waren er niet), maar ze zijn qua prijs zeer aantrekkelijk.

zzattack schreef op zaterdag 24 september 2011 @ 10:40:
@Pantagruel: wat heb jij voor die ServeRaid betaald?

Voor 2 stuks ServeRaid M1015/LSI 9240-8i ca.€ 240,- incl. verzenden (via Ebay)
2x SFF8087-> 4xSATA; 50 cm en 2x SFF8087-> 4xSATA; 100 cm ca.€70 incl. verzenden.
Dus voor ca € 310 heb ik 16 SATA poorten, enige nadeel wat je kunt bedenken is dat ik nu wel beide PCIe 8x sloten in gebruik zal hebben.
Voorlopig heb ik echter een kaart in gebruik en de ander moet wachten tot dat het budget een uitbreiding toe staat.

Mocht je nu min of meer al zeker weten dat je binnnen afzienbare tijd meer dan 16 SATA poorten nodig zult hebben dan zou je evt. voor een LSI SAS 9201-16i kunnen gaan (ca. €375,- zonder kabels).

zzattack schreef op zaterdag 24 september 2011 @ 13:41:
Alle RAID onzin vervalt dan, het wordt een gewone HBA. De schijven worden ook niet gedisconnect als er bad sectors zijn, wat typically wel gebeurt bij RAID kaarten. Met IT flash lijkt het alsof het extra poorten op je mobo zijn, zeg maar. Perfect voor ZFS.

Inderdaad, het liefst zou je een standaard SATA controller willen hebben voor in de PCIe 8x/4x slots met 8 of 16 SATA aansluitingen. Probleem met de gooedkopere dingen is echter de exotische herkomst van de chipset of een nukkige firmware van de 'producent' van de kaart en de daar aan verbonden ondersteuning. De Highpoint 620 is bijv. een leuk kaartje, FreeBSD kan hem aan middels AHCI maar jammer genoeg slechts 2 SATA poorten.

[Kriss1981]

• Mirroring the log device is recommended. Prior to pool version 19, if you have an unmirrored log device that fails, your whole pool might be lost or you might lose several seconds of unplayed writes, depending on the failure scenario.
• In current releases, if an unmirrored log device fails during operation, the system reverts to the default behavior, using blocks from the main storage pool for the ZIL, just as if the log device had been gracefully removed via the "zpool remove" command.

Klopt het dat vanaf ZFS v19 je pool intact blijft, bij een power failure? Dus alleen de data die op dat moment geschreven wordt, corrupt kan worden?

_{EDIT Bron: http://www.solarisinterna.../ZFS_Best_Practices_Guide}

[ Voor 6% gewijzigd door Kriss1981 op 24-09-2011 19:27 ]

[zzattack]

Ik heb die ServeRaid ook besteld (Max-ICT) voor 170. Jouw E240,- voor 2 stuks is tweedehands neem ik aan? Ik heb er ook een SASUC8i bij gedaan. Alleen de SSD's hebben baat bij SATA-600 dus dat zou zinloos zijn. Deskstar 5K3000 schijven hebben ook een SATA-600 aansluiting, maar die vullen SATA-300 bij lange na niet.

[Pantagruel]

zzattack schreef op zaterdag 24 september 2011 @ 20:02:
Ik heb die ServeRaid ook besteld (Max-ICT) voor 170. Jouw E240,- voor 2 stuks is tweedehands neem ik aan? Ik heb er ook een SASUC8i bij gedaan. Alleen de SSD's hebben baat bij SATA-600 dus dat zou zinloos zijn. Deskstar 5K3000 schijven hebben ook een SATA-600 aansluiting, maar die vullen SATA-300 bij lange na niet.

De M1015's zijn inderdaad 'tweedehands', vlgs de verkoper server pulls ivm de switch naar een volwaardige R5/6 controller. Waarschijnlijk zijn ze 1 of 2x aan geweest ter controle en toen het doosje ingegaan, zo zien ze er in ieder geval uit.

Voor mij is de keuze voor een SATA-600 controller eerder ivm de ondersteuning van 3 TB HDD's , dit laat de weg open voor en toekomstige capaciteitsuitbreiding. Een evt. ssd voor L2ARC/ZIL kan op een van de beide SATA-600 aansluitingen van 't moederbord of op een PCIe 4x SATA controller die FreeBSD ondersteund.

[Phorze]

Ik ben ondertussen over van nexentastor naar zfsguru (1.19beta3) en ik krijg alles netjes geimporteerd, inclusief de zvols.

Echter bij het browsen zijn de bestanden nergens zichtbaar. In het overzicht klopt de used/free space wel per pool. De data is dus nog aanwezig maar niet zichtbaar. Iemand enig idee?

[zzattack]

Waar mount je je filesystems?

[FireDrunk]

Rechten?

[Verwijderd]

Phorze, waar kijk je dan precies? Via Samba, NFS, direct via keyboard of SSH of via de web-interface? Hebben je filesystems wel een 'normaal' mountpoint of juist legacy?

[Phorze]

Verwijderd schreef op zondag 25 september 2011 @ 16:28:
Phorze, waar kijk je dan precies? Via Samba, NFS, direct via keyboard of SSH of via de web-interface? Hebben je filesystems wel een 'normaal' mountpoint of juist legacy?

als ik een zvol (dus /volumes/PwnVault/Backup) share via SMB dan is de map leeg, maar als ik via de geintegreerde filebrowser naar /volumes/PwnVault ga dan zijn de bestanden daar wel zichtbaar. Maar geen submappen (zvols) dus.

Het lijkt erop dat daar dus iets mis gaat

[Verwijderd]

Een ZVOL kun je niet met Samba sharen, en ook geen bestanden van zien. Een ZVOL gebruik je bijvoorbeeld voor iSCSI of als swap volume; het gedraagt zich als een virtuele hardeschijf.

Alleen normale filesystems kun je de bestanden van zien. Post anders eens het scherm op de Files pagina, of handmatig de output van zfs list. Bij dat laatste kun je het beste de [ code ] tag gebruiken.

[Phorze]

Verwijderd schreef op zondag 25 september 2011 @ 16:47:
Een ZVOL kun je niet met Samba sharen, en ook geen bestanden van zien. Een ZVOL gebruik je bijvoorbeeld voor iSCSI of als swap volume; het gedraagt zich als een virtuele hardeschijf.

Alleen normale filesystems kun je de bestanden van zien. Post anders eens het scherm op de Files pagina, of handmatig de output van zfs list. Bij dat laatste kun je het beste de [ code ] tag gebruiken.

code:

[ssh@zfsguru ~]$ zfs list
NAME                                                 USED  AVAIL  REFER  MOUNTPOINT
PwnBackup                                           3.46G   583G    35K  /volumes/PwnBackup
PwnBackup/Backups                                   3.46G   583G  3.46G  /volumes/PwnBackup/Backups
PwnBackup/fotos                                       31K   583G    31K  /volumes/PwnBackup/fotos
PwnDownload                                          107K  1.34T    32K  /volumes/PwnDownload
PwnVault                                            3.56T  6.59T  5.66M  /volumes/PwnVault
PwnVault/Films                                      2.48T  6.59T  2.48T  /volumes/PwnVault/Films
PwnVault/Fotos                                      8.22G  6.59T  8.22G  /volumes/PwnVault/Fotos
PwnVault/Overig                                     61.7G  6.59T  61.7G  /volumes/PwnVault/Overig
PwnVault/Series                                      994G  6.59T   994G  /volumes/PwnVault/Series
PwnVault/backups                                    38.7G  6.59T  38.7G  /volumes/PwnVault/backups
zfsguru                                             6.45G  1.36G    21K  /zfsguru
zfsguru/SWAP001                                     6.19G  7.55G    16K  -
zfsguru/zfsguru-system-8.3-001                       266M  1.36G  81.0M  legacy
zfsguru/zfsguru-system-8.3-001/usr                   185M  1.36G   184M  legacy
zfsguru/zfsguru-system-8.3-001/usr/ports              43K  1.36G    22K  legacy
zfsguru/zfsguru-system-8.3-001/usr/ports/distfiles    21K  1.36G    21K  legacy
zfsguru/zfsguru-system-8.3-001/var                   523K  1.36G   523K  legacy

als ik dus ssh naar een submap , bijv PwnVault/Series, dan is die leeg. wel gevuld! zou het dan te maken hebben met rechten? plus dat ik dus geen zvols mag sharen met nexenta wel submappen kon sharen over smb.

[ Voor 4% gewijzigd door Phorze op 25-09-2011 16:56 ]

[Verwijderd]

Dat zijn geen ZVOLs, doe eens:
zfs list -t volume

Heb je meerdere pools? Het lijkt erop dat je 4 pools hebt, klopt dat? Check met:
zpool list

En tot slot als root:
ls -l /volumes/PwnBackup
(= LS -L maar dan in kleine letters; dit geeft de rechtenstructuur weer)

[ Voor 11% gewijzigd door Verwijderd op 25-09-2011 18:22 ]

[Phorze]

het zijn inderdaad geen zvols gewoon submappen blijkt nu. Ik heb inderdaad 4 pools.

code:

drwxr-xr-x+  14 root  wheel          23 Sep 25 16:01 backups

chmod 777 backups
geeft

code:

drwxrwxrwx+  14 root  wheel          23 Sep 25 16:01 backups

als ik m dan benader zie ik alleen een folder genaamd ".$EXTEND"

[zzattack]

Dat duidt op een lege NTFS partitie denk ik

[Phorze]

zzattack schreef op zondag 25 september 2011 @ 19:34:
Dat duidt op een lege NTFS partitie denk ik

nope, blijkt dat ik de rechten recursief moest toepassen..

code:

chmod -R 777 backups

Nu zijn inderdaad de files zichtbaar. Weet iemand een makkelijkere manier om deze rechten te beheren en aparte smb users aan te maken onder freebsd/zfs guru?
Dit werkt niet echt fijn namelijk..

[Verwijderd]

777 moet je niet doen, dat maakt alle bestanden executable. Wat je moet doen is de owner veranderen van root naar nfs.

chown -R nfs:nfs <directory>

[ Voor 6% gewijzigd door Verwijderd op 25-09-2011 19:40 ]

[Phorze]

Verwijderd schreef op zondag 25 september 2011 @ 19:39:
777 moet je niet doen, dat maakt alle bestanden executable. Wat je moet doen is de owner veranderen van root naar nfs.

chown -R nfs:nfs <directory>

Dit werkt inderdaad. Maar hoe? zo te zien wordt er toegang gegeven aan een user nfs onder een groep nfs?

[Verwijderd]

Onder ZFSguru wordt Samba en NFS onder één username gegooid, genaamd nfs. Dat is gedaan zodat je onder NFS en Samba-toegang dezelfde rechten hebt tot dezelfde bestanden. Als je een filesystem aanmaakt via ZFSguru op de Files pagina dan krijgt die ook direct rechten voor de gebruiker 'nfs' aangewezen.

Voor simpele setups met slechts één gebruiker is dit wel de meest eenvoudige configuratie, geen gezeik gewoon toegang tot je bestanden. Anders kun je het probleem krijgen dat je bestanden die je met Samba hebt geschreven niet overschrijfbaar zijn via NFS en andersom. Dat soort gezeik vermijd je eenvoudig door alle files eigendom te geven van één gebruiker.

[Phorze]

Verwijderd schreef op zondag 25 september 2011 @ 20:41:
Onder ZFSguru wordt Samba en NFS onder één username gegooid, genaamd nfs. Dat is gedaan zodat je onder NFS en Samba-toegang dezelfde rechten hebt tot dezelfde bestanden. Als je een filesystem aanmaakt via ZFSguru op de Files pagina dan krijgt die ook direct rechten voor de gebruiker 'nfs' aangewezen.

Voor simpele setups met slechts één gebruiker is dit wel de meest eenvoudige configuratie, geen gezeik gewoon toegang tot je bestanden. Anders kun je het probleem krijgen dat je bestanden die je met Samba hebt geschreven niet overschrijfbaar zijn via NFS en andersom. Dat soort gezeik vermijd je eenvoudig door alle files eigendom te geven van één gebruiker.

Duidelijk. Bij de samba service ben ik ook nog een 3tal settings tegen gekomen, read/write/public , in te stellen per share. Als ik nu dus " public " uit zet , met welke user kan ik dan inloggen via windows?

[NIK0]

Pantagruel schreef op vrijdag 26 augustus 2011 @ 11:53:
[...]

Niet echt fraai dat een schijf of de gehele array er uit patst onder belasting, die HBA valt dus af.

Aan de hand van een ander draadje in het zuinige ESXi topic een zeer compact lijstje gemaakt met 'populaire' HBA's, populair omdat ze veel waar bieden voor de prijs.

IBM ServeRAID-BR10i (LSI SAS3082E-R)

3GB/s

ziet 2.2 TB

Zoals ik al zei, compact

Ik heb nog niet verder gezocht of het feit dat de HBA slechts 2.2 TB van de 3 TB nog voor andere onhebbelijkheden zorgt. Mocht ik daar wat meer over vinden in de diverse fora dan volgt er wel een edit.

Ik vroeg me af of het issue van > 2 TB disken inmiddels al niet verholpen is met firmware van IBM voor de BR10i..?
http://www-947.ibm.com/su...play?lndocid=MIGR-5077837
(versie 2.70 en 2.72 zie ik aandacht voor > 2TB disken..?)

[Pantagruel]

NIK0 schreef op dinsdag 27 september 2011 @ 10:30:
[...]

Ik vroeg me af of het issue van > 2 TB disken inmiddels al niet verholpen is met firmware van IBM voor de BR10i..?
http://www-947.ibm.com/su...play?lndocid=MIGR-5077837
(versie 2.70 en 2.72 zie ik aandacht voor > 2TB disken..?)

Klopt, dat was eigenlijk al sinds 5.0Beta7, maar ook voor een hobby server zit je denk ik niet te springen om beta firmware.
.
Als je op Ebay wat rond zoekt dan vindt je de BR 10i en de M1015 van IBM min of meer voor dezelfde prijs en van de M1015 was al langer bekend dat 3TB schijven geen probleem was. Wat wel een probleempje is de aanschafprijs van een 3TB schijf tov een 2 TB exemplaar.

[NIK0]

Pantagruel schreef op dinsdag 27 september 2011 @ 10:56:
[...]

Klopt, dat was eigenlijk al sinds 5.0Beta7, maar ook voor een hobby server zit je denk ik niet te springen om beta firmware.
.
Als je op Ebay wat rond zoekt dan vindt je de BR 10i en de M1015 van IBM min of meer voor dezelfde prijs en van de M1015 was al langer bekend dat 3TB schijven geen probleem was. Wat wel een probleempje is de aanschafprijs van een 3TB schijf tov een 2 TB exemplaar.

Ik heb een BR10i kaartje in een Windows 2008 doosje (met windows raid 1 voorlopig, ben druk aan studeren op flexraid).
Gebruik nu gewoon de IBM firmware. heb me laten vertellen dat het het voldoende is om de disk in de setup van de BR10i in non raid mode te zetten om van zaken zoals TLER issues af te komen. (+ het feit van softwarematig gebruik van RAID natuurlijk). Zag dus niet echt de voordelen om LSI IT firmware te proberen.
Bedankt voor je snelle reply!

[Pantagruel]

NIK0 schreef op dinsdag 27 september 2011 @ 11:32:
[...]

Ik heb een BR10i kaartje in een Windows 2008 doosje (met windows raid 1 voorlopig, ben druk aan studeren op flexraid).
Gebruik nu gewoon de IBM firmware. heb me laten vertellen dat het het voldoende is om de disk in de setup van de BR10i in non raid mode te zetten om van zaken zoals TLER issues af te komen. (+ het feit van softwarematig gebruik van RAID natuurlijk). Zag dus niet echt de voordelen om LSI IT firmware te proberen.
Bedankt voor je snelle reply!

Eerlijk gezegd geen idee of 'non raid mode' / 'single drive jbod' in combi met de BR 10i je zal helpen TLER problemen te omzeilen.
Ik wil best geloven dat menig gebruiker als gevolg van TLER problemen een array verloren heeft, zelf mag ik me gelukkig rekenen, ik heb er geen last van heb gehad. Dit ondanks dat de consumer hdd's meerdere jaren aan een hardware RAID5 kaart hebben gehangen (3Ware 7506/3Ware 8500, linux als OS).

Mijn ervaring met software RAID onder Windows is geen goede (meerdere keren failed arrays gehad zonder hardware falen) en persoonlijk blijf ik er ver van weg. Software RAID5 (mix van LVM/mdadm) onder Linux was zelden een probleem.

[ Voor 3% gewijzigd door Pantagruel op 27-09-2011 15:08 . Reden: typo en extra info ]

[NIK0]

Ik heb het vernomen van iemand die niet anders doet dan storage dus ik heb sterk de neiging om dat maar aan te nemen.

Heb op dit moment 2 x HP ML110 G5 draaien. 1 met ESXi (met hardware raid 1) waar de produktie machines op draaien. (eigen bedrijf).
En nog een ML110 G5 met W2K8 R2 en Windows RAID1. (als NAS en eventueel als backupmachine voor de produktiedoos ).
Heb met beide meegemaakt dat er een rebuild diende plaats te vinden en bij beide ging dit op zich prima. (knock on wood).
Het grote verschil wat je wel hebt is dat de hardware raid -tig keer trager was met rebuilden tov de Windows RAID (aangezien deze de host CPU gebruikt om te rebuilden).
Weet niet of je ervaring met Windows RAID onder W2K8 R2 hebt maar het werkt prima. Ik zie ook wel in dat het niet echt schaalbaar is, dus ben ik me nog aan inlezen op ZFS, FlexRaid, UnrRaid en andersoortige *RAID oplossingen.
Ik zal ongetwijfeld nog mensen hierover lastig vallen in de daarvoor bestemde topics .

Iig blij dat het > 2TB probleem inmiddels verholpen is kijkend naar de toekomst...(misschien je tabel nog aanpassen..?)

[ Voor 6% gewijzigd door NIK0 op 27-09-2011 17:31 . Reden: tiepvouten :) ]

[Pantagruel]

NIK0 schreef op dinsdag 27 september 2011 @ 17:28:
...snipzzz..

Iig blij dat het > 2TB probleem inmiddels verholpen is kijkend naar de toekomst...(misschien je tabel nog aanpassen..?)

Inderdaad tijd voor een update van het lijstje met geliefde HBA's.

Controller/HBA	3GB/6GB	3TB
LSI SAS 9211-8i (SAS9211-8I/SGL)	6GB/s	ondersteund
IBM M1015 (LSI SAS 9240-8i)	6GB/s	ondersteund
LSI LSI SAS3081E-R-SGL	3GB/s	ziet 2.2 TB
Intel RAID Controller SASUC8I	3GB/s	ziet 2.2 TB
IBM ServeRAID-BR10i (LSI SAS3082E-R)	3GB/s	ondersteund, firmware versie 2.72 vereist

P.S. Bij gebrek aan een 3TiB schijf kan ik jammer genoeg niet nagaan of de IT firmware die ik recentelijk in mijn M1015 geflashed heb ook daadwerkelijk de 3 TiB herkend.

Seagate geeft in ieder geval aan dat de 3 TiB ES en de LSI 2940-8i samen willen spelen (pdf ) .
Hetzelfde geldt voor 3TiB van Hitachi (pdf).

[ Voor 16% gewijzigd door Pantagruel op 27-09-2011 22:48 . Reden: Extra info 3TiB schijven ]

[zzattack]

.

[ Voor 100% gewijzigd door zzattack op 28-09-2011 00:12 . Reden: . ]

[Mentox]

Pantagruel schreef op dinsdag 27 september 2011 @ 19:26:
[...]


Inderdaad tijd voor een update van het lijstje met geliefde HBA's.

Controller/HBA	3GB/6GB	3TB
LSI SAS 9211-8i (SAS9211-8I/SGL)	6GB/s	ondersteund
IBM M1015 (LSI SAS 9240-8i)	6GB/s	ondersteund
LSI LSI SAS3081E-R-SGL	3GB/s	ziet 2.2 TB
Intel RAID Controller SASUC8I	3GB/s	ziet 2.2 TB
IBM ServeRAID-BR10i (LSI SAS3082E-R)	3GB/s	ondersteund, firmware versie 2.72 vereist

Iemand enig idee of de Intel RAID Controller SASUC8I met kabels komt? Ik vermoed van niet, kan iemand mij vertellen wat voor kabels ik nodig heb?

[Pantagruel]

Mentox schreef op dinsdag 27 september 2011 @ 23:06:
[...]


Iemand enig idee of de Intel RAID Controller SASUC8I met kabels komt? Ik vermoed van niet, kan iemand mij vertellen wat voor kabels ik nodig heb?

Luke, ... use the search,.. and beware of the darkside of the Google

Intel website mbt SASUC 8i

Als je de SATA disk direct aan de SASUC8i wilt hnagen dan is het een SFF-8087 -> 4x SATA forward breakout kabel.

[Pantagruel]

Heren,

Wie van jullie heeft Windows "Previous Version" (Win7 x64) werkend voor ZFS snapshot die je maakt van en Samba shared pool??

Ik heb een flink deel van de avond aan de hand van deze en deze websites en het nodige zoeken in de Samba shadow_copy docs dingen lopen proberen.
Snapshots worden gemaakt en komen in de .zfs/snapshot folder onder de dir waarvan de snapshot gemaakt wordt. MD5 hashes van de originele files, de veranderde files en de snapshot inhoud verschillen na verandering en de snapshot MD5 is gelijk aan de originele variant van de files.

Snapshots neem ik middels:

zfs snapshot -r tank/foto@`date +%YYYY%MM%DD-%H%M%S`

smb.conf ziet er voor de share met snapshotting min of meer zo uit:

vfs objects =shadow_copy
shadow_copy: sort = desc
shadow_copy: format = %YYY%MM%DD-%H%M%S
shadow_copy: path = /tank/foto/.zfs/snapshot

veranderen naar:

vfs objects = shadow_copy2
shadow: snapdir = .zfs/snapshot
shadow: sort = desc
shadow: localtime = yes
shadow: format = %YYYY%MM%DD-%H%M%S

of combinaties van deze twee qua naamgeving,etc, veranderen er niets aan.
Previous Version laat niets zien.

Een laatste horde zouden de toegangsrechten kunnen zijn op de /tank/foto/.zfs/ en ondergelegen folders die standaard op root:wheel staan. Pech wil dat een chown nfs:nfs -R /tank/foto/ in foutmeldingen eindigt dat deze actie jammer genoeg niet kan

[zzattack]

Pantagruel: ik heb een week of 2 geleden ook eens geprobeerd maar uiteindelijk heb ik het opgegeven. Eenmalig heb ik in de smb logs wat shadow_copy informatie teruggevonden maar dat kreeg ik niet gereproduceerd.
Op de freebsd forums (http://forums.freebsd.org/showthread.php?t=4221) is een post te vinden over iemand die het gelukt is, maar de daar genoemde patch is een paar weken later aan samba toegevoegd. De FreeBSD port compilet niet als je EXP_MODUELS in de config aanvinkt. Valt verder ook niet veel over te vinden helaas.

Morgen ga ik samba 3.6.0 proberen. Er is vast een port geplaatst in http://www.freebsd.org/cgi/query-pr.cgi?pr=160190

Wellicht dat deze de complete rewrite die onlangs heeft plaatsgevonden wel bevat en 3.5.0 nog niet. Zie ook

http://git.samba.org/?p=s...87483408ed0d82a4bb1f95157

http://git.samba.org/?p=s...72d10b6a371de8941da25a9ae

[ Voor 31% gewijzigd door zzattack op 28-09-2011 01:34 ]

[Pantagruel]

zzattack schreef op woensdag 28 september 2011 @ 00:29:
Pantagruel: ik heb een week of 2 geleden ook eens geprobeerd maar uiteindelijk heb ik het opgegeven. Eenmalig heb ik in de smb logs wat shadow_copy informatie teruggevonden maar dat kreeg ik niet gereproduceerd.
Op de freebsd forums (http://forums.freebsd.org/showthread.php?t=4221) is een post te vinden over iemand die het gelukt is, maar de daar genoemde patch is een paar weken later aan samba toegevoegd. De FreeBSD port compilet niet als je EXP_MODUELS in de config aanvinkt. Valt verder ook niet veel over te vinden helaas.

Morgen ga ik samba 3.6.0 proberen. Er is vast een port geplaatst in http://www.freebsd.org/cgi/query-pr.cgi?pr=160190

Wellicht dat deze de complete rewrite die onlangs heeft plaatsgevonden wel bevat en 3.5.0 nog niet. Zie ook

http://git.samba.org/?p=s...87483408ed0d82a4bb1f95157

http://git.samba.org/?p=s...72d10b6a371de8941da25a9ae

Thanks, die patch(es) was ik ookal tegen gekomen, maar die zijn hopelijk ondertussen al in smb ingebakken.
Hopelijk wil de nieuwste Samba port wel de zfs snapshots via Previous Version tevoorschijn toveren, afwachten en uitproberen.

[zzattack]

Met de SASUC8i in IT mode geflasht, horen je disks dan als /dev/ada*, /dev/ad* of als /dev/da* te verschijnen onder FreeBSD?

[HyperBart]

Bon, ik heb thuis nog altijd een dik intel servertje liggen met 24GB geheugen, een SSD en wat disks, maar ik wil eens aan de slag gaan met ZFS

Blijkbaar zit in die bak een LSISAS1078, iemand hier ervaring mee? Bedoeling is om niet massa's storage te creeëren, maar eerder een "speeltuintje". Eventueel ESXi hierop, via RDM de controller doorgeven en zo een VM aanmaken...

Ik was van plan om deze HDD's te gebruiken: pricewatch: Samsung Spinpoint M8 1000GB, 1TB SATA-300, 8MB, 5400rpm en voor zover ik begrepen heb vormt eigenlijk iedere disk geen enkel probleem, correct? TLER en dat soort dingen moet ik me niks van aantrekken?

Als beginner, wat wordt eigenlijk aangeraden voor ZFS? Ik vind OpenIndiana er wel "charmant" uit zien... Vind een webinterface belangrijk, wil niet verplicht in de CLI duiken om array's te herstellen (tenzij dit echt POEPsimpel is en het uitvoeren van 4 commands al genoeg is)...

Vooral de rechten in UNIX/*BSD/Linux-varianten vind ik heel moeilijk te begrijpen, en ik had graag de snapshotting-functie gelinkt aan "previous versions" in Windows...

[Verwijderd]

HyperBart: tenzij je ingewikkelde dingen wilt, is één user het makkelijkst zodat je geen problemen met rechten krijgt. TLER heb je niet nodig nee; die disk staat op mijn wenslijstje. Lekker zuinig en toch lekker snel voor een notebookschijf. ESXi, heb je dat echt nodig? Dat kan nog wel voor problemen zorgen, RDM = emulatie, vt-d kun je de controller doorgeven. Heb je vt-d support?

OpenIndiana+napp-it kun je overwegen, maar als je een makkelijke ZFS dist zoekt waarom probeer je dan niet ZFSguru? Dat is volgens mij de makkelijkste manier om met ZFS kennis te maken, en ook al is het nog lang niet uitontwikkeld heeft toch best wat leuke features. Ben nu zelf ook dingen voor aan het ontwikkelen, leuke van ZFSguru is dat het gewoon volledig FreeBSD onder de motorkap is, in tegenstelling tot FreeNAS.

[zzattack]

@CiPHER: jij zei laatst dat mijn rr2340 geen echte HBA was en dat ik o.a. daarom geen /dev/ad* te zien kreeg maar juist /dev/da* devices. Nu heb ik ze op een IT mode-flashed SASUC8i controller geplaatst, maar de schijven verschijnen nog steeds als /dev/da*. De ahci driver is geladen (ahci_load="YES" in /boot/loader.conf). Doe ik nog iets fout?

[Verwijderd]

/dev/da krijg je ook bij SAS. SAS wordt onder SCSI geplaatst, alleen ATA en AHCI wordt /dev/ad en /dev/ada respectievelijk.

[zzattack]

Hm ja, maar ik gebruik gewoon SATA drives. De HBA is naar IT mode geflashed. Iets klopt dus niet, lijkt me?

[Femme]

Het besturingssysteem praat met de controller en dat is in dit geval een sas-controller dus jouw sata-schijf is een sas-device voor het besturingssysteem.

[Verwijderd]

De SAS-controller praat met de SATA disks middels STP (SATA Tunneling Protocol) maar het OS praat met de SAS controller alsof het SAS disks zijn, en dat is via het SCSI-subsystem aangekoppeld. Dat betekent bijvoorbeeld geen TRIM commando's; een nadeel van SAS controllers.

Overigens lijkt AHCI erg op SCSI/SAS en in FreeBSD zijn ATA en SCSI nu onder één architectuur (CAM) ondergebracht, zodat ATA en SCSI niet langer strict gescheiden zijn maar geïntegreerd qua storage backend.

[Pantagruel]

zzattack schreef op woensdag 28 september 2011 @ 00:29:
..snip..

Morgen ga ik samba 3.6.0 proberen. Er is vast een port geplaatst in http://www.freebsd.org/cgi/query-pr.cgi?pr=160190

...

Vandaag de aanwezige samba versie (3.5.9) in ZFSGuru vervangen door een recentere stable port (3.5.11), jammer genoeg was deze minor niet de oplossing om de door zfs genomen snapshots aan 'previous version' van Windows 7 te presenteren.
Na wat hakken en zagen in de smb.conf ben ik uiteindelijk blijven steken op een foutmelding bij het benaderen van een snapshot van een file vanuit 'Previous version' "fsctl_get_shadow_copy_data: connectpath /pad/naar/share ,failed" die ook met behulp van Google,etc niet op te lossen was. Mijn inschatting is dat er een communicatie probleem is tussen smb en 'Previous version' waardoor de snapshots niet gezien worden of foutief worden aangereikt.

De 3.6.0-dev patch (downladen en runnen) en de 4.0-dev versie die 8-2-stable voorhanden heeft compileren inderdaad niet als je in het 'make config' menu exp_mod's aan vinkt. Ik heb eerlijk gezegd nog niet voldoende goed gekeken of exp_mod's strikt noodzakelijk is voor zfs en snapshot ondersteuning.

Wat dus rest is een van deze dagen de werkende samba versie te uninstallen en met de beide dev versies aan de gang gaan in de hoop dat een van beide 'Previous version' gebruik mogelijk maakt. Mocht dat niet het geval zijn dan word het toch OpenSolaris of OpenIndiana uitproberen aangezien deze wel de snapshots aan 'Prev vers' beschikbaar stellen.

[zzattack]

Bij mij installeerde 3.6.0-dev nadat ik handmatig de port databases/tdb had geupgrade.
EXP_MODULES moest inderdaad uit.

Edit: sinds de RocketRAID is vervangen door een echte HBA:

code:

Pool            : store
Read throughput : 664.7 MB/s
Read throughput : 633.9 MiB/s
Write throughput: 600.7 MB/s
Write throughput: 572.9 MiB/s

Da's beter dan die 60MB/s bagger van voorheen.

[ Voor 53% gewijzigd door zzattack op 29-09-2011 00:53 ]

[zzattack]

@Pantegruel: het is gelukt


Het kostte de nodige debugging.. Maar uiteindelijk rond half 3 werkte het

Enkele pointers:
- de default shadow:format is "@GMT-%Y.%m.%d-%H.%M.%S", deze moet je overriden zodat het voorste apenstaartje wegvalt
- de shadow dir paths worden (onterecht) als symlink buiten de share gezien en met de default setting "wide links = no" mag dit niet. Workaround is wide links disablen. Die setting is ook incompatible met de default setting unix extensions = yes, dus deze overriden met no

code:

[global]
        wide links = yes
        unix extensions  = No

[share]
        path = /fileshare/
        vfs objects = shadow_copy2
        shadow:snapdir = .zfs/snapshot
        shadow:localtime = yes
        shadow:sort = desc
        shadow:format = GMT-%Y.%m.%d-%H.%M.%S

Ik heb het onder samba 3.6 voor elkaar gekregen omdat de debugging sinds de vfs_shadow_copy2 rewrite van juli sterk verbeterd is. Wellicht dat het met deze config ook onder de 3.5 versie uit de ports tree werkt.
Mocht je de samba 3.6 port niet gebuild krijgen, dan moet je misschien net als ik tdb upgraden:

portsnap fetch update
cd /usr/ports/databases/tdb
make install clean

[HyperBart]

Verwijderd schreef op woensdag 28 september 2011 @ 17:27:
HyperBart: tenzij je ingewikkelde dingen wilt, is één user het makkelijkst zodat je geen problemen met rechten krijgt.

Dus ik kan op die shares geen permissions instellen voor vader, ik en broer zonder al te veel problemen en miserie?

TLER heb je niet nodig nee; die disk staat op mijn wenslijstje. Lekker zuinig en toch lekker snel voor een notebookschijf. ESXi, heb je dat echt nodig? Dat kan nog wel voor problemen zorgen, RDM = emulatie,

Niet van plan te gebruiken (RDM), maar ESXi is wel leuk gezien het ZOTTE stroomverbruik van dat ding...

vt-d kun je de controller doorgeven. Heb je vt-d support?

Ofkoors

OpenIndiana+napp-it kun je overwegen, maar als je een makkelijke ZFS dist zoekt waarom probeer je dan niet ZFSguru?

Ik ben niet zo van het principe om dingen die in mijn ogen of naar mijn gevoel "not stable of af zijn" te installeren en te gebruiken voor data-opslag... Nu, als je zegt, geen zorgen joh, dat bolt goed en alles wat er in zit is stable, alleen nieuwe functies zitten er nog niet altijd in, of niet alle functies zitten er in, dan geen probleem...

Kan je nu kant en klaar dat "previous versions" principe van Windows werkend krijgen?

Dat is volgens mij de makkelijkste manier om met ZFS kennis te maken, en ook al is het nog lang niet uitontwikkeld heeft toch best wat leuke features. Ben nu zelf ook dingen voor aan het ontwikkelen, leuke van ZFSguru is dat het gewoon volledig FreeBSD onder de motorkap is, in tegenstelling tot FreeNAS.

[ Voor 9% gewijzigd door HyperBart op 29-09-2011 10:44 ]

[Verwijderd]

De smbserver in nexenta werkt out of the box en hoef je ook geen smb.conf bij te houden:

zfs set sharesmb en klaar is klara =)

[Verwijderd]

HyperBart schreef op donderdag 29 september 2011 @ 10:43:
Dus ik kan op die shares geen permissions instellen voor vader, ik en broer zonder al te veel problemen en miserie?

Ik dacht dat je iets simpels wilde hebben en dat dus helemaal niet wilde. Maar natuurlijk, je kunt smb.conf op alle punten aanpassen naar je eigen wensen. Maar ik vind de rechtenstructuur van Samba niet zo fijn werken. Eén user is gewoon een heel stuk makkelijker en werkt gelijk uit of the box. Maar als je je gegevens wilt afschermen moet je wel.

Niet van plan te gebruiken (RDM), maar ESXi is wel leuk gezien het ZOTTE stroomverbruik van dat ding...

Het gebruik van ESXi zal het energieverbruik doen laten stijgen, omdat veel energiebesparing dan niet kan worden gebruikt. Het is in sommige situaties dus zuiniger twee systemen naast elkaar te laten draaien. Ook kun je overwegen om FreeBSD/ZFSguru normaal te draaien en daar bovenop Virtualbox te draaien voor de extra dingen die je draaiende wilt hebben. ZFSguru heeft daar overigens een service package voor die je met een paar muisklikken installeert.

Ik ben niet zo van het principe om dingen die in mijn ogen of naar mijn gevoel "not stable of af zijn" te installeren en te gebruiken voor data-opslag... Nu, als je zegt, geen zorgen joh, dat bolt goed en alles wat er in zit is stable, alleen nieuwe functies zitten er nog niet altijd in, of niet alle functies zitten er in, dan geen probleem...

Jason (de ontwikkelaar van ZFSguru) is iemand die de dingen díe in ZFSguru zitten, goed af wilt maken voordat hij nieuwe functionaliteit erin stopt. Dus inderdaad, het project is nog lang niet af, maar de zaken die in de web-interface zitten vind ik wel heel netjes, makkelijk en duidelijk afgewerkt. Met name in de nieuwe beta-versie, die hier prima stabiel loopt.

Het punt is dat je voor sommige dingen nog naar de command line moet grijpen, omdat ze simpelweg niet in de web-interface zitten. Bijvoorbeeld de rechten van Samba veranderen. Het principe van ZFSguru was dat je simpele dingen heel gemakkelijk werkend kon krijgen, maar altijd nog terug kan vallen op de FreeBSD shell voor meer geavanceerde functionaliteit. Wat dat betreft dus een goede manier om kennis te maken met ZFS en elke keer wat erbij te leren terwijl je de meest elementaire zaken alvast werkend hebt.

Kan je nu kant en klaar dat "previous versions" principe van Windows werkend krijgen?

Kant en klaar nog niet, maar hierboven staat een guide. Ik heb het zelf nog niet geprobeerd. Als ik iets uit mijn snapshots nodig heb kopiëer ik het gewoon handmatig van de .zfs directory naar mijn main filesystem. Bijvoorbeeld als ik een bestand perongeluk heb gedelete of overschreven, dat is me wel eens gebeurd.

Verwijderd schreef op donderdag 29 september 2011 @ 11:40:
De smbserver in nexenta werkt out of the box en hoef je ook geen smb.conf bij te houden:

zfs set sharesmb en klaar is klara =)

Dan heb je nog geen rechtenstructuur naar wens. En in ZFSguru is het één klik op "share with Samba" dus wat is nou makkelijker?

Nexenta is ook geen open source maar een commerciëel product, met zijn eigen beperkingen en nadelen. Als je moet vergelijken met ZFSguru zou ik eerder OpenIndiana+napp-it als alternatief noemen. En die web-interface is lang niet zo gebruiksvriendelijk als ZFSguru, maar heeft wel meer features ingebouwd.

[HyperBart]

Bon, het wordt dus ZFSguru, ik hou jullie op de hoogte, ik heb er nu nog 2x 160GB inzitten, ik ga die nu voor testdoeleinden aanvullen met die 1TB disk, bevalt het mij en weet ik hoe ZFS werkt, koop ik er een klets bij

[zzattack]

Ik heb nog even geprobeerd de Previous Versions met samba 3.5 werkend te krijgen, maar dat is niet gelukt. De rewrite van de shadow_copy2 module in 3.6 is stukken beter. Is dan ook door een samba dev gedaan, en niet als contrib toegevoegd. Nog even wachten tot 3.6 in de ports tree verschijnt, al lijkt Timur al een tijdje off the radar in de ports tree. De port van Sergey op de bugtracker werkt wel redelijk. De dependency op libtdb is nog te laag en moet handmatig geupgrade worden als die <= 1.2.11 is.

* zzattack krijgt het gevoel dat CiPHER hier verantwoordelijk is voor de helft van de ZFSGuru userbase. Nice!

@CiPHER: met volgende week RC1 op de planning en twee weker later 9-RELEASE, denk je dat Jason zijn 0.2 baseert op 8.2 of op 9?

[Verwijderd]

Nou iedereen die ik help ZFS te overwegen ben ik blij om, maar omdat er niet echt één beste keuze is wat betreft ZFS platform moet iedereen beslissen wat hij het liefste draait.

Zelf ben ik erg bekend met FreeBSD, vind ik FreeNAS belangrijke nadelen hebben en dan blijft ZFSguru over. Maar dat vind ik dan wel een heel interessant project. Lekker kleinschaling, maar zit goed in elkaar en ondanks dat het nog lang niet af is, ben ik best onder de indruk. Vooral de toekomst van ZFSguru is denk ik gewoon veel beter dan andere projecten, die allemaal zo hun nadelen hebben.

De 0.1.9-RC zit er aan te komen, zie het Development forum. FreeBSD 9.0-BETA3 is ook pas uitgebracht. Ik weet niet wanneer Jason een nieuwe system image maakt op basis van 9.0. Ik dacht me te kunnen herinneren dat hij wilde wachten tot RC1. Overigens is de huidige system image gebaseerd op 8-STABLE en heeft dus al stabiele ZFS v28 ondersteuning. Dat is voorlopig de versie die ik draai.

Ik denk dat Jason pas bij 0.1.9 final een nieuwe LiveCD zal maken met een nieuwe system image, maar of dat 8.x wordt of 9.0 is nog even afwachten. Je kunt het hem altijd vragen.

[HyperBart]

zzattack schreef op donderdag 29 september 2011 @ 15:43:
Ik heb nog even geprobeerd de Previous Versions met samba 3.5 werkend te krijgen, maar dat is niet gelukt. De rewrite van de shadow_copy2 module in 3.6 is stukken beter.

Wat is die shadow_copy2 module?

Is dan ook door een samba dev gedaan, en niet als contrib toegevoegd. Nog even wachten tot 3.6 in de ports tree verschijnt,

Is dat met een simpele sudo apt-get (of wat gebruikt FreeBSD?) te installeren op een ZFSGuru?

al lijkt Timur al een tijdje off the radar in de ports tree. De port van Sergey op de bugtracker werkt wel redelijk. De dependency op libtdb is nog te laag en moet handmatig geupgrade worden als die <= 1.2.11 is.

Hier snap ik niks van

* zzattack krijgt het gevoel dat CiPHER hier verantwoordelijk is voor de helft van de ZFSGuru userbase. Nice!

@CiPHER: met volgende week RC1 op de planning en twee weker later 9-RELEASE, denk je dat Jason zijn 0.2 baseert op 8.2 of op 9?

Of wacht ik dus beter op die 0.2 gebaseerd op FreeBSD 9 waar dan 3.6 van Samba in zit?

[ Voor 3% gewijzigd door HyperBart op 29-09-2011 16:49 ]

[zzattack]

De shadow_copy2 module voor samba stelt je in staat om previous versions functionality onder Windows te krijgen.
FreeBSD 9 zal samba 3.6 denk ik niet in de ports tree hebben.

Basically zou dit moeten voldoen:

# ports updaten, eerst portsnap fetch extract als je het nooit eerder gedaan hebt,
portsnap fetch update
cd /usr/ports/databases/tdb
make install clean
mkdir /usr/ports/net/samba36-devel
cd /usr/ports/net/samba36-devel
fetch "http://www.freebsd.org/cgi/query-pr.cgi?pr=160190&getpatch=1"
sh query*
make install clean

# snapdir visible maken
zfs set snapdir=visible <poolname>

en paste dan de sections die ik een paar posts terug heb in je /usr/local/etc/smb.conf

Dat zou het moeten doen.

[Verwijderd]

HyperBart schreef op donderdag 29 september 2011 @ 16:48:
Wat is die shadow_copy2 module?

Het stuk functionaliteit wat ervoor zorgt dat je in Windows de 'Previous Version' feature koppelt aan de snapshots van ZFS. Wil je een bestand uit een snapshot herstellen hoef je dat dan niet meer via je server handmatig te doen maar kun je via Windows bij de snapshot data.

Is dat met een simpele sudo apt-get (of wat gebruikt FreeBSD?) te installeren op een ZFSGuru?

Iets ingewikkelder, maar ja het is mogelijk. Edit: zie hierboven.

Of wacht ik dus beter op die 0.2 gebaseerd op FreeBSD 9 waar dan 3.6 van Samba in zit?

Ik denk/hoop dat rond de tijd van ZFSguru 0.1.9 er al een nieuwe system image op basis van FreeBSD 9 beschikbaar is. Maar de twee zijn niet aan elkaar gekoppeld; systeem en web-interface zijn losse releases. Je kunt dus een nieuwere web-interface op een ouder systeem draaien, of een oudere web-interface op een nieuwer systeem.

Maar je kernvraag: het is denk ik heel simpel. Wil je de genoemde functionaliteit nú hebben dan moet je wat prutsen onder de motorkap. Kun je erop wachten dan heb je zodra de nieuwe system image uitkomt wellicht alles 'out-of-the-box' werkend zonder ingewikkelde dingen te hoeven doen.

[Pantagruel]

zzattack schreef op donderdag 29 september 2011 @ 02:38:
@Pantegruel: het is gelukt
snipzz...

Nice !!!

Inmiddels heb ik SMB 3.5.x verwijdert en na een upgrade van tdb de SMB 3.6.0-dev geïnstalleerd.

Met de info van jouw hand dacht ik snel klaar te zijn , het harde werk was al gedaan.
Maar zoals wel vaker is het weerbarstig en gedeeltelijk opgelost.

Eind resultaat, zfs snapshots werken en Win7x64 kan er bij.
Waar ik wel 'last' van heb is dat ik op één file system het niet werkend krijg ondanks dat de settings in de smb.conf exact hetzelfde zijn en de rechten op de files/folders ook. Een beetje onhandig, maar dat laat ruimte om nog naar hartenlust te frunniken.

uitsnede uit smb.conf met werkende Previous version op basis van snapshots:

C:

[Vault]
     path = /Vault/smbshare/
     comment = SMB share at ZFS
     browseable = yes
     writeable = yes
     public = yes
     create mask = 0666
     directory mask = 0777
     guest ok = yes
     vfs objects = shadow_copy2
     shadow:snapdir = .zfs/snapshot
     shadow:localtime = yes
     shadow:sort = desc
     #line below shows snapshot created with the command line
     #zfs snapshot -r Vault/smbshare@`data +%Y.%m.%d.-%H.%M.%S`
     shadow:format = %Y.%m.%d.-%H.%M.%S
     #end of share def

Zoals je ziet heb ik het GMT- gedeelte verwijdert van het format deel, dit omdat het anders niet wilde werken (geen snapshots zichtbaar)

[ Voor 29% gewijzigd door Pantagruel op 29-09-2011 23:48 ]

[zzattack]

Hm, da's vreemd. Heeft je pool een niet-standaard mountpoint misschien?
Je kunt onder [global] log level = 10 setten, dan valt er wellicht iets te debuggen.
Ik gebruikte vaak "tail -f /var/log/samba/log.* | grep shadow" om een interessant stukje in de log te vinden. Daarna gewoon de complete log vanaf daar beschouwen helpt het best.

[CurlyMo]

Verwijderd schreef op donderdag 29 september 2011 @ 15:07:
Kant en klaar nog niet, maar hierboven staat een guide. Ik heb het zelf nog niet geprobeerd. Als ik iets uit mijn snapshots nodig heb kopiëer ik het gewoon handmatig van de .zfs directory naar mijn main filesystem. Bijvoorbeeld als ik een bestand perongeluk heb gedelete of overschreven, dat is me wel eens gebeurd.

Ik zie niet direct waarom shadow copy's nu zoveel makkelijker zijn dan snapshots. Ik heb gewoon mijn snapshot directory via bepaalde scripts gecentraliseerd gedeeld als samba share. Als ik iets stoms doe dan kan ik gewoon via de share naar mijn bestanden op zoek.

[Pantagruel]

zzattack schreef op donderdag 29 september 2011 @ 23:59:
Hm, da's vreemd. Heeft je pool een niet-standaard mountpoint misschien?
Je kunt onder [global] log level = 10 setten, dan valt er wellicht iets te debuggen.
Ik gebruikte vaak "tail -f /var/log/samba/log.* | grep shadow" om een interessant stukje in de log te vinden. Daarna gewoon de complete log vanaf daar beschouwen helpt het best.

Daar heb ik inderdaad ook aangedacht.

De storage pool is destijds vanuit de ZFSguru oppervlakte aangemaakt en die heb ik het mountpoint laten aanmaken/bepalen.
De eerste shared folder heb ik toen vervolgens handmatig aangemaakt (mkdir;chown -R nfs:nfs;etc) en in smb.conf gedefinieerd. Dat heb ik eigenlijk gedaan omdat ik niet de gehele pool als één brok wilde delen, maar volgens een, naar mijn verwrongen geest dan , logische indeling. Wat leeswerk later kwam ik er achter dat je in de storage pool file systems kunt aanmaken en per file system eigenschappen (quota's,etc) kunt definiëren.
Om het gebeuren rondom snapshots en 'Previous version' te testen heb ik in de main pool (Vault) vanuit de ZFSguru oppervlakte een file system toegevoegd (Vault/fotos).

Toen ik het gisteravond, op basis van jouw posting, niet voor elkaar kreeg om de snapshots aan "Prev-vers" te presenteren heb ik een tweede file system in de main pool aangemaakt (test) en gedeeld (gedaan vanuit de ZFSguru oppervlakte), dit met de bedoeling om setting verschillen te kunnen vergelijken en naar een werkende smb.conf te komen.
Aangezien de snapshot toegang voor het nieuwe file system op basis van de 'oude' gegevens waren, viel me pas op het laatst op dat de snapshots van het nieuwe file system (Vault/test) niet wilde werken.
Ik heb toen nog wel een rondje rommelen met de shadow:format %Y.%m.%d. etc. gedaan, maar dat leverde niets op.
Als laatste test heb ik vervolgens de main pool (Vault) gedeeld en de smb.conf aangepast zoals ik dat voor Vault/fotos had gedaan. Na een restart van samba werkte dat meteen en verscheen een vers aangemaakte snapshot vrijwel meteen na het aanmaken in het tab-blad van "Prev-vers" dat ik open had staan (duh )

Vanavond de log level inderdaad maar eens omhoog gooien en zien wat verder prutsen/logje 'tailen' me op zal leveren

[zzattack]

Misschien is de settings shadow:basedir dan nodig.

[HyperBart]

Ik hoor het al, die previous versions ga ik ff laten vallen tot die kerel van ZFSguru het er in steekt...

[Pantagruel]

HyperBart schreef op vrijdag 30 september 2011 @ 11:55:
Ik hoor het al, die previous versions ga ik ff laten vallen tot die kerel van ZFSguru het er in steekt...

Schijterd

zzattack schreef op vrijdag 30 september 2011 @ 11:37:
Misschien is de settings shadow:basedir dan nodig.

Bij thuiskomst even controleren of dat werkt.
Ik kan vanaf mijn werk de ZFS server thuis wel aanzwengelen en via de homeserver naar binnen ssh-en (lang leve tunneling van PuTTy en MobaXterm) om /usr/local/etc/smb.conf aan te passen. Jammer genoeg kan ik dan niet de Windows bak in om te zien of "Previous version" de snapshots dan wel ziet.

Update-tje:
Geen idee waarom die ene gedeelde folder nu niet wilde. Ondanks gefrunnik wilde het nog steeds niet, dus heb ik 't test file system maar weg gemikt. Toen ik de boel opnieuw aanmaakte en de benodigde delen van hogerop uit de smb.conf kopieerde was alles koek en ei. Een klein *zuchtje*, maar alles werkt nu.

[ Voor 68% gewijzigd door Pantagruel op 30-09-2011 20:40 ]

[Verwijderd]

code:

gila@openindiana:~# svcs smb/server
STATE          STIME    FMRI
disabled       22:48:57 svc:/network/smb/server:default
gila@openindiana:~# svcadm enable smb/server


gila@openindiana:~# zfs create rpool/cifs
gila@openindiana:~# zfs set sharesmb=name=cifs,guestok=true rpool/cifs

gila@openindiana:~# sharemgr show -vp
default nfs=()
zfs
    zfs/rpool/cifs smb=()
          /rpool/cifs
                  cifs=/rpool/cifs       smb=(guestok="true")

simpel

[mieJas]

Verwijderd schreef op vrijdag 30 september 2011 @ 13:27:

code:

gila@openindiana:~# zfs set sharesmb=name=cifs,guestok=true rpool/cifs

Precies

Al dat gefoefel met Samba ook altijd

Snapshots worden doorgegeven zonder meer. Wel zorgen dat je ACL's goed staan, maar zo'n werk is dat ook weer niet.

[ Voor 22% gewijzigd door mieJas op 30-09-2011 17:02 ]

[zzattack]

En daar heb je zo ongeveer wel weer alle voordelen van openindiana boven FreeBSD bij elkaar

[Pantagruel]

zzattack schreef op vrijdag 30 september 2011 @ 20:37:
En daar heb je zo ongeveer wel weer alle voordelen van openindiana boven FreeBSD bij elkaar

T' is geloof ik niet de bedoeling dat het ZFS topic in een flame war ontaard over welke distro nu 't "beste" is om ZFS mee te gebruiken.
Voel je je prettig bij OpenSolaris en/of OpenIndiana, alsjeblieft. Gaat je smaak meer uit naar FreeBSD als ruggegraat, ook een goede keuze.
De bedoeling is dat we elkaar op weg kunnen helpen met het gebruik van ZFS.
In het licht van dit laatste is het daarom wellicht handig als we bij vragen rondom functioneren aangeven welk OS in gebruik is om de ZFS functionaliteit aan te bieden (ivm OS specifieke 'eigenaardigheden').

Mijn beweeg reden om voor ZFSGuru/FreeBSD te kiezen is eenvoudig. Gezien de bekendheid met linux leek me FreeBSD een gemakkelijkere instap t.o.v OpenSolaris/OpenIndiana.

[ Voor 12% gewijzigd door Pantagruel op 30-09-2011 20:51 ]

[Verwijderd]

In zfsguru zit nog geen optie voor ssd cache hoe doen jullie dit dan? of niet

[zzattack]

Gewoon via de commandline, zpool add <pool> log /dev/<log device>
log device vind je met bijv. camcontrol devlist

[Verwijderd]

log = SLOG, cache = L2ARC. Dus het is:
zpool add <pool> cache /dev/<DEVICE>

Overigens raad ik aan om een label te gebruiken. Bijvoorbeeld door de SSD eerst via de web-interface te formatteren zodat je een /dev/gpt/<LABEL> device krijgt. Dat is veel netter dan ruwe devices opgeven.

[Verwijderd]

Oke bedankt ben zelf een beetje aan het testen welk systeem het beste voor mij werkt. Heb heel even aan het zfsguru verhaal geroken. Draai nu momenteel openindiana 1.51a met napp-it 0.5 op een m5a78lmusb3 phenom X4 met 8 Gbyte ecc geheugen raid z1 met 4 disk 2TB (niet optimaal moet 3disk zijn maar had het toen al geconfigureerd) plus 80GB ssd intel als cache. Alleen de cache performance zie ik nog niet terug.
Op openindiana draai ik met virtualbox windows homeserver v1 ( waar weer de volgende services op draaien sharepoint,sabnzb+ mailserver backups en fileshares. Tevens maak ik gebruik van iscsi naar twee clienten waar mediacenter op draait waar de tv-programma's worden opgenomen.
Het geheel werkt stabiel en snel.
Gisteren nieuwe hardware besteld.
Nieuw moederbord asus m5a99x evo heeft 8 sata poorten ipv 6 en ook sata600
extra 8GB ecc geheugen nu totaal 16GB ecc unbuffered en 3 extra drives om raid z2 pool temaken
van 8 TB welke in een fractal arc kast stop.

[Verwijderd]

Alleen de volgende generatie fusion FCH chipset beschikt over 8 SATA poorten, jouw moederbord heeft gewoon 6 chipset AHCI poorten en 2 (zwarte) van de JMicron JMB362 controller. Die zouden goed moeten werken onder BSD, maar je kunt wel lagere performance verwachten, ook weet ik niet of ze in AHCI werken.

Als je een RAID-Z maakt waarbij je tenminste één schijf op deze controller plaatst, moet je wel rekening houden met lagere performance. Andere schijven zoals losse systeemdisk of CD/DVD-ROM is wel prima. Je kunt natuurlijk ook een 6Gbps SAS controller overwegen, dan heb je weer 8 poorten erbij mits je in de toekomst nog wilt uitbreiden.

[sloth]

Misschien een niet voor de hand liggende vraag, maar hoe zit het eigenlijk met de voordelen m.b.t. het beschermen van je data die ZFS biedt zoals

• Self Healing; het on-the-fly automatisch repareren van corruptie en bad sectors, mits er voldoende redundancy beschikbaar is.
• Checksums waken over de integriteit van je bestanden, en in het geval dat er toch corruptie plaatsvindt zie je precies welke bestanden dit treft. Nooit meer 'silent corruption' dus!
• Dynamische stripesizes betekent dat ZFS niet kwetsbaar is voor de zogenaamde 'write hole'; ZFS kent geen read-modify-write.
• ZFS bewaakt de consistency van zijn filesystem en application data door transaction groups en ZFS Intent Log (ZIL); onverwachte stroomstoringen zouden nooit ZFS mogen beschadigen

bij een single disk opstelling?

Verder ben ik ook benieuwd naar de sequentiële read en write performance van ZFS t.o.v. andere filesystems bij een single disk opstelling. Bij voorkeur een 2TB 5400 rpm disk zoals de Samsung HD204UI, maar andere zijn ook altijd goed
Een zoektocht op het web kon me hier helaas niet bij helpen, daar vond ik altijd benchmarks van raid setups waar ik niet zo veel aan heb..

[Aeogenia]

sloth schreef op zondag 02 oktober 2011 @ 14:04:
bij een single disk opstelling?

Behalve als je specifeert dat alle data twee keer weggeschreven op dezelde disk is er geen bit-rot beveiliging en self-healing van je data afaik. Het wordt wel gedetecteerd door de checksum maar er is geen vergelijkings materiaal om het te herstellen.

En dan heb ik nog een vraag.

Mijn server had Nexenta Core als OS nu al een tijdje, maar nu wil ik graag switchen naar FreeBSD. Het enige is mijn twee data schijven 2x2TB zijn geformatteerd op versie 26 en FreeBSD 8.2 heeft maar versie 15. (tenminste tot 9.0) Dus kan ik mijn Zpool downgraden tot 15 in Nexenta en dan importeren in FreeBSD?

Mijn google zoektocht levert niet veel op dus heeft hier iemand een Zpool naar een lagere versie gezet, of weet hoe je dit kan doen?

[CurlyMo]

Aeogenia schreef op zondag 02 oktober 2011 @ 15:46:
[...]
Mijn google zoektocht levert niet veel op dus heeft hier iemand een Zpool naar een lagere versie gezet, of weet hoe je dit kan doen?

Dat kan niet.

[zzattack]

Maar 8.2-STABLE heeft al een tijdje support voor v28, dus het is gewoon mogelijk om je pool te importen.

[FireDrunk]

#	Product	Prijs	Subtotaal
1	Intel PRO/1000 PT serveradapter	€ 67,80	€ 67,80
64	Western Digital Caviar Green WD30EZRX, 3TB	€ 114,99	€ 7.359,36
4	LSI SAS 9201-16i	€ 374,90	€ 1.499,60
4	Crucial m4 CT128M4SSD2 128GB	€ 158,98	€ 635,92
1	GeIL Black Dragon GB316GB1333C7QC	€ 130,06	€ 130,06
1	AMD Phenom II X6 1100T Black Edition	€ 162,90	€ 162,90
1	MSI 890FXA-GD70	€ 163,70	€ 163,70
Bekijk collectie Importeer producten		Totaal	€ 10.019

Wie sponsort mijn ZFS server?

[Psycho_Bartje]

FireDrunk schreef op zondag 02 oktober 2011 @ 17:39:

#	Product	Prijs	Subtotaal
1	Intel PRO/1000 PT serveradapter	€ 67,80	€ 67,80
64	Western Digital Caviar Green WD30EZRX, 3TB	€ 114,99	€ 7.359,36
4	LSI SAS 9201-16i	€ 374,90	€ 1.499,60
4	Crucial m4 CT128M4SSD2 128GB	€ 158,98	€ 635,92
1	GeIL Black Dragon GB316GB1333C7QC	€ 130,06	€ 130,06
1	AMD Phenom II X6 1100T Black Edition	€ 162,90	€ 162,90
1	MSI 890FXA-GD70	€ 163,70	€ 163,70
Bekijk collectie Importeer producten		Totaal	€ 10.019

Wie sponsort mijn ZFS server?

Leuk ; in wat voor soort behuizing(en) zou je dit kwijt kunnen ?

[webfreakz.nl]

Psycho_Bartje schreef op zondag 02 oktober 2011 @ 17:59:
[...]


Leuk ; in wat voor soort behuizing(en) zou je dit kwijt kunnen ?

Als het 2,5" hardeschijven waren dan kon het in de http://www.supermicro.nl/...U/417/SC417E16-RJBOD1.cfm

@FireDunk: Wel een beetje lullig zo zonder een 10Gbe adapter...

[TheMOD]

Even een vraagje uit nieuwsgierigheid: Mijn ZFS server draait nu al een tijdje met Smaba 3.5. In het begin had ik een snelheid Windows<-->ZFS van 1,5 MBps. Vandaag ging ik er weer mee aan de slag, en nu haal ik opeens bijna native snelheid van de HDD's o.O (~50MBps)

Ik ben toch wel erg benieuwd hoe dit kan. Ik dacht dat Samba 3.5 sowieso niet bekend stond om zijn snelheid, maar deze stemmingswisseling is toch wel bijzonder

Ik heb FreeBSD 8.2 met Samba 3.5 en een redeljik standaard config file. Dat alles op een ESXi dikke serverbak.

[FireDrunk]

Psycho_Bartje schreef op zondag 02 oktober 2011 @ 17:59:
[...]


Leuk ; in wat voor soort behuizing(en) zou je dit kwijt kunnen ?

Das een goeie... Heb nog geen behuizing gevonden voor 64 disks... Maar mochten jullie mij sponsoren, ga ik wel met MDF aan de slag

webfreakz.nl schreef op zondag 02 oktober 2011 @ 18:07:
[...]

Als het 2,5" hardeschijven waren dan kon het in de http://www.supermicro.nl/...U/417/SC417E16-RJBOD1.cfm

@FireDunk: Wel een beetje lullig zo zonder een 10Gbe adapter...

True, maar daar is geen PCIe slot meer voor vrij...
Ik had natuurlijk ook een Serverclass moederbord kunnen doen, maar zo is ook grappig