Het grote ZFS topic

[FireDrunk]

Ja ja, maar niets concreets... Ik ben iets meer tempo gewend, maar goed, die discussie hoort hier niet thuis.

Ontopic:

Mijn SSD array performt nog steeds als poep door een trechter met een panty eromheen tegen de helling op .

Iemand tips?

[Verwijderd]

Je had toch betere performance met Samba? Wat heb je daarmee kunnen tweaken/tunen?

[FireDrunk]

Sequentieel was het nog steeds poep, random iets beter. Maar dat is zeer waarschijnlijk omdat samba geen synced writes doet.

[Verwijderd]

Zoals ik kan zien had je 110MB/s sequential write en 45MB/s sequential read. Die leessnelheid is niet optimaal, maar write toch zeker wel over gigabit lijkt me? Terwijl dat nu juist het probleem wat met NFS. Kortom, het lijkt mij dat je problemen hebt met protocol-level performance, niet met lokale disk/ZFS performance of client performance.

Dan zou je met NFS of Samba tuning een eind moeten kunnen komen. Probeer de oude NFS server eens, probeer eens wat te tweaken met Samba. Enzovoort?

[revox862]

Wel redelijk toch? 10x 2TB WD Green in RAIDZ2.

ZFSguru 0.2.0-beta8 (9.1-005) pool benchmark
Pool : tank (18.1T, 79% full)
Test size : 64 GiB
normal read : 394 MB/s
normal write : 109 MB/s
I/O bandwidth : 33 GB/s

[FireDrunk]

Writes moeten veel sneller kunnen, mijn array van 10*2TB deed dik 400MB/s schrijven.

[Extera]

Met welke commando's kan ik die benchmarks uitvoeren?
Ik draai FreeNAS namelijk...

[revox862]

FireDrunk schreef op maandag 15 juli 2013 @ 15:32:
Writes moeten veel sneller kunnen, mijn array van 10*2TB deed dik 400MB/s schrijven.

Vaag. Ik hoop over een paar weken mijn nieuwe build klaar te hebben. Die zal wel iets sneller zijn (2x RAIDZ2 met elk 6x 3TB Seagate).

Extera schreef op maandag 15 juli 2013 @ 15:32:
Met welke commando's kan ik die benchmarks uitvoeren?
Ik draai FreeNAS namelijk...

Is onderdeel van ZFSguru.

[jacovn]

Ik had iets van 900+ Mbyte/sec met raidz2 van 10*3TB
Dat was wel toen de pool nog leeg was. Geen idee wat het doet als de Pool vol staat, het vullen wordt wel flink langzamer als je onder de 1 TB vrij komt kwam ik achter.

[sphere]

Wat is dat pool 5000 verhaal? Op de ZoL pagina lijkt het net alsof ze generaties achterlopen met versie 5 van het FS, maar de pool version is wel state-of-art? Wut?

[FireDrunk]

ZFS kent meerdere versies per component. ZPL heeft een versie en ZFS volgens mij.

Versie 28 is de laatste versie die Open Source was, daarna is versie 5000 in het leven geroepen om Solaris niet te hinderen qua versienummers. Zowel ZoL als FreeBSD's ZFS implementatie werken met feature flags vanaf nu.

---

Vanmiddag even met Bonnie++ de SSD array getest, en ik haal > 1GB/s lezen en ruim 300MB/s schrijven lokaal. Beetje jammer dat NFS zo moeilijk doet... Denk dat ik maar een losse server ga opzetten met een rappe SSD als ZIL ipv een SSD array maken, want ik vind dit allemaal behoorlijk tegenvallen...

Ik heb de halve middag zitten prutsen met samba instellingen, en soms scheelt het 10MB/s soms 5MB/s maar ik kom niet eens in de buurt van de 75MB/s.

Random write snelheden van 12MB/s vind ik ook betreurenswaardig, maar dat kan misschien nog liggen aan het feit dat het Intel G2's zijn. Misschien maar eens proberen met een Seagate 600 Pro ofzo als het schip met geld binnen is.

[ Voor 53% gewijzigd door FireDrunk op 15-07-2013 18:10 ]

[Xudonax]

Okay, ik heb een vermoeden waarop mijn ZFS on Linux crasht Zodra er access is op een zvol gaat het systeem schijnbaar onderuit. Hoe kom ik hierbij? Nou...

Ik heb zojuist een Intel SSD toegevoegd aan mijn systeem als SLOG/CACHE device. Om het effect hiervan te meten wilde ik in een Windows Vista VM op de pool CrystalDiskMark draaien in op iSCSI volume. Dit iSCSI volume is een ~50GB ZVOL op dezelfde pool. Zodra ik begon aan het formateren van het volume ging de server op z'n reet

Probleem gevonden, nu dus nog een oplossing...

[FireDrunk]

ZVOL verwijderen

[Xudonax]

Daar word ik niet blij van, dat kost me m'n swap (boeiend!) of een kleine 500GB aan videomateriaal. Die laatste vind ik toch wel een beetje interessant Het nadeel is alleen dat ik dat video materiaal op dit moment ook niet van de schijven af kan halen... Oeps?

[Q]

FireDrunk schreef op maandag 15 juli 2013 @ 16:06:
Vanmiddag even met Bonnie++ de SSD array getest, en ik haal > 1GB/s lezen en ruim 300MB/s schrijven lokaal. Beetje jammer dat NFS zo moeilijk doet... Denk dat ik maar een losse server ga opzetten met een rappe SSD als ZIL ipv een SSD array maken, want ik vind dit allemaal behoorlijk tegenvallen...

Ik heb de halve middag zitten prutsen met samba instellingen, en soms scheelt het 10MB/s soms 5MB/s maar ik kom niet eens in de buurt van de 75MB/s.

Random write snelheden van 12MB/s vind ik ook betreurenswaardig, maar dat kan misschien nog liggen aan het feit dat het Intel G2's zijn. Misschien maar eens proberen met een Seagate 600 Pro ofzo als het schip met geld binnen is.

Is de status nu dit?

1. NFS = ruk
2. SMB = minder ruk
3. Array zelf = awesome

Ik zou eens een ramdisk maken in je VM en die dan via NFS sharen en kijken wat de performance dan is met je client.

Ik zou ook een 2e VM als NFS client inzetten, naast VMWARE zelf, want dan weet je echt of het VMWARE specifiek is. Of heb je dit al getest?

Ik zou zeker ook nog eens met iSCSI kloten testen.

Ik roep maar wat dingen, weet niet precies wat je nu getest hebt, maar ik denk dat het te fixen moet zijn zonder dat je met extra losse hardware aan de slag hoeft.

[ Voor 6% gewijzigd door Q op 15-07-2013 20:27 ]

[FireDrunk]

Je statusupdate klopt wel ongeveer ja.

Ramdisk is idd nog een idee, andere VM heb ik getest, en via NFS async doet die 110MB/s sync, zelfde als ESXi (10-15MB/s).

iSCSI vind ik vies (maar zal eens kijken of ik dat nog eens kan testen...)

[ Voor 12% gewijzigd door FireDrunk op 15-07-2013 20:46 ]

[jacovn]

Verwijderd schreef op maandag 15 juli 2013 @ 14:50:
Ik wil jullie ook wel vragen om respect voor iemand die toch een deel van zijn leven geeft om zonder eigen belang iets te ontwikkelen voor anderen. Het kost Jason gewoon geld iedere maand om ZFSguru draaiende te houden. Met zijn skills had hij ook prima een goede baan kunnen krijgen, maar hij wilde toch een andere kant uit. Ik snap dat er vanalles beter kan. Communicatie is daar zeker één belangrijk punt van. Maar aan de andere kant, heb respect voor iets wat je gratis en voor niets krijgt

Ik ben hem dankbaar voor wat hij gemaakt heeft. Werkt prima, en als het niet werkte was het meestal user error van mijn kant.

[Verwijderd]

Voor de liefhebbers: ZFSguru: State of the Project 2013.

[Xudonax]

Maar het kan nog leuker. Mijn errors gebeuren schijnbaar alleen in kernels welke nieuwer zijn dan die van Debian. Op Debian bestaan deze problemen niet. Nu heeft Fedora op het moment enkel 3.9.x kernels geïnstalleerd staan op mijn machine, dus ik weet niet waar het probleem precies ontstaan is. Ik ga eens kijken of ik terug kan naar kernel 3.8.5 ofzo

[Q]

FireDrunk schreef op maandag 15 juli 2013 @ 20:45:
Je statusupdate klopt wel ongeveer ja.

Ramdisk is idd nog een idee, andere VM heb ik getest, en via NFS async doet die 110MB/s sync, zelfde als ESXi (10-15MB/s).

iSCSI vind ik vies (maar zal eens kijken of ik dat nog eens kan testen...)

Wat doet ESXi async dan, ook die 10/15 MB/s?

iSCSI is niet vies maar wat meer werk om op te zetten.

Qua high-availabiliyy via MPIO is het ook wel tof, alhoewel dat voor jouw situatie niet relevant is (alles op 1 doos) maar iSCSI laat je wel meerdere gigabit kaarten multiplexen tot een virtuele 2 3 of 4 gigabit lijn en geeft ook dus meteen redundantie.

[ Voor 18% gewijzigd door Q op 16-07-2013 00:04 ]

[FireDrunk]

Esxi is altijd sync helaas.

[analog_]

Verwijderd schreef op maandag 15 juli 2013 @ 21:00:
Voor de liefhebbers: ZFSguru: State of the Project 2013.

Is dit dan definitief het einde voor ZFSguru? Ik betwijfel dat dit zinvol is en alleen maar tijd afsnoept.

[FireDrunk]

analog_ schreef op dinsdag 16 juli 2013 @ 03:17:
[...]

Is dit dan definitief het einde voor ZFSguru? Ik betwijfel dat dit zinvol is en alleen maar tijd afsnoept.

Dat heb ik ook gezegd in het forum topic: http://zfsguru.com/forum/generalchat/656#4129

[Anteros]

Jammer. Ik ken Jason niet, maar volgens mij neemt hij veel te veel hooi op zijn vork. Verder vind ik dat hij nogal in 'ik'-vorm spreekt terwijl CiPHER (naar mijn weten) ook ontwikkelt aan ZFSguru. Het verhaal komt een beetje egoïstisch over op mij. Maar goed...

Verder is mijn mening en ervaring dat 2, 3 of meer grote projecten draaien in een klein team, killing is voor al die projecten. Je hebt gewoonweg geen tijd (en de focus!) om goed na te denken over architectuur, implementatie, testen, bug-fixes, release planning, support, etc. In het beste geval zal alles een gemiddelde kwaliteit krijgen.

Ikzelf zit er ook aan te denken om een Nas4Free/FreeNAS/ZFSguru alternatief (open-source/freeware) te maken. Eentje die anders is dan anderen, zeer makkelijk in gebruik, uitbreidbaar (packages) en er visueel goed uitziet. Echter ben ik me bewust van bovenstaande en daarom dus (nog) terughoudend om er mee te starten. Ik wil voorkomen dat je iets leuks begint, mensen enthousiast raken en vervolgens stopt de ontwikkeling bij gebrek aan tijd, motivatie, focus, etc.

Erg knap dus dat Jason zoiets begonnen is, maar weer jammer dat hij focus verliest en teveel wil. In mijn ogen vertraagd - of stopt? - dit de ontwikkeling van ZFSguru en voorzie ik een minder florissante toekomst voor dit leuke project.

[Verwijderd]

analog_ schreef op dinsdag 16 juli 2013 @ 03:17:
Is dit dan definitief het einde voor ZFSguru? Ik betwijfel dat dit zinvol is en alleen maar tijd afsnoept.

Het einde van een tijdperk, wellicht. Maar ook het begin van een nieuw tijdperk. Door Mesa te schrijven en te integreren met ZFSguru kun je bijvoorbeeld vertalingen verwachten, betere documentatie, meer community invloed en kun je zelf gemakkelijker mee ontwikkelen aan Mesa en ZFSguru.

Met een goede basis kan dat betekenen dat ZFSguru juist veel sneller tot ontwikkeling komt, omdat ook de community een belangrijke invloed krijgt en zelf mee kan ontwikkelen, terwijl Jason de basis heeft geschreven, de fundering.

Anteros schreef op dinsdag 16 juli 2013 @ 10:01:
Jammer. Ik ken Jason niet, maar volgens mij neemt hij veel te veel hooi op zijn vork.

Je moest eens weten waar wij nog meer mee bezig zijn, dat project is nog véél groter.

Verder vind ik dat hij nogal in 'ik'-vorm spreekt terwijl CiPHER (naar mijn weten) ook ontwikkelt aan ZFSguru.

Hij has eerst 'us' enzo, maar ook 'I' en dat vond ik vreemd door elkaar. Toen zei ik maak alles maar gewoon in jouw vorm; het is immers ook jouw speech en ook jouw project. Dus als het egoïstisch overkomt is dat eerder mijn schuld.

Verder is mijn mening en ervaring dat 2, 3 of meer grote projecten draaien in een klein team, killing is voor al die projecten.

Het hele idee is dat het werken aan Mesa ook tijd besteed aan ZFSguru is. De projecten zouden elkaar moeten versterken. Het werk wat nu in Mesa zit, is in feite het herschrijven van de basis van ZFSguru. En dat is nu al grotendeels voltooid en zal ofwel zijn weg vinden in beta9 ofwel de versie daarna. Kortom, ik snap je punt heel goed.

Maar eigenlijk denk ik dat juist het tegenovergestelde zal gebeuren. Met een heel goede basis wordt het gemakkelijker om door blijven te ontwikkelen en het project geschikt te maken voor invloed van buitenaf. Zelf een plugin schrijven, zelf een vertaling schrijven, met behulp van tools en documentatie die wij schrijven.

Verder is Mesa toch echt wel een leuke aanvulling voor de beschikbare services van ZFSguru. Veel mensen vinden het leuk om een servertje te hebben en daar allemaal dingetjes op te draaien. Een eigen website wordt daarbij veel genoemd. Het is juist mooi als de kwaliteiten van Jason ook hier van toepassing komen en het doodeenvoudig wordt een eigen website op te zetten.

Ikzelf zit er ook aan te denken om een Nas4Free/FreeNAS/ZFSguru alternatief (open-source/freeware) te maken. Eentje die anders is dan anderen, zeer makkelijk in gebruik, uitbreidbaar (packages) en er visueel goed uitziet. Echter ben ik me bewust van bovenstaande en daarom dus (nog) terughoudend om er mee te starten.

Haha. Wel grappig omdat dit min of meer in tegenspraak lijkt te zijn met wat je hierboven schrijft.
Vind je het niet leuker om een plugin te schrijven ofzo voor ZFSguru? Je hebt met de drie projecten een duidelijke verschillende stijl; wellicht is het dan beter je aan te sluiten bij één van deze projecten? Jason is voor zichzelf beginnen ipv mee te ontwikkelen aan FreeNAS omdat hij de opzet van FreeNAS niet goed vond, op basis van NanoBSD en heel veel beperkingen. Hij wilde 100% ZFS, iets moderns. Maar als jouw project min of meer redundant is aan hetgeen al bestaat, heeft het dan wel bestaansrecht?

Erg knap dus dat Jason zoiets begonnen is, maar weer jammer dat hij focus verliest en teveel wil. In mijn ogen vertraagd - of stopt?

Het zou juist stoppen als het bloated raakt en de basisarchitectuur niet meer leuk is om aan te ontwikkelen. Door een goede schone en lichte architectuur te houden die zeer modulair is, kun je een project juist levensvatbaar houden.

Zoals je in zijn speech kunt lezen, is het ook niet zozeer een losstaand project, maar meer het herschrijven van de basis van ZFSguru en aanvullen zodat het algemener wordt. Mesa is dan de basis, ZFSguru een soort plugin voor Mesa die specifieke functionaliteit toevoegt. De combinatie is een mooi schoon en net framework waar je heel gemakkelijk zelf functionaliteit aan kunt toevoegen.

Ik ben eigenlijk best positief over de toekomst van ZFSguru. Ik zie het zelf wel zitten. Graag zou ik zelf ook meer tijd erin willen steken. Hopelijk gaat dat lukken deze zomer. Wellicht als deze zomer veel nieuw spul wat nu nog op de plank ligt, wordt gereleased, dat het negatieve sentiment enigszins verdwijnt?

[FDMK]

Persoonlijk denk ik dat je al een hele klap negativisme wegneemt zodra ja beta9 met daarin de nieuwe rechtenstructuur released. Althans daar wacht ik op met overstappen vanaf N4F.

[Verwijderd]

Zekers. Ik zou nog screenshotjes laten zien; laat ik dat nu eens gaan doen.

[Extera]

Kan ZFSguru ook encrypted volumes importeren? Dit kan ik nergens terug vinden.

revox862 schreef op maandag 15 juli 2013 @ 15:50:
Is onderdeel van ZFSguru.

ZFSguru voert onderwater toch ook een commando uit om de benchmarks te draaien?

[ Voor 73% gewijzigd door Extera op 16-07-2013 11:17 ]

[Tsurany]

Ik heb NAS4Free in een VM draaien op mijn werklaptop en even twee vdev's aangemaakt en dat werkt allemaal prima. Ik vind de interface duidelijk en het aanmaken van shares en dergelijken gaat vrij eenvoudig. FreeNAS vind ik ook fijn om mee te werken maar wat mij tegen houd is dat dit op een vrij verouderde FreeBSD versie draait. Mij lijkt de nieuwste versie draaien handiger.

Heeft iemand positieve ervaringen met VMXNET3 onder NAS4Free of FreeNAS?

[Verwijderd]

@Extera: ZFS encryptie is niet onderdeel van open source ZFS; enkel voor Solaris ZFS wat in feite voor ons niet bestaat. Het is ook inferieur qua performance (single core software encryptie; geen hardware acceleratie). BSD platforms ondersteunen GELI wat multi-core software encryptie is en ook AESNI hardware encryptie ondersteunt; voor nieuwere Intel processors (en volgens mij ook AMD).

Zojuist nieuwe screenshots geupload van ZFSguru beta9. Voor de liefhebbers:
ZFSguru beta9 sneak peak

[FireDrunk]

Ja hoor, werkt prima.

[Xudonax]

Ik ben het gekloot met Fedora zat, het blijft willekeurige errors geven die ergens wel met activiteit op ZFS on Linux te maken lijken te hebben (zoals bijv. activiteit op een ZVOL), maar in de stacktraces is daar vervolgens niets van terug te vinden. Volgende halte is voor mij CentOS 6, want ik vind YUM persoonlijk fijner werken dan apt-get, plus dat ik heb gemerkt dat op Ubuntu de KVM structuur niet helemaal joepie is.

Vanavond dus zorgen dat ZFS+CentOS gaat werken

[FireDrunk]

Waarom geen Ubuntu?

[Xudonax]

Xudonax schreef op dinsdag 16 juli 2013 @ 12:26:
Volgende halte is voor mij CentOS 6, want ik vind YUM persoonlijk fijner werken dan apt-get, plus dat ik heb gemerkt dat op Ubuntu de KVM structuur niet helemaal joepie is.

Vooral de virtualisatie die Ubuntu meelevert vind ik niet fijn werken. Ik draai op werk Ubuntu 13.04 (en hiervoor 12.10 en 12.04) maar ik mis hier bijvoorbeeld support voor dingen als QXL (zit er sinds kort wel in dacht ik) of UEFI booting. En daar komt bij dat ik echt niet kan wennen aan apt Ik blijf apt-get search doen, maar dat werkt natuurlijk niet

Ik kán best Ubuntu/Debian gebruiken, maar Red Hat distributies vind ik persoonlijk fijner werken.

[FireDrunk]

Begrijpelijk hoor, maar juist als het om ZFS gaat is Ubuntu vaak redelijk voorzien van de laatste versies...

[Xudonax]

Naja, er is ook een ZFS on Linux repository (officieel) voor de Red Hat distributies, dus dat loopt wel los

[Extera]

Verwijderd schreef op dinsdag 16 juli 2013 @ 12:22:
@Extera: ZFS encryptie is niet onderdeel van open source ZFS; enkel voor Solaris ZFS wat in feite voor ons niet bestaat. Het is ook inferieur qua performance (single core software encryptie; geen hardware acceleratie). BSD platforms ondersteunen GELI wat multi-core software encryptie is en ook AESNI hardware encryptie ondersteunt; voor nieuwere Intel processors (en volgens mij ook AMD).

Zojuist nieuwe screenshots geupload van ZFSguru beta9. Voor de liefhebbers:
ZFSguru beta9 sneak peak

Laat ik mijn vraag anders stellen :-)
Kan ik een in FreeNAS gecreëerd encrypted volume weer importeren in ZFSguru?

[Verwijderd]

Lijkt me van wel. Alleen weet ik niet hoe FreeNAS encryptie toepast. Dat kan namelijk op drie verschillende manieren. Je zult het wel handmatig moeten doen; het kan niet via de ZFSguru GUI. Maar je kunt bijvoorbeeld met SSH inloggen en dan een scriptje maken die je encrypted volume opent en je dan je wachtwoord invult. Dat kan wel.

[Tsurany]

Ik wil mappen delen waarbij niet elke gebruiker bij alle mappen kan komen terwijl sommige mappen weer als guest toegankelijk zijn. Klopt het dat ik dan bij de mappen die niet iedereen mag openen de permissies zo moet instellen dat elke map zijn eigen group heeft die toegang krijgt tot die map en dat ik dan gebruikers toevoeg aan de group behorende bij die map?

Ik snap niet waarom dit zo complex moet zijn, ik kom er echt niet uit met al die online tutorials, die maken het enkel verwarrender. Het lijkt wel alsof mijn requirement iets is wat bijna nooit voor komt en zeer uniek is.

[Verwijderd]

Je hebt permissies op fileniveau en op applicatieniveau (Samba). Ik raad aan dat je de permissies op fileniveau lekker open laat staan, en de permissies op Samba niveau regelt. Dus verschilende Samba accounts. Je kunt dan instellen dat guest alleen read-only toegang heeft tot X, read-write toegang tot Y en geen toegang tot Z, terwijl overige gebruikers met wachtwoord toegang hebben tot verschillende shares.

Ps. dit sluit wel erg aan op de nieuwe ZFSguru functionaliteit.

Permissies is overigens ook vrij ingewikkeld. Nergens heb ik het echt simpel gezien als je iets meer dan een simpele configuratie wilt.

[Tsurany]

Alleen zowel FreeNAS als NAS4Free hebben, voor zover ik kon zien, geen mogelijkheden om permissies op applicatieniveau in te stellen. Het lijkt wel alsof permissies perse op fileniveau ingesteld moeten worden.
Dit is inderdaad precies wat nu wel in ZFSGuru is ontwikkeld, maar zolang dat niet beschikbaar is heb ik daar niet veel aan

[Verwijderd]

Snap ik, maar permissies is best lastig. Op fileniveau kun je niet goed doen wat jij wilt. Misschien dat anderen tips voor je hebben, bijvoorbeeld met Access Control Lists (ACL). Daar heb ik zelf geen ervaring mee. Het idee is dat je met Windows dan de permissies kunt instellen per groep enzo.

[Tsurany]

Maar is dit niet een vrij essentiële functionaliteit voor een NAS? Het lijkt mij dat dit de basisfunctionaliteit van elke NAS is, bepalen wie welke data geshared krijgt. Hoe pakken anderen dit dan aan? Gewoon iedereen toegang geven tot alle data?

[FireDrunk]

Samba: 1 user met alle rechten, by default geen toegang. NFS via ip restricties.

[Extera]

Tsurany schreef op dinsdag 16 juli 2013 @ 14:18:
Alleen zowel FreeNAS als NAS4Free hebben, voor zover ik kon zien, geen mogelijkheden om permissies op applicatieniveau in te stellen. Het lijkt wel alsof permissies perse op fileniveau ingesteld moeten worden.
Dit is inderdaad precies wat nu wel in ZFSGuru is ontwikkeld, maar zolang dat niet beschikbaar is heb ik daar niet veel aan

Ik heb met FreeNAS nog niet kunnen uitvogelen hoe ik mixed permissie's kan geven per dataset.
Dus bepaalde users alleen read, en andere weer read/write.

Je kan alleen een owner (UID) en owner (GID) instellen. En daar de rechten voor instellen.
Je zou er dan voor kunnen kiezen om guests read access te geven, maar dat wil ik niet. Guests mogen helemaal niets, en alleen users in de read-only group maken de share lezen.

Hoe dit moet is mij een raadsel. Volgens mij moet dan de share worden gemount op een domain controller, en kan je daar de permissies aanpassen.

Dit zit er in de nieuwe zfsguru stukken beter geregeld uit!

[Tsurany]

FireDrunk schreef op dinsdag 16 juli 2013 @ 14:29:
Samba: 1 user met alle rechten, by default geen toegang. NFS via ip restricties.

Ja dat is dus niet helemaal wat ik wil. Wel heb ik het volgende gevonden:
http://blog.grogscave.net...-user-login-problems.html
Wellicht is dit een oplossing voor mij.

Extera schreef op dinsdag 16 juli 2013 @ 14:34:
Ik heb met FreeNAS nog niet kunnen uitvogelen hoe ik mixed permissie's kan geven per dataset.
Dus bepaalde users alleen read, en andere weer read/write.

Inderdaad, dit kan ik nergens terug vinden.

[FireDrunk]

Ik kan even zo snel niet vinden wat je precies wel wil? Care to elaborate?

[Tsurany]

Men neme de volgende theoretische situatie.

Mappen:
\Overig\
\Boekhouding\
\Management\
\Secretariaat\

Iedereen mag toegang hebben tot Overig.
Boekhouding mag enkel bewerkt worden door de users accountant en senior manager, junior manager en secretaresse krijgen geen toegang.
Management mag bewerkt worden door senior manager en junior manager terwijl secretaresse enkel readonly toegang heeft en de accountant geen toegang heeft.
Secretariaat mag bewerkt worden door senior manager, junior manager en secretaresse, accountant krijgt geen toegang.

Hoe kan je dit nu regelen?

[FireDrunk]

NFSv4 ACL's zou dat wel mee moeten kunnen verwacht ik.

[Extera]

Ik was eigenlijk van plan om dit met een Windows Domain controller op te lossen.
Erg omslachtig, maar het doet dan wel wat ik wil.

http://tips.viktak.com/20...nas-work-with-active.html

[Xudonax]

In de Samba configuratie zelf moet je gewoon groepen/users kunnen aangeven die bepaalde rechten krijgen. Maar ja, dan ga je wel om de ZFSGuru webinterface heen...

[FireDrunk]

Ik weet niet of samba alleen genoeg is. Denk eerder dat het een combinatie van ACL's en samba instellingen is.

[ Voor 47% gewijzigd door FireDrunk op 16-07-2013 15:11 ]

[Tsurany]

Maar het klopt dus dat je dit niet in kan stellen via FreeNAS/NAS4Free/ZFSGuru op moment?
Maar is dit dan echt zo'n vreemde requirement? Via Windows is dit bijvoorbeeld vrij eenvoudig in te stellen, je kan allerlei users en groepen rechten geven op mappen en shares.

[FireDrunk]

Dat kan prima in FreeBSD, maar niet via de webinterface.

[Verwijderd]

Tsurany schreef op dinsdag 16 juli 2013 @ 14:52:
Men neme de volgende theoretische situatie.
(..)
Hoe kan je dit nu regelen?

Dit kan dus uitstekend met het nieuwe rechtensysteem in ZFSguru. Maar je kunt het ook prima handmatig doen; check de smb.conf eens in het bijzonder:

valid users = <userlist>
invalid users = <userlist>
read list = <userlist>
write list = <userlist>
guest ok = yes/no

[beodepeo]

Dit is de manier waarop het ook bij Qnap gebeurt. (Althans, bij de TS419P+ die ik heb).

[ Voor 1% gewijzigd door beodepeo op 16-07-2013 15:20 . Reden: typo ]

[FireDrunk]

Je mist dan alleen nog ownership van files en directories, dat werkt dus alleen voor shares.
Elke directory moet dus in een root staan en mogen nooit subdirectories van elkaar zijn.

[Tsurany]

Verwijderd schreef op dinsdag 16 juli 2013 @ 15:16:
[...]

Dit kan dus uitstekend met het nieuwe rechtensysteem in ZFSguru. Maar je kunt het ook prima handmatig doen; check de smb.conf eens in het bijzonder:

valid users = <userlist>
invalid users = <userlist>
read list = <userlist>
write list = <userlist>
guest ok = yes/no

Dat lijkt mij iets te veel gedoe, ik denk dat ik dan wacht tot het via ZFSGuru zelf kan.

FireDrunk schreef op dinsdag 16 juli 2013 @ 15:15:
Dat kan prima in FreeBSD, maar niet via de webinterface.

Klopt het dat ik dit ook via een Windows client kan doen? Dat ik vanuit FreeNAS een user als owner aan maak, met die user inlog vanuit Windows en dan daar via de security properties users die al in FreeNAS aangemaakt de juiste rechten geef?
Ik probeer dit nu te testen maar Windows heeft de netwerk share credentials onthouden en weigert nu om via een andere username in te loggen.

[Extera]

Dat is precies het geen wat uitgelegd is in de link welke ik zojuist gepost heb

[Tsurany]

Extera schreef op dinsdag 16 juli 2013 @ 15:49:
Dat is precies het geen wat uitgelegd is in de link welke ik zojuist gepost heb

Maar daar hebben ze het over AD, zou het ook werken met de local users binnen FreeNAS?

[Verwijderd]

FireDrunk schreef op dinsdag 16 juli 2013 @ 15:20:
Je mist dan alleen nog ownership van files en directories, dat werkt dus alleen voor shares.
Elke directory moet dus in een root staan en mogen nooit subdirectories van elkaar zijn.

Geldt dit voor Qnap? Want met Samba hoeft dit in elk geval niet zo te zijn.

Je kunt een Samba share hebben voor /tank en een Samba share voor /tank/movies en en die 2e share dus read-only toegang geven.

Kortom, met Samba permissies kun je best uit de voeten. Alleen het configgen van smb.conf werkt niet zo fijn. Een grafische drag-and-drop interface zoals we nu in ZFSguru beta9 verwerkt hebben is dan wel extreem gemakkelijk. Dan kan opeens iedereen met permissies werken terwijl dit normaliter vrij lastig en ontoegankelijk is.

[beodepeo]

Geldt dit voor Qnap?

Wel voor de out-of-the box config van mijn Qnap.
Ik draai er nu een ZFSguru naast en wilde qua rechten deze zoveel mogelijk op de dezelfde manier draaien als mijn Qnap, vandaar dat ik eerst eens gekeken heb hoe Qnap het deed alvorens de smb.conf van ZFSguru aan te passen.
Er is echter wel de mogelijkheid tot het aanzetten van extra opties:

• Enable Advanced Folder Permissions
• Enable Windows ACL support

Maar daar heb ik verder niet naar gekeken, omdat de minimalistische rechten constructie voor mij prima is.

[ Voor 10% gewijzigd door beodepeo op 16-07-2013 16:18 ]

[FireDrunk]

Maar je blokkeert dan niet, dat iemand met meer rechten op de hoofdfolder, doorklikt naar de subfolder, waar hij geen rechten op zou hebben als hij via de share zou gaan...

De hoogste rechten moeten altijd op de hoogste directory zitten, wat in de praktijk helemaal niet even handig is.

[beodepeo]

Klopt. Maar Samba ondersteunt wel een (veel) uitgebreidere rechtenstructuur, van unix-based acl's die 1-op-1 vertaald worden naar Windows tot een complete AD omgeving...
Dit document is wel verplicht leesvoer, dan. (En de rest van Samba documentatie...)

[Verwijderd]

@FireDrunk: je kunt in de hoofdshare wel veto files opgeven; dat je sommige directories dan niet kunt betreden. Dus het is opzich wel mogelijk wat hij wilt met smb.conf lijkt me.

This is a list of files and directories that are neither visible
nor accessible. Each entry in the list must be separated by a '/',
which allows spaces to be included in the entry. '*' and '?' can be
used to specify multiple files or directories as in DOS wildcards.

Misschien een idee om een los topic te maken over permissies voor (ZFS) NAS-systemen? Want het wordt een beetje off-topic nu.

[FireDrunk]

Vind ik niet, het is een cruciaal onderdeel waar ZFS moeite mee heeft...

[Verwijderd]

Hetzelfde toch voor legacy filesystems? Is toch niet ZFS specifiek? ZFS ondersteunt dan wel de NFSv4 ACL lists, welke ook voor Samba worden gebruikt voor zover ik weet. Daar heb ik zelf niet mee gewerkt. Kan interessant zijn om een eigen topic te maken speciaal voor permissiehandling. Mits daar animo voor is natuurlijk; de informatie zal niet echt van mijn kant komen.

[Q]

FireDrunk schreef op dinsdag 16 juli 2013 @ 00:36:
Esxi is altijd sync helaas.

Heeft ESXi op NFS dan niet altijd dit probleem dat het rete traag is? Geforceerd op async zetten zou prima zijn, het is toch allemaal local storage. Of dus meer argumenten om iSCSI te testen.

[ItsValium]

Om even wat anders naar voor te brengen, ik ben aangenaam verrast door Nas4Free. Ben er nu al een aantal dagen mee aan het spelen, en het lukt zelfs vrij vlot om een HA omgeving op te zetten door middel van ZFS + CARP + HAST. Om even kort te schetsen:

2 VM's elk met twee NIC's en 5 schijven toegewezen. Op elke VM één schijf gebruikt om Nas4Free full op te installeren. Dan één NIC in de lokale LAN range met een statisch IP per VM, op beide VM's een VIP/CARP config aangemaakt met een derde IP in de lokale LAN range en tot slot per VM één NIC met een statisch IP in een apart LAN tbv HAST trafiek.

Hierna met de vier resterende schijven op de master VM een ZFS pool aangemaakt met 2*2 gemirrorde vdev's. Die config laten repliceren naar de slave VM. Effe de boel laten syncen (duurt slechts een paar seconden met een lege pool). En dan de testshare en user instellen.

Et voila : Mapje muziek naar de pool gekopieerd. Op een PC mediaplayer gestart en die muziek via het VIP benaderd, toegevoegd aan de playlist en een lopende ping naar het VIP. Bij het geforceerd switchen tussen master en slave, mis ik welgeteld één ping request, en mediaplayer blijft kort hangen op het spelende nummer en start dan ogenblikelijk het volgende nummer in de playlist.

Nog te doen : testen met NFS en testen als datastore voor wat test VM's en ook eens op baremetal testen om de performance degelijk te kunnen gaan meten. Gezien ik met deze test ESXI beperkt ben tot single gbit link voor alle testjes wil ik eens op servergrade hardware gaan testen en meten.

Heeft iemand hier zelf al mee gespeeld en wil die eventueel zijn ervaringen even delen. Ik probeer te beslissen of een dergelijke setup wel voor productieomgevingen haalbaar zou zijn. Ik heb een hoop klanten die mij eeuwig dankbaar zullen zijn mocht ik dit in hun productieomgeving kunnen invoeren ipv die dure oplossingen van de grote storageverkopers.

[ Voor 4% gewijzigd door ItsValium op 16-07-2013 19:47 ]

[Xudonax]

En dan net nadat je besluit om dan toch maar voor CentOS te gaan, en het praktisch draaiend hebt, komt deze comment binnen op je bug >_< Kan er ook maar één gebeuren hoor

The stacks suggest a problem with the timer code in the tun driver. This was fixed in the latest kernels and the comments in the following link suggest the issue impacted Fedora 3.9.8 and 3.9.9 kernels. The issue was most likely to occur when stopping a VM.

http://seclists.org/oss-sec/2013/q3/111

Bron: #1592 - System hangs when accessing a ZVOL

EDIT: En om het nog leuker te maken is de DKMS versie in CentOS 6.4 te oud schijnbaar. Toch maar terug naar Fedora dan, leuke manier om je avond te vullen

[ Voor 11% gewijzigd door Xudonax op 16-07-2013 20:49 ]

[sphere]

Of je installeert gewoon Ubuntu om te kijken of je dan ook nog problemen hebt?

[Oid]

ik heb nu de afgelopen tijd al vaker deze melding:

One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.

met zpool clear weggehaald, daarna een scrub, scrub repaired 32K in 10h33m with 0 errors on Wed Jul 10 18:01:00 2013

Smart zegt dat alle schijven correct zijn, na een aantal dagen is de melding weer terug.

Iemand een idee hoe ik kan uitvinden wat er mis gaat?




smart:

[jan99999]

Je hebt 1 checksum errors, misschien is dat de foutmelding.

Doe eens een memtest86 geheugen test, misschien dat daar iets fout gaat.

[FireDrunk]

Verwijderd schreef op dinsdag 16 juli 2013 @ 17:19:
Hetzelfde toch voor legacy filesystems? Is toch niet ZFS specifiek? ZFS ondersteunt dan wel de NFSv4 ACL lists, welke ook voor Samba worden gebruikt voor zover ik weet. Daar heb ik zelf niet mee gewerkt. Kan interessant zijn om een eigen topic te maken speciaal voor permissiehandling. Mits daar animo voor is natuurlijk; de informatie zal niet echt van mijn kant komen.

UFS doet gewoon POSIX ACL's
http://www.freebsd.org/doc/handbook/fs-acl.html

Q schreef op dinsdag 16 juli 2013 @ 18:58:
[...]


Heeft ESXi op NFS dan niet altijd dit probleem dat het rete traag is? Geforceerd op async zetten zou prima zijn, het is toch allemaal local storage. Of dus meer argumenten om iSCSI te testen.

Ja dat zou kunnen, maar die optie heb ik nog niet gevonden. En ookal is het lokale storage, async is dan nog niet zo handig, een power failure zorgt dan voor write losses, terwijl je dat met sync niet hebt.

@OID, speur eens door je /var/log/messages & dmesg meldingen heen, misschien kan je daar iets vinden.
Geheugen zou inderdaad ook kunnen.

[Oid]

heb het systeem weer gecleard, ga eens opletten of die weer op dezelfde schijf terugkomt en een memtest draaien.

in de logs staat in ieder geval niets opvallends.

thx!

[ISaFeeliN]

Verwijderd schreef op dinsdag 16 juli 2013 @ 12:22:
@Extera: ZFS encryptie is niet onderdeel van open source ZFS; enkel voor Solaris ZFS wat in feite voor ons niet bestaat. Het is ook inferieur qua performance (single core software encryptie; geen hardware acceleratie). BSD platforms ondersteunen GELI wat multi-core software encryptie is en ook AESNI hardware encryptie ondersteunt; voor nieuwere Intel processors (en volgens mij ook AMD).

Zojuist nieuwe screenshots geupload van ZFSguru beta9. Voor de liefhebbers:
ZFSguru beta9 sneak peak

Daar kwam ik dus laatst ook achter, dat GELI wel multi-core processing doet.. dat is echt sweet! Je zit al snel aan 30/40MB sec op disk schrijven naar een geli cell (5 jaar oude server, dual Xeon (8 cores)). En dan heb je nog sysctl's die je kunt gebruiken om daar te tunen:

# sysctl -d kern.geom.eli.threads
kern.geom.eli.threads: Number of threads doing crypto work

Standaard is ie 0, en gebruikt ie alle beschikbare cores voor crypto.

[Tsurany]

Ik weet niet of het aan ZFSGuru ligt of dat het iets in FreeBSD is maar ik kan niet in alle schijven APM instellen. Lijkt mij dat dit toch wel door elke moderne schijf ondersteund wordt?

[Verwijderd]

Ja maar niet door elke controller. SAS controllers kun je geen APM op instellen helaas, inclusief de IBM M1015. Als je schijven persistent APM ondersteunen, kun je wel tijdelijk op de chipset controller aansluiten. Maar veel schijven vergeten hun instelling na een power cycle. Dan heb je dus pech. Je kunt bij WD wel WDIDLE.exe gebruiken.

[Tsurany]

Dan lijkt het erop dat de ASM1061 het niet ondersteunen. Jammer, toch een aardige kostenpost op jaarbasis.

[FireDrunk]

Waarom? Je kan je host de schijven toch uit laten zetten? Met camcontrol voor AHCI en spindown voor SAS controllers.

[webbier]

Op een M1015 kun je spindown gebruiken. Heb hem zelf ook

FireDrunk in "Het grote ZFS topic"

[Tsurany]

Ik parkeer dit even in de ijskast, nu een groter probleem. Opeens werden twee hardeschijven niet meer herkend uit het niets, opeens stopte m'n film en had ik een pool die failed was. Nu worden drie hardeschijven al niet meer herkend. Nog een reboot en de vierde doet het vast ook niet meer.

SATA kabel met crappy connector die te snel los schoot zorgde er voor dat drie schijven niet meer herkend werden. De connector was zo crappy dat mijn zuil ventilator hem los blies.

[ Voor 24% gewijzigd door Tsurany op 18-07-2013 00:24 ]

[FireDrunk]

haha, das mooi kut Even sata kabels met retention clips kopen dus?

[Pantagruel]

FireDrunk schreef op donderdag 18 juli 2013 @ 08:44:
haha, das mooi kut Even sata kabels met retention clips kopen dus?

Idd minder, een drupje hot-glue werkt ook.

[Tsurany]

Das de grap, het was een kabel met een retention clip Maar heb hem inmiddels vervangen voor een andere zonder clip en die blijft wel zitten.

[FireDrunk]

Hmm, DealExtreme kabels? Of heeft de disk in kwestie geen uitsparingen voor retentionclips? Dan blijft alleen die op je mamaplank goed zitten...

[Tsurany]

Sowieso geen DealExtreme kabel, heb ze ergens bij een moederbord of controller meegekregen. De kabel uit de Conceptronics SATA controller was losgeschoten, in de disk zelf zat hij nog prima vast.
Tis alleen vervelend als opeens drie schijven niet meer werken, dan schrik je wel even.

Verder draait alles stabiel. Moet het sharen van files en de powermanagement nog inregelen en even kijken of VMXNET3 by default werkt. Heb nu een Windows VM ingericht om te downloaden en deze handelt ook FTP af, dat werkt een stuk makkelijker dan het regelen via ZFSGuru.

[FireDrunk]

Ja? Ik vind SabNZBd anders prima werken hier, maar ik heb het met de hand geinstalleerd via de ports tree...
(En ik draai geen ZFSguru meer )

[Tsurany]

FireDrunk schreef op donderdag 18 juli 2013 @ 09:11:
Ja? Ik vind SabNZBd anders prima werken hier, maar ik heb het met de hand geinstalleerd via de ports tree...
(En ik draai geen ZFSguru meer )

Vooral het FTP stuk werkt voor mij makkelijker onder Windows aangezien ik daar mee bekend ben. Het hele FreeBSD gebeuren is voor mij gewoon te onbekend om er makkelijk mee uit de voeten te kunnen. Bovendien hengel ik torrents binnen via een mIRC script, dat moet ik dan ook weer uitvinden onder FreeBSD. En ik heb gewoon de gegevens van de oude server naar de VM gekopieerd, ging prima.

[FireDrunk]

Mja, dat maakt het inderdaad allemaal wat makkelijker

[FireDrunk]

offtopic:
Toch maar een nieuwe post, nieuw onderwerp en jada jada jada

Ik zit al langere tijd in mijn hoofd om een ZFS SAN te maken, waarom noem ik het een SAN, omdat het weinig ruimte gaat leveren, maar vooral performance moet leveren. Ik heb al 1 grote ESXi host staan (6-core en 64GB RAM) en daar komen waarschijnlijk binnenkort nog 2 cluster nodes bij (2*G1610 met 16GB RAM).

Nu wil ik liever niet mijn reguliere NAS belasten met het leveren van de storage voor dat cluster, zowel omdat ik het logisch gescheiden wil houden, als dat ik liever een losse machine heb, zodat als ik een poos niet ga spelen, de hele zut ook uit kan, en ik dus niet met extra stroomverbruik zit in mijn reguliere NAS.

Wat heb ik nog liggen wat ik eventueel zou kunnen gebruiken: 4 * 80GB Intel X25-M G2 SSD's, een 128GB 840 Pro, een Intel Quad Port NIC, en M1015, en een LSI 1068 controller.

Nu zat ik te denken om een Norco (of equivalent) kast te kopen waar 24 of 32 2.5" schijfjes in kunnen, en daar 24 (of 32) * 320GB 2.5" in te doen. Om daarna 12 (of 16) gemirrorede VDEV"s van te maken en samen met een 840Pro als ZIL zou dit toch behoorlijk moeten performen.

Wat vinden jullie? Zou ik dit anders aan moeten pakken?

[Tsurany]

Is het niet goedkoper en sneller om een vdev van SSD's te maken? Of heb je echt de ruimte nodig?

[FireDrunk]

Als je een stukje terug leest, heb ik dat al geprobeerd, en dat performt voor geen meter (in combinatie met ESXi en NFS).

Overigens heb ik de ruimte niet echt nodig, het gaat misschien om 15-20VM's totaal van zeg 40GB max ofzo.
Ik wilde compressie aanzetten, en misschien zelfs dedup maar dat kost weer een bak performance...

Een SSD only array van 840 Pro's zou ook kunnen, maar ik wil zeker weten dat ik een beetje degelijke performance haal als ik mijn hele cluster ga updaten bijvoorbeeld (20VM's die Windows Update doen, is een hoop IOPS )

[ Voor 79% gewijzigd door FireDrunk op 19-07-2013 10:53 ]

[Tsurany]

Ik had begrepen dat SSD's onder een ZFS VM niet werkten, wat als je nu ZFS bare metal draait, wat is dan de performance?

[FireDrunk]

Ik kan niet EN ESXi draaien, EN ZFS (FreeNAS / NAS4Free / ZFSGuru / FreeBSD) native draaien...

Da gaat zo lastig

[Tsurany]

Maar het plan nu is toch om ZFS native te draaien?

[FireDrunk]

Jup

[Kriss1981]

webbier schreef op woensdag 17 juli 2013 @ 22:55:
Op een M1015 kun je spindown gebruiken. Heb hem zelf ook

FireDrunk in "Het grote ZFS topic"

Werkt deze ook met een ZFS RAIDZ2 pool? Het betreft 6 disks aan een Intel SASUC8I

Ik heb al verschillende scripts geprobeerd, maar nog geen succes met automatische spindown.

[Verwijderd]

Als je toch hoge performance wilt, is het dan niet beter om langzamerhand eens te gaan kijken naar infiniband voor je SAN en ESXi dozen? Je ziet wel vaker dat 'virtuele disk' activiteit in datacenters via een apart infinibandnetwerk loopt, en regulier netwerkverkeer via ethernet.

Maar wat mag het geheel eigenlijk kosten?

[FireDrunk]

Kriss1981 schreef op vrijdag 19 juli 2013 @ 16:35:
[...]


Werkt deze ook met een ZFS RAIDZ2 pool? Het betreft 6 disks aan een Intel SASUC8I

Ik heb al verschillende scripts geprobeerd, maar nog geen succes met automatische spindown.

Als de controller het commando honoreert werkt dat inderdaad gewoon.