Het grote ZFS topic

[analog_]

raymonvdm schreef op vrijdag 06 mei 2011 @ 17:27:
Toevallig net nog even een google gedaan naar Ubuntu en ZFS

Ik heb nu namelijk een aantal ubuntu servers en omdat het niet anders kan een CentOS machine. Het liefst zou ik ZFS gebruiken binnen Ubuntu maar dat kan blijkbaar native nog niet. Het lijkt erop dat Nexenta wel iets in die richting is maar dat is me onduidelijk.

Ik wil dus eigenlijk alleen maar mn huidige servertje (Ubuntu 10.04 LTS Server) willen voorzien van veel strorage op basis van ZFS zodat ik geen raid controller of iets nodig heb.

http://www.osnews.com/sto..._Server_with_ZFS_goodness

Onder linux wil je mdadm gebruiken, Nexenta is een solaris kernel met debian userland, netzoals het kfreebsd/debian project (met de bsd kernel). Als je ZFS wilt draaien wordt het aangeraden met bsd of solaris (kernel) te werken.

[FireDrunk]

Zfs onder linux is nog in de beginfase... maar het kan wel...

[Ultraman]

raymonvdm schreef op vrijdag 06 mei 2011 @ 17:27:
Ik wil dus eigenlijk alleen maar mn huidige servertje (Ubuntu 10.04 LTS Server) willen voorzien van veel strorage op basis van ZFS zodat ik geen raid controller of iets nodig heb.

Dat kan op zich ook al met Linux mdadm en de performance daarvan is ook dik in orde.
Ik gebruik dat nu met drie 1.5TB Barracuda LPs, die draaien als een zonnetje.
Alleen heeft het niet een aantal hippe features die ZFS wel heeft. Zoals checksumming, maar daarvoor zou je nog naar btrfs kunnen kijken. Welke trouwens van zichzelf al RAID0 en 1 kan op dit moment, en iets RAID5 achtigs zit er volgens mij nog aan te kijken.
Dat is wel erg pril allemaal echter... net als ZFS onder Linux.
Dus of je daar je data aan toe wilt vertrouwen is de grote vraag.

[FireDrunk]

Vertrouwen maakt toch niet uit? Een echte tweaker maakt backups

[Verwijderd]

Is deze guide voor iemand nog nuttig? http://submesa.com/data/bsd

[Verwijderd]

Verwijderd schreef op vrijdag 06 mei 2011 @ 21:59:
Is deze guide voor iemand nog nuttig? http://submesa.com/data/bsd

zeker.. ZFS tuts, je kan er niet genoeg van in huis hebben

[Verwijderd]

Als je ZFS wilt draaien moet je gewoon een FreeBSD of een Solaris kernel draaien, er zijn zat distributies waar je uit kunt kiezen. Waarom dan persé Linux kernel is mij een raadsel. Alsof je daar wat van merkt met GNU userland? kFreeBSD project is erg gaaf, dan draai je in feite Ubuntu met FreeBSD kernel en kun je écht ZFS kernel implementatie gebruiken. Zelfde met Nexenta.

Als je voor Linux platform gaat lijkt me Btrfs nog niet volwassen genoeg voor echt belangrijke data - dan zou ik eerder mdadm + JFS of Ext4 gebruiken. Dat is echter wel duidelijk een stap lager dan ZFS wat gewoon ultieme bescherming voor je data biedt.

[smokalot]

Verwijderd schreef op vrijdag 06 mei 2011 @ 23:31:
Als je ZFS wilt draaien moet je gewoon een FreeBSD of een Solaris kernel draaien, er zijn zat distributies waar je uit kunt kiezen. Waarom dan persé Linux kernel is mij een raadsel. Alsof je daar wat van merkt met GNU userland? kFreeBSD project is erg gaaf, dan draai je in feite Ubuntu met FreeBSD kernel en kun je écht ZFS kernel implementatie gebruiken. Zelfde met Nexenta.

Ik draai zelf nexenta, en hoewel het inderdaad voor het grootste deel een GNU userland heeft, zijn er toch wel erg veel verschillen met Ubuntu Hardy (8.04) waar het op gebaseerd is. Veel packages werken niet of zijn erg oud, en nexenta doet dingen hier en daar wel op de solaris-manier (SMF).

Daarnaast heeft de linux kernel betere hardwareondersteuning dan solaris en freebsd.

[FireDrunk]

Verwijderd schreef op vrijdag 06 mei 2011 @ 23:31:
Als je ZFS wilt draaien moet je gewoon een FreeBSD of een Solaris kernel draaien, er zijn zat distributies waar je uit kunt kiezen. Waarom dan persé Linux kernel is mij een raadsel.

Geen vmware ondesteuning, geen upstart, geen paravirtuele controller, geen tickless kernel, geen sabnzbdplus, couchpatato, e.a. in de repo's.
FreeBSD is leuk, maar geen webinterface, FreeNAS heeft een super webinterface maar is maar een halve distro.
kFreeBSD mist nog veel meer, er zijn maar enkele belangrijke packages geport, maar schrikbarend weinig.

Bij OpenIndiana en Nexenta krijg ik het gevoel dat je met een kanon op een mug schiet... Ik wil eigenlijk gewoon FreeNAS met een FULL freebsd installatie, maar wel met zo weinig mogelijk onderdelen. Het liefst een compleet modulair systeem...

Daarbij is het natuurlijk fijn als er ondersteuning voor VMware is

Maar dat is meer toekomstmuziek

[Verwijderd]

VMware guest additions staan in de portstree, ik denk dat jij doelt op VMNET3 ondersteuning? Merk op dat VMware niet open source is; bij Virtualbox werkt het stukken beter omdat de ondersteuning open source (GPL2) is.

Tickless kernel zou nu in FreeBSD9 zitten dacht ik, waren ze in elk geval mee bezig. Ik ben geen P2P'er, maar ik ken mensen die SabNZB en CouchPotato en nog wat van die apps draaien op BSD.

Bij kFreeBSD wordt vaak GNU userland gebruikt, dus ook geen BSD ports. In feite GNU/Linux OS met FreeBSD kernel. Wel mis je dingen die afhankelijk zijn van de kernel; dan moet je inderdaad BSD-specifieke software gebruiken. Ik heb me hier nog niet in verdiept.

FreeNAS is inderdaad gestript, wil je volledig FreeBSD met web-interface dan is ZFSguru het overwegen waard; loopt nog wel achter en al tijdje geen nieuwe versie uit. Maar wel modulair.

[DARKLORD]

ben nu met openindiana +napp-it bezig. vind het geweldig dat je via je windows computer al je map rechten in kan stellen (ACL) en dat "Vorige versies" vanaf een map in windows ook werkt als je een snapshot daarvan gemaakt hebt! echt super. niet meer lopen kutten met chmod en dan kan je nog niet alles fatsoenlijk instellen (toch?) dat ging volgens mij allemaal niet met freebsd

Basics of user management
On unix user and groups are identified by UID and GID numbers.
Permissions are usually based on simple owner/ group/ everybody settings
Windows use SID (security id numbers) to identify user, groups or computers.
Permissions are much more fine granular based on ACL‘s. SMB passwords
have a different format than unix passwords and stored separately on Unix.
If you want to use a unix-server for SMB-sharing there have been a
lot of problems in the past; SMB sharing was often a pain due to the different
user and pw management and missing or inconsistent ACL - behaviours.
Usually you had to define all users on the Unix Machine - even in environments
where you have a common user database like MS Active Directory. In a
second step you had to define a user mapping between Windows and Unix.

With OpenSolaris derived systems this is much simpler
Solaris use NFSv4 ACL. They are mostly compatible to Microsoft Windows,
much more than Posix ACL‘s used for ex. on Linux. But the main reason of the
easyness of a Solaris SMB Server is a fact, that you have a fully Windows
compatible built-in user and group management.

draait nu nog in virtual box.


zfsguru is nu heel erg stil.. hopelijk is die gast niet aangereden ofzo

[ Voor 63% gewijzigd door DARKLORD op 07-05-2011 17:40 ]

[FireDrunk]

Hmm, previous versions met openindiana! Dat is wel nice-to-have feature!!!
Dat is wel makkelijk voor andere 'mensen' hier in huis

[Contagion]

@Ultraman

Ik zou echt nog mijlenver weg blijven bij btrfs. Ik heb zitten twijfelen tussen btrfs en zfs, maar btrfs staat echt nog in de kinderschoenen.

- btrsfs heeft (nog) geen ondersteuning voor raid5/6.
- Er is (nog) geen goed werkende fsck tool die ook daadwerkelijk problemen kan fixen.
- Geen scrub tool (hoewel daar aan gewerkt wordt/er een alpha versie van is?)
- En echt een problematische: in het geval van checksum errors op een mirror worden de errors NIET gefixed

Probeer zelf een mirror partitie X en partitie Y. Doe dan eens iets als een 'dd if=/dev/zero of=partitieX'. ZFS zal (ook met ZFS-fuse) checksum errors melden en wellicht on the fly fixen. Met een scrub zal ZFS ze allemaal fixen. Niks aan de hand, de array draait gewoon door. btrfs zal checksum errors melden op partitie Y maar kan deze problemen NIET oplossen. Je kan alleen de hele disk uit de array gooien en dan weer toevoegen (argh, en dat terwijl je misschien maar een paar Kb aan checksum errors hebt). Ik heb zelfs kernel panics/oopses zien ontstaan met het testen van deze actie.

Wel een voordeel; btrfs werkt op een arm platform, zfs(-fuse) niet. Ik vertrouw in elk geval mijn data inmiddels (na ook een mdadm RAID5 array met xfs) aan ZFS-Fuse toe en zeker (nog) niet aan btrfs.

[ Voor 5% gewijzigd door Contagion op 07-05-2011 19:58 ]

[Verwijderd]

Mooie van ZFS is dat je geen fsck enzo nodig hebt. Zodra je een file (of metadata) leest die een foute checksum heeft wordt dat automatisch direct gefixed. Je applicatie krijgt dus gegarandeerd nooit corrupte data te zien, wat zeer extreme gevolgen kán hebben (databases?). ZFS' end-to-end data integrity zorgt daarvoor. Voorwaarde is wel dat de data die ZFS in handen krijgt niet corrupt is om mee te beginnen. Pas vanaf dat moment geldt de 'garantie'.

Een scrub weet je zeker dat ZFS geen corrupte files heeft, maar in principe is dat dus niet nodig. Het simpelweg normaal gebruiken van je filesystem zal alle fouten automatisch fixen zonder kopzorgen of 'onderhoud' nodig van de gebruiker/admin. Dat is wel een killer feature!

Daarnaast vind ik het echt een supergrote vooruitgang dat mocht er iets corrupt zijn, je dit te weten komt met een zpool status -v, die alle files opnoemt die corrupt zijn en niet te repareren (zoals op een RAID0 of degraded RAID-Z/mirror ofzo). Je hebt dus nóóit meer 'silent corruption'. In het geval dat ZFS ondanks alles de corruptie niet kan fixen, weet je tenminste om welke files het gaat. Is dat niet chique?

Hoop wel dat Btrfs snel beter wordt zodat het een redelijk alternatief kan vormen voor Linux platforms. Vooralsnog is ZFS de bom.

[Contagion]

Eigenlijk zou je btrfs ook niet hoeven fsck-en, maar de tool bestaat wel en deze kan ook daadwerkelijk fouten vinden (maar dus niet fixen!). ZFS is inderdaad zonder fsck hoewel je zou kunnen zeggen dat het scrubben een soort van fsck is, want het loopt alle data langs en verifieert alle checksums.

De 'zpool status -v' functie is inderdaad fantastisch. Als een file dan toch niet te repareren valt, dan weet je in elk geval welke. Ook het idee dat een corrupte file niet wordt doorgestuurd naar de vragende entiteit maar dat simpelweg de toegang wordt geweigerd is best ok met de intentie dat je beter helemaal geen data kan doorgeven aan een lezend programma dan corrupte data. Als je echter zelf probeert nog (delen) van je stukke file terug te krijgen is het wel wat lastig .

[ Voor 3% gewijzigd door Contagion op 07-05-2011 21:51 ]

[FireDrunk]

Hoe kan dat nou... dat zou betekenen dat zfs alleen hele files kan leveren...

[Contagion]

Je hebt gelijk. Het gedeelte tot de fout is gewoon leesbaar, en wellicht als je in de file seekt tot over de fout, dat dat ook kan. Maar een kapotte file 'catten' geeft een IO error:

code:

scrub: scrub completed after 0h0m with 1 errors on Sat May  7 23:56:45 2011
config:

    NAME                 STATE     READ WRITE CKSUM
    ZfsExample           ONLINE       0     0    10
      /tmp/ZfsExamplev2  ONLINE       0     0    20

errors: Permanent errors have been detected in the following files:

        /ZfsExample/file5

De hele kapotte file per byte dd-en:

code:

dd: reading `/ZfsExample/file5': Input/output error
7340032+0 records in
7340032+0 records out
7340032 bytes (7.3 MB) copied, 21.4828 s, 342 kB/s

Je krijgt dus in elk geval geen foute data voorgeschoteld van de plek waar de checksum een mismatch geeft tov de data.

[ Voor 84% gewijzigd door Contagion op 08-05-2011 00:05 ]

[FireDrunk]

Ah, dat klinkt al beter Praktijk tests zijn altijd goed!

[Verwijderd]

Dit kende ik nog niet. Het klinkt erg mooi, maar ik ben toch ook wel erg benieuwd naar eventuele problemen die zich kunnen voordoen.

[Verwijderd]

is deze controller bruikbaar vraag ik mij af op deze mooie zondag

ah gevonden .. blijkt special OCZ aansluiting te zijn

[ Voor 18% gewijzigd door Verwijderd op 08-05-2011 10:18 ]

[Verwijderd]

@Camacha: problemen zoals? ZFS is het veiligste filesystem cq. RAID engine die er voorhanden is. Problemen zijn natuurlijk nooit uit te sluiten. Maar als je genoeg redundancy gebruikt en je systeem niet totaal verrot is (RAM errors; overheating) dan zou je data toch erg veilig moeten zijn met ZFS.

@borroz: IBIS is inderdaad OCZ, maar dat gaat het gewoon niet halen. Als je meer bandbreedte wilt moeten ze iets met multi-lane SAS maken (4 gebundelde SAS) of gewoon PCI-express. Er zijn echter nog geen echte PCI-express -> NAND controllers; al die zouden komen dan zou je SSDs van 2GB/s+ en een miljoen IOps kunnen bouwen. Maar gek genoeg blijft het angstvallig stil. Het is kinderlijk eenvoudig de snelheid op te schroeven met PCIe; er zit eigenlijk geen limiet. Met de techniek van vandaag kun je een 16GB/s SSD maken met conventionele technieken. Maar toch wel vreemd dat dit niet gebeurt. OCZ die met Silcon Image controllers rommelt is natuurlijk niet wat ik bedoel, maar bijvoorbeeld Intel zou wel in staat zijn zo'n controller te ontwerpen.

Misschien omdat ze meer geld verdienen door de snelheden langzaam te verhogen.

[FireDrunk]

Probleem is de interface niet, maar 'veilig' de data door een controller heen halen... Bij 16GB/s moet je een monsterlijke hoeveelheid consistency checks doen om de data in de goede volgorde weg te schrijven.
En een miljoen schrijf iops is wel te halen, maar lezen is VEEL moeilijker, want daar moet je overna denken.
Zo'n controller cached zijn interne tabel natuurlijk gewoon waar lege ruimte is, en waar welke data staat, maar de snelheid halen is natuurlijk weer een andere brug

[analog_]

miljoen iops

[FireDrunk]

I know, we hebben ze hier opt werk... Maar daar zit gewoon een RAID controller in

[analog_]

In principe kan je ZFS ook in hardware implementeren, je zou ZFS code in C kunnen draaien op een ARM of PPC based controller (cross-compile met een mini-solaris kernel). Mijn ervaring beperkt zich wel tot een Xilinx Vertex 2 dev board maar hierop zitten twee PPC cores die je in C kan aansturen, tevens weet ik dat je er ook een mini-linux-kernel erop kan draaien. Het zou kunnen dat de ZFS licentie dit soort oplossingen niet toelaat.

[Verwijderd]

tis zo stil aan het ZFS front .. leesvoer

[Splendid]

Inderdaad handige website om bij de hand te hebben.

Ik ben benieuwd of ze binnenkort nog nieuwe benchmarks gaan doen met alle verschillende OS. Ben benieuwd of FreeNAS nu een stuk sneller is geworden want bij de vorige test was het niet best: http://www.zfsbuild.com/2...ensolaris-zfs-benchmarks/

[Verwijderd]

Splendid schreef op woensdag 11 mei 2011 @ 10:20:
Inderdaad handige website om bij de hand te hebben.

Ik ben benieuwd of ze binnenkort nog nieuwe benchmarks gaan doen met alle verschillende OS. Ben benieuwd of FreeNAS nu een stuk sneller is geworden want bij de vorige test was het niet best: http://www.zfsbuild.com/2...ensolaris-zfs-benchmarks/

versie 8 heb ik uitgebreid gemeten .. en hij is iets langzamer geworden imho

[Splendid]

Verwijderd schreef op woensdag 11 mei 2011 @ 10:24:
[...]


versie 8 heb ik uitgebreid gemeten .. en hij is iets langzamer geworden imho

Nou, daarbij vervalt mijn eventuele interesse in FreeNAS Nog wat meer testen met OpenIndiana en dan eens van Nexenta over naar OpenIndiana ZFS v28!

[Verwijderd]

Splendid schreef op woensdag 11 mei 2011 @ 10:27:
[...]

Nou, daarbij vervalt mijn eventuele interesse in FreeNAS Nog wat meer testen met OpenIndiana en dan eens van Nexenta over naar OpenIndiana ZFS v28!

ik heb mijn hoop gevestigd op de nieuwe FreeBSD na de zomer .. vooralsnog is OI + napp-it het snelste en heeft idd ZFS v28 .
kwa snelheid is er weing verschil in de gui / txt versie.. voor je ogen is de txt versie beter

[FireDrunk]

En voor het geheugen gebruik neem ik aan?

[DrFlash]

Verwijderd schreef op woensdag 11 mei 2011 @ 10:08:
tis zo stil aan het ZFS front .. leesvoer

Fantastische site ! Bedankt. dit geeft echt wat handige informatie van mensen die er diep ingedoken zijn.

[dutch_warrior]

Verwijderd schreef op woensdag 11 mei 2011 @ 10:29:
[...]

ik heb mijn hoop gevestigd op de nieuwe FreeBSD na de zomer .. vooralsnog is OI + napp-it het snelste en heeft idd ZFS v28 .
kwa snelheid is er weing verschil in de gui / txt versie.. voor je ogen is de txt versie beter

Hehe, als het goed is gaat FreeNas 9.0 ook vrij snel uitkomen na de release van FreeBSD 9.0.
Voorlopig ga ik ook nog even OI + napp-it draaien, was positief verrast over de snelheid .
FreeNAS 8.0 zit ook nog vol met allerlei irritante bugs, zo kan ik soms wel volumes aanmaken/importeren via de webgui en soms niet via webgui maar wel via ssh sessies.
Op het moment dat FreeNAS ZFS-on-root geruikt en ZFS v28 biedt dan wil ik een overstap wel overwegen.

Bevalt de SASUC8I controller goed, die ondersteund ook staggered spin up lees ik ?

[Verwijderd]

..
Bevalt de SASUC8I controller goed, die ondersteund ook staggered spin up lees ik ?

hij bevalt goed .. maar meer kan ik er nog niet over zeggen op dit moment.
ben me nog wat aan het verdiepen in die 'spinup/down materie' en de vraag of het eigenlijk wel nodig is.
morgen komt mijn energie meter binnen kan ik eindelijk is zien wat die grap gaat kosten zonder spin down.

wat ik wel tegen kwam, erg leuk bedacht, is deze simpele en brilliante hardware oplossing

ander 'luxe'probleem is eigenlijk het feit dat ik :

a- die opslag (dringend) nodig heb
b - het prutsen aan zo'n nas en het testen van verschillende os 'en erg leuk vind

dus eigenlijk wil ik hem helemaal niet 'af' hebben en ergens in een donker hoekje zetten.
conclusie : bouw 1 nas voor data opslag, werktie blijf er verder vanaf, en bouw er 1 om te spelen

[ Voor 24% gewijzigd door Verwijderd op 12-05-2011 11:14 ]

[Dadona]

Materie? Wat is daar voor zware kost aan. Het lastigste is om een slimme opstelling te verzinnen waardoor zoveel mogelijk schijven zo lang mogelijk uitblijven en het aantal spinups te beperken. (Ja meerdere uitdagingen.)
Wat spindown je gaat opleveren is juist heel makkelijk vast te stellen. Idle waarden van je schijven maal het aantal schijven. Dat kost idle ipv. spindown je. De energiemeter is dan handig voor de rest.

[Verwijderd]

zoals ik ergens heb gelezen.. paar minuten korter douchen per dag en je hoeft geen spin down / staggered spin up te gebruiken als het gaat om je energie rekening .. zal de levensduur van je schijven ook goed doen ..

en ik snap het principe wel, maar alleen specifiek die intel kaart, die ook geflashed is.. hoe zit dat, daar heb ik me nog niet in verdiept.

[oddish2211]

ik vind ZFS echt geweldig, ik wil het best gebruiken op m'n server maar hoe moet ik dan uitbreiden in de toekomst? ik heb nu 3 schijven met mdadm in raid5 staan, als ik wil kan ik er een extra schijf bijhangen en dan wordt ie toegevoegd. alleen hoe moet dat bij ZFS? ik heb begrepen dat je wel schijven kan vervangen door grotere exemplaren maar waarom is een schijf toevoegen dan niet haalbaar?

[zzattack]

Je kunt een schijf niet toevoegen aan een vdev. Een pool bestaat uit meerdere vdevs, en je kunt wel vdevs aan je pool toevoegen. Mocht je bijvoorbeeld nu met 5 schijven beginnen dan zou je die in 1 vdev kunnen zetten en dan daarvan een zpool maken. Wil je later uitbreiden, dan is het het makkelijkst om gelijk 5 schijven aan te schaffen en nog een vdev van 5 schijven aan te maken en aan dezelfde pool toe te voegen. Als je echter maar 1 schijf koopt dan kun je die dus niet efficient inzetten.

[Ultraman]

Op zich kun je ook mismatchen binnen een pool door bijvoorbeeld aan de 5 disk raidz1 vdev een mirror vdev toe te voegen. Dan behoud je redundantie en hoef je maar 2 disken aan te schaffen.
Of je werkt gewoon met striped mirrors, dat ga ik doen. Vier disken, dus 2 mirrors, gaan samen 1 vdev vormen.

Wat dus idd niet kan is een 3 disk raidz1 uitbreiden met 1 disk zodat het een 4 disk raidz1 wordt.
Maar daar kun je dus wel of de 3 schijven vervangen voor grotere als je meer capaciteit wilt, of er bijvoorbeeld nog eens 3 disken bijhangen waar je ook een raidz1 van maakt en die voeg je dan toe aan de pool.

[oddish2211]

Ultraman schreef op donderdag 12 mei 2011 @ 12:16:
Op zich kun je ook mismatchen binnen een pool door bijvoorbeeld aan de 5 disk raidz1 vdev een mirror vdev toe te voegen. Dan behoud je redundantie en hoef je maar 2 disken aan te schaffen.
Of je werkt gewoon met striped mirrors, dat ga ik doen. Vier disken, dus 2 mirrors, gaan samen 1 vdev vormen.

Wat dus idd niet kan is een 3 disk raidz1 uitbreiden met 1 disk zodat het een 4 disk raidz1 wordt.
Maar daar kun je dus wel of de 3 schijven vervangen voor grotere als je meer capaciteit wilt, of er bijvoorbeeld nog eens 3 disken bijhangen waar je ook een raidz1 van maakt en die voeg je dan toe aan de pool.

als ik het goed begrijp is een raidz1 dus qua capaciteit als raid5, in dit geval wordt er 33% gebruikt voor pariteit. maar als ik dan een nieuwe pool maak met 3 nieuwe schijven, verlies ik daar dan ook 33% van?

[Splendid]

Ultraman schreef op donderdag 12 mei 2011 @ 12:16:
Of je werkt gewoon met striped mirrors, dat ga ik doen. Vier disken, dus 2 mirrors, gaan samen 1 vdev vormen.

Same here, snelle read én write (zodra je 2 vdevs hebt). En je hoeft maar 2 disks toe te voegen zodra je wilt uitbreiden. En met elke uitbreiding wordt de snelheid verhoogd Als je tenminste niet je voorgaande vdevs al vol hebt zitten want opnieuw verdelen doet hij (helaas) niet (automatisch).

[zzattack]

oddish2211 schreef op donderdag 12 mei 2011 @ 12:20:
als ik het goed begrijp is een raidz1 dus qua capaciteit als raid5, in dit geval wordt er 33% gebruikt voor pariteit. maar als ik dan een nieuwe pool maak met 3 nieuwe schijven, verlies ik daar dan ook 33% van?

Precies ja.

[lamko]

Splendid schreef op donderdag 12 mei 2011 @ 12:25:
[...]

Same here, snelle read én write (zodra je 2 vdevs hebt). En je hoeft maar 2 disks toe te voegen zodra je wilt uitbreiden. En met elke uitbreiding wordt de snelheid verhoogd Als je tenminste niet je voorgaande vdevs al vol hebt zitten want opnieuw verdelen doet hij (helaas) niet (automatisch).

Betekend het hier dat je dan Raid 1 hebt ? Dus de helft aan ruimte ben je kwijt?

[Splendid]

lamko schreef op donderdag 12 mei 2011 @ 18:24:
[...]


Betekend het hier dat je dan Raid 1 hebt ? Dus de helft aan ruimte ben je kwijt?

Klopt helemaal, mooiste is om minimaal 2 vdevs (raid 1) te hebben. Elke vdev wordt namelijk automatisch een stripe (raid 0) dan heb je dus een raid 1+0. Heel veilig en snel. Je levert wel een hoop ruimte in, net wat je wilt.

[Verwijderd]

viel mij wat tegen



> bonnie++ results
-
hier nog een (wat vreemd) testje - 4 mirrors

[ Voor 252% gewijzigd door Verwijderd op 14-05-2011 15:20 ]

[leuk_he]

Verwijderd schreef op vrijdag 13 mei 2011 @ 13:28:
viel mij wat tegen

"kijk borroz nou effe patsen dat zijn gigabit netwerk de bottleneck en niet de schijven"

[Ultraman]

leuk_he schreef op vrijdag 13 mei 2011 @ 13:38:
[...]


"kijk borroz nou effe patsen dat zijn gigabit netwerk de bottleneck en niet de schijven"

Ik wilde net gaan vragen: "Pomp je data over middels Samba over een Gigabit netwerk?"
De eerste is erg onbetrouwbaar om snelheid te testen en de tweede trek je gewoon vol.

Ik snap dat het wel realistische data is, want dit is blijkbaar wat je er mee zult doen.
Maar het zegt weinig over de snelheid die je met verschillende ZFS stripes kunt behalen. Eerder dat Samba + Gigabit bij jou gelukkiger wordt van een single disk.

[ Voor 5% gewijzigd door Ultraman op 13-05-2011 13:42 ]

[Verwijderd]

Ultraman schreef op vrijdag 13 mei 2011 @ 13:41:
[...]

Ik wilde net gaan vragen: "Pomp je data over middels Samba over een Gigabit netwerk?"
De eerste is erg onbetrouwbaar om snelheid te testen en de tweede trek je gewoon vol.

Ik snap dat het wel realistische data is, want dit is blijkbaar wat je er mee zult doen.
Maar het zegt weinig over de snelheid die je met verschillende ZFS stripes kunt behalen. Eerder dat Samba + Gigabit bij jou gelukkiger wordt van een single disk.

er liggen nu 2 patchkables over de vloer ..



kijken hoe/en of dat werkt

[Ravefiend]

Ik geraak toch niet helemaal wijs uit FreeNAS 8.0 mbt 'embedded' en 'full' install. Zonet eens FreeNAS-8.0-RELEASE-amd64.iso op een CD gezet, reboot en de install doorlopen. Installeert het allemaal netjes op mijn USB Flash Drive doch lijkt me dit de 'embedded' install te zijn, zonder enig keuze menu. Veranderingen via sysinstall (eg. keymap) worden niet onthouden en zijn dus na een reboot weer vergeten. Heb je voor dit soort zaken een 'full' install nodig oid, en if so, hoe krijg ik dat dan voor elkaar?

[Verwijderd]

ik dacht dat het jou gelukt was paar weken terug ?

is dit wat > http://solori.wordpress.c...to-usb-flash-easy-as-123/

[ Voor 50% gewijzigd door Verwijderd op 13-05-2011 14:10 ]

[Ravefiend]

Verwijderd schreef op vrijdag 13 mei 2011 @ 14:07:
ik dacht dat het jou gelukt was paar weken terug ?

is dit wat > http://solori.wordpress.c...to-usb-flash-easy-as-123/

Yup, het geheel werkt allemaal wel daar niet van ... ... maar ik ben nog wat aan't kijken om de boel te optimaliseren. De instructies van je link resulteert ook in een 'embedded' installatie, en dus logs, ed. ben je kwijt bij een reboot.

[Verwijderd]

kan je je logs niet naar een andere locatie laten schrijven.. ( move the logs to /mnt/data/temp)

[Arnoud1]

Toch even mijn post ook hier zetten. Op het andere forum is er niet veel leven meer, en het gaat tenslotte ook een beetje over ZFS..

Arnoud1 schreef op donderdag 12 mei 2011 @ 17:34:
Mijn huidige Nas server (ZFS, Celeron D420, 2Gb DDR2, 7x1Tb op sasuc8i) haalt zeer lage snelheden.
Het blijkt niet aan het ram geheugen te liggen, en ook niet aan ZFS (hoewel trager dan hardware raid)

Heb even de onderlinge snelheden getest van enkele pc's met iperf.

3400+ = Athlon64 3400+, WIN XP 32, D-Link DGE530T Pci kaart , 2Gb DDR
3500+ = Athlon64 3500+, WIN XP 32, Onboard NForce4 Gigabit , 3Gb DDR
E350 = Asus E35M1-m Pro, FREEBSD 8.2, Onboard Realtek 8111E Gigabit , 8Gb DDR3
D420 = Celeron D420, FREEBSD 8.2, Onboard Realtek RTL8110SC PCI , 2Gb DDR2
Opt 240 = Dual Opteron 240, Ubuntu Server 10.04, Onboard Broadcom 5702 Gigabit , 2Gb DDR ECC

Cl = Client (Iperf -c -w64k)
Srv = Server (Iperf -s -w64k)
Snelheden in Megabits per seconde

	Srv 3400+	Srv 3500+	Srv E350	Srv D420	Srv Opt 240
Cl 3400+	None	215	212	211	219
Cl 3500+	449	None	943	444	924
Cl E350	467	788	None	117	823
Cl D420	460	499	417	None	468
Cl Opt 240	467	912	930	532	None

Kan iemand deze snelheden verklaren.

Ik heb op die 3400+ de netwerkkaart ook vervangen door een D-Link DGE 528T en een 3Com 3C2000-T zonder grote snelheidswinst te meten.

Zeer vreemd is dat de D420 en E350 ofwel FreeBSD onderling slechts 117Mbits/sec halen !!

Nu is mijn server de D420 en de Client waar ik het meest op werk die 3400+, vandaar de lage snelheden
Enkel de server ga ik vervangen door de E350, mijn client blijft. Ik moet dus echt de oorzaak vinden.

Daar mijn sasuc8i niet werkt op die Asus E35M1-m Pro heb ik er nu 2 Highpoint 620 kaartjes ingestoken en die werken. De onboard poorten verschuiven hierdoor wel, wat problemen gaf met de fstab in freebsd.
Verder is het onmogelijk om te booten van een sata poort op de Pci-e (gebruik gewoon de onboard sata om te booten). Het is een zeer leuk systeem voor ZFS en FreeBSD (als je een compatibele sata kaart hebt)

Op beide systemen lukt het niet om te drives te down-spinnen met atacontrol spindown. Het commando werkt, maar ik kan uren wachten zonder dat er iets gebeurd... (600sec ingegeven als spindown time)

De C states van deze cpu's worden niet herkend op FreeBSD, Enkel state C1 werkt...
E350 kan zelfs tot C6 aan. hopelijk komt hiervoor ook een oplossing.

Linux lijkt veel beter afgewerkt om als server te gebruiken dan FreeBSD, alleen die ZFS hé...
Tot nu toe alleen nadelen ondervonden, zij het dan dat data veiliger is op ZFS, en daarvoor doen we het hé

Ahja, mijn printer werkte perfect met Cups onder Ubuntu en werkt niet met Cups onder FreeBSD...

Zoek ook nog de mogelijkheid om die server als DHCP + Firewall te gebruiken. Kan er een frontend zoals Pfsense of M0n0wall geïnstalleerd worden, of welke zijn hier de mogelijkheden?

[Verwijderd]

je kent mijn oplossing.. gelijk een ander mobo destijds en opgelost

[ Voor 96% gewijzigd door Verwijderd op 13-05-2011 16:33 ]

[FireDrunk]

Misschien niet wat je wil horen, en wat andere mensen misschien afraden hoor, maar vergelijk het eens met Linux + MDADM op dezelfde hardware en Linux met ZFS-on-Linux op dezelfde hardware.

Zelfde resultaten? Kak hardware (compatibiliteit)
Andere resultaten? Kak drivers cq OS...

[Arnoud1]

Probleem is dus dat er geen logica in de snelheden zit. Als de server met de ene pc 900 haalt en met de andere slechts 200, terwijl die die 200 haalt dan weer met een andere 500 haalt, ....

Mijn huidige server haalt op z'n slechts 117Mbits/sec en op zijn best 532Mbits/sec. Indien hij als Cliënt werkt is het 450Mbits/sec gemiddeld...

Mijn oude haalt makkelijk 920Mbits/sec, maar in één combinatie toch maar 200Mbits/sec

Waarom haal de ene pc (freebsd) 940Mbits/sec met een windows xp pc, en met een andere windows xp (zelfde versie) slechts 200Mbits/sec...?
Ik zie er echt geen logica in.

[ Voor 4% gewijzigd door Arnoud1 op 13-05-2011 19:43 ]

[FireDrunk]

Ik snap echt niet wat er nou 900KB/s doet. Wat test je nou eigenlijk? Disk, netwerk?
Want netwerk wat 1MB/s doet stamt uit het jaar nul. En ik zou in dat geval eens de kabel vervangen...
Disks dan lijkt me er ook ergens iets gruwelijk kapot te zijn...

[Arnoud1]

Mja, dit moet dus allemaal Mbits zijn hé. Foutje...

Iperf meet de rauwe snelheid van je netwerk, dus zonder disk, etc...
Dit zou dus de maximale snelheid moeten zijn die je netwerk tussen 2 pc's aankan.

[Q]

Ultraman schreef op donderdag 12 mei 2011 @ 12:16:
Wat dus idd niet kan is een 3 disk raidz1 uitbreiden met 1 disk zodat het een 4 disk raidz1 wordt.

Dus je kunt helaas niet je RAID 5 of dus RAIDZ1 uitbreiden met 1 disk. Onder Linux gaat dat wel met het --grow commando.

Voor thuisgebruikers goed om te weten want het niet kunnen expanden van een RAID array is niet iets waar je achteraf pas achter wilt komen.

Om je pool uit te breiden zou je dus meteen nog een 2e RAID x array moeten toevoegen. Dan zit je dus met 2x RAID 5 en 2x een parity disk ipv 1 grote RAID 5 met maar 1 parity disk.

Ik heb zelf mijn machine in 1x met 20 disks uitgerust. Maar daarvoor moest ik erg goochelen met storage om mijn data te behouden. Ik moest wel 'growen' om langzaam disks uit mijn oude nas over te hevelen naar mijn nieuwe array.

[ Voor 14% gewijzigd door Q op 13-05-2011 20:28 ]

[TMon]

ik wordt echt heel moe van opensolaris... Ik wil samba aan de gang krijgen, maar daarvoor moet ik schijnbaar een folder aanmaken in /etc. shift+ctrl+n werkt niet. via de terminal geef ik mezelf de rol: root via su command.
Waarom kun je niet gewoon op een .exe file klikken *zucht*. (verwend met windows...)

Een raidz1 heb ik wel aan aan kunnen maken.

[Verwijderd]

* oeps opensolaris .. vergiste me met openindiana, wat samen met napp-it prima onder controle te krijgen is

[ Voor 123% gewijzigd door Verwijderd op 14-05-2011 12:36 ]

[DARKLORD]

openindiana draait hier echt goed. freebsd had ik soms spontane reboots. al dat uitgeklede (van operation systems) schiet gewoon niet op. openindiana heeft ook nog een GUI wat handig is. napp-it kan alleen nog wel wat beter met functies. vind het gebruik van previous versions in windows nog steeds geniaal. en het instellen van rechten op de windows server ACL manier

sabnzbd installeren ging makkelijk. ik krijg alleen transmission 2.22 niet gecompiled. iemand daar succes mee? package van opensolaris is namelijk nog maar transmission versie 1.x

binnenkort moederbord kopen met VT-d en dan esxi installeren. pci passthrough HBA naar OI voor NAS. en dan daarnaast nog een web/mail server installeren.

is het ook noodzakelijk om een Xeon processor te kopen voor vt-d? en heeft een xeon verplicht ecc geheugen nodig?

[Verwijderd]

DARKLORD schreef op zaterdag 14 mei 2011 @ 12:37:
openindiana draait hier echt goed. freebsd had ik soms spontane reboots. al dat uitgeklede (van operation systems) schiet gewoon niet op. openindiana heeft ook nog een GUI wat handig is. napp-it kan alleen nog wel wat beter met functies. vind het gebruik van previous versions in windows nog steeds geniaal. en het instellen van rechten op de windows server ACL manier

sabnzbd installeren ging makkelijk. ik krijg alleen transmission 2.22 niet gecompiled. iemand daar succes mee? package van opensolaris is namelijk nog maar transmission versie 1.x

binnenkort moederbord kopen met VT-d en dan esxi installeren. pci passthrough HBA naar OI voor NAS. en dan daarnaast nog een web/mail server installeren.

is het ook noodzakelijk om een Xeon processor te kopen voor vt-d? en heeft een xeon verplicht ecc geheugen nodig?

zo zag ik gisteren per toeval infiniband drivers staan ..

[FireDrunk]

DARKLORD schreef op zaterdag 14 mei 2011 @ 12:37:
openindiana draait hier echt goed. freebsd had ik soms spontane reboots. al dat uitgeklede (van operation systems) schiet gewoon niet op. openindiana heeft ook nog een GUI wat handig is. napp-it kan alleen nog wel wat beter met functies. vind het gebruik van previous versions in windows nog steeds geniaal. en het instellen van rechten op de windows server ACL manier

sabnzbd installeren ging makkelijk. ik krijg alleen transmission 2.22 niet gecompiled. iemand daar succes mee? package van opensolaris is namelijk nog maar transmission versie 1.x

binnenkort moederbord kopen met VT-d en dan esxi installeren. pci passthrough HBA naar OI voor NAS. en dan daarnaast nog een web/mail server installeren.

is het ook noodzakelijk om een Xeon processor te kopen voor vt-d? en heeft een xeon verplicht ecc geheugen nodig?

Ja en Ja, het hoeft niet persé Registered ECC te zijn, het mogen ook UDIMM's zijn (Unbuffered, Unregistered). Maar dan zit je bij bijna elk moederbord met het feit dat je niet alle sloten kan gebruiken. (meestal maar 4 per CPU i.t.t. 6 bij registered geheugen)

[DARKLORD]

mooi
zat te denken aan een pricewatch: Supermicro X8SIL-F
met pricewatch: Kingston ValueRAM KVR1066D3D8R7SK2/8G
ECC REG geheugen

een HBA heb ik al: pricewatch: Supermicro AOC-USAS-L8i

beetje zwaar geschut dan straks met een xeon pricewatch: Intel Xeon X3430, maarja als xeon de enige is met VT-d ondersteuning ... iemand advies voor een zuinige xeon of ander geheugen?

[ Voor 13% gewijzigd door DARKLORD op 14-05-2011 14:55 ]

[FireDrunk]

Je kan ook een i5 met vt-d pakken hoor.. maar dat is niet zoveel verschil...
http://ark.intel.com/MySe...0i5%20Desktop%20Processor

Maar of die ECC ondersteunen.. Weet ik weer niet... Zou je bij SuperMicro moeten informeren...

[ Voor 63% gewijzigd door FireDrunk op 14-05-2011 15:08 ]

[Verwijderd]

zit ineens met de volgende vraag.
sluit een ntfs geformatte externe disk via esata/usb aan op openindiana en systeem wil niet (auto)mounten.
ziet hem wel.


hoe doe ik dat.. via de terminal

[Splendid]

Ik krijg het ook nog niet helemaal lekker aan het werk OI. Ik kan niet eens apt-get uitvoeren? Ja zo krijg ik nooit mijn packages geïnstalleerd voor AFP

@borroz: http://opensolaris.wikia.com/wiki/Mounting_filesystems

[ Voor 17% gewijzigd door Splendid op 15-05-2011 23:33 ]

[Verwijderd]

Splendid schreef op zondag 15 mei 2011 @ 23:30:
Ik krijg het ook nog niet helemaal lekker aan het werk OI. Ik kan niet eens apt-get uitvoeren? Ja zo krijg ik nooit mijn packages geïnstalleerd voor AFP

@borroz: http://opensolaris.wikia.com/wiki/Mounting_filesystems

tnx , ik was al wat verder door in de log te kijken maar toen zag ik een irq conflict staan, ja zo is het nooit klaar natuurlijk

May 15 11:50:08 openindiana usba: [ID 349649 kern.info] DMI External HDD 00Ef2cb1
May 15 11:50:08 openindiana genunix: [ID 936769 kern.info] scsa2usb0 is /pci@0,0/pci1462,7635@1a/hub@1/storage@1
May 15 11:50:08 openindiana genunix: [ID 408114 kern.info] /pci@0,0/pci1462,7635@1a/hub@1/storage@1 (scsa2usb0) online
May 15 11:50:08 openindiana scsi: [ID 583861 kern.info] sd9 at scsa2usb0: target 0 lun 0
May 15 11:50:08 openindiana genunix: [ID 936769 kern.info] sd9 is /pci@0,0/pci1462,7635@1a/hub@1/storage@1/disk@0,0
May 15 11:50:08 openindiana genunix: [ID 408114 kern.info] /pci@0,0/pci1462,7635@1a/hub@1/storage@1/disk@0,0 (sd9) online
May 15 11:50:08 openindiana unix: [ID 954099 kern.info] NOTICE: IRQ16 is being shared by drivers with different interrupt levels.
May 15 11:50:08 openindiana This may result in reduced system performance.
May 15 11:50:08 openindiana unix: [ID 954099 kern.info] NOTICE: IRQ16 is being shared by drivers with different interrupt levels.
May 15 11:50:08 openindiana This may result in reduced system performance.
May 15 11:55:24 openindiana genunix: [ID 408114 kern.info] /pci@0,0/pci1462,7635@1a/hub@1/storage@1/disk@0,0 (sd9) removed
May 15 11:55:24 openindiana last message repeated 1 time

ik heb ook wat moeite met de repositories , tis geen ubuntu

[ Voor 3% gewijzigd door Verwijderd op 16-05-2011 00:22 ]

[FireDrunk]

Mjah daarom wilde ik geen OI draaien Omdat het geen linux is...
Ik hoop zo dat FreeNAS alle code opensource maakt.
Misschien staat er dan iemand op die een Ubuntu FreeNAS equivalent maakt met ZFS on Linux

[Verwijderd]

FireDrunk schreef op maandag 16 mei 2011 @ 07:44:
Mjah daarom wilde ik geen OI draaien Omdat het geen linux is...
Ik hoop zo dat FreeNAS alle code opensource maakt.
Misschien staat er dan iemand op die een Ubuntu FreeNAS equivalent maakt met ZFS on Linux

Add Kernel Modules to FreeNAS ..

1- Open a terminal window and use SSH to connect to your FreeNAS box like you would during setup. If your FreeNAS system is not a headless (without a monitor), you can log in locally instead.
2-Run the "su" command, then enter the Administrator password to become the root user.
3-Enter "kldload module" where "module" is the name of the module you need to load. Optionally, add the "-v" parameter to view more details about the module.

ach.. ik zie freenas door al die 'toeters en bellen' die ze, op verzoek van de community, toevoegen feitenlijk alleen maar langzamer worden, de kern, ZFS, loopt ver achter.

vooralsnog wacht ik gewoon nog even op FreeBSD 9 later deze maand.

[FireDrunk]

Zo ontzettend veel geeft die nieuwe ZFS versie toch ook weer niet? Wat snelheid, encryptie en deduplication?
Of loop ik weer achter

[Verwijderd]

FireDrunk schreef op maandag 16 mei 2011 @ 10:12:
Zo ontzettend veel geeft die nieuwe ZFS versie toch ook weer niet? Wat snelheid, encryptie en deduplication?
Of loop ik weer achter

voor zover mij bekend loop jij niet achter

maar dat zijn idd enkele belangrijke nieuwe opties... ach, ik ben er ook nog maar een paar maanden mee bezig en dat komt vooral door CiPHER die de ZFS interesse hier aanwakkerde, naar mate ik er meer over lees en soms ook begrijp neemt mijn bewondering voor ZFS toe.

En idd.. als dat nou is lekker zou draaien in linux

denk dat de reden is dat veel mensen geen gebruik maken van ZFS ivm raidexpansie.
daarom is het erg jammer dat goede initiatieven, zoals ' Expand-O-Matic RAID-Z nooit zijn afgemaakt.

[ Voor 17% gewijzigd door Verwijderd op 16-05-2011 10:50 ]

[Splendid]

Het zijn niet alleen nieuwe functies maar ook bugfixes en snelheid optimalisatie van onder andere deduplication. Daar zat nog een ernstige bug in die ervoor zorgde dat het checken van de deduplications de server ernstig vertraagde en onbruikbaar maakte. Spreek uit ervaring, hier op de zaak duurde deze check enkele dagen na een stroom uitval zolang dat de UPS dit ook niet kon vermijden

[ Voor 8% gewijzigd door Splendid op 16-05-2011 11:29 ]

[Ravefiend]

DARKLORD schreef op zaterdag 14 mei 2011 @ 14:34:
beetje zwaar geschut dan straks met een xeon pricewatch: Intel Xeon X3430, maarja als xeon de enige is met VT-d ondersteuning ... iemand advies voor een zuinige xeon of ander geheugen?

Merk op dat de X3430 geen Hyper-Threading ondersteund. Dit is enkel beschikbaar vanaf de X3440. Deze laatste heb ik werkende op een X8SIL-F met 2 DIMMs van 4 GB Registered-ECC (Kingston ValueRAM 4GB 1333MHz DDR3 ECC Reg CL9 DIMM DR x8 w/TS VLP) (link). Waar je bij het geheugen dan rekening mee dient te houden is of het single, dual dan wel quad ranked is. Dat in combinatie met het moederbord bepaald hoeveel je maximum geheugen kan zijn. Voor de X8SIL-F staat dat hier beschreven. Unbuffered is max. 16GB terwijl registered tot 32GB gaat. De reden dat ik voor registered heb gekozen is dat het dan later makelijker uit te breiden valt me 2x8GB (-> 24GB).

Edit: ... onder voorbehoud dat je dual en quad ranked geheugen kunt mixen ...

[ Voor 3% gewijzigd door Ravefiend op 16-05-2011 11:37 ]

[FireDrunk]

ja dat kan wel volgens mij, zolang ze een beetje in dezelfde serie zitten werkt dat wel. (dus geen kingston met crucial mixen ofzo...)

Verder heb je toch maar weinig aan HyperThreading hoor... ESXi maakt er volgens mij wel gebruik van, maar het echte voordeel moet ik nog zien. Dit vooral omdat je met ESX veel mee context switches hebt van CPU's. En juist als een Thread van een VM van een echte core naar de HyperThreading core geswitched word, lijkt me dat een dure aangelegenheid

[DARKLORD]

als het kan dan moet het
kan nu toch 1x geld uitgeven dus dan liever alles gelijk in orde. die 2 tientjes verschil maakt niet uit. wat wel uitmaakt is het stroomverbruik. heb je dat al eens gemeten?

[paul999]

Ik heb van het weekend mijn nieuwe fileserver in elkaar gezet, maar ik kom er niet uit wat ik het beste kan doen met mijn raidz, momenteel heb ik het zo:
http://hosthuis.nl/zfs.html
Maar ik vraag mij af of dit de meest snelle (Maar ook minste verliesgevende qua ruimte is) optie is met twee vdevs apart voor de 2 2TB schijven en de 2 500GB schijven. Ik heb eigenlijk ook geen idee of dit eigenlijk snel of langzaam is met deze opstelling. Kan iemand mij hierin adviseren?

[Ultraman]

Je hebt nu een raidz1 (2 disk) + raidz1 (2 disk) in een pool zitten. Min of meer een RAID50 opstelling, maar 2 disken per raidz1 set.
Verbeter me als ik dit fout heb: Je hebt nu geen redundantie.

Als een van de disken het laat afweten ben je al je data kwijt. Als redundantie niet boeit, want daar lijkt het op, is de keuze voor broken raidz1 niet de beste. Dan kun je beter voor een RAID0 achtige oplossing gaan door 2 stripes aan te maken en die vervolgens weer te stripen met elkaar om een soort RAID0+JBOD te krijgen. Gevolg, snel en maximum space, maar nul redundantie.

Als je tweemaal raidz1 wilt doen zul je een 500GB en 2TB disk bij moeten prikken. Want voor raidz1 heb je eigenlijk minstens 3 disken nodig.

Is dat geen optie en wil je wel redundatie, dan is uitwijken naar een mismatched mirrored stripe (raid10 zeg maar) denk ik de beste optie voor je. Mirror de 500GBers met elkaar en doe het zelfde voor de 2TBers, en stripe die met elkaar. Dan krijg je 2TB + 500GB = 2.5TB aan effectieve, maar redundantie, ruimte. Minus nog de afronding voor 1000 bytes vs 1024 bytes in de weergave zeg maar. (Wat ook de reden is dat je nu "maar" 4.5TB effectief heb itt 5TB).

[Contagion]

Interessant om te zien dat ZFS aangeeft dat er 4.5 TB in de pool zit. Ik zou denken dat als je 2 schijven in een RAID-Z array zet, dit eigenlijk gewoon RAID-1 (mirror) oplevert, want de parity van data op 1 schijf is deze data zelf!

Ik zou zelf ook meegaan in het idee om de 2 TB schijven in mirror te zetten en de 500 GB schijven idem. Deze kan je weer samen nemen in een pool en dan heb je 2.5 TB 'veilige' storage. Als het alleen om opslag gaat kan je de schijven (zonder enige RAID toevoeging in je command line) samen gooien in een pool en dat geeft 2+2+0.5+0.5 = 5 TB.

[ Voor 4% gewijzigd door Contagion op 16-05-2011 21:43 ]

[leuk_he]

Ultraman schreef op maandag 16 mei 2011 @ 21:00:
Verbeter me als ik dit fout heb: Je hebt nu geen redundantie.

"verbeter" by your command. een raid-z van 2 disks kan wel...

[code]

code:

#zpool status

NAME        STATE     READ WRITE CKSUM
    redundantz  ONLINE       0     0     0
      raidz1-0  ONLINE       0     0     0
        c1t3d0  ONLINE       0     0     0
        c1t4d0  ONLINE       0     0     0

#zpool offline redundantz c1t4d0
leukhe@openindianavm:~# zpool status

  pool: redundantz
 state: DEGRADED
status: One or more devices has been taken offline by the administrator.
    Sufficient replicas exist for the pool to continue functioning in a
    degraded state.
action: Online the device using 'zpool online' or replace the device with
    'zpool replace'.
 scan: none requested
config:

    NAME        STATE     READ WRITE CKSUM
    redundantz  DEGRADED     0     0     0
      raidz1-0  DEGRADED     0     0     0
        c1t3d0  ONLINE       0     0     0
        c1t4d0  OFFLINE      0     0     0

en file op /redundantz zijn leesbaar.

Wellicht zou een simpele mirror iets betere read-performance geven.

/edit:

Voor vrije ruimte op het FS is wellicht "df" bruikbaarder.

[Contagion]

'zpool list' geeft wellicht de grootte aan van de pool als redundancy niet wordt meegerekend? Mijn zpool list zegt ook 10.9 TB, terwijl het 6x 2 TB is.

Dus misschien als je op een 2-disk RAID-Z array van 1 TB disks 100 MB aan data zet, dat 'zpool list' aangeeft dat er 200 MB in gebruik is van de 2 TB die er beschikbaar is?

[paul999]

Contagion schreef op maandag 16 mei 2011 @ 21:47:
'zpool list' geeft wellicht de grootte aan van de pool als redundancy niet wordt meegerekend? Mijn zpool list zegt ook 10.9 TB, terwijl het 6x 2 TB is.

Dus misschien als je op een 2-disk RAID-Z array van 1 TB disks 100 MB aan data zet, dat 'zpool list' aangeeft dat er 200 MB in gebruik is van de 2 TB die er beschikbaar is?

Dat klopt inderdaad, de zpool list geeft aan dat er 140G was gebruikt, en df 70G, dus het lijkt erop dat er ook slechts 2.2T beschikbaar is, zoals df ook zegt. (Stond niet in die file).

Heb het nu aangepast naar de volgende situatie, met inderdaad een stuk betere read: http://hosthuis.nl/zfs.html#new Random seeks is wel een stuk afgenomen, als ik de resultaat goed snap van bonnie++. Ik denk dat ik het verlopig hier even bij hou, en zodra er weer wat geld beschikbaar is de 500GB schijven vervang door 2TB schijven.

[Ultraman]

leuk_he schreef op maandag 16 mei 2011 @ 21:43:
"verbeter" by your command. een raid-z van 2 disks kan wel...

Het kan prima idd, je hebt alleen een broken raid dan. Wat inhoud, niet redundant want degraded.
Waar zeg ik dat het niet kan of zou kunnen om een raidz1 met 2 schijven te hebben?
Ik zeg enkel dat je er geen fluit aan hebt en dat je net zo goed een stripe had kunnen maken in dit geval.

Dit soort broken raid opstellingen kunnen wel heel handig zijn bij migraties bijvoorbeeld.

[ Voor 40% gewijzigd door Ultraman op 17-05-2011 00:00 ]

[Splendid]

Ja een mirror met 1 disk kan ook

[smokalot]

Ultraman schreef op maandag 16 mei 2011 @ 23:32:
[...]
Het kan prima idd, je hebt alleen een broken raid dan. Wat inhoud, niet redundant want degraded.
Waar zeg ik dat het niet kan of zou kunnen om een raidz1 met 2 schijven te hebben?
Ik zeg enkel dat je er geen fluit aan hebt en dat je net zo goed een stripe had kunnen maken in dit geval.

Dit soort broken raid opstellingen kunnen wel heel handig zijn bij migraties bijvoorbeeld.

Als je naar leuk_he's setup kijkt zie je dat de mirror in niet-degraded state uit twee disks bestaat, en als je er één offline gooit kun je de data nog steeds lezen. een raidz1 van twee disks gedraagt zich kwa redundantie dus als een mirror. Waarom zfs uberhaupt een raidz1 vdev wil aanmaken met twee disks weet ik ook niet zo goed.

[Ultraman]

Ah, daar zeg je wat ja.
ZFS maakt er dus een mirror van in plaats van een stripe zonder parity. Erg slim van ZFS, dat gedrag was mij onbekend.

[leuk_he]

@ultraman... het is dus 1 data en 1 parity. raar maar waar. Overigens kun je bij zfs niet echt zeggen welke disk de parity is.

smokalot schreef op dinsdag 17 mei 2011 @ 00:14:
[...]
Waarom zfs uberhaupt een raidz1 vdev wil aanmaken met twee disks weet ik ook niet zo goed.

Ik denk gewoon deze guide de eerste was die langs kwam?

De resulaten zijn juist andersom dan ik dacht in de nieuwe setup bij bonnie als ik paul zijn benchmakr lees
Raidz leest sneller, maar schrijft langzamer. Die seeks die 3x zo snel uitpakken bij raidz is wel erg opvallend, maar als je bendekt dat de seektijd van de disk iets van 8 ms zal zijn, zijn waarden hoger dan 125 veel cache seeks.

Mijn setup was enkel een experimentele in een VM, dus benchmarken heeft daar geen zin.

[ Voor 6% gewijzigd door leuk_he op 17-05-2011 10:24 ]

[Contagion]

@paul999999

Als je nu al van plan bent om de 500G schijven te vervangen door 2 TB schijven dan zou ik het anders aanpakken omdat je straks dan 2x een mirror van 2 TB krijgt dus netto 4 TB, terwijl 4 schijven van 2 TB zich beter zouden lenen voor RAID-Z1 en je meteen 50% capaciteitswinst leveren.

Ik zou dan nu beginnen met een RAID-Z1 array van alle 4 de disks. Dat geeft je dan op dit moment 1.5TB (want 500 GB is de grootste gemene deler van de 4 schijven).

Eventueel kan je dan daarnaast (!!!!!) een mirror maken van de 1.5 TB die nu op de 2 TB schijven aanwezig is. Dus voor nu nog wat extra ruimte deel je die 2 TB schijven eerst in in een partitie van 500 GB en nog een van 1.5 TB. Ik zeg expliciet dat je daarnaast een array moet maken want als je deze aan je pool zou toevoegen kan je ze later niet weggooien zodra je nieuwe 2 TB schijven hebt. Een losse mirror kan wel altijd weg.

Zodra je 2 TB schijven koopt vervang je die 500 GB schijven in de RAID-Z array (en verwijder je eventueel de mirror die op de 2e partitie staat van die dingen) en dan groeit de array met 4x 2 TB naar 6 TB effectief.

Ik heb zelf ook zo'n soort truc gedaan om mijn 1 TB schijven nog handig te kunnen gebruiken. Ik heb vier schijven van 1 TB die ik per twee heb samengebonden als stripe dus dat levert twee keer 2 TB op. Ook heb ik vier echte 2 TB schijven. Die zitten dus met z'n zessen (4 echte schijven en 2 stripes van in totaal ook 4 drives) in RAID-Z1 samen tot 10 TB. Als er een 1 TB sneuvelt dan vervang ik beide schijven van de stripe door een nieuwe 2 TB schijf.

[Ultraman]

Denk er wel aan dat als die 2TB disken gebruik maken van 4K sectors (Advanced Format), en dat zijn de meesten (Hitachi is zo'n beetje de enige die nog 512B doet), dat je ze dan niet ideaal uitkomen met z'n vieren in raidz1.

[voodooless]

Plus dat 2x mirror kwa redendatie iets beter is dan een raidz1. raidz2 is natuurlijk wat dat betreft nog iets beter (random twee disks kapot i.p.v een uit iedere mirror).

[Micr0mega]

Performance issues met 4k sector disks kan je voorkomen door bij het maken van je zpool te zorgen dat de ashift waarde goed staat (ashift=12): onder FreeBSD 'gnop' (hier, sectie 3) gebruiken of bij OpenSolaris afgeleiden een aangepaste zpool binary. Check dit hardforum topic, het scheelt zo'n 10% geloof ik.

Ook raidz performance gerelateerd: 4 schijven is geen 'magic number of drives' voor raidz1. Check hier voor een korte uitleg (toevallig icm 4k drives, quote komt ook van hardforum, kan alleen niet precies vinden waar).
Zelf ga ik voor 5 drives in raidz1 onder waarschijnlijk OpenIndiana, ik wacht alleen nog op m'n moederbord...

[Contagion]

Beetje off topic, maar misschien interessant: mijn Samsung 2 TB schijven (203 en 204 serie) hebben allemaal 512 bytes sectors, dat vond ik best vreemd. Mijn 1 TB 2.5" Samsung laptop disk is wel 4096 byte sectors. Ik zou ook denken dat 'alles' nu op 4 kb sectors over is gegaan, maar niet dus.

[Verwijderd]

DARKLORD schreef op zaterdag 14 mei 2011 @ 12:37:
openindiana draait hier echt goed. freebsd had ik soms spontane reboots. al dat uitgeklede (van operation systems) schiet gewoon niet op. openindiana heeft ook nog een GUI wat handig is. napp-it kan alleen nog wel wat beter met functies. vind het gebruik van previous versions in windows nog steeds geniaal. en het instellen van rechten op de windows server ACL manier

sabnzbd installeren ging makkelijk. ik krijg alleen transmission 2.22 niet gecompiled. iemand daar succes mee? package van opensolaris is namelijk nog maar transmission versie 1.x

binnenkort moederbord kopen met VT-d en dan esxi installeren. pci passthrough HBA naar OI voor NAS. en dan daarnaast nog een web/mail server installeren.

is het ook noodzakelijk om een Xeon processor te kopen voor vt-d? en heeft een xeon verplicht ecc geheugen nodig?

gebruikte jij nou ook een geflashte intel raid controller SASUC8I ?

zoja.. zou jij voor mij is kunnen kijken (via ssh) .. ik krijg steeds iets vreemds, welke disk/kabel ik ook pak.
' Failed to inquiry this logical disk '


format -e </dev/null | egrep "[0-9]\."

[Verwijderd]

Ultraman schreef op maandag 16 mei 2011 @ 21:00:
Je hebt nu een raidz1 (2 disk) + raidz1 (2 disk) in een pool zitten. Min of meer een RAID50 opstelling, maar 2 disken per raidz1 set.
Verbeter me als ik dit fout heb: Je hebt nu geen redundantie.

Dat is niet waar, evenveel redundantie als een RAID 1+0 ofwel mirror+striping.

Er wordt vaak gedacht dat voor RAID5 er 3 disks nodig zijn; dit is niet zo! Voor parity RAID heb je minimaal één data disk nodig en daarbij komt dan de parity. Dat betekent:

RAID-Z1 / RAID5: 2 disks
RAID-Z2 / RAID6: 3 disks
RAID-Z3 / RAID7: 4 disks

Zoals je ziet betekent dit dus minimaal één data disk met bijkomende parity. RAID7 bestaat in de praktijk niet, maar als je naar RAID-Z3 vertaalt is dit een vrij logische benaming. Bovenstaand voorbeeld is de minimum, maar een RAID-Z of RAID5 van 2 disks kun je net zo goed een mirror maken. Echter, er is geen enkele technische reden dat dit niet kan. Dit is niet specifiek voor ZFS; ook met conventionele RAID5 kun je 2-disk arrays aanmaken. Het geeft alleen weinig voordeel boven een mirror en is dus weinig praktisch. Om die reden is het kunstmatig 'verboden' om dit te doen bij sommige RAID engines, maar onder Linux/BSD kun je prima een normale RAID5 maken met maar één data disk. Het blijft een normale non-degraded RAID5 in zo'n geval.

Veel praktischer - zeker bij ZFS - is om met mirrors te werken. Dan kun je beginnen met één disk. Die uitbreiden naar een mirror (dat kan!) en later nog een disk toevoegen en weer uitbreiden naar een mirror. Dan draai je een 4-disk RAID1+0 ofwel twee mirrors in een striping configuratie. Dat is een prima config, en leuke is dat je bij ZFS heel makkelijk van een enkele disk een mirror kunt maken en andersom een diskje eraf kunt snoepen. Dit gedrag kan helaas met RAID-Z nog niet. Shrinking en expanding bij RAID-Z wordt nog niet ondersteund.

Contagion schreef op woensdag 18 mei 2011 @ 11:45:
Beetje off topic, maar misschien interessant: mijn Samsung 2 TB schijven (203 en 204 serie) hebben allemaal 512 bytes sectors, dat vond ik best vreemd. Mijn 1 TB 2.5" Samsung laptop disk is wel 4096 byte sectors. Ik zou ook denken dat 'alles' nu op 4 kb sectors over is gegaan, maar niet dus.

Samsung HD204UI = Samsung F4 en die heeft 4K sectors. De F3 serie heeft nog wel 512B sectors, maar is ook flink trager door gebruik van 500GB platters ipv 666GB. Binnenkort zou Samsung 1TB platters lanceren en dat zou een monsterlijk schijfje moeten worden @ 5400rpm. 200MB/s zou mogelijk kunnen zijn; maar Seagate heeft Samsung nu gekocht blijft het even afwachten. Hopelijk verpest Seagate het feest niet.

[Nielson]

Verwijderd schreef op woensdag 18 mei 2011 @ 16:54:
[...]
Binnenkort zou Samsung 1TB platters lanceren en dat zou een monsterlijk schijfje moeten worden @ 5400rpm. 200MB/s zou mogelijk kunnen zijn; maar Seagate heeft Samsung nu gekocht blijft het even afwachten. Hopelijk verpest Seagate het feest niet.

Denk het niet, kans bestaat alleen dat Seagate eerst voorrang geeft aan z'n eigen schijven: nieuws: Seagate brengt hdd met 1TB per platter uit

[HaseMike]

3400+ = Athlon64 3400+, WIN XP 32, D-Link DGE530T Pci kaart , 2Gb DDR
3500+ = Athlon64 3500+, WIN XP 32, Onboard NForce4 Gigabit , 3Gb DDR
E350 = Asus E35M1-m Pro, FREEBSD 8.2, Onboard Realtek 8111E Gigabit , 8Gb DDR3
D420 = Celeron D420, FREEBSD 8.2, Onboard Realtek RTL8110SC PCI , 2Gb DDR2
Opt 240 = Dual Opteron 240, Ubuntu Server 10.04, Onboard Broadcom 5702 Gigabit , 2Gb DDR ECC

Cl = Client (Iperf -c -w64k)
Srv = Server (Iperf -s -w64k)
Snelheden in Megabits per seconde

	Srv 3400+	Srv 3500+	Srv E350	Srv D420	Srv Opt 240
Cl 3400+	None	215	212	211	219
Cl 3500+	449	None	943	444	924
Cl E350	467	788	None	117	823
Cl D420	460	499	417	None	468
Cl Opt 240	467	912	930	532	None

Mag ik hieruit afleiden dat je met een E-350 een forse snelheid met SMB kan halen icm met Freenas ?
Is die 90mbyte p/s met lezen en schrijven ?

Wil namelijk een zelfbouw NAS neerzetten met zo'n configuratie : E-350 4GB ddr3 en 4 2tb schijven met zfs. Stuk goedkoper dan de Qnaps en Synology's. Maar als de SMB snelheden bedroevend zijn dan ga ik liever aan een kant een klare oplossing.

Thx !

[Verwijderd]

HaseMike schreef op woensdag 18 mei 2011 @ 18:58:
[...]


Mag ik hieruit afleiden dat je met een E-350 een forse snelheid met SMB kan halen icm met Freenas ?
Is die 90mbyte p/s met lezen en schrijven ?

Wil namelijk een zelfbouw NAS neerzetten met zo'n configuratie : E-350 4GB ddr3 en 4 2tb schijven met zfs. Stuk goedkoper dan de Qnaps en Synology's. Maar als de SMB snelheden bedroevend zijn dan ga ik liever aan een kant een klare oplossing.

Thx !

qnap is met smb ook niet zo snel hoor .. (ik heb er 2) maar ligt eraan wat jij bedroevend vind natuurlijk.

[HaseMike]

Verwijderd schreef op woensdag 18 mei 2011 @ 19:33:
[...]
qnap is met smb ook niet zo snel hoor .. (ik heb er 2) maar ligt eraan wat jij bedroevend vind natuurlijk.

Volgens de performance reports van Qnap / Synology gaat het met 70-90mbyte p/s bij de nieuwere modellen met de atom cpu. Als je met een eigenbouw maar boven de 50mbyte komt ben ik tevreden.

Ter vergelijk : Ik heb nu een el cheapo WD mybook live 2tb staan van maar 129 Euro en die haalt 40mbyte up en 70 down.

*edit* Bedroevend vind ik alles onder de 30mbyte p/s voor write, sommige freenas zelfbouws zitten volgens de diverse fora maar rond de 15, als dat werkelijk het geval is geef ik liever wat meer uit dan me te zitten ergeren. Ik dacht zelf aan de Netgear Readynas Ultra 4.

[ Voor 20% gewijzigd door HaseMike op 18-05-2011 19:52 ]

[Verwijderd]

HaseMike schreef op woensdag 18 mei 2011 @ 19:44:
[...]

Volgens de performance reports van Qnap / Synology gaat het met 70-90mbyte p/s bij de nieuwere modellen met de atom cpu. Als je met een eigenbouw maar boven de 50mbyte komt ben ik tevreden.

Ter vergelijk : Ik heb nu een el cheapo WD mybook live 2tb staan van maar 129 Euro en die haalt 40mbyte up en 70 down.

*edit* Bedroevend vind ik alles onder de 30mbyte p/s voor write, sommige freenas zelfbouws zitten volgens de diverse fora maar rond de 15, als dat werkelijk het geval is geef ik liever wat meer uit dan me te zitten ergeren. Ik dacht zelf aan de Netgear Readynas Ultra 4.

ik heb geen idee wat een E-350 doet kwa snelheid smb, arnoud1 hier heeft zo'n mobo (ik heb er 1 gehad maar werkte niet lekker met bep. controller)
mijn mening.. minder dan 4 disks nodig.. koop een qnap, is goedkoper dan zelfbouw en je hebt garantie op het eindprodukt.. , blijft wel een feit dat zelfbouw meer voldoening geeft.
qnap heeft geen ZFS natuurlijk ..