Het grote ZFS topic

[FireDrunk]

Vreemd dat dat zo lang moet duren, op mijn gentooachine duurt een emerge world een kleine anderhalf uur...

[Verwijderd]

Heel het OS of alleen de kernel? In mijn geval zijn het vooral de services die lang duren; uur of 6 zeker. Met name Gnome is een beest om te compileren. Gentoo is één van de weinige linux dists waarbij je zelf compileert, heb ik dat goed onthouden? Ubuntu en Debian enzo is allemaal package-based dus je downloadt binaries ipv sourcecode.

[iRReeL]

Nou ik kijk er heel erg naar uit De server was ff uit voor een kleine verbouwing maar staat nu weer bij mijn desk dus kan een monitor aansluiten en dan is een GUI erg handig

[FireDrunk]

Ja je compiled alles van scratch in Gentoo.
Maar dan vraag ik me af... Waarom compile je in vredesnaam heel Gnome?

[ Voor 7% gewijzigd door FireDrunk op 19-07-2012 15:28 ]

[Hakker]

Nou ik heb me eigen scheel gezocht maar zou niet weten wat ik dan verkeerd gedaan heb.
in etc/rc.conf staat ie op Hakker-ZFS en in de browser staan de server string en hotname ook op Hakker-ZFS en dat ging iets van een week goed en ineens ziet Windows de bak niet meer in de lijst behalve dan als je handmatig er naartoe navigeer.
En ik kan me niet herinneren dat ik ergens anders de boel ervoor heb moeten aanpassen.

[Durandal]

vdev1: raid-z2 met disk1 tot en met disk6 - schijven van 2TB = 8TB bruikbare opslag
vdev2: raid-z2 met disk7 tot en met disk12 - schijven van 3TB = 12TB bruikbare opslag
vdev3: raid-z met disk13 tot en met disk17 - schijven van 4TB = 16TB bruikbare opslag
netto opslag = 8+12+16 = 36TB, terwijl bij traditioneel RAID dit 8+8+8 = 24TB zou zijn.

In dit voorbeeld begin je eerst met de eerste vdev dus 6 schijven van 2TB in een RAID-Z2.
Na een paar maanden voeg je de 2e vdev toe, maar nu met 3TB schijven.
...

Ok, weer een stapje verder. Ik ga om te beginnen voor 6 x 3TB op RaidZ2 om later uit te breiden. Mijn moederbord word een Asus E35M1-I of E45M1-I (Pro/DELUXE). Ik wil max 12 schijven dus nu heb ik een controller nodig met 8 poorten.

Ik begrijp dat SATA2+ disks op een SAS controller aangesloten kunnen worden dus zijn er twee opties
pricewatch: IBM ServeRAID M1015 SAS/SATA Controller for System x
pricewatch: Highpoint RocketRAID 2720

Enige tips over de beste keus en waarom? Is er iets waar ik op moet letten?
Het prijsverschil is voor mij niet doorslaggevend.
Ik las ook ergens iets over de IBM controller waar dan 'IT' firmware op geflashed zou zijn.

[matty___]

Durandal schreef op donderdag 19 juli 2012 @ 17:03:
[...]

Ok, weer een stapje verder. Ik ga om te beginnen voor 6 x 3TB op RaidZ2 om later uit te breiden. Mijn moederbord word een Asus E35M1-I of E45M1-I (Pro/DELUXE). Ik wil max 12 schijven dus nu heb ik een controller nodig met 8 poorten.

Ik begrijp dat SATA2+ disks op een SAS controller aangesloten kunnen worden dus zijn er twee opties
pricewatch: IBM ServeRAID M1015 SAS/SATA Controller for System x
pricewatch: Highpoint RocketRAID 2720

Enige tips over de beste keus en waarom? Is er iets waar ik op moet letten?
Het prijsverschil is voor mij niet doorslaggevend.
Ik las ook ergens iets over de IBM controller waar dan 'IT' firmware op geflashed zou zijn.

ibm = lsi chip. Lijkt me de betere keuze dan een highpoint

[Sleepie]

Even wat korte achtergrondinfo, voor ik mijn werkelijke vragen stel.

Ik heb nu een ZFS storage server staan (ZFSGuru, 10 x 1.5TB, RAIDZ2) met daarnaast nog een tweede server met Hyper-V en een aantal VMs (DC, Exchange, Applicatie server, pfSense).
Twee servers die dag en nacht aanstaan is natuurlijk niet erg energiezuinig, dus zit ik eraan te denken om beide servers samen te voegen in 1 server, wat dan een ESXi server zou moeten worden. De ZFS bak draait op een Xeon op een Supermicro bordje met ECC geheugen, dus die is daar ook eigenlijk perfect voor.

Dat zou dus betekenen ESX op de ZFS bak installeren en dan een VM maken voor de ZFSGuru machine en via NFS weer storage aanbieden voor de overige VMs. Dat deel is me allemaal wel duidelijk intussen.

Naar aanleiding van bovenstaande zijn mijn vragen:
Om de 10 disks aan de ESX VM te geven zal ik de controller met 8 disks via passthrough moeten doorgeven en voor de twee disks die op het mobo zitten zal ik RDMs moeten aanmaken. Blijft mijn pool daarna intact, kan ik die gewoon weer importeren na een verse ZFSGuru install (de RDMs is waar ik niet zeker van ben).

ZFSGuru is nu niet op die 10-disk pool geinstalleerd als root-on-zfs, maar op een apart SSDtje. Met het oog op de toekomst-plannen (er moeten nog 10 disks bijkomen in een later stadium) zou me dat in de ESX-oplossing niet zo best uitkomen. Maar volgens mij is het niet mogelijk om dat nu nog te wijzigen, dus ZFSGuru op de 10-disk pool installeren met behoud van data?

Er komen misschien nog wel wat vraagjes in me op als ik dit projectje verder overdenk, maar voorlopig zijn dit eigenlijk de belangrijkste.

[FireDrunk]

Je kan niet zo makkelijk van een via VT-d doorgegeven controller booten volgens mij,maar zeker weten doe ik het niet. Je kan een dd image trekken van je ZFSguru installatie van de SSD. Daarna de SSD met VMFS formatteren in ESXi en de image terugzetten in de VM.

[Sleepie]

FireDrunk schreef op donderdag 19 juli 2012 @ 19:46:
Je kan niet zo makkelijk van een via VT-d doorgegeven controller booten volgens mij,maar zeker weten doe ik het niet. Je kan een dd image trekken van je ZFSguru installatie van de SSD. Daarna de SSD met VMFS formatteren in ESXi en de image terugzetten in de VM.

Ik wilde eigenlijk dat SSDtje voor de ESXi install gaan gebruiken, vandaar mijn vraag of ik op een of andere manier de 10-disk pool bootable kan maken. Maar als booten van een passthrough controller niet lukt, maakt dat sowieso niets meer uit en moet ik iets anders verzinnen.

Nog een idee over de 10-disk pool? Als je in ESXi een RDM voor een disk aanmaakt, doet dat toch niets met de disk zelf volgens mij? Dus mij lijkt dat mijn pool na ESX-installatie, RDMs maken voor de twee disks, controller doorgeven en aanmaken van de ZFSGuru VM gewoon weer te importeren zou moeten zijn?
_{Ik wil dit echter wel graag echt zeker weten, ben al eens alle data op een mdadm raid kwijt geraakt door wat prutsen}

[FireDrunk]

Ja en nee, de disk word niet veranderd, maar de controller wel. Maar het zou niet uit moeten maken door welk type controller de disk geleverd word, zolang er maar niet aan de disk gerommeld word.

Het beste is om voor de LSI Logic SAS controller te gaan denk ik, dat is gewoon een LSI 1068 controller.

Ik heb wel eens van een RAIDZ array geboot die via RDM doorgegeven was, maar dat duurde al vrij lang (nooit uitgezocht waarom). Ik heb even de tijd niet om het voor je te proberen, misschien kan ik het dit weekend even voor je nabouwen.

[Sleepie]

FireDrunk schreef op donderdag 19 juli 2012 @ 20:01:
Ja en nee, de disk word niet veranderd, maar de controller wel. Maar het zou niet uit moeten maken door welk type controller de disk geleverd word, zolang er maar niet aan de disk gerommeld word.

Precies, althans ik dacht altijd dat dat het grote voordeel van software-raid (ZFS, mdadm) is: Het is contoller-onafhankelijk.

Het beste is om voor de LSI Logic SAS controller te gaan denk ik, dat is gewoon een LSI 1068 controller.

Misschien ten overvloede, maar alle hardware heb ik al en draait ook al
Enige wat ik wil veranderen is van de ZFSGuru machine een VM maken die onder ESX draait, waardoor ik (aangezien er 2 van de 10 disks op de mobo-controller zitten die ik niet kan doorgeven) RDMs voor deze twee disks zal moeten maken, waarna ik mijn pool weer hoop te kunnen importeren zonder data-verlies.

Ik heb wel eens van een RAIDZ array geboot die via RDM doorgegeven was, maar dat duurde al vrij lang (nooit uitgezocht waarom). Ik heb even de tijd niet om het voor je te proberen, misschien kan ik het dit weekend even voor je nabouwen.

Ik heb toen hier alles nog in de test-fase was wel eens een pool in OpenIndiana aangemaakt en later in FreeNAS weer ingelezen, dat ging gewoon prima. Maar daar kwamen geen RDM-trucjes aan te pas natuurlijk.

[FireDrunk]

Sleepie schreef op donderdag 19 juli 2012 @ 20:09:
Misschien ten overvloede, maar alle hardware heb ik al en draait ook al

Ik bedoel de virtuele controller in ESX

[Sleepie]

FireDrunk schreef op donderdag 19 juli 2012 @ 20:12:
Ik bedoel de virtuele controller in ESX

Ok, ik had jou dus verkeerd begrepen

[NIK0]

@CiPHER

Geprobeerd om m'n Nexenta volume naar ashift=12 om te zetten met ZFS Guru wat op zich wel gelukt is maar ik ben niet tevreden aangezien het andere zaken weer sloopt.

1) Eerst geprobeerd met ZFS guru direct een mirror aan te maken met de 2 (nexenta gpt geformatteerde disken) met 4K support. Dit gaat niet, ZFS-Guru zegt dat de namen conflicteren
EXTRA INFO:
Een Nexenta formatted disk ziet er zo uit:


2) In ZFS-Guru Disken geformatteerd met GEOM en een label aan de disken gehangen. Mirror pool aangemaakt en opzich alles prima, export pool, import pool in Nexenta en Pool wordt herkend.

NADEEL: Ik kan de disken niet meer "benaderen" voor bijv smartmon om de temps op te vragen of bijv via het tooltje blocksize kon ik niet langer de blocksize van de disken opvragen. In de GUI zag ik ook iets raars, bij het volume stonden de disken en daaronder stonden ze nogmaals gelist bij available disken als een mogelijke "Hot Spares (only in available state)" wat niet zo hoort.

3) Toen geprobeerd in ZFS-Guru beide disken te formatteren met GPT en een label gegegeven. Daarna het freebsd boot-stukje destroyed via DESTROY BOOT PARTITION
Disken vervolgens in een mirror gehangen en pool export gedaan.

Pool daarna geprobeerd in Nexenta te importeren maar dat lukt dus niet..
Cannot get exported volumes list: Assertion failed: rn->rn_nozpool == B_FALSE, file ../common/libzfs_import.c, line 1077, function zpool_open_func

Dus met GEOM wel succes alleen geen mogelijkheid meer tot smartmontools data en rare zaken in de gui. Format via ZFS-Guru met GPT geeft problemen met importeren...damned if do, damned if I don't

Is er met ZFS-Guru geen manier om via een shell met de hand de disken te formatteren met een GPT format die Nexenta wel begrijpt..?

[ Voor 8% gewijzigd door NIK0 op 19-07-2012 21:55 ]

[Verwijderd]

Eerst geprobeerd met ZFS guru direct een mirror aan te maken met de 2 (nexenta gpt geformatteerde disken) met 4K support. Dit gaat niet, ZFS-Guru zegt dat de namen conflicteren

ZFSguru werkt niet met technische benamingen zoals devicenames. In plaats daarvan moet iedere disk zijn eigen naam hebben die door de gebruiker is gekozen. Dit kan een GPT partitie zijn met label naam of een GEOM-provider. Beide moet je opgeven als je een disk formatteert via ZFSguru. Dit is uiteraard gedaan om menselijke fouten te voorkomen.

Maar jij hebt je disks waarschijnlijk geformatteerd in Nexenta en dan ZFSguru geboot. Dat kan opzich wel, maar dan moet je eerst op de partitie klikken (die groene balk) en daar een naam opgeven. Die zie je dan in het blauw verschijnen, zoals ook in je screenshot. Alleen zie je dan geen freebsd-zfs partitie maar iets anders. Als je dat nog kunt doorgeven ben ik ook weer blij.

Maargoed, het had zo wel gekund als je een naam had gegeven aan de disks, dan hoef je niet te herformatteren enzo. Het kan wel zijn dat je moet rebooten voordat die naam goed werkt.

2)
In ZFS-Guru Disken geformatteerd met GEOM en een label aan de disken gehange. Mirror aangemaakt en opzich alles prima, export pool, import pool in Nexenta en Pool wordt herkend.
NADEEL: Ik kon de disken niet meer "benaderen" voor bijv smartmon om de temps op te vragen of bijv via het tooltje blocksize kon ik niet langer de blocksize van de disken opvragen. Ik de GUI zag ik ook iets raars, bij het volume stonden de disken en daaronder stonden ze nogmaals gelist als een mogelijke "hotspare" wat niet zo hoort

Heb je het nu over Nexenta? En het enige wat GEOM-formatteren doet is 512-bytes aan het einde van de disk wegschrijven. Dat kan echt geen problemen veroorzaken dat Solaris opeens geen SMART meer kan uitvoeren. Dat lijkt me totaal los staan van hoe je in ZFSguru je disks formatteert.

Pool daarna geprobeerd in Nexenta te importeren maar dat lukt dus niet..

Solaris ondersteunt niet de GPT partities die FreeBSD/ZFSGuru aanmaakt. Vandaar dat je gewoon GEOM kan gebruiken wat gewoon betekent: géén partities maar een hele disk. ZFS begint met schrijven vanaf de allereerste sector op de hardeschijf. Alleen de allerlaatste sector van de hardeschijf wordt door geom_label beschreven. Daar doet Solaris verder niets mee.

Maar het zou wel kunnen dat als je GPT partities maakt met een ander type dan 'freebsd-zfs' maar bijvoorbeeld 'solaris-usr' dat het dan wel werkt.

Probeer anders nog eens wat je eerst deed:
1. Formatteer de disks in Solaris zoals je gewend bent.
2. Ga terug naar ZFSguru, skip de welcome wizard, update naar beta5 en ga naar de Disk pagina
3. Klik op de grote partitie (in je screenshot groen, maar zal een andere kleur hebben)
4. Waarschijnlijk heeft de partitie nog géén naam. Je kunt hier een andere naam geven, doe dat voor alle disks.
5. Reboot ZFSguru en maak de pool aan met 4K optimalisatie
6. export de pool en importeer deze weer in Solaris

Hopelijk werkt dat wel, al is dat niet zeker. Voordeel zou zijn dat je GPT partities kunt blijven gebruiken.

Maar die problemen met smartmontools kunnen niet door disk partities komen; je geeft toch de raw device op? In FreeBSD/ZFSguru bijvoorbeeld 'smartctl -A /dev/da1'. Of de disk partities heeft of niet zou niets uit mogen maken.

[Verwijderd]

Ik doe het even in een los bericht, anders lees je er denk ik overheen:

Een Nexenta formatted disk ziet er zo uit:

Ik zie dat deze een label naam heeft 'zfs'. Hoe zien andere disks eruit?

Andere disks mogen absoluut NIET dezelfde labelnaam hebben. Net zoals twee auto's geen zelfde kenteken mogen delen en twee computers niet hetzelfde IP adres mogen hebben. De naam hoort uniek te zijn voor díe schijf. Anders hoe moet ZFS weten welke schijf het om gaat als je het over '/dev/gpt/zfs' hebt?

[NIK0]

Verwijderd schreef op donderdag 19 juli 2012 @ 22:13:
Ik doe het even in een los bericht, anders lees je er denk ik overheen:

[...]

Ik zie dat deze een label naam heeft 'zfs'. Hoe zien andere disks eruit?

Andere disks mogen absoluut NIET dezelfde labelnaam hebben. Net zoals twee auto's geen zelfde kenteken mogen delen en twee computers niet hetzelfde IP adres mogen hebben. De naam hoort uniek te zijn voor díe schijf. Anders hoe moet ZFS weten welke schijf het om gaat als je het over '/dev/gpt/zfs' hebt?

Alle disken zijn geformateerd via Nexenta en hebben volgens ZFSGuru dezelfde "naam" zal nog even snel checken met screenshot

[Durandal]

matty___ schreef op donderdag 19 juli 2012 @ 17:22:
[...]

ibm = lsi chip. Lijkt me de betere keuze dan een highpoint

Wat is het voordeel van die LSI chip? De highpoint is namelijk wel SATA3 en de IBM M1015 volgens mij maar SATA2. En wat is er met die 'IT' geflashte firmware op de IBM?

[NIK0]

Durandal schreef op donderdag 19 juli 2012 @ 22:43:
[...]

Wat is het voordeel van die LSI chip? De highpoint is namelijk wel SATA3 en de IBM M1015 volgens mij maar SATA2. En wat is er met die 'IT' geflashte firmware op de IBM?

IBM M1015 is SATA 3

Rest kun je hier lezen:
http://www.servethehome.com/ibm-serveraid-m1015-part-4/

[Verwijderd]

@Durandal: Highpoint is een RAID-controller en ongeschikt voor non-TLER disks dus om beide redenen een no-go. ZFS hoort een non-RAID controller te krijgen wil het zijn bescherming waar kunnen maken. Het moet zelf controle krijgen over de schijven, zonder een chip die er tussenin zit buiten de controle van ZFS om.

De IBM M1015 is een supercontroller. Je krijgt 8x SATA/600 poorten via twee Mini-SAS kabels. Het is normaal form factor, hij is goedkoop en goed verkrijgbaar en hij werkt in Linux, recente ZFSguru en Solaris voor zover ik weet uitstekend. Kortom, lijkt me dé controller van dit moment met maar heel weinig alternatieven. Voor sommigen is de LSI 16-poorts versie een alternatief omdat ze te weinig PCIe poorten hebben.

Weet wel dat je de IBM M1015 nog moet flashen met non-RAID firmware, dat wordt IT-firmware (Initiator Target) genoemd. Terwijl de RAID firmware IR wordt genoemd (Integrated RAID). Hoe je dat flashen doet, kun je hier lezen: IBM ServeRAID M1015 Part 4: Cross flashing to a LSI9211-8i in IT or IR mode

[Durandal]

Nou, dat is een uitgemaakte zaak dan. Ik ging er van uit dat de disks op de Highpoint ook direct zonder RAID te benaderen waren, en dat hij sneller was. Thanks.

[NIK0]

Oke quick en dirty
Ik maak een volume aan in mirror

Volume verwijder ik weer (disken zijn nog steeds formatted)

Ik boot zfs guru disken zien er zo uit

disken da3,4 en 5 zijn lid van een 3way mirror

Vervolgens pas ik het label aan vd disk en klik ik op UPDATE PARTITION


En wil ik een mirror aanmaken:
zpl versie heb ik op 4 laten staan en spa op 28 gezet maar niet zeker of dit klopt,
Wanneer ik dan klik op CREATE POOL

Geeft ZFSGuru de melding:
Warning: at least one disk selected is too small, minimum is 64 MiB

EDIT
Nog geprobeerd om "Apply Force" aan te klikken werkt ook niet

[ Voor 12% gewijzigd door NIK0 op 19-07-2012 23:21 ]

[Verwijderd]

Ja moet opnieuw opstarten nadat je die labels hebt veranderd. Dit is geen bug van ZFSguru maar van FreeBSD. Of eigenlijk missende functionaliteit; de nieuwe label naam wordt pas volgende boot echt opgemerkt, maar ZFSguru werkt al wel met de nieuwe naam. Dat gaat dan niet werken.

Ik zal wel een waarschuwing inbouwen, dat is veel makkelijker dan zo'n vage foutmelding die je krijgt.

Geef je even door of rebooten heeft geholpen? Mag ook met de LiveCD zijn die labels blijven gewoon op disk opgeslagen. Dat is ook het enige wat er verandert wanneer je de naam wijzigt; wat er ook moet gebeuren is dat het FreeBSD systeem op dat moment draaide de nieuwe naam gaat gebruiken, en dat is dus niet zo. Dat lijkt mij een bug.

[NIK0]

Verwijderd schreef op donderdag 19 juli 2012 @ 23:21:
Ja moet opnieuw opstarten nadat je die labels hebt veranderd. Dit is geen bug van ZFSguru maar van FreeBSD. Of eigenlijk missende functionaliteit; de nieuwe label naam wordt pas volgende boot echt opgemerkt, maar ZFSguru werkt al wel met de nieuwe naam. Dat gaat dan niet werken.

Ik zal wel een waarschuwing inbouwen, dat is veel makkelijker dan zo'n vage foutmelding die je krijgt.

Geef je even door of rebooten heeft geholpen? Mag ook met de LiveCD zijn die labels blijven gewoon op disk opgeslagen. Dat is ook het enige wat er verandert wanneer je de naam wijzigt; wat er ook moet gebeuren is dat het FreeBSD systeem op dat moment draaide de nieuwe naam gaat gebruiken, en dat is dus niet zo. Dat lijkt mij een bug.

Rebooting..hold on..

[Verwijderd]

Oh en als je pool versie 28 kiest, ligt fs versie 5 ook voor de hand. Weinig reden om dus niet te upgraden.

Dit kun je doen op de filesystems pagina, of simpelweg als commando zfs upgrade -a.

[NIK0]

Oke volume aanmaken ging nu wel !!!!

Boot terug naar nexenta, zie een volume 1 bovenaan en een "ghost" vol2 onderaan


Ik klik op import volume en dan zie ik dit:


Welke te importeren..? (de NON destroyed heeft de disken toegewezen maar wat doet dat lege mormel daaronder..? )

Zal ik anders in nexenta een temp volume aanmaken, deze weggooien en dan in zfsguru een vol3 aanmaken (die naam is nog nooit eerder gebruikt)

[ Voor 29% gewijzigd door NIK0 op 19-07-2012 23:35 ]

[Verwijderd]

Vol02 die Destroyed=no is.

Je hebt op die twee schijven eerder een ZFS pool gehad die je daarna hebt vernietigt (zpool destroy of via web-interface). ZFS blijft dat zien en je kunt soms een destroyed pool weer terughalen, zeker als dit vlak is gebeurd nadat je hem hebt vernietigd.

Als je command-line hebt op Nexenta: zpool import vol02. Maar ik weet niet of je dat 'mag' in Nexenta.

[ Voor 15% gewijzigd door Verwijderd op 19-07-2012 23:39 ]

[NIK0]

EUREKA.!!!!!!!!!!!!!!!

Pool imported, geen ghostdisken meer in hotspares en ook nog 'ns temps beschikbaar en blocksizes:
root@nexenta:/export/home/admin# ./blocksize /dev/rdsk/c3t5000C5004014E90Cd0
dkmp.dki_capacity = 3907029168
dkmp.dki_lbsize = 512
dkmp_ext.dki_capacity = 3907029168
dkmp_ext.dki_lbsize = 512
dkmp_ext.dki_pbsize = 4096

CiPHER je bent een held..!

EDIT die "ghost" pool moet uiteindelijk vanzelf verdwijnen wanneer ik klik op import pool..?
Ik zal de screens verzamelen en tzt even gieten in een nette blogpost..
Nu tijd voor bed..morgenochtend staat tweakers weer als eerste op het scherm..

[ Voor 20% gewijzigd door NIK0 op 19-07-2012 23:44 ]

[Verwijderd]

EDIT die "ghost" pool moet uiteindelijk vanzelf verdwijnen wanneer ik klik op import pool..?

Nee hoor je kunt vaak nog heel lang zien dat er ooit een andere pool op heeft gestaan op die disks. Kritieke ZFS metadata wordt dacht ik 16 keer redundant opgeslagen dus pas na lange tijd zullen alle blokken overschreven zijn. Pas dan zie je niet meer dat er ooit een andere pool op stond bij een import functie. Maar ik neem aan dat als je een import doet op een disk die je al hebt geïmporteerd, dat hij niet de destroyed pools laat zien. Je moet normaliter ook opgeven dat je destroyed pools wilt zien met zpool import -d.

Kortom, alles werkt zoals het hoort. Veel plezier ermee!

[ Voor 8% gewijzigd door Verwijderd op 19-07-2012 23:51 ]

[NIK0]

Verwijderd schreef op donderdag 19 juli 2012 @ 23:51:
[...]

Nee hoor je kunt vaak nog heel lang zien dat er ooit een andere pool op heeft gestaan op die disks. Kritieke ZFS metadata wordt dacht ik 16 keer redundant opgeslagen dus pas na lange tijd zullen alle blokken overschreven zijn. Pas dan zie je niet meer dat er ooit een andere pool op stond bij een import functie. Maar ik neem aan dat als je een import doet op een disk die je al hebt geïmporteerd, dat hij niet de destroyed pools laat zien. Je moet normaliter ook opgeven dat je destroyed pools wilt zien met zpool import -d.

Kortom, alles werkt zoals het hoort. Veel plezier ermee!

Thanks grandmaster!

[sloth]

Pantagruel schreef op woensdag 18 juli 2012 @ 10:55:
[...]


Zow, een beetje prutsen verder.

RDM aangemaakt richting de SATA drive (400GB WD) aanwezig op de on-board SATA controller van t X9SCM-F moederbord mbv dit blogje. De vier andere SATA disks (320GB WD) hangen dus aan een passthrough LSI SAS2008 (IT mode M1015). RDM disk aan de ZFSguru VM toegevoegd en opgestart.

Screenshot van de hdd sectie van de ZFSguru webinterface:
[afbeelding]

Van boven naar beneden: de VM disk aanwezig op de SSD, de 400 GB WD en de vier andere 320 GB WD's.

Screenshot van de SMART sectie van de ZFSguru webinterface na een klik op de 'scan all' knop:
[afbeelding]

Arghh, rot kabeltje??, nee een brakke molex splitter ( hddtje gaat uit, hddtje gaat aan, je kent t wel).

Dus ja, SMART uitlezen van een HDD werkt zowel voor een HDD aan een passthrough controller als voor een RDM drive.

Bedankt voor het testen

Ben je ook in de mogelijkheid op errors te testen?
RudolfR kreeg namelijk errors op z'n pool die via vmkfstools -z (physical RDM) aangemaakt werden.

Met vmkfstools -r (virtual RDM) zou dit verholpen zijn, maar dan mis je SMART / spindown functionaliteit

Indien iemand dit zou kunnen bevestigen moet ik uitkijken naar een aparte ZFS NAS build. De investering naar een VT-D compatible setup heb ik er niet voor over, en zonder SMART werken doe ik liever niet..

[Durandal]

Misschien niet helemaal het goede topic, maar ik zit er over te denken een Asus E45M1-I PRO bordje te nemen en in de toekomst MythTV Server te draaien om mijn satelliet signaal te streamen naar meerdere TVs. Zou ideaal zijn om op 1 machine te hebben ivm stroom & bandbreedte.

Vraag is, is de Asus E45 snel genoeg om als RaidZ2 server (geen compressie/dedup) EN als MythTV Backend (2 tuners) te dienen. Iemand ervaring?

[ Voor 4% gewijzigd door Durandal op 20-07-2012 16:20 ]

[wjn]

[b][message=38615363,noline]De IBM M1015 is een supercontroller. Je krijgt 8x SATA/600 poorten via twee Mini-SAS kabels. Het is normaal form factor, hij is goedkoop en goed verkrijgbaar en hij werkt in Linux, recente ZFSguru en Solaris voor zover ik weet uitstekend. Kortom, lijkt me dé controller van dit moment met maar heel weinig alternatieven. Voor sommigen is de LSI 16-poorts versie een alternatief omdat ze te weinig PCIe poorten hebben.

Hierop inhakend.

Heb veel gelezen over zfs e.d., zakelijk als eerste met Nexenta aan de slag gegaan omdat dat sneller was dan Freenas. Echter toen kende ik ZFSGuru nog niet, wat ik nu in een vituele machine aan het testen ben. Tot zover erg leuk en ziet er makkelijk uit. Respect

Voor prive ga ik dan ook een servertje maken met in eerste instantie 3 harddisks voor een raidz pool. Software wordt dan ZFSGuru. De harddisks (nieuwe, met SATA600) komen in eerste instantie op de SATA aansluitingen, zijn echter in mijn geval slechts SATA300. Op de enige SATA-600 aansluiting komt een SSD voor cache etc. Op de overblijvende SATA aansluiting een laptop schijfje als tijdelijke opslag van downloads, zodat de pool down kan als die niet gebruikt wordt.

Nu de vraag:
Als ik later wil uitbreiden heb ik een HBA nodig, bijv. de LSI 9201. Kan/moet ik dan de bestaande pool van 3 disken ook op die HBA aansluiten (dit omdat de HBA SATA600 poorten heeft) of heeft dat geen nut? Ik vermoed dat de pool gewoon gezien wordt, maar weet dus niet of het qua performance nog iets uit gaat maken, gezien ik een SDD als cache ga gebruiken.

[Verwijderd]

Je kunt disks altijd van controller wisselen. Enig punt kan zijn als je van die pool wilt booten, dan moet de controller ook boot support hebben. Dat werkt met Interrupt 19 Capture, wat je BIOS én de controller moet ondersteunen. Tijdens het booten zal de controller dan bootable volumes 'registreren' die dan ook zichtbaar zijn.

Boot je vanaf je chipset SATA, dan hoef je je hier niet druk van te maken. ZFS onder BSD vind je disks waar die zich ook bevinden. In externe behuizingen, via het internet gemount, via je floppydisk, cd-rom of MBR/GPT partitie op welke disk dan ook. Zolang BSD de ZFS disk kan zien, kan ZFS hem ook zien.

Overigens: hardeschijven met SATA/600 heb je weinig aan hoor. De hardeschijven met SATA/300 zoals Samsung F4EG doen het bijvoorbeeld net iets beter dan de nieuwe WD EARX met SATA/600. Maar het scheelt allemaal niet veel. Bedenk dat hardeschijven vooral sequential I/O zullen doen, en dat is 140MB/s beperkt. SATA/600 heeft geen echte meerwaarde. Klinkt natuurlijk wel leuk enzo, maar maak je er zeker niet druk om! Je verlies is minder dan 1%.

[Sleepie]

Verwijderd schreef op vrijdag 20 juli 2012 @ 18:36:
Boot je vanaf je chipset SATA, dan hoef je je hier niet druk van te maken. ZFS onder BSD vind je disks waar die zich ook bevinden. In externe behuizingen, via het internet gemount, via je floppydisk, cd-rom of MBR/GPT partitie op welke disk dan ook. Zolang BSD de ZFS disk kan zien, kan ZFS hem ook zien.

Als ik hier ook even op mag inhaken (zie mijn vragen een pagina terug ofzo).
Gaat dit ook goed voor twee disks die onderdeel zijn van een 10-disk pool, nu op het moederbord zijn aangesloten, maar die ik binnenkort via RDMs in ESX beschikbaar wil maken?
En dat dan liefst zonder (kans op) dataverlies?

[ Voor 4% gewijzigd door Sleepie op 20-07-2012 18:54 ]

[Verwijderd]

Als je device terugkomt onder een andere naam, is dat geen probleem. Dus zolang BSD je schijf maar kan zien, hoef je ook verder niets te doen.

[Sleepie]

Verwijderd schreef op vrijdag 20 juli 2012 @ 19:05:
Als je device terugkomt onder een andere naam, is dat geen probleem. Dus zolang BSD je schijf maar kan zien, hoef je ook verder niets te doen.

Da's mooi om te horen, dan kan ik mijn huidige ZFSguru machine ombouwen naar een ESX machine, waarop ik dan (uiteraard) weer ZFSGuru ga draaien.

Nog een vraagje dan: In de huidige webinterface van ZFSGuru is het nog niet mogelijk om je configuratie te exporteren, is dat op een andere manier (command-line) wel mogelijk?

_{Zo niet, niet echt een probleem, een paar shares zijn zo weer aangemaakt}

[wjn]

[b][message=38620153,noline]Overigens: hardeschijven met SATA/600 heb je weinig aan hoor. De hardeschijven met SATA/300 zoals Samsung F4EG doen het bijvoorbeeld net iets beter dan de nieuwe WD EARX met SATA/600. Maar het scheelt allemaal niet veel. Bedenk dat hardeschijven vooral sequential I/O zullen doen, en dat is 140MB/s beperkt. SATA/600 heeft geen echte meerwaarde. Klinkt natuurlijk wel leuk enzo, maar maak je er zeker niet druk om! Je verlies is minder dan 1%.

Ik heb voor 3x4TB Hitachi gekozen (7K4000), die hebben alleen maar SATA-600. De keuze voor 3x4TB, omdat 3 schijven nu eenmaal minder vermogen opnemen als 5 of 6 (6x2TB bijv.). Draaiend (IDLE) gebruiken ze wel wat meer, maar in standby/sleep evenveel/weinig (1W/disk).

Stel dat ik later nog 3x4TB erbij zet, is het gevoelsmatig beter alles op dezelfde snelheid SATA aansluitingen te laten draaien. (Heb je idee/advies al gelezen om van een 3 disk RAIDZ naar 6 DISK RAIDZ2 te gaan )

Qua functionaliteit maakt het dus niet uit, zolang er maar geboot kan worden. Duidelijk, thanks.

[Phasis]

Nog geen nieuwe versie zeker CiPHER

[Verwijderd]

Nee nog niet. Ik ben opzich al wel ver: een werkende livecd. Maar ik moet nog best wat dingen doen. Op zijn vroegst wordt het toch zondagavond denk ik. Wat ik ook kan doen is eerst een system image bakken en later pas de extra services goedkrijgen. Maar juist dat laatste vereist ook wijzigingen aan de system image. Ik moet die zaken eerst afronden.

Hoop wel dat ik dit weekend kan releasen zoals aangekondigd. Maar ook leuk als alles werkt zoals bedoeld, wat nu nog niet het geval is.

[Phasis]

Verwijderd schreef op zaterdag 21 juli 2012 @ 16:50:
Nee nog niet. Ik ben opzich al wel ver: een werkende livecd. Maar ik moet nog best wat dingen doen. Op zijn vroegst wordt het toch zondagavond denk ik. Wat ik ook kan doen is eerst een system image bakken en later pas de extra services goedkrijgen. Maar juist dat laatste vereist ook wijzigingen aan de system image. Ik moet die zaken eerst afronden.

Hoop wel dat ik dit weekend kan releasen zoals aangekondigd. Maar ook leuk als alles werkt zoals bedoeld, wat nu nog niet het geval is.

Owk, ga nu ZFSguru instaleren op me ESXi server dus dacht even polsen
Ja idd rustig aan.

[wjn]

wjn schreef op vrijdag 20 juli 2012 @ 19:37:
[...]

Ik heb voor 3x4TB Hitachi gekozen (7K4000), die hebben alleen maar SATA-600. De keuze voor 3x4TB, omdat 3 schijven nu eenmaal minder vermogen opnemen als 5 of 6 (6x2TB bijv.). Draaiend (IDLE) gebruiken ze wel wat meer, maar in standby/sleep evenveel/weinig (1W/disk).

Stel dat ik later nog 3x4TB erbij zet, is het gevoelsmatig beter alles op dezelfde snelheid SATA aansluitingen te laten draaien. (Heb je idee/advies al gelezen om van een 3 disk RAIDZ naar 6 DISK RAIDZ2 te gaan )

Qua functionaliteit maakt het dus niet uit, zolang er maar geboot kan worden. Duidelijk, thanks.

Na 75 paginas te hebben gelezen toch nog een vraag (die misschien al in de andere 70 paginas beantwoord wordt, maar toch):

Ik lees wat over tijden van rebuilden (resilvering in zfs?). Ik heb helaas ervaring met het rebuilden van een 1TB mirror, duurde praktisch een hele dag (ook omdat het doordeweeks was en er doorgewerkt moest worden). Fout was overigens ontstaan door een slechte sata power connector, dus niets mis met de harddisk zelf.

Vraag me dus af of het niet beter is om in plaats van 4TB schijven een dubbele hoeveelheid 2TB schijven te doen? Zou dus gaan om 6x4TB of 10x2TB schijven. Nadelen zijn natuurlijk energieverbruik / warmte / ruimte. Voordeel is in theorie een 2x zo snelle rebuild en qua totale kosten is het goedkoper.

[justice strike]

heb een tijdje niet kunne werken aan die server. Maar nu ben ik weer aan het kijken of alles naar behoren werkt en ik zie in de log staan

smbd[53744]: [2012/07/22 12:52:37.020303, 0] modules/vfs_posixacl.c:170(smb_ace_to_internal)
smbd[53744]: unknown tag type 64

in de eerste instantie dacht ik dat het de AIO is, die niet goed ondersteund wordt in freebsd. Dit was uitgezet en hij blijft toch doorgaan met deze problemen. Iemand enig idee wat het precies inhoudt?

De performance is overigens wel erg slecht (2.5 mb per seconde) dus ik hoop dat het hieraan ligt.

[Phasis]

CiPHER als ik de ZFSguru 0.2.0-beta4 mount aan me vm krijg ik

http://0.0.0.0 (loop)
als ik klik op 2. Set IP address krijg ik hetzelfde

Als ik vervolgens de ZFSguru 0.1.8-livecd inlaad in dezelfde vm dan krijg ik wel gewoon een ip address

NIC 1: VM Network E1000

[FireDrunk]

De detectie is soms niet helemaal in orde, maar het kan best zijn dat je wel een IP krijgt.
Check even in de leasetabel van je router (of w/e je DHCP server is) dan zie je vrij snel of er een extra IP is uitgegeven.

[Phasis]

Thx dit is inderdaad het geval.

[Phasis]

Vreemd ik zag dat ik vergeten was me SASUC8I controller aan me VM te hangen.
Als ik dan boot zfsguru 0.2.0-beta4 krijg ik een hoop te zien maar het zfsguru venster niet.

Als ik vervolgens de 0.1.8 live cd boot werkt alles wel gewoon.

[FireDrunk]

Verwijderd schreef op maandag 23 januari 2012 @ 22:16:
Zelf net even geprobeerd. Doe het volgende:
1) start je VM, boot van de livecd
2) wanneer je het FreeBSD logo krijgt met een menu dan moet je snel op spatie drukken. Het telt namelijk af vanaf 2 seconden. Wanneer je op spatie drukt stopt het aftellen. Dan kun je rustig naar de opties kijken, waaronder ESC = Escape to loader prompt. Druk dus op escape en je krijgt een soort prompt "OK".
3) type nu in (elke regel gevolgd door enter)
set hw.pci.enable_msix="0"
set hw.pci.enable_msi="0"
boot

Kom je dan iets verder?

Verwijderd schreef op maandag 23 januari 2012 @ 22:00:
Maar de livecd kun je wel booten, maar de reboot na de installatie niet?

Ik heb dit gevonden voor in je /boot/loader.conf:

hw.pci.enable_msix="0"
hw.pci.enable_msi="0"


http://forums.freebsd.org/showthread.php?t=17802

Kan specifiek zijn voor je systeem of voor ESXi ik heb geen idee.

[ Voor 24% gewijzigd door FireDrunk op 22-07-2012 17:29 ]

[wjn]

Nog een ZFS vraagje:
UIt een oude NAS hou ik 4x 2TB schijven over, die ik dan weer wil inzetten. Maakt het qua performance nog uit of ik 2x mirror van 2TB aanmaak of 1x Z2 van 4 schijven (dus ook ca. 4TB netto)?

[Phasis]

Thx FireDrunk voor de hulp.

[FireDrunk]

wjn schreef op zondag 22 juli 2012 @ 17:45:
Nog een ZFS vraagje:
UIt een oude NAS hou ik 4x 2TB schijven over, die ik dan weer wil inzetten. Maakt het qua performance nog uit of ik 2x mirror van 2TB aanmaak of 1x Z2 van 4 schijven (dus ook ca. 4TB netto)?

Ja RAIDZ2 is veiliger, want er kunnen 2 willekeurige disks kapot gaan. Bij 2 Mirror's in een pool kunnen er wel 2 disks gaan, maar alleen 2 disks uit verschillende mirrors. De veiligheid is dus bij 2 mirrors iets lager.
Snelheden verschillen niet heel veel denk ik. De mirrors zullen een fractie sneller zijn denk ik.

[justice strike]

cypher... had je zfsguru wel eens op apache gedraait? Ik begin lighttpd echt heel irritant te vinden (zeker omdat je niet van poort 80 af kunt)

op dit moment heb ik bijvoorbeeld weer het probleem dat hij niet aan poort 80 wil binden omdat hij denkt dat deze al in gebruik is (wat niet het geval is).

code:

(network.c.371) can't bind to port: 0.0.0.0 80 Address already in use
./lighttpd: WARNING: failed to start lighttpd

[ Voor 3% gewijzigd door justice strike op 22-07-2012 19:09 ]

[FireDrunk]

netstat -tulpn

Kun je zo zien welk PID poort 80 in gebruik heeft.

[CurlyMo]

justice strike schreef op zondag 22 juli 2012 @ 19:08:
cypher... had je zfsguru wel eens op apache gedraait? Ik begin lighttpd echt heel irritant te vinden (zeker omdat je niet van poort 80 af kunt)

op dit moment heb ik bijvoorbeeld weer het probleem dat hij niet aan poort 80 wil binden omdat hij denkt dat deze al in gebruik is (wat niet het geval is).

code:

(network.c.371) can't bind to port: 0.0.0.0 80 Address already in use
./lighttpd: WARNING: failed to start lighttpd

Ja dat kan. Gewoon apache installeren en de ZFSGuru webgui naar in je htdocs van apache kopiëren. ZFSGuru heeft dan gewoon door dat je apache draait. In je rc.conf kan je vervolgens lighttpd uitzetten en apache aan. Werkt hier prima.

[justice strike]

FireDrunk schreef op zondag 22 juli 2012 @ 19:15:

netstat -tulpn

Kun je zo zien welk PID poort 80 in gebruik heeft.

er is geen pid die poort 80 gebruikt.

CurlyMo schreef op zondag 22 juli 2012 @ 19:24:
[...]

Ja dat kan. Gewoon apache installeren en de ZFSGuru webgui naar in je htdocs van apache kopiëren. ZFSGuru heeft dan gewoon door dat je apache draait. In je rc.conf kan je vervolgens lighttpd uitzetten en apache aan. Werkt hier prima.

mja ik vraag het meer omdat mij lijkt dat er met een bepaalde gedachte lighttpd is gekozen.

[ Voor 49% gewijzigd door justice strike op 22-07-2012 19:29 ]

[CurlyMo]

justice strike schreef op zondag 22 juli 2012 @ 19:28:
mja ik vraag het meer omdat mij lijkt dat er met een bepaalde gedachte lighttpd is gekozen.

Zoals de naam al doet vermoeden Hij gebruikt minder resources, dus wanneer het puur om het draaien van de webgui gaat is het de beste keuze. Wanneer je ook aan webdev doet is Apache misschien makkelijker.

[justice strike]

CurlyMo schreef op zondag 22 juli 2012 @ 19:31:
[...]

Zoals de naam al doet vermoeden Hij gebruikt minder resources, dus wanneer het puur om het draaien van de webgui gaat is het de beste keuze. Wanneer je ook aan webdev doet is Apache misschien makkelijker.

als je uberhaupt een andere poort wil draaien moet je lighttpd niet gebruiken.

[CurlyMo]

justice strike schreef op zondag 22 juli 2012 @ 19:34:
[...]

als je uberhaupt een andere poort wil draaien moet je lighttpd niet gebruiken.

Wat is dan je doel? ZFSGuru webgui met lighttpd op een andere poort of Apache op een andere poort?

[Verwijderd]

Je kunt gewoon lighttpd op poort 81 zetten en Apache op poort 80 (default). Daarvoor hoef je alleen de lighttpd.conf aan te passen. Ergens bovenaan en helemaal onderaan in die config file, uit mijn hoofd.

Lighttpd is gekozen omdat Apache best wel een zwaar pakket is. En dat alleen maar voor PHP dus Apache heeft weinig aan al die modules die je erbij krijgt. Maar er is nog een alternatief: PHP kan zelf ook als daemon draaien met FPM. Een soort ingebouwde webserver waardoor je direct PHP kunt draaien zonder Lighttpd of Apache. Ik hoop dit werkend te krijgen voor de ZFSguru web-interface. Als je dan gemakkelijk de poort kunt veranderen is het helemaal geweldig.

Als je ZFSguru wilt kunnen aanspreken via Apache, raad ik aan dat je een Alias maakt ipv bestanden gaat kopiëren. Want bij dat laatste werkt de update-functie ook niet naar behoren. De web-interface hoort in /usr/local/www/zfsguru net als phpmyadmin in /usr/local/www/phpmyadmin blijft. Waar je document root dan ook is, je kunt een alias maken naar deze directory. Dat is de beste manier. In die alias kun je ook IPs opgeven die toegang tot de web-interface mogen hebben, als extra beveiliging.

En justice strike, de IP detectie gaat niet goed? Mag ik je ifconfig zien of had ik dat al eens gevraagd?

[wjn]

FireDrunk schreef op zondag 22 juli 2012 @ 18:29:
[...]


Ja RAIDZ2 is veiliger, want er kunnen 2 willekeurige disks kapot gaan. Bij 2 Mirror's in een pool kunnen er wel 2 disks gaan, maar alleen 2 disks uit verschillende mirrors. De veiligheid is dus bij 2 mirrors iets lager.
Snelheden verschillen niet heel veel denk ik. De mirrors zullen een fractie sneller zijn denk ik.

Dank je. Ik was dus voornamelijk benieuwd naar eventuele snelheidsverschillen, geen idee hoe ZFS met 2x mirror dan wel RAID-Z2 omgaat. Mirror lijkt me iets sneller schrijven omdat er niets berekend hoeft te worden, nadeel schreef je idd al.

En nu wachten totdat de bestelling wordt geleverd ....

[justice strike]

Verwijderd schreef op zondag 22 juli 2012 @ 19:56:
Je kunt gewoon lighttpd op poort 81 zetten en Apache op poort 80 (default). Daarvoor hoef je alleen de lighttpd.conf aan te passen. Ergens bovenaan en helemaal onderaan in die config file, uit mijn hoofd.

lighttpd kan naast 80 ook op een andere poort draaien. Maar hij zal altijd op poort 80 draaien ongeacht wat je in de config file zet (ik heb dit uit en treuren nagekeken en het is echt zo).

Lighttpd is gekozen omdat Apache best wel een zwaar pakket is. En dat alleen maar voor PHP dus Apache heeft weinig aan al die modules die je erbij krijgt. Maar er is nog een alternatief: PHP kan zelf ook als daemon draaien met FPM. Een soort ingebouwde webserver waardoor je direct PHP kunt draaien zonder Lighttpd of Apache. Ik hoop dit werkend te krijgen voor de ZFSguru web-interface. Als je dan gemakkelijk de poort kunt veranderen is het helemaal geweldig.

Als je ZFSguru wilt kunnen aanspreken via Apache, raad ik aan dat je een Alias maakt ipv bestanden gaat kopiëren. Want bij dat laatste werkt de update-functie ook niet naar behoren. De web-interface hoort in /usr/local/www/zfsguru net als phpmyadmin in /usr/local/www/phpmyadmin blijft. Waar je document root dan ook is, je kunt een alias maken naar deze directory. Dat is de beste manier. In die alias kun je ook IPs opgeven die toegang tot de web-interface mogen hebben, als extra beveiliging.

goede tip

En justice strike, de IP detectie gaat niet goed? Mag ik je ifconfig zien of had ik dat al eens gevraagd?

code:

re0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=389b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_UCAST,WOL_MCAST,WOL_MAGIC>
        ether c8:60:00:88:71:0f
        inet6 fe80::ca60:ff:fe88:710f%re0 prefixlen 64 scopeid 0x6
        inet 192.168.1.103 netmask 0xffffff00 broadcast 192.168.1.255
        nd6 options=23<PERFORMNUD,ACCEPT_RTADV,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex,master>)
        status: active
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
        options=3<RXCSUM,TXCSUM>
        inet6 ::1 prefixlen 128
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x9
        inet 127.0.0.1 netmask 0xff000000
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
vboxnet0: flags=8802<BROADCAST,SIMPLEX,MULTICAST> metric 0 mtu 1500
        ether 0a:00:27:00:00:00
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>

ik zie ook dat ik de mtu even moet veranderen... maar dat is voor een andere keer.

[FireDrunk]

Waarom? Localhost MTU is altijd heel hoog.

[justice strike]

FireDrunk schreef op zondag 22 juli 2012 @ 21:46:
Waarom? Localhost MTU is altijd heel hoog.

ja maar re0 mtu is nogal laag moet volgens mij 9000 zijn om jumbo frames te ondersteunen.

[Verwijderd]

Voeg dit eens toe aan je /etc/rc.conf, die ifconfig_DEFAULT mag gewoon blijven staan.
ifconfig_re0="DHCP mtu 9000"

[justice strike]

Verwijderd schreef op zondag 22 juli 2012 @ 21:59:
Voeg dit eens toe aan je /etc/rc.conf, die ifconfig_DEFAULT mag gewoon blijven staan.
ifconfig_re0="DHCP mtu 9000"

Bedankt voor de suggestie... maar dat is niet waarom lighttpd niet opstart

[Verwijderd]

Nee maar daar had ik al op geantwoord toch? nvm In elk geval ik heb dit onlangs nog gedaan bij iemand en dat werkte prima. Dus waarom niet bij jou? Heb je je lighttpd.conf op twee punten aangepast? Helemaal bovenaan én onderaan?

[ Voor 3% gewijzigd door Verwijderd op 22-07-2012 22:08 ]

[justice strike]

Verwijderd schreef op zondag 22 juli 2012 @ 22:07:
Nee maar daar had ik al op geantwoord toch? nvm In elk geval ik heb dit onlangs nog gedaan bij iemand en dat werkte prima. Dus waarom niet bij jou? Heb je je lighttpd.conf op twee punten aangepast? Helemaal bovenaan én onderaan?

nog steeds hetzelfde probleem. Maakt neits uit welke poort ik gebruik ik krijg dezelfde foutmelding

code:

Starting lighttpd.
2012-07-22 20:16:01: (network.c.371) can't bind to port: 0.0.0.0 82 Address already in use
./lighttpd: WARNING: failed to start lighttpd

[FireDrunk]

Ruikt er naar dat je niet aan 0.0.0.0 mag binden Probeer je echte IP eens...
Bij Apache is dat het Listen configuratie item

[ Voor 24% gewijzigd door FireDrunk op 22-07-2012 22:31 ]

[Verwijderd]

De enige wijzigingen aan de standaard ZFSguru lighttpd.conf die ik heb moeten doen zijn:

server.port = 8080
(bovenaan)

en onderaan:
# IPv4 listening socket
$SERVER["socket"] == "0.0.0.0:8080" { }

Dus 0.0.0.0 moet gewoon werken. Restart met:
/usr/local/etc/rc.d/lighttpd stop
/usr/local/etc/rc.d/lighttpd start
restart kan ook, maar met stop kun je zien of hij draaide of niet.

[justice strike]

Verwijderd schreef op zondag 22 juli 2012 @ 22:51:
De enige wijzigingen aan de standaard ZFSguru lighttpd.conf die ik heb moeten doen zijn:

server.port = 8080
(bovenaan)

en onderaan:
# IPv4 listening socket
$SERVER["socket"] == "0.0.0.0:8080" { }

Dus 0.0.0.0 moet gewoon werken. Restart met:
/usr/local/etc/rc.d/lighttpd stop
/usr/local/etc/rc.d/lighttpd start
restart kan ook, maar met stop kun je zien of hij draaide of niet.

0.0.0.0 werkt niet (meer) maar het specifieke ip adres werkt wel. Vreemd. Enige dat gedaan was was een reboot.

[FireDrunk]

Kan iets met rechten zijn. Draai je Lighttpd misschien onder een andere user?
Want voor zover ik weet mag alleen root op 0.0.0.0 luisteren...

[Verwijderd]

Heb je lighttpd wel herstart volgens de officiële manier? Via de /usr/local/etc/rc.d/ scripts? Dat is wel vereist namelijk. Anders kan er er een lighttpd draaien die niet wordt 'gedetecteerd'.

[justice strike]

Verwijderd schreef op zondag 22 juli 2012 @ 23:19:
Heb je lighttpd wel herstart volgens de officiële manier? Via de /usr/local/etc/rc.d/ scripts? Dat is wel vereist namelijk. Anders kan er er een lighttpd draaien die niet wordt 'gedetecteerd'.

ja gestart via dat script idd.

[justice strike]

FireDrunk schreef op zondag 22 juli 2012 @ 23:06:
Kan iets met rechten zijn. Draai je Lighttpd misschien onder een andere user?
Want voor zover ik weet mag alleen root op 0.0.0.0 luisteren...

hij heeft het gedaan voorheen. Had hem net gereboot en toen deed die het niet.

[Verwijderd]

Misschien moet je het nog eens proberen met die nieuwe image van mij justice strike. Niet zozeer dat daar bugs in gefixed zijn, maar meer dat je vers overnieuw begint. Misschien zit er iets niet lekker omdat je eerder wat dingen hebt veranderd. Wie weet.

[justice strike]

Verwijderd schreef op zondag 22 juli 2012 @ 23:34:
Misschien moet je het nog eens proberen met die nieuwe image van mij justice strike. Niet zozeer dat daar bugs in gefixed zijn, maar meer dat je vers overnieuw begint. Misschien zit er iets niet lekker omdat je eerder wat dingen hebt veranderd. Wie weet.

ik ga hem niet opnieuw installeren maar bedankt voor de suggestie

[Verwijderd]

Anders ga je gewoon over op Apache? Is ook een alternatief. Stel je lighttpd_enable="NO" in in je /etc/rc.conf file en doe je alles met Apache.

[Durandal]

Zeg, ik heb eens gekeken naar het verhaal van het optimale aantal disks voor ZFS (2^n+redundancy: raidz1=3,5,9; raidz2=4,6,10) en de link naar de test ergens uit het begin van dit topic, maar wat mij opvalt is dat de performance bijna lineair oploopt met het aantal disks om vervolgens bij 5 (z1) of 6 (z2) af te vlakken.

Zie de grafieken op http://hardforum.com/showthread.php?t=1546137&page=5

Dit suggereert dat het, in tegenstelling tot het 3,5,9/4,6,10 verhaal, niet zo veel uit maakt hoeveel disks je gebruikt (meer is sneller), maar dat je optimum doorvoer bij 5 of 6 ligt en dat meer geen snelheidswinst op levert.
Zie ik wat over het hoofd?

[Verwijderd]

Ik kan ze even niet vinden, maar er zijn wel benches die het verschil goed laten zien.

Let wel, heb je 512-byte sector disks dan maakt het weinig uit of je met of zonder ashift=12 draait. Maar voor 4K sector disks maakt dit wel uit. Daarbij mag wel gezegd worden dat vooral de eerste generatie EARS met 4 platters enorm traag was met 512-byte sector emulatie. De non-aligned I/O performance van de nieuwere EARS met 3 platters was al stukken beter richting wat de Samsung F4EG doet.

Bedenk ook dat als je test op een spiksplinternieuwe pool die alleen de 'best-case' vertegenwoordigt en zeker niet de worst-case. Je hardeschijven worden sowieso langzamer naarmate ze het einde van hun capaciteit naderen, en je filesystem is nog volkomen leeg. Wacht maar tot je veel meer random writes moet doen, dan kun je met 'slechte configs' toch best trage performance krijgen. Veel mensen op Solaris klaagden hierover toen in de dagen van EARS schijven. Op het HardOCP forum zijn nog veel meer threads hierover, maar ik heb even geen tijd die door te spitten.

Wat je wel kunt doen is zelf testen. ZFSguru heeft een benchmark script die de grafiekjes produceert zoals in dat topic. Je kunt testen mét en zónder sectorsize override feature.

[u_nix_we_all]

Hmm, ik heb in het topic over de HP N40L Microserver een stukje geschreven over mijn installatie van OpenIndiana, maar misschien had ik dat beter hier kunnen doen.

Ik begin nu wel te merken dat er nog een hoop dingen niet af zijn. Zo heb ik nu een flink probleem met dependecies in de package manager betreffende gcc. UIteindelijk probeer ik MiniDLNA te compileren, maar het lukt me zo al niet om dingen als libffmpeg uit de SFE repositories te installeren ....

To be continued ....

[matty___]

u_nix_we_all schreef op dinsdag 24 juli 2012 @ 11:16:
Hmm, ik heb in het topic over de HP N40L Microserver een stukje geschreven over mijn installatie van OpenIndiana, maar misschien had ik dat beter hier kunnen doen.

Ik begin nu wel te merken dat er nog een hoop dingen niet af zijn. Zo heb ik nu een flink probleem met dependecies in de package manager betreffende gcc. UIteindelijk probeer ik MiniDLNA te compileren, maar het lukt me zo al niet om dingen als libffmpeg uit de SFE repositories te installeren ....

To be continued ....

http://sparcv9.blogspot.nl/
Lots of packages for SmartOS, soon for OpenIndiana
There is now a huge package repository available for illumos-based distributions, initially a dependency prevents it from running on OpenIndiana but that is being fixed:
9000 packages available for SmartOS and illumos

The packages contains a current PostgresSQL (9.1.3), MySQL, Apache, Ruby 1.9.3, Python 3.2.3 both with lots of modules plus many other useful packages.

All should work on SmartOS and when fixed for OpenIndiana this slightly modified procedure (without sudo and install gtar first) should work, as root:


# pkg install gnu-tar
# curl http://pkgsrc.smartos.org...S/2012Q2/bootstrap.tar.gz | (cd /; gtar -zxpf - )
# pkgin -y update
# pkgin avail | wc -l
9401
# pkgin search ...
# sudo pkgin -y install
I'll update this entry as soon as it works for OpenIndiana.

[u_nix_we_all]

Klinkt leuk, maar ik vraag me af hoe dit werkt. Het lijkt me namelijk geen repository die intergreert met het bestaande package-management zoals de SFE dat wel doet.
Het lijkt er meer op dat deze repository weer eigen tools gebruikt, en ik weet niet of ik dat zie zitten.....

Anderzijds is het misschien juist wel goed, om problemen zoals ik die nu heb na het toevoegen van de SFE repositories te omzeilen

[Trunksmd]

Kan iemand vertellen waarom je voor ZFSGuru of FreeNAS 8.2 kiest. Op internet zie ik (nog) geen vergelijkingen. Zo komen op mij als hetzelfde over op een paar details na.

[matty___]

u_nix_we_all schreef op dinsdag 24 juli 2012 @ 12:54:
Klinkt leuk, maar ik vraag me af hoe dit werkt. Het lijkt me namelijk geen repository die intergreert met het bestaande package-management zoals de SFE dat wel doet.
Het lijkt er meer op dat deze repository weer eigen tools gebruikt, en ik weet niet of ik dat zie zitten.....

Anderzijds is het misschien juist wel goed, om problemen zoals ik die nu heb na het toevoegen van de SFE repositories te omzeilen

je kan er meerdere repo's hebben en bedenk wel dat SmartOS net als openIndiana ook maar een opensolaris kindje is. Die hebben het wiel ook niet opnieuw uitgevonden met repos

[Dadona]

Trunksmd schreef op dinsdag 24 juli 2012 @ 12:59:
Kan iemand vertellen waarom je voor ZFSGuru of FreeNAS 8.2 kiest. Op internet zie ik (nog) geen vergelijkingen. Zo komen op mij als hetzelfde over op een paar details na.

ZFSguru heeft een volledige FreeBSD versie achter/onder zich zitten. FreeNAS heeft out-of-the-box meer kant en klare services.

[Verwijderd]

Momenteel gebruik ik een systeem met FreeBSD 10.0-CURRENT en samba 3.6.5.

Ik heb een zfs filesysteem aangemaakt dat ik deel via samba
Eigenschappen aclmode,aclinherit:

code:

tank/users  aclmode               passthrough              inherited from tank
tank/users  aclinherit            passthrough              received

Wanneer ik bv. via een windows client via samba een bestand aanmaak krijg ik volgende filerechten.

code:

getfacl New\ Text\ Document.txt
# file: New Text Document.txt
# owner: administrator
# group: domain users
            owner@:rw-p--aARWcCo-:------:allow
            group@:rw-p--a-R-c---:------:allow
         everyone@:------a-R-c---:------:allow

code:

 ls -l New\ Text\ Document.txt
-rw-rw----+ 1 administrator  domain users  0 Jul 24 10:46 New Text Document.txt

Wat zeer verveld is dat het volgende aangemaakt wordt: "everyone@:------a-R-c---:------:allow"
Om de een over ander reden worden de volgende aces aangezet voor everyone: read attributes, Read extended attrbiutes, Read permissions

Waarom zou dit zijn ? Zou dit door de freebsd NFSv4 implementatie zijn ?
Ik kan de everyone elke keer gaan verwijderen, maar zou dit graag automatisch hebben. Iemand enig idee waarom de everyone group erbij komt? Het komt niet door overerving, want na verwijderen everyone op de folder, komt everyone er nog steeds bij op de file.
Op opensolaris heb ik dit niet.

[FireDrunk]

Je roept in het begin Samba, maar later NFS, wat is het nou?
Heb je Samba op Built-In users staan of anders?

[u_nix_we_all]

matty___ schreef op dinsdag 24 juli 2012 @ 13:03:
[...]

je kan er meerdere repo's hebben en bedenk wel dat SmartOS net als openIndiana ook maar een opensolaris kindje is. Die hebben het wiel ook niet opnieuw uitgevonden met repos

Nog even op die repo's voor OpenIndiana terugkomen.

Ik heb bovenstaande nog niet bekeken, maar gebruik van SFE repo's moet ik op dit monent AFRADEN ! Er moet nog e.e.a. gefixed worden, voorlopig is er in veel binariy packages een dependency die conflicteerd met de gcc-packages van OI zelf.

Je kunt wel alleen dev-packages van SFE pakken en zelf compileren.

[matty___]

u_nix_we_all schreef op woensdag 25 juli 2012 @ 16:00:
[...]


Nog even op die repo's voor OpenIndiana terugkomen.

Ik heb bovenstaande nog niet bekeken, maar gebruik van SFE repo's moet ik op dit monent AFRADEN ! Er moet nog e.e.a. gefixed worden, voorlopig is er in veel binariy packages een dependency die conflicteerd met de gcc-packages van OI zelf.

Je kunt wel alleen dev-packages van SFE pakken en zelf compileren.

Wat is je reden dat je voor solaris gaat ipv freebsd?

[u_nix_we_all]

matty___ schreef op woensdag 25 juli 2012 @ 16:16:
[...]

Wat is je reden dat je voor solaris gaat ipv freebsd?

Omdat het kan !

Ik wil graag meer met OI doen, omdat dat voor mijn werk ook interresant is ( we verkopen storage-systemen, een deel daarvan is Nexenta en nu steeds meer OI gebaseerd.

En aangezien hier al eens geklaagd werd dat vooral ZFSguru / freeBSD veel aandacht kregen, leek het mij juist een leuk idee (met in het achterhoofd het idee dat zo'n zpool natuurlijk net zo makkelijk naar een ander OS migreert mocht het niet gaan lukken met die paar dingen die ik ermee hoop te doen)

Als het uiteindelijk echt niet lukt om een mediaservertje te draaien kan ik me nog bedenken (maar ik heb al blogposts van mensen gezien die het wel werkend hebben gekregen toen de repo's nog in orde waren) dus ik denk dat het wel gaat lukken

[Aurora_71]

u_nix_we_all schreef op woensdag 25 juli 2012 @ 16:33:
[...]

Omdat het kan !

Hulde

Ik wil graag meer met OI doen, omdat dat voor mijn werk ook interresant is ( we verkopen storage-systemen, een deel daarvan is Nexenta en nu steeds meer OI gebaseerd.

Ik draai liever ook een illumos-based OS voor m'n data dan 1 van de FreeBSD-derived OSes.
Ik heb jaren FreeBSD als server OS gedraaid maar met m'n OpenSolaris kennis was het voor mij een no-brainer om de switch naar OI te maken.
Op mijn server werkt OI out of the box stabieler en geeft betere performance, met name voor m'n NFS shares voor m'n thuis media player.
Ik kijk voornamelijk blu-ray images maar zowel de oudere als de experimental NFS server (nu default) op FreeBSD kreeg ik niet stabiel genoeg over een GigE netwerk.
Sinds de switch naar OI (zit nu op de laatste prestable 5) ondervind ik deze instabiliteit niet meer.
Enige verschil is het OS.
Ik heb dezelfde raidz zpool in gebruik (3 2TB Hitachi deskstars) en aan het netwerk is niets gewijzigt.

[Verwijderd]

Ik vind het juist erg leuk dat er wat afwisseling komt. En ik wil zo af en toe ook wel wat bijleren. Ik juich het dus toe dat er ook naar andere oplossingen zoals op Solaris en Linux wordt gekeken.

Zelf ben (en blijf - denk ik) ik iemand van het BSD kamp. Eigenlijk om dezelfde redenen als jullie: ik heb er al zo lang mee gewerkt dat ik er onderhand een beetje thuis in ben. Een beetje, want ik voel me nog steeds een newbie vergeleken met een 'BSD admin' ofzo. Maargoed, dat vertrouwde gevoel is natuurlijk fijn en maakt het minder frustrerend als je gewoon iets werkend wilt hebben.

Zou één van jullie het leuk vinden een stukje over Solaris te schrijven? Gila had ik eerder ook al gevraagd. Binnenkort wil ik namelijk een nieuw ZFS topic schrijven, maar dan veel uitgebreider dan nu. Zou leuk zijn als anderen met kennis van Solaris en/of Linux daar ook aan kunnen bijdragen.

En wellicht kunnen we een keer aan benchmarks denken tussen verschillende platforms. Iets wat wel zeer zorgvuldig dient te gebeuren; het is gemakkelijk om een systeem zo te configureren dat het op bepaalde platforms veel beter doet dan anderen. Hierbij noem ik bijvoorbeeld FreeBSD versus Solaris met 4GiB RAM of lager. In dat geval moet je ook meer configuraties testen, om een vollediger en eerlijker beeld van de performanceverschillen te geven bij wisselende configuraties.

Wat denken jullie?

[victorb]

Ik ben net wel toevallig bezig met benchmarks onder linux. (komt omdat ik linux stuk beter ken dan bsd of solaris ) Ik ga denk een mooi overzicht maken van diverse configs en dan in youtube filmpje presenteren ofzo. En natuurlijk ook met ZFS benchmarks erbij

[EnerQi]

Welke testen zou je graag willen zien CiPHER?

Ikzelf zou ook nog testen kunnen doen, ik koop pas de volgende paar maanden de bettreffende harde schijven.

[Verwijderd]

Om een echt goede test te bedenken en uit te voeren is grondig vooronderzoek nodig. In feite moet je daarvoor alle drie de platforms goed genoeg kennen. Maar we kunnen het ook anders doen.

Stél je voor: drie mensen hebben elk een eigen testsysteem. De een heeft 4GiB de ander 8GiB de ander een quadcore ipv ... je snapt wel. Aangenomen dat elk van de drie bekend is met één van de drie platforms (Solaris, BSD en Linux) kan ieder zijn eigen systeem optimaal onder zijn eigen OS testen.

Hierna rouleer je de hardware. Dus nu test persoon A de hardware van persoon B, maar wel volgens exact dezelfde testmethode als eerder gehanteerd. Andere personen doen hetzelfde.

Uiteindelijk heb je dan voor alle drie de systemen benchmarks van Linux, Solaris en BSD die optimaal geconfigureerd zijn. Dit is nog geen écht goede test, maar volgens mij sluit je hierdoor best wat zaken uit. Nadeel is wel dat je hardware moet gaan rondsturen, maar als het bij drie mensen beperkt blijft, valt dat nog wel te doen denk ik?

[matty___]

ook maar begonnen met Oi in een vm. best wel leuk eigenlijk en heb sabnzbd en netatalk draaien en dat is toch het meest belangrijke voor mij

edit: alleen de pkg werkt idd niet helemaal vlekkenlos helaas

[ Voor 19% gewijzigd door matty___ op 26-07-2012 00:04 ]

[mieJas]

Wil gerust wat tijd steken in Solaris 10 en/of 11. De hardware die ik kan missen, is echter niet bepaald krachtig te noemen (Sempron 2600, 2 GB RAM,... hoewel misschien niet volledig oninteressant).

[nwagenaar]

Hopelijk ontvang ik vrijdag een 4-tal 2TB schijven en mijn huidige Proliant N40L met 4GB is nog niet in productie. Ik was sowieso van plan om een aantal OS'en te testen op gebied van ZFS performance. Met name: OpenIndiana icm napp-it, ZFSGuru, Nas4Free en FreeNAS 8.x; zowel native als in een ESXi Hypervisor.

Als jullie willen, kan een performance overview geven? Overigens leen ik mijn hardware niet uit. Het is niet dat mijn mede-tweakers niet vertrouw, maar ik kan niet zonder mijn smut

[ Voor 14% gewijzigd door nwagenaar op 26-07-2012 09:50 ]

[matty___]

nwagenaar schreef op donderdag 26 juli 2012 @ 09:50:
Hopelijk ontvang ik vrijdag een 4-tal 2TB schijven en mijn huidige Proliant N40L met 4GB is nog niet in productie. Ik was sowieso van plan om een aantal OS'en te testen op gebied van ZFS performance. Met name: OpenIndiana icm napp-it, ZFSGuru, Nas4Free en FreeNAS 8.x; zowel native als in een ESXi Hypervisor.

Als jullie willen, kan een performance overview geven? Overigens leen ik mijn hardware niet uit. Het is niet dat mijn mede-tweakers niet vertrouw, maar ik kan niet zonder mijn smut

ga je dan de performance na installatie of performance na optimalisatie testen?

dat is vaak het probleem bij linux vs freebsd dat linux van top tot teen geoptimaliseerd is en freebsd is dat absoluut niet na een install.