Het grote ZFS topic

[Pixeltje]

Weet iemand hier of een LSISAS1064E controller te flashen is naar HBA mode? Er staat er een in V&A die ik graag wil hebben als het een controller is die ook 'dom' de schijven doorgeeft aan ZFS..

[FireDrunk]

Pixeltje schreef op dinsdag 19 juni 2012 @ 07:35:
Weet iemand hier of een LSISAS1064E controller te flashen is naar HBA mode? Er staat er een in V&A die ik graag wil hebben als het een controller is die ook 'dom' de schijven doorgeeft aan ZFS..

Ja: http://www.lsi.com/produc...s/LSISAS3041E-R.aspx#four
Kopje Firmware: 1e hit, IT_IR_Mode Firmware.

Of het met Branded controllers lukt (zoals HP doet) geen idee...

[ Voor 7% gewijzigd door FireDrunk op 19-06-2012 08:18 ]

[Pixeltje]

Thanks, ik had de website van LSI al bezocht en een andere site die hier weleens voorbij komt (servethehome?) maar daar stond deze controller niet op.

Het is een LSI kaart, dus dat zou ook prima moeten werken.

[FireDrunk]

Die controller is alleen maar de naam van de chip, niet van de kaart zelf. Het is net zoals dat een LSI2008 geen kaart is maar een chip. Even goed kijken welke kaart / chip combo je dus gaat kopen.

[Pixeltje]

FireDrunk schreef op dinsdag 19 juni 2012 @ 08:25:
Die controller is alleen maar de naam van de chip, niet van de kaart zelf. Het is net zoals dat een LSI2008 geen kaart is maar een chip. Even goed kijken welke kaart / chip combo je dus gaat kopen.

V&A aangeboden: LSI LSI SAS3041E-R-KIT

Een LSI SAS 3041e dus, de chip op die kaart is "SAS Processor LSISAS1064E" volgens de LSI site

[FireDrunk]

Precies, die kan je dus in IT-mode zetten.

[Pixeltje]

Das mooi, dan ga ik een bod doen. Heb toch een beetje spijt van het moederbord; heeft maar 4 SATA poorten. Tijdens mijn zoektocht naar onderdelen had ik een m-ITX bord gevonden met 6 poorten maar die was nergens meer leverbaar toen.

Deze kaart biedt uitkomst, want meer dan 8 schijven passen er toch niet in de behuizing.

[FireDrunk]

Mocht hij teveel vragen, heb ik nog wel een LSI1068 liggen

[iRReeL]

matty___ schreef op maandag 18 juni 2012 @ 14:24:
[...]

kan ook een freebsd driver probleem zijn. Heb je al de freebsd-stable/fs/current mailinglist gecheckt.

Nee ik heb nooit iets met drivers gedaan met FreeBSD, ik hoopte dat het met mijn hardware met de standaard drivers zou lukken

Ik had wel de fan die richting M1015 kaartjes ging vervangen door een stiller exemplaar maar ook een stuk minder luchtverplaatsing. Ik heb die nu dichter bij de kaartjes gehangen en hou het verder ff in de gaten

Bedankt voor de tips!!

[ Voor 22% gewijzigd door iRReeL op 19-06-2012 10:13 ]

[matty___]

iRReeL schreef op dinsdag 19 juni 2012 @ 10:12:
[...]


Nee ik heb nooit iets met drivers gedaan met FreeBSD, ik hoopte dat het met mijn hardware met de standaard drivers zou lukken

bekijk je dmesg output eens

dan zie je dat je kaarten met mps worden geïnitialiseerd. Dat is je driver. Het is geen windows . De driver zit in de source van freebsd.


Staat ook in je eigen screenshot (mps)

[ Voor 4% gewijzigd door matty___ op 19-06-2012 10:21 ]

[iRReeL]

Ja ik zie iets staan van mps0 en mps1 maar het is helaas (nog) niet echt leesbaar voor me

Ik zie ook errors op da2:mps0 en da7:mps1 Maar goed dat was gisteren . Scrub heeft gisteren 128k resilvered.

[matty___]

iRReeL schreef op dinsdag 19 juni 2012 @ 10:41:
Ja ik zie iets staan van mps0 en mps1 maar het is helaas (nog) niet echt leesbaar voor me

Ik zie ook errors op da2:mps0 en da7:mps1 Maar goed dat was gisteren . Scrub heeft gisteren 128k resilvered.

da2 is de 3de disk op de eerste controller
da7 is de 8de disk op de tweede.

Of da0 ook echt port 0 op de controller is weet ik niet maar vermoed van wel.

heb je al een ander kabel geprobeerd? Kun je vrij snel uitproberen door 2 disk te wisselen. Als je dan nog steeds op de da2 errors krijg kan het de kabel zijn.
wordt het dan da3 zou het de disk kunnen zijn

[ Voor 16% gewijzigd door matty___ op 19-06-2012 11:50 ]

[Sonic]

Hallo allemaal,

Ik draai al een tijdje FreeNAS 8 als VM op mijn ESXi Server met volle tevredenheid.
De schijven heb ik via VT-D doorgegeven aan FreeNAS, zodat ik ook van spindown kan genieten als de schijven een X aantal minuten idle staan.

Nu viel mij iets op met het uitlezen van de smart gegevens, namelijk dat de "load_cycle_count" aan de hoge kant is.... (De schijf wordt ongeveer 1 jaar gebruikt)

code:

[root@nas] ~# smartctl -a /dev/ada0 |grep 193
193 Load_Cycle_Count        0x0032   093   093   000    Old_age   Always       -       321.889
[root@nas] ~#

Nu heb ik uitgezocht dat dit te maken heeft met Intellipark wat wordt gebruikt bij de EARS schijven van WD. Met Intellipark wordt de kop van de schijf om de 8 seconden "geparkeerd" om energie te besparen. Ik lees achter verschillende verhalen of dit schadelijk kan zijn voor de schijven.

Met het programma "wdidle3" van WD kun je Intellipark aanpassen of zelfs uitzetten.
Is het aan te raden om Intellipark op mijn WD schijven uit te schakelen in combinatie met ZFS voor een 24/7 systeem?

[iRReeL]

Ik had begrepen dat je het het beste kunt uitschakelen op non-windows OS en ik heb dat dan ook gedaan op mijn systeem.

[iRReeL]

matty___ schreef op dinsdag 19 juni 2012 @ 11:46:
[...]


da2 is de 3de disk op de eerste controller
da7 is de 8de disk op de tweede.

Of da0 ook echt port 0 op de controller is weet ik niet maar vermoed van wel.

heb je al een ander kabel geprobeerd? Kun je vrij snel uitproberen door 2 disk te wisselen. Als je dan nog steeds op de da2 errors krijg kan het de kabel zijn.
wordt het dan da3 zou het de disk kunnen zijn

Tot nu toe nog geen nieuwe fouten gezien in het log, anders ga ik idd de kabels omwisselen

[Snow_King]

Sonic schreef op dinsdag 19 juni 2012 @ 14:36:
Hallo allemaal,

Ik draai al een tijdje FreeNAS 8 als VM op mijn ESXi Server met volle tevredenheid.
De schijven heb ik via VT-D doorgegeven aan FreeNAS, zodat ik ook van spindown kan genieten als de schijven een X aantal minuten idle staan.

Nu viel mij iets op met het uitlezen van de smart gegevens, namelijk dat de "load_cycle_count" aan de hoge kant is.... (De schijf wordt ongeveer 1 jaar gebruikt)

code:

[root@nas] ~# smartctl -a /dev/ada0 |grep 193
193 Load_Cycle_Count        0x0032   093   093   000    Old_age   Always       -       321.889
[root@nas] ~#

Nu heb ik uitgezocht dat dit te maken heeft met Intellipark wat wordt gebruikt bij de EARS schijven van WD. Met Intellipark wordt de kop van de schijf om de 8 seconden "geparkeerd" om energie te besparen. Ik lees achter verschillende verhalen of dit schadelijk kan zijn voor de schijven.

Met het programma "wdidle3" van WD kun je Intellipark aanpassen of zelfs uitzetten.
Is het aan te raden om Intellipark op mijn WD schijven uit te schakelen in combinatie met ZFS voor een 24/7 systeem?

Ja, uit zetten!

Kan ook onder Linux met idle3-tools.

Denk er wel aan, als je het uit zet met de stroom helemaal van de disk af, een reboot van het OS is niet voldoende.

[iRReeL]

iRReeL schreef op donderdag 24 mei 2012 @ 12:24:
Ik zou graag een upgrade uitvoeren van 9.0-004 naar 9.1-001. Ik kan op de "ZFSguru Installation" wel op "download 9.1-001" klikken en hij geeft dan ook dat de image download maar daarna kan ik deze nogaltijd niet selecteren.
...
You will need a ZFSguru LiveCD mounted in your CD/DVD drive, or download a system version in order to continue.

Dadona gaf aan dat het bij hem ook niet werkte. Omdat ik nu een intel 320 heb geplaatst was ik alles opnieuw aan het installeren en nu dat ik bijna klaar ben zie ik dat de upgrade naar 9.1-001 nu wel werkt. De download is gelukt en de installatie ook.

Nu kan ik dus weer beginnen met het configureren Ik ben weer slim bezig
edit: virtio drivers voor virtual box en SABnzb zijn 'not available' voor 9.1-001
Ik ben nu bezig met deze guide om SABnzb handmatig te installeren..

Server was vanmorgen weer gecrashed dus ik zal de kabels eens omwisselen.

[ Voor 11% gewijzigd door iRReeL op 20-06-2012 16:56 ]

[Verwijderd]

iRReeL en anderen: ik ben na een maandje afwezigheid (vakantie, verhuizing en meer) weer terug. Ik heb nog een hoop terug te lezen, maar zit je op mij te wachten stuur dan even een DM dat is handiger.

Wat betreft problemen met 'mps' denk ik: gebruik je de nieuwste driver, beschikbaar in 9.0-STABLE? Dat is de nieuwe 9.1-001 system image als ik het goed heb. Zelf draai ik hier een nieuwere, want ik kan ze nu zelf maken. Dus wellicht dat ik je een nieuwe image op kan sturen ofzo?

[iRReeL]

Welkom terug!

Ik heb nu sinds gisteren de laatste versie geinstalleerd.
_{Product ZFSguru 0.2.0-beta5 Product build date 2012-Feb-12 @ 18:40 UTC
System version 9.1-001 FreeBSD version 9.0-STABLE}

Totnutoe geen nieuwe errors maar dat wil soms wel een paar dagen duren. Wel jammer dat er geen SABnzb installatie bij deze nieuwe versie zit Maar dat is alsnog ± gelukt met deze guide (versie 0.7.0. heb ik er nu op).

[Verwijderd]

Nieuwe system images kan ik misschien wel voor zorgen, daar zitten namelijk ook services bij. Zo zie ik dat vandaag VirtualBox 4.1.18 is uitgekomen; deze kan ik binnenkort builden. Alleen uploaden is wat lastig; ik heb geen directe controle over de webserver van ZFSguru.

Maar ben benieuwd of deze system image je van dat probleem afhelpt. Zo niet kun je nog de nieuwste 9-STABLE proberen. Die 'mps' driver is namelijk flink geupdate in 9-STABLE onder meer door LSI zelf; de driver komt door LSI's eigen tests en wordt als production quality beschouwd. Ben benieuwd dus of dat voor jou verschil maakt.

[iRReeL]

Kun je de images dan niet via usenet of torrents verspreiden en dan een update op het (ZFSguru) forum met de link ofzo?

Ik heb nu Sabnzbd geinstalleerd maar nu dus verder met de virtual box maar die doet het nu niet. Tijdens die sabnzb guide moest ik ook portmanager -u updaten? en kreeg toen al een melding: skipping virtualbox-ose-kmod-4.1.8_1 /emulators/virtualbox-ose-kmod marked IGNORE reason: port marked IGNORE
skipping virtualbox-ose-4.1.8 /emulators/virtualbox-ose marked IGNORE reason: port marked BROKEN.

Nu kan ik virtual box niet meer opstarten. Die portmanager -u update alle geinstalleerd applicaties? Moet ik misschien regelmatig doen dan of niet? Nouja niet als achteraf bepaalde apps zoals Virtual box niet werken

_{Exception Object
(
[message:protected] => Could not connect to host (http://127.0.0.1:18083/)
[string:Exception:private] =>
[code:protected] => 64
[file:protected] => /usr/local/www/phpvirtualbox/lib/vboxconnector.php
[line:protected] => 188
[trace:Exception:private] => Array
(
[0] => Array
(
[file] => /usr/local/www/phpvirtualbox/lib/vboxconnector.php
[line] => 210
[function] => connect
[class] => vboxconnector
[type] => ->
[args] => Array
[1] => Array
(
[file] => /usr/local/www/phpvirtualbox/lib/ajax.php
[line] => 93
[function] => getVersion
[class] => vboxconnector
[type] => ->
[args] => Array
(
[previous:Exception:private] =>
)
Location:http://127.0.0.1:18083/}

File protected? Kan ik die weer unprotecten? Ik ga nog ff verder zoeken zo te zien ben ik niet de enige met dit probleem.

[Kriss1981]

Heb je Virtualbox eerst via de services van ZFSguru geinstalleerd?
Zo ja, dan kan die niet met ports worden ge-update. Weet niet precies waarom.

Met

code:

# portmanager -u

worden inderdaad alle ports ge-upgrade. Ik heb dit in de guide gezet, maar je bent natuurlijk niet verplicht dit te doen. Misschien moet ik, als ik weer tijd heb, de guide maar eens aanpassen.

Je kunt met portmanager ook eerst kijken voor welke ports een update beschikbaar is:

code:

# portmanager -s | grep OLD

Dan kun je daarna beslissen of je een volledige upgrade uitvoert of niet.

EDIT:

@CiPHER: Goed te zien dat je weer terug bent. Kun je ons vertellen of er nog aan ZFSguru wordt gewerkt?

[ Voor 69% gewijzigd door Kriss1981 op 21-06-2012 15:40 ]

[Verwijderd]

Door Jason niet meer lijkt het; alhoewel die soms na een paar maanden weer opduikt.
Ik heb me nog niet op het ZFSguru forum begeven. Eerst maar eens GoT inhalen wat ik allemaal gemist heb. En sommige mensen help ik nog via DM, dat wil ik eerst afronden voordat ik verder ga met ZFSguru.

ZFSguru vind ik wel een heel leuk project, maar alleen trek ik de kar ook niet. Dus hoe dat precies verder gaat, weet ik nu nog niet. Hoop daar binnenkort meer over te kunnen zeggen. Ik kan in elk geval wel bij de compile-server, dat is belangrijk. Zo kan ik zelf nieuwe system images compileren en downloaden. Maar het beste is dat Jason weer terugkomt en laat weten wat hij nou wilt verder; het zou mooi zijn als er nog meer mensen aan kunnen werken waardoor het project toch continuïteit krijgt. Wordt vervolgd, ongetwijfeld.

Oh en over upgraden: ZFSguru services configureren ook bepaalde zaken. Bijvoorbeeld dat de web API lokaal zonder authenticatie bereikbaar is. Zonder dat soort configuratie-zaken werkt je phpVirtualBox niet. Check ook de service_install.sh file om te kijken wat hij doet; inclusief service_start.sh. Als je handmatig installeert of upgrade, kun je het beste die stappen zelf ook weer doorlopen. Virtualbox heeft flink wat tweaks nodig om correct te kunnen werken. Zonder die tweaks heb je helemaal geen beeld; nie via RDP en niet via VNC.

[ Voor 4% gewijzigd door Verwijderd op 21-06-2012 15:53 ]

[FireDrunk]

Klinkt mij als buggy in de oren ESXi ftw

[Verwijderd]

Punt is meer dat als je én ports gaat upgraden én kant en klare packages door elkaar gebruikt, dat in de soep gaat lopen. Het advies voor FreeBSD is daarom: gebruik óf kant en klare packages en ga niet upgraden, óf gebruik ports en compileer alles zelf. Als je dat strict naleeft, zou je dit soort problemen niet moeten hebben.

Maar de ZFSguru VirtualBox service configureert ook een heleboel, wat normaal bij het installeren van VirtualBox niet gebeurt. Als er een beter alternatief voor VirtualBox zou opstaan, zou ik eerder denken aan Xen. Vooral als FreeBSD straks Xen dom0 ondersteuning gaat krijgen, en bijvoorbeeld Linux volledig paravirtualized kan draaien met native GPU-acceleratie bijvoorbeeld. Dergelijke configuraties zouden veel meer mogelijkheden bieden.

En ook het FreeBSD-native BeeHyVe is een interessant project. Nu draait het nog alleen FreeBSD guests, maar kent wel features als makkelijke PCI-passthrough.

[iRReeL]

Sja het probleem onstond omdat bij 9.1 Sabnzbd niet meer gesupport is en toen ben ik dus de guide gaan volgen (terwijl ik Virtual Box al geinstalleerd had).

Dus ik kan ff opnieuw beginnen, Sabnzbd installeren volgens Kriss' z'n guide (incl port updates) en als ik daarmee klaar ben dan VirtualBox in ZFSguru installeren? Daarna mag ik geen port updates meer draaien, iig niet meer voor virtual box.

Of anders misschien ff wachten tot die nieuwste versie beschikbaar is met de laatste 9-STABLE of kan ik die zelf installeren? Daar is nog geen ZFSguru versie van toch.

[Dadona]

Verwijderd schreef op donderdag 21 juni 2012 @ 16:06:
Het advies voor FreeBSD is daarom: gebruik óf kant en klare packages en ga niet upgraden, óf gebruik ports en compileer alles zelf. Als je dat strict naleeft, zou je dit soort problemen niet moeten hebben.

Ik neem even aan dat FreeBSD hier ZFSguru moest zijn. Maar ergens is dit alles naturlijk wat minder aantrekkelijk. Op die manier neemt de afhankelijkheid van de ontwikkeling van ZFSguru toch wat meer toe.

@FireDrunk, als jij nu mij eens kan aantonen dat ik een mooie mix van ZFS(guru) en ESXi kan maken... En met een mooie mix doel ik op een situatie waarin ZFS alle trucjes en functionaliteiten kan inzetten. Met hardware passthrough zou zoiets mogelijk moeten zijn. Maar het gegeven dat whitelists überhaupt bestaan maakt dat ik toch het idee heb dat het nog altijd geen pure passthrough is.

[FireDrunk]

Wat voor bewijzen/whitelists wil je zien?

[Dadona]

Geen whitelists, bewijzen of een heldere testcase zou mooi zijn.
Je weet dat je met ZFS domme controllers moet inzetten en ZFS direct met de harde schijven moet laten praten. Maar zo met ESXi ertussen dan vraag ik mij af of ZFS geen functionaliteiten kwijtraakt. Een testcase zou het mooiste zijn, misschien dat CiPHER daarmee zou kunnen helpen. Een manier om uit te kunnen vinden of alle ZFS functionaliteiten intact blijven bij gebruik van ESXi. Hierbij zou ZFSguru in een VM hangen, de schijven direct toegewezen aan die VM en de andere VMs gaan dan bij die VM buurten.

[Verwijderd]

iRReeL schreef op donderdag 21 juni 2012 @ 16:25:
Of anders misschien ff wachten tot die nieuwste versie beschikbaar is met de laatste 9-STABLE of kan ik die zelf installeren? Daar is nog geen ZFSguru versie van toch.

Er is een 9.1-001 ZFSguru system image die op 9-STABLE draait. Daar zijn maar sommige services van beschikbaar, en deze versie is ook al niet meer zo nieuw meer.

Dus misschien beter als ik zelf een nieuwe system image maak (met de nieuwste VirtualBox 4.1.18 die onlangs uit is) en deze ergens online zet ofzo.

Dadona schreef op donderdag 21 juni 2012 @ 17:42:
[...]
Ik neem even aan dat FreeBSD hier ZFSguru moest zijn.

Nee, ik bedoel specifiek FreeBSD. Hetzelfde probleem kun je krijgen met FreeBSD. Als je tegelijk ports en packages gebruikt, kan het misgaan. De package is gebouwd met dependencies die bepaalde versies hebben. Maar als jij die als port hebt geïnstalleerd of upgrade, dan kan dat soms problemen opleveren. Het is daarom een simpele regel: gebruik óf pacakges (pkg_add -r) óf ports (cd /usr/ports) maar niet beide door elkaar.

Maar ergens is dit alles naturlijk wat minder aantrekkelijk. Op die manier neemt de afhankelijkheid van de ontwikkeling van ZFSguru toch wat meer toe.

Dat klopt, al werkt ZFSguru ook op handmatig geïnstalleerde systemen. De systeemimages zouden elke week of twee weken gebouwd moeten worden ofzo.

Hier is recentelijk dan ook juist de meeste aandacht naar uitgegaan. Jason had al build scripts, maar de services bouwen was ingewikkeld en ging allemaal handmatig. Nu is bijna alles geautomatiseerd. Dat maakt het ook veel makkelijker om met grote regelmatig nieuwe services en system images te releasen. Het beste zou zijn als alles via een cronjob gaat ofzo; zodat er elke week ofzo een nieuwe system image komt.

Het mooie van ZFSguru met system images is dat je écht dezelfde software krijgt en problemen die bij jou opduiken dus ook van toepassing zou moeten zijn bij andere gebruikers. Ook kun je wisselen van systeemimage en heel gemakkelijk een oudere versie pakken die misschien wél werkt als je een bepaald probleem tegenkomt. Een andere manier zou zijn dat ten tijde van installeren van een service deze ter plekke gecompileerd wordt. Maar daarbij kan juist ook vanalles misgaan.

[FireDrunk]

Dadona schreef op donderdag 21 juni 2012 @ 19:29:
Geen whitelists, bewijzen of een heldere testcase zou mooi zijn.
Je weet dat je met ZFS domme controllers moet inzetten en ZFS direct met de harde schijven moet laten praten. Maar zo met ESXi ertussen dan vraag ik mij af of ZFS geen functionaliteiten kwijtraakt. Een testcase zou het mooiste zijn, misschien dat CiPHER daarmee zou kunnen helpen. Een manier om uit te kunnen vinden of alle ZFS functionaliteiten intact blijven bij gebruik van ESXi. Hierbij zou ZFSguru in een VM hangen, de schijven direct toegewezen aan die VM en de andere VMs gaan dan bij die VM buurten.

Ik heb hier hardware genoeg "over" om te doen wat jij wil.
Ik heb een Xeon 3440, Tyan S1156 bord met 12GB ECC geheugen staan met 6 * 2TB (op een M1015 LSI2008 controller), 4*73GB 15K SAS op een 2e controller (nu LSI1068, maar heb ook nog een M1015 in mijn andere server zitten) en een SSD. Ondersteuning voor VT-d is er, en ESXi is volledig ondersteund. Ook heb ik 10Gb Netwerkkaarten in mijn servers zitten.

Ik kan dus alles testen wat je wil. Als jij de randvoorwaarden exact oplegt, ga ik het wel uitwerken.
Misschien dat CiPHER het leuk vind om ook een bijdrage te leveren door middel van finetuning en eventuele testscenario's die hij zelf ook graag wil zien.

[ Voor 5% gewijzigd door FireDrunk op 21-06-2012 19:57 ]

[Verwijderd]

Het zou mooi zijn als je met ZFSguru de advanced benchmark kan gebruiken. Die test dan alle ZFS configuraties en maakt een mooi grafiekje. Als je dat doet met een normale installatie zonder ESXi en later via ESXi dus virtualized, dan kun je mooi vergelijken wat voor invloed dat heeft.

Ik denk dat je de benchmarks zou kunnen opsplitsen in drie categoriën:
- lokale disk performance (dat doet die advanced benchmark heel goed)
- netwerk performance (kun je iperf voor gebruiken; al voorgeïstalleerd op ZFSguru)
- applicatie performance, dus Samba of NFS via de netwerkadapters

Dat laatste kun je nog splitsen in één test waarbij je zaken van een 'tmpfs' share leest dus uit het RAM geheugen en een test waarbij je op een ZFS share werkt (zeg een RAID0 van de 6 schijven in FireDrunk's systeem). Correct benchmarken betekent dat je zoveel mogelijk factoren uitsluit (ceteris paribus) dus dat je zaken als Samba en cron afsluit. De advanced benchmark in ZFSguru doet dit automatisch.

Overigens zul je ZFSguru wel moeten installeren; de live-environment op de LiveCD heeft ZFS enorm gelimiteerd qua RAM gebruik. Pas na een installatie (en booten daarvan) kan ZFS dus je geheugen optimaal gebruiken.

Erg gaaf om eens een test te doen wat de overhead van ESXi precies betekent met name voor FreeBSD en ZFS, wat volgens mij nog nauwelijks getest is. Dit stond zeker op mijn to-do lijstje en zeker mooi als jullie daar tijd in willen steken! Mogelijk kan ik met een oude testbak hetzelfde proberen, al heb ik dan geen vt-d support. Maar dat zou ook een mooie test zijn: verschil tussen vt-d passthrough en RDM (of hoe heette dat ookalweer?).

[Dadona]

Zou je daar dan ook niet een scrub en resilver aan moeten toevoegen? Of ben je met de benchmarks al echt alle hoeken en gaten aan het testen dat scrub en resilver niets toevoegen?

[Verwijderd]

Scrub is ook wel leuk om te testen ja. Maar als je dat goed wilt testen moet de inhoud van de ZFS pool exact gelijk zijn. Dat zou je dan op het laatst kunnen testen ofzo.

FireDrunk: heb je misschien ook iets wat als systeemschijf kan fungeren? Een oud schijfje ofzo? Heb je ruimte voor een extra SATA schijf? ESXi kan denk ik het beste op USB stick?

[FireDrunk]

Als het goed is is mijn nieuwe Samsung SSD bezorgd (PakjeGemak, dus moet even ophalen bij fotozaakje in de wijk) en dan heb ik dus ESXi op USB stick, een 80GB SSD voor ESXi en een 256GB SSD om aan een VM te geven. Ik kan de 256GB SSD direct aan een VM geven en daar ZFSGuru op installeren. Is dat een plan?

Kan iemand misschien een MoSCoW lijst maken? (Must Have, Should Have, Could Have, Wanna Have?)
Dan kan iedereen er bij zetten wat hij/zij wil, en kan ik gewoon een goede test doen.

Misschien is het interresant om te zien of 5 / 6 disks in RAIDZ / RAIDZ2 nou echt zoveel verschil maakt?

[NIK0]

Dadona schreef op donderdag 21 juni 2012 @ 19:29:
Geen whitelists, bewijzen of een heldere testcase zou mooi zijn.
Je weet dat je met ZFS domme controllers moet inzetten en ZFS direct met de harde schijven moet laten praten. Maar zo met ESXi ertussen dan vraag ik mij af of ZFS geen functionaliteiten kwijtraakt. Een testcase zou het mooiste zijn, misschien dat CiPHER daarmee zou kunnen helpen. Een manier om uit te kunnen vinden of alle ZFS functionaliteiten intact blijven bij gebruik van ESXi. Hierbij zou ZFSguru in een VM hangen, de schijven direct toegewezen aan die VM en de andere VMs gaan dan bij die VM buurten.

Is dit een testcase die in de buurt komt..?
http://www.napp-it.de/manuals/all-in-one.html (vervang de hypervisor voor ESXi en het OS voor FreeBSD..?)
Zou iig graag het performance verschil zien tussen RAIDZ en 3 Way Mirror (waarbij de spare dus al is toegewezen en gesynct is met de mirror)

[ Voor 9% gewijzigd door NIK0 op 21-06-2012 21:14 ]

[FireDrunk]

Die tutorial heeft het toch over ESXi? Is juist een prima tutorial

[NIK0]

FireDrunk schreef op donderdag 21 juni 2012 @ 21:12:
Die tutorial heeft het toch over ESXi? Is juist een prima tutorial

Ja idd op basis van ESXi met een mooie testcase of moet het perse Virtualbox zijn..

[FireDrunk]

Ik heb al ESXi

[Dadona]

Help!! Geef ik nu echt zo onduidelijk aan waar het mij om gaat
De tutorial is prima en het hoeft niet over Virtualbox te gaan. In dat geval kan ik net zo goed bij FreeBSD / ZFSguru blijven.
Het ging mij echt om ESXi, maar ik wil weten hoe puur die passthrough is. Is de integriteit van de data nog altijd gegarandeerd. Is het zo dat de VM met echt alles met de schijf kan doen of zijn de eerste blocks toch onder controle van ESXi. Of zijn er (ook) op andere manieren toch stiekem zaken gaande waardoor ZFS een functionaliteit als corruptie van blocks (zoals ook beschreven in de startpost) niet meer kan detecteren. Het zou zonde zijn om dat soort zaken kwijt te raken. De beste test zou zijn om een corrupte block te veroorzaken.

[NIK0]

Dadona schreef op donderdag 21 juni 2012 @ 21:23:
Help!! Geef ik nu echt zo onduidelijk aan waar het mij om gaat
De tutorial is prima en het hoeft niet over Virtualbox te gaan. In dat geval kan ik net zo goed bij FreeBSD / ZFSguru blijven.
Het ging mij echt om ESXi, maar ik wil weten hoe puur die passthrough is. Is de integriteit van de data nog altijd gegarandeerd. Is het zo dat de VM met echt alles met de schijf kan doen of zijn de eerste blocks toch onder controle van ESXi. Of zijn er (ook) op andere manieren toch stiekem zaken gaande waardoor ZFS een functionaliteit als corruptie van blocks (zoals ook beschreven in de startpost) niet meer kan detecteren. Het zou zonde zijn om dat soort zaken kwijt te raken. De beste test zou zijn om een corrupte block te veroorzaken.

Misschien de SMART data uitlezen van de disken zonder ESXi en dan via VT-D icm ESXi..?
Ik weet niet op welke basis Nexenta, OI, FreeBSD de disken in de gaten houdt maar wanneer de smart data uit te lezen is via VT-D dan lijkt me dat toch "bare" genoeg...?

[FireDrunk]

VT-d is echt bare metal. RDM valt nog te bezien en naar die resultaten ben ik ook wel benieuwd...

[Pantagruel]

De prijs van geen geduld totdat de vervanging er is is een EARX. Gistermiddag er eentje gehaald en de pool staat sinds gisteravond met zo'n 300 MB/sec te resilveren. Aangezien resilveren nu op ca 90% zit zal t nog ca 1 1/2 uur duren en is de pool weer heel. De dd_rescue van de stervende EARS is inmiddels nog bezig (bijna 6 dagen dus) wat natuurlijk de som is van de schade en een Gigabit verbinding richting de server waarop de image terecht komt.

update: 10h10min nodig gehad om 940 G te resilveren

[ Voor 4% gewijzigd door Pantagruel op 22-06-2012 06:54 ]

[matty___]

Pantagruel schreef op vrijdag 22 juni 2012 @ 05:56:
De prijs van geen geduld totdat de vervanging er is is een EARX. Gistermiddag er eentje gehaald en de pool staat sinds gisteravond met zo'n 300 MB/sec te resilveren. Aangezien resilveren nu op ca 90% zit zal t nog ca 1 1/2 uur duren en is de pool weer heel. De dd_rescue van de stervende EARS is inmiddels nog bezig (bijna 6 dagen dus) wat natuurlijk de som is van de schade en een Gigabit verbinding richting de server waarop de image terecht komt.

update: 10h10min nodig gehad om 940 G te resilveren

hoe ziet je dd commando eruit?

[Pantagruel]

matty___ schreef op vrijdag 22 juni 2012 @ 10:54:
[...]

hoe ziet je dd commando eruit?

Eigenlijk gewoon standaard, geen max_error gezet ofzo. Na een rotte plek een aantal keren afgetast te hebben gaat dd_rescue ook wel weer verder, maar dan wel kruipend op zijn knietjes . Aangezien de resilver al klaar is ga ik vanavond wat data vergelijken op basis van checksum (md5) aangezien de belangrijke data ook op andere pc's/media staat (ca. 5TB is belangrijk omdat dit capture werkt scheelt, uiteindelijk is ca. 1 a 1 1/2 TB echt belangrijk omdat dit afgeronde DVD's zijn met de bijbehorende uurtjes hobbyen) . Als dat allemaal klopt dan breek ik de dd af en mag dban er overheen en de boel overschrijven.

[ Voor 12% gewijzigd door Pantagruel op 22-06-2012 11:19 ]

[FireDrunk]

Wat eigenlijk de test was (in mijn ogen) was juist die dd_rescue image op je nieuwe schijf zetten, en dan de resilver starten, en kijken of het sneller ging

[matty___]

Pantagruel schreef op vrijdag 22 juni 2012 @ 11:16:
[...]


Eigenlijk gewoon standaard, geen max_error gezet ofzo. Na een rotte plek een aantal keren afgetast te hebben gaat dd_rescue ook wel weer verder, maar dan wel kruipend op zijn knietjes . Aangezien de resilver al klaar is ga ik vanavond wat data vergelijken op basis van checksum (md5) aangezien de belangrijke data ook op andere pc's/media staat (ca. 5TB is belangrijk omdat dit capture werkt scheelt, uiteindelijk is ca. 1 a 1 1/2 TB echt belangrijk omdat dit afgeronde DVD's zijn met de bijbehorende uurtjes hobbyen) . Als dat allemaal klopt dan breek ik de dd af en mag dban er overheen en de boel overschrijven.

sorry misverstand van mijn kant. dacht dat je echt met dd aan de slag was gegaan en misschien de BS parameter was vergeten.

maar google leert dat dd_recsue een losstaande applicatie is

[Pantagruel]

FireDrunk schreef op vrijdag 22 juni 2012 @ 11:22:
Wat eigenlijk de test was (in mijn ogen) was juist die dd_rescue image op je nieuwe schijf zetten, en dan de resilver starten, en kijken of het sneller ging

Dat snap ik, maar ik zit er niet op te wachten dat de dd_rescue kopieer actie nog een week (of langer) moet voortstrompelen.

Ik kan de test bak wel weer eens optuigen en dan wil ik wel moedwillig schade aanbrengen en dan zien of een resilvered dd disk sneller is dan een resilvered virgin disk.

[FireDrunk]

Ok prima, niks moet uiteraard Als je er tijd in wil steken, altijd leuk

Mijn 256GB SSD en mijn Remote Management module zijn eindelijk binnen, dus ik kan weer lekker prutsen

[ Voor 41% gewijzigd door FireDrunk op 22-06-2012 11:31 ]

[Pantagruel]

FireDrunk schreef op vrijdag 22 juni 2012 @ 11:30:
Ok prima, niks moet uiteraard Als je er tijd in wil steken, altijd leuk

Inderdaad puur 'ter leering ende vermaeck' .

Mijn 256GB SSD en mijn Remote Management module zijn eindelijk binnen, dus ik kan weer lekker prutsen

Oowww, spelu dingetjes

[ Voor 24% gewijzigd door Pantagruel op 22-06-2012 11:46 ]

[FireDrunk]

Mooi gezegd

[LightStar]

Ik heb een korte vraag (kan het zo snel niet vinden)

Ik ben momenteel bezig een nieuwe Fileserver aan het samenstellen met een Hardware Raid controller (HP P410 welke in mijn Microserver zit) nu is mijn vraag kan ik met deze kaart werken met ZFS ? gezien ik niet aan kan geven dat ik geen raid wil instellen... iemand ervaring of je de disks los ziet in b.v. Openindiana.

[ Voor 4% gewijzigd door LightStar op 22-06-2012 11:35 ]

[FireDrunk]

Nee, een P410 is niet in te zetten i.c.m. ZFS. De redenen staan hier wel in het topic, maar inderdaad is het lastig uitleggen.

Daarvoor moet je zoeken naar een post van CiPHER van ongeveer 2 A4-tjes

[ Voor 23% gewijzigd door FireDrunk op 22-06-2012 11:36 ]

[LightStar]

FireDrunk schreef op vrijdag 22 juni 2012 @ 11:36:
Nee, een P410 is niet in te zetten i.c.m. ZFS. De redenen staan hier wel in het topic, maar inderdaad is het lastig uitleggen.

Daarvoor moet je zoeken naar een post van CiPHER van ongeveer 2 A4-tjes

Was ik al bang voor kon de schijven namelijk wel vinden op de onboard van de N40L met de contoller zijn ze foetsie... dus of het wordt w2k8 r2 of een andere contoller..

[Pantagruel]

LightStar schreef op vrijdag 22 juni 2012 @ 11:35:
Ik heb een korte vraag (kan het zo snel niet vinden)

Ik ben momenteel bezig een nieuwe Fileserver aan het samenstellen met een Hardware Raid controller (HP P410 welke in mijn Microserver zit) nu is mijn vraag kan ik met deze kaart werken met ZFS ? gezien ik niet aan kan geven dat ik geen raid wil instellen... iemand ervaring of je de disks los ziet in b.v. Openindiana.

FireDrunk schreef op vrijdag 22 juni 2012 @ 11:36:
Nee, een P410 is niet in te zetten i.c.m. ZFS. De redenen staan hier wel in het topic, maar inderdaad is het lastig uitleggen.

Daarvoor moet je zoeken naar een post van CiPHER van ongeveer 2 A4-tjes

Kort door de bocht, niet doen de software laag van ZFS en de hardware algoritmes van de P410 gaan elkaar uiteindelijk een keer in de weg zitten wat uiteindelijk je pool om zeep zal helpen.

Been there, done it, don't ever wanna go there again. Is een verhaaltje met een ARC-12xx in passthrough/jbod mode in combi met ZFS, veel error gezeur en frustraties.

[Pixeltje]

FireDrunk schreef op donderdag 21 juni 2012 @ 21:09:


Misschien is het interresant om te zien of 5 / 6 disks in RAIDZ / RAIDZ2 nou echt zoveel verschil maakt?

Dat zou ik inderdaad graag willen weten. Ik ben bezig om mijn NAS wat uit te breiden, en omdat er nog vrij weinig opstaat heb ik besloten om de Raidz2 sette verwijderen en met extra schijven een nieuwe pool te maken. Zou wel willen weten hoeveel verschil 5 of 6 schijven maakt, dan kan ik aan de hand daarvan besluiten of ik één grote set maken of twee kleinere.

[FireDrunk]

Ik had het vooral over IOPS en sequentiele doorvoer snelheid, wilde jij nog wat anders zien dan?

[Sonic]

Snow_King schreef op dinsdag 19 juni 2012 @ 15:04:
[...]
Ja, uit zetten!

Kan ook onder Linux met idle3-tools.

Denk er wel aan, als je het uit zet met de stroom helemaal van de disk af, een reboot van het OS is niet voldoende.

Thanks Snow_King en iRReeL!

Ik heb wdidle gebruikt van de ultimate boot cd. Werkt perfect!

[Pixeltje]

FireDrunk schreef op vrijdag 22 juni 2012 @ 14:28:
Ik had het vooral over IOPS en sequentiele doorvoer snelheid, wilde jij nog wat anders zien dan?

Nee, maar ik wil wel weten wat het snelste/beste is, een raidz2 set van 5 schijven of van 6 Dat is toch waar jij op doelde?

[Snow_King]

Pixeltje schreef op vrijdag 22 juni 2012 @ 17:02:
[...]


Nee, maar ik wil wel weten wat het snelste/beste is, een raidz2 set van 5 schijven of van 6 Dat is toch waar jij op doelde?

Meer schijven is bijna altijd sneller.

Maar beter? In welk opzicht? Je krijgt met 6 schijven meer opslag, dat is beter

Nee, opzich zit er weinig verschil tussen 5 of 6 schijven in raidz2. Het advies is nooit meer dan 9 schijven in een vdev, dus dan zit je met 6 schijven gewoon nog goed.

[Ultraman]

FireDrunk schreef op donderdag 21 juni 2012 @ 21:09:
Kan iemand misschien een MoSCoW lijst maken? (Must Have, Should Have, Could Have, Won't Have?)

Ik ben woensdag een tentamen waar deze ook vast terug komt

Wat betreft performance tussen 5 en 6 disk raidz2.
Ik wil wat virtuele centjes op de 6 disk variant zetten, vooral als disken met 4K sectors worden gebruikt.

Bij een 5 disk raidz2 heb je effectief 3 disken die data schuiven.
Bij een 6 disk radiz2 heb je effectief 4 disken die data schuiven.

Daarnaast is een write naar 4 disken netter te verdelen dan over 3 disken.

[ Voor 51% gewijzigd door Ultraman op 22-06-2012 17:25 ]

[FireDrunk]

Het ging meer om het verhaal dat je een even aantal data disks moet hebben. Dus 5 disks RAIDZ en 6 disks RAIDZ2, maar geen 5 disks RAIDZ2 of 6 disk RAIDZ.

Dat gaat erover dat 128K niet goed over 5 disks te verdelen is, maar wel over 4

[Ultraman]

Oh jij noemt 5 disk raidz vs 6 disk raidz2. Daar verwacht ik geen tot weinig performanceverschil.
Pixeltje heeft het over raidz2 only.

En idd dat van die write verdelen over een even aantal disken.

[ Voor 19% gewijzigd door Ultraman op 22-06-2012 17:27 ]

[FireDrunk]

Het ging mij vooral om het verschil tussen een disk extra, maar een oneven aantal. Of dat nou met RAIDZ2 is of RAIDZ maakt niet zoveel uit.

De tests zouden dan zijn: Is 6 disks in RAIDZ sneller dan 5 disk RAIDZ.
en is 7 disks in RAIDZ2 sneller dan 6 disks in RAIDZ2.

Dat lijkt me een goede test om erachter te komen of die 'oneven' disk zoveel penalty met zich meebrengt dat je het dus beter niet kan doen.

[justice strike]

ik zit even vast met een root on zfs probleem.

Momenteel probeer ik freebsd 9 op zfs te installeren (usb stick zfs mirror) en ik heb het een aantal keer doorlopen maar ik krijg iedere keer de error

"mounting from zfs:zroot failed with error 5"

Ik heb een aantal verschillende manieren geprobeerd om het te installeren. Volledig handmatig zoals hier vermeld:
http://wiki.freebsd.org/RootOnZFS/GPTZFSBoot/Mirror

of aan de hand van de install zoals hier vermeld:

http://wiki.freebsd.org/RootOnZFS/GPTZFSBoot/9.0-RELEASE

iedere keer stuit ik op die error 5.

enfin ik zit nogal vast want ik kan de hele error niet eens vinden op google.

[FireDrunk]

Booten van GPT kan alleen met een UEFI bios, heb je daar aan gedacht?

[ Voor 4% gewijzigd door FireDrunk op 22-06-2012 19:06 ]

[justice strike]

FireDrunk schreef op vrijdag 22 juni 2012 @ 19:06:
Booten van GPT kan alleen met een UEFI bios, heb je daar aan gedacht?

Het is een uefi bios... maar ik weet niet of ik het ergens moet aanzetten. Het is namelijk zo dat ik normaal bij uefi boot media dat zie in het bios. Maar dat is nu niet het geval geweest. Ik weet ook niet wat ik dan op de bootmedia moet veranderen om dat wel mogelijk te maken.

(voor de duidelijkheid ik heb dezelfde usb stick ook wel eens gebruikt om iets anders uefi style te booten)

//edit as ik freebsd op een hd installeer (zfs filesystem) krijg ik dezelfde foutmelding, maar dan met een error 2 code

[ Voor 9% gewijzigd door justice strike op 22-06-2012 19:59 ]

[FireDrunk]

Hmm, klinkt toch alsof je bootloader het niet goed slikt...

[justice strike]

FireDrunk schreef op vrijdag 22 juni 2012 @ 20:10:
Hmm, klinkt toch alsof je bootloader het niet goed slikt...

als ik de bootloader zie opstarten dan staat er wel netjes zfs enabled bootloader

is overigens gewoon met de FreeBSD 9.0-RELEASE versie

[ Voor 10% gewijzigd door justice strike op 22-06-2012 20:38 ]

[FireDrunk]

Hmm, vreemd, ik heb er niet genoeg kaas van gegeten om dat voor je op te kunnen lossen.

[Verwijderd]

FireDrunk schreef op vrijdag 22 juni 2012 @ 19:06:
Booten van GPT kan alleen met een UEFI bios, heb je daar aan gedacht?

Dat geldt alleen voor systemen die geen MBR toepassen. FreeBSD gebruikt een hybrid MBR/GPT scheme waarbij het BIOS gewoon van de MBR boot en niets hoeft te weten van het GPT partitie scheme. Zodoende werkt GPT boot dus op alle systemen, ook veel oudere systemen. Geen reden meer om dat oude fdisk te gebruiken dus!

Sterker nog, native UEFI support is nog maar pas in ontwikkeling:
http://wiki.freebsd.org/SummerOfCode2012/IntelEFIBoot
Maar dat heb je volgens mij alleen nodig om FreeBSD native op een echte Mac-computer te draaien, zodat je dan geen Bootcamp BIOS-emulatie nodig hebt.

@justice strike: heb je legacy USB support ingeschakeld in je BIOS? Dat is nodig om van USB te kunnen booten. USB boot werkt trouwens niet op alle systemen met de FreeBSD bootcode, alhoewel het hier bij mij nu prima draait.

[ Voor 15% gewijzigd door Verwijderd op 22-06-2012 23:48 ]

[CurlyMo]

justice strike schreef op vrijdag 22 juni 2012 @ 17:43:
ik zit even vast met een root on zfs probleem.

Momenteel probeer ik freebsd 9 op zfs te installeren (usb stick zfs mirror) en ik heb het een aantal keer doorlopen maar ik krijg iedere keer de error

"mounting from zfs:zroot failed with error 5"

Ik heb een aantal verschillende manieren geprobeerd om het te installeren. Volledig handmatig zoals hier vermeld:
http://wiki.freebsd.org/RootOnZFS/GPTZFSBoot/Mirror

of aan de hand van de install zoals hier vermeld:

http://wiki.freebsd.org/RootOnZFS/GPTZFSBoot/9.0-RELEASE

iedere keer stuit ik op die error 5.

enfin ik zit nogal vast want ik kan de hele error niet eens vinden op google.

Als je van USB boot moet je vrijwel altijd een korte pauze instellen om je apparaten te laten settelen. Heb je daar aan gedacht. De volgende setting is daarvoor bedoeld in je /boot/loader.conf:

code:

kern.cam.boot_delay="10000"

[justice strike]

Verwijderd schreef op vrijdag 22 juni 2012 @ 23:46:
[...]

Dat geldt alleen voor systemen die geen MBR toepassen. FreeBSD gebruikt een hybrid MBR/GPT scheme waarbij het BIOS gewoon van de MBR boot en niets hoeft te weten van het GPT partitie scheme. Zodoende werkt GPT boot dus op alle systemen, ook veel oudere systemen. Geen reden meer om dat oude fdisk te gebruiken dus!

Sterker nog, native UEFI support is nog maar pas in ontwikkeling:
http://wiki.freebsd.org/SummerOfCode2012/IntelEFIBoot
Maar dat heb je volgens mij alleen nodig om FreeBSD native op een echte Mac-computer te draaien, zodat je dan geen Bootcamp BIOS-emulatie nodig hebt.

@justice strike: heb je legacy USB support ingeschakeld in je BIOS? Dat is nodig om van USB te kunnen booten. USB boot werkt trouwens niet op alle systemen met de FreeBSD bootcode, alhoewel het hier bij mij nu prima draait.

om een lang verhaal kort houden. USB boot met zfsguru werkt naar behoren en als ik de log goed lees dan wordt de usb key ook gewoon goed herkent voordat ik de mount error krijg.

en zoals ik hierboven heb neergezet ik krijg een soortgelijke error als ik sata schijven gebruik (maar dan een error 2 ipv 5). Ik wil graag een vanilla freebsd gebruiken ipv zfsguru.

[Kriss1981]

Heb je ook mfsbsd al geprobeerd?

Misschien lukt het dan wel.

[LightStar]

LightStar schreef op vrijdag 22 juni 2012 @ 11:50:
[...]


Was ik al bang voor kon de schijven namelijk wel vinden op de onboard van de N40L met de contoller zijn ze foetsie... dus of het wordt w2k8 r2 of een andere contoller..

Zo de kogel is door de kerk de P410 staat inmiddels te koop.. maar nu komt het volgende een andere controller, na wat zoek werk is het aan te raden te kiezen voor de chips LSI 1068E of LSI SAS2008 nu vraag ik mij af aan wat voor kaart moet ik dan denken ? 8poorts is voldoende voor mij...

Ook zag ik de volgende kaart Intel RAID Controller SASUC8I werkt deze out of the box of moet deze geflasht worden ?

[FireDrunk]

Volgens mij moet je die flashen.

[Verwijderd]

LSI 1068E = goede compatibiliteit, maar geen >2TB disks, geen TRIM en een SMART bug. 3Gbps max en ook maximaal PCI-express 1.0 x8.

De LSI SAS 2008 chip is de moderne opvolger, die heeft PCI-express 2.0 x8 en 6Gbps SAS/SATA. Compatibiliteit onder BSD is niet zo best behalve voor de allernieuwste driver, die nog niet in een officiële release zit. Maar verreweg wel de beste koop als je toekomstbestendig wilt zijn.

Concreet praat ik dan over de IBM M1015. Je moet deze controllers vrijwel altijd flashen naar IT-mode firmware.

[justice strike]

Verwijderd schreef op zaterdag 23 juni 2012 @ 18:57:
LSI 1068E = goede compatibiliteit, maar geen >2TB disks, geen TRIM en een SMART bug. 3Gbps max en ook maximaal PCI-express 1.0 x8.

De LSI SAS 2008 chip is de moderne opvolger, die heeft PCI-express 2.0 x8 en 6Gbps SAS/SATA. Compatibiliteit onder BSD is niet zo best behalve voor de allernieuwste driver, die nog niet in een officiële release zit. Maar verreweg wel de beste koop als je toekomstbestendig wilt zijn.

Concreet praat ik dan over de IBM M1015. Je moet deze controllers vrijwel altijd flashen naar IT-mode firmware.

Wellicht dat ik het probleem gevonden heb. Ik heb hem uiteindelijk draaind gekregen door eerst zfsguru te installeren en daarna freebsd erover heen te instalern (zfs mounten en de bootcode intact laten... alhoewel ik niet zeker weet of dat het probleem was).

ik zie nu echter dat alle hd's dubbel voorkomen in de /dev lijst. namelijk /dev/adx en /dev/adax... en dat zorgt eroor dat er nogal problemen zijn... niet alleen zijn alle devices dubbel. maar de /dev/adx devices die werken gewoon niet goed (smarttools erop draaien lukt bijv niet). ik weet niet of dit ook een probleem is gewest bij het installeren, maar op het moment ben ik bezig dat te fixen... normaal zou ahci mode alleen de /dev/adax moeten activeren dus waarom die /dev/adx devices er zijn is mij en raadsel.

anyway ik sta open voor suggestie

[FireDrunk]

Je kan die /dev/ links gewoon verwijderen volgens mij? Soms worden /dev/ devices eenmalig hardhandig aangemaakt, maar dat hoeft niet persé.

[justice strike]

FireDrunk schreef op zaterdag 23 juni 2012 @ 20:53:
Je kan die /dev/ links gewoon verwijderen volgens mij? Soms worden /dev/ devices eenmalig hardhandig aangemaakt, maar dat hoeft niet persé.

het is een optie die ze erin gezet hebben omdat het sata subsysteem wordt gemigreerd naar cam(3).

is gewoon een symlink die bij elke keer opstarten opnieuw wordt aangemaakt. Kun je verwijderen door de /boot/loader.conf aan te passen en dit toe te voegen:

kern.cam.ada.legacy_aliases=0;

klopt het dat hier zfsguru developers rondliepen? ik wilde namelijk ewten of er een manier was om makkelijk de "versie" van je systeem kunt invoeren? nu heb ik zfsguru wel draaiend, maar veel zaken doen het niet omdat zfs een bepaalde versie verwacht... welke ik niet heb aangezien ik een vanilla freebsd draai.

[FireDrunk]

CiPHER en Jason zijn de enige ZFSguru developers, Jason zit dacht ik wel eens op HardForum, maar is ook al maanden niet gespot. CiPHER leeft weer


Overigens:

localhost ~ # cat /proc/partitions | grep sdi
   8      128   78150744 sdi
   8      129   78149720 sdi1

localhost ~ # free -k
             total       used       free     shared    buffers     cached
Mem:      99017724     317576   98700148          0       6072      15264
-/+ buffers/cache:     296240   98721484
Swap:            0          0          0

When you see it...

[ Voor 60% gewijzigd door FireDrunk op 23-06-2012 23:19 ]

[CurlyMo]

justice strike schreef op zaterdag 23 juni 2012 @ 21:01:
Ik wilde namelijk ewten of er een manier was om makkelijk de "versie" van je systeem kunt invoeren? nu heb ik zfsguru wel draaiend, maar veel zaken doen het niet omdat zfs een bepaalde versie verwacht... welke ik niet heb aangezien ik een vanilla freebsd draai.

Wat bedoel je met bepaalde versie verwacht? Kun je een voorbeeld geven?

[justice strike]

CurlyMo schreef op zaterdag 23 juni 2012 @ 21:20:
[...]

Wat bedoel je met bepaalde versie verwacht? Kun je een voorbeeld geven?

onder het tabblad status kun je alle info van je systeem zien.

hier staat bij mij voor de distribution type en system version:

Distribution type unknown
System version unknown (checksum: 0)


dat is ansich niet zo'n probleem ware het niet dat er in het installatie tabblad hier ook gebruik van wordt gemaakt om te kijken of bepaalde pakketen comaptible zijn met freebsd8 of 9. Wat betekent dat ik niets kan installeren via zfsguru.

[LightStar]

Verwijderd schreef op zaterdag 23 juni 2012 @ 18:57:
LSI 1068E = goede compatibiliteit, maar geen >2TB disks, geen TRIM en een SMART bug. 3Gbps max en ook maximaal PCI-express 1.0 x8.

De LSI SAS 2008 chip is de moderne opvolger, die heeft PCI-express 2.0 x8 en 6Gbps SAS/SATA. Compatibiliteit onder BSD is niet zo best behalve voor de allernieuwste driver, die nog niet in een officiële release zit. Maar verreweg wel de beste koop als je toekomstbestendig wilt zijn.

Concreet praat ik dan over de IBM M1015. Je moet deze controllers vrijwel altijd flashen naar IT-mode firmware.

Tnx voor je reactie en ga de IBM M1015 bestellen zodra de hp verkocht is!

[CurlyMo]

justice strike schreef op zaterdag 23 juni 2012 @ 21:33:
[...]

onder het tabblad status kun je alle info van je systeem zien.

hier staat bij mij voor de distribution type en system version:

Distribution type unknown
System version unknown (checksum: 0)


dat is ansich niet zo'n probleem ware het niet dat er in het installatie tabblad hier ook gebruik van wordt gemaakt om te kijken of bepaalde pakketen comaptible zijn met freebsd8 of 9. Wat betekent dat ik niets kan installeren via zfsguru.

De distribution type wordt afgehandeld in de functie 'guru_fetch_current_systemversion' in 'includes/guru.php'. Deze functie wordt ook gebruikt in de services tab. Dus die functie naar je hand zetten kan helpen.
De system version wordt opgevraagd via een 'uname -r'. Dus die zou geen problemen moeten opleveren. Wat is de output die je krijgt als je dit commando gewoon in FreeBSD uitvoert?

[justice strike]

CurlyMo schreef op zaterdag 23 juni 2012 @ 22:14:
[...]

De distribution type wordt afgehandeld in de functie 'guru_fetch_current_systemversion' in 'includes/guru.php'. Deze functie wordt ook gebruikt in de services tab. Dus die functie naar je hand zetten kan helpen.
De system version wordt opgevraagd via een 'uname -r'. Dus die zou geen problemen moeten opleveren. Wat is de output die je krijgt als je dit commando gewoon in FreeBSD uitvoert?

9.0-RELEASE, maar dat is correct te zien in het status systeem.

Distribution type unknown
System version unknown (checksum: 0)
FreeBSD version 9.0-RELEASE


en ik had idd gezien dat die functie daar verantwoordelijk voor was, maar ik zie even niet waar die info precies vandaan komt.... het lijkt erop dat er een lijst van versies beschikbaar is waar de huidige config tegen gechecked wordt. maar ik zie dus niet waar die versie lijst gehaald wordt. (zal waarschijnlijk de master server zijn oid)

[Verwijderd]

De info komt vandaan van het bestand /zfsguru.dist. Daarin staat de checksum van de huidige system image.

Aangezien je handmatig hebt geïnstalleerd, heb je ook geen officiële system image. Dus kun je ook niet de services gebruiken die specifiek voor bepaalde systeemversie zijn gebakken, zodat alle dependencies etc. goed op elkaar afstemmen.

Je kunt het overigens wel overrulen, gewoon zelf een /zfsguru.dist file aanmaken met de checksum van één van de system images. Die checksums kun je wel vinden op de System->Install step 2 pagina, bijvoorbeeld van 9.0-004 als je nu 9.0-RELEASE draait, of anders 9.1-001 als je 9-STABLE draait.

Een goede tutorial hoe je handmatig FreeBSD installeert maar wel met ZFSguru web-interface, moet ik nog schrijven.

[justice strike]

Verwijderd schreef op zaterdag 23 juni 2012 @ 23:24:
De info komt vandaan van het bestand /zfsguru.dist. Daarin staat de checksum van de huidige system image.

Aangezien je handmatig hebt geïnstalleerd, heb je ook geen officiële system image. Dus kun je ook niet de services gebruiken die specifiek voor bepaalde systeemversie zijn gebakken, zodat alle dependencies etc. goed op elkaar afstemmen.

Je kunt het overigens wel overrulen, gewoon zelf een /zfsguru.dist file aanmaken met de checksum van één van de system images. Die checksums kun je wel vinden op de System->Install step 2 pagina, bijvoorbeeld van 9.0-004 als je nu 9.0-RELEASE draait, of anders 9.1-001 als je 9-STABLE draait.

Een goede tutorial hoe je handmatig FreeBSD installeert maar wel met ZFSguru web-interface, moet ik nog schrijven.

Ik merk idd net dat die dependancies en vooral ook de correctie permissies nogal wat roet in het eten gooien. Ik hoop echter dat ik het handmatig kan installeren en dan bijv de phpwebservice er wel netjes in te krijgen zonder dat ik al te veel moeite hoef te doen.

/edit
wellicht handig als je met een vinkje de installatie kan forcen (en dat dan ook de dependencies aangegeven worden) dan is die versie voor een vanila bsd ook bruikbaarder.

[ Voor 7% gewijzigd door justice strike op 24-06-2012 00:16 ]

[Verwijderd]

Als je die zfsguru.dist file schrijft, met iets als:

echo "AA6699blablabla" > /zfsguru.dist

Vervang dat AA6699 door de checksum zoals je in System->Install stap 2 kunt vinden, even voor je opgezocht:
9.0-004: 2b4b05aa62e3ed424b4fcb5c2c0ef96f
9.1-001: 30e7b83ef2d1200c9440f2d943aeaeab

Dan herkent hij je systeem gewoon als die system image, en hoef je dus ook niets te overriden verder. Alleen gaat het installeren van service packages niet zomaar werken. Kleine tip: kijk in de service_install.sh wat er allemaal gedaan wordt. Als je zelf via de portstree alles installeert hoef je dan alleen nog handmatig die extra instructies uit te voeren. Doordat je de service wel geïnstalleerd hebt, kun je ook van het service panel gebruik maken. Laat maar weten of je nog tegen problemen aanloopt.

[FireDrunk]

offtopic:
Je kan haast een ZFSGuru topic openen...

[Verwijderd]

offtopic:
Er zijn niet zo heel veel ZFS platforms: Nexenta, FreeNAS, ZFSguru en napp-it+openindiana. Wat mij betreft kunnen we alle ZFS platforms het beste in dit centrale topic houden.

Ik wil binnenkort overigens de startpost herschrijven en dan maar gelijk vers met een tweede deel beginnen. Daarbij lijkt het me ook leuk een overzicht te maken van alle ZFS systemen in gebruik, met een link naar hun configuratiepost en algemene informatie (aantal disks, redundancy level, bruikbare grootte, bijzonderheden, verbruik). Is hier animo voor, en eventuele suggesties?

@Justice Strike: service_install.sh zit in een service tarball, dus het zit niet in ZFSguru web-interface ofzo, maar in de services, en is voor elke service uniek.

[ Voor 12% gewijzigd door Verwijderd op 24-06-2012 02:30 ]

[CurlyMo]

offtopic:
Goed idee, heb alleen maar een simpele config staan met 3 disk raidz, usb mirrored root en externe backup. Het enige wat ik kan bieden is informatie over custom script die allerhande taken voor me uitvoeren zoals snapshots, smart checks, automatische apm regelaar enz. Dus misschien is het een idee om daar ook info over op te nemen. Zulke vragen komen namelijk ook regelmatig langs. Trouwens afgelopen weekend alle scripts herschreven zodat ze wat generieker zijn

[justice strike]

Verwijderd schreef op zondag 24 juni 2012 @ 01:04:

offtopic:
Er zijn niet zo heel veel ZFS platforms: Nexenta, FreeNAS, ZFSguru en napp-it+openindiana. Wat mij betreft kunnen we alle ZFS platforms het beste in dit centrale topic houden.

Ik wil binnenkort overigens de startpost herschrijven en dan maar gelijk vers met een tweede deel beginnen. Daarbij lijkt het me ook leuk een overzicht te maken van alle ZFS systemen in gebruik, met een link naar hun configuratiepost en algemene informatie (aantal disks, redundancy level, bruikbare grootte, bijzonderheden, verbruik). Is hier animo voor, en eventuele suggesties?

meteen dan maar suggesties voor hardware aangeven. i.e. hba's, low power plaltforms etc... Het is nu soms lastig te vinden wat je kunt verwachten van sommige hardware.

overigens, service_install.sh bestaat niet. ik ga even kijken of ik de juiste file wel kan vinden.

[ Voor 5% gewijzigd door justice strike op 24-06-2012 02:09 ]

[CurlyMo]

justice strike schreef op zondag 24 juni 2012 @ 01:58:
overigens, service_install.sh bestaat niet. ik ga even kijken of ik de juiste file wel kan vinden.

Als je via zfsguru een service installeert dan haalt hij deze van de server af als een tarbal. Voor alle services is de opbouw van deze tarbal nagenoeg gelijk. Binnen in die tarbal zit het bestand service_install.sh. De locatie van de services zijn o.a.:

http://static.zfsguru.com...lorer-9.0-004-amd64-2.tar
http://static.zfsguru.com...albox-9.0-004-amd64-3.tar

zfsguru download ze in je /tmp directory. Daar zou je de tarbal kunnen aanpassen. Het enige wat je dan nog moet doen is zorgen dat het bestand de zfsguru md5 hash controle doorkomt omdat deze natuurlijk veranderd als je dingen gaat aanpassen. Daar zul je weer even de code voor moeten induiken.

[analog_]

justice strike schreef op zondag 24 juni 2012 @ 01:58:
[...]

meteen dan maar suggesties voor hardware aangeven. i.e. hba's, low power plaltforms etc... Het is nu soms lastig te vinden wat je kunt verwachten van sommige hardware.

overigens, service_install.sh bestaat niet. ik ga even kijken of ik de juiste file wel kan vinden.

Tijd voor een wiki? We zouden ook bestaande ZFS wiki flink kunnen aanvullen met de beschikbare kennis van hier, zfs build list, hardware selectie, optimalisatie, config recepten ...

[ Voor 16% gewijzigd door analog_ op 24-06-2012 13:51 ]

[justice strike]

Verwijderd schreef op zondag 24 juni 2012 @ 01:04:
@Justice Strike: service_install.sh zit in een service tarball, dus het zit niet in ZFSguru web-interface ofzo, maar in de services, en is voor elke service uniek.

even een suggestie. het services "tablad"voor samba is erg onlogisch. Je schijnt dingen te kunnen aanpassen daar voor al je shares, maar je kunt ze daar niet aanmaken. Tegelijkertijd kun je bij files je samba shares aanmaken maar alleen voor de zfs shares die er zijn en niet voor specifieke folders. Beetje onlogisch of ik begrijp niet precies hoe het werkt

CiPHER: je kunt irrelevante stukken in iemands quote beter weglaten, dat leest beter weg.

[ Voor 35% gewijzigd door Verwijderd op 25-06-2012 18:19 ]

[iRReeL]

Verwijderd schreef op donderdag 21 juni 2012 @ 12:39:
Nieuwe system images kan ik misschien wel voor zorgen, daar zitten namelijk ook services bij. Zo zie ik dat vandaag VirtualBox 4.1.18 is uitgekomen; deze kan ik binnenkort builden. Alleen uploaden is wat lastig; ik heb geen directe controle over de webserver van ZFSguru.

Maar ben benieuwd of deze system image je van dat probleem afhelpt. Zo niet kun je nog de nieuwste 9-STABLE proberen. Die 'mps' driver is namelijk flink geupdate in 9-STABLE onder meer door LSI zelf; de driver komt door LSI's eigen tests en wordt als production quality beschouwd. Ben benieuwd dus of dat voor jou verschil maakt.

Zo te zien is het probleem met de M1015 verholpen met het nieuwe image. Ik heb redelijk wat nieuwe data erop gezet maar verder doet de server minder, geen virtuele machines en geen SABnbzd meer (de handmatige installatie ziet verder goed uit enzo, maar werkt niet, maakt wel nieuwe temp map aan maar download niets). Ik heb geen lockups of errors gezien,

Als workaround heb ik nu alles op de HTPC draaien .. Ik wil nu wachten op het nieuwste image met de 'flink geupdate' driver waar Virtualbox en SABnzbd werkt zodat ik het weer kan configureren en hopelijk daarna een heletijd geen omkijken meer naar heb.

Het regelmatig updaten van ZFSguru is leuk maar je moet toch iedere keer weer een aantal dingen configureren na een update toch (sabnzb, virtualbox, sickbeard etc)?

[justice strike]

Heeft iemand een suggestie voor een low power oplossing mbt de tmp en var directories. Ik wil best een usb stick gebruiken maar ik ben bang dat de write endurance is wel laag is. Ik kan alleen geen goed beeld vormen hoe laag deze endurance dan is. Ik heb geen sata poorten meer over dus ik wil eigenlijk usb oplossing... Later will ik misschien wel een hba erbij nemen voor meer hd's.

Zie boven.

[ Voor 57% gewijzigd door Verwijderd op 25-06-2012 18:20 ]

[iRReeL]

geen idee waarom je mij quote

Ikzelf had in het verleden nog een IDE naar SATA converter (van dealextreme) gebruikt om er nog een poortje bij te krijgen voor een 2,5" sata OS disk, weet niet of dat een optie is?

[CurlyMo]

justice strike schreef op maandag 25 juni 2012 @ 17:31:
[...]

heeft iemand een suggestie voor een low power oplossing mbt de tmp en var directories. ik wil best een usb stick gebruiken maar ik ben bang dat de write endurance is wel laag is. Ik kan alleen geen goed beeld vormen hoe laag deze endurance dan is. Ik heb geen sata poorten meer over dus ik wil eigenlijk usb oplossing... later will ik misschien wel een hba erbij nemen voor meer hd's

Van sommige /var/log en van /tmp een tmpfs maken. Zie eerdere post van mij waarin ik mijn fstab heb laten zien.