Het grote ZFS topic

[syl765]

De pal error zoals beschreven als in de KB van LSI, heb ik opgelost door de kaart in een ander systeem te flashen
http://kb.lsi.com/KnowledgebaseArticle15807.aspx

in een HP Proliant ML110 g6 kon ik zonder problemen de kaart flashen.
De Supermicro server waar de kaart inzat gaf mij ook de PAL error.

Probeer dus eens een ander board!

[Verwijderd]

Dat is inderdaad een goede tip.

[Dinh]

Ik vrees alleen dat lsi echt de chip veranderd heeft. De pal error is opgelost door gebruik van efi Shell. Dat is het probleem dus niet. Andere bord gaat helaas niet omdat ik alleen maar MacBook en iMac heb. Zoals de ts van die andere topic al aangaf. Hij heeft eerder geflashed met succes en met de twee laatste kaarten weer niet. De twee kaarten die ik heb zijn allebei van januari 2012. Erg recent dus.

[webfreakz.nl]

Neem eens contact op met LSI of IBM?

[Dinh]

Screens:
in Dos:


in EFI Shell:

[FireDrunk]

Het ruikt er naar dat jou moederbord de kaarten niet wil flashen. Heb je een andere pc tot je beschikking?
Mijn Intel bord wilde ook geen firmware flashen, en mijn Biostar (dekstop) weer wel. Heeft iets te maken met dat de flash utility een startup commando naar de kaart moet kunnen sturen. En dat staat vast niet in de PCIe specs

EDIT: Even beter lezen, je hebt geen ander systeem. Woon je in de buurt van Arnhem?

[ Voor 11% gewijzigd door FireDrunk op 06-03-2012 10:40 ]

[iRReeL]

Ja ik had zelf ook geen problemen met het flashen van de IBM 1015 kaarten. Ik weet alleen niet meer welke pc ik gebruikt had, (ik denk 690G anders 880G of de x8sil-f). Ik zie wel dat ik blijkbaar een ander 'empty.bin' gebruikt heb, dus wellicht een andere procedure dan ik. Ik zou volgende week nog eentje ontvangen die ga ik dan ook nog 's flashen.

Ik had zelf ook nog een vraag, ik wil een SSD gebruiken voor het OS / virtual box machines maar graag eentje wat ik nog heb liggen (vertex2 60GB). Zou het mogelijk zijn om een mirror pool op te zetten met de SSD en een normale hdd (80GB 2,5") . Als ik alles weer geinstalleerd heb enzo dan de langzame HDD offline zetten? Zodat als de SSD defect raakt dat ik een 'backup' heb op de HDD en daarvan dan kan booten (en hoe krijg ik die HDD dan weer 'online' zodat ik ervan kan booten)? Geen performance penalty als een mirrored pool degraded is?

Lijkt mij een mooie oplossing zodat ik minimale downtime heb mocht de SSD defect raken en ik hoef geen 'dure' Intel 320/520 te kopen (alhoewel met een intel zou ik dan ook SLOG kunnen gebruiken, dat zal ik met de vertex niet doen).

Ik wil ook nog proberen of ik met acronis trueimage ofzo de huidige installatie (80GB 2,5") naar de vertex2 kan clonen, zou wel makkelijk zijn.

[CurlyMo]

iRReeL schreef op dinsdag 06 maart 2012 @ 12:11:
Ik wil ook nog proberen of ik met acronis trueimage ofzo de huidige installatie (80GB 2,5") naar de vertex2 kan clonen, zou wel makkelijk zijn.

Dat clonen kan ook met ZFS snapshots zelf al werkt het dan iets anders. Dat heb ik zelf eerder in dit topic beschreven. Als je vragen hebt hoor ik het wel, hier heb ik die manier al een paar keer gebruikt om hetzelfde te bereiken.

[Dinh]

FireDrunk schreef op dinsdag 06 maart 2012 @ 10:29:
Het ruikt er naar dat jou moederbord de kaarten niet wil flashen. Heb je een andere pc tot je beschikking?
Mijn Intel bord wilde ook geen firmware flashen, en mijn Biostar (dekstop) weer wel. Heeft iets te maken met dat de flash utility een startup commando naar de kaart moet kunnen sturen. En dat staat vast niet in de PCIe specs

EDIT: Even beter lezen, je hebt geen ander systeem. Woon je in de buurt van Arnhem?

Helaas woon ik in Heerhugowaard. Niet echt dichtbij je in de buurt Maar bedankt voor je aanbod!

Ik ga denk ik maar beide kaarten retour sturen en voor in de plaats (1 maal) de LSI 9211-8i. Geen gedoe meer met (cross)flashen. Heb momenteel ook maar minimaal 6 SATA nodig voor RAIDZ2. Later uitbreiden met 1 maal LSI 9211-4i voor nog een RAIDZ2 met 6 HDDs. Jammer dat de prijs van 1x LSI 9211-8i gelijk is aan 2x M1015.
Ik mag aannemen dat het wel goed zit met driver support in FreeBSD9 (Release versie)? CiPHER?

[ Voor 24% gewijzigd door Dinh op 06-03-2012 14:45 ]

[FireDrunk]

Je mag ze ook opsturen. Ik wil ze wel voor je flashen...

[Verwijderd]

Dinh schreef op dinsdag 06 maart 2012 @ 13:25:
Ik mag aannemen dat het wel goed zit met driver support in FreeBSD9 (Release versie)? CiPHER?

Nee, net als overige SAS2008 controllers is de huidige 'mps' driver in FreeBSD nog erg experimenteel. FreeBSD 8-STABLE en 9.0-RELEASE hebben een experimentele 'mps' driver voor deze controller, die wel werkt maar problemen kan geven bij het booten als je schijven niet helemaal lekker zijn.

In FreeBSD 9-STABLE is een nieuwe door LSI-goedgekeurde driver beschikbaar. Deze driver ondersteunt ook IR mode wat eerst helemaal niet werkte. Ook zou hij diverse problemen moeten oplossen waardoor de 'mps' driver stukken beter/stabieler werkt. Ik heb nog geen feedback op basis van deze driver.

En dinh; woon je helemaal alleen? Niemand in de buurt met een computer? In dat geval is het veel goedkoper en makkelijker even een vriend zijn systeem gebruiken voor het flashen? Of is dat gecompliceerd? We willen je allemaal helpen om geld te besparen, maar zelf lijk je er niet zo'n probleem mee te hebben dat je een paar honderd euro over de balk gooit. Zelf heb ik een heel andere instelling: blijven proberen totdat ik het echt opgeef.

Aan de andere kant: nu kun je de controllers nog terugsturen onder Wet koop op afstand; dus ik kan begrijpen dat je hier haast mee hebt. Maar toch; het alternatief is niet zo aantrekkelijk. En als je voor de LSI gaat, zou ik eerder voor de 16 poorts gaan; je bent toch al superduur uit omdat je het dubbele betaalt.

[iRReeL]

@CurlyMo: Bedankt voor de tip, ik ga het verder opzoeken hiero

Inzake IBM M1015 flashen kreeg ik een update dat ze morgen al proberen de nieuwe kaart proberen te leveren dus kan evt nog 's precies beschrijven hoe ik dat precies doe (als het lukt deze keer )

Bij mij kun je ook langskomen in Amsterdam. Versturen via Kiala kost €4,- zag ik vandaag.

[Dinh]

Verwijderd schreef op dinsdag 06 maart 2012 @ 14:54:
[...]

Nee, net als overige SAS2008 controllers is de huidige 'mps' driver in FreeBSD nog erg experimenteel. FreeBSD 8-STABLE en 9.0-RELEASE hebben een experimentele 'mps' driver voor deze controller, die wel werkt maar problemen kan geven bij het booten als je schijven niet helemaal lekker zijn.

In FreeBSD 9-STABLE is een nieuwe door LSI-goedgekeurde driver beschikbaar. Deze driver ondersteunt ook IR mode wat eerst helemaal niet werkte. Ook zou hij diverse problemen moeten oplossen waardoor de 'mps' driver stukken beter/stabieler werkt. Ik heb nog geen feedback op basis van deze driver.

En dinh; woon je helemaal alleen? Niemand in de buurt met een computer? In dat geval is het veel goedkoper en makkelijker even een vriend zijn systeem gebruiken voor het flashen? Of is dat gecompliceerd? We willen je allemaal helpen om geld te besparen, maar zelf lijk je er niet zo'n probleem mee te hebben dat je een paar honderd euro over de balk gooit. Zelf heb ik een heel andere instelling: blijven proberen totdat ik het echt opgeef.

Aan de andere kant: nu kun je de controllers nog terugsturen onder Wet koop op afstand; dus ik kan begrijpen dat je hier haast mee hebt. Maar toch; het alternatief is niet zo aantrekkelijk. En als je voor de LSI gaat, zou ik eerder voor de 16 poorts gaan; je bent toch al superduur uit omdat je het dubbele betaalt.

Ik ga morgen nog langs mijn ouders om nog eens te proberen met 2 verschillende systemen. Als het dan niet lukt, gaat het meteen retour wegens Wet koop op afstand.

@iRReel en @FireDrunk
Dank voor de aanbod. Echter moet ik morgen de kaarten al opsturen imv wet koop op afstand.

[FireDrunk]

Ebay heeft lak aan Wet koop op afstand trouwens.. Die wet is toch alleen binnen Nederland

[Dinh]

FireDrunk schreef op dinsdag 06 maart 2012 @ 15:23:
Ebay heeft lak aan Wet koop op afstand trouwens.. Die wet is toch alleen binnen Nederland

Ik heb het dan ook gewoon netjes van een Nederlandse webwinkel gehaald

[FireDrunk]

Ah, dan ben ik in de war

[Erik1]

Ik volg dit topic al een tijdje omdat ik een all-in-1 thuisserver wil bouwen met een storage VM die gebruik maakt van ZFS. Ik heb alles nu compleet behalve de harde schijven en vraag me af wat ik het beste kan kopen en hoe in te stellen.

Opzet server:

- Intel Q67 moederbord, i5-2500, 16GB RAM, IBM M1015 geflashed naar LSI9211-IT mode
- Bootschijfje 2,5" 160GB met ESXi 5 + 1e datastore
- Storage VM: 4GB bootdisk op de 1e datastore, 6 of 8GB RAM, LSI kaart passthrough, OS: ZFSguru/Freenas/Nexenta/Anders?
- Router VM: pfSense

De storage VM moet via NFS de datastore voor de andere VM's aanbieden aan de host en ik wil mijn data (nu 1,2TB) erop zetten die op mijn desktop PC staat (NAS functie)

Eisen VM datastore: hoge random read/write snelheid/iops, redundantie niet nodig (meeste is testspul, belangrijke dingen worden gebackupt)
Eisen NAS: Gigabit snelheid lezen/schrijven van bestanden, redundantie

Ik heb 2x Samsung F4EG 2TB in mijn desktop PC zitten (Windows software raid ) die ik kan overzetten naar de server. De rest moet ik nog kopen dus kan die keuzes nog aanpassen.

Idee 1: Alles in 1 pool met: vdev mirror 2x 2TB Samsung + vdev mirror 2x 3TB Seagate Barracuda ST3000DM001, 1 of 2 SSD's 60/64GB voor read (+write?) cache
Voordeel: optimale snelheid, flexibele verdeling van ruimte
Nadeel: SSD cache wordt ook gebruikt voor NAS deel wat in principe niet nodig is, ruimteverlies door onnodige redundantie VM datastore

Idee 2: 2 pools, eentje voor NAS met 2x3TB mirror, eentje voor VM's met 2x2TB stripe + SSD
Voordeel: meeste ruimte, SSD cache wordt gebruikt waar het nodig is
Nadeel: Ruimteverdeling niet flexibel, lezen van 2 HDD's tegelijk ipv 4

Ik neig nu meer naar idee 1 omdat ondanks het ruimteverlies de capaciteit voorlopig meer dan genoeg is. Iemand tips of suggesties?

[Verwijderd]

Als je L2ARC SSD caching gebruikt, betekent dat niet persé dat je geen controle hebt over welke data op de SSD komt. Je kunt met de secondarycache parameter per filesystem of volume (ZVOL) opgeven of hij gebruik mag maken van de L2ARC. Je kunt opgeven: none (niets), metadata (alleen filesystem data zoals directory structuur) en all (metadata+data; standaard setting).

Hetzelfde geldt voor de Level 1 RAM cache, die je met primarycache parameter kunt veranderen met dezelfde opties als hierboven uitgelegd.

Zo heb je dus precies controle welke datasets gebruik maken van je verschillende cache lagen. Je kunt bulk data op 'none' zetten, of op 'metadata' zodat je SSD wel de directory structuren cached. Dat kan handig zijn als je veel bestanden in directories hebt en lekker snel de directories wilt kunnen openen.

Bedenk dat L2ARC cache je ook RAM geheugen kost; dat kan tot enkele gigabytes oplopen met een 100GB cache. Bij onvoldoende RAM wordt de L2ARC niet volledig gebruikt.

Concluderend denk ik dat je met optie 1 de beste setup hebt. Weet dat je kunt beginnen met enkele disks en daar later pas een mirror van maken. Kan handig zijn als je tijdelijk ruimte nodig hebt om data over te zetten. Dan kun je bijvoorbeeld eerst een RAID0 maken van één Samsung en één Seagate schijf, zodat je twee vdevs hebt. Later kun je aan elke vdev eenzelfde disk van hetzelfde type toevoegen en heb je nog steeds twee vdevs maar dan mirrors.

[Dinh]

Verwijderd schreef op maandag 05 maart 2012 @ 20:21:
Heb je dit gedaan?

code:

Convert LSI9240(IBM M1015) to a LSI9211-IT mode
Type in the following exactly:
megarec -writesbr 0 sbrempty.bin
megarec -cleanflash 0
<reboot, back to USB stick>
sas2flsh -o -f 2118it.bin -b mptsas2.rom (sas2flsh -o -f 2118it.bin if OptionROM is not needed)
sas2flsh -o -sasadd 500605bxxxxxxxxx (x= numbers for SAS address)
<reboot>
Done!

Volgens IBM ServeRAID M1015 Part 4 : Cross flashing to a LSI9211-8i in IT or IR mode.

Zojuist de kaarten met succes geflashed naar 2118it in een hp pavilion.

[FireDrunk]

Mooi zo! We wachten de resultaten af

[The Executer]

Dinh schreef op woensdag 07 maart 2012 @ 11:12:
[...]


Zojuist de kaarten met succes geflashed naar 2118it in een hp pavilion.

Dan weet je nu welke pc je niet af moet schrijven/weggooien! Ken de frustraties, als iets niet lukt, en dan een ander systeem...

Edit:

Verwijderd schreef op dinsdag 06 maart 2012 @ 23:27:
Weet dat je kunt beginnen met enkele disks en daar later pas een mirror van maken. Kan handig zijn als je tijdelijk ruimte nodig hebt om data over te zetten. Dan kun je bijvoorbeeld eerst een RAID0 maken van één Samsung en één Seagate schijf, zodat je twee vdevs hebt. Later kun je aan elke vdev eenzelfde disk van hetzelfde type toevoegen en heb je nog steeds twee vdevs maar dan mirrors.

Hierop voortbordurend: Is het mogelijk een Raid-Z/Z2 aan te maken met een vdev van 3 fysieke schijven en 1 fake disk (memdisk?), de data van de huidige schijf te kopieren, daarna fake disk laten replacen met de disk waar de data af komt? Dit scheelt mij namelijk in aanschafkosten. Dan hoef ik maar 3 ipv 4 disken aan te schaffen, kan ik rustig de data overpompen om daarna de disk er in de vdev bij te hangen.

[ Voor 58% gewijzigd door The Executer op 07-03-2012 11:49 ]

[FireDrunk]

Ik zou de memory disk eruit halen voordat je gaat kopieren, anders sterft je kopie slag al heel snel...
Maar wat jij wil kan.

[ Voor 10% gewijzigd door FireDrunk op 07-03-2012 14:12 ]

[Verwijderd]

Ja, via ZFSguru bijvoorbeeld kun je een grote memory disk aanmaken. Je maakt je pool aan met 3 echte schijven en die ene memory disk. Daarna gewoon een reboot; memory disk weg; pool degraded.

[analog_]

Dinh schreef op maandag 05 maart 2012 @ 21:05:
[...]


Link: probleem met M1015 flash naar IT mode

Behalve de header output (naam, versie etc) van megarec is dat echt het enige output dat ik krijg.

mobo: supermicro x9scm-f. Met dit bord werkt sas2flash niet, krijg dan een pal error. De efi versie van sas2flash werkt wel maar flashen gaat niet. Waarschijnlijk omdat vorige stap al niet lukt.

Ik zal zo alles opnieuw proberen en screenshots van alles maken.

Hoeveel RAM heb je op dat bord draaien want ben aan het overwegen het te kopen en er schijnt wat gedoe te zijn rond REG en >16GB en met name de beschikbaarheid van 8G dimms.

[Kriss1981]

Ik ben ook in het bezit van een Supermicro X9SCM-F en heb hier 16GB geheugen op zitten.
Meer dan 16GB wordt inderdaad lastig, wegens het niet leverbaar zijn van betaalbare 8GB geheugen sticks.

[The Executer]

FireDrunk schreef op woensdag 07 maart 2012 @ 14:12:
Ik zou de memory disk eruit halen voordat je gaat kopieren, anders sterft je kopie slag al heel snel...
Maar wat jij wil kan.

Waarom zou die kopieslag niet goed gaan dan? Dat mis ik nu even in je post...

Verwijderd schreef op woensdag 07 maart 2012 @ 14:29:
Ja, via ZFSguru bijvoorbeeld kun je een grote memory disk aanmaken. Je maakt je pool aan met 3 echte schijven en die ene memory disk. Daarna gewoon een reboot; memory disk weg; pool degraded.

En daarna de degraded pool aanvullen met de schijf waar de data af komt. Super!

[FireDrunk]

Die memorydisk loopt toch vol... Of heb jij 10TB geheugen?

[Verwijderd]

Je maakt gewoon een memory disk aan van 2TB ofzo. Pas als je de memory disk beschrijft neemt hij ruimte in. Dus de truc is direct na het aanmaken van je pool te rebooten; dan is je memory disk ook weg. Het kan ook handmatig met offline commando, maar rebooten is het makkelijkst.

Dus je schrijft maar minimaal data naar de memory disk; even tijdens het aanmaken een aantal kilobytes en dan is het klaar. Wat FireDrunk zegt klopt zeker: je moet niet gaan kopiëren voordat je hebt gereboot; want dan vul je de memory disk en dat verhaal houdt snel op.

[FireDrunk]

Dat is trouwens dus ook een hele makkelijke manier om de grootte die ZFS inneemt op een hele disk zonder partities in te korten. Als je dit via een memory disk doet, compenseer je alvast voor disks die je in de toekomst koopt die misschien een paar MB kleiner zijn.

[Sleepie]

Ik heb wat bad sectors op een van mijn schijven, de SMART data:

code:

da7 Healthy 28°C . 82°F 43      0    17 active . 0 passive      8 months

De raw value:

code:

197 Current_Pending_Sector  0x0012  100 100 000 -   17

ZFSGuru geeft netjes een warning met het bericht dat deze normaal gesproken automatisch replaced zullen worden. Ik maak me dan ook niet echt zorgen (zolang het er niet meer gaan worden).

Wat ik me wel afvraag, is er een mogelijkheid om dit replacen te forceren?
Ik zou graag de Current_Pending_Sector count weer gewoon op 0 zien staan, en de 17 bad sectors als Reallocated.

[Verwijderd]

De pending sectoren kunnen zich voordoen in gebieden die ZFS niet in gebruik heeft. Dat is geen probleem, want zodra ZFS die plekken in gebruik wilt nemen, overschrijft ZFS die plekken waardoor de bad sector ook verdwijnt. Zolang je pool maar redundant is, zouden bad sectors geen enkel probleem mogen vormen.

Je kunt met een scrub checken dat alle data in gebruik door ZFS foutvrij is. Wil je de disk echt foutvrij hebben dan moet je hem uit de array plaatsen, zero-writen en weer toevoegen. Dit is natuurlijk wel risicovol, omdat je dan een tijd één complete schijf mist. Als je slechts enkelvoudige bescherming hebt zoals RAID-Z kan ik dit niet aanraden.

[Sleepie]

Verwijderd schreef op donderdag 08 maart 2012 @ 14:04:
De pending sectoren kunnen zich voordoen in gebieden die ZFS niet in gebruik heeft. Dat is geen probleem, want zodra ZFS die plekken in gebruik wilt nemen, overschrijft ZFS die plekken waardoor de bad sector ook verdwijnt. Zolang je pool maar redundant is, zouden bad sectors geen enkel probleem mogen vormen.

Dat wist ik niet, dat die bad sectors zich in ongebruikt gebied kunnen bevinden. Dat verklaart dan dus ook waarom ze blijven staan, pas als ZFS dat gebied gaat gebruiken zullen ze replaced worden en verwijden dus.
Of mis ik nog iets?

Je kunt met een scrub checken dat alle data in gebruik door ZFS foutvrij is. Wil je de disk echt foutvrij hebben dan moet je hem uit de array plaatsen, zero-writen en weer toevoegen. Dit is natuurlijk wel risicovol, omdat je dan een tijd één complete schijf mist. Als je slechts enkelvoudige bescherming hebt zoals RAID-Z kan ik dit niet aanraden.

Scrub gaf geen fouten op de pool, dus ik ben ook niet bang voor data-loss ofzo.
Het ging me er eigenlijk meer om dat die opvallende rode meldinig in ZFSGuru zou verdwijnen
Het is een RAIDZ2 pool, dus op zich zou ik wel een disk los kunnen halen, maar ik laat het maar gewoon zoals het is, ZFS zal uiteindelijk alles zelf oplossen.

Overigens nu jij bij ZFSGuru betrokken bent: Ik heb ooit aan Jason gevraagd of en wanneer de mogelijkheid tot het schedulen (cronjob) van een scrub actie, liefst met email support (resultaten van de scrub job worden gemailed) mogelijk wordt in ZFSGuru. Het antwoord was toen dat dit in versie 0.20 zou zitten.
Is hier misschien al iets meer over bekend? Voor mij is dit eigenlijk de belangrijkste feature die ik nog mis in het verder prima werkende ZFSGuru.

[ Voor 14% gewijzigd door Sleepie op 08-03-2012 14:40 ]

[CurlyMo]

Zo kan het ook:

code:

crontab -e

Dan de volgende regel invoegen:

code:

0 1 * * 1 /sbin/zpool scrub [poolnaam]

Dit zal elke eerste dag van de maand een scrub uitvoeren. Makkelijker kan naar mijn idee niet. Als je vervolgens een van mijn notificatie scriptjes gebruikt dan hoor je snel genoeg of er wat mis was met je pool.

code:

0 0,4,8,12,16,20 * * * /usr/sbin/zpool_check.pl

In dit geval draai ik hem elke 4 uur.

Het scriptje zpool_check.pl

code:

#!/usr/bin/perl
my $command_output = `/sbin/zpool status -x`;
if ($command_output eq "all pools are healthy\n") {
exit;
}
else
{
$to='[e-mail]';
$from='[e-mail]';
`echo "Subject: ZFS Alert\n$command_output" | /usr/sbin/sendmail -f $from $to`;
}

[Sleepie]

Ik weet dat het zo kan, sterker nog ik heb het zo draaiend

Maar ik mis het gewoon een beetje als feature in ZFSGuru. Monitoren van de health van je pool is toch wel heel belangrijk. Er staan TBs aan data op je ZFS pool, dus wil je echt wel weten of er ergens iets mis is.

Het zou imo gewoon een erg mooie aanvulling op de featureset van ZFSGuru zijn.

[Ultraman]

CurlyMo schreef op donderdag 08 maart 2012 @ 14:50:
Zo kan het ook:

code:

crontab -e

Dan de volgende regel invoegen:

code:

0 1 * * 1 /sbin/zpool scrub [poolnaam]

Dit zal elke eerste dag van de maand een scrub uitvoeren. Makkelijker kan naar mijn idee niet. Als je vervolgens een van mijn notificatie scriptjes gebruikt dan hoor je snel genoeg of er wat mis was met je pool.

code:

0 0,4,8,12,16,20 * * * /usr/sbin/zpool_check.pl

In dit geval draai ik hem elke 4 uur.

Het scriptje zpool_check.pl

code:

#!/usr/bin/perl
my $command_output = `/sbin/zpool status -x`;
if ($command_output eq "all pools are healthy\n") {
exit;
}
else
{
$to='[e-mail]';
$from='[e-mail]';
`echo "Subject: ZFS Alert\n$command_output" | /usr/sbin/sendmail -f $from $to`;
}

FreeBSD 9.0 periodic daily output heeft ook een standaard hook om ZFS health status mee te nemen.
Althans, volgens mij zit die er standaard in, je hoeft hem enkel te enablen.
Dan hoef je enkel nog de scrub in cron op te nemen.

Hoewel je op deze manier wel frequentere checks hebt en makkelijker je trigger kunt regelen.

[ Voor 0% gewijzigd door Ultraman op 01-03-2013 18:09 . Reden: nickchange ]

[Sleepie]

Hoe configureer je een NFS share (in ZFSGuru in mijn geval) zodat je hem kunt gebruiken als datastore voor ESXi?

Als ik gewoon een filesystem maak en dit share via ZFSGuru, kan ik die share wel mounten als datastore, maar ik kan er niet op schrijven. Na een chmod 777 op de bewuste share lukt het wel, maar ownership van de files ziet er vervolgens een beetje vreemd uit:

code:

[root@wega /tank/vmtest]# ls -al
total 9
drwxrwxrwx  3 nfs         nfs  3 Mar  8 22:08 .
drwxr-xr-x  8 nfs         nfs  8 Mar  8 20:08 ..
drwxr-xr-x  2 4294967294  nfs  7 Mar  8 22:08 Test

Is er misschien een nettere manier (dan chmod 777) om dit aan te pakken?

[ Voor 197% gewijzigd door Sleepie op 08-03-2012 22:33 ]

[matty___]

..

[ Voor 99% gewijzigd door matty___ op 08-03-2012 23:22 ]

[Verwijderd]

Sleepie schreef op donderdag 08 maart 2012 @ 14:37:
[...]

Dat wist ik niet, dat die bad sectors zich in ongebruikt gebied kunnen bevinden.

Sterker nog: dat komt vaker voor dan sectoren die in gebruik zijn. Sectoren die lange tijd geleden zijn beschreven en sindsdien alleen zijn gelezen, kunnen degraderen en uiteindelijk onleesbaar worden. Normaliter kunnen hardeschijven al 'aanvoelen' dat bepaalde sectoren niet meer zo lekker zijn; zogenaamde 'weak sectors'. De schijf meet dit aan de hand van de tijd dat het duurt de sector te lezen. Als deze wel gelezen kan worden, maar het langer duurde dan normaal, zullen sommige schijven de sector al gelijk omwisselen uit voorzorg. Dit is volkomen afhankelijk van de firmware en verschilt dus per schijf.

Overigens nu jij bij ZFSGuru betrokken bent: Ik heb ooit aan Jason gevraagd of en wanneer de mogelijkheid tot het schedulen (cronjob) van een scrub actie, liefst met email support (resultaten van de scrub job worden gemailed) mogelijk wordt in ZFSGuru. Het antwoord was toen dat dit in versie 0.20 zou zitten.

Hm daar weet ik anders niets van. Jason heeft altijd gezegd dat de Task Manager functionaliteit een grote feature is die pas later verwacht kan worden. Jason zei wel in de tussentijd te kijken naar mogelijkheden, en wellicht dat je een topic kunt maken met je voorstel. Kijk eens naar de Roadmap en oordeel waar volgens jou de feature thuishoort. Andere functionaliteit is namelijk ook belangrijk. En zoals gezegd, cronjobs kun je met periodic vrij eenvoudig regelen.

Sleepie schreef op donderdag 08 maart 2012 @ 19:10:
Maar ik mis het gewoon een beetje als feature in ZFSGuru. Monitoren van de health van je pool is toch wel heel belangrijk. Er staan TBs aan data op je ZFS pool, dus wil je echt wel weten of er ergens iets mis is.

Ja, aan de andere kant: je hebt RAID-Z2: relax! Bad sectors doen je bijna helemaal niets. In het geval dat er op drie schijven precies op 'dezelfde' locatie (onderdeel van de stripe-block) een bad sector voordoet, waardoor je door de vdev redundancy heen breekt, dan nog heb je redundante metadata. Dus als die sectoren zich in metadata voordoen heb je alsnog een 'ditto copy' een soort kopie van het bestand, dubbel opgeslagen inclusief de redundancy. Dus alsnog 3 sources om te corrigeren (3 vanwege redundancy). Als die locatie een bestand is (file data) dan wordt dat bestand corrupt. Je kunt het zien in zpool status -v en via de ZFSguru web-interface sinds beta5. Je kunt het bestand dan verwijderen en de errors 'clearen'. Applicaties kunnen het bestand niet aanspreken; ZFS levert nooit corrupte data aan applicaties.

Het zou imo gewoon een erg mooie aanvulling op de featureset van ZFSGuru zijn.

Ben ik zeker met je eens!

Maar Jason had grote plannen; niet simpelweg een stom scrub dingetje. Maar een complete task manager waarin je precies kunt aangeven wanneer wat moet gebeuren. Ook rsync runs die je regelmatig draait om zo backup servers te syncen valt hieronder. Om dat allemaal werkend te krijgen ben je zeker een paar maanden verder. Maar zeker wel de moeite waard denk ik.

Trouwens, ik heb een VirtualBox 4.1.8 service gemaakt, die je nu al kunt downloaden (mits je de 9.1-001 system image downloadt en installeert). Voorlopig ligt de focus dus op het afronden van 0.2 final.

Sleepie schreef op donderdag 08 maart 2012 @ 20:53:
Hoe configureer je een NFS share (in ZFSGuru in mijn geval) zodat je hem kunt gebruiken als datastore voor ESXi?

Met een moderne ZFSguru versie (0.2 beta's) kun je een filesystem aanmaken, waarna automatisch chmod 777 en chown 1000:1000 (user 'share' en group 'share'; voorheen had die de naam 'nfs').

Dus de vraag: werk je wel op een via de GUI-gemaakt filesystem? Zie ook de Files->Permissions pagina voor het resetten van permissies.

Verder zie ik dat ESXi de bestanden met userid 4294967294 aanmaakt; beetje vreemd en lijkt mij random gekozen. Kun je dit ergens instellen ofzo? Zo ja, kies dan 1000 als nummer; dat is de share user wat ook voor Samba gebruikt wordt.

[Sleepie]

Verwijderd schreef op donderdag 08 maart 2012 @ 23:47:
knip

Ik ben ook niet bang voor corrupte data ofzo, alleen de melding op de ZFSGuru page zou ik liever kwijt zijn, vandaar de vraag of er iets aan te doen was

cronjobs schedulen is inderdaad makkelijk en heb ik ook wel gedaan.

Is al lang geleden dat ik zoiets in het forum heb gepost, Jason had het toen over versie 0.2, maar ik denk dat het idee van de TaskManager zoals jij die noemt later is gekomen.
Ik kan wel zonder leven, maar ik vind status-info ondanks alle perfecte redundancy gewoon belangrijk (al is het maar om op tijd een vervangende disk te kunnen aanschaffen ofzo).

Met een moderne ZFSguru versie (0.2 beta's) kun je een filesystem aanmaken, waarna automatisch chmod 777 en chown 1000:1000 (user 'share' en group 'share'; voorheen had die de naam 'nfs').

Dus de vraag: werk je wel op een via de GUI-gemaakt filesystem? Zie ook de Files->Permissions pagina voor het resetten van permissies.

Verder zie ik dat ESXi de bestanden met userid 4294967294 aanmaakt; beetje vreemd en lijkt mij random gekozen. Kun je dit ergens instellen ofzo? Zo ja, kies dan 1000 als nummer; dat is de share user wat ook voor Samba gebruikt wordt.

Ja, de share is aangemaakt via de GUI. Echter draai ik wel de 0.19 versie (laatste stable).
En een File -> Permissions pagina zie ik helemaal niet?
De bewuste folder is van user 'nfs' en group 'nfs' (default dus). Alleen heb ik er een chmod 777 op gegeven omdat hij anders vanuit ESX niet writeable was.

Nope, het probleem van ESX is juist dat als je een datastore over NFS mount dit altijd als de (ESX)user 'root' wordt gedaan, met UID 0 (dat is in ieder geval wat ik heb kunnen vinden daarover).

[Verwijderd]

0.1.9 heeft dat inderdaad niet. Overigens kun je nu prima wachten, en pas upgraden zodra 0.2 final uit is.

Als ESXi root acces wilt, moet je opties meegeven om dat te enablen! Wellicht komt daar je rare userid door; omdat hij de root niet mag gebruiken. Dit los je op door:

zfs set sharenfs="-maproot=root" <filesystem>

Via de ZFSguru web-interface kan dit ook. Voordat je op 'share' knop drukt, vul je in het gele balkje in: -maproot=root en dan druk je op share.

[Sleepie]

Hmm, de eerste optie had ik geprobeerd, maar waarschijnlijk ergens een syntax-foutje gemaakt, want dat wilde niet werken.
De GUI optie is nieuw voor me, nooit geweten dat dit op deze manier kon

Er staat nu een VM te installeren, dus ik kan het nu even niet wijzigen, maar dit ga ik morgen zeker proberen.
Thanks!

edit:

Werkt perfect! De files zijn nu netjes van user 'root'

[ Voor 10% gewijzigd door Sleepie op 09-03-2012 02:51 ]

[Kriss1981]

Verwijderd schreef op vrijdag 09 maart 2012 @ 01:29:
0.1.9 heeft dat inderdaad niet. Overigens kun je nu prima wachten, en pas upgraden zodra 0.2 final uit is...

Kun jij ons vertellen wanneer je 0.2final verwacht?
Op het ZFSguru forum is het angstvallig stil.

[Verwijderd]

Nieuwe system image en virtualbox zijn al beschikbaar, maar nog niet aangekondigd. Weet niet wanneer hij dat wil doen. En 0.2 final? Ik denk dat eind deze maand realistisch is. Maar misschien al eerder. Voor mij niet meer zoveel werk in elk geval.

[Verwijderd]

Inmiddels heb ik een aantal systeempjes met ZFS Z2 draaien, allemaal FreeNAS op huis-tuin-en-keuken hardware. Werkt prima.

Maar door een hardware-akkefietje (defecte voeding) ben ik wel erg benieuwd geworden naar de "portabiliteit" van het opslag-deel van zo'n systeem.

Stel, de hardware (alles behalve de schijven zelf) heeft problemen en ik moet m'n harde schijven in een nieuw systeem gaan onderbrengen - kan dit straffeloos? Zijn er details waar ik op moet letten, zoals de SATA poortnummers matchen? Dat kan lastig worden als je gemixte aansluitingen hebt, zoals een paar op het moederbord, een paar op een HBA kaart, etc.

Of pikt FreeNAS de hele pool altijd wel weer op?

Ik hoop dat iemand hier ervaring mee heeft.

[ Voor 11% gewijzigd door Verwijderd op 11-03-2012 17:20 ]

[CurlyMo]

Verwijderd schreef op zondag 11 maart 2012 @ 17:11:
Inmiddels heb ik een aantal systeempjes met ZFS Z2 draaien, allemaal FreeNAS op huis-tuin-en-keuken hardware. Werkt prima.

Maar door een hardware-akkefietje (defecte voeding) ben ik wel erg benieuwd geworden naar de "portabiliteit" van het opslag-deel van zo'n systeem.

Stel, de hardware (alles behalve de schijven zelf) heeft problemen en ik moet m'n harde schijven in een nieuw systeem gaan onderbrengen - kan dit straffeloos? Zijn er details waar ik op moet letten, zoals de SATA poortnummers matchen? Dat kan lastig worden als je gemixte aansluitingen hebt, zoals een paar op het moederbord, een paar op een HBA kaart, etc.

Of pikt FreeNAS de hele pool altijd wel weer op?

Ik hoop dat iemand hier ervaring mee heeft.

Als al je schijven gewoon nog goed zijn, dan kan je in een ander systeem heel gemakkelijk je pool weer importeren. Dus het antwoord op je vraag is ja

[Verwijderd]

CurlyMo schreef op zondag 11 maart 2012 @ 17:43:
[...]
Als al je schijven gewoon nog goed zijn, dan kan je in een ander systeem heel gemakkelijk je pool weer importeren. Dus het antwoord op je vraag is ja

Dat is heel fijn om te weten, ik ben steeds gelukkiger met ZFS. Dank.

[ Voor 2% gewijzigd door _Dune_ op 26-03-2013 21:11 ]

[dylan0806]

hallo allemaal,

ik wil een zfs file server gaan maken maar zit nu te kijken naar de verschillende soorten.
nu mijn vraag zat zijn de verschillen tussen zfsguru en bijvoorbeeld mdadm.
ik wil vooral een raidz2 met 4 3TB harddisks.

[CurlyMo]

dylan0806 schreef op zondag 11 maart 2012 @ 22:43:
hallo allemaal,

ik wil een zfs file server gaan maken maar zit nu te kijken naar de verschillende soorten.
nu mijn vraag zat zijn de verschillen tussen zfsguru en bijvoorbeeld mdadm.
ik wil vooral een raidz2 met 4 3TB harddisks.

Je zegt een ZFS file server te willen maken. Het simpele antwoord is dan dat MDADM niks met ZFS te maken heeft dus misschien moet je je vraag verder toelichten.

[dylan0806]

CurlyMo schreef op zondag 11 maart 2012 @ 22:48:
[...]

Je zegt een ZFS file server te willen maken. Het simpele antwoord is dan dat MDADM niks met ZFS te maken heeft dus misschien moet je je vraag verder toelichten.

oh oke ik dacht altijd dat mdadm ook een soort zfs was.
ik zal denk dan nog maar een heel stuk meer research moeten doen.

[FireDrunk]

MDADM is de verzamelnaam voor alle kunsten die linux kan op het gebied van Software raid. De tool om dit te beheren heet MDADM. De logica zit in de kernel zelf.
Met ZFS zit je aan een hele andere kernel en dus een ander operating system. Je research zal dus vooral moeten uitwijzen wat voor jou de effecten zijn om te kiezen voor een ander OS.

[matty___]

Verwijderd schreef op zondag 11 maart 2012 @ 17:11:
Inmiddels heb ik een aantal systeempjes met ZFS Z2 draaien, allemaal FreeNAS op huis-tuin-en-keuken hardware. Werkt prima.

Maar door een hardware-akkefietje (defecte voeding) ben ik wel erg benieuwd geworden naar de "portabiliteit" van het opslag-deel van zo'n systeem.

Stel, de hardware (alles behalve de schijven zelf) heeft problemen en ik moet m'n harde schijven in een nieuw systeem gaan onderbrengen - kan dit straffeloos? Zijn er details waar ik op moet letten, zoals de SATA poortnummers matchen? Dat kan lastig worden als je gemixte aansluitingen hebt, zoals een paar op het moederbord, een paar op een HBA kaart, etc.

Of pikt FreeNAS de hele pool altijd wel weer op?

Ik hoop dat iemand hier ervaring mee heeft.

werkt super heb hier laatst ook alles gemigreerd naar een nieuwe server.
-op de oude server doe je zpool export <name>
- je verplaatst alle schijven. portnummering maakt niet uit omdat hij naar de uuid van de schijf kijk afik
- op de nieuwe server (als je in dmesg / camcontrol devlist ziet dat alle schrijven er zijn) zpool import <name> al dan niet met -f als die begint met zeuren over niet goed geexporteerde set.

en klaar is kees

[Tsurany]

Draai een FreeNAS 8 server als backup en deze geeft erg lage performance. Het is een systeem met 6x750GB aan hardeschijven in Raid-Z en met 2GB intern geheugen. Nu lees ik overal dat meer dan 2GB geheugen wordt aangeraden maar kijk ik bij reporting zie ik staan dat er 1,5GB geheugen vrij is. Dan lijkt het mij sterk dat ik meer dan 2GB geheugen zou moeten hebben toch?

[Ultraman]

Welke performance in traag? Read? Write? Beide?
Welk protocol gebruik je op de data over te zetten?

2GB RAM is inderdaad voor ZFS wat weinig, en zonder tuning wellicht traag. Met tuning kun je het mogelijk wel acceptabel krijgen.
Dat het geheugen ongebruikt blijft lijkt me incorrect. Mogelijk leest FreeNAS het als "niet in gebruik door applicaties", maar het wordt zeer waarschijnlijk wel gebruik voor de ARC.

Ik heb nog nooit FreeNAS gebruikt, dus hoe die web interface in elkaar steekt weet ik niet.

[ Voor 7% gewijzigd door Ultraman op 12-03-2012 11:52 ]

[Tsurany]

Beiden, maar read in het bijzonder. Ik gebruik hem om een Synology te backuppen via Rsync. Maar ook vanuit Windows testen levert slechte performance op, onder de 10Mbit.
Ik zie dat de netwerkbelasting niet boven de 60Mbit uit komt via de FreeNAS reporting functionaliteit als ik via Rsync de backup uit voer.
Ik verwacht geen zeer hoge performance maar ik zou graag zien dat ik op z'n minst 100Mbit kan halen zonder problemen. Het gaat om een backup van bijna 2TB en het duurt vrij lang om de initiële backup uit te voeren, al twee dagen mee bezig.

[matty___]

Tsurany schreef op maandag 12 maart 2012 @ 11:56:
Beiden, maar read in het bijzonder. Ik gebruik hem om een Synology te backuppen via Rsync. Maar ook vanuit Windows testen levert slechte performance op, onder de 10Mbit.
Ik zie dat de netwerkbelasting niet boven de 60Mbit uit komt via de FreeNAS reporting functionaliteit als ik via Rsync de backup uit voer.
Ik verwacht geen zeer hoge performance maar ik zou graag zien dat ik op z'n minst 100Mbit kan halen zonder problemen. Het gaat om een backup van bijna 2TB en het duurt vrij lang om de initiële backup uit te voeren, al twee dagen mee bezig.

test eens de performance van je zfs set. zou ook aan de samba instellingen of netwerkdriver kunnen liggen.

[Verwijderd]

Laat een CrystalDiskMark benchmark zien (1x 500MB).

En verder: hoe heb je de disks aangesloten; gebruik je PCI of andere ouderwetse interfaces? Daar is ZFS erg gevoelig voor. Geef ook eens complete specs van je setup.

[Tsurany]

Complete specs ken ik niet uit m'n hoofd, het systeem staat niet op mijn locatie dus deze achterhalen zal niet direct lukken.. Performance was wel een stuk beter dan destijds met een installatie van Server 2008 R2.
Schijven zijn standaard SATA schijven via een externe RAID controller. Processor is een Intel Xeon 2,8Ghz maar het type zou ik zo niet weten.

Hoe kan ik het beste de performance van de ZFS set testen? Heeft FreeNAS hier een utility voor?

Het is een oude fileserver die ik opnieuw heb ingesteld als ZFS systeem voor een onsite backup.

[Verwijderd]

Wat voor RAID controller? Dat is automatisch al verkeerd; want bij ZFS moet je HBA controllers gebruiken en absoluut geen RAID controllers. Sluit je schijven aan op je echte SATA controller: die van je chipset. En try again.

Benchmarken kun je met AS SSD of CrystalDiskMark doen op een gemapte netwerkschijf (rechts klikken op Samba-share->map network drive).

[ Voor 23% gewijzigd door Verwijderd op 12-03-2012 13:02 ]

[matty___]

Verwijderd schreef op maandag 12 maart 2012 @ 13:01:
Wat voor RAID controller? Dat is automatisch al verkeerd; want bij ZFS moet je HBA controllers gebruiken en absoluut geen RAID controllers. Sluit je schijven aan op je echte SATA controller: die van je chipset. En try again.

Benchmarken kun je met AS SSD of CrystalDiskMark doen op een gemapte netwerkschijf (rechts klikken op Samba-share->map network drive).

ik bedoel eigenlijk op de server en niet via netwerk.
gewoon stap voor stap omhoog werken.

open een ssh sessie en doe een dd van een groot bestand van je zfs set naar /dev/null

[Verwijderd]

Ja oke dat is synthetisch benchen. Je kunt ook beginnen bij de netwerkthroughput en andersom werken. Want uiteindelijk is je netwerkthroughput het doel; dus meer factoren dan alleen interne I/O performance.

Dus het kan allebei, je zult toch allebei willen testen. Met dd kan het zo:

# maak een nieuw bestand
dd if=/dev/zero of=/tank/filesystem/zero.000 bs=1m count=8000

# lezen
dd if=/tank/filesystem/zero.000 of=/dev/null bs=1m

Notes:
- check dd commando's 10 keer voordat je op enter drukt; de of= ofwel output device wordt naar geschreven; maak hier geen fouten mee
- verander de locatie /tank/filesystem/ naar waar jouw pool actief is.
- het filesystem mag geen compressie ingeschakeld hebben

Verder een zpool status en info over de controller is natuurlijk cruciaal.

[syl765]

Je zal het denk ik eerder in /etc/sysctl.conf moeten zoeken.
Netwerk performance is standaard niet echt geweldig op FreeNAS.
Zeker samba is geen hoogvlieger.

Gr
Johan

[FireDrunk]

Ik heb weer eens geprobeerd om VMXNET3 aan de praat te krijgen onder FreeBSD.
Is er iemand die dit al werkend heeft? Ik heb wat handleidingen gevonden die het werkend krijgen onder PfSense, maar dat is niet helemaal hetzelfde als plain FreeBSD9 voor mijn gevoel.

[matty___]

FireDrunk schreef op maandag 12 maart 2012 @ 13:21: PfSense, maar dat is niet helemaal hetzelfde als plain FreeBSD9 voor mijn gevoel.

en wat is er ander dan? Het is nog steeds Freebsd9 alleen met webgui en alleen het broodnodige voor firewall en wat er nog meer allemaal in zit. Is verder niet langzamer of sneller.
Alleen als in de handleiding staat dat je op tab x veld y moet aanpassen moet je wel weten waar dat aan de achterkant terecht komt

[ Voor 15% gewijzigd door matty___ op 12-03-2012 13:44 ]

[FireDrunk]

De handleiding die ik gevonden had was niet voor FreeBSD9 volgens mij, en veranderde keihard een aantal kernel modules. Ik weet niet echt of ik dat wil. Ik zoek meer een nette manier om het op te lossen.

Als jij zegt dat het niks voorsteld, doe ik het graag

[matty___]

FireDrunk schreef op maandag 12 maart 2012 @ 13:51:
De handleiding die ik gevonden had was niet voor FreeBSD9 volgens mij, en veranderde keihard een aantal kernel modules. Ik weet niet echt of ik dat wil. Ik zoek meer een nette manier om het op te lossen.

Als jij zegt dat het niks voorsteld, doe ik het graag

Proberen kost nix zolang het maar modules zijn. Maar als de handleiding niet voor fb9 is wordt het zeker lastiger.

heb je url van de handleiding ?

[ Voor 10% gewijzigd door matty___ op 12-03-2012 13:54 ]

[FireDrunk]

Ik heb de originele VMware tools al geinstalleerd, en open-vm-tools geprobeerd, maar van wat ik ervan begrijp zou je een vxn0 adapter moeten krijgen zodra het werkt (en je uiteraard je nic omgezet hebt). Maar ifconfig vxn0 levert nog altijd, invalid interface op.

(mijn kennis van FreeBSD reikt niet verder dan dat)

Als ik pciconf -lv doe, krijg ik keurig te zien VMware VMXNET3 Ethernet Adapter.

[Verwijderd]

Type gewoon ifconfig en kijk welke adapters zichtbaar zijn? Zie je daar je VMXNET adapter tussen staan?

[FireDrunk]

nope, maar in veel OS-en staan ongeconfigureerde adapters niet in ifconfig.

[ Voor 87% gewijzigd door FireDrunk op 12-03-2012 14:02 ]

[matty___]

FireDrunk schreef op maandag 12 maart 2012 @ 14:02:
nope, maar in veel OS-en staan ongeconfigureerde adapters niet in ifconfig.

heb je het kernel module van vmware geladen ?

$ kldstat

[Verwijderd]

Kun je de volgende data eens pastebinnen:

kldstat

ls /boot/kernel/vmx*

dmesg -> kopiëer info over vmxnet

Je hebt de vmtools enabled in /etc/rc.conf ?

[Tsurany]

8388608000 bytes transferred in 2676.598223 secs (3134056 bytes/sec)
Lijkt mij niet al te best, probleem is dus in het RAID-Z volume.

[matty___]

Tsurany schreef op maandag 12 maart 2012 @ 14:13:
8388608000 bytes transferred in 2676.598223 secs (3134056 bytes/sec)
Lijkt mij niet al te best, probleem is dus in het RAID-Z volume.

zpool status
en specs raid controller cq config ervan.

want nee het is niet heel veel

heb je wel bs=8k oid gebruikt bij dd? stond goed in voorbeeld

[ Voor 8% gewijzigd door matty___ op 12-03-2012 14:17 ]

[Tsurany]

Status is prima, volume is healthy en alle schijven zijn online. Specs van de raidcontroller zou ik zo niet durven geven, die heb ik niet bij de hand. Alle schijven zijn als losse schijf doorgegeven aan FreeNAS.
De controller presteerde prima onder dezelfde setup met Windows Server 2008 en een dynamic disk setup met RAID-5.

[matty___]

Tsurany schreef op maandag 12 maart 2012 @ 14:18:
Status is prima, volume is healthy en alle schijven zijn online. Specs van de raidcontroller zou ik zo niet durven geven, die heb ik niet bij de hand. Alle schijven zijn als losse schijf doorgegeven aan FreeNAS.
De controller presteerde prima onder dezelfde setup met Windows Server 2008 en een dynamic disk setup met RAID-5.

heb dinge als prefetch, compressie, dedup aanstaan?
en misschien nog wat rare cache settings in de raid bios.
achter de raidcontroller is te komen. dmesg uitvoeren (ergens in freenas kun je een command uitvoeren)

[ Voor 14% gewijzigd door matty___ op 12-03-2012 14:28 ]

[Tsurany]

Volgens mij heeft hij tijdens installatie aangegeven prefetch niet aan te zetten. Compressie heb ik al uitgezet, stond oorspronkelijk wel aan. Deduplicatie heb ik nooit aangezet, maar zie ook nergens de optie dus kan niet zo controleren of dat wel of niet aan staat.

[Verwijderd]

tsurany: we kunnen je pas goed helpen als je ons de informatie geeft waar we om vragen:
1. zpool status output, compleet
2. merk + type + interface van je RAID controller; je hebt hem gekocht dus zoek het op; of zoek in je kernel log welke controller je gebruikt
3. wat voor pool versie en systeem versie:
zpool get version <poolname>
sysctl vfs.zfs.version.spa

Andere informatie die nuttig kan zijn:
4. je voert een benchmark uit maar niet welke commando's je exact hebt uitgevoerd; svp volledige informatie dat is veel nuttiger!
5. je complete dmesg van /var/run/dmesg waarin alle hardware staat die werd herkend tijdens de boot
6. draai je 64-bit OS ofwel amd64?

De lange documenten kun je hebt beste op pastebin zetten.

[FireDrunk]

Verwijderd schreef op maandag 12 maart 2012 @ 14:10:
Kun je de volgende data eens pastebinnen:

kldstat

ls /boot/kernel/vmx*

dmesg -> kopiëer info over vmxnet

Je hebt de vmtools enabled in /etc/rc.conf ?

kldstat geeft geen vmxnet weer.
in /boot/kernel/ staat hij niet, hij staat in /boot/modules/

VMWare tools zelf start gewoon (en ESX ziet ook dat ze draaien en current zijn)

offtopic: Pastebinnen gaat lastig zonder netwerk (en dus geen putty)

[ Voor 17% gewijzigd door FireDrunk op 12-03-2012 14:37 ]

[Tsurany]

Zit trouwens ook nog een mirror array in van 2x500GB, die is net wat sneller:
8388608000 bytes transferred in 907.158228 secs (9247128 bytes/sec)

1:
pool: RAID-Z
state: ONLINE
scrub: none requested
config:

NAME STATE READ WRITE CKSUM
RAID-Z ONLINE 0 0 0
raidz1 ONLINE 0 0 0
aacd0p2 ONLINE 0 0 0
aacd1p2 ONLINE 0 0 0
aacd2p2 ONLINE 0 0 0
aacd3p2 ONLINE 0 0 0
aacd5p2 ONLINE 0 0 0
aacd6p2 ONLINE 0 0 0

errors: No known data errors

3.
NAME PROPERTY VALUE SOURCE
RAID-Z version 15 default
vfs.zfs.version.spa: 15

4. Commando dat jij mij gegeven hebt: dd if=/dev/zero of=/mnt/RAID-Z/zero.000 bs=1m count=8000

Punt 2 en 5 ga ik achteraan, kijken of ik dat kan vinden.

[matty___]

je kunt upgrade naar versie 28 maar ik denk niet dat daar het probleem zit.

ik zie aac als disk staan. kans is groot dat het een adaptec controller is

kun je ook een sysctl -a |grep aac posten?

want:

The aac driver provides support for the Adaptec AAC family of SCSI
Ultra2, Ultra160, and Ultra320, SATA and SAS RAID controllers.

Access to RAID containers is available via the /dev/aacd? device nodes.

[ Voor 85% gewijzigd door matty___ op 12-03-2012 14:46 ]

[Tsurany]

dmesg.boot http://pastebin.com/4akzBeME

sysctl -a |grep aac http://pastebin.com/ndASQ9N3

Adaptec SATA RAID 2020SA ZCR

[ Voor 14% gewijzigd door Tsurany op 12-03-2012 14:51 ]

[Verwijderd]

Hij kan niet upgraden want hij gebruikt een oude versie van ZFS. Ondersteunt FreeNAS nog geen ZFS v28? Die implementatie is vele malen beter dan de ZFS v15 implementatie in FreeBSD 8.2 vanilla. 8-STABLE heeft de veel betere v28 evenals 9.0.

Maar er moet meer aan de hand zijn, want die scores zijn extreem beroerd.

aacd = Adaptec® AdvancedRAID ja, maar welke adapter precies kan hij in de dmesg vinden zoals met "dmesg | grep aac".


En je kunt ook eens het volgende uitproberen. Voer deze opdrachten snel achter elkaar uit of zet het in een script en voer het uit:
dd if=/dev/aacd0 of=/dev/null bs=1m count=8000 &
dd if=/dev/aacd1 of=/dev/null bs=1m count=8000 &
dd if=/dev/aacd2 of=/dev/null bs=1m count=8000 &
dd if=/dev/aacd3 of=/dev/null bs=1m count=8000 &
dd if=/dev/aacd5 of=/dev/null bs=1m count=8000 &
dd if=/dev/aacd6 of=/dev/null bs=1m count=8000 &

De & aan het einde zorgt dat deze op de achtergrond draaien; je leest dan van alle hardeschijven tegelijk. ga dan eens met 'gstat' kijken hoe snel je schijven kunnen lezen, of wacht een aantal minuten totdat alle schijven klaar zijn met 8GB inlezen. Als je hier al lage scores krijgt, dan kan je controller gewoon niet voldoende bandbreedte leveren aan de disks.

[Verwijderd]

Je draait 32-bit

Je CPU kan misschien ook geen 64-bit aan? Het is een single core met hyperthreading; dat ruikt naar Netburst?

[ Voor 73% gewijzigd door Verwijderd op 12-03-2012 14:58 ]

[matty___]

Verwijderd schreef op maandag 12 maart 2012 @ 14:51:
Hij kan niet upgraden want hij gebruikt een oude versie van ZFS. Ondersteunt FreeNAS nog geen ZFS v28? Die implementatie is vele malen beter dan de ZFS v15 implementatie in FreeBSD 8.2 vanilla. 8-STABLE heeft de veel betere v28 evenals 9.0.

Maar er moet meer aan de hand zijn, want die scores zijn extreem beroerd.

aacd = Adaptec® AdvancedRAID ja, maar welke adapter precies kan hij in de dmesg vinden zoals met "dmesg | grep aac".

Adaptec SATA RAID 2020SA ZCR

[Tsurany]

Na het uitvoeren van gstat zie ik dan erg schommelende waardes van allemaal even op 200-400 tot allemaal rond de 80.000 kBps. Lijkt mij dat dit dan geen probleem van de controller is?

Welke CPU het precies is weet ik niet, wel een systeem dat zeker 4 jaar oud is. Informatie die ik er uit krijg is:
hw.machine: i386
hw.model: Intel(R) Xeon(TM) CPU 2.80GHz
hw.ncpu: 2
hw.machine_arch: i386

CPU: Intel(R) Xeon(TM) CPU 2.80GHz (2800.11-MHz 686-class CPU)
FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs
cpu0 (BSP): APIC ID: 0
cpu1 (AP/HT): APIC ID: 1
cpu0: <ACPI CPU> on acpi0
cpu1: <ACPI CPU> on acpi0
p4tcc0: <CPU Frequency Thermal Control> on cpu0
p4tcc1: <CPU Frequency Thermal Control> on cpu1
SMP: AP CPU #1 Launched!

[ Voor 60% gewijzigd door Tsurany op 12-03-2012 15:02 ]

[Verwijderd]

Als je 10-20 minuten wacht ofzo krijg je van elke disk output te zien in hetzelfde venster als je de commando's hebt uitgevoerd ( op de achtergrond).

gstat kun je dus het beste in een aparte terminal open zetten, zodat je dat gescheiden houdt. Bij gstat hoor je constante cijfers te zien bij leesacties van al je schijven. Deze horen constant te zijn met weinig tot geen fluctuaties, hoogstens op je systeemdisk (background I/O).

[matty___]

http://hardforum.com/show...=1036087062&postcount=236
http://hardforum.com/show...=1036087099&postcount=237

ik denk dat je niet de pass-through devices heb gebruikt voor zfs pool.

[Verwijderd]

FreeBSD/SMP: 1 package(s) x 1 core(s) x 2 HTT threads

1 core met hyperthreading dus. Maargoed 32-bit wil je niet draaien met ZFS tenzij je ECHT niet anders kan. Dus boot eens een 64-bit livecd ofzo; als je niet boot dan heb je geen 64-bit CPU.

[FireDrunk]

FREEBSD_TEST# kldload vmxnet3.ko
kldload: can't load vmxnet3.ko: Exec format error

Console:

KLD vmxnet3.ko: depends on kernel - not available or version mismatch.
linker_load_file: Unsupported file type

Klinkt als: Ik snap FreeBSD9 niet zo goed...

[ Voor 32% gewijzigd door FireDrunk op 12-03-2012 15:12 ]

[Tsurany]

De gstat waarden schommelen wel vrij regelmatig.

Resultaat:
~# 8000+0 records in
8000+0 records out
8388608000 bytes transferred in 130.863882 secs (64101782 bytes/sec)
8000+0 records in
8000+0 records out
8388608000 bytes transferred in 140.235829 secs (59817866 bytes/sec)
8000+0 records in
8000+0 records out
8388608000 bytes transferred in 164.908122 secs (50868374 bytes/sec)
8000+0 records in
8000+0 records out
8388608000 bytes transferred in 195.644960 secs (42876688 bytes/sec)
8000+0 records in
8000+0 records out
8388608000 bytes transferred in 215.302962 secs (38961879 bytes/sec)
8000+0 records in
8000+0 records out
8388608000 bytes transferred in 320.040123 secs (26211114 bytes/sec)

Geen idee of het een 64bit capable machine is. Het is een vrij oud systeem dat vroeger als filestation werdt gebruikt. Nu is hij overbodig omdat een Synology Rackstation ingezet is. Een Synology Diskstation gaat de offsite backup verzorgen. Deze machine was over en zou dan ideaal zijn voor een onsite backup, maar dan moet hij wel capabel presteren. Wellicht anders toch aansporen op een hardware upgrade.
Lastige is dat ik alles offsite doe, dan moet ik toch een half uur heen en een half uur terug rijden om te kijken of het een 64bit systeem is.

Wellicht anders ZFS laten vallen en iets anders nemen.

[Verwijderd]

@FireDrunk
Dat betekent dat die kernel module niet thuishoort op jouw systeem (kernel/world mismatch, of bijvoorbeeld 32-bit ipv 64-bit). Je moet kernel modules op je eigen systeem compileren, en daarvoor heb je kernel sources nodig die in sync zijn met je huidige systeem.

In veel gevallen heb je /usr/src nodig tijdens het installeren van een port, waarbij ter plekke iets wordt gecompileerd zoals een kernel module. Virtualbox werkt bijvoorbeeld zo. Dan is het wel noodzaak dat je /usr/src up-to-date is met de systeem versie die je draait.

[FireDrunk]

Heb ik allemaal. (ook Compat6x geinstalleerd.)

[Verwijderd]

@Tsurany:
Je draait nu in elk geval 32-bit, en ik vrees dat je een Netburst chip te pakken hebt dus in het Pentium 4 tijdperk; AMD lag destijds ver voor met de introductie van 64-bt, ingebouwde geheugencontroller en kort door de bocht was dat het AMD tijdperk, waarbij Intel chips verkocht die 3 keer duurder waren en nog trager ook. De hoogtij dagen dus voor AMD.

Als je geen 64-bit kunt draaien betekent dat enorm veel voor ZFS. Maar alle factoren tezamen zorgt denk ik voor je extreem slechte performance. Simpelweg vanaf je schijven lezen betekent dat één schijf 64MB/s doet terwijl de langzaamste 26MB/s doet. Het probleem is nu: voor ZFS RAID-Z geldt dan dat alle schijven 26MB/s doen. En dergelijke sync I/O zal op jouw controller waarschijnlijk nog veel trager zijn.

Je controller heeft misschien write-back ingeschakeld. Dat kun je eens uitschakelen (niet disk write-back maar volume write-back), en passthrough disks maken zoals FireDrunk zegt.

Maargoed, tussenconclusie is simpel: jouw systeem is eigenlijk ongeschikt voor ZFS:
1. te weinig geheugen
2. 32-bit
3. RAID controller en dus geen echte HBA

Alle drie zijn dodelijk voor ZFS; jij hebt alle drie. Jouw systeem zou met iets als 'UnRAID' veel beter presteren, omdat die maar één device tegelijk aanspreekt. Ook werkt dat prima met weinig geheugen.

Een goedkoop 100 euro Brazos systeem (mobo+cpu+geheugen) zou beter werken dan wat je nu hebt.

[Tsurany]

Zal dan eens over een alternatief gaan nadenken. ZFS is niet perse noodzakelijk maar leek mij een mooi systeem om in te zetten. Eens kijken wat dan de keuze gaat worden.
Of wellicht gewoon ZFS aanhouden en accepteren dat het wat langer gaat duren.

[dylan0806]

Het liefst zou ik een Linux versie hebben die minimaal 1 disk (liefst 2) kan verliezen en weer rebuilden. Een plex media server kan hosten, sickbeard en coachpotato, simpele ftp(s), website, back-up en misschien nog een VPN server op den duur.

[matty___]

dylan0806 schreef op dinsdag 13 maart 2012 @ 01:12:
Het liefst zou ik een Linux versie hebben die minimaal 1 disk (liefst 2) kan verliezen en weer rebuilden. Een plex media server kan hosten, sickbeard en coachpotato, simpele ftp(s), website, back-up en misschien nog een VPN server op den duur.

en waarom moet dat dan linux zijn?

[dylan0806]

Liefst zou ik zfs gebruiken aangezien it tegenwoordig goedkoper en beter (sneller, niet dezelfde raidcontroller nodig bij defect, open source) is.

[ Voor 31% gewijzigd door dylan0806 op 13-03-2012 18:32 ]

[matty___]

dylan0806 schreef op dinsdag 13 maart 2012 @ 18:31:
Liefst zou ik zfs gebruiken aangezien it tegenwoordig goedkoper en beter (sneller, niet dezelfde raidcontroller nodig bij defect, open source) is.

op de plex server na kun je alles met freebsd.

[dylan0806]

Klopt ik heb ook genoeg geëxperimenteerd met de vorige freenas versie alleen die plex media server is eigenlijk een must aangezien ik het gebruik voor al me films en series (en dat zijn er heel wat, vooral het door series bladeren is handig icm sickbeard). Of mix dat ik overstap naar Xbmc ook omdat ik van plan ben om een rasberry pi beta te kopen.

[FireDrunk]

Eindelijk wat concrete benchmarks met ZFS op mijn server.
VM met 8GB geheugen en 8 Cores toegewezen.
4*2TB Disks via RDM in RAID10
Schrijven zou van mij wel wat sneller mogen. SLOG & ZIL komen er nog wel bij denk ik. Eerst maar eens met NFS / SMB aan de slag.

LiveCD

ZFSguru 0.2.0-beta5 pool benchmark
Pool            : MirrorA (3.62T, 0% full)
Test size       : 64 GiB
Data source     : /dev/zero
Read throughput : 271.4 MB/s = 258.8 MiB/s
Write throughput: 87.1 MB/s = 83.1 MiB/s

Geinstalleerd op de pool met beetje tuning.

ZFSguru 0.2.0-beta5 pool benchmark
Pool            : MirrorA (3.62T, 0% full)
Test size       : 64 GiB
Data source     : /dev/zero
Read throughput : 300 MB/s = 286.1 MiB/s
Write throughput: 119.9 MB/s = 114.4 MiB/s

[ Voor 41% gewijzigd door FireDrunk op 14-03-2012 00:11 ]

[Verwijderd]

code:

2012 Mar 13 17:10:12 XXXXpool 647 MB 37742 I/O
2012 Mar 13 17:06:35 XXXXpool 501 MB 29619 I/O
2012 Mar 13 16:04:18 XXXXpool 82 MB 2206 I/O
2012 Mar 13 16:04:33 XXXXpool 1084 MB 61921 I/O
2012 Mar 13 16:09:37 XXXXpool 117 MB 6865 I/O
2012 Mar 13 16:09:01 XXXXpool 506 MB 28263 I/O