Het grote ZFS topic

[Xudonax]

Dat het enkel voor nieuwe data van toepassing is weet ik Moet zeggen dat ZFS best lekker omgaat met het aanpassen van de compressie tijdens een schrijfactie. En waar het backuppen met Time Machine vanaf mijn MBP een hoge systemload opleverde, is dat bij het herstellen van die backup absoluut niet het geval.

Ik denk dat ik de compressie gewoon op lzjb zet voor het Time Machine volume en even alles kopieër zometeen. Ter vergelijking, met het backuppen had ik een schrijfsnelheid van hooguit 50MiB/s, herstellen doe ik op dit moment op 80MiB/s. Niet verkeerd

[analog_]

Xudonax schreef op donderdag 27 december 2012 @ 19:02:
Dat het enkel voor nieuwe data van toepassing is weet ik Moet zeggen dat ZFS best lekker omgaat met het aanpassen van de compressie tijdens een schrijfactie. En waar het backuppen met Time Machine vanaf mijn MBP een hoge systemload opleverde, is dat bij het herstellen van die backup absoluut niet het geval.

Ik denk dat ik de compressie gewoon op lzjb zet voor het Time Machine volume en even alles kopieër zometeen. Ter vergelijking, met het backuppen had ik een schrijfsnelheid van hooguit 50MiB/s, herstellen doe ik op dit moment op 80MiB/s. Niet verkeerd

Je moet je dan denk ik vooral de vraag stellen of de bespaarde ruimte met compressie dat waard is (performance, verhoogde energie rekening). Uiteindelijk maakt de load vanuit een gebruikersperspectief weinig uit, zolang het nog redelijk presteert.

Naar aanleiding van hieronder: Archivering volumes zijn nog de beste candidates en backups, dus zo gek is het niet. (WORM, of omgevingen waarbij write<read acties).

Vraag me eigenlijk af of ZFS compressie geoptimaliseerd kan worden naar specifieke SSD compressie implementaties. Een dedicated stack is vrijwel altijd performanter dan een agnostische. In andere woorden: de data post-compressie is geoptimaliseerd voor de compressie gebruikt in de onderliggende hardware compressie (zover ik weet enkel SSDs). De truc zou de compressie offloaden naar SSDs zijn.

[ Voor 21% gewijzigd door analog_ op 27-12-2012 19:27 ]

[Verwijderd]

Ik gebruik zelf alleen compressie daar waar het voordeel oplevert. Je OS kun je prima met lzjb comprimeren. Een 'documents' filesystem met vooral tekstdingen en logbestanden zijn altijd goed om te comprimeren. Maar in andere gevallen heb ik liever performance ipv 5 tot 15% meer ruimteopslag.

[Xudonax]

Mja, er ligt een niet al te voorzichtige Xeon in deze bak, dus dan offer ik graag een beetje CPU tijd op om opslag te besparen. Zeker aangezien de machine verder niet héél erg veel hoeft te doen. Als ik met minimale moeite een beetje ruimte kan besparen is dat toch altijd leuk

Ik ben nu even aan het kijken wat het resultaat is van de verschillende compressie niveaus, ik zal even wat laten weten als ik wat resultaten heb

[Compizfox]

Ik gebruik LZJB-compressie en dat werkt goed. Geen hoge load of zo.

Ik heb ook even dedup aangehad, maar dat had enkel negatieve invloed op prestaties.

[analog_]

Kan je een data set maken (of drie, office data, os, media data) en dan de verschillen eens meten met de verschillende settings en in tabel vorm gieten? Zou erg interessant zijn en iets voor de topic start.

[Xudonax]

Media data heb ik (paar honderd GB aan videos), OS zou ik kunnen doen in de vorm van m'n backups, alleen office zou lastiger gaan. Ik heb namelijk verdraaid weinig daarmee te maken om heel eerlijk te zijn

[Waking_The_Dead]

Weet iemand of er plannen zijn om verticale expansie van RAID-Z arrays te ondersteunen in toekomstige versies? Dat is toch wel een feature die ik mis in mijn huidige NAS.

Momenteel heb ik een RAID-Z2 array bestaande uit 4*3TB + 2*2TB. Hierdoor blijft er van die 4*3TB in totaal 4TB onbenut. Met verticale expansie zou hier nog 2TB netto van gemaakt kunnen worden.

[Verwijderd]

Verticale expansie (uitbreiden met extra vdevs) is er al sinds ZFS versie 1. Je bedoelt horizontale expansie; het uitbreiden van en bestaande vdev met één of meer disks. Dat is ook geimplementeerd voor single disks en mirrors. Alleen RAID-Z familie ondersteunt dit niet.

Binnen een RAID-Z vdevs moet je om performanceredenen ook geen verschillende schijven mixen. Er is geen enkel RAID-level wat hier meer last van ondervindt dan RAID-Z en RAID3.

Lees het verhaal in de startpost maar eens over ZFS expansie. Ja, wellicht ooit over 3 tot 5 jaar dat de block pointer rewrite daadwerkelijk geimplementeerd en bruikbaar is, maar ik zeg ga daar niet je geld op wedden. Sowieso is de ouderwetse gedachte van (gevaarlijke) expansion ouderwets. Als je gevaarlijk wilt expanden heb je sowieso een volledige backup nodig van je data. Als je dat toch al hebt, heb je ook niet persé expansion nodig. Kortom, met het wijzigen van je eigen denkwijze boek je mijns inziens de meeste winst. Het grootste probleem is denk ik dat mensen met 'ouderwetse ogen' naar ZFS kijken, terwijl je juist de voordelen moet zien. Neemt niet weg dat block pointer rewrite een mooie feature zou zijn voor ZFS; maar zal ook zeker nadelen kennen en een dergelijk fundamentele wijziging is zeker risicovol.

[vso]

@CiPHER

Voor een budget van 500,- welke hardware zou jij adviseren voor ZFS NAS ? Disks hoeven niet in het budget te zitten. Wat ik nodig heb is minimum 4TB storage verspreid over 4 disks, ik dacht het zo te verdelen (uitgaande van 4tb)
- 500GB (deduped, misschien compression?)
- 60 GB (extra veilig)
- 3,5 (of meer) "gewone storage"
2x SSD, ik dacht aan een Msata voor ZIL (32gb) en 250GB voor cache / L2ARC

De dedupe gaat voor mijn VM's die per stuk een 60GB ISCSI lap krijgen, werkelijke "inhoud" is 30gb per disk (win7, Win2k8 of Win2012) ik schat in dat ik 60GB tot 80gb overhoud na dedupe .. dit omdat zoiezo alle "data" die imho niet compressed/deduped hoeft te worden al op een aparte ISCSI lap gaat staan.

Als OS boot, hoop ik USB stick(s) in te kunnen zetten of als het mobo het aan kan SSD.

zelf zat ik aan een mini-itx board te denken, met laptop disks (voornamelijk low power consumption) maar wel performance. Waar ik vermoed het probleem zit en dus je vraag is het aantal disks wat ik aan kan sluiten + netwerk performance.
Gezien een eerdere discussie (tijden terug) was het probleem dat een het probleem een "add-on" kaart om meer sata aansluitingen te voorzien (raid kaart met it-admin mode ofzo). of multipliers gebruiken vraag me af of dat nog steeds het probleem is.

[ Voor 0% gewijzigd door vso op 28-12-2012 21:35 . Reden: multipliers toegevoegd ]

[matty___]

wil je deduppen heb je veel ram nodig. kan het boardje dat aan?

[Waking_The_Dead]

Verwijderd schreef op vrijdag 28 december 2012 @ 17:02:
Verticale expansie (uitbreiden met extra vdevs) is er al sinds ZFS versie 1. Je bedoelt horizontale expansie; het uitbreiden van en bestaande vdev met één of meer disks. Dat is ook geimplementeerd voor single disks en mirrors. Alleen RAID-Z familie ondersteunt dit niet.

Binnen een RAID-Z vdevs moet je om performanceredenen ook geen verschillende schijven mixen. Er is geen enkel RAID-level wat hier meer last van ondervindt dan RAID-Z en RAID3.

Lees het verhaal in de startpost maar eens over ZFS expansie. Ja, wellicht ooit over 3 tot 5 jaar dat de block pointer rewrite daadwerkelijk geimplementeerd en bruikbaar is, maar ik zeg ga daar niet je geld op wedden. Sowieso is de ouderwetse gedachte van (gevaarlijke) expansion ouderwets. Als je gevaarlijk wilt expanden heb je sowieso een volledige backup nodig van je data. Als je dat toch al hebt, heb je ook niet persé expansion nodig. Kortom, met het wijzigen van je eigen denkwijze boek je mijns inziens de meeste winst. Het grootste probleem is denk ik dat mensen met 'ouderwetse ogen' naar ZFS kijken, terwijl je juist de voordelen moet zien. Neemt niet weg dat block pointer rewrite een mooie feature zou zijn voor ZFS; maar zal ook zeker nadelen kennen en een dergelijk fundamentele wijziging is zeker risicovol.

Neen, toch niet. Ik bedoel niet "horizontale expansie" want ik wil geen bijkomende schijven toevoegen.
Ik heb 6 schijven waarvan de kleinste capaciteit bepalend is voor mijn totale opslag: 4*3TB + 2*2TB.
2TB is hier de kleinste opslag, dus effectief kan ik 6*2TB in RAID-Z2 zetten, wat mij theoretisch 8TB geeft.
Dit betekent dat er op die 4*3TB telkens 1TB onbenut blijft, zolang ik die 2TB schijven niet vervang door 3TB schijven. Wat ik bedoel, is dat die 4*1TB die onbenut blijft, als RAID-Z2 configuratie aan mijn bestaande opslag wordt toegevoegd: 2TB netto erbij dus.
En dat is toch niet mogelijk? Of wel soms?

[FireDrunk]

dmv partities kan je toch gewoon meerdere VDEV's maken?
(mocht je dat nog niet hebben, kan je zelfs online migreren...)
Trek 1 disk offline, partitioneer hem, en voeg hem weer toe.
Resilveren, en klaar.

[ Voor 57% gewijzigd door FireDrunk op 28-12-2012 22:55 ]

[Waking_The_Dead]

FireDrunk schreef op vrijdag 28 december 2012 @ 22:54:
dmv partities kan je toch gewoon meerdere VDEV's maken?
(mocht je dat nog niet hebben, kan je zelfs online migreren...)
Trek 1 disk offline, partitioneer hem, en voeg hem weer toe.
Resilveren, en klaar.

Maar dan heb je meerdere VDEV's en dat wil ik niet.... denk ik toch. Of ik snap niet goed wat VDEV's juist zijn.
Als ik die twee 2TB schijven vervang door 3TB schijven, dan heb ik na resilveren 12TB netto in 1 VDEV.
Blijft mijn opslagruimte nog 1 "virtuele eenheid" met meerdere VDEV's?

[Xudonax]

Voor zover ik begrijp wel. Eén pool (mountpoint) bestaat uit minstens één vdev (collectie schijven/partities). Dat is tenminste hoe ik het begrijp.

[FireDrunk]

Als je die VDEV's weer aan je pool toevoegd heb je alle ruimte in 1 filesystem.
Nadeel is wel de performance, want je hebt dan 2 vdev's op 1 disk.

Beetje als het hebben van RAID0 op 2 partities op dezelfde disk. Nogal crap voor de performance.

[Waking_The_Dead]

Interessant, maar misschien niet op lange termijn.
Mijn idee was, aangezien ik ruimte heb voor maximaal 6 schijven. om te beginnen met 6 schijven van 1TB in RAID-Z2 en de schijven een na een te vervangen door grotere wanneer ik meer ruimte nodig heb. Ondertussen heb ik dus alle schijven minstens 1 keer vervangen en heb ik nu dubbel zoveel opslag dan toen ik begonnen ben.
Maar als ik nu met partities zou werken volgens deze methode, zit ik binnen een paar jaar met 6 schijven van pakweg 5TB waar 4 VDEV's over verdeeld staan. Niet echt ideel dus.

[FireDrunk]

Klopt, dat is een van de weinig scenario' waarin ZFS niet echt handig is.
Enige oplossing is dan om bijvoorbeeld je data tijdelijk bij iemand anders te stallen, en/of een groter aantal disken initieel te kopen om mee te upgraden.

Mocht je array echt heel vol zijn kan je natuurlijk een mirror van 3TB schijven ernaast zetten, dat is ook veilig, en daar kan je dan bijna al je data op kwijt... Je kan er later dan niet zo makkelijk een RAIDZ2 array van maken.

[edmanh]

Hallo,

Net een systeem in elkaar gezet en probeer nu ZSF Guru er op te zetten.
Ik heb de laatste 2 versies geprobeert en krijg telkens dezelfde fout.

De boot cd werkt tot het ZSF Guru scherm. dan staat er press any key too continue, waarna ik de melding krijg "cd ready got error 0x5 trying to mount root from ufs:/dev/ MP) []..."

Weet iemand wat dit kan zijn?

[Verwijderd]

Heeft je systeem 1.5GB RAM of hoger? Weet je zeker dat je cd in orde is?

[EnerQi]

Wegens problemen met sabnzbd, heb ik besloten om zfsguru opnieuw te installeren. Deze installatie staat op een externe harde schijf dus mijn data blijft behouden. Allereerst heb ik via windows 7 de (niet leesbare) partities weggegooid op de schijf, blijkbaar stond er maar 1 partitie op.

Vervolgens zfsguru beta 8 geladen in VM virtual box (oracle) en de setup doorlopen. Er waren geen oude pools aanwezig dus maakte ik er een aan, namelijk "BootZFS" (de vorige pool was hetzelfde) en de setup "root-on-ZFS" doorlopen.

In de onderstaande qoute staat: cannot create 'BootZFS/zfsguru': dataset already exists

Is de 'schone' installatie nu gelukt of moet ik 'm opnieuw installeren onder een andere naam. Of wat is de manier om ervoor te zorgen dat de schijf leeg IS. Formateren als NTFS/fat32 en vervolgens via ZFSguru de installatie doen (zodat ie opnieuw overschreven wordt)?

* Verifying system image
* Verifying system image MD5 checksum
* Verifying system image SHA1 checksum
* Creating ZFS filesystems
cannot create 'BootZFS/zfsguru': dataset already exists
* Mounting system image
* Installing ZFSguru system image
* Activating boot filesystem
* Writing distribution file /BootZFS/zfsguru/9.1-004/zfsguru.dist
* Copying system configuration files
* Creating new fstab on boot filesystem:
BootZFS/zfsguru/9.1-004 / zfs rw 0 0
BootZFS/zfsguru/9.1-004/usr /usr zfs rw 0 0
BootZFS/zfsguru/9.1-004/var /var zfs rw 0 0
BootZFS/zfsguru/9.1-004/var/log /var/log zfs rw 0 0
* Copying ZFSguru web interface
* Copying system image (optional)
* Unmounting boot filesystem
* Setting legacy mountpoint on BootZFS/zfsguru/9.1-004

*** Done! *** Reboot system now and boot from any of the pool members

[FireDrunk]

Als je de pool destroyed, en je forceert daarna het maken van een nieuwe pool met een andere naam, zou alles in principe overschreven moeten zijn.

(maar zelfs dan kan het zijn dat ZFSguru zegt dat er nog pools aanwezig zijn, maar die zijn niet te repareren. Dat komt omdat ZFS metadata redundant opgeslagen word)

[ Voor 36% gewijzigd door FireDrunk op 29-12-2012 12:03 ]

[edmanh]

Verwijderd schreef op zaterdag 29 december 2012 @ 03:39:
Heeft je systeem 1.5GB RAM of hoger? Weet je zeker dat je cd in orde is?

Ja, dat heeft het.
ZFSGuru maakt toch zelf partities aan of niet.
Ik heb er nu 3 2Gb HDD's in zitten recht uit de verpakking en een SSD voor systeem.
Deze is gebruikt, maar ik heb alle partiies er af gegooid met diskpart (clean)

Daarnaast heb ik de 3 HDD op SATA 0,1,2 gezet 3,4,5, zijn reserve op 6 zit de systeemschijf en op 7 de dvd speler.
Ik weet niet of dit nog wat maakt.

[FireDrunk]

2Gb schijven? Ik wist niet dat er nog 512MB harde schijven verkocht werden?

Staat je BIOS op UEFI of op Legacy? (probeer anders eens te switchen)

[edmanh]

FireDrunk schreef op zaterdag 29 december 2012 @ 12:50:
2Gb schijven? Ik wist niet dat er nog 512MB harde schijven verkocht werden?

Staat je BIOS op UEFI of op Legacy? (probeer anders eens te switchen)

2 Tb sorry

Bios staat op beide.... Zal een wat proberen te switchen.

[Compizfox]

2 Terabit (==250 GB)?
[/mierenneukmodus]

[Compizfox]

ebia schreef op maandag 24 december 2012 @ 09:36:
[...]
Meten is weten. Wat ik tot nu toe heb gezien van NFS op het specifieke platform wat ik gebruik, kun je toch wel stellen dat CIFS gewoon sneller is.

Kies je voor een native OS; dus in geval van CIFS Windows Server met Windows clients, en in geval van NFS unix server met unix clients, dan denk ik dat je met een moderne computer altijd die gigabit lijn kan voltrekken tegenwoordig.

Buiten de performance zitten beiden ook anders in elkaar, wat komt met voor- en nadelen voor elk protocol. Denk aan de 'simpele' (maar soms iet wat beperkte) rechten onder Unix vs de uitgebreide structuur binnen Windows. Denk aan case sensitive binnen unix, hetgeen je ook moet afhandelen op je centrale storage, hetgeen weer kan leiden tot ongemakken binnen Windows als beide platforms van dezelfde data gebruik maken. Denk aan het gebruik van een AD of juist van een NIS (en of je één van die 2 al hebt) voor gecentraliseerd management. Etc, etc.

Het heb het zojuist getest en moet concluderen dat je gelijk hebt. Ik dacht altijd dat NFS veel minder overhead had en daardoor sneller zou moeten zijn.

Bestand kopiëren van Windows 7-bak naar ZFS-guru:
NFS: max 30 MB/s
SMB/CIFS: max 75 MB/s

Misschien dat er nog wat te tweaken valt aan NFS? Ik vind de verschillen nogal abnormaal groot namelijk.

[edmanh]

Net geprobeerd te installeren, deze geeft dezelfde foutmelding, gaat daarna gewoon door en werkt prima.

Leuk, maar ik heb toch de voorkeur voor ZFSGuru om de overwegend positieve reacties op dit forum.

[FireDrunk]

@Edmanh, kun je je hele setup eens posten? Misschien missen we iets.

====

Mijn nieuwste aanwinst!



Worden ZIL & L2ARC

[edmanh]

Het is gelukt...Vraag mij niet hoe, maar ZFSGuru werkt nu.
Heb alleen nog een herhalende error bij opstarten "hwpstate0: set freq failed, err 6"

Heb de oplossing al gevonden, maar moet regels toevoegen aan het loader.conf file.
Kan iemand mij vertellen hoe dit moet?

@firedrunk mooie aanwinst. zet mijn systeem van de week op het forum.

Ik had het idee om een deel van mijn ssd (die ik voor syteem gebruik) als L2ARC te gebruiken, maar dat kan blijkbaar niet.

[FireDrunk]

Over die loader.conf, gewoon met 'ee' of 'nano' de file wijzigen en dan rebooten.
Over L2ARC, dat kan wel, alleen moet je daar een losse partitie voor maken.

[Verwijderd]

Na installatie van ZFSguru kun je met SSH inloggen (zie Services->Internal->OpenSSH) en dan de loader.conf editen:

ee /boot/loader.conf

als je klaar bent met editen druk je op Escape en Enter.

Voor SSD met meerdere taken wil je partities gebruiken. Gebruik de partition map editor op de disks pagina om je partities opnieuw in te delen. Hou hierbij ook rekening met overprovisioning - dus een gedeelte laat je ongepartitioneerd. Een TRIM erase over het hele oppervlakte is aanbevolen. Dan begin je weer lekker vers.

[ Voor 45% gewijzigd door Verwijderd op 29-12-2012 22:19 ]

[edmanh]

THANX CiPHER!

Het is gelukt met de partities.
Moest even aan de innderface van ZSTGuru wennen, maar alles werkt als een trein nu.

Ik heb het config bestand toch niet aan hoeveen te passen.
Alleen de processor wat teruggeschroefd en de turbo mode uit geschakeld en de foutmelding was weg.

[FireDrunk]

Bah, ik had het idee om NAS4Free eens een kans te geven en te vergelijken met ZFSguru, maar helaas is dat weer geen optie.

NAS4Free bied geen enkele mogelijkheid voor Virtualisatie.
Als oplossing dacht ik ESXi weer te installeren, en NAS4Free te virtualiseren.

Maar dat kan ook weer niet, want ik vertrouw RDM's niet. En hoewel mijn moederbord (en CPU) VT-d ondersteunen, heb ik disks op de onboard controller zitten...

Blijft allemaal lastig

[edmanh]

Weet iemand of, en hoe phpMyAdmin al werkt op ZFSGuru. Heb MySQL geinstalleerd en weet verder niet wat te doen.

[FireDrunk]

Waarom zou het niet werken?

[edmanh]

Ik weet niet hoe ik op de phpMyAdmin pagina kom.

[FireDrunk]

ZFSguru luistert met lighttpd al op poort 80.
Als je Apache installeeert moet je die op een andere poort draaien (of die van lighttpd wijzigen)
Als je daarna phpMyAdmin installeert in Apache kan je er bij.

Als je phpMyAdmin in de Lightttpd installatie wil draaien van ZFSguru zul je een virtual host moeten aanmaken in de config van Lightttpd denk ik.

[edmanh]

Gaat lekker

Ik probeer Apache te instaleren en deze geeft "ERROR:downloaded file size (8894464) does not match expected size (8887808). " aan.

Gelezen de Tar file in de .tmp directory te verwijderen via SSH, maar ik krijg een no permission error.
Iemand?

[RudolfR]

root-user worden met su?

[Compizfox]

Momenteel heb ik in ESXi mijn schijven aan ZFSGuru doorgegeven dmv een virtual RDM.

Het grote probleem hiervan is dat zowel ESXi als ZFSGuru mijn schijven niet kunnen downspinnen.

Hiervoor had ik het geprobeerd met een physical RDM (passtru), maar hiermee krijg ik de bekende "unsupportable block size 0"-error.

Dit had te maken met de drivers van de geemuleerde SCSI-controller, toch? Ik heb ondertussen de VMWare Tools geinstalleerd. Zou dat een verschil kunnen maken? Of zou ik de Paravirtual controller kunnen proberen?

Iemand hier ervaring mee?

[jacovn]

Ik denk over te gaan naar een Nas4free oplossing met ZFS.

Na me wat ingelezen te hebben blijf ik nog met een vraag zitten.

Als ik in een pool meerdere vdevs maak dit uit verschillende hdd's bestaan: bijvoorbeeld 10x2 TB en 10x1 TB als RaidZ2 is dat dan een goede oplossing ?

Dit kan volgens de documentatie van ZFS die ik gelezen heb, maar posts op het nas4free forum gaven aan beter een 2e pool te maken.

Ik wil het liefst 1 pool met 1 share voor mijn media speler, en dacht gewoon met 1 vdev te starten, data van mijn unraid server te copieren en dan die lege hdd's weer in een nieuwe vdev te stoppen. Dit moet dan toch gewoon bij de pool komen ?

[EnerQi]

jacovn schreef op maandag 31 december 2012 @ 11:11:
Als ik in een pool meerdere vdevs maak dit uit verschillende hdd's bestaan: bijvoorbeeld 10x2 TB en 10x1 TB als RaidZ2 is dat dan een goede oplossing ?

Dit kan volgens de documentatie van ZFS die ik gelezen heb, maar posts op het nas4free forum gaven aan beter een 2e pool te maken.

Ik wil het liefst 1 pool met 1 share voor mijn media speler, en dacht gewoon met 1 vdev te starten, data van mijn unraid server te copieren en dan die lege hdd's weer in een nieuwe vdev te stoppen. Dit moet dan toch gewoon bij de pool komen ?

Een "Pool" is kan meerdere vdevs bevatten (2x RaidZ2 zoals je aangeeft) en een "Pool" share je, niet een vdev. Test overigens eerst met lege disks het groter maken van de pool (2 kleine RaidZ1 bijvoorbeeld). Als je de instellingen fout aangeeft, krijg je Raid 0 ipv de bescherming van RaidZ2. Lullig als je dan alsnog je data ergens moet neerzetten om het te corrigeren.

[FireDrunk]

Compizfox schreef op zondag 30 december 2012 @ 22:11:
Momenteel heb ik in ESXi mijn schijven aan ZFSGuru doorgegeven dmv een virtual RDM.

Het grote probleem hiervan is dat zowel ESXi als ZFSGuru mijn schijven niet kunnen downspinnen.

Hiervoor had ik het geprobeerd met een physical RDM (passtru), maar hiermee krijg ik de bekende "unsupportable block size 0"-error.

Dit had te maken met de drivers van de geemuleerde SCSI-controller, toch? Ik heb ondertussen de VMWare Tools geinstalleerd. Zou dat een verschil kunnen maken? Of zou ik de Paravirtual controller kunnen proberen?

Iemand hier ervaring mee?

Ik heb wel diezelfde problemen gehad, dat leek aan de nieuwe FreeBSD 9.x versie te liggen, maar dat komt waarschijnlijk weer omdat daar de nieuwe MPT SAS drivers in zitten. Hoewel deze door de test labs van LSI tot stable benoemd zijn, lijkt daar toch nog iets niet goed te zijn met de VMware LSI controller.

Waar overal in de FreeBSD fora over gepraat word, is dat je moet zorgen dat de Firmware versie van je controller nieuw genoeg moet zijn om met deze drivers te kunnen werken.

Laat de controller van VMware nou net een tikkie achter liggen qua FIRMware... Hierdoor heeft zelfs het installeren van VMware tools geen zin, want dat is alleen maar de driver, en niet de firmware van de controller.

PVSCSI werkt voor zover ik weet niet onder FreeBSD, hoewel ik het nog eens kan proberen.
Mocht je het zelf werkend hebben gekregen, probeer dan graag eens met Physical RDM te spelen, als dat werkt, ga ik het namelijk zelf ook draaien

(mocht je hulp nodig hebben bij het installeren / compilen, stuur maar een DM)

Net zelf even geprobeerd en gekeken, maar er is (in de hele source tree van VMware) geen PVSCSI driver te vinden. VMXNET3 werkt wel, maar niet met de ZFSguru VMware Tools versie.

@CiPHER, wist je dat al?

@Jaconv
20 disks in 1 pool verdeeld over meerdere VDEV's kan inderdaad wel, maar is wel veel.
Om 1 klein bestandje op te vragen van ~1MB moeten alle disks iets doen.
Stroomtechnisch zou het beter zijn als je minder VDEV's en minder pools maakt waardoor disks standby kunnen blijven.

Ik denk dat je beter 4 pools zou kunnen maken met elk hun eigen doel ( en misschien zelfs wel hun eigen veiligheids niveau). Dat kan je in the long run, veel stroom besparen.

Performance technisch is 2 RAIDZ2 array's van 10 disken wel het snelst denk ik.
(Op allemaal mirrors na, maar dat wil je denk ik niet)

[ Voor 67% gewijzigd door FireDrunk op 31-12-2012 16:03 ]

[jacovn]

EnerQi schreef op maandag 31 december 2012 @ 14:05:
[...]


Een "Pool" is kan meerdere vdevs bevatten (2x RaidZ2 zoals je aangeeft) en een "Pool" share je, niet een vdev. Test overigens eerst met lege disks het groter maken van de pool (2 kleine RaidZ1 bijvoorbeeld). Als je de instellingen fout aangeeft, krijg je Raid 0 ipv de bescherming van RaidZ2. Lullig als je dan alsnog je data ergens moet neerzetten om het te corrigeren.

Ik heb een test opstelling gemaakt met een 5 disc raidz, die doet het goed. Ik moet er dan een m1015 bij zetten om nog een vdev aan te maken. Wel een goed idee. Ik ben hdds uit mijn unraid opstelling vrij aan het maken, dus dat moet wel lukken.

Ik heb al een keer 40 tb overgezet, dat moet nu nog een keer, maar wel liefst in 1 x goed..

[jacovn]

FireDrunk schreef op maandag 31 december 2012 @ 15:11
@Jaconv
20 disks in 1 pool verdeeld over meerdere VDEV's kan inderdaad wel, maar is wel veel.
Om 1 klein bestandje op te vragen van ~1MB moeten alle disks iets doen.
Stroomtechnisch zou het beter zijn als je minder VDEV's en minder pools maakt waardoor disks standby kunnen blijven.

Ik denk dat je beter 4 pools zou kunnen maken met elk hun eigen doel ( en misschien zelfs wel hun eigen veiligheids niveau). Dat kan je in the long run, veel stroom besparen.

Performance technisch is 2 RAIDZ2 array's van 10 disken wel het snelst denk ik.
(Op allemaal mirrors na, maar dat wil je denk ik niet)

Het is alleen voor blu ray rips, daar zijn wel kleine bestanden bij, maar het meerendeel is groot natuurlijk

Kan ik meerdere pools ook onder een (1) share plaatsen ?

De server staat alleen aan bij het vullen en film kijken, het stroomverbruik maakt me niet uit, de hoeveelheid lawaai wel..

[Compizfox]

FireDrunk schreef op maandag 31 december 2012 @ 15:11:
[...]
Ik heb wel diezelfde problemen gehad, dat leek aan de nieuwe FreeBSD 9.x versie te liggen, maar dat komt waarschijnlijk weer omdat daar de nieuwe MPT SAS drivers in zitten. Hoewel deze door de test labs van LSI tot stable benoemd zijn, lijkt daar toch nog iets niet goed te zijn met de VMware LSI controller.

Waar overal in de FreeBSD fora over gepraat word, is dat je moet zorgen dat de Firmware versie van je controller nieuw genoeg moet zijn om met deze drivers te kunnen werken.

Laat de controller van VMware nou net een tikkie achter liggen qua FIRMware... Hierdoor heeft zelfs het installeren van VMware tools geen zin, want dat is alleen maar de driver, en niet de firmware van de controller.

PVSCSI werkt voor zover ik weet niet onder FreeBSD, hoewel ik het nog eens kan proberen.
Mocht je het zelf werkend hebben gekregen, probeer dan graag eens met Physical RDM te spelen, als dat werkt, ga ik het namelijk zelf ook draaien

(mocht je hulp nodig hebben bij het installeren / compilen, stuur maar een DM)

Net zelf even geprobeerd en gekeken, maar er is (in de hele source tree van VMware) geen PVSCSI driver te vinden. VMXNET3 werkt wel, maar niet met de ZFSguru VMware Tools versie.

Wat moet ik proberen dan? Als er geen PVSCSI-driver in FreeBSD zit, heeft het geen zin om het toch te proberen Ik snap zo ook wel dat dat dan niet gaat werken.

VMXNET3 heb ik trouwens succesvol werkend met de officiele VMWare tools.

Even iets anders, net was ie een scrub aan het doen en toen gaf hij dit aan:

code:

One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.

In de logs zag ik dit voorbij komen:

code:

(da3:mpt0:0:3:0): Error 5, Unretryable error
(da3:mpt0:0:3:0): READ(10). CDB: 28 0 c 91 dd 6a 0 1 0 0 
(da3:mpt0:0:3:0): CAM status: SCSI Status Error
(da3:mpt0:0:3:0): SCSI status: Check Condition
(da3:mpt0:0:3:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)
(da3:mpt0:0:3:0): Error 5, Unretryable error
(da3:mpt0:0:3:0): READ(10). CDB: 28 0 c 92 2 f0 0 1 0 0 
(da3:mpt0:0:3:0): CAM status: SCSI Status Error
(da3:mpt0:0:3:0): SCSI status: Check Condition
(da3:mpt0:0:3:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)
(da3:mpt0:0:3:0): Error 5, Unretryable error
(da3:mpt0:0:3:0): READ(10). CDB: 28 0 c 92 27 f0 0 1 0 0 
(da3:mpt0:0:3:0): CAM status: SCSI Status Error
(da3:mpt0:0:3:0): SCSI status: Check Condition
(da3:mpt0:0:3:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)

Heb dus even de S.M.A.R.T.-status bekeken vanuit ESXi:

code:

~ # esxcli storage core device smart get -d t10.ATA_____SAMSUNG_HD753LJ_________________________S13UJ1KQ217886______
Parameter                     Value  Threshold  Worst
----------------------------  -----  ---------  -----
Health Status                 OK     N/A        N/A
Media Wearout Indicator       N/A    N/A        N/A
Write Error Count             N/A    N/A        N/A
Read Error Count              99     51         99
Power-on Hours                99     0          99
Power Cycle Count             96     0          96
Reallocated Sector Count      56     10         56
Raw Read Error Rate           99     51         99
Drive Temperature             75     0          62
Driver Rated Max Temperature  75     0          65
Write Sectors TOT Count       100    0          100
Read Sectors TOT Count        100    0          100
Initial Bad Block Count       100    99         100

Heb echter geen idee hoe dit te intepreteren. Is dit kritiek? Schijf aan het overlijden? Ik heb de schijven tweedehands gekocht dus dat zou ik zwaar kut vinden.

[u_nix_we_all]

EnerQi schreef op maandag 31 december 2012 @ 14:05:
[...]


Een "Pool" is kan meerdere vdevs bevatten (2x RaidZ2 zoals je aangeeft) en een "Pool" share je, niet een vdev.

Nee. Een pool share je ook nog niet.

Je maakt filesystems (zfs) binnen een pool, en die share je. Je kunt meerdere zfs's binnen een pool hebben, met elk hun eigen eigenschappen voor sharing, dedup, compressie, snapshots etc.

[Contagion]

@xudonax: het maakt niet zoveel uit wat je met je disks doet, ZFS kan na het maken van een pool ze (onder Linux) toch altijd wel terugvinden als je zpool import <poolname> uitvoert. Ik heb zelf (net zoals Cipher suggereert) mijn disks GPT partities gegeven maar dan ook met naam. Dat kan je in Liunx zelf doen met bijv 'parted /dev/sda'. Als je de drives namen hebt gegeven en je importeert de pool met 'zpool import <poolname> -d /dev/disk/by-partname' dan krijg je je drives keurig op naam in de array.

Het enige waar ZFS-for-Linux nog niet echt mee uit de voeten lijkt te kunnen is een MD device met een naam, maar dat komt denk ik omdat udev deze 'schijven' geen partition labels toekent.

Overigens kan je ook bestaande GPT partities een naam geven, mocht je al partities hebben aangemaakt (in parted met 'name').

Ik ben inmiddels op weg met mijn 13 disk RAID-Z3 configuratie (ZFS-for-linux, tot voor kort zfs-fuse maar die kan niet overweg met ashift=12), de disks die ik heb hebben een naam, verder zijn er nog 'samengestelde' disks via mdadm en dat lukt dus nog niet met naam:

	NAME        STATE     READ WRITE CKSUM
	Storage     ONLINE       0     0     0
	  raidz3-0  ONLINE       0     0     0
	    3TB-1   ONLINE       0     0     0
	    3TB-2   ONLINE       0     0     0
	    3TB-3   ONLINE       0     0     0
	    3TB-4   ONLINE       0     0     0
	    3TB-5   ONLINE       0     0     0
	    3TB-6   ONLINE       0     0     0
	    md41    ONLINE       0     0     0
	    md51    ONLINE       0     0     0
	    2TB-1   ONLINE       0     0     0
	    2TB-2   ONLINE       0     0     0
	    2TB-3   ONLINE       0     0     0
	    2TB-4   ONLINE       0     0     0
	    md127   ONLINE       0     0     0

EDIT: ik zie dat ik niet echt op een recente post heb gereplied maar tweakers zei dat er 2 nieuwe berichten waren en dat klopt dus totaal niet

[ Voor 4% gewijzigd door Contagion op 02-01-2013 14:17 ]

[edmanh]

RudolfR schreef op zondag 30 december 2012 @ 20:44:
root-user worden met su?

Wordt steeds wijzer.
Ik kan de file verwijderen, maar als ik het opnieuw download en installeer dan krijg ik dezelfde melding weer. Het heeft waarschijnlijk toch niet met een corrupt downloadfile te maken.

Ik kan apache dus niet installeren.
Heef iemand een idee?

[FireDrunk]

Vertel eens precies welke commando's je gebruikt.

[Ultraman]

Mag ik voorstellen daar dan een eigen topic voor aan te maken?
Het installeren van Apache en andere softwarepakketten hebben weinig met ZFS van doen.

[Xudonax]

Contagion schreef op woensdag 02 januari 2013 @ 14:14:
@xudonax: het maakt niet zoveel uit wat je met je disks doet, ZFS kan na het maken van een pool ze (onder Linux) toch altijd wel terugvinden als je zpool import <poolname> uitvoert. Ik heb zelf (net zoals Cipher suggereert) mijn disks GPT partities gegeven maar dan ook met naam. Dat kan je in Liunx zelf doen met bijv 'parted /dev/sda'. Als je de drives namen hebt gegeven en je importeert de pool met 'zpool import <poolname> -d /dev/disk/by-partname' dan krijg je je drives keurig op naam in de array.

Naja, onderhand draait de array best lekker met de /dev/disk/by-id/ata-* namen. Dat heeft zelfs de move van onboard SATA + Marvell naar een IBM M1015 overleefd, dus ik vertrouw erop dat het het blijft doen

EDIT: Even een klein vraagje tussendoor, ik heb een iozone test gedaan op mijn ZFS array (6x 1TB laptop disk, 16G RAM waarvan ~8GB ARC) en kom met onderstaande resultaten. Lees ik goed dat dit maximaal ~360MB/s schrijf en ~380MB/s lees?

code:

$ /home/patrick/tmp/iozone3_414/src/current/iozone -a -s 24g -r 4096
    Iozone: Performance Test of File I/O
            Version $Revision: 3.414 $
        Compiled for 64 bit mode.
        Build: linux-AMD64 

    Run began: Wed Jan  2 19:09:41 2013

    Auto Mode
    File size set to 25165824 KB
    Record Size 4096 KB
    Command line used: /home/patrick/tmp/iozone3_414/src/current/iozone -a -s 24g -r 4096
    Output is in Kbytes/sec
    Time Resolution = 0.000001 seconds.
    Processor cache size set to 1024 Kbytes.
    Processor cache line size set to 32 bytes.
    File stride size set to 17 * record size.
                                                            random  random    bkwd   record   stride                                   
              KB  reclen   write rewrite    read    reread    read   write    read  rewrite     read   fwrite frewrite   fread  freread
        25165824    4096  368621  292899   318958   381849  115556  330005  201265  8051218   195704   350482   389584  269289   379767

iozone test complete.

[ Voor 43% gewijzigd door Xudonax op 02-01-2013 20:35 ]

[Compizfox]

Compizfox schreef op dinsdag 01 januari 2013 @ 23:32:
[...]
Even iets anders, net was ie een scrub aan het doen en toen gaf hij dit aan:

code:

One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.

In de logs zag ik dit voorbij komen:

code:

(da3:mpt0:0:3:0): Error 5, Unretryable error
(da3:mpt0:0:3:0): READ(10). CDB: 28 0 c 91 dd 6a 0 1 0 0 
(da3:mpt0:0:3:0): CAM status: SCSI Status Error
(da3:mpt0:0:3:0): SCSI status: Check Condition
(da3:mpt0:0:3:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)
(da3:mpt0:0:3:0): Error 5, Unretryable error
(da3:mpt0:0:3:0): READ(10). CDB: 28 0 c 92 2 f0 0 1 0 0 
(da3:mpt0:0:3:0): CAM status: SCSI Status Error
(da3:mpt0:0:3:0): SCSI status: Check Condition
(da3:mpt0:0:3:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)
(da3:mpt0:0:3:0): Error 5, Unretryable error
(da3:mpt0:0:3:0): READ(10). CDB: 28 0 c 92 27 f0 0 1 0 0 
(da3:mpt0:0:3:0): CAM status: SCSI Status Error
(da3:mpt0:0:3:0): SCSI status: Check Condition
(da3:mpt0:0:3:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)

Heb dus even de S.M.A.R.T.-status bekeken vanuit ESXi:

code:

~ # esxcli storage core device smart get -d t10.ATA_____SAMSUNG_HD753LJ_________________________S13UJ1KQ217886______
Parameter                     Value  Threshold  Worst
----------------------------  -----  ---------  -----
Health Status                 OK     N/A        N/A
Media Wearout Indicator       N/A    N/A        N/A
Write Error Count             N/A    N/A        N/A
Read Error Count              99     51         99
Power-on Hours                99     0          99
Power Cycle Count             96     0          96
Reallocated Sector Count      56     10         56
Raw Read Error Rate           99     51         99
Drive Temperature             75     0          62
Driver Rated Max Temperature  75     0          65
Write Sectors TOT Count       100    0          100
Read Sectors TOT Count        100    0          100
Initial Bad Block Count       100    99         100

Heb echter geen idee hoe dit te intepreteren. Is dit kritiek? Schijf aan het overlijden? Ik heb de schijven tweedehands gekocht dus dat zou ik zwaar kut vinden.

Ik zie nu dit in de logs:

code:

(da3:mpt0:0:3:0): READ(10). CDB: 28 0 8 25 2b 7f 0 1 0 0 
(da3:mpt0:0:3:0): CAM status: SCSI Status Error
(da3:mpt0:0:3:0): SCSI status: Check Condition
(da3:mpt0:0:3:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)
(da3:mpt0:0:3:0): Error 5, Unretryable error
(da3:mpt0:0:3:0): READ(10). CDB: 28 0 8 25 25 7f 0 1 0 0 
(da3:mpt0:0:3:0): CAM status: SCSI Status Error
(da3:mpt0:0:3:0): SCSI status: Check Condition
(da3:mpt0:0:3:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)
(da3:mpt0:0:3:0): Error 5, Unretryable error
(da2:mpt0:0:2:0): READ(10). CDB: 28 0 11 7d f6 f3 0 1 0 0 
(da2:mpt0:0:2:0): CAM status: Selection Timeout
(da2:mpt0:0:2:0): Retrying command
(da2:mpt0:0:2:0): READ(10). CDB: 28 0 11 7d f1 f3 0 1 0 0 
(da2:mpt0:0:2:0): CAM status: SCSI Status Error
(da2:mpt0:0:2:0): SCSI status: Check Condition
(da2:mpt0:0:2:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)
(da2:mpt0:0:2:0): Error 5, Unretryable error
(da2:mpt0:0:2:0): READ(10). CDB: 28 0 11 7d f3 f3 0 1 0 0 
(da2:mpt0:0:2:0): CAM status: Selection Timeout
(da2:mpt0:0:2:0): Retrying command
(da2:mpt0:0:2:0): READ(10). CDB: 28 0 11 7d f5 f3 0 1 0 0 
(da2:mpt0:0:2:0): CAM status: Selection Timeout
(da2:mpt0:0:2:0): Retrying command
(da2:mpt0:0:2:0): READ(10). CDB: 28 0 11 7d f8 f3 0 1 0 0 
(da2:mpt0:0:2:0): CAM status: Selection Timeout
(da2:mpt0:0:2:0): Retrying command
(da2:mpt0:0:2:0): READ(10). CDB: 28 0 11 7d f2 f3 0 1 0 0 
(da2:mpt0:0:2:0): CAM status: Selection Timeout
(da2:mpt0:0:2:0): Retrying command
(da2:mpt0:0:2:0): READ(10). CDB: 28 0 11 7d f4 f3 0 1 0 0 
(da2:mpt0:0:2:0): CAM status: Selection Timeout
(da2:mpt0:0:2:0): Retrying command
(da2:mpt0:0:2:0): READ(10). CDB: 28 0 1c bd 2a a3 0 0 6 0 
(da2:mpt0:0:2:0): CAM status: Selection Timeout
(da2:mpt0:0:2:0): Retrying command
(da2:mpt0:0:2:0): READ(10). CDB: 28 0 11 7d f7 f3 0 1 0 0 
(da2:mpt0:0:2:0): CAM status: Selection Timeout
(da2:mpt0:0:2:0): Retrying command
(da2:mpt0:0:2:0): READ(10). CDB: 28 0 11 7d f9 f3 0 1 0 0 
(da2:mpt0:0:2:0): CAM status: Selection Timeout
(da2:mpt0:0:2:0): Retrying command
(da3:mpt0:0:3:0): READ(10). CDB: 28 0 c 97 df 5a 0 1 0 0 
(da3:mpt0:0:3:0): CAM status: SCSI Status Error
(da3:mpt0:0:3:0): SCSI status: Check Condition

Die tweede error ("CAM status: Selection Timeout") komt dus van een andere disk dan waar ik die read errors op krijg. Wat betekent dit?

Moet ik de disk vervangen?

[ Voor 26% gewijzigd door Compizfox op 02-01-2013 21:08 ]

[Jonny55]

Hoi,

Ik draai momenteel zfsguru 0.2-beta8 ik zou graag willen werken met virtualbox.
ik heb deze geinstaleerd, ook het booten van cd lijk te werken je ziet dan zo screenshot je.
maar krijg het niet voor elkaar om remote verbindingen te maken via TightVNC.
iemand duidelijk uitleg van begin tot eind hoe je virtualbox optimaal werkend kan krijgen?

Het zou erg gaaf zijn om dit werkend te krijgen!

[enthernal]

om via VNC verbinding te maken moet je je virtuele machine een naam in de vorm van 'testmachine;5900' geven, enkel dan kan je er via VNC aan. Dat staat er overigens ergens bij, maar zou inderdaad in wat grotere lettertjes mogen

[ Voor 1% gewijzigd door enthernal op 03-01-2013 08:48 . Reden: duidelijkheid ]

[u_nix_we_all]

Compizfox schreef op woensdag 02 januari 2013 @ 21:08:
[...]


Moet ik de disk vervangen?

Wat zegt de "zpool status" ? Zit de disk nog in de pool ?

[Compizfox]

Op het moment van het schrijven van mijn vorige post nog wel. ZPool status gaf "One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected." aan.

Ik had besloten om de schijf uit de pool te kicken, er een low-level format overheen te gooien (dd if=/dev/zero of=/dev/da3) en hem daarna weer in te pool te gooien en dan te resilveren.

Gisterennacht is hij beziggeweest met het zero-fillen. Ik hoop dat de firmware van de disk hierbij de bad sectors (als die er waren, denk het wel) heeft gereallocated.

Nu is hij bezig met het resilveren, gaat ook wel ff duren.

EDIT:
Huh, resilveren was net klaar. Hij gaf 1 permanente error aan (in 1 bestand). Die heb ik laten verwijderen, en nu is hij de boel nog een keer aan het resilveren?
Hoort dat?

[ Voor 12% gewijzigd door Compizfox op 03-01-2013 14:21 ]

[FireDrunk]

Nee dat hoort niet... Klinkt alsof er toch iets meer aan de hand is...

[Compizfox]

Vreemd.
Volgens ZFSGuru is dit de history:

2013-01-03 13:14:55 zpool scrub Data
2013-01-03 13:14:52 zpool clear Data
2013-01-03 12:09:41 zpool replace Data 12257340944489389720 gpt/Storage3

Let ook op de tijden. Bij die replace (in feite replace ik hem met dezelfde disk, maar dan gewiped), gaat ie alles resilveren. Dat hoort.
Na die resilver krijg ik die permanent error, dus laat ik die via de webinterface van ZFSGuru clearen.
Daarbij geeft ZFSGuru ook het scrub command. Maar het lijkt wel alsof ie de boel nog een keer is gaan resilveren ipv scrubben.

[FireDrunk]

scrubben en resilveren ziet er vaak hetzelfde uit, kan je zien wat hij precies aan het doen is?

(komt bijna op hetzelfde neer hoor...) Duurt alleen altijd erg lang

[Compizfox]

Dit is de huidige status, dus volgens mij is hij aan het resilveren.

code:

  pool: Data
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Thu Jan  3 13:14:55 2013
        238G scanned out of 463G at 98.0M/s, 0h39m to go
        79.3G resilvered, 51.34% done
config:

        NAME                        STATE     READ WRITE CKSUM
        Data                        DEGRADED     0     0     0
          raidz1-0                  DEGRADED     0     0     0
            gpt/Storage1            ONLINE       0     0     0
            gpt/Storage2            ONLINE       0     0     0  (resilvering)
            replacing-2             DEGRADED     0     0     0
              12257340944489389720  UNAVAIL      0     0     0  was /dev/gpt/Storage3/old
              gpt/Storage3          ONLINE       0     0     0  (resilvering)

errors: No known data errors

Wat mij opvalt is dat hij nu opeens ook storage2 aan het resilveren is, terwijl daar niets mee aan de hand was (het was storage3 die ik heb gewiped)

[ Voor 16% gewijzigd door Compizfox op 03-01-2013 15:09 ]

[FireDrunk]

Hmm, ziet er prima uit... Vreemde zaak...

[groen-geel]

Vraagje aan Vmware gurus: Ik heb Esxi 5.1 met laatste patch en openindiana VM/napp-it.

Kan ik de Intel panther port ahci controller van de processor in passthrough zetten? (datastore met OS op een aparte hbc pcie kaartje)
Ik heb het geprobeerd, maar openindiana crashed. Nu vraag ik mij af of dit uberhaupt mogelijk is of dat ik een configuratie fout heb gemaakt.

[FireDrunk]

Het zou moeten kunnen volgens mij, maar zeker weten doe ik het niet.

[Compizfox]

En hij is voor de derde keer aan het resilveren

code:

  pool: Data
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Thu Jan  3 14:22:34 2013
        197M scanned out of 460G at 771K/s, 173h54m to go
        42.0M resilvered, 0.04% done
config:

        NAME                        STATE     READ WRITE CKSUM
        Data                        DEGRADED     2     0     0
          raidz1-0                  DEGRADED     7     0     0
            gpt/Storage1            ONLINE       0     0     0
            2301289740398889043     REMOVED      0     0     0  was /dev/gpt/Storage2
            replacing-2             DEGRADED     7     0     0
              12257340944489389720  UNAVAIL      0     0     0  was /dev/gpt/Storage3/old
              gpt/Storage3          ONLINE       1     0     0  (resilvering)

errors: No known data errors

[Verwijderd]

@Compizfox, je gpt/Storage2 disk is removed?! Je hebt een tijdje terug SMART data gepost; maar dit zijn gegevens die zijn gefingeerd; ze komen niet letterlijk van de hardeschijf af. Wat voor controller/setup gebruik je en hoe heeft ZFS toegang tot de disks? Er zit iets tussen lijkt het wel.

[Compizfox]

Ik zag het inderdaad, op de Disk-page van ZFSGuru staat Storage2 er ineens niet meer tussen!
Wat moet ik nu doen om gegevensverlies te beperken? ZFSGuru afsluiten?

Er zit inderdaad iets tussen, ZFSGuru is een guest draaiend op ESXi. Ik geef de HDD's door via een virtual RDM daar physical RDM niet werkt met FreeBSD 9.1.

System log:

code:

(da2:mpt0:0:2:0): CAM status: Selection Timeout
(da2:mpt0:0:2:0): Retrying command
(da2:mpt0:0:2:0): lost device - 10 outstanding, 2 refs
(pass3:mpt0:0:2:(da2:0): passdevgonecb: devfs entry is gone
mpt0:0:2:0): oustanding 9
(da2:mpt0:0:2:0): READ(10). CDB: 28 0 a fc be ba 0 1 0 0 
(da2:mpt0:0:2:0): CAM status: SCSI Status Error
(da2:mpt0:0:2:0): SCSI status: Check Condition
(da2:mpt0:0:2:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)
(da2:mpt0:0:2:0): Error 5, Unretryable error
(da2:mpt0:0:2:0): oustanding 8
(da2:mpt0:0:2:0): oustanding 7
(da2:mpt0:0:2:0): oustanding 6
(da2:mpt0:0:2:0): oustanding 5
(da2:mpt0:0:2:0): oustanding 4
(da2:mpt0:0:2:0): oustanding 3
(da2:mpt0:0:2:0): oustanding 2
(da2:mpt0:0:2:0): oustanding 1
(da2:mpt0:0:2:0): oustanding 0
(da2:mpt0:0:2:0): removing device entry
(da3:mpt0:0:3:0): READ(10). CDB: 28 0 c 98 4 ea 0 1 0 0 
(da3:mpt0:0:3:0): CAM status: SCSI Status Error
(da3:mpt0:0:3:0): SCSI status: Check Condition
(da3:mpt0:0:3:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)
(da3:mpt0:0:3:0): Error 5, Unretryable error
(da3:mpt0:0:3:0): READ(10). CDB: 28 0 c 98 11 ea 0 1 0 0 
(da3:mpt0:0:3:0): CAM status: SCSI Status Error
(da3:mpt0:0:3:0): SCSI status: Check Condition
(da3:mpt0:0:3:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)
(da3:mpt0:0:3:0): Error 5, Unretryable error
(da3:mpt0:0:3:0): READ(10). CDB: 28 0 c 98 4 ea 0 0 80 0 
(da3:mpt0:0:3:0): CAM status: SCSI Status Error
(da3:mpt0:0:3:0): SCSI status: Check Condition
(da3:mpt0:0:3:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)
(da3:mpt0:0:3:0): Error 5, Unretryable error
(da3:mpt0:0:3:0): READ(10). CDB: 28 0 c a0 9c f6 0 1 0 0 
(da3:mpt0:0:3:0): CAM status: SCSI Status Error
(da3:mpt0:0:3:0): SCSI status: Check Condition
(da3:mpt0:0:3:0): SCSI sense: MEDIUM ERROR asc:11,4 (Unrecovered read error - auto reallocate failed)
(da3:mpt0:0:3:0): Error 5, Unretryable error

da3 was de disk waarvan ik de SMART-status had gepost (verkregen van ESXi trouwens), en waar ik de read errors mee had.
Nu zie ik de read errors ook vóórkomen op da2, de disk die nu verdwenen is.

Ik heb zelf het gevoel dat het hele RDM-gebeuren het probleem is. Is dat correct?

[ Voor 80% gewijzigd door Compizfox op 03-01-2013 15:36 ]

[u_nix_we_all]

groen-geel schreef op donderdag 03 januari 2013 @ 15:18:
Vraagje aan Vmware gurus: Ik heb Esxi 5.1 met laatste patch en openindiana VM/napp-it.

Kan ik de Intel panther port ahci controller van de processor in passthrough zetten? (datastore met OS op een aparte hbc pcie kaartje)
Ik heb het geprobeerd, maar openindiana crashed. Nu vraag ik mij af of dit uberhaupt mogelijk is of dat ik een configuratie fout heb gemaakt.

Zou wel moeten kunnen. Als OI crashed kan dat komen omdat de configuratie van diskcontrollers niet meer klopt, wellicht kun je dat fixen door een reconfiguration-boot te doen.
Als je OI nog gestart krijgt, moet je even een "touch /reconfigure" doen, en dan afsluiten en je config omzetten. Bij volgende boot zal OI dan alle devices opnieuw aanmaken.

[Verwijderd]

Compizfox schreef op donderdag 03 januari 2013 @ 15:32:
Ik heb zelf het gevoel dat het hele RDM-gebeuren het probleem is. Is dat correct?

Dat lijkt mij wel ja, en dit vind ik een van de grootste nadelen van virtualisatie. Je ZFS server heeft zo geen échte toegang meer tot je disks; iets anders bepaalt wat er gebeurt in geval van een bad sector. Zo werken twee systemen langs elkaar heen en dat kan betekenen dat je opslag niet (helemaal) veilig meer is. ZFS heeft namelijk juist de mooie eigenschap dat het automatisch bad sectors corrigeert.

De SMART output die je eerder postte is ook onbruikbaar, omdat de raw values er niet tussenstaan. Dit is niet de SMART output die je disk zelf geeft. Indien mogelijk vraag de SMART op van je disks op een andere/directe manier. Daarnaast zou ik heroverwegen of je huidige opstelling wel doet wat je wilt. Ik zelf vind ik best gevaarlijk zo als iets anders bepaalt wat er met je schijven gebeurt en niet FreeBSD/ZFS.

[Compizfox]

Dit eigenlijk sowieso niet geweest wat ik wilde, omdat ZFSGuru op deze manier ook de disks niet kan downspinnen en niet bij de SMART kan.

De SMART-data die ik poste is direct vanuit ESXi afkomstig. Ik ben het met je eens dat het wat beperkt is, maar volgens mij is er geen andere manier.

Phsyical RDM zou volgens mij de correcte manier zijn. Maar dan krijg ik die "unsupportable block size 0"-errors.
Is het niet mogelijk om de LSI-driver uit FreeBSD 9.0 te gebruiken in FreeBSD 9.1? Zo ja, hoe?

[ Voor 10% gewijzigd door Compizfox op 03-01-2013 15:51 ]

[FireDrunk]

http://kb.vmware.com/self...playKC&externalId=2034200

Waaaacht, dat betekend dat je met de LSI SAS controller wél disks van > 3TB zou moeten kunnen doorgeven.

Let wel op dat je dus de RDM op een 2e controller steekt! Kan je dat eens proberen?

Compizfox schreef op donderdag 03 januari 2013 @ 15:46:
Is het niet mogelijk om de LSI-driver uit FreeBSD 9.0 te gebruiken in FreeBSD 9.1? Zo ja, hoe?

Ik denk dat dat niet gaat werken. Je zou namelijk de kernel moeten recompilen, maar ik weet niet of de driver interfaces nog hetzelfde zijn.

---
En in de ESXi 5.1 Configure Maximums staat toch echt heel duidelijk:

Raw Device Mapping size (physical compatibility) 64TB

RDM is dus niet gelimiteerd tot 2TB.

[ Voor 48% gewijzigd door FireDrunk op 03-01-2013 15:58 ]

[Compizfox]

FireDrunk schreef op donderdag 03 januari 2013 @ 15:54:
Ik denk dat dat niet gaat werken. Je zou namelijk de kernel moeten recompilen, maar ik weet niet of de driver interfaces nog hetzelfde zijn.

Dat komt op zich wel goed uit, want een maat van me wou dat sowieso voor me gaan doen (custom kernel, met onnodige dingen eruit gesloopt en zo).

Maar zelfs dan gaat het niet werken denk je? Of wel?

Wat raad je me aan? Makkelijkste optie is natuurlijk een extra controller kopen voor de datastores, en dan m'n onboard controller via PCI-e passthrough doorgeven.
Maar dat is ook de duurste oplossing (die SATA-controllers zijn best duur)
Ik heb bijvoorbeeld gevonden dat pricewatch: Promise FastTrak SATA 300 TX4 goed compatible is met ESXi. Die is op V&A te koop voor €20 (dat vind ik nog een keer te doen) Maar dit is wel maar een PCI-controller. Het is 'maar' voor de datastores, maar toch.

[ Voor 19% gewijzigd door Compizfox op 03-01-2013 16:21 ]

[FireDrunk]

Probeer eerst eens wat ik hier boven zeg.

[Compizfox]

De RDM's op een 2e controller steken? Gaat momenteel een beetje lastig, aangezien ik geen 2e controller heb

Daarnaast zijn de HDD's trouwens maar 750 GB per stuk Dus ik kom niet aan die 3 TB limiet.

[FireDrunk]

Er word een virtuele 2e controller bedoeld.

Je maakt dus een VM met 2 disks aan. 1 VMDK is de 'lokale' datastore op 0:1
2e disk is je RDM en die stop je op 1:0.

Oh wacht, geen 3TB? Dan zou Physical Passthrough toch gewoon moeten werken?

[Compizfox]

Je bedoel dat ik een VM met 2 virtuele controllers moet aanmaken, neem ik aan?

Ga ik ff proberen.

En nee, ook al zijn de disks maar 750 GB, als ik physical RDM probeer, krijg ik enkel "unsupportable block size 0" en werken de disks niet.

EDIT:
Hoe voeg ik een tweede SCSI-controller toe aan een VM? Bij "add" staat dat niet tussen het lijstje. Of moet ik bij de properties gewoon 1:0 als node selecteren?

[ Voor 26% gewijzigd door Compizfox op 03-01-2013 16:42 ]

[FireDrunk]

Klopt, ik ben in de war... De unsupported block size 0 komt door de nieuwe MPT SAS Driver in FreeBSD 9.1.

Ik las alleen in een ander Topic (DIY RAID NAS) dat 3TB RDM's ook niet werkten, met diezelfde problemen.

Misschien lost het beide op.

[Midas.e]

Ik zit even in dubio, Ik ga een nieuwe backup server voor ons datacenter opzetten, ding is niet per direct nodig, oude storage draait nog wel een half jaar mee. Maar nu wil ik denk ik wel overstappen naar ZFS. 1GB/TB ga ik niet halen dat hoe dan ook niet. Maar is ZFS op linux volgens jullie nu ver genoeg om wel mn backup's naartoe te laten schrijven? Ik zal ongeveer 256MB/TB aan geheugen hebben.

[Compizfox]

FireDrunk schreef op donderdag 03 januari 2013 @ 16:43:
Klopt, ik ben in de war... De unsupported block size 0 komt door de nieuwe MPT SAS Driver in FreeBSD 9.1.

Klopt.

Het helpt niet trouwens
Krijg op 1:0 als SCSI-node dezelfde problemen: "unsupportable block size 0"

[FireDrunk]

Controller zeker weten LSI SAS?

[Compizfox]

Jup.

[FireDrunk]

Jammer... Misschien toch eens kijken of we VMWare kunnen contacten hierover...

[Compizfox]

Oude LSI-driver inbouwen in een custom kernel voor FreeBSD 9.1 gaat niet werken hoor ik net.
In dat geval ga ik maar eens kijken naar een extra controllertje. Is die FastTrack SATA 300 TX4 aan te raden (voor de datastores)?

[FireDrunk]

Ik vind van niet, ga dan voor een PCIe 1x kaartje met 2* SATA3.

http://www.ebay.com/itm/P...pters&hash=item4d004e4225

[ Voor 55% gewijzigd door FireDrunk op 03-01-2013 17:29 ]

[Compizfox]

Maar dan wel ééntje die ondersteund wordt door ESXi, en niet al te duur is...
Ik zag V&A aangeboden: Highpoint RocketRAID RR3120 , maar die staat niet tussen de lijst met bekende gesupporte controllers:
http://www.vm-help.com//e..._whitebox_HCL.php#Storage

[FireDrunk]

ASMedia is een AHCI controller. ESXi bevat een generieke AHCI driver. Zou dus gewoon moeten werken.

_{Aan deze post kunnen geen rechten worden ontleend}

[ Voor 25% gewijzigd door FireDrunk op 03-01-2013 17:40 ]

[Compizfox]

Waar haal je ASMedia vandaan dan?

[FireDrunk]

Druk eens op refresh

[Compizfox]

Aha

Dan zou deze dus ook moeten werken: https://tweakers.net/pric...d-sata-600/specificaties/

[groen-geel]

Asmedia werkt niet. Ik heb er hiero eentje liggen van conceptronics: pci express card sata 600. Gaat niet gepassthroughed worden. Wordt niet herkend. pci device is unknown in esxi 5.1. Een ander nadeel is dat de stata kabels boven mijn norco kast uitkomen. Ik krijg de deksel er nier meer op. Ding gaat dus terug naar leverancier.

[ Voor 38% gewijzigd door groen-geel op 03-01-2013 18:10 ]

[Compizfox]

Weet je dat zeker? Welke ESXi-versie?
Ik hoef geen passthrough, het is puur om de ESXi datastores op te zetten.

Ik heb hem namelijk net al besteld...

[groen-geel]

En dus ben ik op zoek naar een nieuw moederbord. Eentje met minimaal 3 pcie 8x sloten voor 2 m1015 + intel af da nic.
Wat is een goede icm een i7-3770?

[groen-geel]

Oh, esxi 5.1 met de laatste patch.

[FireDrunk]

Ik dacht dat de ASMedia controllers werkten onder ESXi?
Balen, ik lees hier en daar wat verhalen dat ze inderdaad niet werken... Excuus, ik had het dus bij het verkeerde eind.

Overigens kan je je bestelling natuurlijk gewoon annuleren...

@Groen-geel, dat licht er aan hoeveel je wil uitgeven, en wat je verder nog voor eisen hebt.
Als je graag KVM-over-IP hebt, kan je met Supermicro en Tyan een hele leuke koop doen.

Die zijn wel iets duurder.

[ Voor 93% gewijzigd door FireDrunk op 03-01-2013 18:37 ]

[groen-geel]

Of de mijne komen ophalen....

[Compizfox]

Ik lees ook verhalen dat ze wel werken.

@groen-geel: Had jij hem gewoon in AHCI-mode, of in RAID-mode?

[FireDrunk]

Hij moet sowieso in AHCI modus, want ESXi weigert elke vorm van FakeRAID (Firmware RAID)

[Compizfox]

Naar wat ik lees werkt de ASM1061 alleen in ESXi 5.0 en niet in 5.1. Ik ga maar kijken of ik de bestelling kan cancellen dus.

Ik kan ook gewoon ESXi eruit gooien en ZFSGuru installeren als host. Dan binnen ZFSGuru iets als VirtualBox installeren...
Al dat gedoe met die storage controllers...

[ Voor 40% gewijzigd door Compizfox op 03-01-2013 18:46 ]

[FireDrunk]

VirtualBox is echt kak vergeleken met ESXi, bereid je dus voor op wat irritaties