Het grote ZFS topic

[FireDrunk]

Jup.

[Dadona]

Wacht eens even, je hebt het over RDM, dus de intelligentie zit dan bij ESXi. Dan heeft ZFSguru toch geen flauw idee van wat er onder zich zit. Ergo...nog steeds het RDM probleem, niet zozeer het driver probleem?

[FireDrunk]

Er word toch een driver gebruikt?

[Dadona]

Maar is dit nog steeds zonder inzet van VT-d of inmiddels wel? (Zo niet dan zou CiPHER meteen werk hebben, zitten we hier verkeerd.)

Oké, ik ben nu halve planken aan het slaan, multi-tasken gaat mij wat minder af
Ik ga gewoon stug door..., per DM

[ Voor 34% gewijzigd door Dadona op 08-08-2012 21:57 ]

[FireDrunk]

Nee, er word gebruik gemaakt van RDM, niet van VT-d.

[Verwijderd]

FireDrunk:
mps is voor 6Gbps LSI SAS (SAS2008)
mpt is voor 3Gbps LSI SAS (1068E)

man mps
man mpt

Dus het is logisch dat 1068E niet in de mps driver voorkomt, toch?

Edit: Aan iedereen die problemen heeft met ESXi + LSI + ZFSguru, hebben jullie het uitschakelen van msi en msix al uitgeprobeerd? Zoek even op 'msix' binnen deze threadvoor meer info.

[ Voor 40% gewijzigd door Verwijderd op 08-08-2012 22:02 ]

[FireDrunk]

Ja allang , ook met de debug lvls gespeeld, maar dat maakt niets uit. Je ziet niets speciaals.

Overigens (lees een paar posts terug) werkt smart gewoon perfect, en daarmee zie je gewoon keurig de disk.
De fysieke connectie met de disk is er dus gewoon. Alleen gaat er iets mis bij de detectie van de grootte van de disk.

Heb ook gekeken of een losse controller toevoegen werkt (disk aan 1:0 hangen ipv 0:1), dat helpt ook niet.
FreeBSD ziet keurig 2 LSI 1068E controller maar kan de 2e disk (RDM disk) niet benaderen.

[ Voor 23% gewijzigd door FireDrunk op 08-08-2012 22:04 ]

[Verwijderd]

Oke maar ik denk dat mensen die met vt-d problemen hebben, wellicht met een heel andere oorzaak te maken hebben dan die RDM gebruiken voor ESXi + LSI + ZFSguru. Dus vandaar de tip aan iedereen die dat nog niet heeft geprobeerd, toch nog eens te doen. En als dat het oplost mij graag laten weten.

[FireDrunk]

Net even een willekeurige FreeNAS CD geboot met de RDM (FreeNAS 8.0) gebaseerd op FreeBSD 8.2-RELEASE. En die werkt meteen...

Het ligt dus duidelijk aan FreeBSD 9...
FreeBSD 9.0 werkt ook gewoon.

ZFSGuru 9.1 werkt alleen niet...

[ Voor 18% gewijzigd door FireDrunk op 08-08-2012 22:27 ]

[Verwijderd]

Dat was al duidelijk een tijdje terug, maar de msi/msix workaround leek daarvoor wel te helpen, zie:
http://forums.freebsd.org/showthread.php?t=27899

Maar we denken allemaal dat het om één bug gaat; dit soort dingen kan wel eens 4-5 bugs zijn ipv 1 bug. Duidelijk is wel dat de combinatie FreeBSD 9 + ESXi op dit moment niet zo optimaal is. Om die reden wil ik ook een FreeBSD 8.3 image uitbrengen met moderne services, for the time being.

En inderdaad, ZFSguru draait FreeBSD 9-STABLE, dus dat is wat anders dan 9.0 (9.1-PRERELEASE; ná BETA1).

[ Voor 10% gewijzigd door Verwijderd op 08-08-2012 22:29 ]

[FireDrunk]

Ik heb nooit geroepen dat dit iets met VT-d te maken heeft , het was een bug die ik heb, en die sloth heeft...
Sloth heeft er ook een topic over: ZFS i.c.m. ESXi en RDM zonder VT-D

Rest is een ander verhaal.

[sloth]

Ik heb wat vragen i.v.m. ZFSGuru LiveCD en usb storage.

Begrijp ik het volgende goed?

Je kan gewoon ZFSGuru op een willekeurige >1GB usbstick kan plaatsen, instellingen worden bewaard na een reboot, en alle logging etc. wat veel writes veroorzaakt gebeurd in geheugen zodat je niet na een paar dagen door je write cycles zit?

Zijn er verder nog tekortkomingen, in de veronderstelling dat bovenstaande klopt, wanneer je zulke setup gebruikt? Ik denk bv. aan een custom monitoring script als CurlyMo in "Het grote ZFS topic", dat kan je zonder al te veel aanpassingen gaan gebruiken?

---

CiPHER, heb je enig zicht op een ETA voor beta7?
Dit i.v.m.

quote: http://zfsguru.com/forum/zfsgurusupport/248#1706

But very soon beta7 is coming with some nice features and better looks. I wanted to put beta7 online for download instead of uploading beta6.

En dat ik benieuwd ben naar de verbeteringen in de webGUI m.b.t. het opzetten van (samba) shares. Ik begrijp uit wat meldingen in dit topic dat dit nog niet 100% werkt zoals het zou moeten.

[Verwijderd]

Begrijp ik het volgende goed?

Je kan gewoon ZFSGuru op een willekeurige >1GB usbstick kan plaatsen, instellingen worden bewaard na een reboot, en alle logging etc. wat veel writes veroorzaakt gebeurd in geheugen zodat je niet na een paar dagen door je write cycles zit?

Alles tot en met die reboot klopt, maar Root-on-ZFS schrijft gewoon normaal naar je USB stick. De writes van ZFS zijn wel minder 'erg' voor simpel flash omdat ZFS een copy-on-write filesystem is. ZFS zal data altijd elders schrijven en niet bestaande data overschrijven. Dit is iets 'zachter' voor flash waardoor de wear leveling het makkelijker heeft.

Maar writes zijn writes; je flash gaat door random writes slijten zeker als je een stick hebt met hoge blocksize en dus slechte random write performance en daarmee gepaard hoge write amplification. Je kunt wat dingen doen door de writes te verminderen, zie hiervoor:
Root-on-ZFS to USB flash disk. Reducing disk writes on device.

Wat FreeNAS wel heeft en ZFSguru in het verleden ook, is een Embedded distributie. Die is wel speciaal gemaakt om bijna geen writes te hebben naar je USB stick / compactflash. Momenteel werkt deze niet meer in ZFSguru, maar dat is ook iets om vóór de 0.2 final gefixed te hebben.


ZFSguru 0.2 beta7
Beta7, ik ben een heel eind. Maar voor je hem echt kunt downloaden ik denk een week? Jason wil er denk ik ook nog naar kijken, ga hem mailen als ik zover ben.

Maar de Samba rewrite zit hier niet in, die kun je denk ik in beta8 verwachten. Dan kun je shares zo editen dat je wachtwoord-authenticatie hebt en meer met 'rechten' kunt doen. Dat kun je nu ook al grotendeels, maar dan moet je wel handmatig je smb.conf aanpassen.

valid users = share
smbpasswd -a share

Dat laatste kan overigens al op Files > Permissions > Samba. Maar dat vind ik zelf een onlogische plek eigenlijk. Volgens mij wilde Jason een nieuwe Samba pagina direct op de Services pagina. Nu moet je Samba nog vinden door Services > Internal > Samba. Delen via Samba werkt wel gewoon in beta5+, alleen niet met authenticatie of andere speciale dingen.

Maar beta7 bevat bijna alles waar Jason eerder aan gewerkt heeft maar nog niet gereleased, plus dingen van mij en heb wat dingen afgebouwd. Klinkt niet veel, maar denk toch dat je positief verrast zult zijn.

[ Voor 6% gewijzigd door Verwijderd op 10-08-2012 14:53 ]

[FireDrunk]

Ik ben beniewd
_{Word de changelog dan ook eens bijgewerkt, en het update mechanisme weer gefixt? (Zodat je niet per ongeluk van beta6 naar beta5 gaat met de verkeerde image )}

[Verwijderd]

Ik heb wat zitten spelen met ZFSGuru (beta6). Leuk!

Heb wel een klein probleem ivm mijn toekomstige setup. Heb geprobeerd om achteraan (GPT formatted) op de eerste 3 disks een zpool te maken en daarop root install te doen. Ik kan rebooten en alles dus dat werkt perfect ok.

Nu, als ik een pool van 5 disks maak met de eerste partities van die 3 eerste disks mee dan krijg ik hem niet meer geboot. Kan het zijn dat FreeBSD gewoon van de eerst gevonden pool probeert te booten? Of moet ik eerst de data pool maken en dan pas de OS pool? Of mag je 'override existing pools' niet doen bij het aanmaken van de data pool? Ik heb ook iets gelezen van 'zpool set bootfs'. Heb geen idee hoe ik dit correct kan gebruiken. Het is te zeggen ... ik weet de waarde niet. 'zpool set bootfs=operatingsystem/wat/watnog? operatingsystem'.

edit: De OS partitie noemt dus operatingsystem.

[wjn]

Ik snap eerlijk gezegd niet waarom je (algemeen bedoelt) persé je "os" op je "data" disks wilt hebben.
Je kunt toch beter een kleine (of beter 2 kleine) SSD('s) kopen voor je "os", al dan niet als mirror onder ZFS aanmaken en dat als opstart gebruiken. Desnoods een notebookschijfje, die je als bootschijf & temp download gebruikt.
Dan hou je je data en os gescheiden en kun je de hele zfs datapool indien nodig in een ander systeem ook inlezen / gebruiken.
Het enige wat ik me kan voorstellen is gebrek aan SATA poorten, dat is dan weer op te lossen door een HBA.

[FireDrunk]

Dus jij wil alleen maar om OS en data te scheiden, zowel nieuwe apparaten (SSD's) als Controlelrs kopen (HBA) die ook nog eens meer stroom verbruik geven?

En dat terwijl ZFSguru keurig in een subdirectory geinstalleerd word?

[EnerQi]

De reden dat ik ZFSguru apart wil houden (en hiermee ook te downloaden), is om mijn array niet te laten opspinnen. Ik snap de redenering wel van wjn.

[victorb]

je kan beter 2 notebook disken in raid1 zetten voor je os. waarvoor zou je een ssd nodig hebben voor je server OS?

[wjn]

Je hebt idd geen SSD nodig. Die kun je dan wel weer gebruiken als cache.

Qua energie heb je het in een jaartje of 2 wel weer uit. Neem aan dat een beetje NAS langer mee gaat (eigen ervaring is >5 jaar).

[victorb]

Tuurlijk SSD in een filserver is perfect voor de cache! Maar niet voor je OS

[EnerQi]

wjn schreef op zaterdag 11 augustus 2012 @ 10:58:
Je hebt idd geen SSD nodig. Die kun je dan wel weer gebruiken als cache.

Met FreeBSD (en dus ZFSguru) kun je op een SSD de installatie en als cache gebruiken

[Verwijderd]

Nu ben ik er wel nog niet uit wat het probleem is met mijn installatie Zo meteen is vanaf 0 beginnen en wat theorieën uitproberen.

En idd ik wil mijn OS op de eerste 2 HD's in mirror zodat ze safe is en enkel mijn eerste 2 disks opspinnen. Niet de hele pool. Zoals voorgesteld door CiPHER. Geniaal idee imho ;o

Daarnaast is het ook handig als je een apart pool hebt waar je later makkelijk een andere distro (of update) over kan installeren. Ik heb in eerste instantie maar 6 SATA poorten en ik ben dus niet van plan om 2 SSD's in mirror te stoppen voor de simpele functie van het OS te draaien.

Ik zou zelfs zeggen dat je nog niet eens mirror moet draaien. Stel dat de eerste disk het dan toch begeeft is het redelijk pijnloos om een nieuwe install te doen en de bestaande pools te importeren. Maar ... omdat een 2de disk opspinnen niet de grootste ramp is + better safe than sorry; toch maar mirroren.

Komt nog is bij dat de core functionaliteit van ZFS in het ram leeft en HDD performance voor het OS eigenlijk niet zo relevant is. Dus 2 SSD's in mirror voor OS = nuts. Als je er L2ARC bij zet dan is het nice. Maar overkill voor mij momenteel.

Trouwens als ik het OS achteraan op de 1ste 2 disks zet kan ik later nog migreren naar een SSD install, de OS partities deleten en de pool laten growen tot de maximum capaciteit van alle disks.

edit: 2 dingen geprobeerd:

Eerst de data-pool maken, daarna de OS pool. En dan root-on-zfs install doen op OS pool. Installatie werkt. Booten werkt niet
Dan LiveCD nog is geboot en het volgende gedaan in console:

code:

zpool set bootfs=os/zfsguru/9.1-002 os

Reboot & still no dice. Krijg:

code:

FreeBSD/x86 boot
Default: mass:/boot/kernel/kernel
boot:

edit2: werkt

Moet blijkbaar de OS partities als eerste zetten en dan pas de data partities. no problemo. mag gerust andersom. loving ZFS & ZFSGuru so far Veel kunnen uittesten met VirtualBox.

[ Voor 16% gewijzigd door Verwijderd op 11-08-2012 15:10 ]

[wjn]

Zo, de meeste server onderdelen etc. zijn binnen en ZFSGuru beta6 erop geïnstalleerd. Incl. portstree etc.
Helaas moet ik de HBA nog binnenkrijgen om het kompleet te installeren, maar dat is kwestie van HBA installeren, SATA aansluiten, pool maken en gaan.

Werkt vlekkeloos, op bekend probleem met SABNZB+ na.

Die kan ik toch wel gewoon via die Howto van Kriss op zfsguru.com installeren?
Of beter wachten op beta7?

[Kriss1981]

[b][message=38738031,noline]
Werkt vlekkeloos, op bekend probleem met SABNZB+ na.

Die kan ik toch wel gewoon via die Howto van Kriss op zfsguru.com installeren?
Of beter wachten op beta7?

Dat gaat alleen werken als je de portstree update.

Misschien kun je nog een week wachten, totdat CiPHER de volgende beta en systemimage klaar heeft.

[Verwijderd]

ZFSguru 0.2 beta7 kun je volgend weekend inderdaad verwachten; maar dus niet SABnzbd+ wat los staat van een nieuwe web-interface of system image.

Het probleem: de scripts in /usr/local/etc/rc.d/ voor de 'extra' services couchpotato, headphones en sickbeard werken enkel wanneer slechts één van de drie programma's draait. Daar zit hem het probleem; met nieuwe rc.d scripts kan het werken zoals vanouds. SABnzbd+ zelf is het probleem niet, die wordt via de portstree geïnstalleerd dat lijkt allemaal goed te werken.

[wjn]

Oké. Ik wil sowieso het systeem nog "stresstesten" en zo, voordat ik'het daadwerkelijk ga gebruiken, dat weekje kan ik dan wel wachten voor beta7. En ondertussen wat experimenteren met SABNZB+ etc. op ZFSGuru / FreeBSD.

[kdbruin]

Ik ben een inventarisatie aan het maken om m'n huidige Ubuntu server te upgraden en hierbij wil ik overstappen naar FreeBSD/ZFSguru. Ik heb nu de volgende disk configuratie: 2x 1TB, 2x 2TB, 2x 2TB in RAID1. In de nieuwe server wil ik alle bestaande 2TB schijven gebruiken maar ik moet de bestaande data ook overzetten.

Het idee is om met RAIDZ2 te gaan gebruiken maar ik zit met de vraag hoe ik dit alles ga omzetten. De data van de RAID1 array kan ik tijdelijk op een losse 1TB disk zetten en kan dan beschikken over een 2TB disk. De andere 2x 2TB disks staan te vol om hier even een backup van te maken.

Aangezien er toch disks bij gaan komen, vraag ik me alleen af hoeveel nieuwe disks ik moet kopen? Kan ik met bijvoorbeeld 2 extra disks alvast een RAIDZ2 maken van 3x 2TB disks en daar later de overige disks aan toevoegen? Of zit je vast aan het aantal disks waar je mee start?

[FireDrunk]

Ja en nee, ja kan een RAIDZ(2) volume niet vergroten. Wel kan je de array aanmaken met missing disks.
Als je dus uiteindelijk naar 6 disks in RAIDZ2 wil, kan je eerst 4 disks in RAIDZ2 hangen met 2 missing disks. Dan heb je dus effectief 8TB aan ruimte maar heb je (even) geen bescherming.
Later kan je dan 2 x 2TB er aan toevoegen en zorgt ZFS voor de redundantie.

(Dat is overigens met ZFSguru makkelijker dan met FreeNAS volgens mij, aangezien FreeNAS niet zo makkelijk met Memory disks werkt als dat ZFSguru dat doet/kan).

[Verwijderd]

Je kunt met ZFSguru een memory disk maken - je kunt hem rustig 2000 terabyte maken; de ruimte wordt pas nodig naarmate je de disk vult. Die memory disk gebruik je als tijdelijke disk. Dus als je 3 echte disks hebt kun je een 5-disk RAID-Z2 maken met dus 3 echte disks en 2 'nep' memory disks. Direct na het aanmaken van de pool reboot je, dan zijn de memory disks weg en draai je degraded. Later kun je dan één tot twee extra disks toevoegen aan de pool die je dan de RAID-Z2 bescherming geeft, tot die tijd heb je dezelfde bescherming als RAID0: wel redundante metadata maar bad sectors kunnen wel aan je databestanden knagen.

Als je 4K sector disks gaat gebruiken is een 6-disk RAID-Z2 overigens wel veel beter dan 5-disk.

FD: Ach staat wel leuk zo.

[FireDrunk]

[dubbelpost]

[kdbruin]

Dat is duidelijk. Ik heb nu 2x Samsung HD203WI en 2x Samsung HD204UI disks en dit zijn geen 4K disks (de HD204UI heeft wel 4K sectors maar presenteert zich als 512B). Maar de huidige en toekomstige schijven zijn dat waarschijnlijk wel dus kan ik dan nu de boel beter gelijk met 4K sectors configureren (bij gebruik van de HD204UI disks) of ga ik voor een simpel NASje het verschil niet merken.

Qua gebruik is de NAS voor backup (wil gelijk off-site backup via CrashPlan toevoegen) en het opslaan van m'n muziek en films zodat ik die gemakkelijk kan streamen en de CD/DVDs in de kast kan opbergen. Verder draait er ook nog SabNZBDplus, SickBeard, CouchPotato server, Apache en wat andere zaken.

[FDMK]

Ik heb sinds kort dat ik geen >2GB HD films meer kan streamen over

ZFS(VM)>ISCSI naar windows server >CIFS/samba naar windows client.

Op deze manier gaat het ding enorm hakkelen en bufferen. Nu is het wel zo dat mn pool wat voller is dan eerst. Dat zou ook een impact kunnen zijn.
Hoe kan ik dit verhelpen? Zou het helpen om een volume op basis van NFS aan te bieden
(ipv iSCSI) aan mijn Windows of zal meer ram aan mijn ZFS-bak meer effect hebben?

[FireDrunk]

Bij files groter dan 2GB gaat hij hakkelen? Weet je dat heel zeker? Ik vind het nogal een vreemd limiet om aan te tikken over iSCSI

[FDMK]

FireDrunk schreef op woensdag 15 augustus 2012 @ 13:34:
Bij files groter dan 2GB gaat hij hakkelen? Weet je dat heel zeker? Ik vind het nogal een vreemd limiet om aan te tikken over iSCSI

1,5GB gaat prima maar daarna zakt een transfer bijvoorbeeld al hard in(90-120> 60-70) en mkv's van boven de 2GB is gewoon niet te doen.

[Verwijderd]

Je kunt eens beginnen met meten door sync=disabled te zetten. Je laat dan de filesystem consistency los. Dat betekent dat ZFS zelf consistent zal blijven, maar vanuit het perspectief van de applicatie niet meer. Je kunt dus een corruptie-vrij maar inconsistent filesystem hebben.

De omweg van ZFS naar ZVOL, van ZVOL naar iSCSI, van iSCSI naar iSCSI-initiator, van block-device naar NTFS, van NTFS naar CIFS van CIFS naar de uiteindelijke client. Zo dat is een lange chain; niet goed voor je performance natuurlijk er kan vanalles misgaan hier.

Maargoed, begin eens met:
zfs set sync=disabled tank/sharedfilesystem

vervang tank/sharedfilesystem door de filesystem waar je iSCSI-images op staan. Als je ZVOLs gebruikt ipv files kun je ook direct de ZVOL opgeven (tank/filesystem/ZVOL1).

[FDMK]

Ik ga die sync inderdaad uitzetten, bedankt voor de tip.
De chain inderdaad erg lang en een bron van overhead. Hoe kan ik dat het beste ondervangen? Op dit moment heb ik een zVol die ik als iSCSI aanbiedt. Als ik nfs mount op mn windows server snij ik sowieso de iSCSI laag weg, toch? Dus geen block-file conversie meer.
Zeker dat volume dient als fileshare voor mn windows/xbmc clients.

[ Voor 9% gewijzigd door FDMK op 15-08-2012 13:54 ]

[FireDrunk]

Waarom heb je uberhaupt al je data in een iSCSI volume gezet? Je kan toch gewoon met ZFSgur (of FreeNAS, wat je ook hebt) Windows shares maken?
Dan heb je je windows server helemaal niet nodig om de bestanden te delen?

[FDMK]

FireDrunk schreef op woensdag 15 augustus 2012 @ 14:10:
Waarom heb je uberhaupt al je data in een iSCSI volume gezet? Je kan toch gewoon met ZFSgur (of FreeNAS, wat je ook hebt) Windows shares maken?
Dan heb je je windows server helemaal niet nodig om de bestanden te delen?

Geen idee waarom ik daarvoor eb gekozen, gemak i guess. Die windowsserver heb ik voor AD/media/vpn/download doeleinden. Ik wil die server mijn downloads laten afwerken en laten storen om die zfsguru VM.

[FireDrunk]

Dat kan ook allemaal via CIFS/SMB... Heb je genoeg ruimte over om het om te zetten?
Want dan kan je nu een nieuwe share aanmaken op de ZFS VM, en kopieer je alle data uit de iSCSI LUN naar de share.

[FDMK]

FireDrunk schreef op woensdag 15 augustus 2012 @ 14:23:
Dat kan ook allemaal via CIFS/SMB... Heb je genoeg ruimte over om het om te zetten?
Want dan kan je nu een nieuwe share aanmaken op de ZFS VM, en kopieer je alle data uit de iSCSI LUN naar de share.

Dat gaat me wel lukken. En dan via drivemappings aan die windows-vm hangen.

[FireDrunk]

Precies, ik denk dat dat veel van je performance problemen oplost. Het kan goed zijn dat de netwerkinterface tussen de VM's vol zit/zat. Maak je gebruik van VMXNET3?

[FDMK]

FireDrunk schreef op woensdag 15 augustus 2012 @ 14:36:
Precies, ik denk dat dat veel van je performance problemen oplost. Het kan goed zijn dat de netwerkinterface tussen de VM's vol zit/zat. Maak je gebruik van VMXNET3?

Die windows bak wel.

[FireDrunk]

Je kan (met wat moeite) ook Zfsguru voorzien van vmxnet3.

[Durandal]

Korte vraag - Hoe controleer ik dat ZFS is ingesteld op 4K sectors (linux/native), en hoe stel ik het in?

[wjn]

Eerste test is wel aardig dacht ik. De advanced test met 5 disks en verder alle settings standaard gelaten:

Now testing RAID0 configuration with 4 disks: cWmRd@cWmRd@cWmRd@
READ: 489 MiB/sec 491 MiB/sec 512 MiB/sec = 498 MiB/sec avg
WRITE: 574 MiB/sec 577 MiB/sec 542 MiB/sec = 564 MiB/sec avg

Now testing RAID0 configuration with 5 disks: cWmRd@cWmRd@cWmRd@
READ: 716 MiB/sec 723 MiB/sec 721 MiB/sec = 720 MiB/sec avg
WRITE: 649 MiB/sec 643 MiB/sec 641 MiB/sec = 645 MiB/sec avg

[wjn]

Durandal schreef op woensdag 15 augustus 2012 @ 20:28:
Korte vraag - Hoe controleer ik dat ZFS is ingesteld op 4K sectors (linux/native), en hoe stel ik het in?

ff zoeken in dit topic:

5) check ashift with:
zdb -e <poolname> | grep ashift

ashift=9 means optimized for 512-byte sectors
ashift=12 means optimized for 4K sectors

[Megalith]

Durandal schreef op woensdag 15 augustus 2012 @ 20:28:
Korte vraag - Hoe controleer ik dat ZFS is ingesteld op 4K sectors (linux/native), en hoe stel ik het in?

In Solaris kan dit met zdb -e tank | grep ashift. Weet niet of dit in Linux hetzelfde is, maar is altijd het proberen waard.

Als hij aligned is op 4k drives geeft hij ashift=12 terug. voor 512B geeft hij 9.

[EnerQi]

een vraagje voor de zfsguru fans, wat doet "sendmail" als service in zfsguru?

Ik kan 'm starten en stoppen maar er komt nergens een optie om 'm te gebruiken. Ik verwacht dat die service gebruikt wordt om te (status)mails te sturen.

[CurlyMo]

Er worden geen statusmails verstuurd door ZFSGuru dus sendmail zul je zelf moeten configureren. Dat is op zich vrij simpel, even zoeken op Google. Zelf vind ik het handiger om ssmtp te gebruiken:

code:

pkg_add -rv ssmtp

/usr/local/etc/ssmtp/ssmtp.conf

code:

root=[e-mail]
mailhub=smtp.gmail.com:587
AuthUser=[e-mail]
AuthPass=******
UseSTARTTLS=YES

code:

pw useradd ssmtp -g nogroup -h - -s /sbin/nologin -d /nonexistent -c "sSMTP pseudo-user"
cd /usr/local/etc/ssmtp
chown ssmtp:wheel .
chmod 4750 .
chown ssmtp:wheel . ssmtp.conf
chmod 640 ssmtp.conf
chown ssmtp:nogroup /usr/local/sbin/ssmtp
chmod 4555 /usr/local/sbin/ssmtp

/etc/mail/mailer.conf

code:

sendmail    /usr/local/sbin/ssmtp
send-mail   /usr/local/sbin/ssmtp
mailq       /usr/libexec/sendmail/sendmail
newaliases  /usr/libexec/sendmail/sendmail
hoststat    /usr/libexec/sendmail/sendmail
purgestat   /usr/libexec/sendmail/sendmail

Op dat moment gaat je mail gewoon via gmail (en dergelijken) waardoor je ook provider onafhankelijk bent.

[Verwijderd]

EnerQi: die 'internal' services zijn eigenlijk niet bedoeld om handmatig te starten. NTP bijvoorbeeld moet eerst een goede configfile hebben voordat je hem zou moeten gebruiken; al zal het je data niet wissen ik weet niet wat er dan precies gebeurt dus ik ben daar zelf een beetje huiverig voor.

Maar Sendmail is een SMTP email service. Het hoort niet te draaien, hoort enkel voor outbound email gebruikt te worden. In dat geval draait Sendmail alleen zodra een applicatie (ZFSguru?) een email verstuurt naar een emailadres en emailserver.

Edit: zie hierboven, mooi overzicht! Bedankt.

[ Voor 4% gewijzigd door Verwijderd op 15-08-2012 21:46 ]

[EnerQi]

Ik zit nog in de testfase dus iets breken maakt niet zoveel uit . Ik probeer gewoon zfsguru uit en om te kijken wat ik er allemaal mee kan (of zou kunnen doen).

CurlyMo, bedankt voor je scriptwerk! (helaas zal ik me er meer in moeten verdiepen voor ik zoiets wil proberen )

[Ultraman]

Zo, wat is een diskje vervangen toch weer lekker asociaal makkelijk.
zpool offline deze disk maar ff, slechte disk er uit, verse disk er in, partitie gelijk maken aan de rest en "yo zpool, ik heb een vervangend vriendje voor je".

En staat nu vrolijk te resilveren.

[ Voor 5% gewijzigd door Ultraman op 15-08-2012 22:43 ]

[Verwijderd]

Goed nieuws als je zelfs díe stap wilt vermijden: FreeBSD 9.1 zou de nieuwe 'hot-swap' daemon moeten bevatten, al kan ik daar geen concrete info over vinden het staat wel in de 9.1 How-To. Hopelijk kan dit wel in FreeBSD 9.1-RELEASE terecht komen. Dan heb je échte hot swap als je dat wilt, zonder human intervention.

Wat wel zo is, is dat je liever een RAID-Z2 hebt dan een RAID-Z met hot-swap. Maar stel je hebt een flink beest met twee of drie groepen van RAID-Z of RAID-Z2, dan wil je misschien wel een hotswap disk hebben. Die kan toch lekker in spindown. Mocht hij nodig zijn kan hij binnen 10 seconden aan het werk om de data te ontvangen die op de gefaalde disk zou moeten staan.

[Ultraman]

Dan wordt het interessant om met de kerstdagen eens te kijken of ik een leuke hot-swap bay kan vinden

[Dadona]

Is dat dan niet vooral een hotspare oplossing, in plaats van een hot-swap? Voor hot-swap moet je nog altijd zelf wat doen. Overigens neig ik er persoonlijk toch naar om bij een (degraded) RAID-Z om data over te zetten en andere dingen te doen, alvorens ik een resilver doe, als ik die al doe. Zeker als het al wat oudere, grote, schijven zijn ben ik niet zo'n fan van een lang resilverproces dat goed moet gaan.

[FireDrunk]

Mja, daar valt ook wel wat van te zeggen, maar aan de andere kant. Mijn gigantische array kan 2 disk failures hebben, en bij 1 ga ik me dus nog geen zorgen maken.

(Relatief) kleine RAIDZ arrays kan je inderdaad misschien wel het beste backuppen, maar aan de andere kant ben ik persoonlijk niet bang dat er 2 disks tegelijk zó kapot gaan dat ZFS er mee stopt.

[Dadona]

Ik had het dan ook over RAID-Z niet RAID-Z2. Bij RAID-Z2 zou ik graag een optie hebben om niet een resilver door te zetten als de tweede disk eruit valt.
Maar zoals ik eerder al eens aangaf is dit automatische gebeuren op zich prima, maar ik wil nog altijd wel de call kunnen maken. Zijn het erg oude schijven dan zou ik misschien bij de eerste failed drive al overwegen om de hele zaak op te heffen.
Om deze reden kies ik er ook niet voor om een cold/hotspare te hebben. Dan investeer je nu al geld, als het niet hoeft is het handig om dit even te laten.

[FireDrunk]

Ik zou ook echt alleen bij hele (hele) grote arrays een hotspare gebruiken.
Maar ik heb liever 24 disks in RAIDZ3 dan 23 in RAIDZ2 met een hotspare.

Het heeft ook alleen maar zin als je meerdere arrays hebt.

Als je bijvoorbeeld 6 arrays van 12 disks hebt, kan ik me nog voorstellen dat je een hotspare gebruikt.

[Verwijderd]

Dadona schreef op donderdag 16 augustus 2012 @ 08:54:
Is dat dan niet vooral een hotspare oplossing, in plaats van een hot-swap?

Technisch klopt dat ja, maar dat onderscheid probeerde ik helemaal niet te maken.

Ik bedoelde dus hotspare, zo worden ze ook in ZFS genoemd: 'spare devices'. Het bijzondere aan deze devices is dat ze aan meerdere pools kunnen worden toegevoegd, terwijl normaliter een disk maar aan één pool kan worden toegevoegd en dan als zijnde 'in gebruik' wordt aangemerkt.

Dadona schreef op donderdag 16 augustus 2012 @ 09:36:
Ik had het dan ook over RAID-Z niet RAID-Z2. Bij RAID-Z2 zou ik graag een optie hebben om niet een resilver door te zetten als de tweede disk eruit valt.

Hoe bedoel je dit precies, als een 2e disk uitvalt draai je dus double degraded en kan de resilver gewoon doorgaan zodat je zo snel moglijk tenminste weer één redundante source hebt. Waarom zou dat proces willen uitstellen? Vroeg of laat moet je de gegevens toch aanspreken dus liever zo snel mogelijk resilveren lijkt mij het beste?

En ik heb verder prima ervaring met oudere schijven. Wel in RAID-Z2 maar zo draaien nog twee oude bakjes van mij elke weer als backup. Ook de lagere snelheid is door rsync niet zo'n probleem. Aantal passieve bad sectors is ook al meer dan een jaar stabiel nu dus ik ben best tevreden over mijn pakweg 36 oude schijven. Alleen hun idle vermogen is vééls te hoog, maar ze staan dan ook maar eens per week/ 2 weken aan.

[FireDrunk]

Omdat resilveren load op je schijven betekend.

In het "grote" Google artikel over harddisk failures, staat wel heel duidelijk dat de load van een disk niet uitmaakt of een disk snel faalt. En dat is juist voor mij de reden dat ik alles automatisch laat rebuilden.

[ Voor 6% gewijzigd door FireDrunk op 16-08-2012 13:14 ]

[Dadona]

Het gaat mij er meer om waar je eerder mee klaar bent, niet zozeer de load op zich. Een resilver doet alles en moet volledig slagen. Valt er in die extra dag gebruik nog wat uit dan heb je niets. Zet je een andere array op (of beter, doe je een update naar de wekelijkse backup) dan kun je prioriteit geven aan bepaalde mappen. Misschien ben je dan effectief even lang bezig, maar gaat het fout dan heb je a) nog iets b) de belangrijkere dingen.

Wat ik mij wel overigens afvraag is of onregelmatige load uitmaakt. Ik kan mij zo voorstellen dat de statistieke van Google wel over wat constantere belasting gaan? Dus een schijf die voortdurend af en toe () bezig is versus een schijf die altijd heel actief bezig is. Maar de resilver kan bij een home NAS wel eens voor een patroon zorgen dat de NAS vaak niets doet met af en toe piekjes van heel actief en lang bezig zijn. Uiteindelijk zou dat ervoor kunnen zorgen dat 'het Google onderzoek' niet representatief is voor een home NAS.

[ Voor 37% gewijzigd door Dadona op 16-08-2012 13:48 ]

[Ultraman]

Of je de data nou wilt kopiëren of een resilver laat lopen, je spreekt in beide gevallen je disken aan en de data moet gelezen worden. Ja, bij een kopie zou je kunnen beginnen met wat voor jou het belangrijkst is.
Maar het echt belangrijke spul heb je als je verstandig bent toch al verspreid over meerdere locaties.

Een disk die continu bezig is verwacht ik eerder uitval van dan een disk die met vlagen wat doet. De eerste van die twee maakt namelijk veel meer bewegingen met zijn lees-/schrijfkop.
En een "extra dag" is aardig lang voor een resilver. Onthoud dat je enkel de met data beschreven blokken hoeft te doen. Hier was het in een uur of 3 gepiept, en mijn Barracuda LPs zijn niet bepaald de snelste disken op aarde... Array is 3TB en zit halfvol trouwens.

[FireDrunk]

Die verwachting is dus niet terecht. Uit onderzoek van Google blijkt dat het helemaal niet zoveel uit maakt.
Zelfs de temperatuur is niet van substantieel belang.

[cpf_]

FireDrunk schreef op donderdag 16 augustus 2012 @ 15:46:
Die verwachting is dus niet terecht. Uit onderzoek van Google blijkt dat het helemaal niet zoveel uit maakt.
Zelfs de temperatuur is niet van substantieel belang.

Heb je de url voor dat artikel? Spreekt me wel aan

[bhartman]

cpf_ schreef op donderdag 16 augustus 2012 @ 17:03:
[...]

Heb je de url voor dat artikel? Spreekt me wel aan

http://www.google.nl/url?...u5mMDlzXvPg0CSZPH6HavPX3g

[cpf_]

bhartman schreef op donderdag 16 augustus 2012 @ 17:09:
[...]


http://www.google.nl/url?...u5mMDlzXvPg0CSZPH6HavPX3g

Dank je, geeft me meteen ook de url research.google.com -> Kende ik nog niet

[0xygen]

Beste Tweakers,

Ik ben vandaag weer eens aan het proberen mijn nieuwe server aan te slingeren.
Opzich lukt het al heel aardig. Ik heb toch weer besloten om terug te gaan naar ZFSguru. Nu loop ik tegen het probleem op dat mijn Caching SSD van 48GB steeds vol loopt waardoor ESXI ermee stopt als ik een benchmark maak. Waar kan dit aan liggen?

Ik heb van de SSD toegevoegd via "cache devices"

[0xygen]

Ook ondervindt ik momenteel een preformence probleem...

Ik heb inmiddels de cache SSD verwijderd en mijn 4 HDD's in RAIDZ2 staan.

Met benchmarks haal ik daar redelijke resultaten mee:

ZFSguru 0.2.0-beta6 pool benchmark
Pool : Storage (7.06T, 0% full)
Test size : 64 GiB
Data source : /dev/zero
Read throughput : 68719.5 TB/s = 62500 TiB/s
Write throughput: 144.4 MB/s = 137.7 MiB/s

Echter als ik mijn data wil overzetten heb ik eerst een piek van 80 mb/s en die zakt dan terug naar de 30mb/s terwijl mijn systeem niet eens helemaal belast is:S

Zou het zin hebben (hoe jammer ik het ook vind) ESXI er af te gooien en dan ZFSguru als OS te installeren?

[ Voor 8% gewijzigd door 0xygen op 16-08-2012 21:11 ]

[Wouter.S]

0xygen schreef op donderdag 16 augustus 2012 @ 21:08:
Read throughput : 68719.5 TB/s = 62500 TiB/s

Ergens gaat toch iets mis met de meting ook

[0xygen]

Bij een 2e benchmark is die "normaal"

Read throughput : 253.4 MB/s = 241.7 MiB/s

[ Voor 116% gewijzigd door 0xygen op 16-08-2012 21:30 ]

[0xygen]

Inmiddels heb ik even een DVD-drive aan mijn server zitten om ZFSguru als OS te installeren. Dit om op deze manier uit te sluiten dat het aan ESXI ligt (ik ben daar nog niet heel ervaren mee zoals jullie wellicht merken).

Nu herkent hij mijn onboard netwerkkaart niet -.-'

[0xygen]

Even een update: ik ben weer terug bij af. Ik krijg mijn onboard netwerkkaart niet aan de praat. Dus ZFSguru draait nu weer onder ESXI.

Zou een losse netwerkkaart uitkomst kunnen bieden?

[FireDrunk]

Je hebt nergens je specs vermeld, dus dat kunnen wij niet ruiken...
Overigens is er een knopje om je laatste post bij te werken mocht je nog iets willen zeggen.

[ Voor 59% gewijzigd door FireDrunk op 16-08-2012 23:22 ]

[0xygen]

Bij deze de specs:

#	Product	Prijs	Subtotaal
4	Seagate Barracuda 7200.14 ST2000DM001, 2TB	€ 98,-	€ 392,-
1	Fractal Design Array R2 Mini ITX NAS Case	€ 123,80	€ 123,80
1	Intel Core i3 2120 Boxed	€ 107,-	€ 107,-
1	Samsung 830 series 64GB	€ 63,-	€ 63,-
1	Corsair CMV8GX3M2A1333C9	€ 37,45	€ 37,45
1	Asus P8H77-I	€ 91,95	€ 91,95
Bekijk collectie Importeer producten		Totaal	€ 815,20

Ik zal voortaan dat knopje gebruiken

[ Voor 99% gewijzigd door 0xygen op 16-08-2012 23:35 ]

[FireDrunk]

Vreemd, MicroKid heeft die NIC wel aan de praat:
Microkid in "Zuinige ESXi Server"

[0xygen]

Ik had hem ook wel aan de praat, alleen werd hij dan dus vrij traag.
Als ik er een bestand naartoe schrif is de begin snelheid 87mb/s en die zakt dan naar ongeveer 30mb/s. Dat is naar mijn inzien niet helemaal de bedoeling als je schijven in Raidz2 staan.

Benchmarks zijn zoals een paar posts eerder genoemd prima.

[FireDrunk]

Op welke manier testte je?

[0xygen]

ZfSguru - Pools - benchmark

En SMB een share aangemaakt die ik gemount heb als netwerkschijf op mijn laptop. Vanaf mijn laptop dumpte ik er data op (mijn laptop heeft een ssd, daar zit dus niet de bottlenek). Thevens behaal ik Met mijn game pc soortgelijke resultaten.

[ Voor 21% gewijzigd door 0xygen op 16-08-2012 23:55 ]

[ImmortalSoul]

Zojuist ZFSguru geïnstalleerd, en ik moet zeggen dat het simpel en duidelijk in elkaar zit!

Alleen heb ik nu nog twee vragen. Ik heb een root-on-zfs installatie op mijn pool genaamd Mirror, en die heeft ook meteen een filesystem "mirror" aangemaakt. Deze heb ik gedeeld met Samba, en als ik met mijn windows laptop daarmee verbinding maak dan zie ik een lege map ZFSguru en dat is prima.

Nu wil ik al mijn bestanden (Films, series, data, backups) er weer op gaan zetten, wat is nu de "best practice" om het in te delen? Voor elke categorie een apart filesystem aanmaken, of gewoon één filesystem maken en daarin alles zetten? En moet ik zo'n filesystem weer ergens plaatsen?

En misschien een stomme vraag, maar het default filesystem wat hij zelf aanmaakt (Mirror in mijn geval). Hij geeft aan dat er 482MB inzit, maar als ik via de filebrowser kijk is hij leeg. Wat doet hij/wat moet ik met dit filesystem doen, of kan ik hem verwijderen?

[ Voor 20% gewijzigd door ImmortalSoul op 17-08-2012 00:23 ]

[Verwijderd]

Share niet je hoofd filesystem maar maak een filesystem aan op de Files pagina (bovenaan). Dus maak bijvoorbeeld Mirror/share aan en deel dit filesystem in plaats van je 'hoofd' filesystem. Die laatste kun je het beste met rust laten bij voorkeur. Zou je namelijk compressie of andere zaken hier instellen, dan geldt dit opeens voor alle filesystems (by default).

Je kunt gewoon één filesystem gebruiken en daat mapjes maken, dat is het makkelijkste. Je hoeft alleen meerdere filesystems aan te maken als je wilt dat data X andere settings (compressie bijvoorbeeld) heeft dan data Y. Zie filesystems dus als 'speciale mappen'.

Belangrijk weetje: het verplaatsen van een groot bestand (10GB) binnen een filesystem gaat héél snel (<1 sec) omdat alleen de verwijzing wordt aangepast het bestand blijft staan waar het staat. Heel anders is dit als je het verplaatst naar een ander filesystem. Dit is net als het verplaatsen van C: schijf naar D: schijf ook al staan beide op dezelfde schijf; je moet dan in feite kopiëren en kunt niet snel verplaatsen. Echter, als je dit doet via Samba / Windows pc, dan gaat het verplaatsen lokaal op de server tegen maximale snelheid; er wordt dan geen data via de windows PC uitgewisseld.

Je kunt je hoofd filesystem niet verwijderen; dan verwijder je in feite de hele pool. De systeem filesystem waar root-on-zfs op geïnstalleerd is, is standaard verborgen op de Files pagina. Maar je kunt onderaan op dat donkere balkje klikken en alle filesystems zien.

En nog iets: 'mirror' is een beschermde naam, 'Mirror' wordt wel toegestaan, maar om verwarring te voorkomen is dit een 'verboden' naam in de opkomende beta7. Dat is geen probleem als je hem al zo hebt aanmaakt, maar in vervolg kun je beter een andere naam kiezen en als het even kan lower case.

[0xygen]

Ik ben inmiddels weer het een en ander aan het proberen op het gebied zijn schrijfsnelheid en die hier een voor mij vreemde ontdekking:


RAIDZ2 zonder Cache:
ZFSguru 0.2.0-beta6 pool benchmark
Pool : Storage (7.06T, 0% full)
Test size : 64 GiB
Data source : /dev/zero
Read throughput : 263.7 MB/s = 251.5 MiB/s
Write throughput: 107.4 MB/s = 102.5 MiB/s

RAIDZ zonder Cache:
ZFSguru 0.2.0-beta6 pool benchmark
Pool : Storage (5.31T, 0% full)
Test size : 64 GiB
Data source : /dev/zero
Read throughput : 248.3 MB/s = 236.8 MiB/s
Write throughput: 201.2 MB/s = 191.9 MiB/s

Hoe kan RAIDZ met 3 disks sneller zijn dan RAIDZ2 met 4 disks?

En als ik ZFSguru als OS wil installeren, is het dan raadzaam om een losse netwerkkaart in mijn eerder genoemde setup? Als ik namelijk ZFSguru wil draaien als OS wordt mijn onboard netwerkkaart niet herkent...


EDIT: Ik schrijf momenteel vanaf mijn laptop een bestand naar de Storage pool dmv. SAMBA en mij valt op dat de processor daar vrij zwaar bij wordt belast.. dit terwijl compressie uit staat.. tevens is de snelheid ook niet optimaal zakt van 70 MB/s naar 28 MB/s. Als ik vervolgens dat bestand weer terug kopieer heb ik een snelheid van 60-70 MB/s.

Even 2 screenshots geknutseld:

[ Voor 22% gewijzigd door 0xygen op 17-08-2012 11:44 ]

[Verwijderd]

FireDrunk schreef op donderdag 16 augustus 2012 @ 15:46:
Die verwachting is dus niet terecht. Uit onderzoek van Google blijkt dat het helemaal niet zoveel uit maakt.
Zelfs de temperatuur is niet van substantieel belang.

Dat vind ik dus héél gevaarlijke conclusies uit het Google-rapport. Hiermee is getest met een constante temperatuur, waarbij een lagere temperatuur is behaald door actieve koeling, en een hogere temperatuur door minder actieve koeling.

Mijn eigen theorie is dat hardeschijven niet zozeer gevoelig zijn voor temperatuur, maar temperatuurschommelingen. Elke keer opwarmen en afkoelen betekent dat het metaal continu uitzet en weer krimpt. Deze 'temperatuur-delta' is wat volgens mij echt schadelijk is voor schijven.

Daarnaast kan actieve koeling mijns inziens ook slecht zijn voor je schijf. Doordat je de koeling bijvoorbeeld vooral de bovenkant of onderkant afkoelt, krijg je geen uniforme hitteontwikkeling maar zitten er temperatuurverschillen in het metaal zelf. Kortom, het ene deel zet meer uit dan het andere.

De studies van Google zijn gedaan in een datacentrum waar de temperatuur constant is. Dat is simpelweg onvergelijkbaar met een thuissituatie waar een schijf veel minder netjes wordt gebruikt qua vibraties, schokken, onregelmatige start/stop cycles en uiteindelijk ook temperatuur. Bij consumenten komt het regelmatig voor dat de schijven bij 20 graden beginnen maar bij 53 graden eindigen, bijvoorbeeld. Voor schijven die wel actief gekoeld worden, kan het niet gelijkmatig koelen van de schijf ook een effect hebben.

Kortom, deze Google studie heeft denk ik voor consumenten een slechte functie gehad, omdat consumenten deze studie aanhalen om de thermische eigenschappen en kwetsbaarheden van mechanische schijven te bagatelliseren.

Ik denk dat het béste is dat je schijf zo min mogelijk temperatuurschommeling meemaakt (deltaT) en bij voorkeur geen actieve koeling gebruiken maar een zuinige schijf die met passieve koeling zéér uniform opwarmt en rustig afkoelt zodra het systeem uit gezet wordt. Dat lijkt me een geschikte omgeving voor een hardeschijf. Datacentra zijn ideaal omdat schijven hier vaak continu draaien in een 'steriele' omgeving die nauwelijks verandert; ideaal dus maar 180 graden anders dan de typische thuissituatie.

[FireDrunk]

Mjah daar heb je een punt, ik kan even niet in dat document kijken (stomme proxy), maar ik dacht dat ze ook scenario's benoemden met een inconsistente temperatuur. Maar misschien dat ik me vergis.

[Ultraman]

0xygen schreef op vrijdag 17 augustus 2012 @ 10:49:
Ik ben inmiddels weer het een en ander aan het proberen op het gebied zijn schrijfsnelheid en die hier een voor mij vreemde ontdekking:


RAIDZ2 zonder Cache:
ZFSguru 0.2.0-beta6 pool benchmark
Pool : Storage (7.06T, 0% full)
Test size : 64 GiB
Data source : /dev/zero
Read throughput : 263.7 MB/s = 251.5 MiB/s
Write throughput: 107.4 MB/s = 102.5 MiB/s

RAIDZ zonder Cache:
ZFSguru 0.2.0-beta6 pool benchmark
Pool : Storage (5.31T, 0% full)
Test size : 64 GiB
Data source : /dev/zero
Read throughput : 248.3 MB/s = 236.8 MiB/s
Write throughput: 201.2 MB/s = 191.9 MiB/s

Misschien dat de raid-z2 net wat meer latency en cpu-gebruik met zich meebrengt?
Zijn dit eenmalige resultaten of heb je dit consequent?

En als ik ZFSguru als OS wil installeren, is het dan raadzaam om een losse netwerkkaart in mijn eerder genoemde setup? Als ik namelijk ZFSguru wil draaien als OS wordt mijn onboard netwerkkaart niet herkent...

Als je netwerkkaart niet wordt herkend lijkt me dat een noodzaak toch?
Realtek 8111F volgens de specs?
Mijn RTL8111E wordt prima herkent en werkt ook uitstekend. Misschien dat je een module nog moet laden of dat deze een update heeft gehad in FreeBSD 10-CURRENT waarmee het wel werkt?

EDIT: Ik schrijf momenteel vanaf mijn laptop een bestand naar de Storage pool dmv. SAMBA en mij valt op dat de processor daar vrij zwaar bij wordt belast.. dit terwijl compressie uit staat.. tevens is de snelheid ook niet optimaal zakt van 70 MB/s naar 28 MB/s. Als ik vervolgens dat bestand weer terug kopieer heb ik een snelheid van 60-70 MB/s.

Samba is een wat tricky beest.
Heeft ZFSGuru de aio module geladen? Zo nee, zeker doen. En vervolgens in de Samba config aangeven dat deze aio moet gebruiken, dat scheelt een berg load. Hier is de snelheid daarmee naar wens.

[FireDrunk]

AIO module? Care to explain?

[0xygen]

Ultraman schreef op vrijdag 17 augustus 2012 @ 17:58:
[...]

Misschien dat de raid-z2 net wat meer latency en cpu-gebruik met zich meebrengt?
Zijn dit eenmalige resultaten of heb je dit consequent?

Het resultaat van RAIDZ2 wel, RAIDZ ben ik nu nog een andere benchmark mee aan het draaien. Het lijkt mij wel dat hij bij RAIDZ2 veel teveel vraagt van de processor...

EDIT: RAIDz is niet heel erg consequent, ik vind het nog wel acceptabel. Resultaat 2e benchmark:
ZFSguru 0.2.0-beta6 pool benchmark
Pool : Storage (5.31T, 0% full)
Test size : 64 GiB
Data source : /dev/zero
Read throughput : 246.4 MB/s = 235 MiB/s
Write throughput: 169.7 MB/s = 161.8 MiB/s

[...]
Als je netwerkkaart niet wordt herkend lijkt me dat een noodzaak toch?
Realtek 8111F volgens de specs?
Mijn RTL8111E wordt prima herkent en werkt ook uitstekend. Misschien dat je een module nog moet laden of dat deze een update heeft gehad in FreeBSD 10-CURRENT waarmee het wel werkt?

Ik zou niet weten hoe ik mijn onboard kaart kan toevoegen of updaten:S Ook weet ik niet of hij werkt met FreeBSD. Wel weet ik dan NAS4FREE hem ook niet accepteerd als ik NAS4FREE als OS wil installeren

U raad mij hiermee dus aan een nieuwe netwerkkaart aan te schaffen? Zo ja, waar moet ik mee rekening houden? Waar zit hem het prijsverschil in? je hebt ze al vanaf ca. 8,-

[...]
Samba is een wat tricky beest.
Heeft ZFSGuru de aio module geladen? Zo nee, zeker doen. En vervolgens in de Samba config aangeven dat deze aio moet gebruiken, dat scheelt een berg load. Hier is de snelheid daarmee naar wens.

Wat raad u precies aan als alternatief? Helaas begrijp ik u hier niet helemaal mee... Ik zal het vanavond nog eens onderzoeken.

[ Voor 9% gewijzigd door 0xygen op 17-08-2012 19:44 ]

[Durandal]

Daarnaast kan actieve koeling mijns inziens ook slecht zijn voor je schijf. Doordat je de koeling bijvoorbeeld vooral de bovenkant of onderkant afkoelt, krijg je geen uniforme hitteontwikkeling maar zitten er temperatuurverschillen in het metaal zelf. Kortom, het ene deel zet meer uit dan het andere.

De studies van Google zijn gedaan in een datacentrum waar de temperatuur constant is. Dat is simpelweg onvergelijkbaar met een thuissituatie waar een schijf veel minder netjes wordt gebruikt qua vibraties, schokken, onregelmatige start/stop cycles en uiteindelijk ook temperatuur. Bij consumenten komt het regelmatig voor dat de schijven bij 20 graden beginnen maar bij 53 graden eindigen, bijvoorbeeld. Voor schijven die wel actief gekoeld worden, kan het niet gelijkmatig koelen van de schijf ook een effect hebben.

Ik geloof hier niet zo in voor wat NAS betreft. Je moet er van uit gaan dat voor een always on NAS ook de koeling altijd aan staat, dus die veroorzaakt geen temperatuur schommeling. Ja, er is dan lokaal temperatuur verschil in de behuizing maar aan de andere kant zijn al die behuizingen van aluminium en dat is een goede warmtegeleider. Voorts is, omdat de koeling constant is, ook de verschillen constant en misschien wel kleiner dan bij convectiekoeling. IIG geen delta.
Het enige probleem is als je dan ineens heavy use hebt waardoor de disks warmer worden, maar dan nog beperk ik het liever wat dan het alleen op convectie aan te laten komen, waar hetzelfde speelt.

Uiteraard moet je zelf wel voor een optimale airflow en montage zorgen. Zo kom ik er net achter (IR Thermometer) dat de onderkant can mijn disks heter zijn dan de bovenkant, dus misschien is op zijn kop monteren een optie. Verder is de print heter dan de kant waar de spindle zit. Dus misschien wel staand met de connectors omhoog en lucht er aan beide zijden langs.

[Phasis]

CiPHER: ik draai nu ZFSguru 0.2.0-beta5 met system version 8.3-001 alleen ik krijg de samba shares niet zichtbaar onder OSX en Windows 7. Ligt dit aan de system version?

Edit:
Ik ben even veranderd van system version: 9.1-001 nu zijn de shares gewoon toegankelijk.

Zou je hier naar kunnen kijken Cipher?

[ Voor 29% gewijzigd door Phasis op 17-08-2012 20:22 ]

[0xygen]

Samba is een wat tricky beest.
Heeft ZFSGuru de aio module geladen? Zo nee, zeker doen. En vervolgens in de Samba config aangeven dat deze aio moet gebruiken, dat scheelt een berg load. Hier is de snelheid daarmee naar wens.

Het enige wat ik kan vinden bij global settings is dit:

aio read size 1
aio write size 1
aio write behind true

Is dit waar u op doelde?

[Verwijderd]

AIO = Asynchronous I/O en dat is een kernel module voor FreeBSD. Deze wordt standaard geladen als je ZFSguru gebruikt al sinds een lange tijd. De smb.conf samba configuratie doent ook het bovenstaande stukje gepost door djrc18 te hebben; de setting van 1 zorgt dat voor alle I/O, async I/O wordt gebruikt.

Performance vind ik lastig te zetten; test zoveel als je kan inclusief je fysieke disks. Dat RAID-Z2 veel CPU-kracht vergt is niet zo; een Brazos kan prima een 6-disk RAID-Z2 met scores ver boven de gigabit aan. Jouw scores zijn wat teleurstellend.

Verder: als je netwerkthroughput terugvalt (check dit met task manager > network) is dit een probleem met ZFS transaction groups als je merkt dat de netwerktransfer af en toe stil staat, en later weer verder gaat. Gemiddeld kom je dan maar aan een lage score. In dit geval krijgt ZFS de data niet snel genoeg weggeschreven.

Test al je schijven ook even los met de simple disk benchmark, soms kan het zijn dat één schijf trager is dan de rest en een hele array/pool naar beneden trekt.

Maar, begin eens met een andere netwerkcontroller, dat kan het ook zijn. Een Intel PRO/1000 CT kaartje (PCIe x1) is een uitstekende koop voor iets meer dan twee tientjes. Als je een los kaartje koop; koop dan alleen Intel!

@Phasis: Samba shares niet zichtbaar onder OSX klopt; je moet zelf connect to server OID doen. Voor Win7 clients hoor je ZFSguru wel te zien bij network of als je in adresbalk \\ZFSguru invult. Als dat niet zo is, is er iets mis met je netwerk of ZFSguru.

Durandal schreef op vrijdag 17 augustus 2012 @ 19:49:
Ik geloof hier niet zo in voor wat NAS betreft. Je moet er van uit gaan dat voor een always on NAS ook de koeling altijd aan staat, dus die veroorzaakt geen temperatuur schommeling. Ja, er is dan lokaal temperatuur verschil in de behuizing maar aan de andere kant zijn al die behuizingen van aluminium en dat is een goede warmtegeleider.

Het aan en uitzetten van je NAS zorgt voor temperatuurverschil
De omgevingstemperatuur van je kamer zorgt voor temperatuurverschil (dag, nacht)

Maar ik denk dat veel meer effect heeft dat als je een ventilator gebruikt om je schijven te koelen, je schijven niet uniform gekoeld worden maar intern dus grote afwijkingen kunnen hebben. Op één plek waar de lucht snel langskomt kan de schijf gelijk aan ambient temp zijn, maar aan de andere kant weer een stuk warmer. Bij 120mm fans aan de voorkant van de kast wat veel gebeurt zijn het vaak de onderste en bovenste schijven die geen 'uniforme' lucht over zich heen krijgen. Ik kan me zo voorstellen het het feit dat één deel van het metaal zich verder uitzet dan het andere deel, dit een soort 'twisting force' genereert. Subtiel dat wel, maar het metaal hoeft waarschijnlijk niet heel veel te 'werken' voordat je problemen krijgt met de mechanische onderdelen.

Je delta kan nooit 0 zijn, al is het maar omdat je in de praktijk ook de schijven gebruikt en dan verbruiken ze net wat meer stroom. Als je zorgt dat temperatuurschommelingen heel rustig opbouwen en afbouwen dan heb je hier geen probleem mee denk ik. Maar vooral actieve koeling kan denk ik nog wel eens schadelijk zijn als dat niet uniform gebeurt.

Uiteraard moet je zelf wel voor een optimale airflow en montage zorgen. Zo kom ik er net achter (IR Thermometer) dat de onderkant can mijn disks heter zijn dan de bovenkant

Exactly my point, dit soort situaties wil je minimaliseren.

En leuke tip: je kunt met een goed SMART prog de temperaturen uitlezen, als het even kan met min en max erbij. Dan kun je precies zien wat je max delta is. Minimaal 17 graden max 53 = 36 graden delta bijvoorbeeld voor een doorsnee consumentencomputer met HDD.

[Phasis]

Verwijderd schreef op vrijdag 17 augustus 2012 @ 21:01:
@Phasis: Samba shares niet zichtbaar onder OSX klopt; je moet zelf connect to server OID doen. Voor Win7 clients hoor je ZFSguru wel te zien bij network of als je in adresbalk \\ZFSguru invult. Als dat niet zo is, is er iets mis met je netwerk of ZFSguru.
[...]

Samba shares werken prima onder OSX en Windows 7 als ik system version: 9.1-001 gebruik.
Na het installeren van system version 8.3-001 werkte dit dus niet.

Ik zal 8.3-001 morgen nog een keer testen.

[Durandal]

Verwijderd schreef op vrijdag 17 augustus 2012 @ 21:01:
[...]

Exactly my point, dit soort situaties wil je minimaliseren.

Bedenk je dan dat ik dat met 2 hitachi 4TBs heb gemeten op mijn buro, kartonnetje er onder en twee blokjes lego om de onderkant wat ruimte te geven. 100% puur convectie dus, geen geforceerde koeling.

Wil je dat dus minimaliseren zul je moeten koelen


Die Min/Max uit smart wordt trouwens onthouden, dus dat is over de levensduur van de disk. Er kan wel een jaar zitten tussen min en max. Niet echt wat je een thermische schok kan noemen.

Vwb Google; Die mogen dan een stabiele temperatuur hebben in hun datacenters, maar denk je dat die hun schijven puur met convectie koelen?

[ Voor 39% gewijzigd door Durandal op 17-08-2012 23:34 ]

[Verwijderd]

Als je HDDs gaat stapelen zonder actieve koeling dan krijg je inderdaad die verschillen. Ik heb dat opgelost door de schijven verticaal te monteren ( === ipv || ) wat goed lijkt te werken zonder actieve koeling. Wel zitten er gaten aan de onderkant en zuigt het dus van nature een klein beetje lucht aan. Dit is een vrij ideale situatie denk ik met weinig temperatuurschommelingen.

Met koelen is dus het risico dat je één kant heel goed koelt maar de bovenkant veel warmer wordt. Daar ben ik zelf een beetje huiverig voor. Als je een 120mm fan met laag rpm neemt voor een licht briesje lijkt me dat prima om de schijven koeler te houden. Maar het beste is natuurlijk als de schijf van zichzelf zo weinig warmte genereert dat je zonder actieve koeling toch lekker koel blijft.

Zit je in een datacentrum waar de airco wat zachter wordt gezet, lijkt me dit helemaal niet slecht voor een schijf. Maar als een schijf die jarenlang op X temperatuur heeft gewerkt nu opeens op een hogere temperatuur gaat draaien, denk ik dat de kans op uitval of problemen dan wel eens flink kan toenemen.

Veel van deze theorieën zijn speculatie, dus je kunt eraan hechten wat je wilt.

Die Min/Max uit smart wordt trouwens onthouden, dus dat is over de levensduur van de disk. Er kan wel een jaar zitten tussen min en max. Niet echt wat je een thermische schok kan noemen.

Maar het geeft je wel een idee waar de uitersten liggen. En als de schijf ooit al flink heet is geweest, kan dat ook al invloed hebben op de levensduur. In elk geval potentiëel, want het blijven mechanische apparaten van metaal met snelbewegende onderdelen.

Vwb Google; Die mogen dan een stabiele temperatuur hebben in hun datacenters, maar denk je dat die hun schijven puur met convectie koelen?

Nee natuurlijk niet daar is de 'energy density' veel te hoog voor; die warmte kan nergens naartoe. Voor een thuissituatie of andere lage 'energy density' omgeving is natuurlijke convectie de beste manier van koeling, mits dat praktisch/mogelijk is.

[Durandal]

Ik zit er zelf ook aan te denken de disks vertikaal ( || dus ) te monteren in een 3x4 configuratie met in het verlengde het passief gekoelde brazos bordje. Aan een kant een 12 cm fan die blaast (langzaam op 7V of zo) en aan de andere kant evt. een voeding die zuigt (afhankelijk van welk type voeding ik uit kom).
In ieder geval wordt het een soort buis constructie. Onderdruk zal er voor zorgen dat er, in ieder geval tussen de disks, geen plekken zijn waar warmte zich kan ophopen.

Uiteraard wordt dit een zelfbouw kast. 2mm aluminium is goed te bewerken.

[Phasis]

CiPHER: Ik heb de system image version 8.3-001 nog een keer getest maar de samba shares werken niet.

[FireDrunk]

Heb je ze wel aangezet?

[Phasis]

FireDrunk schreef op zaterdag 18 augustus 2012 @ 10:52:
Heb je ze wel aangezet?

Ja er staat een vinkje bij shared with samba.
Ik heb dit 1x hoeven instellen. Als ik nu weer root-on-zfs kies met version 9.0-004 en reboot dan werkt alles weer.

Edit:
Ik zie het al bij internal services staat samba op STOPPED als ik op start klik krijg ik:
Warning: could not start Samba service!

[ Voor 18% gewijzigd door Phasis op 18-08-2012 10:56 ]

[wjn]

Welke checksum gebruiken jullie met ZFS? Fletcher2, Fletcher4 of SHA256?

Het schijnt zo te zijn dat SHA256 de beste manier is om checksums te berekenen, dwz. bij corruptie van bestanden is de kans dat de checksum niet klopt het grootst.

[Verwijderd]

@Phasis: als je inlogt met SSH (of via console>Shell) en je doet iets als:
/usr/local/etc/rc.d/samba start

wat zie je dan?

@wjn: de checksum is vooral cruciaal als je dedup gebruikt omdat anders je data gecorrumpeerd wordt. Maar dan is fletcher + verify beter omdat met verify er wordt gechecked of er een collission is. De corruptie-bescherming zonder dedup werkt prima met Fletcher2, SHA256 is veel zwaarder voor de CPU en dus ook voor readacties die dan een hogere latency krijgen. Als je CPU accelerated SHA256 doet is dit wel gaaf natuurlijk, of als je het hoogste niveau van corruptiebescherming wilt.

Maar het is niet zo erg zonder dedup als twee files dezelfe checksum delen. Wel als je dedup aan hebt staan (of had staan).