Dat gedoe met AD was voor mij de reden om er een windows-ding tussen te hangen.Rooke schreef op maandag 11 maart 2013 @ 13:32:
[...]
Waarom niet? De meesten die nerd genoeg zijn om een eigen nas-OS te draaien ipv synology hebben ook wel een AD en of dergelijke. Waarom dan geen AD ondersteuning zodat je lekker met je DC rechten kan uitdelen over shares.
Dit is voor mij de enige reden om N4F te gebruiken ipv ZFSguru.
Uh, AD? ik wil er ver van blijven hoor... Beetje vage rechtenstructuren implementeren en elke PC in huis afhankelijk laten zijn van je server? dankje de koekoek... Mijn server is een op zichzelf staand geheel waar je files kan afhalen en mee kan downloaden. De rest is bijzaak. Mijn vriendin moet echt geen tel last hebben als mijn server onderuit gaat...
Even niets...
Dat is gewoon smaak maar het zou wel makkelijk zijn om de mogelijkheid te hebben bij ZFSguru in plaats dat die keuze voor mij gemaakt wordt.
Any job you can do in your pajamas is not the hardest job in the world.
Het kan ook wel, maar je moet dan zelf /usr/local/etc/smb.conf aanpassen.
Gewoon een heel grote verzameling snoertjes
<offtopic>FireDrunk schreef op zondag 10 maart 2013 @ 22:50:
@aaahaaap, oVirt heeft nog steeds niet dezelfde web interface als RHEV volgens mij? En bovendien heeft oVirt ook een kernel versie uit het jaar nul volgens mij. Schijnbaar is het nog steeds echt te moeilijk om een recente kernel te implementeren. Ik bedoel, zelfs de LTS versies van Ubuntu zitten op 3.2.0 en de recente builds op 3.5.0. Gentoo werkt al jaren met een rolling release, en dat werkt ook zo prima.
Ik denk dat je de oude 2.x versie van RHEV bedoeld. Sinds 3.0 is er oVirt welke door Redhat RHEV genoemd word en je inderdaad support op krijgt. Systeem bestaat uit een webinterface en een volledige api welke je kan aanspreken als je niet van webui's houd.
Kernel is als je de F18 release gebruikt iets nieuwer dan de bovengenoemde
Als je wilt testen hoe het eruit ziet zonder je pc te offeren:
http://resources.ovirt.or.../tools/ovirt-live-1.0.iso
Verder info op de wiki van oVirt of via google: ovirt live iso
<ontopic>
Heeft iemand ervaring met coraid schijven welke gebruikt zijn voor ZFS (OI) en die in een ander systeem te zetten?
Joop
Ik was nog wat meer aan het lezen over root onzfs in freebsd en kwam dit tegen. Niet echt belangrijk maar wel een puntje op de i.
zijn idee hoe de disk er uit hoort te zien
zfsguru
Moet volgens mij goed te doen zijn in om in het instalatie script het begin van de freebsd-boot partitie op sector 40 te deponeren ipv 34.
Vooralsnog het is een detail, als het goed is wordt dit een of twee maal herschreven in het leven van de hardeschijf en eens in de zoveel maanden gelezen bij boot
gehele tekstThe first sector after the GPT (created with standard settings) which can be used as the first sector for a partition is sector 34 on a 512 bytes-per-sector drive. On a pseudo-4k-sector drive this would be somewhere in the sector 4 of a real 4k-sector, so this is not a good starting point. The next 4k-aligned sector on a pseudo-4k-sector drive is sector 40 (sector 5 on a real 4k-sector drive).
zijn idee hoe de disk er uit hoort te zien
code:
1
2
3
4
5
6
7
8
| # gpart show ada0 => 34 1953525101 ada0 GPT (931G) 34 6 - free - (3.0k) 40 1024 1 freebsd-boot (512k) 1064 984 - free - (492k) 2048 8388608 2 freebsd-zfs (4.0G) 8390656 1944059904 3 freebsd-zfs (927G) 1952450560 1074575 - free - (524M) |
zfsguru
code:
1
2
3
4
5
6
7
| gpart show ada0 => 34 5860533101 ada0 GPT (2.7T) 34 512 1 freebsd-boot (256k) 546 1502 - free - (751k) 2048 41943040 2 freebsd-zfs (20G) 41945088 5818588040 3 freebsd-zfs (2.7T) 5860533128 7 - free - (3.5k) |
Moet volgens mij goed te doen zijn in om in het instalatie script het begin van de freebsd-boot partitie op sector 40 te deponeren ipv 34.
Vooralsnog het is een detail, als het goed is wordt dit een of twee maal herschreven in het leven van de hardeschijf en eens in de zoveel maanden gelezen bij boot
Ik betwijfel echt of het zo belangrijk is dat je boot paritie op een sector boundary begint. Onjuiste alignment van je ZFS partitie kan voor behoorlijke prestatieproblemen zorgen, maar voor je boot partitie boeit het echt niet.
Ach. Gewoon niet te moeilijk maken. Als je slechts met tweeën bent is het zeker nogal overbodig maar met meer mensen (bv kinderen) heeft AD echt wel voordelen hoor zeker bij meerdere pc's en gedeelde bestanden. PC's hoeven verder helemaal niet afhankelijk te zijn behalve dat ze in het domein hangen. Ligt de server er een keer uit werken ze nog gewoon.FireDrunk schreef op maandag 11 maart 2013 @ 14:38:
Uh, AD? ik wil er ver van blijven hoor... Beetje vage rechtenstructuren implementeren en elke PC in huis afhankelijk laten zijn van je server? dankje de koekoek... Mijn server is een op zichzelf staand geheel waar je files kan afhalen en mee kan downloaden. De rest is bijzaak. Mijn vriendin moet echt geen tel last hebben als mijn server onderuit gaat...
Ik ben blij dat ik niet meer pc's/gebruikers apart hoef in te stellen. Ben met je eens dat je het wel zo simpel mogelijk moet houden
8.960 Wp - 16 kW Daikin L/W - 2 x MHI L/L - gasloos sinds 2017 - Loxone - SAP/IS-U/ABAP - rijdt nog LPG ;-)
Welke functies van AD gebruik je dan concreet in je netwerk? Rechten/shares/printers/authenticatie/dns/gpo?
[ Voor 12% gewijzigd door analog_ op 13-03-2013 19:30 ]
Gebruikersaccounts & rechtenbeheer op de bestanden (alle share permissions dan natuurlijk gewoon op all). Authenticatie hoort daar dan natuurlijk bij maar gebruik geen roaming profiles dat duurt veel te lang. Profiles backup ik dus met een scriptje gewoon einde dag.
Verder DNS (verplicht he) en DFS, heel handig als de server even offline moet dan worden alle shares automatisch doorgezet naar de backupserver.
GPO niet, wel mee geexprimenteerd maar is te omslachtig en voor mij te weinig toegevoegde waarde.
Verder DNS (verplicht he) en DFS, heel handig als de server even offline moet dan worden alle shares automatisch doorgezet naar de backupserver.
GPO niet, wel mee geexprimenteerd maar is te omslachtig en voor mij te weinig toegevoegde waarde.
8.960 Wp - 16 kW Daikin L/W - 2 x MHI L/L - gasloos sinds 2017 - Loxone - SAP/IS-U/ABAP - rijdt nog LPG ;-)
In de komende build van ZFSguru kun je Samba rechtenbeheer doen dus op Samba niveau ipv fileniveau. Je hebt dan geen active directory nodig gewoon op je ZFSguru server kun je gebruikers aanmaken en via een drag en drop interface aan rechten toekennen. En natuurlijk wachtwoorden instellen. Zo kun je toch redelijk complexe permissies instellen zonder iets als active directory te gebruiken.
Want tot nu toe is het beheren van permissies toch wel lastig. Er zijn veel mechanismen op allerlei niveau's. Standaard UNIX filepermissies, NFSv4 ACLs, Active Directory en dan op applicatieniveau zoals Samba zijn eigen authenticatie mechanismen heeft. Die kunnen elkaar ook bijten, dus vaak gebruik je eigenlijk maar één van de twee. Of authenticatie op fileniveau of authenticatie op applicatieniveau. Ik verkies dat laatste omdat het wellicht veel makkelijker te implementeren en beheren is.
Want tot nu toe is het beheren van permissies toch wel lastig. Er zijn veel mechanismen op allerlei niveau's. Standaard UNIX filepermissies, NFSv4 ACLs, Active Directory en dan op applicatieniveau zoals Samba zijn eigen authenticatie mechanismen heeft. Die kunnen elkaar ook bijten, dus vaak gebruik je eigenlijk maar één van de twee. Of authenticatie op fileniveau of authenticatie op applicatieniveau. Ik verkies dat laatste omdat het wellicht veel makkelijker te implementeren en beheren is.
Uiteindelijk aangekomen bij het installeren van ZFSguru als guest onder ESXi.
Eerste indruk; wat een geweldige distro. Alles gaat volledig via de automatische piloot. Je hebt in een wip de pool opgezet, dingen worden vanzelf duidelijk bij het volgen van de webinterface. Ik ga de software zeker gebruiken komende tijd. Het is echt makkelijk. Hierbij dus ook kudo's naar de ontwikkelaars.
Mijn moeder zou het zowat kunnen
Eerst nog even de volgende bug oplossen, ik krijg de volgende foutmelding bij start.
run_interrupt_driven_hooks: still waiting after 60 seconds for xpt_config mps_startup
Dit probleem is al eens langsgeweest in dit topic, http://zfsguru.com/forum/zfsgurusupport/343. De tijdelijke workaround werkte, helaas werkte de permanente oplossing niet. Nog maar even doorzoeken.
Eerste indruk; wat een geweldige distro. Alles gaat volledig via de automatische piloot. Je hebt in een wip de pool opgezet, dingen worden vanzelf duidelijk bij het volgen van de webinterface. Ik ga de software zeker gebruiken komende tijd. Het is echt makkelijk. Hierbij dus ook kudo's naar de ontwikkelaars.
Mijn moeder zou het zowat kunnen
Eerst nog even de volgende bug oplossen, ik krijg de volgende foutmelding bij start.
run_interrupt_driven_hooks: still waiting after 60 seconds for xpt_config mps_startup
Dit probleem is al eens langsgeweest in dit topic, http://zfsguru.com/forum/zfsgurusupport/343. De tijdelijke workaround werkte, helaas werkte de permanente oplossing niet. Nog maar even doorzoeken.
Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu
Dat is een bekend probleem, je moet FreeBSD 9.0 draaien eigenlijk, die heeft dat probleem niet. Maar MSI permanent uitschakelen kun je doen door /boot/loader.conf aan te passen. Die instructies die daar staan moet je uitvoeren vóór de installatie. Achteraf kun je hetzeflde doen maar dan edit je /boot/loader.conf in plaats van de roz_loader.conf in de web directory.
Jason is trouwens bezig met nieuwe builds, waaronder een nieuwe build van 9.0. Die kun je dan het beste gebruiken als je ESXi + RDM gebruikt. Want ESXi + RDM + FreeBSD 9.1 geeft problemen. De firmware die ESXi simuleert/emuleert is namelijk lager dan de driver verwacht. In 9.0 wordt nog een oudere driver gebruikt.
Jason is trouwens bezig met nieuwe builds, waaronder een nieuwe build van 9.0. Die kun je dan het beste gebruiken als je ESXi + RDM gebruikt. Want ESXi + RDM + FreeBSD 9.1 geeft problemen. De firmware die ESXi simuleert/emuleert is namelijk lager dan de driver verwacht. In 9.0 wordt nog een oudere driver gebruikt.
Verrek ...
Werkt inderdaad als een zonnetje. Hartelijk dank!
Het heeft wel risico's zie ik. Nu gebruik ik 1 vCPU, dus is er niets aan de hand, op het oog.
http://christopher-techni...devices-from-esxi-to.html
Binnenkort toch maar downgraden naar versie 9.0 denk ik.
Werkt inderdaad als een zonnetje. Hartelijk dank!
Het heeft wel risico's zie ik. Nu gebruik ik 1 vCPU, dus is er niets aan de hand, op het oog.
http://christopher-techni...devices-from-esxi-to.html
Binnenkort toch maar downgraden naar versie 9.0 denk ik.
[ Voor 5% gewijzigd door fonsoy op 13-03-2013 21:52 ]
Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu
Hij gebruikt geen RDM denk ik, want dan had hij zijn schijven helemaal niet kunnen benaderen. Je krijgt dan "unsupportable block size 0" en de enige workaround daarvoor is FreeBSD 9.0 gebruiken.Verwijderd schreef op woensdag 13 maart 2013 @ 21:37:
Die kun je dan het beste gebruiken als je ESXi + RDM gebruikt. Want ESXi + RDM + FreeBSD 9.1 geeft problemen. De firmware die ESXi simuleert/emuleert is namelijk lager dan de driver verwacht. In 9.0 wordt nog een oudere driver gebruikt.
Dat probleem heb ik ook, maar ik kan je vertellen dat het aanzetten/aanlaten van MSI en MSIX niet helpt. Ik kan maximaal 1 vCPU toewijzen met PCIe passthrough aan, of ik krijg interrupt storms op het device dat ik heb doorgeven (mijn SATA-controller)fonsoy schreef op woensdag 13 maart 2013 @ 21:51:
Het heeft wel risico's zie ik. Nu gebruik ik 1 vCPU, dus is er niets aan de hand, op het oog.
http://christopher-techni...devices-from-esxi-to.html
Vergeet niet dat FreeBSD 9.0 binnen een maand al EOL is. Daarnaast geldt wat CiPHER zegt alleen als je RDM gebruik om je schijven door te geven, wat jij niet lijkt te doen.Binnenkort toch maar downgraden naar versie 9.0 denk ik.
Ik draai ook ESXi 5.1 met FreeBSD 9.1, en geef mijn SATA-controller door met PCIe passthrough. Ik ondervindt behalve het interrupt storm-probleem verder geen problemen.
[ Voor 10% gewijzigd door Compizfox op 13-03-2013 22:14 ]
Gewoon een heel grote verzameling snoertjes
Ik heb inderdaad met PCIe passthrough de controller doorgegeven. Het gaat om een IBM M1015 met drie disks eraan. Hiervan kan ik o.a. de SMART waarden probleemloos uitlezen.
Op het blog wordt een 'horrorverhaal' beschreven, waarin de toegewezen tweede vCPU 100% bezig is met het afhandelen van de 'storm' aan interrupts. Het lijkt me vrij zinloos in dat geval om deze vCPU toe te voegen, tot nu toe lijken alle VM's prima te performen met slechts 1 vCPU.
Desondanks kan ik altijd even een tweede vCPU toevoegen, en kijken wat ik ervaar. Ik ben ook benieuwd of de throughput en performance van ZFS dan verbetert. De host CPU is een Xeon 1220V2.
Op het blog wordt een 'horrorverhaal' beschreven, waarin de toegewezen tweede vCPU 100% bezig is met het afhandelen van de 'storm' aan interrupts. Het lijkt me vrij zinloos in dat geval om deze vCPU toe te voegen, tot nu toe lijken alle VM's prima te performen met slechts 1 vCPU.
Desondanks kan ik altijd even een tweede vCPU toevoegen, en kijken wat ik ervaar. Ik ben ook benieuwd of de throughput en performance van ZFS dan verbetert. De host CPU is een Xeon 1220V2.
Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu
Van precies dit 'horrorverhaal' heb ik wel last, helaas. Ik heb dus maar 1 vCPU toegewezen. Als ik meerdere vCPUs zou toewijzen krijg je inderdaad dat 1 vCPU constant bezig is met afhandelen van interrupts, en throttlet FreeBSD het device in kwestie waardoor je preformanceproblemen krijgt.Op het blog wordt een 'horrorverhaal' beschreven, waarin de toegewezen tweede vCPU 100% bezig is met het afhandelen van de 'storm' aan interrupts. Het lijkt me vrij zinloos in dat geval om deze vCPU toe te voegen, tot nu toe lijken alle VM's prima te performen met slechts 1 vCPU.
Dus ja, dan maar 1 vCPU.
Waar het probleem precies mee te maken heeft, en of het alleen in FreeBSD 9.1 optreedt, weet ik niet.
Gewoon een heel grote verzameling snoertjes
Bedankt voor die correctie Compiz! Ik raak inderdaad in de war met die andere bug in combinatie met rdm, die geeft dus unsupported block size. De vt-d issues juist boot issues.
Nu heb ik wel ergens gelezen dat iemand dit oploste door een nieuwe passthrough te maken en de eerste te verwijderen, ofzoiets. Dan zou opnieuw interrupts ingedeeld worden. Ik weet het ook niet, maar dit nog relevant zijn? Bovendien zou het kunnen uitmaken of je de controller in IT or IR mode hebt draaien in dit geval.
Wat wel kan is dat je ZFSguru met FreeBSD 9.1 draait en de mps-driver gebruikt van 9.0. Wellicht zou ik dat kunnen compileren. Deze driver ondersteunt alleen IT-firmware, overigens.
Nu heb ik wel ergens gelezen dat iemand dit oploste door een nieuwe passthrough te maken en de eerste te verwijderen, ofzoiets. Dan zou opnieuw interrupts ingedeeld worden. Ik weet het ook niet, maar dit nog relevant zijn? Bovendien zou het kunnen uitmaken of je de controller in IT or IR mode hebt draaien in dit geval.
Wat wel kan is dat je ZFSguru met FreeBSD 9.1 draait en de mps-driver gebruikt van 9.0. Wellicht zou ik dat kunnen compileren. Deze driver ondersteunt alleen IT-firmware, overigens.
No problemVerwijderd schreef op woensdag 13 maart 2013 @ 23:05:
Bedankt voor die correctie Compiz! Ik raak inderdaad in de war met die andere bug in combinatie met rdm, die geeft dus unsupported block size. De vt-d issues juist boot issues.
Weet je dat zeker? Volgens mij was dat een ander probleem, waarbij er (lichte) interrupt storms kwamen doordat passthrough-device + NIC op dezelfde IRQ zaten. Dat was op te lossen door de NIC te verwijderen en opnieuw toe te voegen, waardoor die op een andere IRQ gemapt zou worden.Nu heb ik wel ergens gelezen dat iemand dit oploste door een nieuwe passthrough te maken en de eerste te verwijderen, ofzoiets. Dan zou opnieuw interrupts ingedeeld worden. Ik weet het ook niet, maar dit nog relevant zijn?
In mijn geval is mijn passthrough-device (onboard SATA-controller) het enige device op die IRQ. Zodra ik meerdere vCPUs toewijs, gaat dat device ongelooflijk veel interrupts genereren die er niet zijn als ik draai met maar 1 vCPU.
Gewoon een heel grote verzameling snoertjes
Klinkt als een dikke vette bug in ESXi...
Even niets...
nvm, ik moet wat leren lezen voor ik zit te blaten
[ Voor 84% gewijzigd door HyperBart op 14-03-2013 11:23 ]
Jup, dat komt doordat hij op de een of andere manier de NIC en de VT-d'ede storage controller op dezelfde IRQ hangenCompizfox schreef op woensdag 13 maart 2013 @ 23:09:
[...]
No problem
[...]
Weet je dat zeker? Volgens mij was dat een ander probleem, waarbij er (lichte) interrupt storms kwamen doordat passthrough-device + NIC op dezelfde IRQ zaten. Dat was op te lossen door de NIC te verwijderen en opnieuw toe te voegen, waardoor die op een andere IRQ gemapt zou worden.
Idem hier, maar ik zou eens moeten nakijken of hij dan nu 2 aparte IRQ's heeftIn mijn geval is mijn passthrough-device (onboard SATA-controller) het enige device op die IRQ. Zodra ik meerdere vCPUs toewijs, gaat dat device ongelooflijk veel interrupts genereren die er niet zijn als ik draai met maar 1 vCPU.
Ja lijkt mij ook. Ik had even hoop dat het misschien gefixed zou zijn met de patch van een weekje geleden (stond wel iets met interrupt handling in de changelog iigFireDrunk schreef op donderdag 14 maart 2013 @ 07:01:
Klinkt als een dikke vette bug in ESXi...
Waar kan ik deze bugs eigenlijk doorgeven? Het zou natuurlijk ook kunnen dat ze er bij VMware helemaal niet van op de hoogte zijn.
[ Voor 16% gewijzigd door Compizfox op 14-03-2013 13:02 ]
Gewoon een heel grote verzameling snoertjes
Eerste hit op google:
Under ESX5i, if you add more than 1 CPU, I encounter “Interrupt Storm on IRQx” (IRQ18) in my case.
To solve that, boot into Freenas VM Bios: Disable Floppy drive, Com ports, Printer ports and anything else that you are not going to use.
Save changes.
Reboot
Solved!
Even niets...
Ja, maar dat werkt dus weer niet in mijn geval.
Dat werkt alleen als je (lichte) interrupt storms krijgt doordat er meerdere devices (bijjvoorbeeld NIC, parallel port, serial port) op eenzelfde IRQ zitten.
Dat is in mijn geval niet de bron van de interrupt storms. Wat ik heb zijn ongelooflijk veel interrupt storms (interrupt rate van 148382) op 1 enkel device (mijn doorgegeven SATA-controller).
zie ook Compizfox in "Zuinige ESXi Server"
Dat werkt alleen als je (lichte) interrupt storms krijgt doordat er meerdere devices (bijjvoorbeeld NIC, parallel port, serial port) op eenzelfde IRQ zitten.
Dat is in mijn geval niet de bron van de interrupt storms. Wat ik heb zijn ongelooflijk veel interrupt storms (interrupt rate van 148382) op 1 enkel device (mijn doorgegeven SATA-controller).
zie ook Compizfox in "Zuinige ESXi Server"
[ Voor 8% gewijzigd door Compizfox op 14-03-2013 15:06 ]
Gewoon een heel grote verzameling snoertjes
Heb je het uberhaupt geprobeerd?
Even niets...
Ja, heb ik al lang uitstaan (om de simpele reden dat ik het niet gebruik)
Gewoon een heel grote verzameling snoertjes
Ben je niet toevallig in de war met je fysieke parallele poort en com poort?
Even niets...
Nee. Ook die staan uit, maar ik heb ik de vBIOS van de VMs ook die poorten uitgezet.
Gewoon een heel grote verzameling snoertjes
Zo even een tutorial op het zfsguru forum gezet hoe je van een clone kunt booten en dus veilig kan updaten en dingen veranderen.
p.s. nu met linkje ...
http://zfsguru.com/forum/zfsgurudevelopment/598
p.s. nu met linkje ...
http://zfsguru.com/forum/zfsgurudevelopment/598
[ Voor 22% gewijzigd door Mafketel op 15-03-2013 11:06 . Reden: excuses was idd netter geweest ;) ]
Ik heb dat zelf wel geprobeerd. Alle poorten en I/O uitzetten die niet voor de functie van de VM noodzakelijk zijn. Alleen in het VM BIOS, overigens. Uiteindelijk bleek de interrupt toch van een iets andere eigenschap te zijn. Ik denk dat de reden was dat het geen oplossing was voor het probleem.FireDrunk schreef op donderdag 14 maart 2013 @ 15:04:
Heb je het uberhaupt geprobeerd?
Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu
Uit nieuwsgierigheid:
wat voor configuratie kiezen jullie met 8 disks. Met als randvoorwaarde dat raidz3 8 disks (5+3) niet mag.
wat voor configuratie kiezen jullie met 8 disks. Met als randvoorwaarde dat raidz3 8 disks (5+3) niet mag.
Ik heb 3 4TB disks en 5 2TB disks, ik koos voor twee RAIDZ1 volumes. Ik zou, net als ik, kiezen voor een dubbel RAIDZ1 volume. Zijn in jouw geval alle disks identiek? Is RAIDZ2 met alle disks een optie?Neptunus schreef op donderdag 14 maart 2013 @ 22:27:
Uit nieuwsgierigheid:
wat voor configuratie kiezen jullie met 8 disks. Met als randvoorwaarde dat raidz3 8 disks (5+3) niet mag.
EDIT: RAIDZ2 is qua diskaantal weer niet optimaal. Dan zou ik inderdaad voor RAIDZ1 x2 gaan, als je geen HDD's erbij wenst te kopen, voor een eventuele RAIDZ2.
[ Voor 15% gewijzigd door fonsoy op 14-03-2013 22:30 ]
Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu
Met 8 disks doe ik 6 in een RAID-Z2 voor alle "normale" bestanden, en 2 voor een ZFS mirror welke vrijwel volledig als iSCSI het netwerk opgeslingerd word voor andere machines/doeleinden
Met acht disks maar niet RAID-Z3 zou ik voor RAID-Z2 kiezen
. De performance penalty bij niet optimale opstelling vind ik niet van belang (bovendien blijkt in de praktijk dat het enorm meevalt (bij grote bestanden)).
[ Voor 55% gewijzigd door Contagion op 14-03-2013 22:49 ]
Mijn disks zijn 8x identiek van 2 TB.fonsoy schreef op donderdag 14 maart 2013 @ 22:29:
[...]
Ik heb 3 4TB disks en 5 2TB disks, ik koos voor twee RAIDZ1 volumes. Ik zou, net als ik, kiezen voor een dubbel RAIDZ1 volume. Zijn in jouw geval alle disks identiek? Is RAIDZ2 met alle disks een optie?
RaidZ2 is RaidZ2, oftewel er mogen 2 disks finaal weg zijn en zelfs dan is je array in-tact (maar wel uitermate kwetsbaar op dat moment). Het is natuurlijk wel zo dat de kans op falende harddisks groter is bij 10 stuks dan bij 8. Om diezelfde reden zie je tot een disk of 6 vaak RAID-Z1 (ruimteverlies vs kans op uitval) en dan Raid-Z2. Ik heb zelf een RAID-Z3 array van 13 disks (paranoia
).
Handig hierbij is om te berekenen wat de 'relatieve redundancy' is (term zal wel niet helemaal kloppen
)
Bij RAID-Z1 met 3 disks mag 1 disk uitvallen --> 1/3 van je disks
Bij RAID-Z1 met 5 disks mag 1 disk uitvallen --> 1/5 van je disks
Bij RAID-Z2 met 4 disks mogen 2 disks uitvallen --> 1/2 van je disks
Bij RAID-Z2 met 6 disks mogen 2 disks uitvallen --> 1/3 van je disks
Bij RAID-Z2 met 8 disks mogen 2 disks uitvallen --> 1/4 van je disks
Bij RAID-Z2 met 10 disks mogen 2 disks uitvallen --> 1/5 van je disks
Als je het zo bekijkt valt het nog wel mee; RAID-Z2 met 8 disks is maar iets minder veilig dan RAID-Z1 met 3 disks, maar veiliger dan RAID-Z1 met 5 disks en RAID-Z2 met 10 disks (wat ook redelijk common setups zijn)
RAID-Z2 met 4 disks is logischerwijs het veiligst.
8 disks is trouwens dan weer niet een optimaal aantal disks voor RAID-Z2. Voor RAID-Z1 en RAID-Z3 ook niet trouwens.
Bij RAID-Z1 met 3 disks mag 1 disk uitvallen --> 1/3 van je disks
Bij RAID-Z1 met 5 disks mag 1 disk uitvallen --> 1/5 van je disks
Bij RAID-Z2 met 4 disks mogen 2 disks uitvallen --> 1/2 van je disks
Bij RAID-Z2 met 6 disks mogen 2 disks uitvallen --> 1/3 van je disks
Bij RAID-Z2 met 8 disks mogen 2 disks uitvallen --> 1/4 van je disks
Bij RAID-Z2 met 10 disks mogen 2 disks uitvallen --> 1/5 van je disks
Als je het zo bekijkt valt het nog wel mee; RAID-Z2 met 8 disks is maar iets minder veilig dan RAID-Z1 met 3 disks, maar veiliger dan RAID-Z1 met 5 disks en RAID-Z2 met 10 disks (wat ook redelijk common setups zijn)
RAID-Z2 met 4 disks is logischerwijs het veiligst.
8 disks is trouwens dan weer niet een optimaal aantal disks voor RAID-Z2. Voor RAID-Z1 en RAID-Z3 ook niet trouwens.
[ Voor 29% gewijzigd door Compizfox op 15-03-2013 00:10 ]
Gewoon een heel grote verzameling snoertjes
Als "vervolg" op mijn vorige benchmarks (als ik het al zo mag noemen... stelt niet héél veel voor) heb ik het nog eens gedraaid met een simpele USB stick als cache (L2ARC), en met een file op mijn boot SSD (Crucial m4 64GB). Ik ben niet echt onder de indruk van de USB resultaten, maar het is dan ook een baggertrage USB stick 
USB (Sandisk Cruzer Fit 8GB):
De resultaten met een bestand op de SSD als cache zullen even moeten wachten aangezien mijn benchmark tool niet lekker wil afsluiten
Die houden jullie dus van me tegoed.
USB (Sandisk Cruzer Fit 8GB):
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
| Test Cycles: 5 Transfer Size Sequential Read Sequential Write Random Read Random Write 4 KBytes 11.219 MB/Sec 10.205 MB/Sec 10.269 MB/Sec 10.850 MB/Sec 8 KBytes 16.310 MB/Sec 16.423 MB/Sec 17.729 MB/Sec 17.033 MB/Sec 16 KBytes 30.367 MB/Sec 16.737 MB/Sec 30.130 MB/Sec 17.715 MB/Sec 32 KBytes 45.043 MB/Sec 29.109 MB/Sec 45.981 MB/Sec 28.261 MB/Sec 64 KBytes 63.264 MB/Sec 45.601 MB/Sec 62.587 MB/Sec 38.633 MB/Sec 128 KBytes 79.241 MB/Sec 64.503 MB/Sec 78.370 MB/Sec 64.615 MB/Sec 256 KBytes 87.790 MB/Sec 81.228 MB/Sec 92.026 MB/Sec 82.457 MB/Sec 512 KBytes 99.306 MB/Sec 87.386 MB/Sec 98.550 MB/Sec 89.149 MB/Sec 1024 KBytes 98.949 MB/Sec 90.626 MB/Sec 99.895 MB/Sec 87.530 MB/Sec Standard Ave 59.054 MB/Sec 49.091 MB/Sec 59.504 MB/Sec 48.471 MB/Sec |
De resultaten met een bestand op de SSD als cache zullen even moeten wachten aangezien mijn benchmark tool niet lekker wil afsluiten

Mmmm maar eens kijken of ik er nog twee HUA723020ALA641 bij kan fixen.Compizfox schreef op donderdag 14 maart 2013 @ 23:58:
8 disks is trouwens dan weer niet een optimaal aantal disks voor RAID-Z2. Voor RAID-Z1 en RAID-Z3 ook niet trouwens.
Elke keer blijft dat 'niet optimaal aantal disks' weer terugkomen. Als je geen problemen hebt om 2 disks bij te kopen dan is het prima, maar het is echt geen *must*. Volgens mij valt de performcedrop enorm mee, ik heb ook een ill-shaped array (13 disks waarvan 3 parity) en haal alsnog doorvoer van 800 MB/sec en voor de meeste mensen is het halen van Gbit snelheid al voldoende.
Ik heb het ook vaker geroepen, het scheelt niet zo veel performance dat je er last van hebt. Het is alleen maar voor de mensen die op benchmarkstats geilen.
Even niets...
Precies, natuurljik levert meer disks meer storage en meer snelheid op, maar het kost ook meer (zou ik dan toch naar 19 disks (16+3 ipv nu 10+3) moeten dan moet ik er wel 600 euro bijlappen terwijl de 30 TB nog niet vol is.
Overigens wat minder vaak genoemd wordt maar voor ashift=12 wel het geval: de overhead lijkt wel een stuk groter omdat 128 KB records niet netjes te verdelen zijn over een niet-macht-van-2 disks. Ik ga daar nog eens een overzichtje van maken want bij mij scheelt de gerapporteerde vrije ruimte echt een TB t.o.v. echte ruimte.
Deze post (vind ik zelf
) dan ook interessant Contagion in "Het grote ZFS topic"
Overigens wat minder vaak genoemd wordt maar voor ashift=12 wel het geval: de overhead lijkt wel een stuk groter omdat 128 KB records niet netjes te verdelen zijn over een niet-macht-van-2 disks. Ik ga daar nog eens een overzichtje van maken want bij mij scheelt de gerapporteerde vrije ruimte echt een TB t.o.v. echte ruimte.
Deze post (vind ik zelf
Jij hebt helemaal gelijkContagion schreef op vrijdag 15 maart 2013 @ 10:19:
Elke keer blijft dat 'niet optimaal aantal disks' weer terugkomen. Als je geen problemen hebt om 2 disks bij te kopen dan is het prima, maar het is echt geen *must*. Volgens mij valt de performcedrop enorm mee, ik heb ook een ill-shaped array (13 disks waarvan 3 parity) en haal alsnog doorvoer van 800 MB/sec en voor de meeste mensen is het halen van Gbit snelheid al voldoende.
???
Staat onder kopje: Ik heb gehoord dat je ZFS moet optimaliseren voor 4K Advanced Format hardeschijven?Neptunus schreef op vrijdag 15 maart 2013 @ 12:16:
[...]
Jij hebt helemaal gelijkhad zelf ook iets beter moeten lezen in dit topic (staat intussen al zoveel informatie). Is het een idee om in de topic start informatie op te nemen over "niet optimaal aantal disks" bv. ergens onder het stukje "Ik heb gehoord dat je ZFS moet optimaliseren voor 4K Advanced Format hardeschijven?"
???
Even niets...
Het zou wat mij betreft ook wat meer uitgelicht mogen worden in de topic start. Ik ben er ook nog niet helemaal achter in hoeverre performace of space afneemt met een niet-optimale configuratie. Ik heb het echter zo beredeneerd dat een extra schijf ALTIJD meer ruimte zal opleveren dan het niet hebben van een extra schijf en dat DAT dus leading is in de keuze van een array. Een array van 30 TB leek mij cooler dan een van 24 TB dus heb ik gekozen voor 10 schijven + parity en niet voor 8 + parity.
Verder; er staat in de start ook dat ZFS on linux niet stabiel of volwassen genoeg zijn. Daar ben ik het ook niet mee eens ZFS-fuse gaat al een hele tijd mee en heeft mij nooit prolemen gegeven. Het is trager, gebruikt een oudere on-disk versie (V15?) maar heeft ook een prachtig voordeel: het werkt prima op een 32 bit systeem. Mijn oude laptop en backup systeem gebruiken om die reden ook ZFS fuse.
Daarnaast heb je ZFS-on-linux en dat hoeft ook niet zelf-compileren te betekeken. Er is een prima ppa voor Ubuntu: https://launchpad.net/~zfs-native/+archive/stable waarmee je meeloopt met de laatste ontwikkelingen. Ik geloof dat inmiddels het recente LZ4 is toegevoegd en geporteerd uit de IllumOS/FreeBSD tree en ze daarmee nu pool Verison 5000 ondersteunen.
Ik heb een tijd geleden het prestatieverschil bekeken tussen FreeBSD en Linux maar dat ontloopt elkaar ook niks.
Oh en nog een dingetje. Met ZFS-Fuse kan je op een 512 MB machine prima uit de voeten. ZFSOnLinux draait perfect met 2 GB RAM. Geheugen is nu niet zo duur, maar waarom zou ik voor een NAS 16 GB RAM willen als 2 GB ook voldoet (vooruit; dedup wel uit).
Verder; er staat in de start ook dat ZFS on linux niet stabiel of volwassen genoeg zijn. Daar ben ik het ook niet mee eens ZFS-fuse gaat al een hele tijd mee en heeft mij nooit prolemen gegeven. Het is trager, gebruikt een oudere on-disk versie (V15?) maar heeft ook een prachtig voordeel: het werkt prima op een 32 bit systeem. Mijn oude laptop en backup systeem gebruiken om die reden ook ZFS fuse.
Daarnaast heb je ZFS-on-linux en dat hoeft ook niet zelf-compileren te betekeken. Er is een prima ppa voor Ubuntu: https://launchpad.net/~zfs-native/+archive/stable waarmee je meeloopt met de laatste ontwikkelingen. Ik geloof dat inmiddels het recente LZ4 is toegevoegd en geporteerd uit de IllumOS/FreeBSD tree en ze daarmee nu pool Verison 5000 ondersteunen.
Ik heb een tijd geleden het prestatieverschil bekeken tussen FreeBSD en Linux maar dat ontloopt elkaar ook niks.
Oh en nog een dingetje. Met ZFS-Fuse kan je op een 512 MB machine prima uit de voeten. ZFSOnLinux draait perfect met 2 GB RAM. Geheugen is nu niet zo duur, maar waarom zou ik voor een NAS 16 GB RAM willen als 2 GB ook voldoet (vooruit; dedup wel uit).
[ Voor 12% gewijzigd door Contagion op 15-03-2013 13:30 ]
In de topic start is een indeling gemaakt van verschillende onderwerpen. Een van de onderwerpen is "Ik heb gehoord dat je ZFS moet optimaliseren voor 4K Advanced Format hardeschijven?". Mijn idee was om hier meer uitleg te geven over niet optimaal aantal disks met ZFS.FireDrunk schreef op vrijdag 15 maart 2013 @ 12:31:
[...]
Staat onder kopje: Ik heb gehoord dat je ZFS moet optimaliseren voor 4K Advanced Format hardeschijven?
En als "laatste stukje" van mijn benchmarks de resultaten met een SSD als cache:
Ik heb de SSD niet direct aan ZFS gegeven, ik heb op de SSD (mijn / partitie) een 8GB image aangemaakt en die vervolgens met losetup als blockdevice aan ZFS aangeboden. Zelfs voor een dergelijke suboptimale methode vind ik de resultaten héél erg tegenvallen... Ik vind vooral de random reads vrij laag, of komt dit gewoon doordat de cache niet warm is?
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
| Test Cycles: 5 Transfer Size Sequential Read Sequential Write Random Read Random Write 4 KBytes 13.270 MB/Sec 13.484 MB/Sec 12.623 MB/Sec 13.638 MB/Sec 8 KBytes 20.331 MB/Sec 19.386 MB/Sec 20.682 MB/Sec 19.456 MB/Sec 16 KBytes 34.496 MB/Sec 21.333 MB/Sec 34.634 MB/Sec 21.375 MB/Sec 32 KBytes 48.786 MB/Sec 35.911 MB/Sec 48.388 MB/Sec 35.998 MB/Sec 64 KBytes 65.235 MB/Sec 54.258 MB/Sec 66.387 MB/Sec 53.926 MB/Sec 128 KBytes 82.515 MB/Sec 72.510 MB/Sec 80.687 MB/Sec 71.833 MB/Sec 256 KBytes 93.980 MB/Sec 86.955 MB/Sec 93.128 MB/Sec 88.959 MB/Sec 512 KBytes 100.888 MB/Sec 93.907 MB/Sec 100.453 MB/Sec 93.593 MB/Sec 1024 KBytes 102.185 MB/Sec 96.577 MB/Sec 102.416 MB/Sec 95.974 MB/Sec Standard Ave 62.409 MB/Sec 54.925 MB/Sec 62.156 MB/Sec 54.973 MB/Sec |
Ik heb de SSD niet direct aan ZFS gegeven, ik heb op de SSD (mijn / partitie) een 8GB image aangemaakt en die vervolgens met losetup als blockdevice aan ZFS aangeboden. Zelfs voor een dergelijke suboptimale methode vind ik de resultaten héél erg tegenvallen... Ik vind vooral de random reads vrij laag, of komt dit gewoon doordat de cache niet warm is?
Dat is 3000 iops? Dat valt toch wel mee?
Even niets...
Mja, misschien dat ik er verkeerd naar kijk. Maar de daadwerkelijke snelheid is niet/nauwelijks hoger dan zonder SSD cache, en dat is wat ik opvallend vind. En Crucial specced deze SSD op tot 20K IOPS random write met 4K sectoren en tot 45K IOPS met random write met 4k sectoren...
Misschien dat ik teveel verwacht...
Misschien dat ik teveel verwacht...
Wat was je os/setup ook alweer?
Even niets...
OS: Fedora 18 (volledig up-to-date, dus kernel 3.8.2-206.fc18.x86_64) met ZFS-on-Linux 0.6.0-rc13
CPU: Intel Xeon E3-1265LV2
RAM: 2x Kingston DDR3 1333MHz CL9
HDD: 2x Hitachi 7K1000b in mirror (voor iSCSI), 6x Hitach 5K1000 in RAID-Z2 (voor AFP/SMB etc)
SSD: 1x Crucial m4 64GB mSATA
HBA: IBM M1015 in IT mode
MOBO: Intel DH77DF
En daarmee heb ik volgens mij alles wel
CPU: Intel Xeon E3-1265LV2
RAM: 2x Kingston DDR3 1333MHz CL9
HDD: 2x Hitachi 7K1000b in mirror (voor iSCSI), 6x Hitach 5K1000 in RAID-Z2 (voor AFP/SMB etc)
SSD: 1x Crucial m4 64GB mSATA
HBA: IBM M1015 in IT mode
MOBO: Intel DH77DF
En daarmee heb ik volgens mij alles wel
Mja, ZFSonLinux is nog niet performance optimized, dat roepen ze zelf ook heel hard...
Even niets...
Ik weet niet precies wat Quickbench doet maar als je resultaten met of zonder SSD cache nauwelijks uitmaken, zou het dan niet gewoon zo kunnen zijn dat er niks te cachen viel en een cachedrive dus geen meerwaarde heeft tijdens die benchmark?
De meeste benchmarks zijn juist zo ingericht dat je cache-effecten niet terugziet. Simpel voorbeeld: dd if=/dev/zero of=file bs=1M count=1000. Schrijven van 1 GB gaat waarschijnlijk direct via je memory cache. Pas als de file (veel) groter wordt dan je RAM dan lever het betrouwebaardere informatie op.
De meeste benchmarks zijn juist zo ingericht dat je cache-effecten niet terugziet. Simpel voorbeeld: dd if=/dev/zero of=file bs=1M count=1000. Schrijven van 1 GB gaat waarschijnlijk direct via je memory cache. Pas als de file (veel) groter wordt dan je RAM dan lever het betrouwebaardere informatie op.
Dat ben ik met je eens Contagion, maar dit is de enige software die ik kon vinden voor OS X waarmee ook de random seeks bekeken werden. Verder kan ik niet echt random I/O tests vinden helaas
De bestandsgrote waarmee getest word valt naar alle waarschijnlijkheid ruim binnen de toegewezen ARC ruimte (~4GB).
Dan test je vooral je netwerk. ARC == 100% memory, dan doen je disks (en je L2ARC) helemaal niets...
Even niets...
Ok, snap ik, maar als het dus gaat om caching waarvoor je de SSD wil inzetten; is dat bij een random i/o test sowieso weinig zinvol? Ik zie zelf trowens voor huis-setups helemaal geen noodzaak van een SSD. Met een beetje RAM worden belangrijke blokken toch wel in je ARC gezet.
Kan je de SSD niet beter in je Mac stoppen en er daar iets handigs mee doen?
Kan je de SSD niet beter in je Mac stoppen en er daar iets handigs mee doen?
Ik ben ook zeker van plan om een SSD in mijn Mac te zetten, maar ik wil nog wachten op de Crucial m500
Dan kan ik kijken hoe die zich verhoud tot de Samsung 840 Pro (zowel prijs als prestatie) en kijken welke ik ga halen. Maar dat is off topic
.
[ Voor 99% gewijzigd door sontax op 23-10-2022 10:04 ]
Ik ben benieuwd of jullie hier nog op of aanmerkingen over hebben. Is het bijvoorbeeld verstandig om nog even te wachten ivm prijsverlagingen of toekomstig komende platforms ? [/quote]
Intel processor 'Haswell' komt binnenkort uit (opvolger Ivy bridge). Voor zover ik het begrepen heb, zou het weer sneller moeten zijn maar het idle gebruik gaat zeer weinig omlaag. Erop wachten heeft in mijn ogen weinig zin, maar de keuze is aan jou
.
Normaal zou ik roepen om meer RAM maar met 32 GB zit je erg goed!
Intel processor 'Haswell' komt binnenkort uit (opvolger Ivy bridge). Voor zover ik het begrepen heb, zou het weer sneller moeten zijn maar het idle gebruik gaat zeer weinig omlaag. Erop wachten heeft in mijn ogen weinig zin, maar de keuze is aan jou
Normaal zou ik roepen om meer RAM maar met 32 GB zit je erg goed!
Klinkt allemaal prima! Je kan nog overwegen om CL10 geheugen te nemen, maar dat moet je ook maar belangrijk vinden. De trap van 1333Mhz CL9 naar 1600Mhz CL11 is namelijk vrijwel verwaarloosbaar. De hogere CAS latency verwaarloost de snelheidsverhoging.
Alleen 1600Mhz CL9 of CL10 is eigenlijk een upgrade t.o.v. 1333Mhz geheugen. Maar voor een standaard NAS boeit het allemaal vrij weinig, dus neem dan gewoon het goedkoopste.
Let ook goed op met dat moederbord, de eerste BIOS/UEFI versies willen niet goed met ESXi werken, dus meteen out of the box BIOS en Managment Engine upgraden! (mocht dat niet lukken, stuur even een DM
)
De eerste leveringen van Haswell komen denk ik pas na de zomer...
Alleen 1600Mhz CL9 of CL10 is eigenlijk een upgrade t.o.v. 1333Mhz geheugen. Maar voor een standaard NAS boeit het allemaal vrij weinig, dus neem dan gewoon het goedkoopste.
Let ook goed op met dat moederbord, de eerste BIOS/UEFI versies willen niet goed met ESXi werken, dus meteen out of the box BIOS en Managment Engine upgraden! (mocht dat niet lukken, stuur even een DM
De eerste leveringen van Haswell komen denk ik pas na de zomer...
[ Voor 5% gewijzigd door FireDrunk op 16-03-2013 09:37 ]
Even niets...
In hoeverre ga je de performance hit voelen als je een niet-conform disk aantal gebruikt voor raidz/raidz2? Ik heb 6 van de 8 diskslots vol en ik dacht eerst om 2 extras te kopen en een 8disk raidz2 te doen. Nu denk ik eerder om er 5disk raidz+HS van te maken en later 2 schijven erbij te zetten om een 3disk raidz te maken en in de pool toe te voegen. Daarmee ben ik dan conform de best practices voor disk aantallen. Schrik tijdens lange rebuilds op ZFS zit er dan niet in vanwege de niet bestaande bad sectors, dus raidz2 is in se niet nodig.
En vooraleer Cipher en Firedrunk beginnen te gniffelen, ja ik kijk naar ZFS(guru) als optie. Na een dag kutten met mdadm/arch is het plezier eraf
.
En vooraleer Cipher en Firedrunk beginnen te gniffelen, ja ik kijk naar ZFS(guru) als optie. Na een dag kutten met mdadm/arch is het plezier eraf
De performance hit is voor de gemiddelde thuisgebruiker verwaarloosbaar... Dan praat je over 350MB/s tegenover 300MB/s ofzo...
Even niets...
@sontax: als je klein kastje neemt en nu met 3x2 TB gaat werken en dit VERVANGT door 6x3TB, waarom zou je dan nog een M1015 kopen? Ben je niet beter af met een moederbord weer gewoon 6x sata op zit (zoals bijv mijn Asrock Z77 Pro 4M - 8x sata waarvan 2x SATA 600 dmv in board Asmedia controller + 1x SATA 600 + 5x SATA 300 vanuit Z77 chipset).
@Jormungandr: ik zie zelf het voordeel van een hot spare totaal niet. In geval van falen bij RAIDZ1 zou je toch eigenlijk willen dat de extra disk alle relevante data al bevat? Om op moment van valen pas te syncen lijkt me een extra risico. Ik zou zelf dus kiezen voor een RAIDZ2 setup ook al is het aantal disks dan niet optimaal. Overigens zie je overal dat je een bestaande x disk array niet kan utibreiden naar een x+y disks array. Als je dat echt wilt, je geduld hebt en bereid bent het risico te nemen dat je mogelijk al je data kwijt raakt dan kan het wel alleen niet volgens de 'officiële' wegen. Misschien moet ik er toch eens een post over gaan schrijven
.
@Jormungandr: ik zie zelf het voordeel van een hot spare totaal niet. In geval van falen bij RAIDZ1 zou je toch eigenlijk willen dat de extra disk alle relevante data al bevat? Om op moment van valen pas te syncen lijkt me een extra risico. Ik zou zelf dus kiezen voor een RAIDZ2 setup ook al is het aantal disks dan niet optimaal. Overigens zie je overal dat je een bestaande x disk array niet kan utibreiden naar een x+y disks array. Als je dat echt wilt, je geduld hebt en bereid bent het risico te nemen dat je mogelijk al je data kwijt raakt dan kan het wel alleen niet volgens de 'officiële' wegen. Misschien moet ik er toch eens een post over gaan schrijven
[ Voor 54% gewijzigd door Contagion op 17-03-2013 23:25 ]
Biedt ZFSguru eigenlijk ondersteuning voor hotspares? Want ZFS onder FreeBSD heeft het standaard niet, d.w.z. je dient een userspace proces te draaien om de cold spare te activeren bij een gefaalde schijf. Dat is wel een belangrijk iets wat nog wel eens over het hoofd gezien wordt.
Nee, ZFSguru kan daar nog niet automatisch iets mee. Je kan wel handmatig devices vervangen.
Hotspares is een beetje een wassen neus. Alleen als je 3 dikke VDEV's hebt met 10 schijven is een hotspare leuk. Bij de meeste builds kan je haast beter RAIDZ2 draaien. Veiliger, en minder geklooi...
Hotspares is een beetje een wassen neus. Alleen als je 3 dikke VDEV's hebt met 10 schijven is een hotspare leuk. Bij de meeste builds kan je haast beter RAIDZ2 draaien. Veiliger, en minder geklooi...
[ Voor 52% gewijzigd door FireDrunk op 18-03-2013 10:49 ]
Even niets...
volgens mij zijn ze er wel mee bezig.Bigs schreef op maandag 18 maart 2013 @ 10:14:
Biedt ZFSguru eigenlijk ondersteuning voor hotspares? Want ZFS onder FreeBSD heeft het standaard niet, d.w.z. je dient een userspace proces te draaien om de cold spare te activeren bij een gefaalde schijf. Dat is wel een belangrijk iets wat nog wel eens over het hoofd gezien wordt.
Op het moment ben ik nog bezig met de configuratie van de ZFS en Windows machine.
Ik virtualiseer ZFSguru onder ESXi, en dat werkt meer dan goed.
Nu heb ik een iSCSI volume aangemaakt, wat ik wil doorgeven aan een windows-machine. Dit is ook goed gegaan, alleen heb ik enkele vragen betreffende de performance. Nu wordt de networkstack van ESXi gebruikt, en zit ik volgens mij vast aan de 1Gb/s link vast. Helaas lijkt sneller niet mogelijk te zijn, tenzij ik ook een hardware 10Gb-T kaart aanschaf. Ik had eigenlijk wel verwacht dat een 10GbE virtuele adapter wel mogelijk was, zonder de hardware.
Heeft iemand nog wat ervaringen betreffende performance tuning van iSCSI en ZFS? Ik krijg 80MB/s sequentieel lezen (de ene keer 60, andere keer 100) en 100MB/s sequentieel schrijven. De kleinere (512K en 4-64K) writes lijken wel in orde, deze liggen rond de 10 MB/s.
Het zou optimaal zijn om de 1Gb link vol te krijgen, dus beiden stabiel boven de 100MB/s.
Ik werk met 3* 4TB Hitachi 5K4000 schijven. Zij hangen aan een IBM M1015, die via VT-d aan ZFSguru doorgegeven is.
Ik virtualiseer ZFSguru onder ESXi, en dat werkt meer dan goed.
Nu heb ik een iSCSI volume aangemaakt, wat ik wil doorgeven aan een windows-machine. Dit is ook goed gegaan, alleen heb ik enkele vragen betreffende de performance. Nu wordt de networkstack van ESXi gebruikt, en zit ik volgens mij vast aan de 1Gb/s link vast. Helaas lijkt sneller niet mogelijk te zijn, tenzij ik ook een hardware 10Gb-T kaart aanschaf. Ik had eigenlijk wel verwacht dat een 10GbE virtuele adapter wel mogelijk was, zonder de hardware.
Heeft iemand nog wat ervaringen betreffende performance tuning van iSCSI en ZFS? Ik krijg 80MB/s sequentieel lezen (de ene keer 60, andere keer 100) en 100MB/s sequentieel schrijven. De kleinere (512K en 4-64K) writes lijken wel in orde, deze liggen rond de 10 MB/s.
Het zou optimaal zijn om de 1Gb link vol te krijgen, dus beiden stabiel boven de 100MB/s.
Ik werk met 3* 4TB Hitachi 5K4000 schijven. Zij hangen aan een IBM M1015, die via VT-d aan ZFSguru doorgegeven is.
Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu
Zelfde machine? vmxnet/vmxnet3 gebruiken, daar hangt geen netwerksnelheid aan en zou aanzienlijk sneller moeten zijn.fonsoy schreef op maandag 18 maart 2013 @ 14:06:
Ik had eigenlijk wel verwacht dat een 10GbE virtuele adapter wel mogelijk was, zonder de hardware.
http://ogris.de/vmware/
niet meer nodig dus.
Wellicht dat je de binaries inmiddels ook wel ergens kunt vinden.
@ hieronder... Virt/io is zo te lezen sneller. vmnet3 wordt wel getoond als een 10 Gbit adapter, maar alleen de CPU (en soortgelijke bottlenecks) is de limiet voor zover ik me erop heb ingelezen. .... niet genoeg, want de virtio optie is me ontschoten.
[ Voor 25% gewijzigd door leuk_he op 18-03-2013 15:16 ]
Need more data. We want your specs. Ik ben ook maar dom. anders: forum, ff reggen, ff topic maken
En als je een oplossing hebt gevonden laat het ook ujb ff in dit topic horen.
Eh, dat kan ook. Dan moet je VMXNET3 (de paravirtualised controller) gebruiken ipv die Intel E1000.fonsoy schreef op maandag 18 maart 2013 @ 14:06:
Op het moment ben ik nog bezig met de configuratie van de ZFS en Windows machine.
Ik virtualiseer ZFSguru onder ESXi, en dat werkt meer dan goed.
Nu heb ik een iSCSI volume aangemaakt, wat ik wil doorgeven aan een windows-machine. Dit is ook goed gegaan, alleen heb ik enkele vragen betreffende de performance. Nu wordt de networkstack van ESXi gebruikt, en zit ik volgens mij vast aan de 1Gb/s link vast. Helaas lijkt sneller niet mogelijk te zijn, tenzij ik ook een hardware 10Gb-T kaart aanschaf. Ik had eigenlijk wel verwacht dat een 10GbE virtuele adapter wel mogelijk was, zonder de hardware.
Daarvoor moet je wel de VMware guest tools installeren, maar die meegeleverd met ESXi 5.1 doen het prima onder FreeBSD.
Gewoon een heel grote verzameling snoertjes
De VMXNET3 adapter is toch echt capped op 10Gb, en veelal haal je dat niet eens. Record wat ik gehaald heb (met een hele dikke server) was iets van 6,5Gb/sleuk_he schreef op maandag 18 maart 2013 @ 14:40:
[...]
Zelfde machine? vmxnet/vmxnet3 gebruiken, daar hangt geen netwerksnelheid aan en zou aanzienlijk sneller moeten zijn.
http://ogris.de/vmware/
Wellicht dat je de binaries inmiddels ook wel ergens kunt vinden.
Met VirtIO kan je wel *veel* sneller.. (31Gb/s geklokt hier)
En die pagina die je noemt is al lang niet meer nodig, de nieuwste VMware Tools van ESXi 5.1 compilen prima op FreeBSD 9.x
[ Voor 10% gewijzigd door FireDrunk op 18-03-2013 14:43 ]
Even niets...
Doe maar eens wat metingen met iperf, dan zie je het probleem. Zowel e1000 als vmxnet zijn niet gelimiteerd in bandbreedte door ESX. De enige limiet is de processor van de host. Doordat e1000 iets minder efficient is zal deze een lagere bandbreedte geven dan vmxnet3. Op een Xeon E5 systeem scoor ik 4Gbit tussen windows(vmxnet3) en solaris (e1000). Tussen 2x windows(vmxnet3) is in dit systeem 12Gbit mogelijk. Belangrijkste parameter is de tcp windowsize. Met 1K heb je minder bandbreedte dan 8M.fonsoy schreef op maandag 18 maart 2013 @ 14:06:
Op het moment ben ik nog bezig met de configuratie van de ZFS en Windows machine.
Ik virtualiseer ZFSguru onder ESXi, en dat werkt meer dan goed.
Nu heb ik een iSCSI volume aangemaakt, wat ik wil doorgeven aan een windows-machine. Dit is ook goed gegaan, alleen heb ik enkele vragen betreffende de performance. Nu wordt de networkstack van ESXi gebruikt, en zit ik volgens mij vast aan de 1Gb/s link vast. Helaas lijkt sneller niet mogelijk te zijn, tenzij ik ook een hardware 10Gb-T kaart aanschaf. Ik had eigenlijk wel verwacht dat een 10GbE virtuele adapter wel mogelijk was, zonder de hardware.
Als je nas-vm geen stabiele vmxnet3-verbinding op kan zetten is meerdere e1000 ook een optie. Met een windows 2008(vmxnet3) en solaris(2x e1000) scoor ik ~800MB/s met CDM of AS SSD over iscsi. Dit zijn reads vanuit de ZFS-arc. Rechtstreeks vanaf disk kom ik met iscsi niet verder dan ~100MB/s, ondanks dat de array binnen ZFS ruim boven de 400MB/s benchmarkt. Als je test met iperf zal je zien dat netwerkbandbreedte tussen twee vm's niet de bottleneck is, de array zelf is het vaak ook niet. Waar het dan wel opstroopt ben ik na twee jaar nogsteeds niet achter...
Oh?jadjong schreef op maandag 18 maart 2013 @ 16:47:
[...]
Doe maar eens wat metingen met iperf, dan zie je het probleem. Zowel e1000 als vmxnet zijn niet gelimiteerd in bandbreedte door ESX.
E1000 is 1GBASE-TX, dus 1 Gb/s. VMX3NET is 10GBASE-T, dus 10 Gb/s.
Gewoon een heel grote verzameling snoertjes
E1000 > E1000Compizfox schreef op maandag 18 maart 2013 @ 17:00:
[...]
Oh?
E1000 is 1GBASE-TX, dus 1 Gb/s. VMX3NET is 10GBASE-T, dus 10 Gb/s.
C:\1>iperf -c 172.22.2.222 -w8m
------------------------------------------------------------
Client connecting to 172.22.2.222, TCP port 5001
TCP window size: 8.00 MByte
------------------------------------------------------------
[180] local 172.22.2.24 port 64164 connected with 172.22.2.222 port 5001
[ ID] Interval Transfer Bandwidth
[180] 0.0-10.0 sec 4.66 GBytes 4.00 Gbits/sec
Andere host:
C:\1>iperf -c 172.22.2.237 -w8m
------------------------------------------------------------
Client connecting to 172.22.2.237, TCP port 5001
TCP window size: 8.00 MByte
------------------------------------------------------------
[180] local 172.22.2.24 port 64171 connected with 172.22.2.237 port 5001
[ ID] Interval Transfer Bandwidth
[180] 0.0-10.0 sec 2.10 GBytes 1.80 Gbits/sec
Dus....
Die 11.7Gbit op vmxnet3 kan ik nu niet meer reproduceren, dat was op een leeg systeem met enkel die twee vm's gestart.
[ Voor 30% gewijzigd door jadjong op 18-03-2013 17:17 ]
Dan is dat nieuw in esx. Ik test dat bij bijna elke versie en kwam nooit boven de 7Gb uit.
Even niets...
2x E5-2690 met ESX 5.0 update2. Het ding is ondertussen volgezet met vm's waardoor ik wisselende resultaten krijg tussen de 3-6Gbit.FireDrunk schreef op maandag 18 maart 2013 @ 17:48:
Dan is dat nieuw in esx. Ik test dat bij bijna elke versie en kwam nooit boven de 7Gb uit.
Tja, dan heb je het inderdaad over monsters...
Even niets...
Ik ben hiermee bezig maar krijg het niet voor elkaar. Bij opstarten zegt tie dat er geen opstart bestand aanwezig is.Verwijderd schreef op dinsdag 04 september 2012 @ 16:21:
HyperBart: ik heb nog nooit werkend gezien dat van een ZFSguru livecd zomaar een USB-image gemaakt kan worden. Je screenshot is inderdaad dat je te weinig RAM hebt voor tmpfs; je hebt 2GB+ nodig voor de LiveCD.
Als jij een ZFSguru USB-stick wilt maken omdat je op het target systeem geen CDROM drive hebt:
1) Maak in Virtualbox een VM aan met 2GB+ RAM, kies FreeBSD (64-bit) als operating system. Zet networking op Bridged. Voeg ook je USB-stick toe als USB device.
2) boot de .iso livecd die je hebt gedownload
3) gebruik de web-interface om een pool te maken op je USB-stick, alsof het een normale disk is.
4) installeer naar de USB-stick, waarbij je bij stap4 de optie 'copy system image' aanvinkt. Dan hoef je bij je volgende installatie niet eerst een 250MB groot bestand te downloaden.
Nu netjes afsluiten en je USB-stick veilig afkoppelen (als je VM stopt krijgt je host hem weer, dus veilig verwijderen rechtsonderin). Dan in je target systeem stoppen en van USB booten. Nu volg je ook weer dezelfde procedure maar dan installeer je op je HDD pool. Bij installatie stap3 kies je dan voor de override functie zodat je de boot flag van je USB stick niet hoeft uit te schakelen. Nadat je die override hebt aangezet kun je dus gewoon op je HDD pool naam klikken en ga je verder naar stap4, daar hoef je niets speciaals te doen. Weet wel dat je dus niet kan/mag opstarten met zowel de USB-stick erin als de HDD pool, omdat er maar één bootable pool actief mag zijn.
Je kunt wel tegen een bugje aanlopen bij het afsluiten omdat hij oneindig wacht op je USB device. Niet zo heel ernstig trek je USB stick eruit en doe een harde powerdown. In de nieuwe image is dit verholpen. Je kunt het in je /boot/loader.conf ook instellen: hw.usb.no_shutdown_wait="1"
Moet je je USB eerst bootable maken of niet?
Hoop dat iemand mij kan helpen.
Heb je stap 3 en 4 uitgevoerd? Dat is vrij cruciaal natuurlijk; wat moet je systeem anders booten van USB-stick?
Ik ben een beetje in de war....
In de webgui op de insternal services pagina
Sendmail sendmail SMTP email server
in de rc.conf als je het aanzet
## Sendmail
sendmail_enable="YES"
sendmail_submit_enable="NO"
sendmail_outbound_enable="NO"
sendmail_msp_queue_enable="YES"
sendmail_clientmqueue_enable="YES"
portmaster -l vind dat sendmail niet is geinstallerd en postfix wel....
Als dat het geval is moet je toch volgens het bsd handboek
http://www.freebsd.org/doc/handbook/mail-changingmta.html
sendmail_enable="NO"
sendmail_submit_enable="NO"
sendmail_outbound_enable="NO"
sendmail_msp_queue_enable="NO"
en
postfix_enable=“YES”
het bestand /etc/mail/mailer.conf staat wel gewoon netjes naar de postfix sendmail compatibility interface te wijzen
voor hyperbart en sleepie....
ls -lah /usr/sbin/sendmail
lrwxr-xr-x 1 root wheel 21B Jan 29 22:56 /usr/sbin/sendmail@ -> /usr/sbin/mailwrapper
cat /etc/mail/mailer.conf
#
# Execute the Postfix sendmail program, named /usr/local/sbin/sendmail
#
sendmail /usr/local/sbin/sendmail
send-mail /usr/local/sbin/sendmail
mailq /usr/local/sbin/sendmail
newaliases /usr/local/sbin/sendmail
/usr/local/sbin/sendmail is dus de postfix sendmail compatibility interface.
In de webgui op de insternal services pagina
Sendmail sendmail SMTP email server
in de rc.conf als je het aanzet
## Sendmail
sendmail_enable="YES"
sendmail_submit_enable="NO"
sendmail_outbound_enable="NO"
sendmail_msp_queue_enable="YES"
sendmail_clientmqueue_enable="YES"
portmaster -l vind dat sendmail niet is geinstallerd en postfix wel....
Als dat het geval is moet je toch volgens het bsd handboek
http://www.freebsd.org/doc/handbook/mail-changingmta.html
sendmail_enable="NO"
sendmail_submit_enable="NO"
sendmail_outbound_enable="NO"
sendmail_msp_queue_enable="NO"
en
postfix_enable=“YES”
het bestand /etc/mail/mailer.conf staat wel gewoon netjes naar de postfix sendmail compatibility interface te wijzen
voor hyperbart en sleepie....
ls -lah /usr/sbin/sendmail
lrwxr-xr-x 1 root wheel 21B Jan 29 22:56 /usr/sbin/sendmail@ -> /usr/sbin/mailwrapper
cat /etc/mail/mailer.conf
#
# Execute the Postfix sendmail program, named /usr/local/sbin/sendmail
#
sendmail /usr/local/sbin/sendmail
send-mail /usr/local/sbin/sendmail
mailq /usr/local/sbin/sendmail
newaliases /usr/local/sbin/sendmail
/usr/local/sbin/sendmail is dus de postfix sendmail compatibility interface.
Yups.Verwijderd schreef op maandag 18 maart 2013 @ 21:13:
Heb je stap 3 en 4 uitgevoerd? Dat is vrij cruciaal natuurlijk; wat moet je systeem anders booten van USB-stick?
Ik zal het is op een andere pc proberen anders. Ben redelijk nieuw hiermee dus kan alle hulp gebruiken.
Zal vanavond posten wat de exacte melding is.
Ik heb nog wat meer geprobeerd.

Lijkt nu wat sneller te gaan.
Ik hou jullie up to date.

Lijkt nu wat sneller te gaan.
Ik hou jullie up to date.
Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu
Offtopic: Welk tool is dat?fonsoy schreef op dinsdag 19 maart 2013 @ 09:23:
Ik heb nog wat meer geprobeerd.
[afbeelding]
Lijkt nu wat sneller te gaan.
Ik hou jullie up to date.
Dat is windows 8
Even niets...
Ha jammer, had gehoop los tooltje wat die copy grafiek zichtbaar maakt.
TeraCopy al eens geprobeerd?
Even niets...
Ja gebruik ik nu al een tijdtje. vondt die grafiek wel grappig. Goed nu maar weer ontopic.FireDrunk schreef op dinsdag 19 maart 2013 @ 11:43:
TeraCopy al eens geprobeerd?
Warning: some files on your pool are inaccessible due to unrecoverable corruption! The files affected, are:
Godverdomme, nog heel even en ik flikker mijn server het raam uit...
Afgelopen 4 dagen, geen enkele kernel log melding wat ook maar iets met problemen te maken heeft...
Zowel in de host niet, als in de ZFSguru VM.
[ Voor 27% gewijzigd door FireDrunk op 19-03-2013 16:55 ]
Even niets...
Ziet er goed uit, ik ben ook benieuwd naar de stappen welke je hebt ondernomen om eea te tunen.fonsoy schreef op dinsdag 19 maart 2013 @ 09:23:
Ik heb nog wat meer geprobeerd.
[afbeelding]
Lijkt nu wat sneller te gaan.
Ik hou jullie up to date.
Mijn setup gaat ongeveer het zelfde worden, alleen wil ik graag freenas gebruiken ipv zfsguru.
Verdomme, weer een schijf gesneuveld....
Maakt ook gekke geluiden. Het probleem is ook dat heel FreeBSD er unresponsive van wordt...
Maakt ook gekke geluiden. Het probleem is ook dat heel FreeBSD er unresponsive van wordt...
Gewoon een heel grote verzameling snoertjes
Vervelend! Nu kom je er ook nooit achter wat precies de problemen zijn. Zou het silent corruption kunnen zijn, op een zodanige wijze dat je bestanden unrecoverable zijn?FireDrunk schreef op dinsdag 19 maart 2013 @ 16:51:
Warning: some files on your pool are inaccessible due to unrecoverable corruption! The files affected, are:
Godverdomme, nog heel even en ik flikker mijn server het raam uit...
Afgelopen 4 dagen, geen enkele kernel log melding wat ook maar iets met problemen te maken heeft...
Zowel in de host niet, als in de ZFSguru VM.
Ik ben een hardware RAIDcontroller gewend. Daarmee heb ik zo nu en dan last van bestanden die corrupt zijn geworden. ZONDER bestandslijst. Vervelend dat de bestanden naar de maan zijn, gelukkig weet je wel welke. Dan hoef je er niet achter te komen zodra je ze wil gaan gebruiken.
Betreffende mijn ZFS snelheden. Setup is 3 4TB HDD's aan een IBM M1015, die worden aangestuurd door een ZFSguru VM.
Ik heb eerlijk waar helemaal niets veranderd aan de standaard setup. Aanvankelijk heb ik met CrystalDiskMark getest op het volume. Misschien was het benchmark-bestand niet groot genoeg om het onderste uit de kan te halen. Dit testbestand was 10 GB, en betrof een move van een windows VM naar zijn iSCSI schijf. Van SSD naar het array.
Nu ben ik begonnen met het kopieren van de data van de oude naar de nieuwe server. De bottleneck lijkt de RocketRAID controller te zijn, de data schrijft met 80-100MB/s naar het array toe
Ik wist niet dat die controller zo snel kon zijn. Belangrijker nog, de moeilijkste use case voor RAID Zn setups, schrijven, lijkt ook hier dik in orde. Wel had ik 150% CPU gebruik
Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu
Daar zou ZFS juist tegen moeten beschermen.fonsoy schreef op dinsdag 19 maart 2013 @ 17:14:
[...]
Vervelend! Nu kom je er ook nooit achter wat precies de problemen zijn. Zou het silent corruption kunnen zijn, op een zodanige wijze dat je bestanden unrecoverable zijn?
Ik moet dus een vervangende schijf hebben, en het plan is om mijn array die oorspronkelijk 3x750GB was (nu dus 2x750GB en degraded), te vergroten naar 3x1TB.
Wat zijn goede schijven?
pricewatch: Seagate Barracuda 7200.14 ST1000DM003, 1TB
pricewatch: Western Digital Green WD10EZRX, 1TB
pricewatch: Western Digital Blue Blue WD10EZEX, 1TB
De Greens zijn 5400 maar wel veel zuiniger. Hoe groot is het performanceverschil met 7200, en zou ik het in de toekomst goed kunnen opvangen met een SSD als L2ARC?
Gaat het problemen opleveren als ik een Green naast mijn huidige 7200rpm 750GB-schijven pleur?
In het geval dat 7200RPMs toch aan te raden zijn, kan ik dan beter de Barracudas of de Blues nemen?
[ Voor 60% gewijzigd door Compizfox op 19-03-2013 17:39 ]
Gewoon een heel grote verzameling snoertjes
Blijkt aan de pc te liggen waar ik in eerste instantie de bootable usb heb gemaakt. USB aansluiting werkt niet naar behoren.Verwijderd schreef op maandag 18 maart 2013 @ 21:13:
Heb je stap 3 en 4 uitgevoerd? Dat is vrij cruciaal natuurlijk; wat moet je systeem anders booten van USB-stick?
Nu in de server en hij boot iig op
Maar hij vind alleen geen ip adres. Staat http://0.0.0.0 (loop)
Het is bedraad GB netwerk en ik heb het volgende moederbord.
ASRock B75 Pro3-M
Heb jij hier een oplossing voor?
Thnx
@CompizFox, 1TB is heel duur in 24/7 verbruik... Je hebt veel meer vermogen nodig om 3TB te laten draaien? Kan je dan niet beter voor 2*3TB gaan?
Even niets...
Nee.FireDrunk schreef op dinsdag 19 maart 2013 @ 18:04:
@CompizFox, 1TB is heel duur in 24/7 verbruik... Je hebt veel meer vermogen nodig om 3TB te laten draaien? Kan je dan niet beter voor 2*3TB gaan?
Ten eerste wil ik graag RAID-Z1 draaien, dus heb ik 3 schijven nodig.
Ten tweede heb ik niet zoveel storage nodig. Ik heb momenteel 3x 750 GB in RAID-Z1 = 1,5 TB. Als ik alle schijven vervangen heb kom ik uit op 3x 1 TB in RAID-Z1 = 2 TB.
Maar goed ik begrijp dat jij ook vind dat ik beter de Greens kan nemen? (wbt energieverbruik vs performance)
[ Voor 9% gewijzigd door Compizfox op 19-03-2013 18:38 ]
Gewoon een heel grote verzameling snoertjes
Let op:
Voor het bouwen van een ZFS NAS en andere hardwarevragen kun je beter terecht in Het grote DIY RAID NAS topic deel 3, zodat we dit topic reserveren voor ZFS-specifieke vragen en discussies.
Voor het bouwen van een ZFS NAS en andere hardwarevragen kun je beter terecht in Het grote DIY RAID NAS topic deel 3, zodat we dit topic reserveren voor ZFS-specifieke vragen en discussies.