Acties:
  • 0 Henk 'm!

  • jadjong
  • Registratie: Juli 2001
  • Niet online
Rooke schreef op maandag 11 maart 2013 @ 13:32:
[...]


Waarom niet? De meesten die nerd genoeg zijn om een eigen nas-OS te draaien ipv synology hebben ook wel een AD en of dergelijke. Waarom dan geen AD ondersteuning zodat je lekker met je DC rechten kan uitdelen over shares.
Dit is voor mij de enige reden om N4F te gebruiken ipv ZFSguru.
Dat gedoe met AD was voor mij de reden om er een windows-ding tussen te hangen. :+ Files via iscsi op ZFS, maar shares en rechten in windows.

Acties:
  • 0 Henk 'm!

  • FDMK
  • Registratie: Augustus 2004
  • Laatst online: 05:21
Extra overhead, nee dankje :+

Any job you can do in your pajamas is not the hardest job in the world.


Acties:
  • 0 Henk 'm!
Uh, AD? ik wil er ver van blijven hoor... Beetje vage rechtenstructuren implementeren en elke PC in huis afhankelijk laten zijn van je server? dankje de koekoek... Mijn server is een op zichzelf staand geheel waar je files kan afhalen en mee kan downloaden. De rest is bijzaak. Mijn vriendin moet echt geen tel last hebben als mijn server onderuit gaat...

Even niets...


Acties:
  • 0 Henk 'm!

  • FDMK
  • Registratie: Augustus 2004
  • Laatst online: 05:21
Dat is gewoon smaak maar het zou wel makkelijk zijn om de mogelijkheid te hebben bij ZFSguru in plaats dat die keuze voor mij gemaakt wordt.

Any job you can do in your pajamas is not the hardest job in the world.


Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

Het kan ook wel, maar je moet dan zelf /usr/local/etc/smb.conf aanpassen.

Gewoon een heel grote verzameling snoertjes


Acties:
  • 0 Henk 'm!

  • originng
  • Registratie: December 2012
  • Laatst online: 23-07-2024
FireDrunk schreef op zondag 10 maart 2013 @ 22:50:

@aaahaaap, oVirt heeft nog steeds niet dezelfde web interface als RHEV volgens mij? En bovendien heeft oVirt ook een kernel versie uit het jaar nul volgens mij. Schijnbaar is het nog steeds echt te moeilijk om een recente kernel te implementeren. Ik bedoel, zelfs de LTS versies van Ubuntu zitten op 3.2.0 en de recente builds op 3.5.0. Gentoo werkt al jaren met een rolling release, en dat werkt ook zo prima.
<offtopic>
Ik denk dat je de oude 2.x versie van RHEV bedoeld. Sinds 3.0 is er oVirt welke door Redhat RHEV genoemd word en je inderdaad support op krijgt. Systeem bestaat uit een webinterface en een volledige api welke je kan aanspreken als je niet van webui's houd.
Kernel is als je de F18 release gebruikt iets nieuwer dan de bovengenoemde 8)

Als je wilt testen hoe het eruit ziet zonder je pc te offeren:
http://resources.ovirt.or.../tools/ovirt-live-1.0.iso
Verder info op de wiki van oVirt of via google: ovirt live iso

<ontopic>
Heeft iemand ervaring met coraid schijven welke gebruikt zijn voor ZFS (OI) en die in een ander systeem te zetten?

Joop

Acties:
  • 0 Henk 'm!

  • Mafketel
  • Registratie: Maart 2000
  • Laatst online: 17-10-2023
Ik was nog wat meer aan het lezen over root onzfs in freebsd en kwam dit tegen. Niet echt belangrijk maar wel een puntje op de i.
The first sec­tor after the GPT (cre­ated with stan­dard set­tings) which can be used as the first sec­tor for a par­ti­tion is sec­tor 34 on a 512 bytes-per-sector drive. On a pseudo-4k-sector drive this would be some­where in the sec­tor 4 of a real 4k-sector, so this is not a good start­ing point. The next 4k-aligned sec­tor on a pseudo-4k-sector drive is sec­tor 40 (sec­tor 5 on a real 4k-sector drive).
gehele tekst

zijn idee hoe de disk er uit hoort te zien

code:
1
2
3
4
5
6
7
8
# gpart show ada0
=>        34  1953525101  ada0  GPT  (931G)
          34           6        - free -  (3.0k)
          40        1024     1  freebsd-boot  (512k)
        1064         984        - free -  (492k)
        2048     8388608     2  freebsd-zfs  (4.0G)
     8390656  1944059904     3  freebsd-zfs  (927G)
  1952450560     1074575        - free -  (524M)



zfsguru
code:
1
2
3
4
5
6
7
gpart show ada0
=>        34  5860533101  ada0  GPT  (2.7T)
          34         512     1  freebsd-boot  (256k)
         546        1502        - free -  (751k)
        2048    41943040     2  freebsd-zfs  (20G)
    41945088  5818588040     3  freebsd-zfs  (2.7T)
  5860533128           7        - free -  (3.5k)


Moet volgens mij goed te doen zijn in om in het instalatie script het begin van de freebsd-boot partitie op sector 40 te deponeren ipv 34.

Vooralsnog het is een detail, als het goed is wordt dit een of twee maal herschreven in het leven van de hardeschijf en eens in de zoveel maanden gelezen bij boot ;)

Acties:
  • 0 Henk 'm!

  • wjn
  • Registratie: Juli 2012
  • Laatst online: 24-09 15:47

wjn

Gebruik een (deel van de) SSD als boot, dan heb je er geen last van.

Acties:
  • 0 Henk 'm!

  • Bigs
  • Registratie: Mei 2000
  • Niet online
Ik betwijfel echt of het zo belangrijk is dat je boot paritie op een sector boundary begint. Onjuiste alignment van je ZFS partitie kan voor behoorlijke prestatieproblemen zorgen, maar voor je boot partitie boeit het echt niet.

Acties:
  • 0 Henk 'm!

  • psy
  • Registratie: Oktober 1999
  • Laatst online: 17-10 14:36

psy

FireDrunk schreef op maandag 11 maart 2013 @ 14:38:
Uh, AD? ik wil er ver van blijven hoor... Beetje vage rechtenstructuren implementeren en elke PC in huis afhankelijk laten zijn van je server? dankje de koekoek... Mijn server is een op zichzelf staand geheel waar je files kan afhalen en mee kan downloaden. De rest is bijzaak. Mijn vriendin moet echt geen tel last hebben als mijn server onderuit gaat...
Ach. Gewoon niet te moeilijk maken. Als je slechts met tweeën bent is het zeker nogal overbodig maar met meer mensen (bv kinderen) heeft AD echt wel voordelen hoor zeker bij meerdere pc's en gedeelde bestanden. PC's hoeven verder helemaal niet afhankelijk te zijn behalve dat ze in het domein hangen. Ligt de server er een keer uit werken ze nog gewoon.
Ik ben blij dat ik niet meer pc's/gebruikers apart hoef in te stellen. Ben met je eens dat je het wel zo simpel mogelijk moet houden ;)

8.960 Wp - 16 kW Daikin L/W - 2 x MHI L/L - gasloos sinds 2017 - Loxone - SAP/IS-U/ABAP - rijdt nog LPG ;-)


Acties:
  • 0 Henk 'm!

  • analog_
  • Registratie: Januari 2004
  • Niet online
Welke functies van AD gebruik je dan concreet in je netwerk? Rechten/shares/printers/authenticatie/dns/gpo?

[ Voor 12% gewijzigd door analog_ op 13-03-2013 19:30 ]


Acties:
  • 0 Henk 'm!

  • psy
  • Registratie: Oktober 1999
  • Laatst online: 17-10 14:36

psy

Gebruikersaccounts & rechtenbeheer op de bestanden (alle share permissions dan natuurlijk gewoon op all). Authenticatie hoort daar dan natuurlijk bij maar gebruik geen roaming profiles dat duurt veel te lang. Profiles backup ik dus met een scriptje gewoon einde dag.

Verder DNS (verplicht he) en DFS, heel handig als de server even offline moet dan worden alle shares automatisch doorgezet naar de backupserver.

GPO niet, wel mee geexprimenteerd maar is te omslachtig en voor mij te weinig toegevoegde waarde.

8.960 Wp - 16 kW Daikin L/W - 2 x MHI L/L - gasloos sinds 2017 - Loxone - SAP/IS-U/ABAP - rijdt nog LPG ;-)


Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
In de komende build van ZFSguru kun je Samba rechtenbeheer doen dus op Samba niveau ipv fileniveau. Je hebt dan geen active directory nodig gewoon op je ZFSguru server kun je gebruikers aanmaken en via een drag en drop interface aan rechten toekennen. En natuurlijk wachtwoorden instellen. Zo kun je toch redelijk complexe permissies instellen zonder iets als active directory te gebruiken.

Want tot nu toe is het beheren van permissies toch wel lastig. Er zijn veel mechanismen op allerlei niveau's. Standaard UNIX filepermissies, NFSv4 ACLs, Active Directory en dan op applicatieniveau zoals Samba zijn eigen authenticatie mechanismen heeft. Die kunnen elkaar ook bijten, dus vaak gebruik je eigenlijk maar één van de twee. Of authenticatie op fileniveau of authenticatie op applicatieniveau. Ik verkies dat laatste omdat het wellicht veel makkelijker te implementeren en beheren is.

Acties:
  • 0 Henk 'm!

  • fonsoy
  • Registratie: Juli 2009
  • Laatst online: 23:52
Uiteindelijk aangekomen bij het installeren van ZFSguru als guest onder ESXi.

Eerste indruk; wat een geweldige distro. Alles gaat volledig via de automatische piloot. Je hebt in een wip de pool opgezet, dingen worden vanzelf duidelijk bij het volgen van de webinterface. Ik ga de software zeker gebruiken komende tijd. Het is echt makkelijk. Hierbij dus ook kudo's naar de ontwikkelaars.
Mijn moeder zou het zowat kunnen :+

Eerst nog even de volgende bug oplossen, ik krijg de volgende foutmelding bij start.
run_interrupt_driven_hooks: still waiting after 60 seconds for xpt_config mps_startup
Dit probleem is al eens langsgeweest in dit topic, http://zfsguru.com/forum/zfsgurusupport/343. De tijdelijke workaround werkte, helaas werkte de permanente oplossing niet. Nog maar even doorzoeken.

Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu


Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Dat is een bekend probleem, je moet FreeBSD 9.0 draaien eigenlijk, die heeft dat probleem niet. Maar MSI permanent uitschakelen kun je doen door /boot/loader.conf aan te passen. Die instructies die daar staan moet je uitvoeren vóór de installatie. Achteraf kun je hetzeflde doen maar dan edit je /boot/loader.conf in plaats van de roz_loader.conf in de web directory.

Jason is trouwens bezig met nieuwe builds, waaronder een nieuwe build van 9.0. Die kun je dan het beste gebruiken als je ESXi + RDM gebruikt. Want ESXi + RDM + FreeBSD 9.1 geeft problemen. De firmware die ESXi simuleert/emuleert is namelijk lager dan de driver verwacht. In 9.0 wordt nog een oudere driver gebruikt.

Acties:
  • 0 Henk 'm!

  • fonsoy
  • Registratie: Juli 2009
  • Laatst online: 23:52
Verrek ...
Werkt inderdaad als een zonnetje. Hartelijk dank!

Het heeft wel risico's zie ik. Nu gebruik ik 1 vCPU, dus is er niets aan de hand, op het oog.
http://christopher-techni...devices-from-esxi-to.html

Binnenkort toch maar downgraden naar versie 9.0 denk ik.

[ Voor 5% gewijzigd door fonsoy op 13-03-2013 21:52 ]

Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu


Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

Verwijderd schreef op woensdag 13 maart 2013 @ 21:37:
Die kun je dan het beste gebruiken als je ESXi + RDM gebruikt. Want ESXi + RDM + FreeBSD 9.1 geeft problemen. De firmware die ESXi simuleert/emuleert is namelijk lager dan de driver verwacht. In 9.0 wordt nog een oudere driver gebruikt.
Hij gebruikt geen RDM denk ik, want dan had hij zijn schijven helemaal niet kunnen benaderen. Je krijgt dan "unsupportable block size 0" en de enige workaround daarvoor is FreeBSD 9.0 gebruiken.
fonsoy schreef op woensdag 13 maart 2013 @ 21:51:
Het heeft wel risico's zie ik. Nu gebruik ik 1 vCPU, dus is er niets aan de hand, op het oog.
http://christopher-techni...devices-from-esxi-to.html
Dat probleem heb ik ook, maar ik kan je vertellen dat het aanzetten/aanlaten van MSI en MSIX niet helpt. Ik kan maximaal 1 vCPU toewijzen met PCIe passthrough aan, of ik krijg interrupt storms op het device dat ik heb doorgeven (mijn SATA-controller)
Binnenkort toch maar downgraden naar versie 9.0 denk ik.
Vergeet niet dat FreeBSD 9.0 binnen een maand al EOL is. Daarnaast geldt wat CiPHER zegt alleen als je RDM gebruik om je schijven door te geven, wat jij niet lijkt te doen.

Ik draai ook ESXi 5.1 met FreeBSD 9.1, en geef mijn SATA-controller door met PCIe passthrough. Ik ondervindt behalve het interrupt storm-probleem verder geen problemen.

[ Voor 10% gewijzigd door Compizfox op 13-03-2013 22:14 ]

Gewoon een heel grote verzameling snoertjes


Acties:
  • 0 Henk 'm!

  • fonsoy
  • Registratie: Juli 2009
  • Laatst online: 23:52
Ik heb inderdaad met PCIe passthrough de controller doorgegeven. Het gaat om een IBM M1015 met drie disks eraan. Hiervan kan ik o.a. de SMART waarden probleemloos uitlezen.

Op het blog wordt een 'horrorverhaal' beschreven, waarin de toegewezen tweede vCPU 100% bezig is met het afhandelen van de 'storm' aan interrupts. Het lijkt me vrij zinloos in dat geval om deze vCPU toe te voegen, tot nu toe lijken alle VM's prima te performen met slechts 1 vCPU.

Desondanks kan ik altijd even een tweede vCPU toevoegen, en kijken wat ik ervaar. Ik ben ook benieuwd of de throughput en performance van ZFS dan verbetert. De host CPU is een Xeon 1220V2.

Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu


Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

Op het blog wordt een 'horrorverhaal' beschreven, waarin de toegewezen tweede vCPU 100% bezig is met het afhandelen van de 'storm' aan interrupts. Het lijkt me vrij zinloos in dat geval om deze vCPU toe te voegen, tot nu toe lijken alle VM's prima te performen met slechts 1 vCPU.
Van precies dit 'horrorverhaal' heb ik wel last, helaas. Ik heb dus maar 1 vCPU toegewezen. Als ik meerdere vCPUs zou toewijzen krijg je inderdaad dat 1 vCPU constant bezig is met afhandelen van interrupts, en throttlet FreeBSD het device in kwestie waardoor je preformanceproblemen krijgt.

Dus ja, dan maar 1 vCPU.

Waar het probleem precies mee te maken heeft, en of het alleen in FreeBSD 9.1 optreedt, weet ik niet.

Gewoon een heel grote verzameling snoertjes


Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Bedankt voor die correctie Compiz! Ik raak inderdaad in de war met die andere bug in combinatie met rdm, die geeft dus unsupported block size. De vt-d issues juist boot issues.

Nu heb ik wel ergens gelezen dat iemand dit oploste door een nieuwe passthrough te maken en de eerste te verwijderen, ofzoiets. Dan zou opnieuw interrupts ingedeeld worden. Ik weet het ook niet, maar dit nog relevant zijn? Bovendien zou het kunnen uitmaken of je de controller in IT or IR mode hebt draaien in dit geval.

Wat wel kan is dat je ZFSguru met FreeBSD 9.1 draait en de mps-driver gebruikt van 9.0. Wellicht zou ik dat kunnen compileren. Deze driver ondersteunt alleen IT-firmware, overigens.

Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

Verwijderd schreef op woensdag 13 maart 2013 @ 23:05:
Bedankt voor die correctie Compiz! Ik raak inderdaad in de war met die andere bug in combinatie met rdm, die geeft dus unsupported block size. De vt-d issues juist boot issues.
No problem :)
Nu heb ik wel ergens gelezen dat iemand dit oploste door een nieuwe passthrough te maken en de eerste te verwijderen, ofzoiets. Dan zou opnieuw interrupts ingedeeld worden. Ik weet het ook niet, maar dit nog relevant zijn?
Weet je dat zeker? Volgens mij was dat een ander probleem, waarbij er (lichte) interrupt storms kwamen doordat passthrough-device + NIC op dezelfde IRQ zaten. Dat was op te lossen door de NIC te verwijderen en opnieuw toe te voegen, waardoor die op een andere IRQ gemapt zou worden.

In mijn geval is mijn passthrough-device (onboard SATA-controller) het enige device op die IRQ. Zodra ik meerdere vCPUs toewijs, gaat dat device ongelooflijk veel interrupts genereren die er niet zijn als ik draai met maar 1 vCPU.

Gewoon een heel grote verzameling snoertjes


Acties:
  • 0 Henk 'm!
Klinkt als een dikke vette bug in ESXi...

Even niets...


Acties:
  • 0 Henk 'm!
nvm, ik moet wat leren lezen voor ik zit te blaten :+

[ Voor 84% gewijzigd door HyperBart op 14-03-2013 11:23 ]


Acties:
  • 0 Henk 'm!
Compizfox schreef op woensdag 13 maart 2013 @ 23:09:
[...]
No problem :)

[...]
Weet je dat zeker? Volgens mij was dat een ander probleem, waarbij er (lichte) interrupt storms kwamen doordat passthrough-device + NIC op dezelfde IRQ zaten. Dat was op te lossen door de NIC te verwijderen en opnieuw toe te voegen, waardoor die op een andere IRQ gemapt zou worden.
Jup, dat komt doordat hij op de een of andere manier de NIC en de VT-d'ede storage controller op dezelfde IRQ hangen
In mijn geval is mijn passthrough-device (onboard SATA-controller) het enige device op die IRQ. Zodra ik meerdere vCPUs toewijs, gaat dat device ongelooflijk veel interrupts genereren die er niet zijn als ik draai met maar 1 vCPU.
Idem hier, maar ik zou eens moeten nakijken of hij dan nu 2 aparte IRQ's heeft

Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

FireDrunk schreef op donderdag 14 maart 2013 @ 07:01:
Klinkt als een dikke vette bug in ESXi...
Ja lijkt mij ook. Ik had even hoop dat het misschien gefixed zou zijn met de patch van een weekje geleden (stond wel iets met interrupt handling in de changelog iig :+), maar nee.

Waar kan ik deze bugs eigenlijk doorgeven? Het zou natuurlijk ook kunnen dat ze er bij VMware helemaal niet van op de hoogte zijn.

[ Voor 16% gewijzigd door Compizfox op 14-03-2013 13:02 ]

Gewoon een heel grote verzameling snoertjes


Acties:
  • 0 Henk 'm!
Eerste hit op google:
Under ESX5i, if you add more than 1 CPU, I encounter “Interrupt Storm on IRQx” (IRQ18) in my case.
To solve that, boot into Freenas VM Bios: Disable Floppy drive, Com ports, Printer ports and anything else that you are not going to use.
Save changes.
Reboot
Solved!

Even niets...


Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

Ja, maar dat werkt dus weer niet in mijn geval.

Dat werkt alleen als je (lichte) interrupt storms krijgt doordat er meerdere devices (bijjvoorbeeld NIC, parallel port, serial port) op eenzelfde IRQ zitten.

Dat is in mijn geval niet de bron van de interrupt storms. Wat ik heb zijn ongelooflijk veel interrupt storms (interrupt rate van 148382) op 1 enkel device (mijn doorgegeven SATA-controller).

zie ook Compizfox in "Zuinige ESXi Server"

[ Voor 8% gewijzigd door Compizfox op 14-03-2013 15:06 ]

Gewoon een heel grote verzameling snoertjes


Acties:
  • 0 Henk 'm!
Heb je het uberhaupt geprobeerd?

Even niets...


Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

Ja, heb ik al lang uitstaan (om de simpele reden dat ik het niet gebruik)

Gewoon een heel grote verzameling snoertjes


Acties:
  • 0 Henk 'm!
Ben je niet toevallig in de war met je fysieke parallele poort en com poort?

Even niets...


Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

Nee. Ook die staan uit, maar ik heb ik de vBIOS van de VMs ook die poorten uitgezet.

Gewoon een heel grote verzameling snoertjes


Acties:
  • 0 Henk 'm!

  • Mafketel
  • Registratie: Maart 2000
  • Laatst online: 17-10-2023
Zo even een tutorial op het zfsguru forum gezet hoe je van een clone kunt booten en dus veilig kan updaten en dingen veranderen.

p.s. nu met linkje ...
http://zfsguru.com/forum/zfsgurudevelopment/598

[ Voor 22% gewijzigd door Mafketel op 15-03-2013 11:06 . Reden: excuses was idd netter geweest ;) ]


Acties:
  • 0 Henk 'm!

  • fonsoy
  • Registratie: Juli 2009
  • Laatst online: 23:52
Ik heb dat zelf wel geprobeerd. Alle poorten en I/O uitzetten die niet voor de functie van de VM noodzakelijk zijn. Alleen in het VM BIOS, overigens. Uiteindelijk bleek de interrupt toch van een iets andere eigenschap te zijn. Ik denk dat de reden was dat het geen oplossing was voor het probleem.

Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu


Acties:
  • 0 Henk 'm!

  • Neptunus
  • Registratie: Januari 2001
  • Laatst online: 23-06 16:04
Uit nieuwsgierigheid:
wat voor configuratie kiezen jullie met 8 disks. Met als randvoorwaarde dat raidz3 8 disks (5+3) niet mag.

Acties:
  • 0 Henk 'm!

  • fonsoy
  • Registratie: Juli 2009
  • Laatst online: 23:52
Neptunus schreef op donderdag 14 maart 2013 @ 22:27:
Uit nieuwsgierigheid:
wat voor configuratie kiezen jullie met 8 disks. Met als randvoorwaarde dat raidz3 8 disks (5+3) niet mag.
Ik heb 3 4TB disks en 5 2TB disks, ik koos voor twee RAIDZ1 volumes. Ik zou, net als ik, kiezen voor een dubbel RAIDZ1 volume. Zijn in jouw geval alle disks identiek? Is RAIDZ2 met alle disks een optie?

EDIT: RAIDZ2 is qua diskaantal weer niet optimaal. Dan zou ik inderdaad voor RAIDZ1 x2 gaan, als je geen HDD's erbij wenst te kopen, voor een eventuele RAIDZ2.

[ Voor 15% gewijzigd door fonsoy op 14-03-2013 22:30 ]

Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu


Acties:
  • 0 Henk 'm!

  • Xudonax
  • Registratie: November 2010
  • Laatst online: 07-10 13:38
Met 8 disks doe ik 6 in een RAID-Z2 voor alle "normale" bestanden, en 2 voor een ZFS mirror welke vrijwel volledig als iSCSI het netwerk opgeslingerd word voor andere machines/doeleinden :)

Acties:
  • 0 Henk 'm!

  • Contagion
  • Registratie: Maart 2000
  • Laatst online: 20-10 17:58
Met acht disks maar niet RAID-Z3 zou ik voor RAID-Z2 kiezen :). De performance penalty bij niet optimale opstelling vind ik niet van belang (bovendien blijkt in de praktijk dat het enorm meevalt (bij grote bestanden)).

[ Voor 55% gewijzigd door Contagion op 14-03-2013 22:49 ]


Acties:
  • 0 Henk 'm!

  • Neptunus
  • Registratie: Januari 2001
  • Laatst online: 23-06 16:04
fonsoy schreef op donderdag 14 maart 2013 @ 22:29:
[...]

Ik heb 3 4TB disks en 5 2TB disks, ik koos voor twee RAIDZ1 volumes. Ik zou, net als ik, kiezen voor een dubbel RAIDZ1 volume. Zijn in jouw geval alle disks identiek? Is RAIDZ2 met alle disks een optie?
Mijn disks zijn 8x identiek van 2 TB.

Acties:
  • 0 Henk 'm!

  • Neptunus
  • Registratie: Januari 2001
  • Laatst online: 23-06 16:04
Heb jij ergens een benchmark? Ik kon het niet vinden. Is het wel net zo veilig Z2 met 8 disks tov. 10 disks?

Acties:
  • 0 Henk 'm!

  • Contagion
  • Registratie: Maart 2000
  • Laatst online: 20-10 17:58
RaidZ2 is RaidZ2, oftewel er mogen 2 disks finaal weg zijn en zelfs dan is je array in-tact (maar wel uitermate kwetsbaar op dat moment). Het is natuurlijk wel zo dat de kans op falende harddisks groter is bij 10 stuks dan bij 8. Om diezelfde reden zie je tot een disk of 6 vaak RAID-Z1 (ruimteverlies vs kans op uitval) en dan Raid-Z2. Ik heb zelf een RAID-Z3 array van 13 disks (paranoia ;)).

Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

Handig hierbij is om te berekenen wat de 'relatieve redundancy' is (term zal wel niet helemaal kloppen ;))

Bij RAID-Z1 met 3 disks mag 1 disk uitvallen --> 1/3 van je disks
Bij RAID-Z1 met 5 disks mag 1 disk uitvallen --> 1/5 van je disks
Bij RAID-Z2 met 4 disks mogen 2 disks uitvallen --> 1/2 van je disks
Bij RAID-Z2 met 6 disks mogen 2 disks uitvallen --> 1/3 van je disks
Bij RAID-Z2 met 8 disks mogen 2 disks uitvallen --> 1/4 van je disks
Bij RAID-Z2 met 10 disks mogen 2 disks uitvallen --> 1/5 van je disks

Als je het zo bekijkt valt het nog wel mee; RAID-Z2 met 8 disks is maar iets minder veilig dan RAID-Z1 met 3 disks, maar veiliger dan RAID-Z1 met 5 disks en RAID-Z2 met 10 disks (wat ook redelijk common setups zijn)

RAID-Z2 met 4 disks is logischerwijs het veiligst.

8 disks is trouwens dan weer niet een optimaal aantal disks voor RAID-Z2. Voor RAID-Z1 en RAID-Z3 ook niet trouwens.

[ Voor 29% gewijzigd door Compizfox op 15-03-2013 00:10 ]

Gewoon een heel grote verzameling snoertjes


Acties:
  • 0 Henk 'm!

  • Xudonax
  • Registratie: November 2010
  • Laatst online: 07-10 13:38
Als "vervolg" op mijn vorige benchmarks (als ik het al zo mag noemen... stelt niet héél veel voor) heb ik het nog eens gedraaid met een simpele USB stick als cache (L2ARC), en met een file op mijn boot SSD (Crucial m4 64GB). Ik ben niet echt onder de indruk van de USB resultaten, maar het is dan ook een baggertrage USB stick :)

USB (Sandisk Cruzer Fit 8GB):
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Test Cycles: 5 

Transfer Size   Sequential Read   Sequential Write    Random Read      Random Write

   4 KBytes      11.219 MB/Sec     10.205 MB/Sec     10.269 MB/Sec     10.850 MB/Sec
   8 KBytes      16.310 MB/Sec     16.423 MB/Sec     17.729 MB/Sec     17.033 MB/Sec
  16 KBytes      30.367 MB/Sec     16.737 MB/Sec     30.130 MB/Sec     17.715 MB/Sec
  32 KBytes      45.043 MB/Sec     29.109 MB/Sec     45.981 MB/Sec     28.261 MB/Sec
  64 KBytes      63.264 MB/Sec     45.601 MB/Sec     62.587 MB/Sec     38.633 MB/Sec
 128 KBytes      79.241 MB/Sec     64.503 MB/Sec     78.370 MB/Sec     64.615 MB/Sec
 256 KBytes      87.790 MB/Sec     81.228 MB/Sec     92.026 MB/Sec     82.457 MB/Sec
 512 KBytes      99.306 MB/Sec     87.386 MB/Sec     98.550 MB/Sec     89.149 MB/Sec
1024 KBytes      98.949 MB/Sec     90.626 MB/Sec     99.895 MB/Sec     87.530 MB/Sec

Standard Ave     59.054 MB/Sec     49.091 MB/Sec     59.504 MB/Sec     48.471 MB/Sec


De resultaten met een bestand op de SSD als cache zullen even moeten wachten aangezien mijn benchmark tool niet lekker wil afsluiten :/ Die houden jullie dus van me tegoed.

Acties:
  • 0 Henk 'm!

  • Neptunus
  • Registratie: Januari 2001
  • Laatst online: 23-06 16:04
Compizfox schreef op donderdag 14 maart 2013 @ 23:58:

8 disks is trouwens dan weer niet een optimaal aantal disks voor RAID-Z2. Voor RAID-Z1 en RAID-Z3 ook niet trouwens.
Mmmm maar eens kijken of ik er nog twee HUA723020ALA641 bij kan fixen.

Acties:
  • 0 Henk 'm!

  • Contagion
  • Registratie: Maart 2000
  • Laatst online: 20-10 17:58
Elke keer blijft dat 'niet optimaal aantal disks' weer terugkomen. Als je geen problemen hebt om 2 disks bij te kopen dan is het prima, maar het is echt geen *must*. Volgens mij valt de performcedrop enorm mee, ik heb ook een ill-shaped array (13 disks waarvan 3 parity) en haal alsnog doorvoer van 800 MB/sec en voor de meeste mensen is het halen van Gbit snelheid al voldoende.

Acties:
  • 0 Henk 'm!
Ik heb het ook vaker geroepen, het scheelt niet zo veel performance dat je er last van hebt. Het is alleen maar voor de mensen die op benchmarkstats geilen.

Even niets...


Acties:
  • 0 Henk 'm!

  • Contagion
  • Registratie: Maart 2000
  • Laatst online: 20-10 17:58
Precies, natuurljik levert meer disks meer storage en meer snelheid op, maar het kost ook meer (zou ik dan toch naar 19 disks (16+3 ipv nu 10+3) moeten dan moet ik er wel 600 euro bijlappen terwijl de 30 TB nog niet vol is.

Overigens wat minder vaak genoemd wordt maar voor ashift=12 wel het geval: de overhead lijkt wel een stuk groter omdat 128 KB records niet netjes te verdelen zijn over een niet-macht-van-2 disks. Ik ga daar nog eens een overzichtje van maken want bij mij scheelt de gerapporteerde vrije ruimte echt een TB t.o.v. echte ruimte.

Deze post (vind ik zelf :)) dan ook interessant Contagion in "Het grote ZFS topic"

Acties:
  • 0 Henk 'm!

  • Neptunus
  • Registratie: Januari 2001
  • Laatst online: 23-06 16:04
Contagion schreef op vrijdag 15 maart 2013 @ 10:19:
Elke keer blijft dat 'niet optimaal aantal disks' weer terugkomen. Als je geen problemen hebt om 2 disks bij te kopen dan is het prima, maar het is echt geen *must*. Volgens mij valt de performcedrop enorm mee, ik heb ook een ill-shaped array (13 disks waarvan 3 parity) en haal alsnog doorvoer van 800 MB/sec en voor de meeste mensen is het halen van Gbit snelheid al voldoende.
Jij hebt helemaal gelijk :$ had zelf ook iets beter moeten lezen in dit topic (staat intussen al zoveel informatie). Is het een idee om in de topic start informatie op te nemen over "niet optimaal aantal disks" bv. ergens onder het stukje "Ik heb gehoord dat je ZFS moet optimaliseren voor 4K Advanced Format hardeschijven?"

???

Acties:
  • 0 Henk 'm!
Neptunus schreef op vrijdag 15 maart 2013 @ 12:16:
[...]


Jij hebt helemaal gelijk :$ had zelf ook iets beter moeten lezen in dit topic (staat intussen al zoveel informatie). Is het een idee om in de topic start informatie op te nemen over "niet optimaal aantal disks" bv. ergens onder het stukje "Ik heb gehoord dat je ZFS moet optimaliseren voor 4K Advanced Format hardeschijven?"

???
Staat onder kopje: Ik heb gehoord dat je ZFS moet optimaliseren voor 4K Advanced Format hardeschijven?

Even niets...


Acties:
  • 0 Henk 'm!

  • Contagion
  • Registratie: Maart 2000
  • Laatst online: 20-10 17:58
Het zou wat mij betreft ook wat meer uitgelicht mogen worden in de topic start. Ik ben er ook nog niet helemaal achter in hoeverre performace of space afneemt met een niet-optimale configuratie. Ik heb het echter zo beredeneerd dat een extra schijf ALTIJD meer ruimte zal opleveren dan het niet hebben van een extra schijf en dat DAT dus leading is in de keuze van een array. Een array van 30 TB leek mij cooler dan een van 24 TB dus heb ik gekozen voor 10 schijven + parity en niet voor 8 + parity.

Verder; er staat in de start ook dat ZFS on linux niet stabiel of volwassen genoeg zijn. Daar ben ik het ook niet mee eens ZFS-fuse gaat al een hele tijd mee en heeft mij nooit prolemen gegeven. Het is trager, gebruikt een oudere on-disk versie (V15?) maar heeft ook een prachtig voordeel: het werkt prima op een 32 bit systeem. Mijn oude laptop en backup systeem gebruiken om die reden ook ZFS fuse.

Daarnaast heb je ZFS-on-linux en dat hoeft ook niet zelf-compileren te betekeken. Er is een prima ppa voor Ubuntu: https://launchpad.net/~zfs-native/+archive/stable waarmee je meeloopt met de laatste ontwikkelingen. Ik geloof dat inmiddels het recente LZ4 is toegevoegd en geporteerd uit de IllumOS/FreeBSD tree en ze daarmee nu pool Verison 5000 ondersteunen.

Ik heb een tijd geleden het prestatieverschil bekeken tussen FreeBSD en Linux maar dat ontloopt elkaar ook niks.

Oh en nog een dingetje. Met ZFS-Fuse kan je op een 512 MB machine prima uit de voeten. ZFSOnLinux draait perfect met 2 GB RAM. Geheugen is nu niet zo duur, maar waarom zou ik voor een NAS 16 GB RAM willen als 2 GB ook voldoet (vooruit; dedup wel uit).

[ Voor 12% gewijzigd door Contagion op 15-03-2013 13:30 ]


Acties:
  • 0 Henk 'm!

  • Neptunus
  • Registratie: Januari 2001
  • Laatst online: 23-06 16:04
FireDrunk schreef op vrijdag 15 maart 2013 @ 12:31:
[...]

Staat onder kopje: Ik heb gehoord dat je ZFS moet optimaliseren voor 4K Advanced Format hardeschijven?
In de topic start is een indeling gemaakt van verschillende onderwerpen. Een van de onderwerpen is "Ik heb gehoord dat je ZFS moet optimaliseren voor 4K Advanced Format hardeschijven?". Mijn idee was om hier meer uitleg te geven over niet optimaal aantal disks met ZFS.

Acties:
  • 0 Henk 'm!

  • Xudonax
  • Registratie: November 2010
  • Laatst online: 07-10 13:38
En als "laatste stukje" van mijn benchmarks de resultaten met een SSD als cache:

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Test Cycles: 5 

Transfer Size   Sequential Read   Sequential Write    Random Read      Random Write

   4 KBytes      13.270 MB/Sec     13.484 MB/Sec     12.623 MB/Sec     13.638 MB/Sec
   8 KBytes      20.331 MB/Sec     19.386 MB/Sec     20.682 MB/Sec     19.456 MB/Sec
  16 KBytes      34.496 MB/Sec     21.333 MB/Sec     34.634 MB/Sec     21.375 MB/Sec
  32 KBytes      48.786 MB/Sec     35.911 MB/Sec     48.388 MB/Sec     35.998 MB/Sec
  64 KBytes      65.235 MB/Sec     54.258 MB/Sec     66.387 MB/Sec     53.926 MB/Sec
 128 KBytes      82.515 MB/Sec     72.510 MB/Sec     80.687 MB/Sec     71.833 MB/Sec
 256 KBytes      93.980 MB/Sec     86.955 MB/Sec     93.128 MB/Sec     88.959 MB/Sec
 512 KBytes      100.888 MB/Sec    93.907 MB/Sec     100.453 MB/Sec    93.593 MB/Sec
1024 KBytes      102.185 MB/Sec    96.577 MB/Sec     102.416 MB/Sec    95.974 MB/Sec

Standard Ave     62.409 MB/Sec     54.925 MB/Sec     62.156 MB/Sec     54.973 MB/Sec


Ik heb de SSD niet direct aan ZFS gegeven, ik heb op de SSD (mijn / partitie) een 8GB image aangemaakt en die vervolgens met losetup als blockdevice aan ZFS aangeboden. Zelfs voor een dergelijke suboptimale methode vind ik de resultaten héél erg tegenvallen... Ik vind vooral de random reads vrij laag, of komt dit gewoon doordat de cache niet warm is?

Acties:
  • 0 Henk 'm!
Dat is 3000 iops? Dat valt toch wel mee?

Even niets...


Acties:
  • 0 Henk 'm!

  • Xudonax
  • Registratie: November 2010
  • Laatst online: 07-10 13:38
Mja, misschien dat ik er verkeerd naar kijk. Maar de daadwerkelijke snelheid is niet/nauwelijks hoger dan zonder SSD cache, en dat is wat ik opvallend vind. En Crucial specced deze SSD op tot 20K IOPS random write met 4K sectoren en tot 45K IOPS met random write met 4k sectoren...

Misschien dat ik teveel verwacht...

Acties:
  • 0 Henk 'm!
Wat was je os/setup ook alweer?

Even niets...


Acties:
  • 0 Henk 'm!

  • Xudonax
  • Registratie: November 2010
  • Laatst online: 07-10 13:38
OS: Fedora 18 (volledig up-to-date, dus kernel 3.8.2-206.fc18.x86_64) met ZFS-on-Linux 0.6.0-rc13
CPU: Intel Xeon E3-1265LV2
RAM: 2x Kingston DDR3 1333MHz CL9
HDD: 2x Hitachi 7K1000b in mirror (voor iSCSI), 6x Hitach 5K1000 in RAID-Z2 (voor AFP/SMB etc)
SSD: 1x Crucial m4 64GB mSATA
HBA: IBM M1015 in IT mode
MOBO: Intel DH77DF

En daarmee heb ik volgens mij alles wel :)

Acties:
  • 0 Henk 'm!
Mja, ZFSonLinux is nog niet performance optimized, dat roepen ze zelf ook heel hard...

Even niets...


Acties:
  • 0 Henk 'm!

  • Contagion
  • Registratie: Maart 2000
  • Laatst online: 20-10 17:58
Ik weet niet precies wat Quickbench doet maar als je resultaten met of zonder SSD cache nauwelijks uitmaken, zou het dan niet gewoon zo kunnen zijn dat er niks te cachen viel en een cachedrive dus geen meerwaarde heeft tijdens die benchmark?

De meeste benchmarks zijn juist zo ingericht dat je cache-effecten niet terugziet. Simpel voorbeeld: dd if=/dev/zero of=file bs=1M count=1000. Schrijven van 1 GB gaat waarschijnlijk direct via je memory cache. Pas als de file (veel) groter wordt dan je RAM dan lever het betrouwebaardere informatie op.

Acties:
  • 0 Henk 'm!

  • Xudonax
  • Registratie: November 2010
  • Laatst online: 07-10 13:38
Dat ben ik met je eens Contagion, maar dit is de enige software die ik kon vinden voor OS X waarmee ook de random seeks bekeken werden. Verder kan ik niet echt random I/O tests vinden helaas :( De bestandsgrote waarmee getest word valt naar alle waarschijnlijkheid ruim binnen de toegewezen ARC ruimte (~4GB).

Acties:
  • 0 Henk 'm!
Dan test je vooral je netwerk. ARC == 100% memory, dan doen je disks (en je L2ARC) helemaal niets...

Even niets...


Acties:
  • 0 Henk 'm!

  • Contagion
  • Registratie: Maart 2000
  • Laatst online: 20-10 17:58
Ok, snap ik, maar als het dus gaat om caching waarvoor je de SSD wil inzetten; is dat bij een random i/o test sowieso weinig zinvol? Ik zie zelf trowens voor huis-setups helemaal geen noodzaak van een SSD. Met een beetje RAM worden belangrijke blokken toch wel in je ARC gezet.

Kan je de SSD niet beter in je Mac stoppen en er daar iets handigs mee doen? ;)

Acties:
  • 0 Henk 'm!

  • Xudonax
  • Registratie: November 2010
  • Laatst online: 07-10 13:38
Ik ben ook zeker van plan om een SSD in mijn Mac te zetten, maar ik wil nog wachten op de Crucial m500 :) Dan kan ik kijken hoe die zich verhoud tot de Samsung 840 Pro (zowel prijs als prestatie) en kijken welke ik ga halen. Maar dat is off topic :P

Acties:
  • 0 Henk 'm!

  • sontax
  • Registratie: December 2006
  • Niet online
.

[ Voor 99% gewijzigd door sontax op 23-10-2022 10:04 ]


Acties:
  • 0 Henk 'm!

  • EnerQi
  • Registratie: Maart 2011
  • Laatst online: 20-10 14:51
Ik ben benieuwd of jullie hier nog op of aanmerkingen over hebben. Is het bijvoorbeeld verstandig om nog even te wachten ivm prijsverlagingen of toekomstig komende platforms ? [/quote]

Intel processor 'Haswell' komt binnenkort uit (opvolger Ivy bridge). Voor zover ik het begrepen heb, zou het weer sneller moeten zijn maar het idle gebruik gaat zeer weinig omlaag. Erop wachten heeft in mijn ogen weinig zin, maar de keuze is aan jou ;).

Normaal zou ik roepen om meer RAM maar met 32 GB zit je erg goed!

Acties:
  • 0 Henk 'm!
Klinkt allemaal prima! Je kan nog overwegen om CL10 geheugen te nemen, maar dat moet je ook maar belangrijk vinden. De trap van 1333Mhz CL9 naar 1600Mhz CL11 is namelijk vrijwel verwaarloosbaar. De hogere CAS latency verwaarloost de snelheidsverhoging.

Alleen 1600Mhz CL9 of CL10 is eigenlijk een upgrade t.o.v. 1333Mhz geheugen. Maar voor een standaard NAS boeit het allemaal vrij weinig, dus neem dan gewoon het goedkoopste.

Let ook goed op met dat moederbord, de eerste BIOS/UEFI versies willen niet goed met ESXi werken, dus meteen out of the box BIOS en Managment Engine upgraden! (mocht dat niet lukken, stuur even een DM :) )

De eerste leveringen van Haswell komen denk ik pas na de zomer...

[ Voor 5% gewijzigd door FireDrunk op 16-03-2013 09:37 ]

Even niets...


Acties:
  • 0 Henk 'm!

  • Jormungandr
  • Registratie: Oktober 2006
  • Laatst online: 22:22
In hoeverre ga je de performance hit voelen als je een niet-conform disk aantal gebruikt voor raidz/raidz2? Ik heb 6 van de 8 diskslots vol en ik dacht eerst om 2 extras te kopen en een 8disk raidz2 te doen. Nu denk ik eerder om er 5disk raidz+HS van te maken en later 2 schijven erbij te zetten om een 3disk raidz te maken en in de pool toe te voegen. Daarmee ben ik dan conform de best practices voor disk aantallen. Schrik tijdens lange rebuilds op ZFS zit er dan niet in vanwege de niet bestaande bad sectors, dus raidz2 is in se niet nodig.

En vooraleer Cipher en Firedrunk beginnen te gniffelen, ja ik kijk naar ZFS(guru) als optie. Na een dag kutten met mdadm/arch is het plezier eraf :P.

Acties:
  • 0 Henk 'm!
De performance hit is voor de gemiddelde thuisgebruiker verwaarloosbaar... Dan praat je over 350MB/s tegenover 300MB/s ofzo...

Even niets...


Acties:
  • 0 Henk 'm!

  • Contagion
  • Registratie: Maart 2000
  • Laatst online: 20-10 17:58
@sontax: als je klein kastje neemt en nu met 3x2 TB gaat werken en dit VERVANGT door 6x3TB, waarom zou je dan nog een M1015 kopen? Ben je niet beter af met een moederbord weer gewoon 6x sata op zit (zoals bijv mijn Asrock Z77 Pro 4M - 8x sata waarvan 2x SATA 600 dmv in board Asmedia controller + 1x SATA 600 + 5x SATA 300 vanuit Z77 chipset).

@Jormungandr: ik zie zelf het voordeel van een hot spare totaal niet. In geval van falen bij RAIDZ1 zou je toch eigenlijk willen dat de extra disk alle relevante data al bevat? Om op moment van valen pas te syncen lijkt me een extra risico. Ik zou zelf dus kiezen voor een RAIDZ2 setup ook al is het aantal disks dan niet optimaal. Overigens zie je overal dat je een bestaande x disk array niet kan utibreiden naar een x+y disks array. Als je dat echt wilt, je geduld hebt en bereid bent het risico te nemen dat je mogelijk al je data kwijt raakt dan kan het wel alleen niet volgens de 'officiële' wegen. Misschien moet ik er toch eens een post over gaan schrijven :).

[ Voor 54% gewijzigd door Contagion op 17-03-2013 23:25 ]


Acties:
  • 0 Henk 'm!

  • Bigs
  • Registratie: Mei 2000
  • Niet online
Biedt ZFSguru eigenlijk ondersteuning voor hotspares? Want ZFS onder FreeBSD heeft het standaard niet, d.w.z. je dient een userspace proces te draaien om de cold spare te activeren bij een gefaalde schijf. Dat is wel een belangrijk iets wat nog wel eens over het hoofd gezien wordt.

Acties:
  • 0 Henk 'm!
Nee, ZFSguru kan daar nog niet automatisch iets mee. Je kan wel handmatig devices vervangen.

Hotspares is een beetje een wassen neus. Alleen als je 3 dikke VDEV's hebt met 10 schijven is een hotspare leuk. Bij de meeste builds kan je haast beter RAIDZ2 draaien. Veiliger, en minder geklooi...

[ Voor 52% gewijzigd door FireDrunk op 18-03-2013 10:49 ]

Even niets...


Acties:
  • 0 Henk 'm!

  • matty___
  • Registratie: Augustus 2005
  • Laatst online: 10-10 13:24
Bigs schreef op maandag 18 maart 2013 @ 10:14:
Biedt ZFSguru eigenlijk ondersteuning voor hotspares? Want ZFS onder FreeBSD heeft het standaard niet, d.w.z. je dient een userspace proces te draaien om de cold spare te activeren bij een gefaalde schijf. Dat is wel een belangrijk iets wat nog wel eens over het hoofd gezien wordt.
volgens mij zijn ze er wel mee bezig.

Acties:
  • 0 Henk 'm!

  • fonsoy
  • Registratie: Juli 2009
  • Laatst online: 23:52
Op het moment ben ik nog bezig met de configuratie van de ZFS en Windows machine.
Ik virtualiseer ZFSguru onder ESXi, en dat werkt meer dan goed.

Nu heb ik een iSCSI volume aangemaakt, wat ik wil doorgeven aan een windows-machine. Dit is ook goed gegaan, alleen heb ik enkele vragen betreffende de performance. Nu wordt de networkstack van ESXi gebruikt, en zit ik volgens mij vast aan de 1Gb/s link vast. Helaas lijkt sneller niet mogelijk te zijn, tenzij ik ook een hardware 10Gb-T kaart aanschaf. Ik had eigenlijk wel verwacht dat een 10GbE virtuele adapter wel mogelijk was, zonder de hardware.

Heeft iemand nog wat ervaringen betreffende performance tuning van iSCSI en ZFS? Ik krijg 80MB/s sequentieel lezen (de ene keer 60, andere keer 100) en 100MB/s sequentieel schrijven. De kleinere (512K en 4-64K) writes lijken wel in orde, deze liggen rond de 10 MB/s.

Het zou optimaal zijn om de 1Gb link vol te krijgen, dus beiden stabiel boven de 100MB/s.
Ik werk met 3* 4TB Hitachi 5K4000 schijven. Zij hangen aan een IBM M1015, die via VT-d aan ZFSguru doorgegeven is.

Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu


Acties:
  • 0 Henk 'm!

  • leuk_he
  • Registratie: Augustus 2000
  • Laatst online: 15-07 15:35

leuk_he

1. Controleer de kabel!

fonsoy schreef op maandag 18 maart 2013 @ 14:06:
Ik had eigenlijk wel verwacht dat een 10GbE virtuele adapter wel mogelijk was, zonder de hardware.
Zelfde machine? vmxnet/vmxnet3 gebruiken, daar hangt geen netwerksnelheid aan en zou aanzienlijk sneller moeten zijn.
http://ogris.de/vmware/
niet meer nodig dus.
Wellicht dat je de binaries inmiddels ook wel ergens kunt vinden.


@ hieronder... Virt/io is zo te lezen sneller. vmnet3 wordt wel getoond als een 10 Gbit adapter, maar alleen de CPU (en soortgelijke bottlenecks) is de limiet voor zover ik me erop heb ingelezen. .... niet genoeg, want de virtio optie is me ontschoten.

[ Voor 25% gewijzigd door leuk_he op 18-03-2013 15:16 ]

Need more data. We want your specs. Ik ben ook maar dom. anders: forum, ff reggen, ff topic maken
En als je een oplossing hebt gevonden laat het ook ujb ff in dit topic horen.


Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

fonsoy schreef op maandag 18 maart 2013 @ 14:06:
Op het moment ben ik nog bezig met de configuratie van de ZFS en Windows machine.
Ik virtualiseer ZFSguru onder ESXi, en dat werkt meer dan goed.

Nu heb ik een iSCSI volume aangemaakt, wat ik wil doorgeven aan een windows-machine. Dit is ook goed gegaan, alleen heb ik enkele vragen betreffende de performance. Nu wordt de networkstack van ESXi gebruikt, en zit ik volgens mij vast aan de 1Gb/s link vast. Helaas lijkt sneller niet mogelijk te zijn, tenzij ik ook een hardware 10Gb-T kaart aanschaf. Ik had eigenlijk wel verwacht dat een 10GbE virtuele adapter wel mogelijk was, zonder de hardware.
Eh, dat kan ook. Dan moet je VMXNET3 (de paravirtualised controller) gebruiken ipv die Intel E1000.

Daarvoor moet je wel de VMware guest tools installeren, maar die meegeleverd met ESXi 5.1 doen het prima onder FreeBSD.

Gewoon een heel grote verzameling snoertjes


Acties:
  • 0 Henk 'm!
leuk_he schreef op maandag 18 maart 2013 @ 14:40:
[...]


Zelfde machine? vmxnet/vmxnet3 gebruiken, daar hangt geen netwerksnelheid aan en zou aanzienlijk sneller moeten zijn.
http://ogris.de/vmware/

Wellicht dat je de binaries inmiddels ook wel ergens kunt vinden.
De VMXNET3 adapter is toch echt capped op 10Gb, en veelal haal je dat niet eens. Record wat ik gehaald heb (met een hele dikke server) was iets van 6,5Gb/s

Met VirtIO kan je wel *veel* sneller.. (31Gb/s geklokt hier)

En die pagina die je noemt is al lang niet meer nodig, de nieuwste VMware Tools van ESXi 5.1 compilen prima op FreeBSD 9.x

[ Voor 10% gewijzigd door FireDrunk op 18-03-2013 14:43 ]

Even niets...


Acties:
  • 0 Henk 'm!

  • jadjong
  • Registratie: Juli 2001
  • Niet online
fonsoy schreef op maandag 18 maart 2013 @ 14:06:
Op het moment ben ik nog bezig met de configuratie van de ZFS en Windows machine.
Ik virtualiseer ZFSguru onder ESXi, en dat werkt meer dan goed.

Nu heb ik een iSCSI volume aangemaakt, wat ik wil doorgeven aan een windows-machine. Dit is ook goed gegaan, alleen heb ik enkele vragen betreffende de performance. Nu wordt de networkstack van ESXi gebruikt, en zit ik volgens mij vast aan de 1Gb/s link vast. Helaas lijkt sneller niet mogelijk te zijn, tenzij ik ook een hardware 10Gb-T kaart aanschaf. Ik had eigenlijk wel verwacht dat een 10GbE virtuele adapter wel mogelijk was, zonder de hardware.
Doe maar eens wat metingen met iperf, dan zie je het probleem. Zowel e1000 als vmxnet zijn niet gelimiteerd in bandbreedte door ESX. De enige limiet is de processor van de host. Doordat e1000 iets minder efficient is zal deze een lagere bandbreedte geven dan vmxnet3. Op een Xeon E5 systeem scoor ik 4Gbit tussen windows(vmxnet3) en solaris (e1000). Tussen 2x windows(vmxnet3) is in dit systeem 12Gbit mogelijk. Belangrijkste parameter is de tcp windowsize. Met 1K heb je minder bandbreedte dan 8M.

Als je nas-vm geen stabiele vmxnet3-verbinding op kan zetten is meerdere e1000 ook een optie. Met een windows 2008(vmxnet3) en solaris(2x e1000) scoor ik ~800MB/s met CDM of AS SSD over iscsi. Dit zijn reads vanuit de ZFS-arc. Rechtstreeks vanaf disk kom ik met iscsi niet verder dan ~100MB/s, ondanks dat de array binnen ZFS ruim boven de 400MB/s benchmarkt. Als je test met iperf zal je zien dat netwerkbandbreedte tussen twee vm's niet de bottleneck is, de array zelf is het vaak ook niet. Waar het dan wel opstroopt ben ik na twee jaar nogsteeds niet achter... :-(

Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

jadjong schreef op maandag 18 maart 2013 @ 16:47:
[...]

Doe maar eens wat metingen met iperf, dan zie je het probleem. Zowel e1000 als vmxnet zijn niet gelimiteerd in bandbreedte door ESX.
Oh?

E1000 is 1GBASE-TX, dus 1 Gb/s. VMX3NET is 10GBASE-T, dus 10 Gb/s.

Gewoon een heel grote verzameling snoertjes


Acties:
  • 0 Henk 'm!

  • jadjong
  • Registratie: Juli 2001
  • Niet online
Compizfox schreef op maandag 18 maart 2013 @ 17:00:
[...]
Oh?

E1000 is 1GBASE-TX, dus 1 Gb/s. VMX3NET is 10GBASE-T, dus 10 Gb/s.
E1000 > E1000

C:\1>iperf -c 172.22.2.222 -w8m
------------------------------------------------------------
Client connecting to 172.22.2.222, TCP port 5001
TCP window size: 8.00 MByte
------------------------------------------------------------
[180] local 172.22.2.24 port 64164 connected with 172.22.2.222 port 5001
[ ID] Interval Transfer Bandwidth
[180] 0.0-10.0 sec 4.66 GBytes 4.00 Gbits/sec

Andere host:
C:\1>iperf -c 172.22.2.237 -w8m
------------------------------------------------------------
Client connecting to 172.22.2.237, TCP port 5001
TCP window size: 8.00 MByte
------------------------------------------------------------
[180] local 172.22.2.24 port 64171 connected with 172.22.2.237 port 5001
[ ID] Interval Transfer Bandwidth
[180] 0.0-10.0 sec 2.10 GBytes 1.80 Gbits/sec

Dus....

Die 11.7Gbit op vmxnet3 kan ik nu niet meer reproduceren, dat was op een leeg systeem met enkel die twee vm's gestart.

[ Voor 30% gewijzigd door jadjong op 18-03-2013 17:17 ]


Acties:
  • 0 Henk 'm!
Dan is dat nieuw in esx. Ik test dat bij bijna elke versie en kwam nooit boven de 7Gb uit.

Even niets...


Acties:
  • 0 Henk 'm!

  • jadjong
  • Registratie: Juli 2001
  • Niet online
FireDrunk schreef op maandag 18 maart 2013 @ 17:48:
Dan is dat nieuw in esx. Ik test dat bij bijna elke versie en kwam nooit boven de 7Gb uit.
2x E5-2690 met ESX 5.0 update2. Het ding is ondertussen volgezet met vm's waardoor ik wisselende resultaten krijg tussen de 3-6Gbit.

Acties:
  • 0 Henk 'm!
Tja, dan heb je het inderdaad over monsters... ;)

Even niets...


Acties:
  • 0 Henk 'm!

  • ilovebrewski
  • Registratie: Augustus 2010
  • Laatst online: 02-04 21:37
Verwijderd schreef op dinsdag 04 september 2012 @ 16:21:
HyperBart: ik heb nog nooit werkend gezien dat van een ZFSguru livecd zomaar een USB-image gemaakt kan worden. Je screenshot is inderdaad dat je te weinig RAM hebt voor tmpfs; je hebt 2GB+ nodig voor de LiveCD.

Als jij een ZFSguru USB-stick wilt maken omdat je op het target systeem geen CDROM drive hebt:
1) Maak in Virtualbox een VM aan met 2GB+ RAM, kies FreeBSD (64-bit) als operating system. Zet networking op Bridged. Voeg ook je USB-stick toe als USB device.
2) boot de .iso livecd die je hebt gedownload
3) gebruik de web-interface om een pool te maken op je USB-stick, alsof het een normale disk is.
4) installeer naar de USB-stick, waarbij je bij stap4 de optie 'copy system image' aanvinkt. Dan hoef je bij je volgende installatie niet eerst een 250MB groot bestand te downloaden.

Nu netjes afsluiten en je USB-stick veilig afkoppelen (als je VM stopt krijgt je host hem weer, dus veilig verwijderen rechtsonderin). Dan in je target systeem stoppen en van USB booten. Nu volg je ook weer dezelfde procedure maar dan installeer je op je HDD pool. Bij installatie stap3 kies je dan voor de override functie zodat je de boot flag van je USB stick niet hoeft uit te schakelen. Nadat je die override hebt aangezet kun je dus gewoon op je HDD pool naam klikken en ga je verder naar stap4, daar hoef je niets speciaals te doen. Weet wel dat je dus niet kan/mag opstarten met zowel de USB-stick erin als de HDD pool, omdat er maar één bootable pool actief mag zijn.

Je kunt wel tegen een bugje aanlopen bij het afsluiten omdat hij oneindig wacht op je USB device. Niet zo heel ernstig trek je USB stick eruit en doe een harde powerdown. In de nieuwe image is dit verholpen. Je kunt het in je /boot/loader.conf ook instellen: hw.usb.no_shutdown_wait="1"
Ik ben hiermee bezig maar krijg het niet voor elkaar. Bij opstarten zegt tie dat er geen opstart bestand aanwezig is. :'( Wil mijn server vanaf mijn usb stick laten opstarten.
Moet je je USB eerst bootable maken of niet?
Hoop dat iemand mij kan helpen.

Acties:
  • 0 Henk 'm!

Verwijderd

Topicstarter
Heb je stap 3 en 4 uitgevoerd? Dat is vrij cruciaal natuurlijk; wat moet je systeem anders booten van USB-stick?

Acties:
  • 0 Henk 'm!

  • Mafketel
  • Registratie: Maart 2000
  • Laatst online: 17-10-2023
Ik ben een beetje in de war....

In de webgui op de insternal services pagina
Sendmail sendmail SMTP email server

in de rc.conf als je het aanzet
## Sendmail
sendmail_enable="YES"
sendmail_submit_enable="NO"
sendmail_outbound_enable="NO"
sendmail_msp_queue_enable="YES"
sendmail_clientmqueue_enable="YES"


portmaster -l vind dat sendmail niet is geinstallerd en postfix wel....

Als dat het geval is moet je toch volgens het bsd handboek
http://www.freebsd.org/doc/handbook/mail-changingmta.html
sendmail_enable="NO"
sendmail_submit_enable="NO"
sendmail_outbound_enable="NO"
sendmail_msp_queue_enable="NO"

en

postfix_enable=“YES”

het bestand /etc/mail/mailer.conf staat wel gewoon netjes naar de postfix sendmail compatibility interface te wijzen

voor hyperbart en sleepie....
ls -lah /usr/sbin/sendmail
lrwxr-xr-x 1 root wheel 21B Jan 29 22:56 /usr/sbin/sendmail@ -> /usr/sbin/mailwrapper


cat /etc/mail/mailer.conf
#
# Execute the Postfix sendmail program, named /usr/local/sbin/sendmail
#
sendmail /usr/local/sbin/sendmail
send-mail /usr/local/sbin/sendmail
mailq /usr/local/sbin/sendmail
newaliases /usr/local/sbin/sendmail


/usr/local/sbin/sendmail is dus de postfix sendmail compatibility interface.

Acties:
  • 0 Henk 'm!

  • ilovebrewski
  • Registratie: Augustus 2010
  • Laatst online: 02-04 21:37
Verwijderd schreef op maandag 18 maart 2013 @ 21:13:
Heb je stap 3 en 4 uitgevoerd? Dat is vrij cruciaal natuurlijk; wat moet je systeem anders booten van USB-stick?
Yups.
Ik zal het is op een andere pc proberen anders. Ben redelijk nieuw hiermee dus kan alle hulp gebruiken.
Zal vanavond posten wat de exacte melding is.

Acties:
  • 0 Henk 'm!

  • fonsoy
  • Registratie: Juli 2009
  • Laatst online: 23:52
Ik heb nog wat meer geprobeerd.

Afbeeldingslocatie: http://i.imgur.com/dkaSmGR.png

Lijkt nu wat sneller te gaan.
Ik hou jullie up to date.

Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu


Acties:
  • 0 Henk 'm!

  • Neptunus
  • Registratie: Januari 2001
  • Laatst online: 23-06 16:04
fonsoy schreef op dinsdag 19 maart 2013 @ 09:23:
Ik heb nog wat meer geprobeerd.

[afbeelding]

Lijkt nu wat sneller te gaan.
Ik hou jullie up to date.
Offtopic: Welk tool is dat?

Acties:
  • 0 Henk 'm!

  • jadjong
  • Registratie: Juli 2001
  • Niet online
Neptunus schreef op dinsdag 19 maart 2013 @ 11:16:
[...]

Offtopic: Welk tool is dat?
Windows 8.

Acties:
  • 0 Henk 'm!

  • Neptunus
  • Registratie: Januari 2001
  • Laatst online: 23-06 16:04
Ha jammer, had gehoop los tooltje wat die copy grafiek zichtbaar maakt.

Acties:
  • 0 Henk 'm!
TeraCopy al eens geprobeerd?

Even niets...


Acties:
  • 0 Henk 'm!

  • Neptunus
  • Registratie: Januari 2001
  • Laatst online: 23-06 16:04
Ja gebruik ik nu al een tijdtje. vondt die grafiek wel grappig. Goed nu maar weer ontopic.

Acties:
  • 0 Henk 'm!
Warning: some files on your pool are inaccessible due to unrecoverable corruption! The files affected, are:

Godverdomme, nog heel even en ik flikker mijn server het raam uit...

Afgelopen 4 dagen, geen enkele kernel log melding wat ook maar iets met problemen te maken heeft...
Zowel in de host niet, als in de ZFSguru VM.

[ Voor 27% gewijzigd door FireDrunk op 19-03-2013 16:55 ]

Even niets...


Acties:
  • 0 Henk 'm!

  • Extera
  • Registratie: Augustus 2004
  • Laatst online: 05-05 16:02
fonsoy schreef op dinsdag 19 maart 2013 @ 09:23:
Ik heb nog wat meer geprobeerd.

[afbeelding]

Lijkt nu wat sneller te gaan.
Ik hou jullie up to date.
Ziet er goed uit, ik ben ook benieuwd naar de stappen welke je hebt ondernomen om eea te tunen.
Mijn setup gaat ongeveer het zelfde worden, alleen wil ik graag freenas gebruiken ipv zfsguru.

Mijn Serverrack - iRacing Profiel


Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

Verdomme, weer een schijf gesneuveld....

Maakt ook gekke geluiden. Het probleem is ook dat heel FreeBSD er unresponsive van wordt...

Gewoon een heel grote verzameling snoertjes


Acties:
  • 0 Henk 'm!

  • fonsoy
  • Registratie: Juli 2009
  • Laatst online: 23:52
FireDrunk schreef op dinsdag 19 maart 2013 @ 16:51:
Warning: some files on your pool are inaccessible due to unrecoverable corruption! The files affected, are:

Godverdomme, nog heel even en ik flikker mijn server het raam uit...

Afgelopen 4 dagen, geen enkele kernel log melding wat ook maar iets met problemen te maken heeft...
Zowel in de host niet, als in de ZFSguru VM.
Vervelend! Nu kom je er ook nooit achter wat precies de problemen zijn. Zou het silent corruption kunnen zijn, op een zodanige wijze dat je bestanden unrecoverable zijn?

Ik ben een hardware RAIDcontroller gewend. Daarmee heb ik zo nu en dan last van bestanden die corrupt zijn geworden. ZONDER bestandslijst. Vervelend dat de bestanden naar de maan zijn, gelukkig weet je wel welke. Dan hoef je er niet achter te komen zodra je ze wil gaan gebruiken.

Betreffende mijn ZFS snelheden. Setup is 3 4TB HDD's aan een IBM M1015, die worden aangestuurd door een ZFSguru VM.
Ik heb eerlijk waar helemaal niets veranderd aan de standaard setup. Aanvankelijk heb ik met CrystalDiskMark getest op het volume. Misschien was het benchmark-bestand niet groot genoeg om het onderste uit de kan te halen. Dit testbestand was 10 GB, en betrof een move van een windows VM naar zijn iSCSI schijf. Van SSD naar het array.

Nu ben ik begonnen met het kopieren van de data van de oude naar de nieuwe server. De bottleneck lijkt de RocketRAID controller te zijn, de data schrijft met 80-100MB/s naar het array toe _/-\o_
Ik wist niet dat die controller zo snel kon zijn. Belangrijker nog, de moeilijkste use case voor RAID Zn setups, schrijven, lijkt ook hier dik in orde. Wel had ik 150% CPU gebruik 8)

Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu


Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

fonsoy schreef op dinsdag 19 maart 2013 @ 17:14:
[...]

Vervelend! Nu kom je er ook nooit achter wat precies de problemen zijn. Zou het silent corruption kunnen zijn, op een zodanige wijze dat je bestanden unrecoverable zijn?
Daar zou ZFS juist tegen moeten beschermen.




Ik moet dus een vervangende schijf hebben, en het plan is om mijn array die oorspronkelijk 3x750GB was (nu dus 2x750GB en degraded), te vergroten naar 3x1TB.

Wat zijn goede schijven?
pricewatch: Seagate Barracuda 7200.14 ST1000DM003, 1TB
pricewatch: Western Digital Green WD10EZRX, 1TB
pricewatch: Western Digital Blue Blue WD10EZEX, 1TB

De Greens zijn 5400 maar wel veel zuiniger. Hoe groot is het performanceverschil met 7200, en zou ik het in de toekomst goed kunnen opvangen met een SSD als L2ARC?
Gaat het problemen opleveren als ik een Green naast mijn huidige 7200rpm 750GB-schijven pleur?

In het geval dat 7200RPMs toch aan te raden zijn, kan ik dan beter de Barracudas of de Blues nemen?

[ Voor 60% gewijzigd door Compizfox op 19-03-2013 17:39 ]

Gewoon een heel grote verzameling snoertjes


Acties:
  • 0 Henk 'm!

  • ilovebrewski
  • Registratie: Augustus 2010
  • Laatst online: 02-04 21:37
Verwijderd schreef op maandag 18 maart 2013 @ 21:13:
Heb je stap 3 en 4 uitgevoerd? Dat is vrij cruciaal natuurlijk; wat moet je systeem anders booten van USB-stick?
Blijkt aan de pc te liggen waar ik in eerste instantie de bootable usb heb gemaakt. USB aansluiting werkt niet naar behoren.
Nu in de server en hij boot iig op :D

Maar hij vind alleen geen ip adres. Staat http://0.0.0.0 (loop)
Het is bedraad GB netwerk en ik heb het volgende moederbord.

ASRock B75 Pro3-M

Heb jij hier een oplossing voor?
Thnx

Acties:
  • 0 Henk 'm!
@CompizFox, 1TB is heel duur in 24/7 verbruik... Je hebt veel meer vermogen nodig om 3TB te laten draaien? Kan je dan niet beter voor 2*3TB gaan?

Even niets...


Acties:
  • 0 Henk 'm!

  • Compizfox
  • Registratie: Januari 2009
  • Laatst online: 20:30

Compizfox

Bait for wenchmarks

FireDrunk schreef op dinsdag 19 maart 2013 @ 18:04:
@CompizFox, 1TB is heel duur in 24/7 verbruik... Je hebt veel meer vermogen nodig om 3TB te laten draaien? Kan je dan niet beter voor 2*3TB gaan?
Nee. :)
Ten eerste wil ik graag RAID-Z1 draaien, dus heb ik 3 schijven nodig.

Ten tweede heb ik niet zoveel storage nodig. Ik heb momenteel 3x 750 GB in RAID-Z1 = 1,5 TB. Als ik alle schijven vervangen heb kom ik uit op 3x 1 TB in RAID-Z1 = 2 TB.

Maar goed ik begrijp dat jij ook vind dat ik beter de Greens kan nemen? (wbt energieverbruik vs performance)

[ Voor 9% gewijzigd door Compizfox op 19-03-2013 18:38 ]

Gewoon een heel grote verzameling snoertjes

Pagina: 1 ... 67 ... 214 Laatste

Let op:
Voor het bouwen van een ZFS NAS en andere hardwarevragen kun je beter terecht in Het grote DIY RAID NAS topic deel 3, zodat we dit topic reserveren voor ZFS-specifieke vragen en discussies.