[Discussie] Storage en virtualisatie

[FireDrunk]

Dit topic is afgesplitst van een discussie in het ZFS topic. Wellicht kan dit topic doorleven in permanente vorm, mits er voldoende animo voor is.

Gisteravond maar eens mijn server op de schop genomen. Waar ik eerst Native FreeBSD (ZFSguru) draaide, heb er nu KVM tussen zitten. Dit draait vanaf een SSD die via een USB->SATA converter is aangesloten.
Door middel van VT-d geef ik mijn onboard AHCI en mijn M1015 controller door aan een ZFSguru VM.

Het leuke is, dat de VM geen virtuele disks nodig heeft, omdat KVM wel van een VT-d controller kan booten. Helaas wel alleen van de M1015 (omdat deze een eigen BIOS heeft, die ook in de VM gestart wordt), en dus niet van de onboard AHCI controller.

ZFSGuru draait nu op 2*80GB Intel 320's, waardoor ik weer een stukje veiliger ben dan voorheen (80GB Postvilles).

Qua disk performance is alles gelijk gebleven, maar word de CPU iets zwaarder belast volgens mij.
Qua netwerk IO ben ik er iets van 1000% op vooruit gegaan in tegenstelling tot voorheen met VirtualBox

root@kvmhost:~# iperf -c 192.168.1.3
------------------------------------------------------------
Client connecting to 192.168.1.3, TCP port 5001
TCP window size: 22.9 KByte (default)
------------------------------------------------------------
[  3] local 192.168.1.2 port 46489 connected with 192.168.1.3 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  32.4 GBytes  27.8 Gbits/sec
root@kvmhost:~#

Zo zie je maar dat de VirtIO implementatie van VirtualBox nogal bagger is...
En dat zelfs VMXNET3 een waardeloze implementatie is van een geparavirtualiseerde netwerkkaart.

[ Voor 7% gewijzigd door Verwijderd op 25-02-2013 22:44 ]

[Verwijderd]

28 gigabit is natuurlijk wel heel mooi. Alleen vergelijk wel tests met dezelfde TCP window size bijvoorbeeld; Windows clients gaan vaak naar de 0.01MB heb ik gemerkt en dat kan dan ook je score flink drukken.

En ik begrijp het goed dat je hier de netwerkprestaties van een VM test onder ZFSguru en niet van ZFSguru zelf? Want je spreekt over 1000% vooruitgang ten opzichte van VirtualBox; maar je zei daarvoor dat ZFSguru native draaide dus niet onder VirtualBox. Dat betekent dat je VM-netwerkprestaties vergelijkt, correct? Dus de netwerkprestaties van een VM onder ZFSguru met Virtualbox versus een VM naast ZFSguru met KVM? Wat draai je precies als host?

[FireDrunk]

Ja, vergelijk de netwerkprestaties, die 28Gb is tussen de KVM host en de ZFSguru VM via VirtIO.

Ik draai Ubuntu 12.10 Server.

[Compizfox]

@Firedrunk: Hoe bevalt het je? Is het een waardig alternatief voor ESXi?

Momenteel draai ik ZFSGuru als host met daarop Virtualbox (en daar een Linux-VM in), en ik wou eigenlijk weer terug naar ESXi zodra ik mijn sil3114 binnen kreeg.

Maar KVM is misschien wel beter?

Met een web interface als http://archipelproject.org/ ziet het er toch wel slick uit. Maar werkt het technisch gezien ook goed?

Het leuke is, dat de VM geen virtuele disks nodig heeft, omdat KVM wel van een VT-d controller kan booten. Helaas wel alleen van de M1015 (omdat deze een eigen BIOS heeft, die ook in de VM gestart wordt), en dus niet van de onboard AHCI controller.

In de BIOS van mijn moederbord kan ik stellen dat de onboard AHCI-controller ook een option ROM moet tonen. Betekent dat dat dit gaat werken als ik die in KVM doorgeef aan een VM?

[FireDrunk]

KVM is niet echt vergelijkbaar met ESXi, de footprint op disk is veel groter, en je kan er eerlijk gezegd ook veel meer mee, want het is eigenlijk gewoon een volwaardig OS wat je draait (Ubuntu).

Archipel had ik inderdaad gezien, dat moet ik eens installeren, momenteel gebruik ik nog gewoon virt-manager.

Over die BIOS, ik denk niet dat dat gaat werken, want als je die aan zet, gaat je controller Firmware RAID doen, en dat wil je niet. Bovendien vraag ik me af of die BIOS doorgegeven wordt, want volgens mij is dat gewoon onderdeel van je primaire BIOS, en gaat het dus niet werken. Maar zeker weten doe ik het niet.

[Compizfox]

FireDrunk schreef op zondag 24 februari 2013 @ 13:57:
KVM is niet echt vergelijkbaar met ESXi, de footprint op disk is veel groter, en je kan er eerlijk gezegd ook veel meer mee, want het is eigenlijk gewoon een volwaardig OS wat je draait (Ubuntu).

Ja, dat snap ik. ESXi is een bare metal hypervisor en KVM en Virtualbox zijn dat niet.

Maar Virtualbox is qua featureset veel minder uitgebreid dan ESXi. En zo stabiel en performant is het eigenlijk ook niet.
Vandaar dat ik me afvraag of KVM zich in die opzichten wel een beetje kan meten met ESXi.

Over die BIOS, ik denk niet dat dat gaat werken, want als je die aan zet, gaat je controller Firmware RAID doen, en dat wil je niet.

Nee, dat is niet het geval. Hij staat op AHCI mode, maar toch kan ik de OROM aanzetten.
Dat heb ik net gedaan en ik zie dan tijdens de POST gewoon zo'n opsomming van de HDD's die eraan hangen en dan gaat ie verder met booten.
Is nog gewoon AHCI dus en geen RAID

Bovendien vraag ik me af of die BIOS doorgegeven wordt, want volgens mij is dat gewoon onderdeel van je primaire BIOS, en gaat het dus niet werken. Maar zeker weten doe ik het niet.

Ja dat is een beetje de vraag idd.

---

Maar verder lijkt het me wel een mooi idee. Dan installeer ik m'n host OS (Debian wordt dat dan) gewoon op m'n (nieuwe ) 16 GB USB3-stick.

[ Voor 5% gewijzigd door Compizfox op 24-02-2013 14:40 ]

[FireDrunk]

Dan is er hoop... Je kan het iig proberen

[Compizfox]

Ik zal ff Debian op m'n USB-stick installeren...

Kan ik zo weer terug naar mijn ZFSGuru install mocht het niet werken.

Maar, hoe zit het nou qua performance en features? Wel/niet vergelijkbaar met ESXi?

[FireDrunk]

Performance zal wel redelijk gelijk zijn, ESXi is gebaseerd op een RedHat kernel.
Hoewel die lijn met de komst van ESXi 5.0/5.1 weer wat dunner geworden is, want ze gebruiken tegenwoordig steeds minder van de linux kernel volgens mij.

[ Voor 48% gewijzigd door FireDrunk op 24-02-2013 15:35 ]

[aaahaaap]

Weet iemand of het mogelijk is om een VM guest (in mijn geval een KVM guest) als root on ZFS te installeren op een ZFS dataset van de host?

Mocht ik nu een hele onlogische/domme vraag stellen laat t even weten

[spectator]

FireDrunk schreef op zondag 24 februari 2013 @ 15:35:
Performance zal wel redelijk gelijk zijn, ESXi is gebaseerd op een RedHat kernel.
Hoewel die lijn met de komst van ESXi 5.0/5.1 weer wat dunner geworden is, want ze gebruiken tegenwoordig steeds minder van de linux kernel volgens mij.

een kleine nuancering hier
vmware gebruikt zijn zelf ontwikkelde kernel voor de hypervisor, de "vmkernel". vziw wordt er een linux kernel geboot, die vervolgens de vmkernel laadt. sommige drivers, en een aantal ondersteunende functies worden ook door de linux kernel aangeboden.

[FireDrunk]

Die vmkernel is ook gewoon een afgeleide van de linux kernel.
En het is andersom volgens mij. De vmkernel laadt wwn minimale busybox gebaseerde linux distro die de managemnt taken doet.

[Compizfox]

Wat een gedoe dat kvm

Ten eerste is er gewoon geen simpele, to-the-point webinterface te vinden.

• Archipel heb ik geprobeerd te installeren, maar is niet gelukt. Installatie is een pain in the ass en het is eerder een compleet cloud framework te noemen dan een webinterface voor kvm.
  Niet werkend gekregen btw.
• Alternatieven zoals Proxmox en oVirt zijn allemaal bedoeld als een op zich staande distributie. Ook hier geldt hetzelfde: Het zijn bloated totaaloplossingen voor virtualisatie. Niet een simpele webinterface.

Dus, maar aan de slag gegaan met virt-install. Tot mijn verbazing heeft die als dependencies allerlei X11-shit (gtk libraries, libgl, enz). Dat wil je eigenlijk niet op je server hebben.

Ik krijg echter PCI-e passthrough nog steeds niet werkend.

code:

# virt-install --connect qemu:///system -n LARS-ILOS --ram 12000 --vcpus=4 --os-type=unix --os-variant=freebsd8 --accelerate --network bridge:br0 --hvm --vnc --host-device=pci_0000_00_11_0 --nodisks --boot hd

Starting install...
ERROR    Unable to read from monitor: Connection reset by peer
Domain installation does not appear to have been successful.
If it was, you can restart your domain by running:
  virsh --connect qemu:///system start LARS-ILOS
otherwise, please restart your installation.

Een kijkje in de log:

code:

Failed to assign device "hostdev0" : Operation not permitted
kvm: -device pci-assign,host=00:11.0,id=hostdev0,configfd=22,bus=pci.0,addr=0x4: Device 'pci-assign' could not be initialized
2013-02-24 21:23:38.084+0000: shutting down

En ja, IOMMU werkt wel:

code:

# dmesg | grep AMD-Vi
[    1.300406] AMD-Vi: Enabling IOMMU at 0000:00:00.2 cap 0x40
[    1.363268] AMD-Vi: Lazy IO/TLB flushing enabled

Dus, ik snap er niets meer van. Wat een gedoe ook, vergeleken met hoe simpel ESXi en Virtualbox zijn.

[FireDrunk]

Dat had ik ook, dan moet je iommu=on intel_iommu=force even in je bootloader erbij zetten.

nano /etc/default.grub -> GRUB_DEFAULTS="iommu=on intel_iommu=force"

save

update-grub.

[ Voor 34% gewijzigd door FireDrunk op 25-02-2013 08:04 ]

[DutchNutcase]

Hij gebruikt een AMD bord + CPU, als ik het goed zie. Welke kernel draai je? Want ik heb gemerkt dat je het beste kernel >= 3.5 kunt draaien voor KVM met PCI passthrough. verder moet je voor PCI passthrough eerst de kernel modules van de betreffende devices uitschakelen en je moet de devices detachen met

virsh nodedev-detach pci_0000_01_00_0

Daarna kun je ze zonder problemen doorgeven. Ik kan je overigens aanraden om je VM eerst aan te maken en dan het betreffende PCI device pas door te geven. Dat geeft net wat meer controle.

[B2]

Compizfox schreef op zondag 24 februari 2013 @ 22:26:
Wat een gedoe dat kvm

Ten eerste is er gewoon geen simpele, to-the-point webinterface te vinden.

• Archipel heb ik geprobeerd te installeren, maar is niet gelukt. Installatie is een pain in the ass en het is eerder een compleet cloud framework te noemen dan een webinterface voor kvm.
  Niet werkend gekregen btw.
• Alternatieven zoals Proxmox en oVirt zijn allemaal bedoeld als een op zich staande distributie. Ook hier geldt hetzelfde: Het zijn bloated totaaloplossingen voor virtualisatie. Niet een simpele webinterface.

oVirt is dan ook niet echt voor huis tuin en keuken gebruik. Niks bloated, het zijn oplossingen voor grote virtualisatie farms.

Dus, maar aan de slag gegaan met virt-install. Tot mijn verbazing heeft die als dependencies allerlei X11-shit (gtk libraries, libgl, enz). Dat wil je eigenlijk niet op je server hebben.

Welke distro gebruik je? RHEL/Fedora hebben die deps niet volgens mij.

Ik krijg echter PCI-e passthrough nog steeds niet werkend.

code:

# virt-install --connect qemu:///system -n LARS-ILOS --ram 12000 --vcpus=4 --os-type=unix --os-variant=freebsd8 --accelerate --network bridge:br0 --hvm --vnc --host-device=pci_0000_00_11_0 --nodisks --boot hd

Starting install...
ERROR    Unable to read from monitor: Connection reset by peer
Domain installation does not appear to have been successful.
If it was, you can restart your domain by running:
  virsh --connect qemu:///system start LARS-ILOS
otherwise, please restart your installation.

Een kijkje in de log:

code:

Failed to assign device "hostdev0" : Operation not permitted
kvm: -device pci-assign,host=00:11.0,id=hostdev0,configfd=22,bus=pci.0,addr=0x4: Device 'pci-assign' could not be initialized
2013-02-24 21:23:38.084+0000: shutting down

Waarschijnlijk gooit SELinux roet in het eten, kijk eens met getsebool -a | grep virt of virt_use_sysfs oid op on staat. Zo nee, aanzetten met setsebool -P <optie> 1.

Dus, ik snap er niets meer van. Wat een gedoe ook, vergeleken met hoe simpel ESXi en Virtualbox zijn.

Het zijn ook nogal verschillen. KVM/libvirt is ook alleen de ondersteuning in de kernel en de libraries. Dat je daarvoor een tool als virt-install voor gebruikt is niet de schuld van KVM

[B2]

DutchNutcase schreef op maandag 25 februari 2013 @ 08:11:
Hij gebruikt een AMD bord + CPU, als ik het goed zie. Welke kernel draai je? Want ik heb gemerkt dat je het beste kernel >= 3.5 kunt draaien voor KVM met PCI passthrough. verder moet je voor PCI passthrough eerst de kernel modules van de betreffende devices uitschakelen en je moet de devices detachen met

virsh nodedev-detach pci_0000_01_00_0

Daarna kun je ze zonder problemen doorgeven. Ik kan je overigens aanraden om je VM eerst aan te maken en dan het betreffende PCI device pas door te geven. Dat geeft net wat meer controle.

Dat hoeft niet, virt-install zou dat automagisch moeten doen. Als je rechtstreeks in de xml file gaat editten is dit wel zo.

[FireDrunk]

Ik heb de basis van Archipel werkend, achteraf gezien valt het wel mee, maar de documentatie is nogal summier. Als ik het helemaal werkend heb, maak ik wel een kleine howto.

[DutchNutcase]

B2 schreef op maandag 25 februari 2013 @ 09:36:
[...]


Dat hoeft niet, virt-install zou dat automagisch moeten doen. Als je rechtstreeks in de xml file gaat editten is dit wel zo.

Dan is er misschien iets raars aan mijn config op Debian Wheezy. Mijn punt over de kernelversie blijft echter wel staan.

[B2]

DutchNutcase schreef op maandag 25 februari 2013 @ 10:04:
[...]


Dan is er misschien iets raars aan mijn config op Debian Wheezy. Mijn punt over de kernelversie blijft echter wel staan.

Sowieso moet je als je KVM gaat doen gewoon een distro pakken welke de nieuwste kernelversies gebruikt.

[DutchNutcase]

B2 schreef op maandag 25 februari 2013 @ 10:06:
[...]


Sowieso moet je als je KVM gaat doen gewoon een distro pakken welke de nieuwste kernelversies gebruikt.

Ik heb gewoon een voorkeur voor debian en met de siduction debian repo's draai ik ook de nieuwste kernelversie. Dit weekend een klein probleempje gehad met kernel 3.8, maar dat was gelukkig snel verholpen.

[FireDrunk]

Ik draai Ubuntu 12.10 en dat is kernel 3.5.0 en VT-d werkt daar prima.

[DutchNutcase]

FireDrunk schreef op maandag 25 februari 2013 @ 10:59:
Ik draai Ubuntu 12.10 en dat is kernel 3.5.0 en VT-d werkt daar prima.

Ja, dat kan kloppen, omdat de belangrijkste commits voor VT-d daar voor het eerst in zijn toegevoegd, maar Debian Wheezy draait op kernel 3.2. Daarom heb ik een extra repo nodig.

[Compizfox]

DutchNutcase schreef op maandag 25 februari 2013 @ 08:11:
Hij gebruikt een AMD bord + CPU, als ik het goed zie. Welke kernel draai je?

Ik had Debian Wheezy geinstalleerd (ondertussen heb ik die USB-stick er weer uitgetrokken)
Volgens mij was het Linux 3.2 oid (amd64)

Want ik heb gemerkt dat je het beste kernel >= 3.5 kunt draaien voor KVM met PCI passthrough. verder moet je voor PCI passthrough eerst de kernel modules van de betreffende devices uitschakelen en je moet de devices detachen met

virsh nodedev-detach pci_0000_01_00_0

Daarna kun je ze zonder problemen doorgeven. Ik kan je overigens aanraden om je VM eerst aan te maken en dan het betreffende PCI device pas door te geven. Dat geeft net wat meer controle.

Dat ga ik eens proberen. Ik heb het volgende wel gedaan:

http://www.linux-kvm.org/..._devices_with_VT-d_in_KVM
(Vanaf het kopje "4. unbind device from host kernel driver (example PCI device 01:00.0)")

Ik zal ff kijken voor een nieuwere kernel.

B2 schreef op maandag 25 februari 2013 @ 09:34:
[...]
oVirt is dan ook niet echt voor huis tuin en keuken gebruik. Niks bloated, het zijn oplossingen voor grote virtualisatie farms.

Klopt, maar ik zoek een simpele webgui voor kvm. Net zoals phpvirtualbox dat is voor Virtualbox zeg maar.
Dus voor mijn doel is het bloated

[...]
Welke distro gebruik je? RHEL/Fedora hebben die deps niet volgens mij.

Debian Wheezy.

Waarschijnlijk gooit SELinux roet in het eten, kijk eens met getsebool -a | grep virt of virt_use_sysfs oid op on staat. Zo nee, aanzetten met setsebool -P <optie> 1.

Ik denk niet dat SELinux aanstaat. Ik heb het namelijk nooit aangezet en default is uit AFAIK.

[...]
Het zijn ook nogal verschillen. KVM/libvirt is ook alleen de ondersteuning in de kernel en de libraries. Dat je daarvoor een tool als virt-install voor gebruikt is niet de schuld van KVM

Ja zoiets begreep ik al idd.
Waar Virtualbox zelf ook tools heeft om de boel te managen (VBox-Manage en VBox-headless), en phpvirtualbox alleen een webgui daarbovenop is, kun je met puur kvm nog niets, maar heb je ook voor cli management aparte tools nodig.

FireDrunk schreef op maandag 25 februari 2013 @ 09:39:
Ik heb de basis van Archipel werkend, achteraf gezien valt het wel mee, maar de documentatie is nogal summier. Als ik het helemaal werkend heb, maak ik wel een kleine howto.

Ik vond het allemaal nogal veel en bloated om te installeren. Het viel dus al niet helemaal ik mijn idee van een simpele webgui, maargoed.
Had alles wel geinstalleerd (ejabberd en archipel-agent) en de client geextract in mijn docroot.
Maar bij het toevoegen van de contact (mijn enige hypervisor, de bak zelf) stond hij als "offline".
Tja.
Daarna gaf

ejabberd status

of andere ejabberd-commando's steeds een crash met een backtrace of zo.
Heb er dus maar niet veel meer aandacht aan besteedt.

[ Voor 20% gewijzigd door Compizfox op 25-02-2013 11:48 ]

[FireDrunk]

Datzelfde heb ik nu dus ook, heel vreemd.

[Jaap-Jan]

Misschien geen

ejabberd status

gebruiken maar

ejabberdctl status

gandalf:/etc/ejabberd# ejabberd status
{error_logger,{{2013,2,25},{13,45,52}},"Protocol: ~p: register error: ~p~n",["inet_tcp",{{badmatch,{error,duplicate_name}},[{inet_tcp_dist,listen,1},{net_kernel,start_protos,4},{net_kernel,start_protos,3},{net_kernel,init_node,2},{net_kernel,init,1},{gen_server,init_it,6},{proc_lib,init_p_do_apply,3}]}]}
{error_logger,{{2013,2,25},{13,45,52}},crash_report,[[{initial_call,{net_kernel,init,['Argument__1']}},{pid,<0.20.0>},{registered_name,[]},{error_info,{exit,{error,badarg},[{gen_server,init_it,6},{proc_lib,init_p_do_apply,3}]}},{ancestors,[net_sup,kernel_sup,<0.9.0>]},{messages,[]},{links,[#Port<0.105>,<0.17.0>]},{dictionary,[{longnames,false}]},{trap_exit,true},{status,running},{heap_size,377},{stack_size,24},{reductions,459}],[]]}
{error_logger,{{2013,2,25},{13,45,52}},supervisor_report,[{supervisor,{local,net_sup}},{errorContext,start_error},{reason,{'EXIT',nodistribution}},{offender,[{pid,undefined},{name,net_kernel},{mfargs,{net_kernel,start_link,[[ejabberd,shortnames]]}},{restart_type,permanent},{shutdown,2000},{child_type,worker}]}]}
{error_logger,{{2013,2,25},{13,45,52}},supervisor_report,[{supervisor,{local,kernel_sup}},{errorContext,start_error},{reason,shutdown},{offender,[{pid,undefined},{name,net_sup},{mfargs,{erl_distribution,start_link,[]}},{restart_type,permanent},{shutdown,infinity},{child_type,supervisor}]}]}
{error_logger,{{2013,2,25},{13,45,52}},std_info,[{application,kernel},{exited,{shutdown,{kernel,start,[normal,[]]}}},{type,permanent}]}
{"Kernel pid terminated",application_controller,"{application_start_failure,kernel,{shutdown,{kernel,start,[normal,[]]}}}"}

Crash dump was written to: /var/log/ejabberd/erl_crash.dump
Kernel pid terminated (application_controller) ({application_start_failure,kernel,{shutdown,{kernel,start,[normal,[]]}}})

gandalf:/etc/ejabberd# ejabberdctl status
The node ejabberd@xxxx is started with status: started
ejabberd 2.1.5 is running in that node

xxxx is gefingeerd.

[FireDrunk]

Ejabberd doet het hier ook wel, en ik kan ook gewoon in Archipel inloggen (net als CompizFox), maar de net toegevoegde host blijft op Offline staan.

In de logs van de Archipel Agent (/var/log/archipel/*) is ook niets qua error of warning te vinden.

[u_nix_we_all]

Compizfox schreef op maandag 25 februari 2013 @ 11:42:

Klopt, maar ik zoek een simpele webgui voor kvm. Net zoals phpvirtualbox dat is voor Virtualbox zeg maar.
Dus voor mijn doel is het bloated

Kijk eens naar Cloudmin (gebaseerd op webmin, werkt redelijk voor KVM). Dit werkt vrij goed, zonder alle libvirt gedoe erbij.

Edit:

duiveltje666 schreef op zondag 24 februari 2013 @ 20:07:
Iemand nagios al werkend gekregen toevallig?

Is toch helemaal niet gerelateerd aan ZFS ? En volgens mij kun je Nagios gewoon op BSD , of OpenSolaris , OpenIndiana etc. compileren.

[ Voor 28% gewijzigd door u_nix_we_all op 25-02-2013 14:05 . Reden: Nagios ? ]

[Compizfox]

Jaap-Jan schreef op maandag 25 februari 2013 @ 13:47:
Misschien geen

ejabberd status

gebruiken maar

ejabberdctl status

gandalf:/etc/ejabberd# ejabberd status
{error_logger,{{2013,2,25},{13,45,52}},"Protocol: ~p: register error: ~p~n",["inet_tcp",{{badmatch,{error,duplicate_name}},[{inet_tcp_dist,listen,1},{net_kernel,start_protos,4},{net_kernel,start_protos,3},{net_kernel,init_node,2},{net_kernel,init,1},{gen_server,init_it,6},{proc_lib,init_p_do_apply,3}]}]}
{error_logger,{{2013,2,25},{13,45,52}},crash_report,[[{initial_call,{net_kernel,init,['Argument__1']}},{pid,<0.20.0>},{registered_name,[]},{error_info,{exit,{error,badarg},[{gen_server,init_it,6},{proc_lib,init_p_do_apply,3}]}},{ancestors,[net_sup,kernel_sup,<0.9.0>]},{messages,[]},{links,[#Port<0.105>,<0.17.0>]},{dictionary,[{longnames,false}]},{trap_exit,true},{status,running},{heap_size,377},{stack_size,24},{reductions,459}],[]]}
{error_logger,{{2013,2,25},{13,45,52}},supervisor_report,[{supervisor,{local,net_sup}},{errorContext,start_error},{reason,{'EXIT',nodistribution}},{offender,[{pid,undefined},{name,net_kernel},{mfargs,{net_kernel,start_link,[[ejabberd,shortnames]]}},{restart_type,permanent},{shutdown,2000},{child_type,worker}]}]}
{error_logger,{{2013,2,25},{13,45,52}},supervisor_report,[{supervisor,{local,kernel_sup}},{errorContext,start_error},{reason,shutdown},{offender,[{pid,undefined},{name,net_sup},{mfargs,{erl_distribution,start_link,[]}},{restart_type,permanent},{shutdown,infinity},{child_type,supervisor}]}]}
{error_logger,{{2013,2,25},{13,45,52}},std_info,[{application,kernel},{exited,{shutdown,{kernel,start,[normal,[]]}}},{type,permanent}]}
{"Kernel pid terminated",application_controller,"{application_start_failure,kernel,{shutdown,{kernel,start,[normal,[]]}}}"}

Crash dump was written to: /var/log/ejabberd/erl_crash.dump
Kernel pid terminated (application_controller) ({application_start_failure,kernel,{shutdown,{kernel,start,[normal,[]]}}})

gandalf:/etc/ejabberd# ejabberdctl status
The node ejabberd@xxxx is started with status: started
ejabberd 2.1.5 is running in that node

xxxx is gefingeerd.

Dat zal het probleem zijn geweest, thx

FireDrunk schreef op maandag 25 februari 2013 @ 13:53:
Ejabberd doet het hier ook wel, en ik kan ook gewoon in Archipel inloggen (net als CompizFox), maar de net toegevoegde host blijft op Offline staan.

In de logs van de Archipel Agent (/var/log/archipel/*) is ook niets qua error of warning te vinden.

Jup, datzelfde probleem had ik dus ook.

u_nix_we_all schreef op maandag 25 februari 2013 @ 13:56:
[...]
Kijk eens naar Cloudmin (gebaseerd op webmin, werkt redelijk voor KVM). Dit werkt vrij goed, zonder alle libvirt gedoe erbij.

Ga ik naar kijken, thx

Edit:

[...]

Is toch helemaal niet gerelateerd aan ZFS ? En volgens mij kun je Nagios gewoon op BSD , of OpenSolaris , OpenIndiana etc. compileren.

Is kvm eigenlijk ook niet

Ultraman schreef op maandag 25 februari 2013 @ 14:20:
Heren, zijn jullie niet inmiddels op een ander topic (virtualisatie) aanbeland? En Nagios als monitoring voorbeeld. Ik begrijp dat het interessante materie is, vind ik zelf ook, maar het is inmiddels niet meer gerelateerd aan ZFS en de relatie met ZFSguru is inmiddels ook flink vervaagd.

Discussie over KVM, oVirt, Proxmox, <insert virtualisatiemethode/distro>, elders voortzetten?

Klopt, heb je gelijk in.
Van mij mag je de posts afsplitsen

[analog_]

Waarom staat er niks over dit topic in CSL herstructuring? Ik krijg de indruk dat een deel discussie gemist heb over de toekomst van storage/virt.

[ Voor 25% gewijzigd door analog_ op 25-02-2013 21:57 ]

[Compizfox]

Titel is imho een beetje misleidend, dit zijn gewoon een paar posts afgesplitst uit het ZFS-topic omdat we met ons gepraat over kvm te ver offtopic gingen

[ Voor 8% gewijzigd door Compizfox op 25-02-2013 22:08 ]

[Verwijderd]

Sorry voor de verwarring. Dit is inderdaad een afgesplitst topic uit het ZFS topic. Echter, er is nu nog geen specifiek topic over storage in combinatie met virtualisatie. Misschien kan dit afgesplitste topic daar een aanzet voor kunnen geven. Dus ga vooral door met discussiëren.

[FireDrunk]

offtopic:
onzin...

[ Voor 89% gewijzigd door FireDrunk op 26-02-2013 11:19 ]

[Compizfox]

Wat is de beste manier om een nieuwe kernel te draaien op Debian, zonder meteen m'n hele repository te veranderen naar unstable?

Ik draai nu Debian testing heb linux-image-3.2.x is de laatste die meegeleverd wordt.

[Jaap-Jan]

Normaal zou ik zeggen backports (en als het package niet gebackport is pinning), maar het verschil tussen testing (en backports) en unstable is 3.2.35-2 vs 3.2.39-1 dus ik denk niet dat het echt een gigantisch verschil maakt.

[ Voor 3% gewijzigd door Jaap-Jan op 26-02-2013 18:20 ]

[Compizfox]

Je bedoelt dat je niet denk dat het een verschil maakt, neem ik aan?

Ik was inderdaad van plan naar ten minste Linux 3.5 te gaan. Momenteel zitten we op Linux 3.8 trouwens.

Misschien is moven naar een andere distributie zelfs een beter idee? Het is bedoelt als hosting server en kvm host.

[Jaap-Jan]

Fixed. Als die nieuwe kernel versies (en nieuwere software in het algemeen) wat toevoegen voor je, dan kun je beter overstappen op Ubuntu. Maar het voordeel van Debian is dat de software in stable tried and tested is. Dat wil niet zeggen bugvrij, maar meer getest dan Ubuntu Server, die op Debian Unstable is gebaseerd.

[Compizfox]

Ik draai momenteel testing, stable vind ik qua pakketten te oud. En met testing loop ik eigenlijk bijna nooit tegen problemen aan.

Ik wil eigenlijk alleen een nieuwere kernel omdat dat werd aangeraden voor kvm.

Ubuntu zie ik dan eigenlijk weer ook niet zo zitten, al heeft dat eigenlijk meer te maken met het imago van Ubuntu en de kant waar Canonical er de laatste tijd mee op gaat, dan echt op harde redenen, maargoed

Is er niet gewoon een repo eigenlijk met alleen nieuwere kernels? Of moet ik maar zelf gaan compileren? (Is dat wel aan te raden, aangezien de boel dan niet automatisch geupdateted wordt?)

[ Voor 15% gewijzigd door Compizfox op 26-02-2013 18:36 ]

[DutchNutcase]

Compizfox schreef op dinsdag 26 februari 2013 @ 18:34:
Ik draai momenteel testing, stable vind ik qua pakketten te oud. En met testing loop ik eigenlijk bijna nooit tegen problemen aan.

Ik wil eigenlijk alleen een nieuwere kernel omdat dat werd aangeraden voor kvm.

Ubuntu zie ik dan eigenlijk weer ook niet zo zitten, al heeft dat eigenlijk meer te maken met het imago van Ubuntu en de kant waar Canonical er de laatste tijd mee op gaat, dan echt op harde redenen, maargoed

Is er niet gewoon een repo eigenlijk met alleen nieuwere kernels? Of moet ik maar zelf gaan compileren? (Is dat wel aan te raden, aangezien de boel dan niet automatisch geupdateted wordt?)

De nieuwste kernel draaien binnen Debian is niet heel moeilijk. Als je googled op siduction repo debian, dan zul je daar een repository vinden die je toe kunt voegen om de laatste kernel versies te draaien.

[u_nix_we_all]

IK ben hier ook bezig met Debian, KVM en pci passthrough. Ik heb het werkend met de 3.2 squeeze backport kernel, maar toch werkt het niet. In de guest zie ik het device, de driver laadt ook, maar in de applicatie werkt het niet, dan kan het device niet gebruikt worden.
Het lijkt erop dat er iets mis is met interrupt assignment. Ik weet niet of die kaart MSI / MSI-X doet (kan ik dat ergens uitvinden ?), maar moest de kvm kernelmodule met "allow_unsafe_assigned_interrupts=1" laden, anders werkt het helemaal niet.
Ik weet even niet hoe nu verder te gaan. Ik heb hier wel wat nieuwere kernels gevonden, maar die zijn zonder Intel IOMMU support gecompileerd, dus daar heb ik ook niet veel aan ....

[FireDrunk]

IOMMU kan je gewoon als module gebruiken. Doet Ubuntu ook.

[Compizfox]

DutchNutcase schreef op woensdag 27 februari 2013 @ 12:14:
[...]


De nieuwste kernel draaien binnen Debian is niet heel moeilijk. Als je googled op siduction repo debian, dan zul je daar een repository vinden die je toe kunt voegen om de laatste kernel versies te draaien.

Siduction is blijkbaar een uitbreiding op Debian unstable?

Maar als ik die repo toevoeg, ga ik in principe over op Debian unstable (of Siduction eigenlijk). Dat is niet wat ik wil, ik wil eigenlijk gewoon testing blijven draaien. (tenzij unstable voor normaal gebruik stabiel genoeg is, maar dat is het volgens mij niet)

Er zou eigenlijk een aparte repo moeten zijn voor alleen de kernels.

EDIT: Nevermind, ik zie dat ik met pinning ervoor kan zorgen dat hij standaard de testing dist pakt, en ik dan expliciet kan aangeven om alleen de kernel uit siduction te pakken

[ Voor 11% gewijzigd door Compizfox op 27-02-2013 14:47 ]

[u_nix_we_all]

FireDrunk schreef op woensdag 27 februari 2013 @ 12:44:
IOMMU kan je gewoon als module gebruiken. Doet Ubuntu ook.

OH ? Dat wist ik niet. Maar kan de module ook niet vinden bij die kernels, hoe heet deze ? iommu.ko ?

[Compizfox]

Nou, ik heb ondertussen mijn sil3114-kaartje binnen dus een oplossing met ESXi zonder gebruik van RDMs is mogelijk. Ik heb alleen nog niet besloten wat ik ga doen.

Momenteel draai ik situatie 1.


Host: ZFSGuru (FreeBSD)
Hypervisor: Virtualbox + phpvirtualbox

Voordelen:

• Ik heb een volwaardig OS op de host draaien, die gebruik kan maken van bijvoorbeeld PCI-kaarten zoals mijn X100P (telefoonkaart)
• Ook kan deze host direct bij mijn HDDs, zonder gebruik te hoeven maken van RDMs of een extra HBA voor passthrough

Nadelen:

• Cpufreq support voor AMD Bulldozer op FreeBSD is blijkbaar nog niet in orde waardoor AMD CoolnQuiet blijkbaar niet goed werkt.
• Virtualbox als hypervisor is minder volwassen en is niet altijd even stabiel (heb al een random crash van een VM meegemaakt)
• Virtualbox mist features zoals PCI-e passthrough e.d., maar dat is ook niet nodig aangezien FreeBSD op de host draait.

Host: Debian testing (Linux)
Hypervisor: kvm + webvirtmgr (mits ik IOMMU met kvm werkend krijg, hier moet ik nog ff wat moeite in steken)

Voordelen:

• Ik heb een volwaardig OS op de host draaien, die gebruik kan maken van bijvoorbeeld PCI-kaarten zoals mijn X100P (telefoonkaart)
• Ik kan het op een USB-stick installeren en m'n complete onboard SATA-controller doorgeven aan de VM met ZFSGuru, geen 2e HBA en HDD nodig voor een datastore

Nadelen:

• KVM is moeilijker te beheren en gebruiken dan Virtualbox en ESXi. Ook heb ik er geen ervaring mee.

Eenmalige nadelen:

• Ik moet m'n Debian install overdoen wegens het overgaan van een VM naar een directe install (als host)

Bare-metal hypervisor: ESXi 5.1

Voordelen:

• Stabiel
• Veel features
• Makkelijk management (vSphere client)
• Superieur resource management
• Mogelijkheid tot onafhankelijk rebooten van alle VMs

Nadelen:

• Geen webinterface
• Ik moet 'moeilijk' doen met een extra HBA voor de datastore (maar die heb ik nu dus, een sil3114)
• Die sil3114 is traag
• Ik kan geen PCI-kaarten doorgeven met IOMMU dus het gebruiken van mijn X100P kan ik op m'n buik schrijven.

Eenmalige nadelen:

• Ik moet m'n ZFSGuru install overdoen wegens het overgaan van directe install (als host) naar VM

Ik plaats dit overzicht met voors en tegens ten eerste voor mezelf (om alles duidelijk te krijgen), maar ook zodat jullie me kunnen helpen beslissen

[ Voor 7% gewijzigd door Compizfox op 27-02-2013 23:43 ]

[DutchNutcase]

u_nix_we_all schreef op woensdag 27 februari 2013 @ 12:36:
IK ben hier ook bezig met Debian, KVM en pci passthrough. Ik heb het werkend met de 3.2 squeeze backport kernel, maar toch werkt het niet. In de guest zie ik het device, de driver laadt ook, maar in de applicatie werkt het niet, dan kan het device niet gebruikt worden.
Het lijkt erop dat er iets mis is met interrupt assignment. Ik weet niet of die kaart MSI / MSI-X doet (kan ik dat ergens uitvinden ?), maar moest de kvm kernelmodule met "allow_unsafe_assigned_interrupts=1" laden, anders werkt het helemaal niet.
Ik weet even niet hoe nu verder te gaan. Ik heb hier wel wat nieuwere kernels gevonden, maar die zijn zonder Intel IOMMU support gecompileerd, dus daar heb ik ook niet veel aan ....

Dit is dus precies de reden dat je een nieuwe kernel moet draaien. Hier heb ik ook last van gehad met mijn RAID adapter, totdat ik overging op kernel >= 3.5. Probeer, zoals ik heb aangegeven de siduction repo's.

Overigens wil ik waarschuwen voor kernel 3.8. Daar zit een race conditie in voor mdadm, waardoor mdadm je rootpartitie niet kan assemblen en je server dus in busybox blijft steken als je je server, zoals ik, boot van een mdadm RAID1 array. Dit kun je oplossen door in /etc/default/grub GRUB_CMDLINE_LINUX="rootdelay=5" toe te voegen.

[FireDrunk]

u_nix_we_all schreef op woensdag 27 februari 2013 @ 15:45:
[...]


OH ? Dat wist ik niet. Maar kan de module ook niet vinden bij die kernels, hoe heet deze ? iommu.ko ?

Ik zal even zoeken. Hmm, ik zie dat bij mijn Ubuntu install, de Intel IOMMU driver in kernel zit, en de AMD IOMMU een kernel module is.

thijs@kvmhost:/lib/modules/3.5.0-25-generic/kernel/drivers/iommu$ ls
amd_iommu_v2.ko

@CompizFox

Nadelen:
KVM is moeilijker te beheren en gebruiken dan Virtualbox en ESXi. Ook heb ik er geen ervaring mee.

Dat vind ik dus wel meevallen, dat WebVirtMgr waar ik je over DM-de is echt wel tof

[ Voor 49% gewijzigd door FireDrunk op 28-02-2013 10:32 ]

[u_nix_we_all]

DutchNutcase schreef op donderdag 28 februari 2013 @ 09:42:
[...]


Dit is dus precies de reden dat je een nieuwe kernel moet draaien. Hier heb ik ook last van gehad met mijn RAID adapter, totdat ik overging op kernel >= 3.5. Probeer, zoals ik heb aangegeven de siduction repo's.

Overigens wil ik waarschuwen voor kernel 3.8. Daar zit een race conditie in voor mdadm, waardoor mdadm je rootpartitie niet kan assemblen en je server dus in busybox blijft steken als je je server, zoals ik, boot van een mdadm RAID1 array. Dit kun je oplossen door in /etc/default/grub GRUB_CMDLINE_LINUX="rootdelay=5" toe te voegen.

Dank je, ik ga nog even verder met proberen dan. Ik krijg het niet goed voor elkaar de 3.5 van siduction te installeren, ivm dependencies op kmod, die module-init-tools moet vervangen, maar daarvoor is geen package in siduction ....
Kan ik wel de kernel van de .deb installeren, maar dan maakt hij geen initramfs aan, dat werkt dus ook niet echt ....

Edit: Draait nu met een 3.8 kernel uit de normale expirimental repo. Helaas moet ik nog steeds de KVM module met "allow-unsafe-assigned-interrupts" laden, anders wil passthrough helemaal nog steeds niet werken, en weer krijg ik in de guest een exception , hardware lock error in de applicatie. Grrr

[ Voor 12% gewijzigd door u_nix_we_all op 28-02-2013 14:35 ]

[DutchNutcase]

u_nix_we_all schreef op donderdag 28 februari 2013 @ 13:10:
[...]

Dank je, ik ga nog even verder met proberen dan. Ik krijg het niet goed voor elkaar de 3.5 van siduction te installeren, ivm dependencies op kmod, die module-init-tools moet vervangen, maar daarvoor is geen package in siduction ....
Kan ik wel de kernel van de .deb installeren, maar dan maakt hij geen initramfs aan, dat werkt dus ook niet echt ....

Edit: Draait nu met een 3.8 kernel uit de normale expirimental repo. Helaas moet ik nog steeds de KVM module met "allow-unsafe-assigned-interrupts" laden, anders wil passthrough helemaal nog steeds niet werken, en weer krijg ik in de guest een exception , hardware lock error in de applicatie. Grrr

Ok, ik zal mijn config dan maar even posten. Als eerste heb ik aan /etc/apt/sources.list toegevoegd:

code:

# siduction unstable repo's for upstream kernel
deb ftp://ftp.uni-stuttgart.de/siduction/base unstable main contrib non-free
deb-src ftp://ftp.uni-stuttgart.de/siduction/base unstable main contrib non-free
deb ftp://ftp.uni-stuttgart.de/siduction/extra unstable main contrib non-free
deb-src ftp://ftp.uni-stuttgart.de/siduction/extra unstable main contrib non-free
deb ftp://ftp.uni-stuttgart.de/siduction/fixes unstable main contrib non-free
deb-src ftp://ftp.uni-stuttgart.de/siduction/fixes unstable main contrib non-free

Verder heb ik als pinning toegevoegd aan /etc/apt/preferences.d/siduction-pinning:

code:

Package: *
Pin: release l=siduction packages
Pin-Priority: 1

En daarna was het gewoon:

aptitude install linux-image-siduction-amd64 linux-headers-siduction-amd64

edit: Ik zie nu dat ik ook de unsafe interrupts optie heb toegevoegd aan /etc/modprobe.d/kvm_iommu_map_guest.conf:

code:

options kvm allow_unsafe_assigned_interrupts=1

[ Voor 4% gewijzigd door DutchNutcase op 28-02-2013 16:12 ]

[FireDrunk]

Waarom draaien jullie eigenlijk geen Ubuntu Server?
Verschil met Debian ontgaat mij een beetje... Ik snap dat voor de true-open-source fanaten Debian eerlijker is... Maar voor thuis?

[DutchNutcase]

Ik draai Debian, omdat het in mijn ervaring veel stabieler is dan Ubuntu en dat is voor mijn server wel belangrijk.

[Compizfox]

FireDrunk schreef op donderdag 28 februari 2013 @ 10:20:
@CompizFox

[...]


Dat vind ik dus wel meevallen, dat WebVirtMgr waar ik je over DM-de is echt wel tof

Ik heb het eerlijkgezegd nog niet uitgeprobeerd. Is het afwerking van de interface beter/gelijk aan de vSphere client?

En qua stabiliteit e.d. van KVM? Hoe verhoudt zich dat tot ESXi? ESXi is namelijk erg stabiel, itt tot Virtualbox waarbij er af en toe wel eens een VM crasht en zo.
Vandaar dat ik liever ESXi heb dan Virtualbox.

M.a.w: Welke argumenten zou jij kunnen bedenken om ESXi te gebruiken boven KVM met WebVirtMgr?

In case you wondered, ik probeer puur voor mezelf achter redenen te komen om KVM te gaan gebruiken (of juist niet).
Als jij zegt dat het een instabiele boel is (net als Virtualbox), dan hoef ik geen moeite te doen daar zelf achter te komen, en dat bespaart me weer een reinstall (dat ben ik ondertussen ook wel een beetje zat)

FireDrunk schreef op donderdag 28 februari 2013 @ 16:12:
Waarom draaien jullie eigenlijk geen Ubuntu Server?
Verschil met Debian ontgaat mij een beetje... Ik snap dat voor de true-open-source fanaten Debian eerlijker is... Maar voor thuis?

Tja niet echt duidelijk een reden, het is meer een verschil in de filosofie van de distro's.

Vroeger heb ik op de desktop wel Ubuntu gebruik, en later heb ik dus ook Ubuntu server op m'n homeserver geinstalleerd.

Maar bij latere installs zag ik eigenlijk het voordeel van Ubuntu server boven Debian niet. Itt tot de desktop-versie je zie eigenlijk niet eens verschillen, wat ook logisch is omdat het gewoon dezelfde applicaties gebruikt.

Debian zit daarnaast 'dichter bij de bron': Het is immers Ubuntu wat van Debian is afgeleidt met als doel het voor newbies simpeler te maken.
Voor de Server Editie vind ik dit doel sowieso al niet opgaan, vandaar dat de keuze voor Debian voor mij gemaakt was.

Later ben ik vanwege de kant waarmee Canonical met Ubuntu opging ook overgaan naar Mint op de desktop (de precieze argumenten weet ik niet eens meer).
Nu draai ik trouwens weer Windows op de desktop omdat ik het dual-booten zat was

[ Voor 28% gewijzigd door Compizfox op 28-02-2013 17:00 ]

[u_nix_we_all]

FireDrunk schreef op donderdag 28 februari 2013 @ 16:12:
Waarom draaien jullie eigenlijk geen Ubuntu Server?
Verschil met Debian ontgaat mij een beetje... Ik snap dat voor de true-open-source fanaten Debian eerlijker is... Maar voor thuis?

Wie zegt dat dit voor thuis is

Anyway, ik denk dat ik gewoon een kaartje heb wat niet lekker wil werken met pci passthrough, ik ga morgen eens verder proberen met wat andere pcie kaartjes.

[FireDrunk]

Ubuntu is idd Debian based, maar omdat de community van Ubuntu al groter is dan die van Debian, worden er meer patches upstream gestuurd dan downstream zie ik vaak. Daardoor ligt Debian juist weer achter op Ubuntu qua versies...

Het is niet zo dat zoals bij CentOS, Ubuntu achter MOET liggen op Debian. Dat ze de zelfde base gebruiken wil niet zeggen dat ze niet sneller kunnen updaten. Ze proberen niet net zo binary compatible te zijn als CentOS volgens mij.

Persoonlijk vind ik Debian te traag en te ver achter liggen. Die jongens mogen wel eens mee gaan met de tijd en niet zo zaniken.

(overigens vind ik dat ook van CentOS... Die zitten nog op kernel 2.6.36. Zodra ik dat zeg, heb ik het gelijk eraf gemieterd...)

[Compizfox]

Maar geldt dat ook voor Debian testing?

Ik krijg het idee dat je het vooral hebt over stable.

EDIT:
Hoe heb je dat webvirtmgr werkend gekregen met libvirt? Ik heb de instructies op https://www.webvirtmgr.net/docs/ gevolgd maar ik kan niet inloggen.

$ virsh -c qemu+tcp://192.168.2.22:/system nodeinfo
Please enter your authentication name: lars
Please enter your password:
error: authentication failed: authentication failed
error: failed to connect to the hypervisor

In /var/log/libvirt/libvirtd.log:

code:

error: virNetSASLSessionServerStep:624 : authentication failed: Failed to start SASL negotiation: -20 (SASL(-13): user not found: unable to canonify user and get auxprops)

[ Voor 76% gewijzigd door Compizfox op 28-02-2013 21:57 ]

[DutchNutcase]

Compizfox schreef op donderdag 28 februari 2013 @ 19:01:
Maar geldt dat ook voor Debian testing?

Ik krijg het idee dat je het vooral hebt over stable.

EDIT:
Hoe heb je dat webvirtmgr werkend gekregen met libvirt? Ik heb de instructies op https://www.webvirtmgr.net/docs/ gevolgd maar ik kan niet inloggen.

$ virsh -c qemu+tcp://192.168.2.22:/system nodeinfo
Please enter your authentication name: lars
Please enter your password:
error: authentication failed: authentication failed
error: failed to connect to the hypervisor

In /var/log/libvirt/libvirtd.log:

code:

error: virNetSASLSessionServerStep:624 : authentication failed: Failed to start SASL negotiation: -20 (SASL(-13): user not found: unable to canonify user and get auxprops)

Probeer een in te loggen met: lars@<hostname>. Dat moest ik doen om het aan de praat te krijgen. Ik heb het er overigens al weer afgegooit, omdat het voor mijn setup nog niet helemaal naar tevredenheid werkt. Ik kan de vnc viewer niet van buiten gebruiken, omdat deze connect naar mijn jumphost ipv naar de hypervisor, die ik uiteraard niet exposed heb naar buiten toe.

[FireDrunk]

Ik ga er toch ook vanuit dat je WebVirtMgr niet naar buiten toe open zet? Dat lijkt mij ook niet veilig... Je kan beter met een VPN werken.

@CompizFox: Heb je de Qemu en Libvirt configs gewijzigd en daarna die services herstart? Want je moet wat authenticatie instellingen juist wijzigen. Bovendien moet je SASL2 wel even installeren. Maar dat staat allemaal in de handleiding volgens mij...

listen_tls = 0
listen_tcp = 1

sudo saslpasswd2 -a libvirt fred

En hier moet je fred natuurlijk vervangen met je eigen username
Bestaat onder Debian de libvirt groep? Want dit commando voegt iemand toe aan een groep via een sasl2 password volgens mij.

EDIT:

Trouwens, dat commando werkt bij mij ook helemaal niet? Waar heb je dat vandaan?
Ah, ik zie het al, aan het einde van het IP staat een :... Die moet weg.

thijs@kvmhost:~$ virsh -c qemu+tcp://192.168.1.2/system nodeinfo
Please enter your authentication name: thijs
Please enter your password:
CPU model:           x86_64
CPU(s):              4
CPU frequency:       1600 MHz
CPU socket(s):       1
Core(s) per socket:  4
Thread(s) per core:  1
NUMA cell(s):        1
Memory size:         16414640 KiB

Goed test commando voor de authenticatie:

To see a list of all accounts the sasldblistusers2 command can be used. This command expects to be given the path to the libvirt user database, which is kept in /etc/libvirt/passwd.db

EDIT2:
Wat overigens ook wel grappig is, is dat WebVirtMgr gebruik maakt van LibVirt, wat weer overweg kan met ESXi.

In theorie zou je dus een VM kunnen maken die ESXi managed via WebVirtMgr volgens mij
Hoewel ze dat bij WebVirtMgr nog niet ondersteunen

[ Voor 71% gewijzigd door FireDrunk op 01-03-2013 09:18 ]

[DutchNutcase]

FireDrunk schreef op vrijdag 01 maart 2013 @ 08:39:
Ik ga er toch ook vanuit dat je WebVirtMgr niet naar buiten toe open zet? Dat lijkt mij ook niet veilig... Je kan beter met een VPN werken.

[...]

Wat die VPN betreft; daar heb je natuurlijk helemaal gelijk in. Dan kan ik namelijk ook gewoon virtmanager over die lijn duwen. Ik was alleen aan het experimenteren vanaf mijn werk of ik het aan de praat kreeg op mijn webserver en dat werkte. Overigens is alles aan mijn webserver redelijk dichtgetimmerd. Alles wat draait gaat over SSL en heeft een door Apache geregelde authenticatie naar mijn DC (samba, openLDAP) en in dit geval ook nog op IP.

[Compizfox]

DutchNutcase schreef op vrijdag 01 maart 2013 @ 08:23:
[...]


Probeer een in te loggen met: lars@<hostname>. Dat moest ik doen om het aan de praat te krijgen.

Thanks, dat deed het hem!

@Firedrunk: Het is al opgelost, maar de door jou beschreven stappen had ik al gedaan.

Maar nog steeds werkt het niet. Zodra ik op de webinterface op "overview" klik crasht de manage.py webserver met "Illegal instruction"

[FireDrunk]

Hmm, hier werkt het perfect op zowel Ubuntu, als Gentoo (zojuist geprobeerd).
Misschien een te oude versie van Libvirt?
(zit hier op versie 9013)

[ Voor 10% gewijzigd door FireDrunk op 01-03-2013 15:05 ]

[Compizfox]

Het werkt inmiddels. Het had er vast mee te maken dat ik mijn install (op een USB-stick) binnen een VM op mijn workstation draaide. Puur om het spul te configureren en mijn server zelf nog even kon blijven draaien.

Heb hem nu in de server zelf zitten en het werkt, maar ik ben er nog niet zo enorm enthousiast over. De opties vallen me wat tegen.
Je kunt een VM aanmaken en daarbij de hoeveelheid RAM e.d. selecteren, maar voor de rest zijn de opties érg karig. PCI-e passthrough bijvoorbeeld is nergens te vinden.
Zelfs phpvirtualbox is nog uitgebreider.

Ik denk dus dat ik voorlopig maar weer ESXi gaan installeren

[FireDrunk]

Je kan virt-manager installeren om de VM's te maken, daarna kan je via die webinterface alles vrolijk beheren.

[FireDrunk]

Extera schreef op donderdag 07 maart 2013 @ 10:09:
Je spreek je NFS share toch aan met een source address? Deze zal toch op een adapter ergens leven met een bepaalde bandwith?

Ik snap dat je over een LACP trunk niet meer dan 1Gb per sessie kan halen zonder multipath ondersteuning. Ik vraag me af hoe ESX hier mee om gaat. Heeft iedere VM 1 sessie naar de via NFS gemounte share, of is dit 1 sessie van de ESX host.

Ik bedenk me echter net dat deze vragen beter thuishoren in [Discussie] Storage en virtualisatie

Je ESXi host is de enige met een sessie naar je NFS server, de VM's zelf hebben geen enkele kennis van op welk storage platform ze draaien (NFS, iSCSI, FCoE).

ESXi's VMKernel poort is volgens mij zelf iets van 4Gb, maar zeker weten doe ik het niet.

[ Voor 5% gewijzigd door FireDrunk op 07-03-2013 10:18 ]

[Extera]

Daar was ik al bang voor je bent dan dus gelimiteerd aan 1Gb, of je moet met FC, Inifniband, of 10GbE gaan werken.

Dan vraag ik me af wat de performance is wanneer je een NFS share maakt naar een VM welke met VMXNET3 aan de vSwitch hangt. Of je fysieke NIC waar je management adres op leeft ook 10Gb moet zijn om 10Gbit van je host naar je vSwitch te behalen.

[FireDrunk]

Nee hoor, de VMkernel is wat dat betreft heel anders volgens mij.
Exact weet ik het niet, maar > 100MB/s kan iig wel, dat heb ik wel gezien bij klanten.

[HyperBart]

Extera schreef op donderdag 07 maart 2013 @ 10:09:
Je spreek je NFS share toch aan met een source address? Deze zal toch op een adapter ergens leven met een bepaalde bandwith?

Ik snap dat je over een LACP trunk niet meer dan 1Gb per sessie kan halen zonder multipath ondersteuning. Ik vraag me af hoe ESX hier mee om gaat. Heeft iedere VM 1 sessie naar de via NFS gemounte share, of is dit 1 sessie van de ESX host.

Ik bedenk me echter net dat deze vragen beter thuishoren in [Discussie] Storage en virtualisatie

Je ESXi-host doet de mount van het NFS pad, dus die snelheid is gelimiteerd tot de bandbreedte van je interface.

Daarom heb ik dus een virtuele nic op mijn ZFSguru van 10Gbit, die mijn LAN EN (!) mijn ESXi aanspreken... Het mooiste zou zijn om snel even een dedicated vNIC'je er bij te hangen, maar ach, dat maakt het alleen maar complexer.

Met andere woorden: ik heb een all in one met een SAN er in die een storage link van 10gbit voorziet voor mijn hypervisor en mijn LAN, mijn LAN kan er alleen geen gebruik van maken omdat mijn switch 1Gbit is...

[Extera]

Oke, dit is helder Hyperbart.
Mijn vraag is hoe snel verbinding tussen de hypervisor en de vSwitch / Virtual SAN is.

Dit lijkt me alleen nog al lastig te testen.
Ik kom op internet geen duidelijk antwoord tegen over de bandbreedte van de VMkernel port.

[FireDrunk]

Ik ook niet, net al even zitten zoeken. Wat HyperBart zegt klopt inderdaad, de VMkernel poort is intern niet gelimiteerd.

Extern vraag ik het me dus af, stel dat je InfiniBand 40Gbit hebt, kan je dan een 1-op-1 verbinding van 40Gb opzetten, of gaat je vmkernel poort dat niet leuk vinden.

[HyperBart]

FireDrunk schreef op donderdag 07 maart 2013 @ 11:49:
Ik ook niet, net al even zitten zoeken. Wat HyperBart zegt klopt inderdaad, de VMkernel poort is intern niet gelimiteerd.

Extern vraag ik het me dus af, stel dat je InfiniBand 40Gbit hebt, kan je dan een 1-op-1 verbinding van 40Gb opzetten, of gaat je vmkernel poort dat niet leuk vinden.

Wordt die niet getopped door je CPU?

Wat je zegt van 40Gbit en die 1 op 1 gaat prima lijkt mij, als je CPU het aankan...

[FireDrunk]

Nou ja, je zit met de maximale bandbreedte die je vmkernel port heeft richting je vSwitch...
In ESX(i) 4 was dat geloof ik een trunk van 4*1Gb. Hoe dat in 5(.1) zit weet ik niet.

[SizL]

Ik draai ZFSguru als VM(DomU) op Xen 4.2.1 met een Debian Wheezy Dom0(zelfgebakken kernel 3.7.10). ZFSGuru heeft een RockeRaid 2340 middels PCI passthrough en herkent de disken prima. Opstarten gaat via een lvm-partitie die als virtuele disk ada0 gezien wordt. Disken aan RR worden als da0..4 gezien, werken prima, alleen smart uitlezen werkt voor de RR controller iets anders, maar met tweak in het php script rapporteert ZFSguru ook de smart data prima.

Gaat allemaal stabiel, maar netwerkprestaties (NFS vanaf Dom0 en Samba file transfer vanuit Win8 DomU) vallen tegen. Ik wil eigenlijk gebruik maken van de FreeBSD PV drivers voor XEN zodat de virtuele netwerkinterface in ZFSguru beter gaat presteren, maar heb geen idee hoe ik die drivers in ZFSguru krijg.

Heb hier en daar wel gelezen dat het ondersteund wordt op FreeBSD, maar of ik alleen iets met drivers moet doen, hoe ik daar aan kom, of ik ook nog een ander kernel kan danwel moet installeren, ik kom er niet uit. Is er een FreeBSD/ZFSguru guru die me kan helpen?

[FireDrunk]

Zitten die drivers niet gewoon in de ports tree?
Dan zal het iets zijn als:

cd /usr/ports/emulators/xen-tools
make install clean

En dan nog even je /boot/loader.conf aanpassen zodat de eventuele drivers geladen worden.

[SizL]

Het is gelukt, maar niet via de xen-tools package. Had nog ergens gevonden dat de PV-drivers automatisch geinstalleerd werden icm een XENHVM kernel, dus heb vanaf een verse ZFSguru installatie de sources geinstalleerd en een nieuwe kernel gecompileerd en geinstalleerd. Alles werkt, PV drivers worden gebruikt (heb nu een xn0 netwerk interface ipv em0), maar de Samba/NFS performance is nog steeds bedroevend. Ook al een lvm partitie (van een SSD) als cache device gezet, maar zelfs dat verbetert niets aan de performance.
Wat kan ik nog proberen?

[DutchNutcase]

Probeer eerst eens met iperf hoe je pure network performance is. Verder ben ik benieuwd naar je performance. Laat eens zien wat je ruwe performance is met dd. Wat is je vervolgens je samba en of nfs performance?

Verder wil ik je waarschuwen voor de combinatie ZFS en RocketRaid. Uit het Het grote ZFS topic heb ik begrepen dat ZFS via een RAID controller niet de volle controle over de disks krijgt die het nodig heeft. Maar dit is een puntje dat je even na zou moeten vragen.

[FireDrunk]

idd, probeer eerst iperf eens, want ruwe NFS performance is afhankelijk van best veel factoren.

Kijk ook even goed welke window size gebruikt word bij iperf, die vastzetten kan nogal eens betere resultaten opleveren.

[SizL]

Hier de ZFSGuru benchmark van de pool:
ZFSguru 0.2.0-beta8 (9.1-005) pool benchmark
Pool : tank (9.06T, 20% full)
Test size : 32 GiB
normal read : 335 MB/s
normal write : 518 MB/s
I/O bandwidth : 31 GB/s

En hier de resultaten van iperf:
Client connecting to zfsguru, TCP port 5001
TCP window size: 22.9 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.1.10 port 50192 connected with 192.168.1.12 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 20.1 GBytes 17.2 Gbits/sec

iperf van Windows naar Zfsguru (DomU->DomU) geeft 1,42 Gbit/s bij een 64 Kbyte TCP window

Een file kopieren met rsync vanaf een NFS gemounte share gaat met 10 MB/s
Vanaf een Windows 8 DomU (met PV drivers) kopieert dezelfde file met ca 30 MB/s

Dat zijn toch niet de getallen die je verwacht..

[ Voor 5% gewijzigd door SizL op 09-03-2013 01:51 ]

[aaahaaap]

Compizfox schreef op zaterdag 02 maart 2013 @ 15:57:
Het werkt inmiddels. Het had er vast mee te maken dat ik mijn install (op een USB-stick) binnen een VM op mijn workstation draaide. Puur om het spul te configureren en mijn server zelf nog even kon blijven draaien.

Heb hem nu in de server zelf zitten en het werkt, maar ik ben er nog niet zo enorm enthousiast over. De opties vallen me wat tegen.
Je kunt een VM aanmaken en daarbij de hoeveelheid RAM e.d. selecteren, maar voor de rest zijn de opties érg karig. PCI-e passthrough bijvoorbeeld is nergens te vinden.
Zelfs phpvirtualbox is nog uitgebreider.

Ik denk dus dat ik voorlopig maar weer ESXi gaan installeren

webvirtmgr is ook nog heel erg nieuw, soort van pre-alpha/pre-beta status, en daarnaast vrij simpel, beetje hetzelfde als saltvirtweb (https://github.com/torhve/saltvirtweb) of nog simpeler virt_web (https://fedorahosted.org/virt_web/) of Tiny Virtual Manager (http://gitorious.org/tivima/pages/Home). zou er dus idd niet al te veel van verwachten

Heb je niet meer aan Archipel, Ganeti, Proxmox of OpenNebula (v4 ziet er goed uit op de screenshots) (wel allemaal anders, maar allemaal veel uitgebreider dan webvirtmgr)?

[u_nix_we_all]

Weer lekker met kvm en pci-passtrough zitten spelen de laatste tijd. Dat ene vage kaartje wat leek te werken, maar een onverklaarbare fout in de software gaf, werkt wel onder ESXi. Daar viel me wel op dat die ook een soor parent pci ding automatisch erbij pakte, maar die kon ik met linux lspci niet terugvinden onder die devicenummers. Dan maar ESXi draaien daarvoor, mag ook.

Met kvm en Intel netwerkadapters voor windows7 guests ook een leuk feestje: als je een quadkaart met 2 asics met elk 2 poorten hebt, wil je je vm's geen asic (zo heten die chippies toch ?) laten delen
Ale je ze elk een poort op de andere andere geeft gaat het wel goed. KVM's en interrupt-afhandeling (of het nu van een paasthrough of een virtueel device is) door je virtuele cpu's blijft een issue....
Dat is overigens met een MSI adapter, met MSI-X lijkt het wel wat beter te gaan ....

TL;DR : stevige I/O icm virtualisatie is een bitch

[Eagleman7]

Eindelijk een topic over KVM op tweakers

Hier mijn persoonlijke ervaringen:

Ik gebruik nu al halfjaar KVM,
eerst deed ik dit op Ubuntu-Server 12.04 in combinatie veel verschillende control panels.
Nu heb ik die zelfde fysieke server gevirtualiseerd met CloneZilla doormiddel van backuppen en restoren in een qcow2 file, natuurlijk nog wat kleine aanpasingen gedaan. Ook heb ik de hardeschijven die aan die zelfde machine hingen doorgegeven met deze regel:

<disk type='block' device='disk'>
<driver name='qemu' type='raw' cache='none'/>
<source dev='/dev/sdb1'/>
<target dev='vdb' bus='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x06' function='0x0'/>
</disk>

Ik heb voor Arch Linux gekozen ( Bleeding edge software ) als "bare metal hypervisor" ik gebruik op het moment virt-manager met x11 forwarding zodat ik er overal bij kan SSH en Xming.

Als ik bij mijn guest OS's wil gebruik ik RDP ( Windows ) of SSH doormiddel van deze iptables regels ( WAN & OpenVPN ):

-A PREROUTING -i eth0.10 -p tcp -m tcp --dport 4000 -j DNAT --to-destination 192.168.100.10:3389
-A PREROUTING -i tun3 -p tcp -m tcp --dport 4000 -j DNAT --to-destination 192.168.100.10:3389
-A POSTROUTING -d 192.168.100.0/24 -p tcp -m tcp --dport 3389 -j SNAT --to-source 192.168.100.2

Ik ben nog steeds aan het rond kijken voor een control panel om alles te beheren, alles is zo groot opgezet met KVM dat het lastig is om het "makkelijk" te houden ( virt-manager doet het op dit vlak wel goed alleen is het zeer sloom over het internet )
De komende weken wil ik oVirt gaan gebruiken met de all in one installatie op fedora 18 minimal install. ( Heb hem al draaiende gehad in de virtualeele omgeving met nested virtualisation )

Ook wil ik gaan upgraden naar Haswell omdat ik nu al tegen limieten aanloop, ik draai nu met het volgende:

#	Product	Prijs	Subtotaal
1	Intel Core i3 2100 Boxed	€ 105,90	€ 105,90
1	MSI H67MA-E35 (B3)	€ 59,90	€ 59,90
1	Western Digital Red WD30EFRX, 3TB	€ 125,99	€ 125,99
1	BitFenix Merc Alpha	€ 32,-	€ 32,-
1	TP-Link TG-3269	€ 4,95	€ 4,95
1	Kingston ValueRAM KVR1333D3N9K2/8G	€ 48,60	€ 48,60
1	be quiet! Pure Power L7 300W	€ 37,90	€ 37,90
1	Crucial RealSSD C300 2.5" 64GB	€ 0,-	€ 0,-
1	Samsung 840 series Pro 256GB	€ 196,99	€ 196,99
Bekijk collectie Importeer producten		Totaal	€ 612,23

Hier nog wat benchmarks met de virtio drivers ( ik wil de vergelijking wel eens zien met VMware Esxi omdat KVM beweerd sneller te zijn ):

Iperf Network

Archlinux Hypervisor to Ubuntu-Server Guest ( LAN )

[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 21.8 GBytes 18.7 Gbits/sec

Archlinux Hypervisor to Ubuntu-Server Guest ( Isolated Network )

[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 21.9 GBytes 18.8 Gbits/sec

Archlinux Hypervisor to Windows-7 Guest ( LAN )

[ ID] Interval Transfer Bandwidth
[156] 0.0-10.0 sec 195 MBytes 163 Mbits/sec

Archlinux Hypervisor to Windows-7 Guest ( Isolated Network )

[ ID] Interval Transfer Bandwidth
[156] 0.0-10.0 sec 1.42 GBytes 1.22 Gbits/sec

Archlinux Hypervisor to Windows-8 ( LAN )

[ ID] Interval Transfer Bandwidth
[148] 0.0-10.0 sec 1.11 GBytes 948 Mbits/sec

Windows-8 to Windows-7 Guest ( LAN )

[ ID] Interval Transfer Bandwidth
[148] 0.0-10.0 sec 226 MBytes 189 Mbits/sec

Windows-8 to Ubuntu-Server Guest ( LAN )

[ ID] Interval Transfer Bandwidth
[152] 0.0-10.0 sec 1.11 GBytes 949 Mbits/sec


Crystal Diskmark Windows-7 Guest

http://imagebin.org/index.php?mode=image&id=250979

[FireDrunk]

Die LAN snelheid van Windows 7 lijkt een beetje vreemd? Zoveel anders is Windows 8 niet, maar het scoort vele malen hoger?

[Eagleman7]

FireDrunk schreef op woensdag 20 maart 2013 @ 14:43:
Die LAN snelheid van Windows 7 lijkt een beetje vreemd? Zoveel anders is Windows 8 niet, maar het scoort vele malen hoger?

Windows 7 is gevirtualiseerd met virtio drivers
Windows 8 is een normale machine waar ik nu dit bericht typ

Het lijkt wel of de Windows 7 machine niet goed overweg kan met die virtio drivers, als je naar Ubuntu kijkt zie je dat de snelheden veel hoger zijn.

[wishmaster1986]

Dit is denk ik wel een mooi topic om mijn vraag te stellen.

Ik heb hier een 2x Norco case staan met 16 3TB disken. Daar draait op dit moment ESXI 5.1 op met 2x een M1015 in passthrough naar een OpenIndiana VM. Daarnaast draait er ook nog een Windows Server 2008 R2 als backup VM op. Nu probeer ik zo een stukje storage van de ZFS naar de backup server te krijgen. Opzich gaat dat allemaal prima maar ik kan niet meer dan met 400 MB/s schrijven naar de ZFS server. Ik heb verschillende manieren geprobeerd maar ik kom maar niet boven die 400 MB/s uit. Ik denk dat het in de netwerk drivers zit van OpenIndiana.

Nu heb ik de volgende manieren al geprobeerd:

1. Multipath iSCSI vanaf OI met VMXnet3 naar ESXI en dan het volume als RDM disk meegeven in de VM config.
2. Multipath ISCSI vanaf OI met VMXnet3 naar de 2008 R2 (VMXnet3) server.
3. Multipath ISCSI vanaf OI met 8 E1000 vnics naar ESXI en dan het volume als RDM disk meegeven in de VM config.
4. Multipath ISCSI vanaf OI met 8 E1000 vnics naar de 2008 R2 (VMXnet3) server.
5. Multipath ISCSI vanaf OI met 8 E1000 vnics naar de 2008 R2 server met 8 E1000 vnics.
6. Multipath iSCSI vanaf OI naar ESXI en dan het volume als datastore mounten en een VMDK aanmaken en die in de config zetten van de 2008 R2 server.
7. NFS vanaf OI naar de ESXI en dan ook een VMDK meegeven in de config voor de 2008 R2 server.
8. NFS share direct mounten op de 2008 server.

Al aardig wat mogelijkheden maar ik haal maar niet de snelheden die ik wil hebben. Een DD bench om de OI geeft sowieso meer dan 1500 MB/s aan maar exact weet ik het even niet.

Ik denk dat het voornamelijk aan het ontbreken van jumbo frames ondersteuning in de VMXnet3 driver in OI ligt. Nu zit ik dus een beetje te kijken voor een andere mogelijkheid om een zo snel mogelijke verbinding te krijgen tussen mijn ZFS server en de Windows 2008 R2 server. Iemand van jullie nog een goed idee? Andere Hypervisor? Andere netwerk setup? Andere ZFS OS?

[FireDrunk]

Bij 1500MB/s lijkt me dat je je geheugen aan het testen bent...

Als je geen ZIL hebt: Het kan zo zijn dat je iSCSI verkeer als synched opgestuurd word, en daarom traag is.
Als je wel ZIL hebt: Doe eens een crystaldisk benchmark in die VM, ik wil graag zien wat je snelheden zijn.

[wishmaster1986]

Ik heb geen ZIL device erin zitten. Ik heb de sync-write optie uit gezet in OI op het volume en dan krijg ik test resultaten terug van crystal als rond de 400 MB/s in de seq bench. Zet ik sync-write aan dan kom ik niet boven de 100 MB/s uit. Ik kan nu trouwens ook geen screenshot posten want hij staat niet hier thuis bij mij.

Zal het een optie zijn om tijdelijk een RAMdisk aan te maken en die als ZIL device te gebruiken? Maar 1500 MB/s schrijven kan dus denk je niet? Ik dacht namelijk wel dat 3 v-devs van 5 disken in raidz dat wel weg moeten kunnen schrijven. 100 MB/s per disk?

Edit:


Dit is met writeback cache = enabled op het iSCSI volume die ESXI als RDM doorgeeft aan de server.


Dit is met writeback cache = disabled op het iSCSI volume die ESXI als RDM doorgeeft aan de server.


Edit2:

DD Bench

Memory size: 24576 Megabytes

write 50.331648 GB via dd, please wait...
time dd if=/dev/zero of=/pool1/dd.tst bs=2048000 count=24576

24576+0 records in
24576+0 records out

real 24.1
user 0.0
sys 15.4

50.331648 GB in 24.1s = 2088.45 MB/s Write

wait 10 s
read 50.331648 GB via dd, please wait...
time dd if=/pool1/dd.tst of=/dev/null bs=2048000

24576+0 records in
24576+0 records out

real 22.9
user 0.0
sys 15.8

50.331648 GB in 22.9s = 2197.89 MB/s Read


-------------------

DD read write bench

Memory size: 24576 Megabytes

write 50.331648 GB via dd, please wait...
time dd if=/dev/zero of=/pool1/dd.tst bs=2048000 count=24576

24576+0 records in
24576+0 records out

real 26.0
user 0.0
sys 17.7

50.331648 GB in 26s = 1935.83 MB/s Write

wait 10 s
read 50.331648 GB via dd, please wait...
time dd if=/pool1/dd.tst of=/dev/null bs=2048000

24576+0 records in
24576+0 records out

real 36.6
user 0.0
sys 14.9

50.331648 GB in 36.6s = 1375.18 MB/s Read

-------------------

DD sync write bench (2 MB blocksize x 10000)

Memory size: 24576 Megabytes

write 20.48 GB via dd, please wait...
time dd if=/dev/zero of=/pool1/dd.tst bs=2048000 count=10000

10000+0 records in
10000+0 records out

real 9.9
user 0.0
sys 6.5

20.48 GB in 9.9s = 2068.69 MB/s Write

--------------------

DD sync write bench (32K blocksize x 625000)

Memory size: 24576 Megabytes

write 20.48 GB via dd, please wait...
time dd if=/dev/zero of=/pool1/dd.tst bs=32768 count=625000

625000+0 records in
625000+0 records out

real 13.5
user 0.2
sys 10.4

20.48 GB in 13.5s = 1517.04 MB/s Write

[ Voor 97% gewijzigd door wishmaster1986 op 22-03-2013 01:03 ]

[FireDrunk]

Als je 24GB geheugen hebt, moet je niet maar 20GB schrijven... Dan is het niet zo gek dat het met 2GB/s gaat.

Probeer eens 200GB, dat zal een stuk lager uit komen. Je geheugen is factor 10000 sneller dan je schijven (mijn geheugen klokt op 110GB/s ofzo...)

Ook zou ik eens proberen om iSCSI IN de vm te doen ipv via RDM. De PVSCSI controller is snel, maar ook niet heilig.

[wishmaster1986]

DD bench

Memory size: 24576 Megabytes

write 201.326592 GB via dd, please wait...
time dd if=/dev/zero of=/pool1/dd.tst bs=8192000 count=24576

24576+0 records in
24576+0 records out

real 1:44.9
user 0.1
sys 1:11.9

201.326592 GB in 104.9s = 1919.22 MB/s Write

wait 10 s
read 201.326592 GB via dd, please wait...
time dd if=/pool1/dd.tst of=/dev/null bs=8192000

24576+0 records in
24576+0 records out

real 2:19.5
user 0.0
sys 59.1

201.326592 GB in 139.5s = 1443.20 MB/s Read


----------

DD read write bench

Memory size: 24576 Megabytes

write 201.326592 GB via dd, please wait...
time dd if=/dev/zero of=/pool1/dd.tst bs=8192000 count=24576

24576+0 records in
24576+0 records out

real 1:54.3
user 0.1
sys 1:11.6

201.326592 GB in 114.3s = 1761.39 MB/s Write

wait 10 s
read 201.326592 GB via dd, please wait...
time dd if=/pool1/dd.tst of=/dev/null bs=8192000

24576+0 records in
24576+0 records out

real 2:21.5
user 0.0
sys 59.4

201.326592 GB in 141.5s = 1422.80 MB/s Read


-----------------------

DD sync write bench

Memory size: 24576 Megabytes

write 102.4 GB via dd, please wait...
time dd if=/dev/zero of=/pool1/dd.tst bs=32768 count=3125000

3125000+0 records in
3125000+0 records out

real 1:05.8
user 1.2
sys 50.0

102.4 GB in 65.8s = 1556.23 MB/s Write

---

Memory size: 24576 Megabytes

write 102.4 GB via dd, please wait...
time dd if=/dev/zero of=/pool1/NFS-ESXI/dd.tst bs=32768 count=3125000

3125000+0 records in
3125000+0 records out

real 1:07.3
user 1.2
sys 51.6

102.4 GB in 67.3s = 1521.55 MB/s Write

---

Memory size: 24576 Megabytes

write 12.8 GB via dd, please wait...
time dd if=/dev/zero of=/pool1/dd.tst bs=4096 count=3125000

3125000+0 records in
3125000+0 records out

real 19.2
user 0.8
sys 16.6

12.8 GB in 19.2s = 666.67 MB/s Write

---

Memory size: 24576 Megabytes

write 12.8 GB via dd, please wait...
time dd if=/dev/zero of=/pool1/NFS-ESXI/dd.tst bs=4096 count=3125000

3125000+0 records in
3125000+0 records out

real 20.4
user 0.9
sys 17.8

12.8 GB in 20.4s = 627.45 MB/s Write

---

Memory size: 24576 Megabytes

write 327.68 GB via dd, please wait...
time dd if=/dev/zero of=/pool1/dd.tst bs=32768000 count=10000

10000+0 records in
10000+0 records out

real 2:55.1
user 0.0
sys 2:05.5

327.68 GB in 175.1s = 1871.39 MB/s Write

[FireDrunk]

Je ziet dat je 32KB writes veel sneller gaan dan je 4K writes, dat betekend dat jou systeem veel baat zou hebben bij Jumbo Frames. Normaal netwerk is 1500 bytes transfer size per packet (vanwege de MTU). iSCSI requests worden daardoor ook in stukken gesneden volgens mij.

Als je naar Jumbo Frames gaat heb je iig al 8K. Dat zal dan al iets sneller moeten gaan.

[wishmaster1986]

Alleen het probleem is dus dat OI geen ondersteuning bied voor jumbo frames op de VMXnet3 vnics. Daarom zit ik te kijken voor misschien een andere hypervisor met "guest drivers" die dat wel ondersteunen. Of de ZFS pool word beheerd door het hypervisor OS of door een aparte VM met daarop een ZFS OS en pci passtrough dat maakt denk ik niet zoveel uit.

[wishmaster1986]

Hoppa, eindelijk de snelheden die ik wil. Opgelost door de 2008 R2 server virtual te draaien in Virtualbox in OpenIndiana. Nu nog eens kijken of ik grotere VHD schijven kan aanmaken dan 2TB aangezien ik een disk wil van ongeveer 20 TB. Of misschien toch maar eens kijken met een iSCSI volume vanaf OI naar de 2008 server samen met de Virtio netwerk drivers.

[ Voor 16% gewijzigd door wishmaster1986 op 26-03-2013 00:07 ]

[FireDrunk]

Wil je nu zeggen dat je het daadwerkelijke sharing verhaal door Windows wil laten doen IN OpenIndiana???
Dat is niet echt goed voor ZFS

[wishmaster1986]

Vertel me waarom niet?

[FireDrunk]

ZFS moet je niet virtualiseren via een tussenlaag als VirtIO, een geemuleerde SAS, AHCI, of SCSi controller.
Dat heeft een grootschalig negatief effect op de integriteit van ZFS.

De enige valide manier van het virtualiseren van ZFS is via VT-d / AMD-Vi, bij elke andere manier verlies je zekerheid.

[wishmaster1986]

Volgens mij begrijpen we elkaar even niet. De fysieke machine draait OpenIndiana en daar als service is Virtualbox op geinstalleerd en als VM draait de 2008 server die weer een VHD heeft op de ZFS pool op de host (OI).

Met ESXI en VT-d kreeg ik beroerde performance met OI als een VM. Nouja niet de performance die ik wou.

[ Voor 32% gewijzigd door wishmaster1986 op 26-03-2013 01:23 ]

[FireDrunk]

Dan begrijp ik je dus wel goed. Een VHD op ZFS is leuk voor de VM, maar niet om je data weer in te stoppen. Je hebt geen end-to-end dataintegriteit, omdat de logica van VirtualBox altijd nog tussen je schijven en ZFS zit. Caching algortimen, uitgestelde synced writes, herordering van writes omdat VirtualBox denkt dat dat sneller is, en noem maar op. Allemaal redenen om niet voor VirtualBox te gaan.

Waarom wil je uberhaupt de Windows VM gebruiken voor je data?

[wishmaster1986]

Omdat dat het enige OS is waar onze backup software op draait. Maar die machine hoeft verder weinig te doen dan alleen maar grootte bestanden te kopieeren. Latency, IOPS etc. boeit me niks, ik wil throughput.

Maar als het zo slecht is waarom kan er dan op meerdere "ZFS OS'en" gevirtualiseerd worden? Of er nou checks door ZFS word gedaan op 1000 kleine bestanden of op 1 grotere als een VHD (etc.), maakt dat dan uit?

[ Voor 13% gewijzigd door wishmaster1986 op 26-03-2013 08:59 ]

[FireDrunk]

Dat dingen kunnen wil nog niet zeggen dat ze goed zijn voor je systeem.
Je kan in elk os synced writes uit zetten, maar in elk OS is het niet verstandig (tenzij je weet wat je doet...)

Als de use-case backup is, snap ik het wel, maar je had het over het delen van een 20TB VHD? Dat insinueert dat je ook data op die VM gaat zetten, en hem niet alleen als backup VM gaat gebruiken.

Als je echt alleen de data wil lezen van je host, kan je nog beter VirtualBox Shared Folder gebruiken, dat is ook vrij snel... (in de orde van VirtIO enzo). Let wel goed op met permissies, want dat is een beetje tricky.

[ Voor 5% gewijzigd door FireDrunk op 26-03-2013 08:58 ]

[wishmaster1986]

De bedoeling was dat er een virtuele disk (VHD, VMDK, VDI, whatever) van ongeveer 20TB word gekoppeld aan die 2008 VM als data schijf waar alle VHD's van onze Hyper-V machines naar toe worden geschreven als backup. Geen verdere live data of dergelijke, puur alleen Hyper-V machines backup. Het probleem is alleen dan ik perse een Windows machine nodig heb om bij die Hyper-V instanties te komen.

Het liefst maak ik een share aan op de OI en lekker simpel via een SMB of NFS share dan de Hyper-V machines kopieeren maar dat gaat niet. We hebben voor ZFS gekozen vanwege de relatief lage kosten en toch wel wat aardige functies zoals replicatie naar een 2e unit wat dus ook nog ingesteld moet gaan worden.

Ik zal eens gaan kijken met die shared folders. Eigenlijk wel een goed idee trouwens, dan worden de backup VHD's natuurlijk direct weg geschreven op een ZFS folder ipv een virtuel disk van Virtualbox.

[ Voor 32% gewijzigd door wishmaster1986 op 26-03-2013 09:15 ]

[FireDrunk]

Precies, dan heb je toch wat meer data integriteit.

Ik snap niet zo goed wat je bedoeld met "Bij de Hyper-V instanties kunnen", bedoel je dat je de VM's wil snapshotten of uit zetten voor je ze backupped?

[wishmaster1986]

Save --> Export --> Resume

En dan de save export handeling zo kort mogelijk. Ik dacht dat je een snapshot ook kon exporteren in Hyper-V dus dat zou eventueel ook nog een mogelijkheid zijn.

[ Voor 4% gewijzigd door wishmaster1986 op 26-03-2013 11:02 ]

[icecreamfarmer]

Even een korte vraag,

IK heb nu al tweemaal gehad dat ik bestanden die ik via qbittorent gedownload heb errors geven.
Video speelt hij niet af spellen worden niet geinstalleerd.

Doe ik een recheck dan krijg ik een I/O eror.
Probeer ik het bestaand naar een externe hdd te kopieren dan geeft windows ook een error.
DE smart status geeft geen fouten aan verder en windows error checking start niet op want hij wil de drive niet dismounten.
Hoe kan ik de hdd wel checken op fouten.

Ik zie nu trouwens dat windows scandisk niet wil opstarten

[ Voor 6% gewijzigd door icecreamfarmer op 01-09-2013 21:29 ]