Het grote ZFS topic

[FireDrunk]

Wacht nog maar even met het maken van de CLANG kernel, ik ga eerst zelf wel even kijken of het uberhaupt werkt als je een kernel hebt met CLANG. Als dat zo is, is het natuurlijk mooi meegenomen om een VM-ware image te bakken met een CLANG kernel en de VMXNET3 drivers erbij in

[Verwijderd]

Is opzich niet veel werk hoor. Voor mij alleen de src.conf veranderen en een 9.1-003 build in gang zetten. Dat is nu het leuke van die nieuwe build scripts.

Maar ik ben nu nog ff met die services bezig, dus laat maar weten of dat met clang zin heeft. Maar het is zeker niet veel moeite.

[FireDrunk]

Die nieuwe image start lekker snel op moet ik zeggen.
Wel lastig dat sommige packages met pkg_add zijn geinstalleerd ipv vanaf de ports tree, is dat opzettelijk?

Loop namelijk al tegen een bug aan dat ik Bash niet vanaf /usr/ports/shells/bash mag installeren...
Bison (dependancy) is stuk...

pkg-conf zelf is ook via binary geinstalleerd, en niet via /usr/ports.
subversion heeft een dependancy op een hogere pkg-conf en wil die installeren, en dat conflicteerd weer.

[ Voor 52% gewijzigd door FireDrunk op 28-07-2012 15:40 ]

[Verwijderd]

Hoe bedoel je? Alles is via de portstree gecompileerd, uiteindelijk maak je daar een package van. Die worden uiteindelijk weer geïnstalleerd met pkg_add. Hoe zou het anders moeten gaan?

Wat er nu veranderd is, is dat er geen services meer 'in' de system image zitten. De system image is nu helemaal vrij van services en dus puur het OS plus basissoftware als bash, php, lighttpd en samba. Wat nu nieuw is, is dat de LiveCD tijdens het booten de services in feite installeert, terwijl die dus eerst al geïnstalleerd in de system image zaten. Maar dit nieuwe systeem geeft dus veel meer flexibiliteit om meerdere LiveCDs te maken met wisselende samenstelling van meegeleverde services.

Dus zodra de LiveCD boot, worden de betreffende services terplekke geïnstalleerd. Dit duurt zeker voor de 'gnome' LiveCD erg lang, maar je installeert ook alles in feite dus dat dat binnen één minuut gebeurt is nog best goed te noemen. Voor echte 'Root-on-ZFS' installaties hoef je natuurlijk maar één keer te installeren.

Het idee is dat je tijdens het installeren services kunt aanvinken die op cdrom staan en die je 'mee' wilt installeren, die hoef je dan niet meer te downloaden en handmatig te installeren. Dit vereist echter wijzigingen aan de web-interface en dat is dus een todo voor de volgende release.

Ook kun je nu nog niet de nieuwe services downloaden via Services->Install. Daar ben ik nog mee bezig.

[FireDrunk]

cd /usr/ports/shells/bash
make && make install

niks pkg_add... Dat is binary...

Heb intussen wel de installate gesloopt
Je kan geen packages reinstallen (PHP enzo... )

[ Voor 37% gewijzigd door FireDrunk op 28-07-2012 15:44 ]

[Verwijderd]

Services zijn voorgecompileerde ports. Anders zou je voor het installeren van een service eerst 30 tot 100 uur mogen compileren op een minder snel systeem. Ik dacht dat je bedoelde dat het via pkg_add -r werd geïnstalleerd, dat zijn de voorgecompileerde packages vanaf FreeBSD server. Die zijn gecompileerd met een bepaalde set dependencies en het mixen van ports/packages werkt niet lekker.

Maar wat is nu precies je probleem?

Voorbeeld hoe de ZFSguru services worden gecompileerd:

code:

##
## Service Build script
##

CAT="X-gnome"
build_category_begin X-server
echo "* service: ${CAT}"

cd /usr/ports/x11/gnome2
make clean && make install clean
build_checkerror

build_category_pristine

Heel simpel, maar wel zoals het hoort. Eerst wordt de X-server dependency geïnstalleerd die Xorg enzo bevat. Daarna wordt gnome2 gecompileerd van portstree. Daarna wordt exact uitgezocht welke packages runtime en welke compile-time zijn. Alleen de runtime packages komen in de service tarball terecht.

[FireDrunk]

Ik wil dus graag subversion, en bash. Nou zeg je zelf dat bash al geinstalleerd is, dus ik moet nog even zoeken, maar subversion heeft een dependancy die dus niet gaat werken, misschien kan je even kijken?

/usr/ports/devel/subversion

[Verwijderd]

Het idee van ZFSguru services is dat je juist één pakket hebt wat 'gegarandeerd' werkt op de betreffende system image. Zo is het getest of bedoeld en dat verandert dus niet. Terwijl bij een port je elke keer maar moet afwachten of het werkt; wellicht werken je config files niet meer met een nieuwe versie, etc. ZFSguru met system images + services zijn dus op elkaar ingestelde/ingewerkte packages en hoe dat nu werkt zal het ook over een jaar werken. Dat heb je nodig voor een stabiele 'appliance' die jarenlang op dezelfde software moet kunnen draaien.

Maar natuurlijk kun je zelf wel dingen installeren. Verpruts je iets dan kun je weer terug naar je snapshot of backup of snel een nieuwe install dat is het idee.

Wil je met portstree aan de slag, dan is het belangrijk dat je dezelfde portstree gebruikt als ZFSguru heeft gebruikt tijdens de build scripts. Daar is een aparte service voor:
system-portstree
system-sourcecode

Deze bevatten de portstree en sourcecode (/etc/src/) nodig voor compileren van ports. Ook bevatten deze de portopties die gebruikt zijn om bepaalde software te compileren. Kortom, wil je extra dingen installeren naast de services, is dit eigenlijk wat je nodig hebt. Ze zijn nog niet beschikbaar, maar dat zal ik op korte termijn wel doen. Dan kun je prima extra dingen installeren.

Wil je nu prutsen, dan een snelle tip: krijg je berichten als 'requires bison version 9 but version 8 is installed' of iets in die geest, dan moet je die bison eraf knallen met:
pkg_delete -f bison*
En dan opnieuw je compile starten (make install clean). Maar als je dit wilt is de beste manier eerst alle ports upgraden voordat je iets nieuws installeert. Alles upgraden kun je doen met bijvoorbeeld portupgrade:
# cd /usr/ports/ports-mgmt/portupgrade
# make install clean
als dat lukt kun je alles upgraden met:
portupgrade -ar

Maar ik kan ook even snel de portstree los uploaden als je wilt.

[ Voor 5% gewijzigd door Verwijderd op 28-07-2012 16:14 ]

[FireDrunk]

Het maakt mij eigenlijk niet zoveel uit welk systeem 'we' gebruiken, zolang het maar werkt.
Als ik persé packages moet gebruiken, swa, so be it.
Ik dacht juist dat je heel makkelijk met ene port een binary package kon overschrijven, maar dat is dus niet zo

Nadeel is dat ports die je los compiled flinke afhankelijkheden blijken te hebben en die zelf proberen te installeren...

[Verwijderd]

Dat geldt ook voor packages, die hebben ook dependencies. Als je bijvoorbeeld pkg_add -r <pkgnaam> doet, worden ook alle dependencies van die packages gedownload en geïnstalleerd.

Zodra je een port installeert, wordt het een package. Ports hebben dependencies en die worden dus eerst geïnstalleerd. Die worden ook allemaal packages. Zodra je iets compileert is het een binary en dus een package. pkg_version -v laat de lijst zien en met pkg_create -b <pkgnaam> maak je een packagebestand zoals FreeBSD zelf doet (voor pkg_add -r) en ZFSguru ook voor de services. Na pkg_create gebruikt te hebben, kun je met pkg_add dat bestand installeren, als een soort .deb voor linux.

Hopelijk verheldert dat wat? Het enige 'probleem' is dat wanneer je iets compileert, je port opties hebt. Deze port opties kunnen de dependencies veranderen. Tenzij je alles zelf compileert, moet je dus packages installeren die 'bij elkaar horen' en volgens hetzelfde portssysteem (portstree en portchoices) zijn gecompileerd.

In de toekomst kun je via ZFSguru web-interface gewoon packages upgraden vanuit de portstree, en daarna ook nieuwe ports installeren. Want dat is wat je wilt, neem ik aan?

[FireDrunk]

Jup, ik wil fatsoenlijk kunnen updaten aangezien freebsd-update nog altijd stuk is...
Als je er op googled, krijg je handleidingen waarin mensen een export maken van de lijst van alle packages die ze hebben, daarna alle packages eraf mieteren, en alles vanaf de export weer installeren.

Nou, ik heb nog nooit zo'n gore manier van updaten gezien Vandaar mijn euvel...
portupgrade loopt nu overigens.

[Pirtkoei]

Enthousiast hing ik hedenmiddag de Medium LiveCD aan mijn VM voor een test met de nieuwe versie, maar helaas... Alleen de pool op de usb-stick wordt herkend, de hdd staan wel in /dev/ maar worden niet gezien in de webGUI. De foutmelding die terugkomt in de System log:

code:

(da0:mpt0:0:0:0): unsupportable block size 0
(da1:mpt0:0:1:0): unsupportable block size 0
(da2:mpt0:0:2:0): unsupportable block size 0
(da3:mpt0:0:3:0): unsupportable block size 0

De pool hebben een zfs version: SPA: 28, ZPL: 5.

Beide pool zijn aangemaakt in ZFSguru 0.2-beta5 op FreeBSD 9.0 Stable.

VM heeft de hdd's met RDMs en ik heb getest met de LSI Logic Parallel en SAS controller.

[Verwijderd]

ESXi + vt-d + LSI controller + FreeBSD9 hebben een probleem met msi/msi-x doorgifte. Kun je dit eens proberen: Verwijderd in "Het grote ZFS topic"

De exacte foutmelding zou betekenen dat de 4 schijven die gevonden worden een sectorsize van 0 bytes hebben; wat natuurlijk niet gepikt wordt. Als het met bovenstaand linkje wel goed werkt is dat je probleem. Ik moet nog even induiken wat nu het probleem is en of er een betere fix voor is.

[ Voor 14% gewijzigd door Verwijderd op 29-07-2012 14:46 ]

[FireDrunk]

Ik heb momenteel ook ge-eikel met de LSI controller onder FreeBSD9, die MPT driver crasht om de haveklap, zelfs met MSI/MSI-X uit.

[Verwijderd]

Dat is flink balen. Ik zal eens gaan googlen hoe dat nu komt. Onder FreeBSD 8 was het nog geen probleem. Ik kan natuurlijk ook een 8.3 system image maken totdat dit gedonder voorbij is; 8.3 is pas twee maanden terug gereleased.

Kun je deze dingen uitsluiten?
http://forums.freebsd.org/showthread.php?t=31929
http://forums.freebsd.org/showthread.php?t=27899 (heeft ook een voorbeeld met mptutil commando; kun je ook eens checken)

[ Voor 31% gewijzigd door Verwijderd op 29-07-2012 15:18 ]

[FireDrunk]

Ik ga eens kijken of ze bij LSI al een nieuwe(re) driver hebben, misschien dat dat helpt.
Overigens gister een CLANG kernel gebouwd, maar die boot niet.
De em0 driver (intel IGB) veroorzaakt een of andere panic, dus dat is ook al tof... (not )

[ Voor 47% gewijzigd door FireDrunk op 29-07-2012 15:16 ]

[Pirtkoei]

Verwijderd schreef op zondag 29 juli 2012 @ 14:45:
...Kun je dit eens proberen: Verwijderd in "Het grote ZFS topic"...

Helaas nog steeds hetzelfde...

Nog een stukje uit de boot:

code:

da0 at mpt0 bus 0 scbus2 target 0 lun 0
da0: <ATA WDC WD15EADS-00S 01.0> Fixed Direct Access SCSI-5 device 
da0: 300.000MB/s transfers
da0: 0MB (no media?)

Ik heb nog even een usb-stick gemaakt met een installatie van de nieuwe image, om te kijken of baremetal dezelfde problemen geeft.

[ Voor 13% gewijzigd door Pirtkoei op 29-07-2012 15:23 ]

[FireDrunk]

Hoe heb jij de RDM's aangemaakt? Met -z of -x?

[Pirtkoei]

Met -z

[FireDrunk]

Ik ook, misschien dat dat nog steeds een probleem is. Maar ik betwijfel het... Alleen NFS geeft bij mij problemen, de rest werkt wel goed.

[Verwijderd]

Maar FireDrunk jij hebt het specifieke probleem van Pirtkoei dus niet, dat de disks wel gedetecteerd worden maar met sectorsize 0 en dus ook 0MB (een groot getal maal 0 is nog steeds 0) opslag? Kan het zijn dat hij in ESXi iets heeft ingesteld waar BSD over struikelt?

mptutil -u 1 show adapter
mptutil -u 1 show config

Kunnen jullie die misschien pasten?

[ Voor 14% gewijzigd door Verwijderd op 29-07-2012 15:32 ]

[Pirtkoei]

Met -x doet SMART het niet en als ik je specificatie van VMware bekijk is -z ook de optie voor ZFS.

Test vanaf een usb-stick met de nieuwe image, dus zonder ESXi er tussen, gaat wel gewoon goed er is dus inderdaad iets met de RDMs wat niet goed gaat...

[Verwijderd]

Oke dat laatste is ook belangrijk Pirtkoei, dan weet je in welke richting je het moet zoeken. Maar als jullie dit probleem hebben moet er toch meer info over te vinden zijn...

[FireDrunk]

Ik roep wel -x maar dat moet -r zijn...

~ # vmkfstools
No valid command specified
*knip*
OPTIONS FOR VIRTUAL DISKS:

vmkfstools -c --createvirtualdisk #[gGmMkK]
*knip*
           -r --createrdm /vmfs/devices/disks/...
           -z --createrdmpassthru /vmfs/devices/disks/...
*knip*

Het is dus ofwel een 'gewone' RDM ofwel een Physical RDM.

[Pirtkoei]

FireDrunk schreef op zondag 29 juli 2012 @ 15:35:
Ik roep wel -x maar dat moet -r zijn...
...
Het is dus ofwel een 'gewone' RDM ofwel een Physical RDM.

Ja zoiets heb ik al geinterperteerd, in mijn opmerking kun je dus ook -x lezen als -r.

[FireDrunk]

Ik lees hier:
http://www.freebsd.org/cg...manpath=FreeBSD+9-current

Dat er ook nog een multi-command configuratieoptie is, misschien die eens proberen.
Ik kan het even niet proberen, want mijn Windows 7 VM staat op de ZFS VM te patchen

Je kunt daar ook debugging aanzetten, misschien ook een idee.

[ Voor 10% gewijzigd door FireDrunk op 29-07-2012 15:42 ]

[Pirtkoei]

Verwijderd schreef op zondag 29 juli 2012 @ 15:31:
...
mptutil -u 1 show adapter
mptutil -u 1 show config

Kunnen jullie die misschien pasten?

[root@zfsguru ~]# mptutil -u 1 show adapter
mptutil: mpt_open: No such file or directory
[root@zfsguru ~]# mptutil -u 1 show config
mptutil: mpt_open: No such file or directory

[FireDrunk]

Mijn ZFS VM hangt al, en moet gereboot worden, maar dat kan pas als mijn Windows 7 VM klaar is.
Daarna zal ik even kijken.

[Verwijderd]

Ah met RDM heb je natuurlijk geen controle over de LSI controller waar je op zit. Dus dat lukt inderdaad niet Pirtkoei, foutje van mij.

@FireDrunk: die manpage is vet verouderd; vaag dat de nieuwe branches er niet bij staan? In elk geval boot 9-STABLE eens dan laat 'man mps' veel meer info en opties zien. Of het je helpt? Maar je kunt in elk geval debug enablen.

En nog een tip: druk af en toe eens op F5, om edits niet te missen.

[FireDrunk]

Uh, 9.0-CURRENT is toch vrij recent? of mis ik iets?
Oh wacht nu zie ik het, ze hebben de pagina gewoon gekopieerd...

[ Voor 41% gewijzigd door FireDrunk op 29-07-2012 15:50 ]

[Verwijderd]

9-CURRENT bestaat niet meer sinds 9.0-RC is gebranched, vanaf dat moment heette 'HEAD' weer '10-CURRENT). 9-STABLE staat er ook niet tussen. De manpage is in elk geval van de oude 'mps' driver met allerlei gebreken; niet degene die in ZFSguru zit. Die is veel nieuwer en door mensen van LSI zelf afgewerkt.

[FireDrunk]

Deze?
http://people.freebsd.org/~ken/lsi/mps_lsi.20120120.1.txt
http://people.freebsd.org/~ken/lsi/

Laatste versie is van 1-Feb-2012...


ZFSGuru SMART pagina: da1 (RDM)

Displaying SMART details for disk da1

#	SMART attribute	Flag	Current	Worst	Threshold	Failed	RAW value
[b]1	Raw_Read_Error_Rate	0x002f	100	100	051	-	2[/b]
2	Throughput_Performance	0x0026	252	252	000	-	0
3	Spin_Up_Time	0x0023	067	067	025	-	10035
4	Start_Stop_Count	0x0032	100	100	000	-	75
5	Reallocated_Sector_Ct	0x0033	252	252	010	-	0
7	Seek_Error_Rate	0x002e	252	252	051	-	0
8	Seek_Time_Performance	0x0024	252	252	015	-	0
9	Power_On_Hours	0x0032	100	100	000	-	1426
10	Spin_Retry_Count	0x0032	252	252	051	-	0
11	Calibration_Retry_Count	0x0032	252	252	000	-	0
12	Power_Cycle_Count	0x0032	100	100	000	-	61
181	Program_Fail_Cnt_Total	0x0022	100	100	000	-	688172
[b]191	G-Sense_Error_Rate	0x0022	100	100	000	-	6[/b]
192	Power-Off_Retract_Count	0x0022	252	252	000	-	0
194	Temperature_Celsius	0x0002	062	059	000	-	38 (Min/Max 19/41)
195	Hardware_ECC_Recovered	0x003a	100	100	000	-	0
196	Reallocated_Event_Count	0x0032	252	252	000	-	0
197	Current_Pending_Sector	0x0032	252	252	000	-	0
198	Offline_Uncorrectable	0x0030	252	252	000	-	0
199	UDMA_CRC_Error_Count	0x0036	200	200	000	-	0
[b]200	Multi_Zone_Error_Rate	0x002a	100	100	000	-	90[/b]
223	Load_Retry_Count	0x0032	252	252	000	-	0
225	Load_Cycle_Count	0x0032	100	100	000	-	80

[ Voor 119% gewijzigd door FireDrunk op 29-07-2012 15:57 ]

[Verwijderd]

Ja, en hier is de commit van de manpage naar 8-STABLE:
http://lists.freebsd.org/...2012-February/012918.html

Vanaf die datum zit de nieuwe mps driver dus in alle branches (8, 9 en 10) met -STABLE suffix.

[FireDrunk]

+No userland utility available (e.g.
+.Xr mptutil

Staat in de comments...

[Verwijderd]

Klopt ja. Moet zeggen dat ik die ook nog nooit gebruikt heb voor mijn LSI controllers.

Maar wellicht is die debugoptie in de driver nog het proberen waard. Je kunt tijdens het booten de /boot/loader.conf beïnvloeden door bij het boot menu voor [ESC] Escape to boot loader te kiezen. Dan doe je iets als:

set hw.mps.0.debug_level=0x0f
set hw.mps.1.debug_level=0x0f
boot

Ik denk 0x0f zonder " " tekens.

[ Voor 5% gewijzigd door Verwijderd op 29-07-2012 16:03 ]

[FireDrunk]

Zal dat zo eens proberen... Update 79 van 112

[ Voor 28% gewijzigd door FireDrunk op 29-07-2012 16:04 ]

[Verwijderd]

Ja doe maar rustig aan hoor, ik hoor het wel. Ik hoop alleen dat ik dat gedonder met FreeBSD+ESXi eens kan localiseren. Waar zit het probleem, moeten de BSD devs iets doen, is het een ESXi probleem? etc.

We kunnen misschien wel concluderen dat ESXi + FreeBSD wellicht niet de meest compatible combinatie is. Maar dat vind ik een gemakkelijke uitweg voor iets dat gewoon zou moeten werken en in het verleden ook gewoon stabiel gewerkt heeft naar mijn weten?

Eigenlijk is dit wel een goed argument tegen virtualisatie. Doordat je setup complexer wordt en je dingen doet (combinaties van configuraties/technologie) die niet vaak geprobeerd worden, ben je in feite een testpiloot. Kleine probleempjes hier en daar kunnen er voor zorgen dat de 'magie' niet werkt. Die kans is natuurlijk kleiner op een zo kaal/simpel mogelijk systeem zonder virtualisatietechnieken.

Aan de andere kant is virtualisatie helemaal gaaf, als het maar allemaal goed werkt en liefst nog snel ook. Maar wel in die volgorde.

[ Voor 39% gewijzigd door Verwijderd op 29-07-2012 16:16 ]

[FireDrunk]

Mja, dat zou je zeggen ja. Als ik zo op internet lees, zijn er minder problemen met 8.2 dan met 9.0.

[Pirtkoei]

Ik heb de gevraagde debug levels opgehoogd, maar kan in de system log geen extra info terugvinden.
Ook in /var/log/ vind ik geen info...

[Verwijderd]

Die zie je als kernel messages. dus op je console. Als je grafische console hebt zie je die niet (tenzij je control+alt+F1 drukt, alt+F3 om weer terug te gaan). Je kunt via commando 'dmesg' proberen dat print de meest recente kernel messages.

[Pirtkoei]

Dan heb ik niet meer informatie voor je want in de kernel massages komt niet meer terug, alleen continue die "block size 0".

[Verwijderd]

En als je uitvoert: sysctl hw.mps.1.debug_level
Krijg je dan ook de waarde 0x0f te zien? Misschien doe ik het verkeerd, je kunt ook eens 0x01, 0x02, 0x04 of 0x08 proberen, maar volgens mij klopt het zo omdat 0x0f alle vier opties gecombineerd zou moeten zijn.

[Pirtkoei]

[root@zfsguru ~]# sysctl hw.mps.1.debug_level
sysctl: unknown oid 'hw.mps.1.debug_level'

Dus als ik het goed begrijp is het debug level helemaal niet geset.

[Verwijderd]

Ehm, ben ik nu in de war? Jullie gebruiken toch RDM om disks door te geven aan ZFSguru? Dan krijg je toch de echte controller niet te zien in ZFSguru, alleen een geëmuleerde controller net als virtualbox dat doet? Ik dacht dat je alleen met vt-d of PCI passthrough de echte controller zou zien.

Of is het zo dat de geëmuleerde controller van ESXi een LSI controller is, maar dat dus wel anders is dan de fysieke controller. Kan iemand me invullen want het wordt zo erg verwarrend.

En Pirtkoei, doe dit eens:
sysctl hw.mps
sysctl hw.mpt

Krijg je geen output, dan heb je geen actieve LSI controllers op dat OS. Je disks komen dan van een andere controller vandaan. Krijg je wel output, bijvoorbeeld mpt, dan kun je kijken of je daar iets van debug kunt terugvinden.

[FireDrunk]

ESXi emuleert een LSI 1068E als je voor LSI Logic SAS kiest. Voor die controller kan je dus gewoon de LSI driver gebruiken.

Dus het is:

Disk -> Onboard SATA Controller -> RDM -> Virtuele LSI Logic SAS -> FreeBSD Driver -> Pasthru Disk -> ZFS

[ Voor 33% gewijzigd door FireDrunk op 29-07-2012 17:00 ]

[Pirtkoei]

[ssh@zfsguru /home/ssh]$ sysctl hw.mps
[ssh@zfsguru /home/ssh]$ sysctl hw.mpt
sysctl: unknown oid 'hw.mpt'

Uit de kernellog haal ik:

code:

mpt0: <LSILogic SAS/SATA Adapter> port 0x4000-0x40ff mem 0xd2410000-0xd2413fff,0xd2400000-0xd240ffff irq 18 at device 0.0 on pci3
mpt0: MPI Version=1.5.0.0

[FireDrunk]

Het valt onder dev

sysctl -a | grep mpt levert:

dev.mpt.0 op.

WOOOOW
TIP: Doe *NIET* sysctl dev.mpt.0.debug = 0x0f.
Je console flood KOMPLEET over, en toen hing de VM


Wacht, wat ik me nu ook bedenk, is dat met hw.mpt die MSI/MSI-X dus helemaal niet uitgezet word!
Wel dus, het is een globale instelling, en niet een driver setting.

[ Voor 81% gewijzigd door FireDrunk op 29-07-2012 17:28 ]

[Verwijderd]

Klopt ja, in elk geval voor mps heb je ook een mps-specifieke setting zoals in de nieuwe manpage valt te lezen. Maar je kunt in plaats van 0x0f eens beginnen met 0x01 of 02 of 04 of 08..... want 0f is alle vier tegelijk.

[FireDrunk]

Zucht, elke keer als de VM vastloopt en ik hem moet resetten, zijn mijn .vmx files leeg... Vreemd gedrag...
(geen idee of het aan ESXi ligt of aan ZFS...)

[Verwijderd]

Wat houdt dat precies in, .vmx files? Toch niet de filecontainers van de disks hoop ik?

Ah de configfile. Hm dat is wel balen. Maar dat lijkt me een bug van ESXi?

[ Voor 30% gewijzigd door Verwijderd op 29-07-2012 17:44 ]

[FireDrunk]

Nee, de config van de VM zelf (aantal CPU's, geheugen enzo).

[sloth]

Verwijderd schreef op zondag 29 juli 2012 @ 16:14:
Ja doe maar rustig aan hoor, ik hoor het wel. Ik hoop alleen dat ik dat gedonder met FreeBSD+ESXi eens kan localiseren. Waar zit het probleem, moeten de BSD devs iets doen, is het een ESXi probleem? etc.

We kunnen misschien wel concluderen dat ESXi + FreeBSD wellicht niet de meest compatible combinatie is. Maar dat vind ik een gemakkelijke uitweg voor iets dat gewoon zou moeten werken en in het verleden ook gewoon stabiel gewerkt heeft naar mijn weten?

Eigenlijk is dit wel een goed argument tegen virtualisatie. Doordat je setup complexer wordt en je dingen doet (combinaties van configuraties/technologie) die niet vaak geprobeerd worden, ben je in feite een testpiloot. Kleine probleempjes hier en daar kunnen er voor zorgen dat de 'magie' niet werkt. Die kans is natuurlijk kleiner op een zo kaal/simpel mogelijk systeem zonder virtualisatietechnieken.

Aan de andere kant is virtualisatie helemaal gaaf, als het maar allemaal goed werkt en liefst nog snel ook. Maar wel in die volgorde.

Ik hoop met je mee dat dit probleem voor eens en altijd uitgeklaard kan worden.

Het argument dat je gehele setup complexer wordt klopt, maar stel volgende situatie:

Je wil een NAS, maar je hebt al een ESXi server. Het is dan zowel goedkoper in aanschaf als zuiniger in verbruik om dit te doen d.m.v. een guest (ZFSguru uiteraard ) en hier een of meerdere disks via RDM aan te geven, dan een nieuwe setup te kopen.

Dit is waar ik op dit ogenblik ook mee zit, en vandaar ook ZFS i.c.m. ESXi en RDM zonder VT-D.
Je wil namelijk wel dat je over basisfunctionaliteiten als SMART en spindown kan beschikken, en dat je door de extra virtualisatielaag geen toegevingen op het gebied van het veiligstellen van je data moet doen.

[ Voor 6% gewijzigd door sloth op 29-07-2012 18:09 ]

[Phasis]

Nu 2x binnen een uur hangt me ZFSguru Virtual Machine compleet met ZFSguru 0.2 beta 5
Enige wat ik zie is:

(da5:mpt1:0:4:0): lost device - 0 outstanding, refs 1

En da5 is de schijf die ik gister binnen heb gekregen ivm garantie stukke schijf.
Het lijkt mij alleen dat die ZFSguru niet moet laten crashen. ZFSguru draait op een andere pool.

Had gister na het re-silveren geen errors pool stond weer netjes online.
Daarna even een S.M.A.R.T. scan gedaan alle disks: healthy
Disk had er 7 uur opzitten

En nu weer tikken:
zpool status tank
pool: tank
state: DEGRADED
status: One or more devices could not be opened. Sufficient replicas exist for
the pool to continue functioning in a degraded state.
action: Attach the missing device and online it using 'zpool online'.
see: http://www.sun.com/msg/ZFS-8000-2Q
scan: resilvered 781G in 5h14m with 0 errors on Sat Jul 28 15:21:35 2012
config:

NAME STATE READ WRITE CKSUM
tank DEGRADED 0 0 0
raidz1-0 DEGRADED 0 0 0
gpt/disk1 ONLINE 0 0 0
gpt/disk2 ONLINE 0 0 0
2623636407220678801 UNAVAIL 0 0 0 was /dev/gpt/disk3
gpt/disk4 ONLINE 0 0 0
gpt/disk5 ONLINE 0 0 0

[ Voor 61% gewijzigd door Phasis op 29-07-2012 18:24 ]

[FireDrunk]

Ik vind dit toch wel een beetje zorgelijk...

CiPHER zou je toch kunnen kijken naar die CLANG kernel, want ik heb mijn VM gisteravond gesloopt.
Ik word er een beetje moedeloos van... overal staat dat je freebsd-update moet gebruiken om te updaten. Maar dat werkt niet...

Ik heb de CLANG fout kunnen omzeilen en vmxnet3.ko word netjes gecompiled nu, maar ik kan hem niet openen, dus ik gok dat deze met CLANG gecompiled is, en dat ik hem daarom niet kan laden (kldload vmxnet3.ko geeft een invalid exe format error).

Dus ik dacht, weet je wat, ik probeer open-vm-tools eens, die schijnen zelfs een PVSCSI driver te hebben.
pkg_add -r open-vm-tools-nox11.

open-vm-tools requires >glib 2.6.0

pkg_info | grep glib

glib1.2 installed....
glib2.28 installed...

[ Voor 102% gewijzigd door FireDrunk op 29-07-2012 19:01 ]

[sloth]

sloth schreef op donderdag 26 juli 2012 @ 14:13:
Ik ben me wat aan het inlezen over ZFS, copies en data bescherming.

Begrijp ik het volgende goed?

Indien je uitgaat van een single disk opstelling is deze disk je vdev. Op deze vdev kan je een zpool creëren, met per zpool zoveel filesystems als je wilt. Per filesystem kan je dan zaken als copies=x, compression=x etc.meegeven. De gebruikte ruimte per filesystem wordt pas ingenomen nadat je er data op geplaatst hebt.

Een voorbeeld:

Een 2TB disk. Dit is de vdev.
Op deze vdev maak je een pool /test
Zpool /test heeft vervolgens volgende filesystems:

• FS /test/belangrijk (copies=3)
• FS /test/share
• FS /test/logs (compression=gzip)

Op /test/belangrijk plaats je backups, en hier worden telkens 3 copies van gemaakt verspreid over de hele vdev. Indien je 10GB plaatst ben je dus ook 30GB van de plaats op je vdev kwijt.

/test/share zijn mediabestanden. Deze nemen gewoon dezelfde plaats in als altijd. 50GB blijft 50GB.

Ik plaats wat grote logbestanden van 1GB op /test/logs. Door de gzip compressie nemen ze slechts 200MB capaciteit in.

In totaal heb je dan 61GB (10+50+1) aan data op je vdev geplaatst, die 82,2GB ruimte inneemt (30+50+0,2).

Kan iemand opheldering geven of het bovenstaande klopt?

[FireDrunk]

Ja dat klopt.

[Verwijderd]

FireDrunk schreef op zondag 29 juli 2012 @ 18:28:
[afbeelding]

Ik vind dit toch wel een beetje zorgelijk...

CiPHER zou je toch kunnen kijken naar die CLANG kernel, want ik heb mijn VM gisteravond gesloopt.
Ik word er een beetje moedeloos van... overal staat dat je freebsd-update moet gebruiken om te updaten. Maar dat werkt niet...

Ik heb de CLANG fout kunnen omzeilen en vmxnet3.ko word netjes gecompiled nu, maar ik kan hem niet openen, dus ik gok dat deze met CLANG gecompiled is, en dat ik hem daarom niet kan laden (kldload vmxnet3.ko geeft een invalid exe format error).

open-vm-tools heb ik ook als service beschikbaar. vm-vmware-drivers.

Maareuh:

overal staat dat je freebsd-update moet gebruiken om te updaten.

freebsd-update is een binary update mechanisme waarmee je van 9.0-RELEASE naar 9.1-RELEASE kunt. Je kunt de binary update niet gebruiken (voor zover ik weet) als je van 9-STABLE naar iets wilt updaten. Je moet van een release komen, en dat is in jouw geval niet zo. freebsd-update is een update voor het FreeBSD OS; niet voor de ports of wat dan ook. In feite upgrade je dan Windows 7 naar Windows 8 zeg maar; iets anders dan een programma upgraden. Er zou geen reden zijn om te updaten omdat 9-STABLE al de meest recente stabiele branch is.

Dus waarom moet je freebsd-update gebruiken?

Ik heb de CLANG fout kunnen omzeilen en vmxnet3.ko word netjes gecompiled nu, maar ik kan hem niet openen, dus ik gok dat deze met CLANG gecompiled is, en dat ik hem daarom niet kan laden (kldload vmxnet3.ko geeft een invalid exe format error).

Wordt gecompiled door hetzelfde systeem of hoe heb je dat dan gedaan? Want als je invalid exec format krijgt, dan heb je die kernel module niet met dezelfde kernel gecompileerd.

Maar geen probleem; ga ik een CLANG kernel bakken en open-vm-tools releasen. Misschien kom je daar verder mee? Als straks bekend is hoe je VMXNET3 op een makkelijke manier kunt krijgen op FreeBSD is je moeite hopelijk niet voor niets geweest.

[FireDrunk]

De CLANG fout was op te lossen door kmod tooling opnieuw te compilen, kan even exacte commando niet vinden.

cd /usr/src/share/mk
make install

VMXNET3.ko compilen was geen probleem met deze handleiding:
http://ogris.de/vmware/


VMXNET3.ko maakt het gebruik van ESXi leuk.

Ook dit:
http://www.linux-kvm.org/page/BSD

Is veelbelovend om ipv ESXi KVM te gebruiken

[ Voor 35% gewijzigd door FireDrunk op 30-07-2012 12:36 ]

[Verwijderd]

Je doet cd /usr/src, maar hoe kom je aan de sourcecode? Of gebruik je sourcecode die helemaal niet bij je systeem thuishoort; dan is het logisch dat het niet werkt. Als jij sources in /usr/src moet hebben, zul je moeten wachten op de system-sourcecode service die je de exacte sourcecode geeft die bij die system image hoort. Anders kun je natuurlijk porblemen krijgen omdat je dingen gaat compileren voor in feite een ander systeem.

KVM ken ik niet zo. Is natuurlijk wel K dus je mag die zware QT4 toolkit erbij rekenen. Maar ik kan overwegen die ook te compileren. Maar KVM en Virtualbox lijken denk ik erg veel op elkaar?

Hopelijk kunnen we die VMXNET3 in elk geval fixen, zodat het ook weer op 9-STABLE werkt.

[Phasis]

FireDrunk: waarom wil je VMXNET3 gebruiken ipv E1000. Is dit sneller icm met ESXi?

[nwagenaar]

Uhm.. KVM staat voor Kernel-based Virtual Machine en niet voor KDE Virtual Machine oid. Het is een hypervisor op (Linux) kernel niveau en ik zou dit toch wel een leuke aanwinst vinden voor ZFSGuru/FreeBSD.

[Verwijderd]

Doen we die er ook bij.

Extra services die ik nu bijna af heb:
X-vlc (vlc media player)
X-nvidia-drivers (nvidia drivers voor 3D acceleratie)
X-wine (windows API emulator)
vm-vmware-drivers

[nwagenaar]

Even voor de duidelijkheid: KVM is dus op kernel niveau, maakt gebruik van qemu en heeft standaard geen management tool. Het is (standaard) volledig CLI based.

Als je op zoek bent naar web-based management, de website van KVM heeft diverse links naar diverse management tools. Maar ik hoor met regelmaat de namen oVirt en ConVirt voorbij komen.

[FireDrunk]

oVirt is echt huge (Cloud enzo) virsh en virt-manager vind ik persoonlijk beter.

VMXNET3 is 10Gb... dus ja, het is 10x zo snel als E1000.

[Verwijderd]

@FireDrunk: een virtuele adapter hoeft toch geen vast limiet te hebben? Zo kan ik me herinneren een adapter die op 100 megabit verbinding maakte; maar omdat het een virtuele link was, was de echte snelheid gewoon CPU-bottlenecked. Volgens mij werkt virtio ook zo. Dat is een voordeel van PV drivers in elk geval.

Maargoed, als die driver maar werkt. Is het handig als je even snel de sourcecode stuur ofzo zodat je die vmxnet3 build nog eens kan proberen?

@nwagenaar: is er ook een web-interface voor KVM/QEMU? Zit te zoeken op deze pagina

[FireDrunk]

In het geval van paravirtualisatie heb je gelijk, maar een E1000 is geen geparavirtualiseerde adapter.

Over die source, dat is prima.

Over die webinterface, die wil ik anders wel bouwen?

[u_nix_we_all]

Verwijderd schreef op maandag 30 juli 2012 @ 13:32:
@FireDrunk: een virtuele adapter hoeft toch geen vast limiet te hebben? Zo kan ik me herinneren een adapter die op 100 megabit verbinding maakte; maar omdat het een virtuele link was, was de echte snelheid gewoon CPU-bottlenecked. Volgens mij werkt virtio ook zo. Dat is een voordeel van PV drivers in elk geval.

Theoretisch misschien, maar in de praktijk merk je dat performance heel erg kan verschillen tussen verschillende hosts, guests, driver versies, ge-emuleerde NIC's. Meestal ben je met de VMXNET3-driver het beste uit, maar er zijn ook platforms waar die niet goed werkt (OpenIndiana) en dan ben je vaak beter uit met een e1000 intel emulatie.

@nwagenaar: is er ook een web-interface voor KVM/QEMU? Zit te zoeken op deze pagina

Je kunt eens naar CloudMin kijken (soort van webmin voor KVM). Werkt vrij aardig. Nadeel is wel dat die niet compatible is met lib-virt gebaseerde oplossingen zoals virsh omdat ze de configs anders beheren. Voordeel van lib-virt is dat deze met verschillende hypervisors overweg kan, dus ook voor beheer van VirtualBox en VMWare/ESX guests gebruikt an worden.

[nwagenaar]

De reden waarom KVM een betere oplossing zou zijn ten opzichte van VirtualBox is de (mogelijk) betere performance (kernel niveau ipv applicatie niveau). Maar ik heb zelf weinig of geen ervaring met KVM, persoonlijk gebruik ik voornamelijk VMWare ESXi/XenServer (Enterprise) en VirtualBox (Privé).

Ik kan vanavond anders even KVM met het handje installeren en wat interfaces uitproberen. Het mooiste is natuurlijk een lightweight management-tool zoals phpvirtualbox.

[victorb]

is ZFS versie 28 al goed te gebruiken? of kan je beter v15 gebruiken op dit moment met zfsguru?

[FireDrunk]

Ik heb al redelijk wat ervaring met KVM, en wat daar bijvoorbeeld rete snel is, is VirtIO. Virtualbox ondersteund het wel, maar dan is het niet op kernel niveau volgens mij.

Voorbeeld:

Stel je hebt 2 VirtualBox VM's, ookal kunnen ze op kernel niveau bij VirtIO, ze moeten eerst door VirtualBox heen qua virtualisatie. Bij KVM blijft dit allemaal in de kernel.

Ik heb onder Ubuntu met VirtIO wel eens 17Gb gemeten qua network traffic.

[Verwijderd]

Gewoon 28/5 gebruiken tenzij je compatible wilt blijven met oudere ZFS platforms. Nu vrijwel alles naar v28 over is gegaan is dit niet meer zo'n issue. Maar oudere BSD versies (8.2) zitten bijvoorbeeld nog op versie 15. Dat is ook de enige reden dat ZFSguru dit als standaard heeft ingesteld. Je kunt namelijk altijd upgraden; maar nooit meer downgraden.

[FireDrunk]

overigens is lib-virt echt gigantisch vind ik, dus ik zou het jammer vinden als dat naar ZFSguru komt als enige webinterface. Liever is meer lightweight.

[Verwijderd]

@nwagenaar: http://www.phoronix.com/s...nux_kvm_virtualbox4&num=2 laat wat benchmarks zien van iets oudere KVM versus Virtualbox. Ik kan nog niet snel ontdekken dat er een performancevoordeel ligt bij KVM?

@FireDrunk: wat ook kan is packagen met verschillende interfaces waar je uit kunt kiezen. Desnoods meerdere services, eentje met X frontend en de ander met Y frontend als die inderdaad zo zwaar zijn.

Meen je serieus dat je een web-interface wilt gaan ontwikkelen? Dat lijkt me best veel werk en vrij moeilijk, eerlijk gezegd. Dat gezegd zou het prachtig zijn als je een mooie web-interface kunt maken. Al kun je er alleen basic dingen mee; dat is vaak al supernuttig.

[FireDrunk]

Tja, als dat zo is, heb ik ook geen bezwaar tegen VirtualBox, Ik ken Virtualbox alleen van desktop, en daar was het altijd een stuk trager dan bijvoorbeeld VMWare Workstation voor mijn gevoel. En op server gebied wint/won ESXi. Dus ik vraag me af waarom KVM zo slecht scoort?

Overigens:
Ze hebben kernel 2.6.35 gebruikt... Das oud...

[ Voor 10% gewijzigd door FireDrunk op 30-07-2012 14:10 ]

[nwagenaar]

Omdat die link van meer dan 1,5 jaar geleden is, in die tijd zijn er behoorlijk veel aanpassingen gemaakt op gebied van performance en stabiliteit. Deze is wat meer recenter en laat de verbeteringen wat beter zien: http://www.phoronix.com/s...=ubuntu_1110_xenkvm&num=2

TL;DR:

Well, to not much surprise, Linux KVM was the fastest means of virtualization when looking at the compute performance (single and multi-threaded) and disk workloads. The Kernel-based Virtual Machine was performing very well with hardware-assisted virtualization on the Core i7 "Sandy Bridge" with Intel VT-x. KVM offered the fastest performance in all of the tests except for SQLite, where VirtualBox was the fastest but that is due to a bug. VirtualBox regularly was the second fastest virtualization method tested while Xen was generally in a distant last for its HVM virtualization.

[ Voor 51% gewijzigd door nwagenaar op 30-07-2012 14:12 ]

[Verwijderd]

@nwagenaar: thanks voor de link; daar komt KVM/QEMU er veel beter uit inderdaad. Zelfs indrukwekkend dicht bij bare metal!

Phoronix is ook geen autoriteit op het gebied van benchmarks hoor. Bijvoorbeeld; hij weet zelf niet waarom de één lager scoort dan de ander. Benchmarks hebben eigenlijk pas nut als je exact weet wat je test en de uitslag ook begrijpt omdat je die kan rijmen met sterke punten van de één versus de ander. Phoronix zet gewoon zijn script aan en dumpt de plaatjes op die site.

Maargoed, ik heb juist gehoord dat Virtualbox erg dicht bij de prestaties van VMware komt. Zoiets staat ook in de wikipedia-pagina geloof ik.

Wat ik wel eens kan doen is om de ZFSguru build scripts proberen te draaien op Virtualbox, QEMU, VMware workstation, ESXi en ooit misschien ook Xen. En natuurlijk bare metal zonder virtualisatie. Dan krijgen we wel een aardig idee van CPU-performance en overhead. Maar zaken als netwerk en disk I/O zijn weer andere gebieden om virtualisatietechnieken te onderscheiden. Maar zo'n test is wel leuk ja.

Nu eerst maar eens die ZFSguru services af krijgen.

[ Voor 6% gewijzigd door Verwijderd op 30-07-2012 14:14 ]

[FireDrunk]

CiPHER wat jij wil is op zich een goed plan, maar kan pas goed werken als je VMXNET3/PVSCSI tegenover VirtIO zet. Anders is de vergelijking krom.

[Verwijderd]

Mijn test gebruikt overigens geen disk I/O of netwerk. Alles gebeurt in tmpfs. Alleen in het begin wordt via NFS zaken gekopiëerd (distfiles) maar dat is niet zo performance-kritiek (1 minuut op 7 uur ofzo).

Die die test kan ik al doen; alleen het testen van disk I/O en netwerk I/O is ingewikkelder en hangt natuurlijk extreem af welke driver je gebruikt hiervoor. VMXNET3 zou helemaal te gek zijn als we dat werkend kunnen krijgen!

[FireDrunk]

Als jij die CLANG kernel regelt, ga ik zsm aan de klus
Trouwens, als jij zegt dat het aan die source tree ligt, vraag ik me af of er wel CLANG nodig is...

[ Voor 46% gewijzigd door FireDrunk op 30-07-2012 15:19 ]

[Verwijderd]

Zal ik eerst die sourcecode service dan maar fixen? Kun je dat eerst proberen.

[FireDrunk]

yes plz

Hier overigens een nog nieuwere test:
http://www.phoronix.com/s...1210_xenkvm_preview&num=2

[ Voor 86% gewijzigd door FireDrunk op 30-07-2012 15:23 ]

[victorb]

ZFSguru 0.2.0-beta6 pool benchmark
Pool : data (13.6T, 0% full)
Test size : 256 GiB
Data source : /dev/zero
Read throughput : 426.4 MB/s = 406.7 MiB/s
Write throughput: 350.8 MB/s = 334.5 MiB/s

ja hij draait!

Mijn eerste indruk is goed en het is allemaal overzichtelijk.

Ik heb helaas de 2e sata3 kabels vervangen in mijn machine want ik kreeg errors Denk maar even andere kabels bestellen.
________________________

Link aggregation
Not implemented. This feature planned for a future release.

bleh is dit wel handmatig in te stellen als ik de freebsd tutorials erbij zou pakken?

[ Voor 18% gewijzigd door victorb op 30-07-2012 15:38 ]

[Verwijderd]

Je kunt de cable errors zien op de Disks->SMART pagina. Bedenk dat dat getal nooit lager wordt. Dus als het gelijk blijft sinds vorige keer heb je geen (nieuwe) kabelfouten gehad.

Link aggregation kun je gewoon zelf doen nu. man lagg is een eerste begin. Daarna stel je je /etc/rc.conf in zoals uitgelegd in deze tutorial: http://www.cyberciti.biz/...ink-aggregation-trunking/
Alleen zou ik niet die enge 'vi' editor gebruiken maar gewoon 'ee' (easy editor). vi is een ramp voor beginners.

[ Voor 48% gewijzigd door Verwijderd op 30-07-2012 15:47 ]

[FireDrunk]

Nano FTW! (als editor)
pkg_add -r nano

[Verwijderd]

Kan ook ja, maar 'ee' is een goede aanrader omdat je met een menu werkt. Dat kennen mensen en is dus erg toegankelijk. Alleen wel jammer dat 'ee' eigenlijk niet onder Linux werkt; die 'aee' heeft niet dezelfde toetscombinaties en heeft bepaalde features niet die BSD wel heeft. Dat is wel weer jammer.

[FireDrunk]

Lukt het trouwens met die kernel?

[Verwijderd]

Nog niet mee bezig; eerst de sourcecode toch?
Probeer het gelijk netjes te doen via het script. Bijna klaar.
Update: aan het uploaden nu, weer twee nieuwe services klaar: system-portstree en system-sourcecode

[ Voor 31% gewijzigd door Verwijderd op 30-07-2012 16:52 ]

[FireDrunk]

Ohja,

[victorb]

Ik zit een beetje met zfsguru te klooien om te zien wat die wel en wat die niet kan. Nu denk ik nu er toch nog geen echte data op staat laat ik hem eens opstarten met 1 disc los gekoppelt. ZFSguru staat op de pool. Alleen met 1 disk los blijft die hangen voor het booten met zo een draaiende | / - \. Doe ik iets fout of is dit een bug?

[Verwijderd]

Draaiende | / - \ cursor is hij gewoon bezig. Hij hangt dus niet, het duurt gewoon langer. Bedenk dat het best moeilijk is om een mini ZFS engine in een klein bestand (512 bytes) te proppen. Al was boot2 volgens mij groter. Gevolg is dat de mini-engine er soms flink langer over kan doen om de juiste data te lokaliseren en in te lezen. Als hij er eenmaal doorheen is en de kernel boot, neemt de echte ZFS het over.

[ Voor 15% gewijzigd door Verwijderd op 30-07-2012 16:54 ]

[victorb]

CiPHER ik zal morgen proberen wat die doet als ik hem lang aan laat staan

Ik ga nano wel installeren dat werkt fijn en daar ben ik bekend mee. Gaat toch bestwel veel tijd allemaal in mijn fileserver zitten van de hw tot de software enz enz

[FireDrunk]

HOPPA!!!!!!!!!!

[Verwijderd]

Nu aan de slag met iperf!
(al voorgeïnstalleerd als het goed is?)

[FireDrunk]

Was nu even memory disk aan het benchen, daarmee haal ik 203MB/s vanaf mijn Ubuntu VM over NFS, dus dat is wel OK. Iperf is idd een goed idee, ga ik gelijk even doen.

Default settings: 4.36Gb

[ Voor 10% gewijzigd door FireDrunk op 30-07-2012 19:10 ]

[Verwijderd]

Ik neem aan dat vmxnet3 gewoon single-threaded CPU bottlenecked is? Dus hangt vooral van je turbo freq. af dan als je verder niets doet. Wat zie je qua CPU-belasting op de host?

[FireDrunk]

Veel, ik ga even een 2e vCPU aan het ding geven (iperf is multithreaded als je -P 2 doet)
Hmm, dat maakt het alleen maar slechter... Even kijken of ik wat kan optimaliseren...

Boosdoener is iperf onder Ubuntu, die trekt 8vCPU's dicht... beetje vreemd...

Ik ga een 2e ZFSGuru VM bouwen met VMXNET3, en dan even testen. 2B-Continued.

ZFSGuru < - > ZFSGuru haal ik ook maar 3Gbit.
Over NFS haal ik max 200MB/s. Niet veel, maar acceptabel.

[ Voor 76% gewijzigd door FireDrunk op 30-07-2012 20:12 ]

[nwagenaar]

Ondertussen ben ik bezig met qemu, kvm en libvirt. Mijn onbekendheid met FreeBSD speelt mij wat parten, maar ik ben eruit.

Je moet dus qemu-devel, kqemu-kmod-devel en libvirt handmatig compileren via de ports. Tenminste, dat hoop ik. Ik houd jullie op de hoogte

[Verwijderd]

Tip: installeer eerst de services system-sourcecode en system-portstree en ga dan pas dingen compileren.
Als je nu al dingen hebt geprobeerd, misschien eerst opnieuw installeren?

Je zult voor de kernel modules waarschijnlijk de sourcecode ook nodig hebben namelijk, en als je de portstree van de service gebruikt, heb je geen gezeik met versies die niet kloppen, omdat jouw portstree net iets nieuwer is.

[FireDrunk]

Als FreeBSD een fatsoenlijke KVM implementatie heeft *EN* we krijgen het voor elkaar om een mooie lightweight management console in te bouwen... Dan word het toch wel leuk om over te stappen
Dan hou ik mijn dual xeon wel voor mijn home lab shit, en ga ik over op ZFSGuru + ZFS + KVM
Dat word wel een tof project

Dan heb ik native ZFS + nice Infiniband support, en mijn 10Gb adapters gaan waarschijnlijk fatsoenlijk werken

[ Voor 15% gewijzigd door FireDrunk op 30-07-2012 21:23 ]

[nwagenaar]

Nou, tijdens mijn test met KVM (wat in feite qemu met de kqemu kernel module is) ben ik er achtergekomen dat de performance behoorlijk slecht is. Bovendien heeft libvirt keiharde verwijzingen naar de Linux kernel waardoor kvm/qemu ondersteuning wordt uitgeschakeld.

Wellicht dat het komt door een instelling, maar VirtualBox is toch vele malen sneller.