Het grote thuis-virtualisatie topic

[FREAKJAM]

Dat bevestigt mijn vermoeden. Ik wist dat ZFS on linux nu werd ondersteund door Proxmox, dus dat maakt het een en ander een stuk makkelijker inderdaad. Sindskort hebben ze ook Arch Linux templates en dat is ook positief.

Denk dat het gebruiken van LXC ipv VM's me wel wat winst gaat opleveren qua memory usage. Ook nog even nadenken hoe ik ZFS ga optuigen. De laatste ZFS releases voor Linux vind ik regelijk buggy en FreeNAS ben ik ook niet zo kapot van.

Aangezien ik toch de boel opnieuw ga optuigen wil ik Sophos UTM ook een kans geven. Nieuwe versie van pfSense met bootstrap gui komt er van de andere kant ook aan. Keuzes, keuzes.

[duiveltje666]

FREAKJAM schreef op donderdag 15 oktober 2015 @ 16:26:
Dat bevestigt mijn vermoeden. Ik wist dat ZFS on linux nu werd ondersteund door Proxmox, dus dat maakt het een en ander een stuk makkelijker inderdaad. Sindskort hebben ze ook Arch Linux templates en dat is ook positief.

Denk dat het gebruiken van LXC ipv VM's me wel wat winst gaat opleveren qua memory usage. Ook nog even nadenken hoe ik ZFS ga optuigen. De laatste ZFS releases voor Linux vind ik regelijk buggy en FreeNAS ben ik ook niet zo kapot van.

Aangezien ik toch de boel opnieuw ga optuigen wil ik Sophos UTM ook een kans geven. Nieuwe versie van pfSense met bootstrap gui komt er van de andere kant ook aan. Keuzes, keuzes.

Sterker nog :
Ik kan mijn controller "splitsen" (ASRock extreme mobo) , Prox wilde mijn ZFS pool importen ( lukte niet aangezien ik deze niet exported had in mn vorige VM)

Dus dat zou moeten werken , pfsense onder KVM moet ook gewoon werken , zelfs met Virtio NIC's

[ThinkPad]

Nog een mooie Ubuntu 14.04 LTS JeOS template gevonden: http://pqr.com/download/ubuntu-jeos

Bloedsnel en maar 80MB groot! Als het goed is zou je met 'apt-get' alles kunnen installeren wat je nodig hebt.

De appliance is geinstalleerd met een minimale set aan packages om zo alleen dat aan boord te hebben wat echt nodig. Daarmee is het klein, snel en heeft het een zo klein mogelijke Footprint en Attack Surface. Deze minimale installatie heet Just Enough OS (JeOS) en is met 'debootstrap' gemaakt. Daarmee is het slechts 80MB groot in plaats van de 500MB die de default minimale installatie van Ubuntu is. Meer informatie over hoe deze appliance gemaakt is staat op http://virtualappliances.eu.

Je kunt de .ovf in de .zip zo importeren, klik, klik, klaar.

[ Voor 59% gewijzigd door ThinkPad op 11-11-2015 07:29 ]

[CyBeR]

FREAKJAM schreef op donderdag 15 oktober 2015 @ 16:26:
Dat bevestigt mijn vermoeden. Ik wist dat ZFS on linux nu werd ondersteund door Proxmox, dus dat maakt het een en ander een stuk makkelijker inderdaad. Sindskort hebben ze ook Arch Linux templates en dat is ook positief.

Denk dat het gebruiken van LXC ipv VM's me wel wat winst gaat opleveren qua memory usage. Ook nog even nadenken hoe ik ZFS ga optuigen. De laatste ZFS releases voor Linux vind ik regelijk buggy en FreeNAS ben ik ook niet zo kapot van.

Aangezien ik toch de boel opnieuw ga optuigen wil ik Sophos UTM ook een kans geven. Nieuwe versie van pfSense met bootstrap gui komt er van de andere kant ook aan. Keuzes, keuzes.

Toch geen SmartOS?

[FREAKJAM]

CyBeR schreef op woensdag 11 november 2015 @ 17:20:
[...]


Toch geen SmartOS?

Post van alweer paar weken oud.. Ik vind RancherOS inmiddels ook vrij interessant. Ondersteunt ook ZFS + docker.

[CyBeR]

Als 't je om Docker gaat is dat zelfs een betere optie. SmartOS kan Docker containers draaien maar heeft daar eigenlijk wat extra infra voor nodig. RancherOS is er 100% op gebouwd. Wist niet dat 't ook zfs deed trouwens.

[M14]

Waar kun je nog een esxi 4.x installer iso vinden? Ik heb sinds een paar dagen een server waar ik wat mee wil experimenteren. Volgens de supported hardware guide van VMware moet ik versie 4.x hebben, maar deze kan ik niet als download op de VMware site vinden.

Ik heb hier de VMware support benaderd, verrassend genoeg werd ik opgebeld. De beste man wist mij te vertellen dat deze versie niet meer wordt gesupport en daardoor niet als download beschikbaar is. Hij gaf aan naar 'third party' websites te zoeken.

Uiteindelijk heb ik een paar downloads (Dell & IBM website) gevonden. 1 daarvan wilde booten, maar gaf een fout met installeren.

Wie kan mij hiermee verder helpen?

[Compizfox]

M14 schreef op dinsdag 17 november 2015 @ 18:31:
Waar kun je nog een esxi 4.x installer iso vinden? Ik heb sinds een paar dagen een server waar ik wat mee wil experimenteren. Volgens de supported hardware guide van VMware moet ik versie 4.x hebben, maar deze kan ik niet als download op de VMware site vinden.

Ik heb hier de VMware support benaderd, verrassend genoeg werd ik opgebeld. De beste man wist mij te vertellen dat deze versie niet meer wordt gesupport en daardoor niet als download beschikbaar is. Hij gaf aan naar 'third party' websites te zoeken.

Uiteindelijk heb ik een paar downloads (Dell & IBM website) gevonden. 1 daarvan wilde booten, maar gaf een fout met installeren.

Wie kan mij hiermee verder helpen?

Waarschijnlijk is die "Supported Hardware Guide" gewoon nooit meer bijgewerkt. Ik zou gewoon de laatste ESXi pakken, waarschijnlijk werkt dat gewoon.

[M14]

Ik heb geprobeerd om versie 6 te installeren, maar ook die gaat fout tijdens de installatie.

Op het moment heb ik Proxmox draaien, dat werkt opzich ook prima. In een ver verleden heb ik ESXi 3(.1?) ooit eens gebruikt, beheren van de netwerk interfaces vond ik daarbij beter / praktischer.

[FireDrunk]

Wat gaat er fout tijdens installatie?

[EdwinB]

M14 schreef op dinsdag 17 november 2015 @ 18:31:
Waar kun je nog een esxi 4.x installer iso vinden? Ik heb sinds een paar dagen een server waar ik wat mee wil experimenteren. Volgens de supported hardware guide van VMware moet ik versie 4.x hebben, maar deze kan ik niet als download op de VMware site vinden.

Ik heb hier de VMware support benaderd, verrassend genoeg werd ik opgebeld. De beste man wist mij te vertellen dat deze versie niet meer wordt gesupport en daardoor niet als download beschikbaar is. Hij gaf aan naar 'third party' websites te zoeken.

Uiteindelijk heb ik een paar downloads (Dell & IBM website) gevonden. 1 daarvan wilde booten, maar gaf een fout met installeren.

Wie kan mij hiermee verder helpen?

Ik heb nog wel een ISO van ESXi 4.1.0. Stuur maar even een DM als je deze nog nodig hebt. Heb je trouwens wel versie 5 geprobeerd? Dat iets niet op de HCL staat wil lang niet altijd zeggen dat het niet werkt namelijk.

[M14]

Vanavond was ik in de gelegenheid om eea te proberen. Wanneer ik ESXi 4.1.0 (iso van Edwin) probeer te installeren:

"Unable to find the system image to install. This is due to the image not being mounted correctly...."
Dit heb ik verschillende keren geprobeerd met diverse usbsticks.

ESXi 5.1.0 (had ik vanavond nog ergens gevonden) bleef hangen tijdens 'Loading ESXi installer'. Ik heb ook deze opnieuw geprobeerd, vooralsnog lijkt de installatie goed te gaan.

[FireDrunk]

Probeer eens via IPMI te installeren (als je dat hebt)

Anders kan je ook een ESXi installatie maken in een Virtualbox VM op je desktop, op een USB stick die je doorgeeft.

Daarna prik je de USB stick gewoon over.

[ Voor 69% gewijzigd door FireDrunk op 19-11-2015 08:00 ]

[M14]

Het is uiteindelijk 2 uur geworden, maar het is gelukt . De installatie van 5.1.0 ging na die keer opnieuw proberen goed, maar het bleek dat die maar met 32GB ram overweg kan terwijl er wat meer in zit. Vervolgens 5.5.x geïnstalleerd en dat ging in 1x goed .

FireDrunk schreef op donderdag 19 november 2015 @ 07:59:
Probeer eens via IPMI te installeren (als je dat hebt)

Anders kan je ook een ESXi installatie maken in een Virtualbox VM op je desktop, op een USB stick die je doorgeeft.

Daarna prik je de USB stick gewoon over.

Is die installatie dan niet hardware afhankelijk? Is het bijvoorbeeld ook mogelijk om een kopie van de geïnstalleerde usbstick te maken en die in een andere machine te duwen?

[FireDrunk]

Nee, een ESXi installatie is niet hardware afhankelijk. Hij registreert wel, welke NIC als management nic gebruikt moet worden. Dus als je een installatie op een vreemd systeem boot, kan het zijn dat je wat netwerk configuratie moet doen op de console.

[CurlyMo]

Om me toch maar netjes aan de regels te houden mijn ESXi vraag hier.

Ik heb sinds afgelopen weekend ESXi 6 draaien met de volgende setup:

#	Product	Prijs	Subtotaal
1	Intel Core i5-4460 Boxed	€ 178,50	€ 178,50
1	ASRock Z87E-ITX	€ 0,-	€ 0,-
4	WD Red SATA 6 Gb/s WD20EFRX, 2TB	€ 90,-	€ 360,-
1	Fractal Design Node 304 Zwart	€ 77,50	€ 77,50
1	WD Elements Desktop 1TB Zwart	€ 89,99	€ 89,99
1	Cooler Master Hyper 212 EVO	€ 28,86	€ 28,86
2	Kingston HyperX Fury blu HX313C9FK2/8	€ 43,95	€ 87,90
1	Delock MiniPCIe I/O PCIe full size 2 x SATA 6 Gb/s	€ 19,51	€ 19,51
1	Seasonic G-Serie 360Watt	€ 58,95	€ 58,95
2	Crucial MX100 128GB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 901,21

Vervolgens de volgende VM's gemaakt:
1. FreeBSD ZFS Storage
2. FreeBSD Ontwikkel werk
3. Ubuntu Download

Nu merkte ik al snel dat het compileren van C programma's aanmerking langzamer is geworden dan native FreeBSD. Daarna een Ubuntu VM opgezet voor ontwikkel werk en die werkt met dezelfde instellingen (beide GCC-4.9 en G++-4.9 en beide NFS) wel op de snelheid zoals ik zou verwachten. Ubuntu is zelfs sneller met 1GB RAM t.o.v. 4GB bij FreeBSD.

Nu las ik op het FreeNAS forum dat meer mensen hier last van hebben. Herkennen jullie dit en is er wat aan te doen? Al mijn cross-compilers zijn namelijk gemaakt op FreeBSD net als allerlei andere deployment scripts.

Zie ook https://forums.freenas.or...network-performance.9632/

[FireDrunk]

Heb je het VM Guest OS Type op FreeBSD 64bit gezet onder ESXi?

[CurlyMo]

Ja

[FireDrunk]

Als je daadwerkelijk aan het compilen bent, zie je dan veel IOwait?
En hoe ziet je datastore configuratie er uit? De VM('s) draaien lokaal via VMFS op de twee SSD's uit je RML?

PS: dat verhaal wat je linkt ligt heel erg aan de adapter die je gebruikt. Probeer VMXNET3 eens (moet je wel even wat .conf wijzigingen doen).

[ Voor 29% gewijzigd door FireDrunk op 17-08-2016 16:25 ]

[CurlyMo]

De IOwait moet ik even checken.

De datastores incl. de virtual disks staan nu nog op één SSD, de broncode staat op mijn NAS VM via intern via NFS worden gemount in de compilatie VM.

[FireDrunk]

Hmm, nfs async mounten? Groot verschil met Linux is dat in de recente versies van veel Linux distro's NFS4 de default is. Scheelt best in performance. FreeBSD doet volgens mij nog geen NFS4(.1)

[ Voor 86% gewijzigd door FireDrunk op 17-08-2016 17:37 ]

[d1ng]

FireDrunk schreef op woensdag 17 augustus 2016 @ 17:36:
FreeBSD doet volgens mij nog geen NFS4(.1)

Hoe kom je daarbij?
https://www.freebsd.org/c...SD+10.3-RELEASE+and+Ports

[FireDrunk]

I stand corrected, ik doelde meer op "by-default". Je moet onder BSD dus standaard de nfsv4 optie meegeven.

[CurlyMo]

Als het traag begint te worden in FreeBSD zie ik dit in top:

code:

54118 root          1  20    0 85400K 72060K newnfs  2   0:01   0.59% ld.bfd
54123 root          1  20    0 85400K 71556K newnfs  1   0:01   0.39% ld.bfd
54062 root          1  20    0 85400K 66588K newnfs  1   0:01   0.20% ld.bfd
54127 root          1  20    0 85400K 71556K newnfs  2   0:01   0.20% ld.bfd

NFS4 aangeslingerd maar geen verschil. Waar vind ik die IOwait data?

[ Voor 8% gewijzigd door CurlyMo op 17-08-2016 20:45 ]

[FireDrunk]

Onder Linux heet het WA:

top - 22:51:18 up 1 day, 12:59,  1 user,  load average: 0.41, 0.40, 0.33
Tasks: 1485 total,   1 running, 1484 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.2 us,  0.2 sy,  0.0 ni, 99.2 id,  [u][b]0.4 wa[/b][/u],  0.0 hi,  0.0 si,  0.0 st

Volgens mij is top onder BSD niet anders.

http://bencane.com/2012/0...ng-high-io-wait-in-linux/

[Compizfox]

FireDrunk schreef op woensdag 17 augustus 2016 @ 22:54:
Onder Linux heet het WA:

top - 22:51:18 up 1 day, 12:59,  1 user,  load average: 0.41, 0.40, 0.33
Tasks: 1485 total,   1 running, 1484 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.2 us,  0.2 sy,  0.0 ni, 99.2 id,  [u][b]0.4 wa[/b][/u],  0.0 hi,  0.0 si,  0.0 st

Volgens mij is top onder BSD niet anders.

http://bencane.com/2012/0...ng-high-io-wait-in-linux/

Top in FreeBSD is zeker wel anders.

Zoiets heb ik hier onder FreeBSD:

last pid: 11967;  load averages:  0.12,  0.23,  0.29                                                                                 up 3+09:05:40  23:41:44
51 processes:  1 running, 50 sleeping
CPU:  0.1% user,  0.1% nice,  0.0% system,  0.0% interrupt, 99.8% idle
Mem: 23M Active, 1539M Inact, 10G Wired, 1236M Buf, 153M Free
ARC: 8803M Total, 5601M MFU, 2329M MRU, 160K Anon, 114M Header, 760M Other
Swap: 2048M Total, 98M Used, 1950M Free, 4% Inuse

[FireDrunk]

Hmm, geen WA... Dat zuigt. Dan weet je dus niet of apps op IO zitten te wachten of op CPU als je systeem druk is.

[CAPSLOCK2000]

Volgens mij doe je dat onder BSD met systat, "systat -vmstat" IIRC.

[ppl]

Je kunt ook dtrace voor dit soort zaken gebruiken (iets wat standaard al in FreeBSD zit).

Voor de hand liggende vraag maar heb je ook de VMware Tools in je FreeBSD vm geïnstalleerd? Weet je zeker dat je met de echte GCC in FreeBSD werkt en niet stiekem via iets als LLVM? Ik ben op dit vlak even de actualiteit kwijt maar er was destijds sprake van het vervangen van GCC door LLVM.

[ Voor 62% gewijzigd door ppl op 18-08-2016 21:00 ]

[CurlyMo]

CAPSLOCK2000 schreef op donderdag 18 augustus 2016 @ 00:36:
Volgens mij doe je dat onder BSD met systat, "systat -vmstat" IIRC.

Ik weet niet waar ik naar moet kijken, maar dit is de output tijdens het linken:

code:

    3 users    Load  0.74  0.38  0.24                  Aug 18 21:16

Mem:KB    REAL            VIRTUAL                       VN PAGER   SWAP PAGER
        Tot   Share      Tot    Share    Free           in   out     in   out
Act  133128    9716  1102684    11164 9268508  count
All  141616   11964  1146492    39768          pages
Proc:                                                            Interrupts
  r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt        ioflt  2041 total
             38      8454  13k  26k 1115   44  11k     87 cow         atkbd0 1
                                                    10913 zfod        fdc0 6
10.2%Sys   0.7%Intr  2.2%User  0.0%Nice 86.9%Idle         ozfod       ata1 15
|    |    |    |    |    |    |    |    |    |           %ozfod     6 mpt0 17
=====>>                                                   daefr   231 cpu0:timer
                                       193 dtbuf      473 prcfr  1109 vmx0 256
Namei     Name-cache   Dir-cache    344510 desvn    12224 totfr   218 cpu3:timer
   Calls    hits   %    hits   %     73598 numvn          react   228 cpu2:timer
    9141    9038  99                 54843 frevn          pdwak   249 cpu1:timer
                                                       50 pdpgs
Disks   da0   cd0 pass0 pass1                             intrn
KB/t  19.31  0.00  0.00  0.00                     1970732 wire
tps       6     0     0     0                       87172 act
MB/s   0.11  0.00  0.00  0.00                     4633320 inact
%busy     0     0     0     0                        4620 cache
                                                  9263888 free
                                                  1510272 buf

ppl schreef op donderdag 18 augustus 2016 @ 20:57:
Voor de hand liggende vraag maar heb je ook de VMware Tools in je FreeBSD vm geïnstalleerd?

Nee, maar ik ging er vanuit dat dit alleen nodig is voor drivers niet voor performance.

Weet je zeker dat je met de echte GCC in FreeBSD werkt en niet stiekem via iets als LLVM? Ik ben op dit vlak even de actualiteit kwijt maar er was destijds sprake van het vervangen van GCC door LLVM.

Het gaat hier onder andere over cross-compilen, dus dat is vrij zeker GCC GCC werd in FreeBSD zelf vervangen door CLANG.

code:

-- The C compiler identification is GNU 4.9.3
-- The CXX compiler identification is GNU 4.9.3
-- Check for working C compiler: /data/x-tools/arm-unknown-linux-gnueabihf/bin/arm-unknown-linux-gnueabihf-gcc
-- Check for working C compiler: /data/x-tools/arm-unknown-linux-gnueabihf/bin/arm-unknown-linux-gnueabihf-gcc -- works
-- Detecting C compiler ABI info
-- Detecting C compiler ABI info - done
-- Detecting C compile features
-- Detecting C compile features - done
-- Check for working CXX compiler: /data/x-tools/arm-unknown-linux-gnueabihf/bin/arm-unknown-linux-gnueabihf-g++
-- Check for working CXX compiler: /data/x-tools/arm-unknown-linux-gnueabihf/bin/arm-unknown-linux-gnueabihf-g++ -- works

[Compizfox]

CurlyMo schreef op donderdag 18 augustus 2016 @ 21:19:
[...]

Nee, maar ik ging er vanuit dat dit alleen nodig is voor drivers niet voor performance.

De VMware tools (of open-vm-tools) zijn o.a. voor ballooning, paravirtualisation drivers (vmxnet3, pvscsi), graceful shutdown, clock sync, filesystem quiescing (voor snapshots). Wel handig om te hebben dus.

[goarilla]

code:

iostat -h -x -w 1

Kijk naar svc_t en %b.
%b kan je wat vergelijken met wait, een percentage dat uitdrukt
hoeveel tijd er gewacht moet worden op data.

Terwijl svc_t een beetje het omgekeerde is: de hoeveelheid tijd een transactie inneemt
om te eindigen.

[ppl]

CurlyMo schreef op donderdag 18 augustus 2016 @ 21:19:
Nee, maar ik ging er vanuit dat dit alleen nodig is voor drivers niet voor performance.

Les nr 1 bij virtualisatie: die guest tools zijn absoluut niet alleen drivers. Ze zijn noodzakelijk voor een goede werking en ook goede performance van je vm. Als je ze kunt installeren dan ook altijd installeren. In dit geval kun je er voor kiezen om ofwel de officiële VMware Tools te installeren ofwel de (officiële) open source variant (open-vm-tools). Ik heb met de laatste betere ervaringen wat betreft UNIX/Linux systemen zoals FreeBSD., werkt net even wat sneller en stabieler.

Het gaat hier onder andere over cross-compilen, dus dat is vrij zeker GCC GCC werd in FreeBSD zelf vervangen door CLANG.

Dat bedoelde ik ook eigenlijk. Ze zijn naar LLVM/CLANG gestapt, iets wat wel meer doen maar niet iedereen. Daarom is het wel zo handig om dat ook even na te gaan. Check dan ook vooral je make instellingen want niet iedereen heeft ingesteld staan dat je alle threads die mogelijk zijn kunt gebruiken.

[CurlyMo]

goarilla schreef op vrijdag 19 augustus 2016 @ 12:11:

code:

iostat -h -x -w 1

Kijk naar svc_t en %b.
%b kan je wat vergelijken met wait, een percentage dat uitdrukt
hoeveel tijd er gewacht moet worden op data.

Terwijl svc_t een beetje het omgekeerde is: de hoeveelheid tijd een transactie inneemt
om te eindigen.

code:

                        extended device statistics
device     r/s   w/s    kr/s    kw/s qlen svc_t  %b
da0        0.0   0.0     0.0     0.0    0   0.0   0
cd0        0.0   0.0     0.0     0.0    0   0.0   0
pass0      0.0   0.0     0.0     0.0    0   0.0   0
pass1      0.0   0.0     0.0     0.0    0   0.0   0

Niks te zien hier. Let wel dat de data op een andere VM staat en via NFS wordt gedeeld.

Ondertussen ook open-vm-tools geïnstalleerd, maar de traagheid t.o.v. Ubuntu blijft.

[FireDrunk]

NFS mount al async gedaan?

[goarilla]

CurlyMo schreef op zaterdag 20 augustus 2016 @ 14:59:

Niks te zien hier. Let wel dat de data op een andere VM staat en via NFS wordt gedeeld.

Aah OK sorry, dan ben ik niet echt bij de les. Maar zoals FireDrunk al aanwijst misschien gebruikt
FreeBSD nog NFS3 en moet je dat misschien wat tunen (async, buffers tweaken en misschien proto=udp).
Network utilities en nfstat kunnen je hierbij helpen.

[HollowGamer]

Deze week wederom aan de slag geweest met QEMU (+ KVM) voor het testen van Windows 10 op een i5-6400 Skylake systeem met Arch op de laatste kernel.

Prestaties vallen nog tegen, weet niet of het de HDD (WD Black SATA3) is, een mount met barrier=0 lost het id.g.v. niet op.
Verder maak ik gebruik van QXL en Spice en nog wat tweaks hier en daar.

Mijn vermoeden gaat uit naar de GPU, aangezien Windows 10 daarin al wat meer op leunt dan zijn voortganger(s). Nu heb ik alleen geen ruimte meer voor het bijplaatsen van een GPU om deze toe te kennen aan de VM. Naam aan dat ik niet de interne Intel HD kan gebruiken? Zijn er andere mogelijkheden?

[FireDrunk]

Zit je via RDP op de bak, of kijk je via Spice? Want RDP is vele malen sneller dan een lokaal spice window.
GPU offloading naar die QXL zou ook juist vertragend kunnen werken, omdat die QXL videokaart volgens mij een 'fake' 3D kaart is die software rendering doet. Ik weet niet of er al een goede implementatie is van een vGPU die daadwerkelijk calls doorgeeft aan de lokale GPU (zoals VMware hem wel heeft).

[rolfkunst]

Beste mensen,
Ik weet niet of ik hier goed zit met mijn vraag, maar ik zou niet weten waar ik hem anders zou kunnen plaatsen.

Ik zit met het volgende probleem, maar ik ga eerst even wat voorgeschiedenis vertellen.

Ik ben sinds anderhalf jaar de trotse eigenaar van een Asrock rack c2550d4i. Deze wordt perfect door esxi 5.5 ondersteund. 16GB ram erin, sas controllertje van LSI erbij en 2x 1TB schijven in raid 1.

Dat heeft altijd zonder problemen gedraaid, tot 1 maand terug. Ik controleerde mijn mail die ochtend rond 10:30 en zag dat mijn telefoon de mail al sinds 7:00 uur niet meer had bijgewerkt. Een probleem dus. Nu heb ik een monitor in de meterkast hangen en toevallig was mijn vrouw ook nog thuis, dus ik bel haar op en vraag of ze de monitor even wil aanzetten, dat wilde ze wel even doen. Even later hoor ik een "Oohh, wat een mooie kleur!!" Ik wist meteen dat het mis was, een psod. Maar geen paniek, ik uitleggen dat ze de server even uit en aan moet zetten en de vm's worden vanzelf wel weer opgestart in de juiste volgorde met wat tussenpauze.

Na ca 30 minuten, nog altijd geen mail, maar nog altijd geen paniek, hij is niet de meest snelle server, dus we hebben nog even geduld. Na 1 uur nog altijd niets, nu begin ik me toch wat zorgen te maken. Nog maar even weer bellen met de vrouw, "no signal" geeft het scherm aan, zegt ze. Nu begin ik me nog meer zorgen te maken, "hij staat echt aan?" vraag ik nog. Ja, ik zie een blauw lampje voorop de kast, hij staat echt aan dus.

Ik heb het er voor die werkdag eerst maar bij gelaten en 's avonds gekeken wat er aan mankeert. Om een kort verhaal lang te maken, het bordje was echt helemaal dood. Alleen de ilo werkte nog naar behoren.

Daarom het bordje maar opgestuurd, ik had toch nog garantie. Binnen 2 weken krijgt 90% zijn product gerepareerd terug, mocht dat niet zo zijn dan krijg je binnen 3 weken een oplossing aangeboden, geld terug of een vervangend product.

Na een dag of 3 bevestiging dat het pakketje was aangekomen, en na 2 dagen de mail dat ze hem toch doorsturen naar een externe partij.
Na ca 4 weken kreeg ik precies dezelfde mail opnieuw, dus dat hij weer was doorgestuurd naar een externe partij. Nu begon ik me toch weer zorgen te maken. Daarom maar even gebeld, dit was inderdaad niet de bedoeling, en ik krijg zsm bericht dat ik de keuze krijg voor een vervangend product of erop te wachten. Die heb ik inderdaad gehad.

Ondertussen waren we ook op vakantie gegaan, en waar heb je dan tijd voor, om even na te denken of de huidige situatie nog aansluit bij mij mijn wensen en interesses. Na veel wikken en wegen blijkt dat dus niet meer zo te zijn. Ik heb inmiddels 2 kinderen, en die vreten tijd, dus om 's avonds of in het weekend lekker te prutsen aan mijn servertje, is er niet echt meer bij. Dus daarom toch maar gekozen voor geld terug. Daarvoor wil ik wel een nieuw bordje kopen, ook weer met veel geheugen en iets dergelijks, maar esx heb ik niet meer nodig, wel wil ik iets waarmee ik fatsoenlijk kan transcoden, want de 2550 doet dat gewoonweg niet!

Dus, waar komt het op neer, ik heb geen backup (jep, slecht, is ook maar voor mezelf)
En dan nu de vraag: Is er een mogelijkheid om van de disken de vmdk's te exporteren naar Windows zodat ik ze via vmware workstation nog een keer kan starten zodat ik alle benodigde info eraf kan halen?

Wat heb ik al geprobeerd: een vmfsdriver voor windows, zo'n java tooltje waarmee je de schijf via webdav kunt mounten, niet gelukt, hij geeft aan dat er geen esx installatie op de schijf aanwezig is.
VMWare workstation geïnstalleerd en daarop esx geïnstalleerd en daarna de fysieke schijf gekoppeld, ook geen succes.

[ Voor 4% gewijzigd door rolfkunst op 22-08-2016 12:38 ]

[ThinkPad]

Oftewel TL;DR: Hoe krijg je de VMDK's van de schijven (om andere users het lezen van je lange verhaal te besparen).

[ Voor 13% gewijzigd door ThinkPad op 22-08-2016 12:40 ]

[CurlyMo]

En nog los van de mogelijke oplossing. Maak ook een backup van je datastore zelf. Dat is op zich niet moeilijk op te zetten met rsync en ssh keys (zo heb ik het tenminste gedaan).

[FireDrunk]

Daar is https://github.com/lamw/ghettoVCB voor

Je kan met Workstation ook daadwerkelijk connecten naar een ESXi machine. Je kan je installatie gewoon booten op een andere bak, waarna je er naar kan connecten.

Ook kan je de disk in een Linux PC (of dmv een Bootable Linux ISO) uitlezen mits je de vmfs fuse driver even installeert. Dan heb je readonly toegang tot je datastore, en kan je de VMDK's er af halen.

[CurlyMo]

Ik vind zelf rsync handiger, dat scheelt weer aanvullende programma's.

[ThinkPad]

Met rsync kun je geen VMDK's kopiëren die in gebruik zijn toch? Met ghettoVCB gaat het automatisch, die maakt een snapshot om van een draaiende VM een backup te kunnen maken en verwijderd naderhand de backup weer.

Ik laat het naar een NFS-share op m'n NAS pompen.

[CurlyMo]

Dat is precies wat ik ook doe. Via ssh een snapshot maken, rsync, snapshot verwijderen. Vrij simpele commando's.

[FireDrunk]

Tja, ghettoVCB kan ook wat compressie doen enzo. Het is net wat meer dan standaard rsync, maar als je goed kan scripten (zoals jij ) is het goed te doen

[CurlyMo]

Ik zal later de commando's wel even plaatsen met een toelichting van hoe ik het geheel qua backup draai.

[larshack]

Hierbij mijn setup.

Hypervisor

Als basis voor mijn homelab heb ik gekozen voor Hyper-V. Ik heb via school licenties voor Microsoft Windows Server 2012 R2 Datacenter en kan op deze manier "gratis" gebruikmaken van Windows Server.
Via AVMA worden alle VM's met Windows Server 2012 R2 Datacenter en Standard automatisch geactiveerd.

Hardware

#	Product	Prijs	Subtotaal
1	Intel Xeon E5-2603 v3 Boxed	€ 229,20	€ 229,20
1	Supermicro X10SRI-F	€ 304,50	€ 304,50
1	Samsung HD204UI, 2TB	€ 0,-	€ 0,-
1	Seagate Spinpoint M8 ST1000LM024, 1TB	€ 53,95	€ 53,95
1	WD Green HDD, 3TB	€ 97,63	€ 97,63
2	WD Green HDD, 4TB	€ 145,90	€ 291,80
1	WD Green SATA 3 Gb/s WD15EARS, 1,5TB	€ 0,-	€ 0,-
4	WD Red SATA 6 Gb/s WD10EFRX, 1TB	€ 61,84	€ 247,36
1	Fractal Design Define R5 Titanium	€ 106,-	€ 106,-
6	Kingston ValueRAM KVR21R15D4/16	€ 83,01	€ 498,06
1	Dell PERC 6/i met BBU	€ 147,69	€ 147,69
1	Seasonic S12II-Bronze 520W	€ 52,95	€ 52,95
1	Crucial BX100 120GB	€ 62,99	€ 62,99
1	Samsung 850 EVO 250GB	€ 94,46	€ 94,46
1	APC Back-UPS Pro 550 VA	€ 120,-	€ 120,-
Bekijk collectie Importeer producten		Totaal	€ 2.306,59

De gehele setup verbruikt volgens APC PowerChute ongeveer 100 Watt.

Virtuele machines

OS/Appliance	Functie
Windows Server 2012 R2 Datacenter	Domain controller, DHCP en PKI
Windows Server 2012 R2 Datacenter	Domain controller en PKI
Windows Server 2012 R2 Datacenter	Domain controller
Windows Server 2012 R2 Datacenter	Exchange 2016 Mailbox Server
Windows Server 2012 R2 Datacenter	Exchange 2016 Mailbox Server
Windows Server 2012 R2 Datacenter	Exchange 2016 Edge Transport Server
Windows Server 2012 R2 Datacenter	Plex server
Windows Server 2012 R2 Datacenter	SABNZBD, Couchpotato en NZBDrone
Windows Server 2012 R2 Datacenter	Microsoft SQL Server 2012
Windows Server 2012 R2 Datacenter	MySQL server
Windows Server 2012 R2 Datacenter	Microsoft System Center Configuration Manager 2012 R2
Windows Server 2012 R2 Datacenter	Microsoft System Center Virtual Machine Manager 2012 R2
Windows Server 2012 R2 Datacenter	Microsoft Azure pack
Windows Server 2012 R2 Datacenter	Web server (IIS)
Windows Server 2012 R2 Datacenter	Web Application Proxy voor DirectAccess en HTTPS proxyserver
Windows Server 2012 R2 Datacenter	Fileserver
Windows Server 2012 R2 Datacenter	PRTG monitoring
Ubuntu Server 16.04	Minecraft server

Foto's

Plaatjes komen eraan

Motivatie

De hele setup draait sinds vorig jaar september als een zonnetje. De vier 1 TB schijven draaien als RAID-5 set op de Dell controller. De meeste bootdisks van de VM's staan op de SSD van 250 GB doormiddel van deduplication:

Ik gebruik Virtual Machine Manager in combinatie met Azure Pack als lab omgeving voor certificeringen van Microsoft. De gehele omgeving inclusief Exchange wordt gebruikt door familie en vrienden.

[HollowGamer]

FireDrunk schreef op maandag 22 augustus 2016 @ 08:02:
Zit je via RDP op de bak, of kijk je via Spice? Want RDP is vele malen sneller dan een lokaal spice window.
GPU offloading naar die QXL zou ook juist vertragend kunnen werken, omdat die QXL videokaart volgens mij een 'fake' 3D kaart is die software rendering doet. Ik weet niet of er al een goede implementatie is van een vGPU die daadwerkelijk calls doorgeeft aan de lokale GPU (zoals VMware hem wel heeft).

Nee, direct via spice-gtk3, dit is hoe ik de VM opstart:

code:

#!/bin/sh
qemu-system-x86_64 -enable-kvm -machine q35,accel=kvm,iommu=on -cpu host -smp 2,cores=2,threads=1 -m 4G -boot menu=on \
-drive file=/mnt/hdd1/Images/win10_x64,if=virtio,format=raw,index=0,media=disk,cache=none,aio=native \
-drive file=/mnt/hdd1/ISO/Win10_1607_SingleLang_English_x64.iso,index=1,media=cdrom \
-spice port=5930,disable-ticketing -vga qxl \
-net nic,model=virtio \
-soundhw hda \
-usb \
-balloon virtio \
-device virtio-serial-pci \
-device virtserialport,chardev=spicechannel0,name=com.redhat.spice.0 \
-chardev spicevmc,id=spicechannel0,name=vdagent

Daarna maak ik verbinding dus via de client via localhost en het poortnummer (5930).

Ik had gelezen dat cache uitschakelen prestatie winst maakt, ook de aio op native zetten maakt een verschil.
Is dit de juiste manier? Betere tweaks?

[ Voor 4% gewijzigd door HollowGamer op 22-08-2016 14:18 ]

[FireDrunk]

Cache=none is wel een bottleneck, ik zou daar 'default' ofzo van maken (of standard) weet de optie niet meer.
Ik mis trouwens je SATA controller in dit rijtje? Valt die niet terug naar IDE by default?

[CurlyMo]

CurlyMo schreef op maandag 22 augustus 2016 @ 13:45:
Ik zal later de commando's wel even plaatsen met een toelichting van hoe ik het geheel qua backup draai.

code:

/usr/bin/ssh esxi "vim-cmd vmsvc/getallvms | tail -n+2 | awk '{print \$1}' | sort -n | while read nr; do vim-cmd vmsvc/snapshot.create \$nr snapshot snapshot 0 0; done"
/usr/local/bin/rsync --progress --delete -arv esxi:/vmfs/volumes/57b069ff-4d89b3a9-cb13-d05099099593 /backup/ESXi
/usr/bin/ssh esxi "vim-cmd vmsvc/getallvms | tail -n+2 | awk '{print \$1}' | sort -n | while read nr; do vim-cmd vmsvc/snapshot.removeall \$nr; done"

PS. esxi is een voorgeconfigureerde ssh host met keys.

[ Voor 4% gewijzigd door CurlyMo op 22-08-2016 19:17 ]

[HollowGamer]

FireDrunk schreef op maandag 22 augustus 2016 @ 15:20:
Cache=none is wel een bottleneck, ik zou daar 'default' ofzo van maken (of standard) weet de optie niet meer.
Ik mis trouwens je SATA controller in dit rijtje? Valt die niet terug naar IDE by default?

Thanks, ik heb de AHCI-controller erbij gezet, cache tweaks weggehaald, en ik merk meteen al het verschil.

code:

#!/bin/sh
qemu-system-x86_64 -enable-kvm -machine q35,accel=kvm,iommu=on -cpu host -smp 2,cores=2,threads=1 -m 4G -boot menu=on \
-drive id=disk,file=/mnt/hdd1/Images/win10_x64,if=none,format=raw \
-device ich9-ahci,id=ahci \
-device ide-drive,drive=disk,bus=ahci.0 \
-netdev user,id=vmnic -device virtio-net,netdev=vmnic \
-vga qxl \
-spice port=5930,disable-ticketing \
-usb \
-device virtio-serial-pci \
-device virtserialport,chardev=spicechannel0,name=com.redhat.spice.0 \
-chardev spicevmc,id=spicechannel0,name=vdagent \
-soundhw hda \
-balloon virtio

Hoe doe ik trouwens met QEMU mijn netwerk verbinden?
Kan ik net zoals bij VB/VMWare aangeven dat deze moet verbinden met mijn interne lan?
Op Google vind ik van alles, de een spreek van tap0 devices aanmaken, de andere heeft het over bridgen.

Thanks.

PS. Net even een YT 1080p film afgespeeld.. geluid en beeld wat schokkerig, maar opzicht niet slecht.
Same een beetje met 720p, de rest gaat prima. Op een VB sessie was mij dit niet gelukt. Met Spice kun je voor lz4 kiezen als image-compressie, dat maakt al wat verschil. Denk dat volledig alleen mogelijk is met een externe GPU.

[ Voor 11% gewijzigd door HollowGamer op 22-08-2016 22:32 ]

[FireDrunk]

Er zijn meerdere optie, maar een bridge is eigenlijk het simpelst. Zoek eerst een guide hoe je een bridge maakt van je lokale LAN (of WLAN) en daarna kan je de virtuele NIC direct op de bridge hangen.

Als je dingen wil weten over Linux Kernel Virtualisatie, kan je beter zoeken op KVM ipv QEMU. Het heet tegenwoordig in de kernel namelijk gewoon KVM, qemu was de oude softwarematige virtualisatie, toen kwam er qemu-kvm (een fork van qemu die Processor assisted virtualisatie ondersteunde), en later is dit weer gemerged in de kernel naar gewoon KVM.

De Userland tools heten nog qemu, terwijl het eigenlijk gewoon KVM is. Toen ik net googlede op QEMU kreeg ik ook een heel aantal resultaten die al veel te oud zijn. Oppassen dus

http://www.linux-kvm.org/page/Networking

Hier staat genoeg over het gebruik van bridges. (TIP: gebruik niet die kvm ifup scripts, maar de "Solution 1" scripts die iets verder staan, en start de bridge altijd. Dat betekend dat de bridge altijd actief is ookal draaien er geen VM's, maar dat kan helemaal geen kwaad).

Voor simpel(er) VM management, kan ik je virt-manager aanraden. Dat werkt toch een stuk makkelijker dan op de command line met qemu klooien. Je hebt er geen hele X11 omgeving voor nodig, je kan virt-manager prima draaien via X-forwarding in SSH.

En dat ziet er zo uit:

[ Voor 6% gewijzigd door FireDrunk op 23-08-2016 08:04 ]

[ThinkPad]

Hierbij mijn setup.

Hypervisor

Ik gebruik VMware ESXi 6u2.
Dit werkt prima op de NUC. Met 5.0 moest ik volgens mij nog een driver voor de netwerkkaart injecteren, maar sinds 6.0 werkt alle hardware out of the box. Alleen jammer dat ik geen CPU-temperatuur o.i.d. in ESXi kan zien.

Hardware

pricewatch: Intel NUC DC3217IYE met daarin een pricewatch: Crucial MX200 mSATA 250GB

Backups van de VM's zet ik over naar de pricewatch: Synology DiskStation DS715 met 2x2TB in RAID1 + offsite naar DS213j bij m'n ouders (2x1TB RAID1).

De NUC gebruikt maar zo'n 15W idle en is daarmee geen vervelende inwoner van m'n meterkast De DS715 zo'n 18W als beide schijven (WD Green 2TB) draaien.
Heb er ook een UPS tussen gehad (MGE Ellipse 375VA), maar laatst gooide ik de stroom eraf (in de verwachting dat alles mooi bleef doorsnorren), maar na 3sec viel alles uit. Bleek dat de batterij van de UPS verrot was
Nu de UPS er maar tussenuit gehaald, in de bijna 3 jaar dat ik hier woon is de stroom nog nooit uitgevallen.

Virtuele machines

Naam	OS	Functie
UbuntuTemplate	Ubuntu Server 16.04 LTS	Template om gemakkelijk nieuwe VM's uit te rollen. Staat altijd aan zodat hij automatisch geupdate blijft.
HASS	Ubuntu Server 16.04 LTS	Home Assistant domotica, regelt verlichting e.d. in m'n huis (Z-Wave)
Domotica	Ubuntu Server 16.04 LTS	Algemene I/O VM, draait wat cronjobs zoals buitentemperatuur van Wunderground naar binnen halen e.d., script om accespoint elke nacht te resetten, uitlezen van slimme meter P1-poort (USB-Serial kabel).
OTGW	Ubuntu Server 16.04 LTS	Leest m'n OpenTherm-gateway uit.
InfluxGrafana	Ubuntu Server 16.04 LTS	Draait InfluxDB en Grafana om o.a. grafiekjes van OTGW en slimme meter te maken.
MQTT	Ubuntu Server 16.04 LTS	Draait Mosquitto om wat dingen aan elkaar te knopen (woonkamertemperatuur vanuit thermostaat via OTGW naar HASS)
Webserver	Ubuntu Server 16.04 LTS	Doet niet heel veel, is meer om af en toe eens wat PHP-scriptjes o.i.d. te knutselen
OpenVPN	Ubuntu Server 16.04 LTS	OpenVPN AS Appliance van OpenVPN, voor externe toegang tot m'n netwerk (443 TCP om firewalls te omzeilen). De appliance is wel makkelijk, met z'n webinterface kun je makkelijker dingen instellen dan commandline
W10	Windows 10 (Professional?)	Gebruik ik zelden, VM voor als ik eens een Windows applicatie wil testen of tijdelijk nodig heb

Motivatie

Toen ik nog thuis woonde had ik al een thuisserver. In 2012 ESXi ontdekt en toen de boel gevirtualiseerd. 2,5j geleden uit huis gegaan en toen ik de stroomkosten zelf moest betalen toch maar voor wat zuinigers gekozen. Thuisserver bij m'n ouders gebruikte 50-55W continu (Intel DH67BL mobo + G620 CPU, 1x 3.5" HDD).

Het domoticaspul heb ik ook wel op een Pi draaiend gehad, maar via ESXi is zoveel makkelijker. Bij spannende upgrades van bijv. het domoticapakket maak ik eerst even een snapshot van de VM en kan ik zo weer terugrollen als de boel in het honderd loopt. Ook nooit meer gezeur met SD-kaarten die corrupt raken, waar de Pi toch wel een beetje berucht om is

Keuze voor OS
Als OS probeer ik zoveel mogelijk Ubuntu Server te gebruiken in de VM's, het is gratis, werkt stabiel en gebruikt nagenoeg geen resources (Meeste VM's doen <100Mhz CPU). Een nieuwe VM is dankzij de template VM die ik heb, zo uitgerold en door 'unattended-upgrades' blijven de VM's netjes up to date.
Het maken van de template VM was niet eens zo moeilijk, ik heb het via de 'OEM install' methode gedaan. Je kunt hem dan klaarmaken met allerlei packages (o.a. SSH server), 'unattended-upgrades' aangezet om packages automatisch bijgewerkt te houden. Ik heb er een .ova van gemaakt, als ik die boot hoef ik alleen user/pass, hostname en een static IP in te stellen. De template VM staat 24/7 aan zodat packages automatisch bijgewerkt blijven. Af en toe 'generalize' ik hem (vooraf eerst snapshot maken, anders is het geen template meer ) om de .ova bij te werken.

Backups
Backups maak ik elke avond met ghettoVCB. Het ghettoVCB script en config staat op de ESXi host en via een cronjob op de Synology start ik een SSH naar de ESXi host en trap ik ghettoVCB af. De backups van de VM's worden dan overgepompt naar een NFS-share op de Synology.
Veeam ook naar gekeken, maar dan moet ik een Windows VM draaien (==licentie nodig) en het kan geen scheduled backups maken van een ESXi Free host. Het is even wat werk om ghettoVCB in te stellen, maar daarna draait het zonder problemen.

Monitoring?
Ik ben alleen nog op zoek naar een leuke monitoring oplossing. In het verleden PRTG gedraaid, je kunt gratis 100 sensoren gebruiken dus voor een thuislab is dat voldoende. Maar het draait alleen op Windows en die W10 VM gebruikt in verhouding met m'n Ubuntu VM's wel erg veel resources (>1500Mhz CPU en RAM volledig in gebruik).
Ook nog eventjes 'collectd' gedraaid op de VM's en de data daaruit in InfluxDB gepompt om dan met Grafana grafiekjes te maken, maar dat is nog best wat werk om voor elke VM in te regelen. Bij PRTG kon je eenvoudig je netwerk laten scannen en kon hij (met de juiste credentials) ook inloggen op Linux/Windows-hosts.

Heb ook wel gekeken naar libreNMS, maar die kan alleen maar SNMP e.d. zoals het lijkt, ik zou niet weten hoe ik daar een Ubuntu VM mee kan uitlezen.
Ben niet echt op zoek naar alerting, ik heb toch geen redundant hardware o.i.d, maar meer om bijv. de CPU-load van een VM eenvoudig in de gaten te kunnen houden om afwijkingen te kunnen opmerken.

Toekomst
Ik weet nog niet of ik in de toekomst weer een Synology neem. Ik gebruik hem eigenlijk alleen als fileserver (SMB share met foto's/films/series) en als offsite backup target (rsync) van de Syno bij m'n ouders. En af en toe een torrentje downloaden. Opzich kan ik dat ook wel met losse VM's af, wat weer een apparaat zou schelen. Fileshares is dan wel leuk om met Windows Server te doen, kun je wat leuke dingen mee als deduplication en bepaalde extensies blokkeren enzo (handig tegen cryptolockers). Maar nu gaat de RAID-array netjes slapen, ik vraag mij af of dat gaat werken als de array aan ESXi zou hangen. Stroomverbruik vind ik wel belangrijk namelijk.

[ Voor 9% gewijzigd door ThinkPad op 17-09-2016 09:53 ]

[CyBeR]

ThinkPadd schreef op woensdag 07 september 2016 @ 11:29:
Ook nog eventjes 'collectd' gedraaid op de VM's en de data daaruit in InfluxDB gepompt om dan met Grafana grafiekjes te maken, maar dat is nog best wat werk om voor elke VM in te regelen.

Daar heb je config management voor.

[Pa-Lu]

Volg dit topic al een tijd, lijkt me leuk om mijn setup eens te delen. Ik heb de laatste versie van VMware ESXI draaien op een Intel Nuc.

Hardware

• Intel Barebone NUC D54250WYK2
• 2x Crucial 8 GB SODIMM DDR3-1600
• Samsung 840 EVO mSATA 250 GB
• Kingston DataTraveler G4 16 GB

Op de USB stick is ESXi geinstalleerd, de SSD wordt gebruikt voor de virtuele machines. Een aantal VMs zijn via NFS gekoppeld aan mijn NAS.

Ik ben erg tevreden over de stabiliteit, snelheid en het stroomverbruik van de NUC.

Virtual Machines

VM	OS	Functie
VMW7	Windows 7	Staat standaard uit, doet niks gaat alleen aan als ik de vSphere client nodig heb aangezien deze niet beschikbaar is voor Mac. Sinds de VMware Host Client gebruik ik deze bijna niet meer.
VMWM	Ubuntu Server 16.04	Web en monitoring server: Apache icm letsencrypt als reverse proxy, Observium gebruik ik als monitoring tool. Tevens maak ik vanaf diverse remote locaties via SSH backups naar deze VM.
VMME	Ubuntu Server 16.04	Media Server: Plex voor streaming en Pydio als web filemanager voor mijn NAS. PlexPy draait hier ook op om statistieken over plex bij te houden.
VMDL	Ubuntu Server 16.04	Download Server: Transmission, Sickrage en Autosub-BootstrapBill. Deze server kan alleen internet bereiken via een VPN provider met OpenVPN
VMUU	Ubuntu Server 14.04	Ubiquiti Unifi (WiFi controller) en Ubiquiti Unifi NVR. Hier zijn 5 cameras mee verbonden waarvan 3 op remote lokaties. Op bepaalde tijdstippen bij beweging of bij disconnects wordt er automatisch opgenomen en een mail verstuurd.
VMKL	Kali Linux	Pentesting linux, gebruik ik om te testen en voor studie.
VMGNS3	Ubuntu Server	GNS3 appliance VM, gebruik ik om te testen en voor studie.
VMX1	Juniper vMX	Juniper test router 1, gebruik ik om te testen en voor studie
VMX2	Juniper vMX	Juniper test router 2, gebruik ik om te testen en voor studie

Al mijn VM's draaien op zowel IPv4 en IPv6 in combinatie met een hurricane electric tunnel op mijn router.
Remote toegang tot mijn netwerk heb ik via OpenVPN.

Ubuntu 16.04 probeer ik als standaard OS aan te houden, de software Ubiquiti Unifi ondersteund dit nog niet dus deze zit nog op 14.04. Het streven is om zo min mogelijk Windows VM aan te zetten / te gebruiken. Mijn ervaring is dat 1 windows VM net zoveel resources nodig heeft als de rest bij elkaar om een beetje soepel te functioneren.

Backups van de VM's doe ik eens in de zoveel tijd met de hand, hiervoor moet ik nog eens gaan kijken naar GhettoVCB of tool die dit gemakkelijk kan.

[Basz0r]

Hierbij mijn setup.

Hypervisor

Ik heb een custom build Hypervisor in mijn meterkast draaien voor diverse doeleinden. Als OS heb ik gekozen voor Ubuntu 16.04 LTS. Ik gebruik KVM om te virtualiseren, en bcache voor SSD offloading van de disken die er in zitten. Ook heb ik een 2 port Intel NIC er in geprikt om LACP te kunnen doen naar m'n HP Procurve switch.

Hardware

Het volgende heb ik aan hardware in m'n hypervisor zitten.

#	Product	Prijs	Subtotaal
1	Intel Core i5-4460 Boxed	€ 178,50	€ 178,50
1	Asus H81I-PLUS	€ 67,51	€ 67,51
2	WD Green HDD, 3TB	€ 101,95	€ 203,90
1	Cooler Master Elite 110	€ 39,-	€ 39,-
1	Intel Pro/1000 PT Dual Port	€ 154,50	€ 154,50
1	Silverstone Argon AR06	€ 39,99	€ 39,99
1	Kingston HyperX Fury blu HX313C9FK2/16	€ 76,-	€ 76,-
1	Seasonic G-series 360 watt	€ 59,95	€ 59,95
2	Kingston SSDNow V300 120GB	€ 46,18	€ 92,36
Bekijk collectie Importeer producten		Totaal	€ 911,71

De hardware is opgebouwd uit bij elkaar gezochte onderdelen. Sommigen heb ik tweedehands gekocht en sommigen kwamen uit m'n oude werkstation.

Virtuele machines

Naam	OS	Functie
rtr01	CentOS 7	Default Gateway voor 3 VLANs. Draait ook ZeroTier op voor wat externe machines. En een tunnel naar Hurricane Electric voor IPv6 verkeer.
fs01	CentOS 7	Fileserver. Met btsync draaiende om belangrijke data tussen 3 locaties te syncen.
cgs01	Ubuntu 16.04 LTS	Cargoship VM. Draaien op dit moment 2 containers op dmv. LXC/LXD. Éen met Domoticz en één met unbound en named als fallback voor DNS als m'n router VM niet draait.
dckr01	Ubuntu 16.04 LTS	Docker VM. Hier staan de volgende images op: mailserver, confluence, NGINX proxy, rainloop en phpMyAdmin. Ook draait er een Letsencrypt image op om automatisch certs te genereren voor de web applicaties.

Foto's

Motivatie

Storage

In m'n hypervisor heb ik 2 disken van 3TB zitten en 2 SSD's van 120GB. Beiden setjes draaien in RAID 1. Een klein gedeelte van de SSD's gebruik ik voor het OS. De rest als cache device voor bcache. De disken gebruik ik als backing device voor bcache. Dit verbeterd de performance voor random IO aanzienlijk voor de VM's.

Externe toegang

Op m'n router VM draait ZeroTier met een gesloten netwerk. Deze is oa. gekoppeld aan een DigitalOcean VM, die ik gebruik als SSH jump host. Apparaten die in hetzelfde netwerk zitten (ook dmv ZeroTier) kunnen daarmee verbinden, om naar m'n netwerk thuis toe gaan.

Backups

Alle VM's hebben een cronjob staan met een script wat duplicity gebruikt om back-ups te maken naar een externe locatie. Op die externe host draait ook een duplicity script wat incrementeel back-ups maakt van de btsync directories (voor als er iemand een oepsje maakt in een map met foto's).

Stroom

De hypervisor is aangesloten op een kleine UPS (APC Back-UPS 950VA), evenals de switch en m'n modem. Als de stroom uitvalt neemt apcupsd dit waar en gaat er hopelijk iets in Nagios loeien . Als de UPS bijna leeg is worden alle VM's afgesloten en gaat de hypervisor uit.

De machine schommelt qua gebruik ongeveer tussen 40 á 50 watt aan stroom.

[YoVla]

Hoi allemaal!

Ik heb sinds kort ook het één en ander aangeschaft als energiezuinige ESXi server.
Nu twijfel ik over het volgende. Via de /etc/vmware/passthru.map (|sWORDs| in "Zuinige ESXi Server") aanpassing heb ik de controller van mijn GA-B150M-D3H als passthrough ingesteld.

Nu mis ik echter de mogelijkheid om een datastore aan te maken, omdat nu mijn SSD en twee HDD zijn aangesloten op de ingestelde controller.

Nu wil ik het wel enigzins energiezuinig houden en sta ik niet te springen om een losse controller te kopen, maar ik lees nu ook de nvme ssd's los staan van de doorgegeven controller?

Kan ik dus de passthrough aan laten staan en dan wel mijn nvme als datastore toevoegen?

[FireDrunk]

Ja, dat kan.

[Oliekoets]

Aangezien dit topic wel heel erg op ESXi gericht is, weet ik niet zeker of mijn oplossing ook hier past, maar komt ie:

Hypervisor

Openstack , release Kilo.

Waarom openstack, omdat het volledig opensource is en draait op zowat alle grote linux distributies. De enorme hoeveelheid uitwisselbare onderdelen maken het een topper. Verder levert het heel veel cloud services 'as a service' zoals bijvoorbeeld 'vpn as a service' 'storage as a service' 'network as a service'.

Openstack kan overweg met simpele configuraties tot hele complexe configuraties met bridges, vlans etc.

Hardware

Een wat oudere server , een intel core-i5 (4 cores zonder HT), 3.1Ghz met 16 gig aan ram.
Verder heeft het ding 2 disks van 1 TB, SATA in mirrored mode-raid0.

Virtuele machines

Linux Centos 7 omgeving.

argus => Mijn identity server, draait FreeIPA.
Faun => Mijn media server, deelt al zijn files via nfs/samba aan mijn thuisnetwerk.
Jotunn => Mijn controller, draait puppet-server en foreman/katello
minotaur => Spelletjes server, draait o.a. mijn eigen minecraft server
oberon => Puppetserver backup/development machine. Hier ontwikkel ik nieuwe puppet scripts
satyr => Mijn webservertje.

Het geheel wordt naar internet ontsloten door het prima modem van mijn ISP.

Motivatie

Vanaf het moment dat openstack tot wasdom kwam bij Havana vond ik het interessant om te volgen. Tijdgebrek hebben mij 2 jaar nog tegengehouden, maar nu draait ie toch echt bij mij thuis.

Toekomstmuziek

Ik zou graag openstack uitbreiden tot minimaal 3 nodes met live-migration eraan, echter zeurt het thuisfront nu al over de geluidsproductie van een 19" server. Heb hem nu in de tuinschuur draaien...

[FireDrunk]

Je bedoelt mirror-RAID1? RAID0 is geen mirror

OpenStack is wel heel cool overigens! Wel een flinke kluif qua installatie.

[Oliekoets]

FireDrunk schreef op woensdag 28 september 2016 @ 12:59:
Je bedoelt mirror-RAID1? RAID0 is geen mirror

OpenStack is wel heel cool overigens! Wel een flinke kluif qua installatie.

Raid-1 inderdaad, excuses.

Openstack installatie valt zelf wel mee, gewoon op centos packstack installeren als pakket.

packstack -genanswerfile.

Answerfile editten naar je smaak, en puppet doet de rest.

[FireDrunk]

Ik ken het (/me heeft een OpenStack Diploma ).

Nadeel is weer, als je een wat exotischere config wil dan PackStack toestaat, je nogal ingewikkelde dingen moet doen.

Ik zou bijvoorbeeld alleen OpenStack willen als het goed HA ondersteund, en dat doet het (nog) niet.

[Oliekoets]

FireDrunk schreef op woensdag 28 september 2016 @ 14:09:
Ik ken het (/me heeft een OpenStack Diploma ).

Nadeel is weer, als je een wat exotischere config wil dan PackStack toestaat, je nogal ingewikkelde dingen moet doen.

Ik zou bijvoorbeeld alleen OpenStack willen als het goed HA ondersteund, en dat doet het (nog) niet.

Ik draai zelf dus OS-Kilo, maar ik hoor goede verhalen van de opvolgers qua HA. Zoals ik al zei, ik wil graag nog 3 nodes met live-migration erbij, dan pas kan je HA goed gaan testen dus ik geloof je meteen als je zegt dat de HA dingen nog niet goed erin zitten.

Overigens, openstack upgraden is voor mij ook al 2x een "uitdaging" geweest. Omdat OS al 2 versies verder is, wilde ik eerst van kilo->liberty en zelfs die mocht ik weer afblazen.

Volgende keer dat ik OS vanaf scratch opbouw zal ik waarschijnlijk de controller-node ook een VM maken.

[ThinkPad]

Gisteren even wat gespeeld met Ubuntu Landscape.
M'n thuislab bestaat eigenlijk voor 99% uit Ubuntu VM's (omdat: gratis en stabiel, weinig resources nodig) dus dit leek mij wel handig om de boel centraal te kunnen managen.
En het is idd handig, je kunt je machines eenvoudig beheren qua package upgrades e.d. Wat mij ook erg aansprak is dat er ook een stuk monitoring in zit, CPU-load, RAM, HDD en netwerk. Scheelt mij weer een extra pakket zoals 'LibreNMS' draaien.

Ik moet er nog wat verder mee spelen (heb er nu ook nog maar één VM in hangen) maar het ziet er veelbelovend uit. Soort WSUS/SCCM maar dan voor Ubuntu.

Toch maar weer vanaf gestapt, een goed ingestelde unattended-upgrades is voor mij ook voldoende. Ik vond die Landscape VM nogal traag werken en kon ook geen manier vinden om een VM automatisch updates te laten installeren en rebooten. Met unattended-upgrades had ik dat al wel voor elkaar.

[ Voor 29% gewijzigd door ThinkPad op 25-10-2016 11:37 ]

[NL-RaVeR]

Tijd om mijn virtualisatie machine ook maar eens te posten. Hij is bij lange na niet efficient, maar het is wat het is op dit moment. Opmerkingen hoor ik graag

---

Hypervisor

Ik gebruik een custom build van ESXi 6, gebouwd met ESXi customizer. Hierin zit de vsphere web client en drivers voor mijn Areca ARC 1280ML.

Hardware

#	Product	Prijs	Subtotaal
1	Intel Xeon X3430 Boxed	€ 89,-	€ 89,-
1	Intel Server Board S3420GPLX	€ 0,-	€ 0,-
2	HGST Deskstar NAS, 4TB	€ 151,55	€ 303,10
2	Hitachi Deskstar 7K250 160GB , 160GB	€ 0,-	€ 0,-
2	Samsung Spinpoint F1 HD103UJ, 1TB	€ 0,-	€ 0,-
3	WD Green WD20EARX, 2TB	€ 107,69	€ 323,07
1	Areca ARC-1280ML (24x SATA300 RAID, XOR, 256MB, PCI-e x8)	€ 0,-	€ 0,-
1	Cooler Master Real Power Pro 650W	€ 0,-	€ 0,-
2	Crucial MX200 2,5" 500GB	€ 145,43	€ 290,86
1	OCZ Vertex 3 60GB	€ 0,-	€ 0,-
1	Custom Build 24 Bay hotswap case	--	--
4	DDR3-1600 ECC Registered 4GB	--	--
Bekijk collectie Importeer producten		Totaal	€ 1.006,03

Binnenkort is de custom build 24-bay server case af die ik met vrienden heb ontworpen/gemaakt. Huidige kast kunnen helaas geen disks meer bij in. Stroomverbruik weet ik eigenlijk niet precies, maar me jaarafrekening viel niet tegen . Alles werkte eigenlijk out of the box, op de raid controller na. Hiervoor heb ik dus via vsphere customizer drivers geinclude en passthrought werkt nu prima met die kaart

Virtuele machines

OS/Appliance	Functie
Windows 10	RDP, development, downloads en data opslag
CentOS 7	MariaDB database
CentOS 7	Apache/Nginx web server
CentOS 6	Minecraft vanilla server
CentOS 7	Minecraft Tekkit server
Ubuntu 16.04	Pi-Hole DNS server

Foto's

Dit is de huidige kast die dus vervangen gaat worden. Onderaan de foto is het huidige bordje dat in de server zit.

Motivatie

Het is nu voornamelijk een bij elkaar geraapt "zooitje". Dit wordt dus binnenkort en stuk beter als de nieuwe kast arriveerd. Dan wordt de storage ook verder uitgebreid en ga ik de opslag ook regelen onder een ander OS. Verder wil ik ook mijn backups verder automatiseren naar een ander systeem. Momenteel maak ik snapshots van de vm's op een USB disk die aan de server hangt.

[miel54]

Hypervisor

Beide systemen draaien qemu/kvm onder ubuntu. De intel gebruikt simpele scripts terwijl de AMD het met virt-manager over ssh doet.

Hardware

#	Product	Prijs	Subtotaal
1	Intel Core i7-4790K Boxed	€ 366,50	€ 366,50
1	Asus Sabertooth Z97 Mark S	€ 263,99	€ 263,99
1	EVGA GeForce GTX 980 4GB Superclocked ACX 2.0	€ 558,-	€ 558,-
1	Corsair Graphite 760T Arctic White	€ 175,95	€ 175,95
1	Corsair Hydro H110	€ 120,50	€ 120,50
1	Kingston HyperX Fury black HX318C10FBK2/16	€ 93,87	€ 93,87
1	Corsair HX1000i	€ 209,90	€ 209,90
2	Samsung 850 EVO 250GB	€ 95,51	€ 191,02
1	Samsung 950 Pro 256GB	€ 192,50	€ 192,50
Bekijk collectie Importeer producten		Totaal	€ 2.172,23

#	Product	Prijs	Subtotaal
1	AMD FX-8320 Black Edition	€ 133,90	€ 133,90
1	Asus Sabertooth 990FX	€ 0,-	€ 0,-
1	MSI N8400GS-D1GD3H/LP	€ 0,-	€ 0,-
1	WD Green HDD, 2TB	€ 79,90	€ 79,90
1	Fractal Design Define R5 Zwart	€ 99,-	€ 99,-
3	IBM Intel Ethernet Quad Port Server Adapter I340-T4 for IBM System x	€ 259,70	€ 779,10
1	Scythe Mugen 4 PCGH Edition	€ 44,90	€ 44,90
4	Kingston ValueRAM KVR1333D3E9S/8G	€ 53,49	€ 213,96
1	EVGA SuperNOVA 650 GS (V2)	€ 105,-	€ 105,-
1	Kingston SSDNow V300 120GB	€ 48,89	€ 48,89
Bekijk collectie Importeer producten		Totaal	€ 1.504,65

De intel was voornamelijk een gaming build en niet zozeer bedoeld om virtuele machines mee te draaien. Na de overgang naar linux moest hij toch beide doen. Nadeel aan dit moederbord/cpu is dat de 2 onderste pcie sloten tesamen in een IOMMU group zitten waardoor je deze niet apart kan doorgeven aan een vm. De amd draait als headless server en werkt een stuk beter met dit soort zaken. In de toekomst zouden er nog een aantal hard disks en ssds bijkomen voor een nas.

Virtuele machines

OS/Appliance	Functie
Windows 10 pro	Gaming
pfsense	router/switch

Motivatie

Windows gaming vm
http://pastebin.com/z9vUneh4

[unezra]

Ik heb thuis jarenlang gedraaid op Xen op basis van Debian. Werkt technisch prima en het installeren van een nieuwe vm is een eitje (xen-create-image), maar het begon me meer en meer tegen te staan dat er geen fijne grafische (web-based) beheerinterface omheen zat.

Draai nu pak 'm beet anderhalf jaar op Proxmox, in een 2-node cluster met een NAS op basis van FreeNAS er achter.

Hardware bestaat uit 3 HP Microservers, waarbij de Proxmox machines enkel een 128G SSD hebben voor LXC en Proxmox zelf en de FreeNAS machine 4x5T in een striped mirror (ZFS) draait met nog een 128G SSD voor het OS.

Ik lees in deze draad dat Proxmox wat onduidelijk in zijn features en vergeleken word met Hyper-V. Ik vind dat nogal meevallen. Als je niet bekend bent met Linux virtualisatie is het misschien minder duidelijk, maar Proxmox is een geavanceerde schil over KVM en LXC heen. Niet alleen een GUI, maar ook een eigen CLI waarmee heel veel zaken die met stock KVM en LXC vrij lastig zijn, makkelijk worden gemaakt.

Zie ook:
http://www.proxmox.com/en/proxmox-ve/features
http://www.proxmox.com/en/proxmox-ve/comparison

Proxmox bevalt inmiddels zo goed, dat ik het voor mijn stichting heb ingezet en volgend jaar op kantoor wil inzetten op een plek waar VMWare te duur en overkill is. (2-node cluster met GlusterFS, zonder centrale storage).

Grote pluspunten:

• Schaalbaarheid
• Het is licht, heeft zelf amper resources nodig
• Zowel containervirtualisatie als paravirtualisatie als full virtualization
• Support vanuit het bedrijf mogelijk (Proxmox Server Solutions GmbH is een volwaardig bedrijf)
• ZFS

Ik kan nog -tig pluspunten bedenken, maar dan word dit een heel lang verhaal.

Schaalbaarheid maakt dat het zowel bruikbaar is in een kleine, 1-server thuisomgeving, als in een cluster van tientallen, mogelijk honderden machines. Er is ook niet 1 beheermachine zoals bij VMWare waar je van afhankelijk bent. Je kunt op iedere willekeurige node inloggen en het beheer van je hele cluster doen. Valt er een node uit, is er weinig aan de hand en kun je op een andere node verder beheren.

Alle functionaliteit zit ook in de gratis versie, er is functioneel geen enkel verschil tussen de gratis en betaalde versie. Hun businessmodel is gebaseerd op support, niet op licenties op de software as-such.

[Adlermann]

HollowGamer schreef op zondag 21 augustus 2016 @ 23:41:
Deze week wederom aan de slag geweest met QEMU (+ KVM) voor het testen van Windows 10 op een i5-6400 Skylake systeem met Arch op de laatste kernel.

Prestaties vallen nog tegen, weet niet of het de HDD (WD Black SATA3) is, een mount met barrier=0 lost het id.g.v. niet op.
Verder maak ik gebruik van QXL en Spice en nog wat tweaks hier en daar.

Mijn vermoeden gaat uit naar de GPU, aangezien Windows 10 daarin al wat meer op leunt dan zijn voortganger(s). Nu heb ik alleen geen ruimte meer voor het bijplaatsen van een GPU om deze toe te kennen aan de VM. Naam aan dat ik niet de interne Intel HD kan gebruiken? Zijn er andere mogelijkheden?

Ja hoor, je kan gewoon voor je host de igu gebruiken. Je dedicated gpu via passthrough naar de host.

Voor disk performance ervoor zorgen dat je virtio gebruikt.


Ik doe het zelf ook zo, gewoon gamen op een gevirtualiseerde windows.

[belrpr]

Ik ben bezig met mijn thuis netwerk te gaan upgraden:
Momenteel draai ik esxi 5.5 op

• Supermicro X8DTH-iF
• https://ark.intel.com/nl/...40-GHz-5_86-GTs-Intel-QPIIntel® Xeon® Processor E5620
• 48Gb ECC Registered DIMM
• Areca 1680 24 poort
• Mooi in een 4u behuizing. Dit omdat de koeling met 3x120mm fan kan worden gekoeld. Server is stil en hangt verticaal aan de muur.

Daarop draaien een aantal vms:

• Pfsense
• Windows server 2012R2
• # Windows 7 machines voor dingen te testen

Nu zou ik alles willen veranderen naar proxmox.
Dit voor:

• ZFS support zodat bitrot tot het verleden behoort.
  Ik heb namelijk alle dvd's omgezet naar mp4 en merk dat sommige dvd filmen niet meer afspelen.
• Web interface
• Gratis backup systeem
• Windows server (Plex, ...) vervangen door een linux vm of containers.

Vragen waar ik tegen aanloop:

• Welke "raid" kaart of kaarten kan ik nu het best gebruiken?
• Installeer ik proxmox of een RAIDZ volume van 2 raid kaarten. Hoeveel GB voorzie ik. Kan ik de andere ruimte nog gebruiken voor de zil & arc?
• Limiteer ik het geheugen van zfs of proxmox dat ze elkaar niet ambeteren.

[duiveltje666]

belrpr schreef op zaterdag 22 april 2017 @ 15:57:
Ik ben bezig met mijn thuis netwerk te gaan upgraden:

• Welke "raid" kaart of kaarten kan ik nu het best gebruiken?
• Installeer ik proxmox of een RAIDZ volume van 2 raid kaarten. Hoeveel GB voorzie ik. Kan ik de andere ruimte nog gebruiken voor de zil & arc?
• Limiteer ik het geheugen van zfs of proxmox dat ze elkaar niet ambeteren.
[/list]

Sowieso : Je kunt Proxmox rechtstreeks op een Raidz pool installen (root-on-zfs) vanuit de installer zelf .
Je kaarten moet je iig in een IT-mode zetten ( ZFS wil namelijk de volledige controle over je schijven , dus zonder dat de Raid-controller van je kaarten ook involved gaan worden) .

Limiteren is een kwestie van /etc/modprobe.d/zfs.conf aanmaken met daarin bijv de directive :
options zfs zfs_arc_max=4299967296 (4 GB RAM in mijn geval), saven en daarna rebooten..

[A1AD]

Of je neemt een mobo met genoeg onboard SATA aansluitingen. Geen gedoe met raid kaarten nodig.

Dat is nu juist 1 van de vele voordelen van ZFS

[Pantagruel]

A1AD schreef op zaterdag 22 april 2017 @ 19:18:
Of je neemt een mobo met genoeg onboard SATA aansluitingen. Geen gedoe met raid kaarten nodig.

Dat is nu juist 1 van de vele voordelen van ZFS

Met het beest van een moederbord dat hij heeft is t jammer om die in de wilgen te hangen.

Zie dat je een HBA op de kop tikt (fleebay) met een LSISAS3008 controller (IBM M1215 bijv) en flash deze naar IT mode zodat ZFS de volledige controle over de disks heeft. Als je gebruik blijft maken van virtualisatie (ESXi) dan kun je de HBA mbv passthrough door geven aan een storage VM die diskruimte serveert.

[unezra]

A1AD schreef op zaterdag 22 april 2017 @ 19:18:
Of je neemt een mobo met genoeg onboard SATA aansluitingen. Geen gedoe met raid kaarten nodig.

Dat is nu juist 1 van de vele voordelen van ZFS

Een HBA is geen RAID kaart.
Je wilt met ZFS absoluut geen RAID kaart, je wilt een HBA. Dat is niet per-se een goedkopere kaart, maar wel een kaart die gespecialiseerd is in 1 ding: loeisnel toegang verschaffen tot heel veel disks.

Ik draai onze stichting (en op kantoor de NAS van de testomgeving) op een LSI SAS 9207-8i. Die kaart is standaard voorzien van de ook door Pantagruel genoemde zgn. IT (Initiator Target) firmware. Ik heb nog even zitten kijken naar het reflashen van een kaart die daar niet oorspronkelijk mee is uitgerust maar vond dat toch te tricky. Het kan, het werkt, maar een kaart die door de fabrikant ook echt gemaakt is om in IT mode te draaien vind ik gevoelsmatig toch prettiger. (Het is alleen niet per-se de goedkoopste optie. Laatst bekende prijs van die LSI SAS 9207-8i was bijna 400 EUR...)

[Compizfox]

belrpr schreef op zaterdag 22 april 2017 @ 15:57:
Vragen waar ik tegen aanloop:

• Welke "raid" kaart of kaarten kan ik nu het best gebruiken?
• Installeer ik proxmox of een RAIDZ volume van 2 raid kaarten. Hoeveel GB voorzie ik. Kan ik de andere ruimte nog gebruiken voor de zil & arc?
• Limiteer ik het geheugen van zfs of proxmox dat ze elkaar niet ambeteren.

Je hebt voor ZFS geen RAID-controller nodig. Je onboard HBA voldoet. Sterker nog, je wil absoluut geen hardware-RAID want ZFS doet dat in software. Als je toch een RAID-controller neemt (omdat je bv. niet genoeg SATA-poorten onboard hebt) dan moet je zorgen dat je die controller in IT-mode zet zodat hij als 'domme' HBA fungeert.

ZIL/ARC doe je op een SSD. Als je ZFS-pool al op een SSD staat, heeft het geen zin om nog ZIL/ARC te gebruiken: de cache is dan net zo snel als de storage zelf, en daar heb je dus niks aan.

[A1AD]

unezra schreef op zaterdag 22 april 2017 @ 21:11:
[...]


Een HBA is geen RAID kaart.
Je wilt met ZFS absoluut geen RAID kaart, je wilt een HBA. Dat is niet per-se een goedkopere kaart, maar wel een kaart die gespecialiseerd is in 1 ding: loeisnel toegang verschaffen tot heel veel disks.

Ik draai onze stichting (en op kantoor de NAS van de testomgeving) op een LSI SAS 9207-8i. Die kaart is standaard voorzien van de ook door Pantagruel genoemde zgn. IT (Initiator Target) firmware. Ik heb nog even zitten kijken naar het reflashen van een kaart die daar niet oorspronkelijk mee is uitgerust maar vond dat toch te tricky. Het kan, het werkt, maar een kaart die door de fabrikant ook echt gemaakt is om in IT mode te draaien vind ik gevoelsmatig toch prettiger. (Het is alleen niet per-se de goedkoopste optie. Laatst bekende prijs van die LSI SAS 9207-8i was bijna 400 EUR...)

Waarom reageer jij op mijn bericht? Wij raden hier meestal aan om een raid kaart (populair kaartje en prijs kwaliteit is lang een m1015 geweest) naar IT mode te flashen.

Maar dat is dus gedoe en is de naam raid kaart bij deze wel de juiste benaming.

Maar waarom gedoe als je ook gewoon een mobo met genoeg sata poorten kan kiezen.
KISS heeft altijd mijn voorkeur.

Daarbij verbruiken die dingen redelijk wat. Toch ook niet onbelangrijk in een THUIS server
...

[Pantagruel]

A1AD schreef op zaterdag 22 april 2017 @ 23:22:
[...]
Waarom reageer jij op mijn bericht? Wij raden hier meestal aan om een raid kaart (populair kaartje en prijs kwaliteit is lang een m1015 geweest) naar IT mode te flashen.

Maar dat is dus gedoe en is de naam raid kaart bij deze wel de juiste benaming.

Maar waarom gedoe als je ook gewoon een mobo met genoeg sata poorten kan kiezen.
KISS heeft altijd mijn voorkeur.

Daarbij verbruiken die dingen redelijk wat. Toch ook niet onbelangrijk in een THUIS server
...

Rustig, mekaar niet meteen de kop af willen bijten.

Een SAS/SATA HBA van IR naar IT mode flashen is niet echt zwarte magie, een beetje googlefoo en je hebt wel een guide of howto van reddit/servethehome/hardocp/.. die redelijk fool-proof is (ok garanties zijn er nooit)

Het gros vd moederborden met een flinke zwik SATA ports onboard zijn doorgaans voorzien van de chipset gebonden SATA ports en een add-on controller (doorgaans LSI controllers). Er zijn wel wat (pro-) consumer grade bordjes die naast de 6x SATA van de chipset nog een extra 2 tot 4 SATA ports aanbieden via een Asmedia/Marvell controller. De Asmedia varianten werken doorgaans vlekkeloos onder *ux/*bsd, de Marvell is afhankelijk van de gebruikte chip.

De meest ideale oplossing zou zijn als Intel haar SATA controller op een losse insteekkaart zou aan bieden, een pure AHCI controller zonder verdere franje of dat Asmedia met een 8 a 10 port variant komt. (zonder gebruik te maken van een wazige port-multiplier en 8+ poorten door een dual port SATA controller te wrikken.)

Als je al uitslag krijgt bij het denken aan t flashen van firmware/bios dan is deze DeLock controller een optie (JMicron controller). Geen idee hoe t kaartje performed.

Extra SATA poorten is idd extra verbruik, persoonlijk lijkt mij een insteekkaart minder zuinig dan een on-board oplossing te zijn, dus tja je zult de lasten en de lusten moeten dragen.

[Lethalis]

Gaaf wat mensen hier allemaal draaien thuis.

Ik heb laatst bij wijze van experiment KVM gedraaid op een Intel NUC N2820 (eigenlijk heel zielige CPU). Maar ik was verbaasd hoe soepel ik PfSense en nog 2 andere Ubuntu VM's er op kon draaien met de Virtio drivers. Nu zit ik er ook aan te denken dit op een echte server te gaan draaien

Het lastigste is eigenlijk het managen van KVM, gezien ik Windows machines draai en eigenlijk alleen Linux op de server draai. Command line via SSH is wat omslachtig. En VNC vereist X op de server.

Heb al wat gelezen over X11 forwarding naar een Windows X11 server Een web interface als ovirt.org lijkt me ook handig, nadeel is alleen dat ik dan over moet op CentOS of Fedora (terwijl ik altijd Ubuntu gebruik).

[belrpr]

@Lethalis je zou proxmox kunnen draaien. Is debian gebaseerd dus dichter tegen ubuntu.

[FireDrunk]

Lethalis schreef op dinsdag 25 april 2017 @ 12:02:
Gaaf wat mensen hier allemaal draaien thuis.

Ik heb laatst bij wijze van experiment KVM gedraaid op een Intel NUC N2820 (eigenlijk heel zielige CPU). Maar ik was verbaasd hoe soepel ik PfSense en nog 2 andere Ubuntu VM's er op kon draaien met de Virtio drivers. Nu zit ik er ook aan te denken dit op een echte server te gaan draaien

Het lastigste is eigenlijk het managen van KVM, gezien ik Windows machines draai en eigenlijk alleen Linux op de server draai. Command line via SSH is wat omslachtig. En VNC vereist X op de server.

Heb al wat gelezen over X11 forwarding naar een Windows X11 server Een web interface als ovirt.org lijkt me ook handig, nadeel is alleen dat ik dan over moet op CentOS of Fedora (terwijl ik altijd Ubuntu gebruik).

Download Xming, zet X11 forwarding aan, vink in putty X Forwarding aan, en start virt-manager. Werkt prima

[DaRoot]

Hypervisor: Proxmox?

Kwam toevallig gisteravond een topic tegen waarin over Proxmox gesproken werd.
Heb nu thuis een Ubuntu server staan, die momenteel beetje filesharing / downloads / OpenVPN / Zabbix / wat andere webbased software draait.
Nu heb ik zelf ook naast de reguliere job een kleine onderneming in de IT (lees: particulieren / MKB helpen met ICT problemen, meest brede zin van het woord), dus ook wel eens besmette machines. Die wil ik dan liefst via gescheiden VLAN laten lopen (switches daarvoor zijn al aanwezig) en via een beperkte internetverbinding, dus een specifiek router/firewall OS lijkt mij daarvoor wel handig.
Verder draait mijn mailserver momenteel bij mijn vader thuis ivm de glasvezel daar, die wil ik eigenlijk ook wel weer thuis draaien.
Daarnaast wil ik qua filesharing ook wel wat meer mogelijkheden hebben (synchronisatie / backup naar die server bij mijn vader bijv.)
Ook wil ik in de nieuwe woning wat met domotica gaan doen, ben er nog niet uit welk systeem.
Verder wil ik ook videobewaking erop gaan draaien met 2 of 3 IP-cams. Daar heb ik ooit een mooi Opensource pakket voor gevonden (naam ff kwijt)

Hardware

De volgende hardware heb ik momenteel al in gebruik als server en werkt verder prima, wil graag deze set blijven gebruiken, maar als andere CPU / meer RAM nodig is, kan dat uiteraard wel aangepast worden:

#	Product	Prijs	Subtotaal
1	Intel Celeron G1610 Boxed	€ 50,63	€ 50,63
1	ASRock B75 Pro3-M	€ 0,-	€ 0,-
1	Samsung HD204UI, 2TB	€ 0,-	€ 0,-
1	WD Green WD15EADS, 1,5TB	€ 0,-	€ 0,-
1	6GB DDR3	--	--
Bekijk collectie Importeer producten		Totaal	€ 50,63

Virtuele machines

OS/Appliance	Functie
Je OS...	...en wat het doet

Foto's

Plaatjes zijn altijd leuk, maar volgen later nog.

Motivatie

Ben benieuwd naar jullie meningen. Ik hoor ook veel goede geluiden over Docker / containers, en dat schijnt net iets te zijn dat Proxmox niet ondersteunt, iig geen Docker.

[unezra]

DaRoot schreef op woensdag 10 mei 2017 @ 09:09:

Hypervisor: Proxmox?

Kwam toevallig gisteravond een topic tegen waarin over Proxmox gesproken werd.
Heb nu thuis een Ubuntu server staan, die momenteel beetje filesharing / downloads / OpenVPN / Zabbix / wat andere webbased software draait.
Nu heb ik zelf ook naast de reguliere job een kleine onderneming in de IT (lees: particulieren / MKB helpen met ICT problemen, meest brede zin van het woord), dus ook wel eens besmette machines. Die wil ik dan liefst via gescheiden VLAN laten lopen (switches daarvoor zijn al aanwezig) en via een beperkte internetverbinding, dus een specifiek router/firewall OS lijkt mij daarvoor wel handig.
Verder draait mijn mailserver momenteel bij mijn vader thuis ivm de glasvezel daar, die wil ik eigenlijk ook wel weer thuis draaien.
Daarnaast wil ik qua filesharing ook wel wat meer mogelijkheden hebben (synchronisatie / backup naar die server bij mijn vader bijv.)
Ook wil ik in de nieuwe woning wat met domotica gaan doen, ben er nog niet uit welk systeem.
Verder wil ik ook videobewaking erop gaan draaien met 2 of 3 IP-cams. Daar heb ik ooit een mooi Opensource pakket voor gevonden (naam ff kwijt)

Klinkt als een setup waarbij het gerechtvaardigd / leuk / interessant / de moeite is te werken met een NAS én 1 of meerdere hypervisors. Ben je meteen flexibel naar de toekomst omdat als je het goed in richt, je zowel je hypervisors als je storage eenvoudig kunt uitbreiden.

Hardware

De volgende hardware heb ik momenteel al in gebruik als server en werkt verder prima, wil graag deze set blijven gebruiken, maar als andere CPU / meer RAM nodig is, kan dat uiteraard wel aangepast worden:

#	Product	Prijs	Subtotaal
1	Intel Celeron G1610 Boxed	€ 50,63	€ 50,63
1	ASRock B75 Pro3-M	€ 0,-	€ 0,-
1	Samsung HD204UI, 2TB	€ 0,-	€ 0,-
1	WD Green WD15EADS, 1,5TB	€ 0,-	€ 0,-
1	6GB DDR3	--	--
Bekijk collectie Importeer producten		Totaal	€ 50,63

Virtuele machines

OS/Appliance	Functie
Je OS...	...en wat het doet

De G1610 is grofweg dezelfde CPU als die in een HP Microserver Gen8 zit. (Daar zit de G1610T in, de low-power variant.)
CPU doet het prima als je niet al te hoge eisen hebt.

6G geheugen is aan de krappe kant.

Thuis heb ik het volgende:

Hypervisors (Proxmox)
2x HP Microserver Gen8, 16G geheugen, 128G SSD

NAS (FreeNAS)
1x HP Microserver Gen8, 16G geheugen, 64G USB (OS), 4x5T HDD (data)

Op de hypervisors (Proxmox cluster) staan 2 of 3 LXC's lokaal, die doen DNS en DHCP en zorgen er voor dat basisfunctionaliteit nog werkt, ook als mijn NAS nog niet volledig geboot is en ik dus nog geen andere vm's kan starten. Alle overige vm's draaien via NFS op de NAS.

De hele bende is aan elkaar gehangen met een enkele 24 poorts Zyxel GS-1900 Layer 2 managed switch, waarbij de hypervisors ieder met 7x GBit Ethernet is aangeslotenen de NAS met 5x GBit Ethernet. (ILO is ook aangesloten vandaar het oneven aantal, iedere Microserver heeft een 4xGBit NIC er in zitten wat me 6xGBit per machine geeft.)

Dat is wat overdreven, je kunt voor zo'n setup prima toe met 2 poorten per machine, al word voor het heartbeat signaal van Proxmox wel aangeraden daar een apart, fysiek gescheiden, netwerk voor te gebruiken. (Maar dat hoeft dus niet.)

VLAN's doe ik (nog) niet aan, alles zit in 1 groot netwerk. Wel heb ik aparte subnetten voor diverse functies. VLAN's zitten in de planning, maar eigenlijk wil ik er een L3 netwerk van maken en daarvoor heb ik andere switches nodig. Ook wil ik die dubbel uitvoeren. Mgoed, ook daar, dat is way overdreven en vooral voor de leuk.

De setup met tenminste 1 hypervisor en 1 NAS is denk ik wel heel leuk en zinvol in jouw situatie.

Oh, kleine sidenote, het meest flexibel is gebruik maken van disk images (qcow2) en die in een directory opslaan op NFS. Ook als je toch lokaal 1 of meerdere vm's wilt draaien, zet ze in een directory als image. Dat migreert oneindig veel makkelijker. Juist met een disk image kun je live migreren naar andere storage, ook als die storage op een heel andere plek staat. (Zeg maar, Storage vMotion.)

Foto's

Plaatjes zijn altijd leuk, maar volgen later nog.

Motivatie

Ben benieuwd naar jullie meningen. Ik hoor ook veel goede geluiden over Docker / containers, en dat schijnt net iets te zijn dat Proxmox niet ondersteunt, iig geen Docker.

Proxmox heeft LXC, Linux Containers.
Hence the name, dat is container virtualisatie.

Voor een vergelijk tussen LXC en Docker:
https://robinsystems.com/...rs-comparison-lxc-docker/

[Vorkie]

...niet meer actueel....

[ Voor 100% gewijzigd door Vorkie op 19-10-2017 22:19 . Reden: Oude hardware ]

[DaRoot]

unezra schreef op woensdag 10 mei 2017 @ 09:39:
[...]


Klinkt als een setup waarbij het gerechtvaardigd / leuk / interessant / de moeite is te werken met een NAS én 1 of meerdere hypervisors. Ben je meteen flexibel naar de toekomst omdat als je het goed in richt, je zowel je hypervisors als je storage eenvoudig kunt uitbreiden.


[...]


De G1610 is grofweg dezelfde CPU als die in een HP Microserver Gen8 zit. (Daar zit de G1610T in, de low-power variant.)
CPU doet het prima als je niet al te hoge eisen hebt.

6G geheugen is aan de krappe kant.

Thuis heb ik het volgende:

Hypervisors (Proxmox)
2x HP Microserver Gen8, 16G geheugen, 128G SSD

NAS (FreeNAS)
1x HP Microserver Gen8, 16G geheugen, 64G USB (OS), 4x5T HDD (data)

Op de hypervisors (Proxmox cluster) staan 2 of 3 LXC's lokaal, die doen DNS en DHCP en zorgen er voor dat basisfunctionaliteit nog werkt, ook als mijn NAS nog niet volledig geboot is en ik dus nog geen andere vm's kan starten. Alle overige vm's draaien via NFS op de NAS.

De hele bende is aan elkaar gehangen met een enkele 24 poorts Zyxel GS-1900 Layer 2 managed switch, waarbij de hypervisors ieder met 7x GBit Ethernet is aangeslotenen de NAS met 5x GBit Ethernet. (ILO is ook aangesloten vandaar het oneven aantal, iedere Microserver heeft een 4xGBit NIC er in zitten wat me 6xGBit per machine geeft.)

Dat is wat overdreven, je kunt voor zo'n setup prima toe met 2 poorten per machine, al word voor het heartbeat signaal van Proxmox wel aangeraden daar een apart, fysiek gescheiden, netwerk voor te gebruiken. (Maar dat hoeft dus niet.)

VLAN's doe ik (nog) niet aan, alles zit in 1 groot netwerk. Wel heb ik aparte subnetten voor diverse functies. VLAN's zitten in de planning, maar eigenlijk wil ik er een L3 netwerk van maken en daarvoor heb ik andere switches nodig. Ook wil ik die dubbel uitvoeren. Mgoed, ook daar, dat is way overdreven en vooral voor de leuk.

De setup met tenminste 1 hypervisor en 1 NAS is denk ik wel heel leuk en zinvol in jouw situatie.

Oh, kleine sidenote, het meest flexibel is gebruik maken van disk images (qcow2) en die in een directory opslaan op NFS. Ook als je toch lokaal 1 of meerdere vm's wilt draaien, zet ze in een directory als image. Dat migreert oneindig veel makkelijker. Juist met een disk image kun je live migreren naar andere storage, ook als die storage op een heel andere plek staat. (Zeg maar, Storage vMotion.)


[...]


Proxmox heeft LXC, Linux Containers.
Hence the name, dat is container virtualisatie.

Voor een vergelijk tussen LXC en Docker:
https://robinsystems.com/...rs-comparison-lxc-docker/

Bedankt voor je uitgebreide antwoord!
Ik wil nog niet direct met aparte NAS gaan werken, liefst alles op 1 server.
Misschien is voor mijn situatie aparte subnetten ook wel voldoende ipv complete VLAN's bedenk ik me nu.
Heb nog wel een SSD liggen die ik als OS-disk kan gaan gebruiken. Extra GBit LAN poort erbij, en geheugen uitbreiden.

[idef1x]

Laat ik mijn set-up ook maar eens plaatsen dan:

Hypervisor

Een kale Ubuntu 16.04 server met een 6 disk ZFS RAIDZ2 pool. De server start op van een 16GB USB stick. Ik gebruik voornamelijk LXD (Linux Containers), maar voor de enkele keer dat ik een windows VM nodig heb
(of een complete Linux VM), dan slinger ik KVM aan.
De server zelf zend zelf eens per week (is redelijk statisch) zfs snapshots naar een backup Ubuntu 16.04 ZFS server die eerst wakker wordt gemaakt (WOL) om na de backup weer in slaap gezet te worden (al dan niet na een maandelijkse scrub sessie).

Hardware

#	Product	Prijs	Subtotaal
1	Intel Celeron G1840 Boxed	€ 36,-	€ 36,-
1	Gigabyte GA-H97N-WIFI	€ 0,-	€ 0,-
6	WD Green HDD, 3TB	€ 104,89	€ 629,34
1	Fractal Design Node 304 Wit	€ 76,-	€ 76,-
6	Sharkoon SATA Kabel	€ 0,-	€ 0,-
1	Sandisk Cruzer Ultra Fit 16GB Zilver	€ 9,14	€ 9,14
1	Kingston KVR1333D3N9/8G	€ 57,95	€ 57,95
1	be quiet! Straight Power 10 400W	€ 74,95	€ 74,95
Bekijk collectie Importeer producten		Totaal	€ 883,38

Verbruik niet echt gemeten, maar kwam rond de 45W uit bij normaal gebruik

Virtuele machines

OS/Appliance	Functie
dns	PiHole DNS + dnsmasq DHCP server
NAS	SAMBA server,syncthing
Emby	Multimedia server
Zabbix	Monitoring
wiki	Mijn eigen dokuwiki wiki
Cloudbackup	Backup to cloud (momenteel STACK) met duplicity
apt-proxy	APT proxy server voor updates caching
vpn	OpenVPN server
leecher	Sickrage,bittorrent (transmission),Couchpotato
Hurricane	IPv6 connectiviteit daar Ziggo dat nog steeds niet leverd
Calibre	Calibre ebook webserver

Motivatie

De wens was een zo simpel mogelijke zo kaal mogelijke NAS te bouwen met alles wat maar enigsinds in een VM te stoppen valt in een VM draaien met zo min mogelijk overhead.
Wanneer de NAS stuk zou gaan, kan ik de backup server opstarten en zonder al teveel moeite alle containers weer starten.

[unezra]

DaRoot schreef op woensdag 10 mei 2017 @ 10:30:
[...]

Bedankt voor je uitgebreide antwoord!

Graag gedaan.

Ik wil nog niet direct met aparte NAS gaan werken, liefst alles op 1 server.
Misschien is voor mijn situatie aparte subnetten ook wel voldoende ipv complete VLAN's bedenk ik me nu.
Heb nog wel een SSD liggen die ik als OS-disk kan gaan gebruiken. Extra GBit LAN poort erbij, en geheugen uitbreiden.

Waarom wil je niet meteen met een NAS aan de slag? Een eenvoudige NAS is een ontzettend goede investering en het fijne is dat je meteen je Windows shares er op kunt laten draaien.

Dat is ook wat ik thuis doe.
FreeNAS bied NFS aan mijn Proxmox cluster, maar SMB/CIFS aan mijn Windows machines. Juist door storage laag te leggen, haal ik wat afhankelijkheden weg.

SMB/CIFS via een vm is relatief traag en je hebt er een compleet levende hypervisor + vm voor nodig. Extra laag relatief nutteloze complexiteit.

SSD als OS disk is bij Proxmox niet heel nuttig to be honest. Ik weet ook eigenlijk niet goed waarom ik die keuze heb gemaakt. Het kan prima op een reguliere disk. Snelheid is niet relevant op je hypervisor. (De grap is dat mijn storagelaag gewoon HDD's zijn.)

Overigens, met mijn stichting heb ik dus wel lokale storage. Daar is maar 1 reden voor: Geld.
Een 2U machine hosten kost geld en de hardware zelf is ook niet bepaald gratis. 2 van die machines levert de dubbele lasten op. Wel is die machine voorbereid op migratie naar centrale storage. Het is dé reden waarom we met images in directories werken.

[Pantagruel]

unezra schreef op woensdag 10 mei 2017 @ 12:15:
[...]


Graag gedaan.


[...]


Waarom wil je niet meteen met een NAS aan de slag? Een eenvoudige NAS is een ontzettend goede investering en het fijne is dat je meteen je Windows shares er op kunt laten draaien.

Dat is ook wat ik thuis doe.
FreeNAS bied NFS aan mijn Proxmox cluster, maar SMB/CIFS aan mijn Windows machines. Juist door storage laag te leggen, haal ik wat afhankelijkheden weg.

SMB/CIFS via een vm is relatief traag en je hebt er een compleet levende hypervisor + vm voor nodig. Extra laag relatief nutteloze complexiteit.

Omschrijf relatief traag, in de realiteit zal de beperking bij de netwerkkaart (Gbit) liggen en zelden bij de storage hardware (single HDD kan GBit NIC verzadigen). 10Gbit voor de thuis situatie zal zelden voorkomen.

Zelf draai ik ESXi als hypervisor (USB stick) en de vm's vanaf een NVMe SSD. De storage vm en de andere vm's hangen aan dezelfde virtual switch (20 GBit virt ). De tests (Ubuntu 16.04.2 LTS vm's, CIFS) die ik heb gedaan (NVMe naar SSD en vice versa) tussen 2 vm's lieten zien dat de doorvoer schommelde tussen zo'n 450 a 500 MiB/sec (max vd hardware). Een verbinding naar 'buiten' (Gbit NIC) kwam niet verder dan de ca. 100 MiB/sec (ander Ubuntu machine).

SSD als OS disk is bij Proxmox niet heel nuttig to be honest. Ik weet ook eigenlijk niet goed waarom ik die keuze heb gemaakt. Het kan prima op een reguliere disk. Snelheid is niet relevant op je hypervisor. (De grap is dat mijn storagelaag gewoon HDD's zijn.)

Idd jammer, een kleinere HDD voldoet ook.

Overigens, met mijn stichting heb ik dus wel lokale storage. Daar is maar 1 reden voor: Geld.
Een 2U machine hosten kost geld en de hardware zelf is ook niet bepaald gratis. 2 van die machines levert de dubbele lasten op. Wel is die machine voorbereid op migratie naar centrale storage. Het is dé reden waarom we met images in directories werken.

[Daantje20]

Hypervisor

Voor het leren en studeren voor MS Certificaten wilde ik graag een simpele oplossing, eentje die niet veel tijd kost om op te bouwen en verder stabiel werkt. Ook moest het zo min mogelijk aan intern geheugen gebruiken. Daarnaast liefst Open Source OS zodat ik niet telkens na verlopen van bijvoorbeeld proefperiode opnieuw kan beginnen. Gezien de hardware kan het net, ik ben nog bezig met de VM's in te richten.
Wilde wel graag recente software en grootste kans op ondersteuning van Windows 10 en daarom Ubuntu Server 17.04 gekozen met KVM als Hypervisor (kan later upgraden naar een een LTS van volgend jaar).

Hardware

#	Product	Prijs	Subtotaal
1	Intel Core i5 750 Boxed	€ 0,-	€ 0,-
1	Gigabyte GA-P55-UD4	€ 0,-	€ 0,-
1	MSI GeForce GT 710 1GD3H LP	€ 31,50	€ 31,50
1	Samsung Spinpoint F3 HD103SJ, 1TB	€ 0,-	€ 0,-
1	Seagate Barracuda 7200.10 ST3160215AS, 160GB	€ 0,-	€ 0,-
1	WD Blue WD10EZEX, 1TB	€ 48,94	€ 48,94
1	Chieftec Bravo BH-01	€ 0,-	€ 0,-
1	Iiyama ProLite E2201W Zwart	€ 0,-	€ 0,-
1	Scythe Ninja 3	€ 0,-	€ 0,-
1	Corsair XMS CMX8GX3M2A1333C9	€ 66,95	€ 66,95
1	Hiper Type R 480W	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 147,39

Virtuele machines

OS/Appliance	Functie
Windows 10 Enterprise	Oefen client
DC01 (Windows Server 2012 R2 Standard)	DC+DHCP+DNS
Ubuntu 16.04.2	Plex

Foto's

Helaas geen foto's.

Motivatie

Voor mijn doeleinden is het een prima setup. Er is een semi-veiligheid van data door de Software RAID1 waar de 2x 1TB in draaid. En het voordeel dat als dit alles mocht falen dat ik snel een Linux (hoeft niet perse Ubuntu te zijn) machine kan opzetten en de virtuele machines kan migreren. En dat alles op "leftover" hardware met Host software welke altijd blijft werken.

[unezra]

Daantje20 schreef op dinsdag 16 mei 2017 @ 14:16:

Hypervisor

Voor het leren en studeren voor MS Certificaten wilde ik graag een simpele oplossing, eentje die niet veel tijd kost om op te bouwen en verder stabiel werkt. Ook moest het zo min mogelijk aan intern geheugen gebruiken. Daarnaast liefst Open Source OS zodat ik niet telkens na verlopen van bijvoorbeeld proefperiode opnieuw kan beginnen. Gezien de hardware kan het net, ik ben nog bezig met de VM's in te richten.
Wilde wel graag recente software en grootste kans op ondersteuning van Windows 10 en daarom Ubuntu Server 17.04 gekozen met KVM als Hypervisor (kan later upgraden naar een een LTS van volgend jaar).

Wat is je reden om te gaan voor KVM op Ubuntu in plaats van voor iets veel gebruiksvriendelijkers als Proxmox?

"Zo min mogelijk intern geheugen" en "virtualisatie" gaan niet echt samen. Voor je OS ben je altijd wel wat geheugen kwijt en of je nu Proxmox kiest of Ubuntu met KVM maakt niet zo veel uit. Het gebruikte geheugen gaat vnl in je vm's zitten.

De 8G die je er in wilt zetten (als ik het goed zie), is krap. Ga minimaal voor 16G of 32G, zeker als je met Microsoft clusters wilt bouwen.

Het leuke van KVM (of je dat nu op Ubuntu of via Proxmox draait), is dat RedHat er drivers voor heeft zodat je VirtIO kunt gebruiken. (En dat wil je, virtio scheelt enorm qua snelheid.)

[Daantje20]

unezra schreef op dinsdag 16 mei 2017 @ 14:34:
[...]


Wat is je reden om te gaan voor KVM op Ubuntu in plaats van voor iets veel gebruiksvriendelijkers als Proxmox?

"Zo min mogelijk intern geheugen" en "virtualisatie" gaan niet echt samen. Voor je OS ben je altijd wel wat geheugen kwijt en of je nu Proxmox kiest of Ubuntu met KVM maakt niet zo veel uit. Het gebruikte geheugen gaat vnl in je vm's zitten.

De 8G die je er in wilt zetten (als ik het goed zie), is krap. Ga minimaal voor 16G of 32G, zeker als je met Microsoft clusters wilt bouwen.

Het leuke van KVM (of je dat nu op Ubuntu of via Proxmox draait), is dat RedHat er drivers voor heeft zodat je VirtIO kunt gebruiken. (En dat wil je, virtio scheelt enorm qua snelheid.)

De keuze voor KVM en headless zorgt zeker wel voor lager RAM gebruik, de type 1 hypervisor VMware ESXI had nog 1GB in gebruik en mijn huidige setup doet tussen de 350-450MB ongeveer. En het management is zeker simpel te noemen met virt-manager via Putty+Xming op mijn Windows machine.
Aangezien Proxmox naast Hypervisor ook nog een mooie interface via http moet presenteren kost dat ook meer RAM dan deze oplossing. Daarbij heb je voor stabiele updates een abbo nodig bij Proxmox en bij Ubuntu krijg je (nu 9 maanden met deze release) gewoon alle updates.
Ik kijk ook wel op internet of ik ergens een setje geheugen zie dat genoeg lijkt op wat ik heb, maar geheugen is niet meer zo goedkoop als het ooit was geworden.

[unezra]

Daantje20 schreef op dinsdag 16 mei 2017 @ 14:55:
[...]
De keuze voor KVM en headless zorgt zeker wel voor lager RAM gebruik, de type 1 hypervisor VMware ESXI had nog 1GB in gebruik en mijn huidige setup doet tussen de 350-450MB ongeveer. En het management is zeker simpel te noemen met virt-manager via Putty+Xming op mijn Windows machine.
Aangezien Proxmox naast Hypervisor ook nog een mooie interface via http moet presenteren kost dat ook meer RAM dan deze oplossing.

Dat valt heel erg mee. De web interface is licht, apache heeft weinig geheugen nodig. Daarbij heb je geen afhankelijkheid meer van een 3rd party applicatie op je desktop en heb je genoeg aan alleen een browser.

De impact op geheugen is dusdanig nihil, dat ik daar je keuze niet van af zou laten hangen.

ESXi vergelijken met Ubuntu/KVM of Debian/Proxmox is niet logisch.

Daarbij heb je voor stabiele updates een abbo nodig bij Proxmox en bij Ubuntu krijg je (nu 9 maanden met deze release) gewoon alle updates.

Er zijn 2 repo's voor non-subscribers toegankelijk, waarvan 1 testing is maar de ander gewoon stable.
Die stable repo is dusdanig stabiel, dat die prima geschikt is voor productie.

Je hebt alleen geen toegang tot de *nog* verder doorgeteste repo maar de vraag is in hoeverre het gebruik daarvan zinvol is zolang je d'r geen heel bedrijf aan hangt. (En ook die repo krijg je voor 5 EUR per CPU per maand toegang toe.)

Ik kijk ook wel op internet of ik ergens een setje geheugen zie dat genoeg lijkt op wat ik heb, maar geheugen is niet meer zo goedkoop als het ooit was geworden.

Hoe dan ook, 16G is wel zo'n beetje het minimum om leuk met virtualisatie te kunnen spelen.
Is geheugen het probleem, kijk of je een 2e hands DL-series of ML-series op de kop kunt tikken. Maakt een bak herrie maar je hebt dan opeens wel een prima en relatief betaalbare labserver voor weinig geld.

[kronolith]

Hypervisor

ESXi 6.5. Ik heb eerst een tijdje met Proxmox gedraaid, maar dat was bij mij niet stabiel. Bijna dagelijks liep de boel krakend vast en moest ik een harde reset uitvoeren om het weer draaiend te krijgen. Geen idee waar het aan lag; ik heb er ook weinig tijd aan besteed om het op te lossen. In plaats daarvan ESXi geprobeerd en dat draait nu alweer enkele weken probleemloos. Zeer tevreden!

Hardware

#	Product	Prijs	Subtotaal
1	ASRock J3160DC-ITX	€ 128,-	€ 128,-
2	Seagate Barracuda Compute 2,5", 2TB	€ 93,-	€ 93,-
1	Silverstone Milo ML05B	€ 49,95	€ 49,95
1	Corsair SCMSO8GX3M1A1600C11	€ 51,76	€ 51,76
1	Crucial m4 SSD 2.5" 256GB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 322,71

Ik weet het, geen hardware met veel "oompf'', maar het doet wat het moet doen en volstaat uitstekend. ESXi staat geïnstalleerd op de SSD. Totale overkill, ik weet het, maar deze lag nog ongebruikt in de kast. Gemiddelde verbruik is ongeveer 15 watt. Ik ben er inmiddels wel achter dat 8gb geheugen aan de krappe kant is, hier komt binnenkort nog 8gb bij zodat ik een totaal heb van 16gb.

Virtuele machines

OS/Appliance	Functie
Ubuntu Server 17.04	Nextcloud Server
Ubuntu Server 17.04	NZBget, Radarr, Sonarr, Plex server
Ubuntu Server 17.04	NAS/Samba share
Ubuntu Server 17.04	Test VM. Staat 99,9% van de tijd uit.

De Nextcloud VM host belangrijke documenten die ik vervolgens altijd en overal kan bereiken. Ook voorziet hij in automatische backup van foto's vanaf zowel mijn als mijn vriendin's telefoon. De NAS/Samba VM wordt voornamelijk gebruikt als backup van mijn Raspberry Pi die in de meterkast hangt en mijn domoticasysteem (Home Assistant) host. Dagelijks worden alle config bestanden gebackupped naar de NAS.

Motivatie

In de toekomst wil ik mijn server verhuizen naar de meterkast, waardoor hij ook mijn Raspberry Pi kan vervangen door een Home Assistant VM te draaien.

Tja, verder eigenlijk weinig over te vertellen! Nogmaals, hij doet wat hij moet doen en ik ben er uitermate tevreden over!

[unezra]

kronolith schreef op dinsdag 16 mei 2017 @ 19:27:

Hypervisor

ESXi 6.5. Ik heb eerst een tijdje met Proxmox gedraaid, maar dat was bij mij niet stabiel. Bijna dagelijks liep de boel krakend vast en moest ik een harde reset uitvoeren om het weer draaiend te krijgen. Geen idee waar het aan lag; ik heb er ook weinig tijd aan besteed om het op te lossen. In plaats daarvan ESXi geprobeerd en dat draait nu alweer enkele weken probleemloos. Zeer tevreden!

Ik moet zeggen dat me dat ontzettend verrast.
Thuis draai ik nu volgens mij een jaar of 2 op Proxmox, sinds een paar maanden op een 2-node cluster.
Mijn stichting draait meer dan een jaar volledig stabiel op Proxmox.

Nadeel van ESXi vind ik dat het extreem beperkt is in zijn functionaliteit ten opzichte van Proxmox. (Daarnaast is het niet open source, maar voor het gebruik hoeft dat niet per-sé een nadeel te zijn.)

[FireDrunk]

Wat noem jij extreem beperkt?

[unezra]

FireDrunk schreef op woensdag 17 mei 2017 @ 10:38:
Wat noem jij extreem beperkt?

Geen HA, beperkt in je storage mogelijkheden (ZFS, lvm, etc), geen ingebouwde backupmogelijkheden, etc. https://www.proxmox.com/en/proxmox-ve/features

Zodra je leuke dingen met VMWare wilt doen zit je vast aan vSphere en kost het je minimaal een paar honderd EUR voor Essentials. Heb je nog geen storage v-motion. (Uberhaupt geen v-motion.)

Proxmox kan dat wel. Ook live.

[FireDrunk]

unezra schreef op woensdag 17 mei 2017 @ 13:22:
[...]


Geen HA, beperkt in je storage mogelijkheden (ZFS, lvm, etc), geen ingebouwde backupmogelijkheden, etc. https://www.proxmox.com/en/proxmox-ve/features

Zodra je leuke dingen met VMWare wilt doen zit je vast aan vSphere en kost het je minimaal een paar honderd EUR voor Essentials. Heb je nog geen storage v-motion. (Uberhaupt geen v-motion.)

Proxmox kan dat wel. Ook live.

Voor een enkel uitgevoerde thuisserver is dat allemaal niet van belang. Op ZFS na misschien. Ingebouwde backup is leuk, maar erg beperkt. Voor ESXi zijn daar ook wel prima alternatieven voor.

Voor een thuisnetwerk met meerdere bakken is het wel leuk.

(Ik ben het zelf ook aan het overwegen, icm Ceph )

[CaptJackSparrow]

Beetje stil hier. Of is er ergens nog een ander algemeen topic over virtualisatie?

Kan iemand iets zinnigs zeggen (liefst uit echte eigen ervaring met de concrete situaties natuurlijk) over een evt. verschil in RAM behoefte tussen de twee volgende constructies waarbij er zowel een W10 als een pfSense installatie op één 'harde' machine draait?

1. ESXi met twee VMs. Eentje met W10 en een andere met pfSense.

2. Gewone niet-virtuele Windows 10 met daarin VirtualBox of VMware Workstation waarin de pfSense installatie draait.

Zou die laatste minder RAM vergen? En zou die met 4GB toe kunnen? Als bijv. de pfSense VM 0,5GB zou krijgen hoeveel zou er dan ongeveer van de resterende 3,5GB overblijven voor W10 nadat de hypervisor zijn deel heeft ingepikt? De W10 zou alleen maar lichte servertaken en verder vooral nog wat internetbrowsen hoeven te vervullen.

[FireDrunk]

ESXi is ~400-500MB aan RAM. Rest kan je vrij inzetten. Meer is altijd beter.

[unezra]

FireDrunk schreef op donderdag 22 maart 2018 @ 21:29:
ESXi is ~400-500MB aan RAM. Rest kan je vrij inzetten. Meer is altijd beter.

Heeft 6.5 niet meer geheugen nodig dan 5.5 en lager?
(Vanwege de volledige web GUI die er in zit.)

Niet dat ik vind dat iets anders dan 6.5 een optie is als je voor ESXi wilt gaan...

[tim427]

Ik weet niet of dit draadje nog leeft, maar zit met het volgende

Heb inmiddels aardig wat hardware bij elkaar weten sprokkelen:
6x Dell R720 met 64GB RAM, 6*4TB SAS schijfjes, 10Gbps glaskaarten
1x Quanta LB6M met 24 SFP+ poorten

In de klassieke virtualisatie setup bouwt men een storage-cluster + een compute-cluster. Aangezien alle machines én leuk zijn voor storage én leuk zijn voor rekenen wil ik alle machines in een hyperconverged setup gaan draaien.

Nu zit ik zelf te denken aan oVirt (GlusterFS + KVM), maar sta natuurlijk open voor ideeën

Kortom: stel je heb bovenstaande thuis staan, hoe zou jij dat inzetten/gebruiken?