Het grote ESXi/vSphere Topic

[FireDrunk]

Prima keuzes! Ik weet niet zeker of er nou een standaard ATX voeding in die kast ging...

http://www.silverstonetek...ucts/ds380/ds380-back.jpg

Power supply SFX, SFX-L PSU (sold separately)

Nee dus

[ Voor 20% gewijzigd door FireDrunk op 26-01-2017 08:25 ]

[k1n9_n01z3]

FireDrunk schreef op dinsdag 24 januari 2017 @ 15:52:
Buiten dat het unsupported is, vraag ik me ook echt af of het verstandig is... Volgens mij is SMB zo async als de pest

ws 2012r2 ent vm, werkte opzich wel ok geen performance getest.

http://netwanlan.com/2012...nto-vsphere-as-nfs-share/

edit: Verkeerde link

Hmm misschien toch wel de goede link, aangezien NFS sharing bij mij gewoon aanstaat, heb ik al die tijd gewoon nfs gedraaid dan denk ik .

[ Voor 17% gewijzigd door k1n9_n01z3 op 26-01-2017 20:05 ]

[iMars]

FireDrunk schreef op donderdag 26 januari 2017 @ 08:25:
Prima keuzes! Ik weet niet zeker of er nou een standaard ATX voeding in die kast ging...

http://www.silverstonetek...ucts/ds380/ds380-back.jpg


[...]


Nee dus

Zie nu ook dat 1 v/d 8 bays (3e van boven) niet gebruikt kan worden als er een wat grotere kaart in gaat (aka raid controller).

Hmmmm keuzes keuzes keuzes

[FireDrunk]

k1n9_n01z3 schreef op donderdag 26 januari 2017 @ 19:54:
[...]


ws 2012r2 ent vm, werkte opzich wel ok geen performance getest.

http://netwanlan.com/2012...nto-vsphere-as-nfs-share/

edit: Verkeerde link

Hmm misschien toch wel de goede link, aangezien NFS sharing bij mij gewoon aanstaat, heb ik al die tijd gewoon nfs gedraaid dan denk ik .

Ik dacht al...

[k1n9_n01z3]

FireDrunk schreef op vrijdag 27 januari 2017 @ 10:17:
[...]


Ik dacht al...

Ok maar de originele (nf) datastore heeft het dus niet gered bij de upgrade van 6.0u0 naar 6.5.

Dat is meer waar het om gaat.

Zijn er eigelijk mensen die van openstack komen ?

[|sWORDs|]

k1n9_n01z3 schreef op vrijdag 27 januari 2017 @ 20:44:
[...]


Ok maar de originele (nf) datastore heeft het dus niet gered bij de upgrade van 6.0u0 naar 6.5.

Dat is meer waar het om gaat.

Zijn er eigelijk mensen die van openstack komen ?

Probeer eens een unmount en een rejoin van AD, dan opnieuw mounten.

[k1n9_n01z3]

|sWORDs| schreef op vrijdag 27 januari 2017 @ 23:05:
[...]

Probeer eens een unmount en een rejoin van AD, dan opnieuw mounten.

Ik draai geen AD, ten tweede was de NFS sharename ineens anders. Heb het opgelost door handmatig de vm's te importeren, dat werkt dan wel weer een stuk beter bij 6.5 IMHO.

[CeedeBee]

Vandaag gestart met installeren van esxi 6.5, meteen een vraag natuurlijk:
ik heb twee nics waaraan ik twee virtual switches heb. Nou wil ik graag via de webinterface de standaard naam van de portgroup aanpassen, van "VM network" naar iets anders.
Ik vindt echter nergens deze mogelijkheid, moet dit via de web interface mogelijk zijn? En waar is dit dan te doen?

[iMars]

Vraagje: Ik heb een tweede ESXi host in mijn netwerk geplaatst. Nu wil ik kijken hoe het werkt (lees: wat het makkelijkst is) om een VM te verplaatsen op een andere host.

Nu kwam ik tegen een tool genaamd ovftool

iMars:VMware OVF Tool marcel$ ./ovftool -ds=Datastore vi://root@ESX-1/PiHole vi://root@ESX-2

Daarmee heb ik een test VM verplaatst van ESX-1 naar ESX-2.
Maar als ik op ESX-2 vervolgens de VM aan zet, kan ik niet vanuit de console connecten naar de VM:

De VM werkt verder gewoon prima, ik kan er naar ssh'n:

iMars:VMware OVF Tool marcel$ ssh pihole
marcel@pihole's password: 

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
You have new mail.
Last login: Sun Jan 29 22:19:39 2017
marcel@Pi-Hole:~$ 

Het enige verschil tussen beide ESXi hosts is dat op ESX-1 op de SSD is geïnstalleerd waar ook de datastore op zit, en op ESX-2 het op een usb stick is geïnstalleerd en de SSD 100% voor de datastore is.

Edit: ik zie nu dat het waarschijnlijk niks te maken heeft met het verhuizen van de VM's.
Ik installeerde een nieuwe VM, en daar werkt het ook niet bij

[ Voor 10% gewijzigd door iMars op 30-01-2017 12:14 ]

[iMars]

iMars schreef op maandag 30 januari 2017 @ 11:39:
Vraagje: Ik heb een tweede ESXi host in mijn netwerk geplaatst. Nu wil ik kijken hoe het werkt (lees: wat het makkelijkst is) om een VM te verplaatsen op een andere host.

Nu kwam ik tegen een tool genaamd ovftool

iMars:VMware OVF Tool marcel$ ./ovftool -ds=Datastore vi://root@ESX-1/PiHole vi://root@ESX-2

Daarmee heb ik een test VM verplaatst van ESX-1 naar ESX-2.
Maar als ik op ESX-2 vervolgens de VM aan zet, kan ik niet vanuit de console connecten naar de VM:
[afbeelding]
De VM werkt verder gewoon prima, ik kan er naar ssh'n:

iMars:VMware OVF Tool marcel$ ssh pihole
marcel@pihole's password: 

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
You have new mail.
Last login: Sun Jan 29 22:19:39 2017
marcel@Pi-Hole:~$ 

Het enige verschil tussen beide ESXi hosts is dat op ESX-1 op de SSD is geïnstalleerd waar ook de datastore op zit, en op ESX-2 het op een usb stick is geïnstalleerd en de SSD 100% voor de datastore is.

Edit: ik zie nu dat het waarschijnlijk niks te maken heeft met het verhuizen van de VM's.
Ik installeerde een nieuwe VM, en daar werkt het ook niet bij
[afbeelding]

Opgelost door het opnieuw te installeren... raar

[|sWORDs|]

Faddermakker schreef op dinsdag 31 januari 2017 @ 07:47:
Nieuw jaar nieuw kansen. Ik moet dit jaar weer mijn VCP verlengen maar wil voor mijn VCIX gaan. Mijn huidige homelab is nogal uitgekleed en outdated dus ben aan het kijken naar iets nieuws.
Aangezien VSAN tegenwoordig intergraal onderdeel is van het VCP/VCAP wil ik een homelab met VSAN gaan bouwen. Ik zit alleen een beetje met de CPU requirements(en dus ook de kosten). Op onderstaande lijst missen inderdaad de storagecomponenten maar ik zat te denken aan een nmve ssd icm sata3 ssd.

#	Product	Prijs	Subtotaal
3	Intel Pentium G4560 Boxed	€ 58,80	€ 176,40
3	Shuttle XPC slim Barebone DH170	€ 234,90	€ 704,70
3	Crucial CT204864BF160B	€ 159,50	€ 478,50
Bekijk collectie Importeer producten		Totaal	€ 1.359,60

VSAN met 3 nodes, SATA en Gbit is niet ideaal. Wat wil je met VSAN doen? Er zijn andere opties, je zou kunnen nesten of voor een single node VSAN gaan.

cooLopke schreef op dinsdag 31 januari 2017 @ 00:18:
[...]


Dag swords, dat klopt volledig. Heb hem nu terug op HW10 geplaatst en het probleem is opgelost. Ik ga het zo laten. Mocht iemand het vreemde probleem kunen oplossen, mag je me altijd een berichtje sturen

Thx voor de hulp!

Het enige wat ik nu nog ondervind is dat er toch een vertraging zit op de freenas vm. Ik doe een copy naar mijn fysieke server. Daar haal ik de max speed uit Gbit lijn, terwijl dit nested 20% minder is, rond de 80MB/s. Is dit normaal,of een instelling ergens?

edit: ik heb alles getest powerline, wifi, kabel en alle write acties zijn precies 20-30% . Iemand tips? Ik heb wel op de dataset in freenas aname op "On" staan.

Er zijn meer HW levels, misschien zit er eentje tussen in (11 of 12) die de vertraging niet heeft en het probleem ook niet.

Je hebt het over nested, maar nested is normaal gesproken een hypervisor in een hypervisor, ik denk dat je virtueel bedoeld? Hier is virtueel gewoon identiek aan fysiek, maar ik heb bij Freenas nog niet gekeken. Hoe is het CPU en Memory gebruik bij die 80MB/s? De enige BSD machine die ik gebruik is pfSense, echter is mijn internet 'maar' 62.5MB/s (500/500).
Is er trouwens een specifieke reden waarom je Freenas neemt en niet XPenlogy?

[ Voor 22% gewijzigd door |sWORDs| op 31-01-2017 10:21 ]

[FireDrunk]

Waarom zou je voor een homelab geen 3 node VSAN met sata en GBit aanraden? De kans dat je Disk Queues vollopen is vrij klein toch? Tenzij je als een idioot VM's gaat inspoelen en/of een heel bizar IO patroon hebt.

Buiten dat, ben ik er persoonlijk niet zo bang voor?

EDIT: Ik zie zelfs dat hij voor NVME + SATA SSD wil gaan, dan is een te ondiepe Queue Depth helemaal geen issue meer.

[ Voor 18% gewijzigd door FireDrunk op 31-01-2017 10:23 ]

[FDMK]

Met het lab wil ik primair een volledige VSAN(dedup, r5 etc) kunnen simuleren en daarmee ook shared storage over de nodes heen. Daarnaast allerlei configuraties kunnen bouwen en functies verifiëren(zo leer ik het beste).
Het is trouwens niet alleen SATA3 hè, ik wil ook in alle nodes een nvme ssd proppen of heeft die ook last van lagere Quees tov enterprise spul?

[|sWORDs|]

FireDrunk schreef op dinsdag 31 januari 2017 @ 10:22:
Waarom zou je voor een homelab geen 3 node VSAN met sata en GBit aanraden? De kans dat je Disk Queues vollopen is vrij klein toch? Tenzij je als een idioot VM's gaat inspoelen en/of een heel bizar IO patroon hebt.

Buiten dat, ben ik er persoonlijk niet zo bang voor?

3 node clusters gaan snel stuk, en VSAN heeft geen data locality, waardoor Gbit je behoorlijk gaat nekken.

Faddermakker schreef op dinsdag 31 januari 2017 @ 10:24:
Met het lab wil ik primair een volledige VSAN(dedup, r5 etc) kunnen simuleren en daarmee ook shared storage over de nodes heen. Daarnaast allerlei configuraties kunnen bouwen en functies verifiëren(zo leer ik het beste).
Het is trouwens niet alleen SATA3 hè, ik wil ook in alle nodes een nvme ssd proppen of heeft die ook last van lagere Quees tov enterprise spul?

Die NVMe is alleen een write cache, al je reads komen dus van SATA. R5 is niet mogelijk met 3 nodes.

[ Voor 37% gewijzigd door |sWORDs| op 31-01-2017 10:26 ]

[FireDrunk]

Tuurlijk is het een bandbreedte beperking, maar het is niet alsof het stuk gaat. Voor het halen van je certificering is dat toch prima?

[|sWORDs|]

FireDrunk schreef op dinsdag 31 januari 2017 @ 10:26:
Tuurlijk is het een bandbreedte beperking, maar het is niet alsof het stuk gaat. Voor het halen van je certificering is dat toch prima?

Maar het is verschrikkelijk traag, ik zou dan eerder met nesting op 1 dikke host aan de slag gaan. Kun je overal meespelen, zelfs R5, R6 of ROBO. Of als je toch geen R5 kan doen een ROBO config met twee nodes over 10Gbit (zonder switch) en witness op Gbit.

[ Voor 12% gewijzigd door |sWORDs| op 31-01-2017 10:29 ]

[FireDrunk]

Mijn ervaring met een 4 Node VSAN cluster was niet zo slecht. Het was zeker niet snel, maar ik kon gemiddeld toch wel 2000 iops en 60-85MB/s halen.

Maar wat je zegt is waar, 1 dikke host kan het waarschijnlijk sneller af.

[|sWORDs|]

FireDrunk schreef op dinsdag 31 januari 2017 @ 10:29:
Mijn ervaring met een 4 Node VSAN cluster was niet zo slecht. Het was zeker niet snel, maar ik kon gemiddeld toch wel 2000 iops en 60-85MB/s halen.

Maar wat je zegt is waar, 1 dikke host kan het waarschijnlijk sneller af.

Laten we dat even vergelijken met nested op dual NVMe hier:
47K IOPS read, 42K IOPS write, 1324MB/s read, 916.7MB/s write.

Nested VSAN:



Zelfde host als local storage (200K IOPS read, 219K IOPS write):



En vergeet ook de amplification met R5 niet (2 reads en 2 writes voor elke schrijfactie).

[ Voor 38% gewijzigd door |sWORDs| op 31-01-2017 12:28 ]

[FDMK]

Die is denk ik ook nog breder inzetbaar thuis.Ik bleef heel erg in het cirkeltje van fysieke hosts voor een virtueel speellab hangen

[|sWORDs|]

Faddermakker schreef op dinsdag 31 januari 2017 @ 10:35:
Die is denk ik ook nog breder inzetbaar thuis.Ik bleef heel erg in het cirkeltje van fysieke hosts voor een virtueel speellab hangen

Er is momenteel wel één nadeel voor nested en dat is dat de maclearning fling niet werkt op 6.5. Daar tegen over staat dat je nu wel PVSCSI support in nested hebt.

Nou is het niet ondenkbaar dat er iets komt voor maclearning.
Of je zou 6.0 op de host kunnen draaien met maclearning fling en 6.5 in de nested layer.

Verder kan ROBO ook een leuke config zijn. Je kunt dan geen R5 gebruiken, maar dat is ook niet iets wat je echt hoeft te proberen om te leren hoe het werkt. Cormac zijn blogpost lezen leer je net zo veel van als het zelf doen.
Voor een super ROBO config zou ik twee hosts met dual (single kan ook) NVMe en 10Gbit nemen en een super kleine machine met SATA en Gbit. Je hebt alleen een Gbit switch nodig, 10Gbit kun je cross connecten.

Qua NVMe drives wil je iets hebben als cache (of single) drive dat continu blijft performen zoals een Intel 750, SM961 of 960 Pro, in elk geval geen EVO of vorige generatie Samsung NVMe (950, etc):


Daarnaast zie ik best veel collega's met defecte 950/SM951's als cache drives, die stappen meestal over naar de Intel 750. Hier gebruik ik alleen 950's als capacity drives, al mijn andere drives zijn Intel 750's. (Ik heb één dual node ROBO config (Maar dan met 10Gbit switch, niet crossover) met Xeon-D's en een losse dual E5 met twee 750's die de witness draait, maar ook nested VSAN voor testen met R5/R6.)

[ Voor 61% gewijzigd door |sWORDs| op 31-01-2017 12:21 ]

[cooLopke]

|sWORDs| schreef op dinsdag 31 januari 2017 @ 10:17:

Er zijn meer HW levels, misschien zit er eentje tussen in (11 of 12) die de vertraging niet heeft en het probleem ook niet.

Je hebt het over nested, maar nested is normaal gesproken een hypervisor in een hypervisor, ik denk dat je virtueel bedoeld? Hier is virtueel gewoon identiek aan fysiek, maar ik heb bij Freenas nog niet gekeken. Hoe is het CPU en Memory gebruik bij die 80MB/s? De enige BSD machine die ik gebruik is pfSense, echter is mijn internet 'maar' 62.5MB/s (500/500).
Is er trouwens een specifieke reden waarom je Freenas neemt en niet XPenlogy?

Zal het HW Level eens veranderen en kijken naar de resultaten.

De reden is om ZFS te hebben. Nu weet ik wel niet wat XPenlogy mij kan bieden, aangezien dit allemaal nieuw is voor mij. Heb jij XPenlogy draaien?

Ja, ik zat inderdaad verkeerd ik bedoelde virtueel natuurlijk.

[|sWORDs|]

cooLopke schreef op dinsdag 31 januari 2017 @ 10:40:
[...]


Zal het HW Level eens veranderen en kijken naar de resultaten.

De reden is om ZFS te hebben. Nu weet ik wel niet wat XPenlogy mij kan bieden, aangezien dit allemaal nieuw is voor mij. Heb jij XPenlogy draaien?

Ja, ik zat inderdaad verkeerd ik bedoelde virtueel natuurlijk.

Ik draai XPenlogy, ik vind de interface een stuk fijner, minder CPU/Memory nodig, betere performance en er is qua software meer mogelijk. Ook is Linux een makkelijker guest OS dan BSD. Ik ben ooit met Windows begonnen, daarna een tijd lang Freenas en toen twee QNAP hardware NAS-en gehad, maar ik wilde alles in één en ben toen naar XPenology overgestapt. Een paar weken geleden heb ik vrijwel alle bekende NAS software geprobeerd, maar voor mij blijft XPenology het fijnste.

|sWORDs| schreef op maandag 2 januari 2017 @ 15:37:
[...]

En mochten er nog mensen met DSM6 op ESXi willen spelen:

Ik heb een nieuwe OVA gemaakt met de laatste Jun bootloader.

Members only:

Alleen zichtbaar voor ingelogde gebruikers. Inloggen

HW Level 10, VMXNET3 en PVSCSI.

OVA deployen, disk toevoegen (of controller), starten en wordt direct gevonden in de Assistant. PAT kun je met de hand of vanaf internet installeren en daarna de open-vm-tools die er bij zit (open-vm-tools_bromolow-6.0_10.0.7.spk) installeren. Daarna bijwerken naar update 7 werkt ook prima.









Ik heb een paar dagen met een VMDK getest en nu vijf dagen mijn DSM5 disks (VT-d van Intel SATA controller) geüpgrade. Draait vooralsnog perfect op een SuperMicro 5028D-TN4T (met 128GB, 400GB Intel 750, 512GB Samsung 950 Pro, 4x 4TB Toshiba en 2x 480GB Samsung 843T) met ESXi 6.5.

code:

cat /proc/cpuinfo|grep 'model name'
model name  : Intel(R) Xeon(R) CPU D-1541 @ 2.10GHz
model name  : Intel(R) Xeon(R) CPU D-1541 @ 2.10GHz

cat /proc/meminfo|grep -i memtotal
MemTotal:        4054424 kB

cat /etc.defaults/VERSION
majorversion="6"
minorversion="0"
productversion="6.0.2"
buildphase="hotfix"
buildnumber="8451"
smallfixnumber="7"
builddate="2016/12/20"
buildtime="05:10:40"

lspci -q|egrep -i -v 'bridge|system|unclassified'
0000:00:07.1 IDE interface: Intel Corporation 82371AB/EB/MB PIIX4 IDE (rev 01)
0000:00:0f.0 VGA compatible controller: VMware SVGA II Adapter
0000:02:05.0 SATA controller: VMware SATA AHCI controller
0000:03:00.0 Serial Attached SCSI controller: VMware PVSCSI SCSI Controller (rev 02)
0000:0b:00.0 Ethernet controller: VMware VMXNET3 Ethernet Controller (rev 01)
0000:13:00.0 SATA controller: Intel Corporation 8 Series/C220 Series Chipset Family 6-port SATA Controller 1 [AHCI mode] (rev 05)

/volume1/@appstore/open-vm-tools/bin/vmware-toolbox-cmd -v
10.0.7.52125 (build-3227872)

Wat niet uit de cache komt gaat met zo'n 400MB/s, wel uit de cache gaat met 1.1GB/s. Een extra PVSCSI volume op NVMe haalt zo'n 1.3GB/s. Verkeer buiten de host met 970MB/s (cache/NVMe). Misschien kan die 400MB/s nog omhoog met wat RAID tuning.

[ Voor 86% gewijzigd door |sWORDs| op 31-01-2017 11:44 ]

[cooLopke]

|sWORDs| schreef op dinsdag 31 januari 2017 @ 11:24:
[...]

Ik draai XPenlogy, ik vind de interface een stuk fijner, minder CPU/Memory nodig, betere performance en er is qua software meer mogelijk. Ook is Linux een makkelijker guest OS dan BSD. Ik ben ooit met Windows begonnen, daarna een tijd lang Freenas en toen twee QNAP hardware NAS-en gehad, maar ik wilde alles in één en ben toen naar XPenology overgestapt. Een paar weken geleden heb ik vrijwel alle bekende NAS software geprobeerd, maar voor mij blijft XPenology het fijnste.


[...]

Ik dacht altijd dat ZFS juist een meerwaarde bood. Dus voor XPenlogy heb je helemaal geen VT-d nodig en dergelijke of zit hier verkeerd? Momenteel voor mijn fysiek systeem gebruik ik software raid mdadm en dit werkt ook heerlijk voor mij. Ik moet inderdaad ook zeggen dit is de eerste keer dat ik FreeNAS gebruik en het ziet er allemaal wel complex uit, maar ik denk dat het wel allemaal goed in mekaar steekt mits de juiste configuratie instellingen, maar de GUI is niet echt gebruiksvriendelijk nee.

[|sWORDs|]

cooLopke schreef op dinsdag 31 januari 2017 @ 12:06:
[...]


Ik dacht altijd dat ZFS juist een meerwaarde bood. Dus voor XPenlogy heb je helemaal geen VT-d nodig en dergelijke of zit hier verkeerd? Momenteel voor mijn fysiek systeem gebruik ik software raid mdadm en dit werkt ook heerlijk voor mij. Ik moet inderdaad ook zeggen dit is de eerste keer dat ik FreeNAS gebruik en het ziet er allemaal wel complex uit, maar ik denk dat het wel allemaal goed in mekaar steekt mits de juiste configuratie instellingen, maar de GUI is niet echt gebruiksvriendelijk nee.

Je hoeft geen VT-d te gebruiken, maar het is wel zo handig. Virtuele storage heeft een overhead (CPU en disk latency), als je een SATA controller vrij hebt zou ik het zeker doen. Al helemaal als je RAID over meerdere drives wil doen (met virtuele storage niet vergeten de VM properties met disk.enableUUID = TRUE aan te passen om de disk ID's gelijk te houden, met VT-d hoeft dat niet.). Ik gebruik hier ook VT-d met XPenology. Wat misschien wel fijn is aangezien je een 750 hebt is om naast de VT-d ook een kleine thin disk disk aan te maken op je NVMe drive. Dan kun je naast je grote media share ook een snelle kleine share hebben, ideaal voor veel kleine files of naar VM's op je host (GB/s).

Meerwaarde van ZFS is bitrot protectie, maar dat komt wel met een prijs (CPU/mem/performance). Uiteindelijk gaat dat er met XPenology en BTRFS ook wel komen, momenteel is er alleen bitrot detectie mogelijk, maar ik gebruik geen BTRFS op de RAID5 array, alleen op de kleine PVSCSI disk vanaf NVMe.

Maar deploy de OVA eens, en voeg in eerste instantie eens een virtuele disk op je NVMe drive toe, en speel er even mee. Bevalt het dan wis je die VM en maak je een nieuwe met VT-d.

[ Voor 23% gewijzigd door |sWORDs| op 31-01-2017 12:33 ]

[cooLopke]

|sWORDs| schreef op dinsdag 31 januari 2017 @ 12:13:
Je hoeft geen VT-d te gebruiken, maar het is wel zo handig. Virtuele storage heeft een overhead (CPU en disk latency), als je een SATA controller vrij hebt zou ik het zeker doen. Al helemaal als je RAID over meerdere drives wil doen (met virtuele storage niet vergeten de VM properties met disk.enableUUID = TRUE aan te passen om de disk ID's gelijk te houden, met VT-d hoeft dat niet.). Ik gebruik hier ook VT-d met XPenology. Wat misschien wel fijn is aangezien je een 750 hebt is om naast de VT-d ook een kleine thin disk disk aan te maken op je NVMe drive. Dan kun je naast je grote media share ook een snelle kleine share hebben, ideaal voor veel kleine files of naar VM's op je host (GB/s).

Meerwaarde van ZFS is bitrot protectie, maar dat komt wel met een prijs (CPU/mem/performance). Uiteindelijk gaat dat er met XPenology en BTRFS ook wel komen, momenteel is er alleen bitrot detectie mogelijk, maar ik gebruik geen BTRFS op de RAID5 array, alleen op de kleine PVSCSI disk vanaf NVMe.

Maar deploy de OVA eens, en voeg in eerste instantie eens een virtuele disk op je NVMe drive toe, en speel er even mee. Bevalt het dan wis je die VM en maak je een nieuwe met VT-d.

Dag sWords, thanks voor de uitleg. Zal ik doen! Bedankt voor de hulp!

[cooLopke]

Dag swords,

Ik ben ook even bezig geweest met de finetuning van de Intel SSD, ik behaal onderstaande resultaten, maar ik gebruik de LSI Logic SAS in plaats van de LSI Logic Parallel, als ik die selecteer herkent hij mijn schijf niet. Hoe bereken je trouwens je IOPS?

[|sWORDs|]

Je moet Paravirtual SCSI gebruiken voor de beste prestaties voor local storage. Je kunt deze niet zo maar wisselen op Windows, eerst even een disk toevoegen en 1x booten, dan pas de bootdisk omzetten en de tijdelijke schijf verwijderen. Als je een Windows VM wil installeren moet je de floppy toevoegen en driver selecteren.

IOPS in dit geval is de 4K QD32T1 (Die best wat hoger mag) * 256 (1024/4), dus 146K read en 125K write. Kies je PVSCSI en zet je de QD van de virtuele controller en test hoger dan haal je 200/220K IOPS, wat trouwens bizarre prestaties zijn. Er zijn zat bedrijven die met hun hele storage systeem daar niet aan komen.

[ Voor 138% gewijzigd door |sWORDs| op 01-02-2017 19:20 ]

[cooLopke]

Super, Thanks! Ik kan weer verder =)

edit: lijkt me nu wel in orde (PVSCSI)

[ Voor 66% gewijzigd door cooLopke op 02-02-2017 09:12 ]

[FireDrunk]

Als ik jullie zo zie met die snelheden begint het te jeuken om mijn cluster om te zetten
En ik maar kutten met FibreChannel

[|sWORDs|]

cooLopke schreef op donderdag 2 februari 2017 @ 07:43:
Super, Thanks! Ik kan weer verder =)

edit: lijkt me nu wel in orde (PVSCSI)

[afbeelding]

Kanonnen... Wat voor drive is dat? 260K read, 248K write. Dat is hoger dan de 230K write uit de specs van de 400GB Intel 750 voor een 8GB burst, heb je een 1.2TB? Ik kom niet aan deze snelheden door de 'beperkte' frequentie van mijn CPU's.

En welk client OS gebruikt je? Die van mij waren op 2012R2, misschien zit daar ook nog een verschil in, geloof dat ik hier al eens eerder gezien heb dat Win10 het wat beter doet.

Misschien kun je even een rijtje maken met waarop je test:
ESXi: 6.5.0

Host:

• CPU: Dual Xeon E5-2690 v3 ES (dual Haswell 12 core 2.4GHz, 2.6 All Core Turbo)
• Mem: 256GB DDR4 2133MHz
• Drive 1: Intel 750 400GB
• Drive 2: Intel 750 1.2TB

VM:

• OS: 2012R2 x64 (fully patched)
• Cores: 4
• Mem: 2048MB (Om geheugen caching uit te sluiten)
• Controller: PVSCSI (Met registry edit naar QD254)
• Fysieke drive: Intel 750 400GB

VM:

• OS: 2016 x64 (fully patched)
• Cores: 4
• Mem: 8096MB
• Controller: PVSCSI (Met registry edit naar QD254)
• Fysieke drive: Intel 750 1.2TB

[ Voor 77% gewijzigd door |sWORDs| op 02-02-2017 14:01 ]

[zeroday]

FireDrunk schreef op donderdag 2 februari 2017 @ 10:53:
Als ik jullie zo zie met die snelheden begint het te jeuken om mijn cluster om te zetten
En ik maar kutten met FibreChannel

dan denk ik: $$$$

[FireDrunk]

Welnee, Kaartjes kostten 8 euro op eBay.

http://www.ebay.com/sch/i...RS0&_nkw=qle2462&_sacat=0

Verschil zit hem vooral in dat ik point-to-point gebruik, en geen FC switch heb.
Die dingen zijn relatief duur, en maken een pleuris herrie.

[ Voor 88% gewijzigd door FireDrunk op 02-02-2017 13:46 ]

[|sWORDs|]

zeroday schreef op donderdag 2 februari 2017 @ 13:31:
[...]


dan denk ik: $$$$

Ik vind het in verhouding niet echt duur:

#	Product	Prijs	Subtotaal
1	Intel 750 SSD Half Height PCIe 3.0 x4 1,2TB	€ 739,-	€ 739,-

#	Product	Prijs	Subtotaal
1	LSI SAS 9211-8i (SAS9211-8I/SGL)	€ 259,-	€ 259,-
1	Samsung 850 Pro 1TB	€ 462,99	€ 462,99
1	Samsung 850 Pro 256GB	€ 134,90	€ 134,90
Bekijk collectie Importeer producten		Totaal	€ 856,89

En zelfs zonder controller is het maar 33% per gigabyte duurder dan een 850 Pro.

[zeroday]

|sWORDs| schreef op donderdag 2 februari 2017 @ 13:47:
[...]

Ik vind het in verhouding niet echt duur:

#	Product	Prijs	Subtotaal
1	Intel 750 SSD Half Height PCIe 3.0 x4 1,2TB	€ 739,-	€ 739,-

#	Product	Prijs	Subtotaal
1	LSI SAS 9211-8i (SAS9211-8I/SGL)	€ 259,-	€ 259,-
1	Samsung 850 Pro 1TB	€ 462,99	€ 462,99
1	Samsung 850 Pro 256GB	€ 134,90	€ 134,90
Bekijk collectie Importeer producten		Totaal	€ 856,89

En zelfs zonder controller is het maar 33% per gigabyte duurder dan een 850 Pro.

als je het zo bekijkt wel . .Maar zie maar eens toestemming van de vrouw te krijgen om een VM machine te bouwen die 2K gaat kosten (ben ik er dan?) ;-) .. (als je alles bij elkaar neemt) ;-)

[|sWORDs|]

zeroday schreef op donderdag 2 februari 2017 @ 13:49:
[...]


als je het zo bekijkt wel . .Maar zie maar eens toestemming van de vrouw te krijgen om een VM machine te bouwen die 2K gaat kosten (ben ik er dan) ;-) .. (als je alles bij elkaar neemt) ;-)

Lol, ik zal maar niet zeggen wat hier allemaal staat dan. En de vrouw weet dat gelukkig ook niet exact.

Maar als je goedkoper uit wil zijn kun je toch gewoon voor een 400GB gaan en mocht dat niet voldoende zijn een goedkoop SATA SSD-tje of HD toevoegen?

Hier heb ik 1.6TB (1.2 + 400GB) aan directe Intel 750 storage en dan nog 1TB (512+512GB) aan Samsung 950 Pro (met Intel 400GB write cache) VSAN met dedupe en compressie. Alle media gaat naar de virtuele 12TB NAS (4x4TB 7200rpm RAID5, met 2x 480GB RAID1 SSD read/write cache). Zo heb ik vrij goedkoop heel veel storage en alles is vrij snel.

[ Voor 36% gewijzigd door |sWORDs| op 02-02-2017 13:56 ]

[FireDrunk]

Oh, vrouwlief weet dat heel goed hier. Ze weet ook dat ik er mijn brood mee verdien en mijzelf er mee verbeter en continu uitdaag.

Tis maar hoe je het brengt

[zeroday]

FireDrunk schreef op donderdag 2 februari 2017 @ 13:52:
Oh, vrouwlief weet dat heel goed hier. Ze weet ook dat ik er mijn brood mee verdien en mijzelf er mee verbeter en continu uitdaag.

Tis maar hoe je het brengt

tsja .. ik ben wat dat betreft een hobbyist die het maximale uit het minimale probeert te halen

[FireDrunk]

Oh, dat blijft goed hoor, en met VMware kan dat uitstekend

Kijk maar naar al die vage nested ESXi oplossingen. Dat getuigt er van dat ze enigzins begrijpen dat mensen het lokaal op 1 machine willen testen

[|sWORDs|]

zeroday schreef op donderdag 2 februari 2017 @ 13:49:
[...]


als je het zo bekijkt wel . .Maar zie maar eens toestemming van de vrouw te krijgen om een VM machine te bouwen die 2K gaat kosten (ben ik er dan?) ;-) .. (als je alles bij elkaar neemt) ;-)

Met 2K kun je echt wel een leuk systeempje bouwen hoor, onderstaande met 1.2TB ipv 400GB en de verzendkosten:

3.5GHz Quad Core (met HT) Skylake Xeon, 64GB geheugen en 400GB NVMe:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1240 v5 Boxed	€ 308,55	€ 308,55
1	Supermicro X11SSL-F	€ 200,75	€ 200,75
1	Supermicro 731I-300	€ 98,55	€ 98,55
4	Kingston KTH-PL424S/16G	€ 154,50	€ 618,-
1	Intel 750 SSD Half Height PCIe 3.0 x4 400GB	€ 325,01	€ 325,01
Bekijk collectie Importeer producten		Totaal	€ 1.550,86

[ Voor 78% gewijzigd door |sWORDs| op 02-02-2017 14:08 ]

[zeroday]

|sWORDs| schreef op donderdag 2 februari 2017 @ 14:03:
[...]

Met 2K kun je echt wel een leuk systeempje bouwen hoor.

Nu nog niet echt de noodzaak voor ..
Alles wat ik nu wil draaien, draait op een HP Microserver G1610T met 16GB memory en dat draait nu redelijk goed. Ok, 1 probleem van de week met 2 machines die niet meer zichtbaar waren voor de backup, maar een reboot vond vmware genoeg om hem weer te laten tonen (ondanks dat ze wel gewoon draaiden)

[cooLopke]

|sWORDs| schreef op donderdag 2 februari 2017 @ 11:36:
[...]

Kanonnen... Wat voor drive is dat? 260K read, 248K write. Dat is hoger dan de 230K write uit de specs van de 400GB Intel 750 voor een 8GB burst, heb je een 1.2TB? Ik kom niet aan deze snelheden door de 'beperkte' frequentie van mijn CPU's.

En welk client OS gebruikt je? Die van mij waren op 2012R2, misschien zit daar ook nog een verschil in, geloof dat ik hier al eens eerder gezien heb dat Win10 het wat beter doet.

Misschien kun je even een rijtje maken met waarop je test:
ESXi: 6.5.0

Host:

• CPU: Dual Xeon E5-2690 v3 ES (dual Haswell 12 core 2.4GHz, 2.6 All Core Turbo)
• Mem: 256GB DDR4 2133MHz
• Drive 1: Intel 750 400GB
• Drive 2: Intel 750 1.2TB

VM:

• OS: 2012R2 x64 (fully patched)
• Cores: 4
• Mem: 2048MB (Om geheugen caching uit te sluiten)
• Controller: PVSCSI (Met registry edit naar QD254)
• Fysieke drive: Intel 750 400GB

[afbeelding]
[afbeelding]

VM:

• OS: 2016 x64 (fully patched)
• Cores: 4
• Mem: 8096MB
• Controller: PVSCSI (Met registry edit naar QD254)
• Fysieke drive: Intel 750 1.2TB

[afbeelding]

Dag sWords,

Dat was op de volgende machine ESXi 6.5:

Host:

• CPU: 4x Intel Xeon CPU E3-1230 v5 at 3,4 Ghz
• Memory: 16GB DDR4 2133Mhz
• Drive 1: Intel 750 400GB

VM:

• OS: 2016 x64
• Cores: 2
• RAM: 4096MB
• Controller: PVSCSI (niets aangepast in registry)
• Fysieke drive: Intel 750 400GB

[|sWORDs|]

cooLopke schreef op donderdag 2 februari 2017 @ 14:19:
[...]


Dag sWords,

Dat was op de volgende machine ESXi 6.5:

Host:

• CPU: 4x Intel Xeon CPU E3-1230 v5 at 3,4 Ghz
• Memory: 16GB DDR4 2133Mhz
• Drive 1: Intel 750 400GB

VM:

• OS: 2016 x64
• Cores: 2
• RAM: 4096MB
• Controller: PVSCSI (niets aangepast in registry)
• Fysieke drive: Intel 750 400GB

code:

Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\pvscsi\Parameters\Device]
 "DriverParameter"="\"RequestRingPages=32,MaxQueueDepth=254\""

En even rebooten.

The large-scale workloads with intensive I/O patterns require adapter queue depths greater than the Paravirtual SCSI (PVSCSI) default values. Current PVSCSI queue depth default values are 64 (for device) and 254 (for adapter). You can increase PVSCSI queue depths to 254 (for device) and 1024 (for adapter) inside a Windows virtual machine or Linux virtual machine.

Increase the PVSCSI queue depth inside the Windows or Linux virtual machine, as described in the following sections. This modification increases the number of pages used by the PVSCSI adapter for the request ring to 32. It also increases the queue depth of the devices attached to the PVSCSI adapter to 254.

The default number of ring pages is 8, each of which is 4 KB in size. One entry of 128 bytes is needed for a queued I/O, which means that 32 entries on a single page of 4096 bytes, resulting in 256 entries (8x32). The Windows PVSCSI driver adapter queue was hard coded in previous releases, but it can be adjusted up to the maximum of 32 pages.

Hier zie ik een bump van 207K read naar 222K read en 215K write naar 232K write met de hogere ringpage en queuedepth op Server 2016, op 2012R2 was het verschil groter. Maar misschien maakt het met jouw CPU frequentie helemaal niet uit.

Wat ik trouwens wel frappant vind en wat hardware.info ook al opgevallen was tijdens testen, de 400GB (links) is meer constant dan de 1.2TB (rechts), zie hier een 32GB run:

[ Voor 54% gewijzigd door |sWORDs| op 02-02-2017 15:45 ]

[|sWORDs|]

Lordsauron schreef op donderdag 2 februari 2017 @ 22:26:
Nou, zit nou met een gekke situatie.
Heb dus een NVMe SSD besteld zodat ik de SATA controller door kan geven. In de machine er bij gezet, alles werkt, top. Ik zet de server uit, Haal oude SATA SSD er uit en start hem op.
Foutmelding: fatal error 10 out of resources. Huh, stond er soms wat op de SSD of zo, weet je wat ik installeer ESXi gewoon ff opnieuw. Haal alles los behalve de USB stick waar hij op stond (die heb ik even geformatteerd in een andere machine) installer nieuwe ESXi alles lijkt OK. Hij start opnieuw op. Weer de zelfde error 10 (out of resources). Was even bang dat mijn RAM niet helemaal goed was, dus even memtest gedraaid. Alles helemaal top. snap er niets van. Iemand een idee?

Klinkt als een probleem met de stick, installeer ESXi eens op de NVMe en kijk wat ie dan doet. Kun je een volledige HW lijst geven (+exacte stick)?

[Lordsauron]

De huidige samenstelling van de machine is deze:

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 58,70	€ 58,70
1	Supermicro X11SSL-F	€ 200,25	€ 200,25
1	WD Red WD40EFRX, 4TB	€ 161,-	€ 161,-
2	Samsung M391A1G43DB0-CPB	€ 85,44	€ 170,88
1	Addonics ADM2PX4 M2 PCIe SSD adapter	€ 21,01	€ 21,01
1	Seasonic G-series 360 watt	€ 63,95	€ 63,95
1	Intel 600p 256GB	€ 96,95	€ 96,95
Bekijk collectie Importeer producten		Totaal	€ 772,74

En ik installeer ESXi op een Sandisk cruzer fit ultra 32 GB

En toen ik de boel aan het her installeren was, heb ik alles los gehaald, de nieuwe SSD de WD HDD.

[cooLopke]

|sWORDs| schreef op donderdag 2 februari 2017 @ 14:21:

code:

Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\pvscsi\Parameters\Device]
 "DriverParameter"="\"RequestRingPages=32,MaxQueueDepth=254\""

En even rebooten.

Met de registeraanpassing, niet zo een groot verschil. Die Intel 750 is echt niet normaal =):

[FireDrunk]

Tja, je merkt (thuis) het meest van de onderste 4 helaas. Die gigantische queues bereik je thuis niet zo vaak.

Desalniettemin zijn het pareltjes

[|sWORDs|]

Lordsauron schreef op vrijdag 3 februari 2017 @ 08:48:
De huidige samenstelling van de machine is deze:

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 58,70	€ 58,70
1	Supermicro X11SSL-F	€ 200,25	€ 200,25
1	WD Red WD40EFRX, 4TB	€ 161,-	€ 161,-
2	Samsung M391A1G43DB0-CPB	€ 85,44	€ 170,88
1	Addonics ADM2PX4 M2 PCIe SSD adapter	€ 21,01	€ 21,01
1	Seasonic G-series 360 watt	€ 63,95	€ 63,95
1	Intel 600p 256GB	€ 96,95	€ 96,95
Bekijk collectie Importeer producten		Totaal	€ 772,74

En ik installeer ESXi op een Sandisk cruzer fit ultra 32 GB

En toen ik de boel aan het her installeren was, heb ik alles los gehaald, de nieuwe SSD de WD HDD.

Alle drie mijn Supermicro's booten van een 16GB versie van die stick. Ik installeer ze alleen virtueel (Fusion/Workstation) en plug ze daarna in de server. In de servers staat alles op UEFI (boot, PCIe bootroms, etc). Bij sommige borden maakt het nog uit welke USB sloten je gebruikt (2.0/3.0). Probeer anders eens te installeren op de NVMe drive. Qua BIOS heb je wel R 2.0 - X11SSLF7_106.ZIP van 6 januari 2017 (build op 5 jan)?

cooLopke schreef op vrijdag 3 februari 2017 @ 09:53:
[...]


Met de registeraanpassing, niet zo een groot verschil. Die Intel 750 is echt niet normaal =):
[afbeelding]

284K IOPS read, 249K IOPS write, dat is inderdaad bizar. Begint hier bijna te jeuken om mijn grote server eens met minder cores en meer frequentie uit te rusten. (Dual E5-2667 v4? Dat is per thread 36% sneller en multithreaded maar 10% langzamer.)

FireDrunk schreef op vrijdag 3 februari 2017 @ 10:18:
Tja, je merkt (thuis) het meest van de onderste 4 helaas. Die gigantische queues bereik je thuis niet zo vaak.

Desalniettemin zijn het pareltjes

Per VM wel, maar met meerdere machines kom je wel aan de bovenste waardes, zeker met meerdere databases.

[ Voor 16% gewijzigd door |sWORDs| op 03-02-2017 11:30 ]

[iMars]

|sWORDs| schreef op maandag 2 januari 2017 @ 15:37:
[...]


[...]


Custom ESXi ISO in Guides

En mochten er nog mensen met DSM6 op ESXi willen spelen:

Ik heb een nieuwe OVA gemaakt met de laatste Jun bootloader.

***members only***

HW Level 10, VMXNET3 en PVSCSI.

OVA deployen, disk toevoegen (of controller), starten en wordt direct gevonden in de Assistant. PAT kun je met de hand of vanaf internet installeren en daarna de open-vm-tools die er bij zit (open-vm-tools_bromolow-6.0_10.0.7.spk) installeren. Daarna bijwerken naar update 7 werkt ook prima.

[afbeelding]

[afbeelding]

[afbeelding]

[afbeelding]

Ik heb een paar dagen met een VMDK getest en nu vijf dagen mijn DSM5 disks (VT-d van Intel SATA controller) geüpgrade. Draait vooralsnog perfect op een SuperMicro 5028D-TN4T (met 128GB, 400GB Intel 750, 512GB Samsung 950 Pro, 4x 4TB Toshiba en 2x 480GB Samsung 843T) met ESXi 6.5.

code:

cat /proc/cpuinfo|grep 'model name'
model name  : Intel(R) Xeon(R) CPU D-1541 @ 2.10GHz
model name  : Intel(R) Xeon(R) CPU D-1541 @ 2.10GHz

cat /proc/meminfo|grep -i memtotal
MemTotal:        4054424 kB

cat /etc.defaults/VERSION
majorversion="6"
minorversion="0"
productversion="6.0.2"
buildphase="hotfix"
buildnumber="8451"
smallfixnumber="7"
builddate="2016/12/20"
buildtime="05:10:40"

lspci -q|egrep -i -v 'bridge|system|unclassified'
0000:00:07.1 IDE interface: Intel Corporation 82371AB/EB/MB PIIX4 IDE (rev 01)
0000:00:0f.0 VGA compatible controller: VMware SVGA II Adapter
0000:02:05.0 SATA controller: VMware SATA AHCI controller
0000:03:00.0 Serial Attached SCSI controller: VMware PVSCSI SCSI Controller (rev 02)
0000:0b:00.0 Ethernet controller: VMware VMXNET3 Ethernet Controller (rev 01)
0000:13:00.0 SATA controller: Intel Corporation 8 Series/C220 Series Chipset Family 6-port SATA Controller 1 [AHCI mode] (rev 05)

/volume1/@appstore/open-vm-tools/bin/vmware-toolbox-cmd -v
10.0.7.52125 (build-3227872)

[afbeelding]

[afbeelding]

Wat niet uit de cache komt gaat met zo'n 400MB/s, wel uit de cache gaat met 1.1GB/s. Een extra PVSCSI volume op NVMe haalt zo'n 1.3GB/s. Verkeer buiten de host met 970MB/s (cache/NVMe). Misschien kan die 400MB/s nog omhoog met wat RAID tuning.

Ik heb geprobeerd om de OVA aan de praat te krijgen (zonder extra disks) maar er verschijnt niks in http://find.synology.com/
Krijg de melding dat er geen Synology gevonden is op m'n netwerk...
Doe ik iets verkeerd?

[|sWORDs|]

Probeer de synology assistent eens.

[Domino]

Werkt het überhaupt wel zonder disks?
De Synology Assistant werkt sowieso niet bij mij, find.synology.com wel.

[iMars]

Heb er nu een paar virtuele disks aan gehangen en vanaf mijn VM Win Client benaderd (zit nu op werk) en nu werkt het wel. Even spelen maar

[iMars]

Niet relevant...

[ Voor 90% gewijzigd door iMars op 05-02-2017 20:15 ]

[|sWORDs|]

Natuurlijk.

[FDMK]

|sWORDs| schreef op dinsdag 31 januari 2017 @ 10:38:
[...]

Er is momenteel wel één nadeel voor nested en dat is dat de maclearning fling niet werkt op 6.5. Daar tegen over staat dat je nu wel PVSCSI support in nested hebt.

Nou is het niet ondenkbaar dat er iets komt voor maclearning.
Of je zou 6.0 op de host kunnen draaien met maclearning fling en 6.5 in de nested layer.

Verder kan ROBO ook een leuke config zijn. Je kunt dan geen R5 gebruiken, maar dat is ook niet iets wat je echt hoeft te proberen om te leren hoe het werkt. Cormac zijn blogpost lezen leer je net zo veel van als het zelf doen.
Voor een super ROBO config zou ik twee hosts met dual (single kan ook) NVMe en 10Gbit nemen en een super kleine machine met SATA en Gbit. Je hebt alleen een Gbit switch nodig, 10Gbit kun je cross connecten.

Qua NVMe drives wil je iets hebben als cache (of single) drive dat continu blijft performen zoals een Intel 750, SM961 of 960 Pro, in elk geval geen EVO of vorige generatie Samsung NVMe (950, etc):
[afbeelding]

Daarnaast zie ik best veel collega's met defecte 950/SM951's als cache drives, die stappen meestal over naar de Intel 750. Hier gebruik ik alleen 950's als capacity drives, al mijn andere drives zijn Intel 750's. (Ik heb één dual node ROBO config (Maar dan met 10Gbit switch, niet crossover) met Xeon-D's en een losse dual E5 met twee 750's die de witness draait, maar ook nested VSAN voor testen met R5/R6.)

Hmmz..hoop info, thnx!!

Hoewel die ROBO setup erg nice klinkt, gaat dat wel erg in de papieren lopen gok ik zo plus dubbele overhead. Dan ga ik toch voor de nested oplossing en dus 1 dikke host.
Daar de ruimte in de meterkast niet oneindig is wil ik mijn nas dan ook weer virtueel draaien(want ruimte en overhead). In de zoektocht naar hardware kwam ik op onderstaand.

CPU:De Xeon E5 vanwege het aantal cores. Nested cluster van 3-4 slokt al snel 6-8 cores op lijkt me?
MB: Dit bord gekozen vanwege de extra LSI controller om deze te VT-D'en naar mijn nas. Of zou ik ook gewoon de C612 controller kunnen VT-D'en en dan niet in de knoop komen met de ruimte voor datastores?Dan zou ik een goedkoper bord kunnen kiezen.
SSD: Op aanraden van jou

Natuurlijk moet er nog een sloot memory van 96-128GB.

#	Product	Prijs	Subtotaal
1	Intel Xeon E5-2630 v4 Boxed	€ 500	€ 500
1	Supermicro X10SRH-CF	€ 405,68	€ 405,68
1	Intel 750 SSD Half Height PCIe 3.0 x4 1,2TB	€ 739,-	€ 739,-
Bekijk collectie Importeer producten		Totaal	€ 1.644,68

[|sWORDs|]

Faddermakker schreef op zondag 5 februari 2017 @ 12:22:
[...]

Hmmz..hoop info, thnx!!

Hoewel die ROBO setup erg nice klinkt, gaat dat wel erg in de papieren lopen gok ik zo plus dubbele overhead. Dan ga ik toch voor de nested oplossing en dus 1 dikke host.
Daar de ruimte in de meterkast niet oneindig is wil ik mijn nas dan ook weer virtueel draaien(want ruimte en overhead). In de zoektocht naar hardware kwam ik op onderstaand.

CPU:De Xeon E5 vanwege het aantal cores. Nested cluster van 3-4 slokt al snel 6-8 cores op lijkt me?
MB: Dit bord gekozen vanwege de extra LSI controller om deze te VT-D'en naar mijn nas. Of zou ik ook gewoon de C612 controller kunnen VT-D'en en dan niet in de knoop komen met de ruimte voor datastores?Dan zou ik een goedkoper bord kunnen kiezen.
SSD: Op aanraden van jou

Natuurlijk moet er nog een sloot memory van 96-128GB.

#	Product	Prijs	Subtotaal
1	Intel Xeon E5-2630 v4 Boxed	€ 500	€ 500
1	Supermicro X10SRH-CF	€ 405,68	€ 405,68
1	Intel 750 SSD Half Height PCIe 3.0 x4 1,2TB	€ 739,-	€ 739,-
Bekijk collectie Importeer producten		Totaal	€ 1.644,68

Er zijn nog wat zaken die je zou kunnen overwegen: Xeon-D (lager TDP en dus mogelijk minder problemen met hitte). Hoeveel schijven wil je gaan gebruiken?

Intel 750 blijft mijn favoriete keuze, maar de nieuwe Samsung zijn mogelijk ook best interessant, de 750 is echter vrijwel gelijk aan de P3700 en die is echt 100% supported.

Je hebt geen LSI nodig als je NVMe als (boot/)datastore gebruikt, de Intel is vrijwel net zo goed en zeker gemakkelijker (geen LSI drivers/firmware nodig).

[ Voor 5% gewijzigd door |sWORDs| op 05-02-2017 12:26 ]

[FDMK]

|sWORDs| schreef op zondag 5 februari 2017 @ 12:24:
[...]

Er zijn nog wat zaken die je zou kunnen overwegen: Xeon-D (lager TDP en dus mogelijk minder problemen met hitte). Hoeveel schijven wil je gaan gebruiken?

De nas heeft momenteel 4 hdd's en 1ssd. Dat zal voorlopig genoeg zijn.
Samsung vs Intel scheelt wel 200 knallers(en 0.2TB). Budget voor het hele spul is initieel 2500. Ik hecht waarde aan zelf kunnen klikken en klooien dus het mag best wat kosten.

[ Voor 19% gewijzigd door FDMK op 05-02-2017 12:28 ]

[|sWORDs|]

Faddermakker schreef op zondag 5 februari 2017 @ 12:25:
[...]

De nas heeft momenteel 4 hdd's en 1ssd. Dat zal voorlopig genoeg zijn.

pricewatch: Supermicro SYS-5028D-TN4T

Klein, zuinig, stil, snel, ruimte voor 4 HD's en twee SSD's + HHHL PCIe (Intel 750). 8 cores en max 128GB mem. Heb er zelf ook twee van, naast de Dual E5. Qua kosten zal het niet veel meer zijn dan wat je nu hebt + behuizing, voeding en koelers.

[ Voor 14% gewijzigd door |sWORDs| op 05-02-2017 12:30 ]

[FDMK]

|sWORDs| schreef op zondag 5 februari 2017 @ 12:28:
[...]

pricewatch: Supermicro SYS-5028D-TN4T

Klein, zuinig, stil, snel, ruimte voor 4 HD's en twee SSD's + HHHL PCIe (Intel 750). 8 cores en max 128GB mem. Heb er zelf ook twee van, naast de Dual E5. Qua kosten zal het niet veel meer zijn dan wat je nu hebt + behuizing, voeding en koelers.

wat een mooi apparaat. Dan kan ik over time ook nog een tweede ernaast zetten voor die ROBO
Wat voor geheugen heb jij erin zitten? De lijst van tested memory bij Supermicro is nogal karig, Ik wil de initieel gaan voor 2x32 zodat ik nog uit kan breiden naar 4x32 totaal.

[ Voor 12% gewijzigd door FDMK op 05-02-2017 13:17 ]

[|sWORDs|]

Ik wist niet dat de antivirus boer ook aan geheugen deed.

Ik heb 2400MHz Samsung (4x32) van de HCL.

[FDMK]

|sWORDs| schreef op zondag 5 februari 2017 @ 13:15:
Ik wist niet dat de antivirus boer ook aan geheugen deed.

Ik heb 2400MHz Samsung (4x32) van de HCL.

Ik moest even twee keer kijken waar je het over had . Had de Samsungs inmiddels ook gevonden en zag niet zo snel een tweedehands alternatief op ebay wat de moeite waard was.

Ten aanzien van het nested draaien, kom ik dan uit met 3 hosts, volledige vCD(en later misschien ook beetje vRA erbij) en NSX installaties qua cpu?

[ Voor 12% gewijzigd door FDMK op 05-02-2017 13:20 ]

[|sWORDs|]

Faddermakker schreef op zondag 5 februari 2017 @ 13:20:
[...]

Ik moest even twee keer kijken waar je het over had . Had de Samsungs inmiddels ook gevonden en zag niet zo snel een tweedehands alternatief op ebay wat de moeite waard was.

Ten aanzien van het nested draaien, kom ik dan uit met 3 hosts, volledige vCD(en later misschien ook beetje vRA erbij) en NSX installaties qua cpu?

Qua CPU zou ik me niet al te druk maken, ik denk dat geheugen sneller een bottleneck gaat zijn. Reken eens uit hoeveel geheugen je nodig denkt te hebben en dan reken ik 'm nog eens na. Het belangrijkste gaat denk ik ook zijn of je een vRA cluster wil draaien (cluster = 3 nodes).

Nog even over NVMe, wat je ook kunt doen is een 400GB Intel (HHHL) en een 1TB Samsung (M.2). Dan kun je ook zo over op ROBO of single node VSAN met dedupe en compression. Ik heb hier 400GB Intel 750 HHHL en 512 GB Samsung 950 Pro, maar als ik vandaag zou bestellen dan zou de 950 een 1TB 960 Pro worden.

Vergelijking met 3x NUC:

CPU	Single Threaded	Multi Threaded
Xeon D-1541	1499	11333
3x i5 4250u	1456	10284

Nou moet daar nog een stukje (10%?) overhead af, maar je zit qua CPU echt wel vergelijkbaar en per VM zelfs beter aangezien er meer resources per VM beschikbaar zijn.

Wat je zou kunnen doen met Xeon D en 128GB geheugen, 400GB+1TB:
VCSA 6.5 a (10GB) niet nested, NAS (2GB) niet nested. 2GB voor host ESXi.
4 ESXi nodes met 28.5GB, 256GB Capacity (Samsung), 32GB cache (Intel), 2GB boot (Intel) als VSAN 'RAID5' met dedupe en compression).
Host met ESXi 6.0 u2 en maclearning fling (+Intel NVMe driver, Intel DCT, Intel 10GBe driver, BIOS 1.1C), Virtuele ESXi 6.5 a met PVSCSI controller, VMXNET3.

Effectief heb je dan zo'n 1.5TB aan 'shared' NVMe storage. (1TB capacity / 1.33333 amplification * 2.0 dedupe/compression)

Zodra je klaar bent met VSAN en Clusters kun je alle VM's migreren naar de host (tijdelijk NFS vanaf Virtuele NAS?), de host upgraden naar 6.5 a en op volle snelheid draaien met een enkele host, alles met database op de Intel en de rest op de Samsung.

En mocht je het bestellen let dan even op dat het lijkt alsof de 750 HHHL wel past maar er met geen mogelijk in te krijgen is. Met een 'm' beweging lukt het om overal langs te komen zonder ergens druk op te zetten.

[ Voor 56% gewijzigd door |sWORDs| op 05-02-2017 14:58 ]

[FDMK]

|sWORDs| schreef op zondag 5 februari 2017 @ 14:04:
[...]

Qua CPU zou ik me niet al te druk maken, ik denk dat geheugen sneller een bottleneck gaat zijn. Reken eens uit hoeveel geheugen je nodig denkt te hebben en dan reken ik 'm nog eens na. Het belangrijkste gaat denk ik ook zijn of je een vRA cluster wil draaien (cluster = 3 nodes).

Nog even over NVMe, wat je ook kunt doen is een 400GB Intel (HHHL) en een 1TB Samsung (M.2). Dan kun je ook zo over op ROBO of single node VSAN met dedupe en compression. Ik heb hier 400GB Intel 750 HHHL en 512 GB Samsung 950 Pro, maar als ik vandaag zou bestellen dan zou de 950 een 1TB 960 Pro worden.

Vergelijking met 3x NUC:

CPU	Single Threaded	Multi Threaded
Xeon D-1541	1499	11333
3x i5 4250u	1456	10284

Nou moet daar nog een stukje (10%?) overhead af, maar je zit qua CPU echt wel vergelijkbaar en per VM zelfs beter aangezien er meer resources per VM beschikbaar zijn.

Wat je zou kunnen doen met Xeon D en 128GB geheugen, 400GB+1TB:
VCSA (10GB) niet nested, NAS (2GB) niet nested. 2GB voor host ESXi.
4 ESXi nodes met 28.5GB, 256GB Capacity (Samsung), 32GB cache (Intel), 2GB boot (Intel) als VSAN 'RAID5' met dedupe en compression).
Host met ESXi 6.0 u2 en maclearning fling (+Intel NVMe driver, Intel DCT, Intel 10GBe driver, BIOS 1.1C), Virtuele ESXi 6.5 a met PVSCSI controller, VMXNET3.

Effectief heb je dan zo'n 1.5TB aan 'shared' NVMe storage. (1TB capacity / 1.33333 amplification * 2.0 dedupe/compression)

En mocht je het bestellen let dan even op dat het lijkt alsof de 750 HHHL wel past maar er met geen mogelijk in te krijgen is. Met een 'm' beweging lukt het om overal langs te komen zonder ergens druk op te zetten.

Geheugen kom ik nog even bij je op terug. Voor wat betreft die +1TB, gaat dat ook nog steeds op als ik de onboard controller doorgeef aan een VM? Met een Xeon D heb je natuurlijk maar 1 pci-e slot en volgens de site van TrendSupermicro is er geen .m2 slot toch?

[|sWORDs|]

Faddermakker schreef op zondag 5 februari 2017 @ 14:56:
[...]

Geheugen kom ik nog even bij je op terug. Voor wat betreft die +1TB, gaat dat ook nog steeds op als ik de onboard controller doorgeef aan een VM? Met een Xeon D heb je natuurlijk maar 1 pci-e slot en volgens de site van TrendSupermicro is er geen .m2 slot toch?

Er zit zowel een PCIe slot als M.2 slot op. Ik doe hier exact hetzelfde, 6x SATA (4x 3.5" HDD, 2x 2.5" SSD) in passthrough naar XPenology (bootdisk op VSAN) en dan VSAN op 400 GB Intel 750 HHHL (cache) en 512GB Samsung 950 Pro M.2 (capactity). Wat niet zou werken is een SATA M.2, maar PCIe M.2 wel. In mijn geval moet ik wel booten van USB, omdat beide NVMe drives fysiek voor VSAN gebruikt worden en de Intel AHCI in passthrough zit.

Supermicro pagina van 5028D-TNT4

• Intel® Xeon® processor D-1541, 8-Core, 45W
• Up to 128GB ECC RDIMM DDR4 2400MHz
• 1x PCI-E 3.0 x16 (LP)
• 1x M.2 PCI-E 3.0 x4, M Key 2242/2280
• 6x SATA3 (6Gbps) ports
• 4x 3.5" Hot-swap drive bays
• 2x 2.5" internal drive bays
• Dual LAN via Intel® i350-AM2 Gigabit Ethernet
• Dual LAN via SoC 10GBase-T

Hierboven zie je de SATA AHCI controller/devices niet staan, dat komt omdat deze in passthrough aan een VM zit, zie hieronder.





Dit vind ik nou net het grappige aan deze 'doosjes'. 8 volwaardige cores (geen Atom) met HT, 8 storage devices (4x 3.5" SATA, 2x 2.5" SATA, 1x M.2 en 1x PCIe), IPMI, dual Gbit, dual 10Gbit en 128GB RAM.
En HCL!

Hier als single node VSAN (ik moest iets testen, volgende week gaan ze weer in ROBO):

[ Voor 67% gewijzigd door |sWORDs| op 05-02-2017 15:51 ]

[Le Enfant!]

Ik weet niet of dit de juiste plek is (aangezien er geen algemeen virtualisatie thread bestaat of ik deze in ieder geval niet heb kunnen vinden), maar ik heb een vraag betreffende virtualisatie. Ik ben namelijk aan het kijken om mezelf een server te bouwen, maar vooraleer ik de hardware bij elkaar zoek en het budget opstel ben ik eerst aan het kijken wat ik allemaal wil dat de server doe. Nu zie ik vaak threads passeren over servers waarin men zoekt naar een server die geschikt is voor virtualiseren. Nu vraag ik me af waarom dit plots het 'new cool thing' is in servers bouwen en beheren. Uiteraard weet ik wat virtualiseren is en enkele toepassingen (om een nieuwe OS te testen of in bedrijven om de server al het rekeningwerk te doen van toepassingen en deze te 'projecteren' op een thin client), maar waarom zou ik bijvoorbeeld willen dat mijn thuisserver dit ook kan doen?

Ik vraag dit uit pure interesse en om dit eventueel te implementeren in mijn eigen toekomstige server. Via Google kom ik niet verder dan een betekenis waar ik niet veel mee kan.

[CurlyMo]

Le Enfant! schreef op dinsdag 7 februari 2017 @ 20:08:
Ik weet niet of dit de juiste plek is (aangezien er geen algemeen virtualisatie thread bestaat of ik deze in ieder geval niet heb kunnen vinden), maar ik heb een vraag betreffende virtualisatie. Ik ben namelijk aan het kijken om mezelf een server te bouwen, maar vooraleer ik de hardware bij elkaar zoek en het budget opstel ben ik eerst aan het kijken wat ik allemaal wil dat de server doe. Nu zie ik vaak threads passeren over servers waarin men zoekt naar een server die geschikt is voor virtualiseren. Nu vraag ik me af waarom dit plots het 'new cool thing' is in servers bouwen en beheren. Uiteraard weet ik wat virtualiseren is en enkele toepassingen (om een nieuwe OS te testen of in bedrijven om de server al het rekeningwerk te doen van toepassingen en deze te 'projecteren' op een thin client), maar waarom zou ik bijvoorbeeld willen dat mijn thuisserver dit ook kan doen?

Ik vraag dit uit pure interesse en om dit eventueel te implementeren in mijn eigen toekomstige server. Via Google kom ik niet verder dan een betekenis waar ik niet veel mee kan.

Voorbeeld:
1. Dataopslag op ZFS in FreeBSD
2. Download in Ubuntu

Beide zijn dan gescheiden en de data is alleen beschikbaar via een netwerk share. Dat maakt het geheel veiliger.

Het is ook makkelijker om je download bak in Ubuntu "even" opnieuw op te zetten, zonder je Data OS aan te raken.

3. PFSense voor een krachtige router.

In draai zelf dus 1 en 2. Daarnaast nog een Ubuntu, Solaris, CentOS, en FreeBSD ontwikkelmachine. Allemaal gescheiden van mijn data storage.

[|sWORDs|]

Le Enfant! schreef op dinsdag 7 februari 2017 @ 20:08:
Ik weet niet of dit de juiste plek is (aangezien er geen algemeen virtualisatie thread bestaat of ik deze in ieder geval niet heb kunnen vinden), maar ik heb een vraag betreffende virtualisatie. Ik ben namelijk aan het kijken om mezelf een server te bouwen, maar vooraleer ik de hardware bij elkaar zoek en het budget opstel ben ik eerst aan het kijken wat ik allemaal wil dat de server doe. Nu zie ik vaak threads passeren over servers waarin men zoekt naar een server die geschikt is voor virtualiseren. Nu vraag ik me af waarom dit plots het 'new cool thing' is in servers bouwen en beheren. Uiteraard weet ik wat virtualiseren is en enkele toepassingen (om een nieuwe OS te testen of in bedrijven om de server al het rekeningwerk te doen van toepassingen en deze te 'projecteren' op een thin client), maar waarom zou ik bijvoorbeeld willen dat mijn thuisserver dit ook kan doen?

Ik vraag dit uit pure interesse en om dit eventueel te implementeren in mijn eigen toekomstige server. Via Google kom ik niet verder dan een betekenis waar ik niet veel mee kan.

New cool thing voor server? Na de afgelopen 10 jaar draaien vrijwel alle servers virtueel. Bij de meeste bedrijven meer dan 92%. We heb het hier niet over iets nieuws of over een niche, eerder over de standaard. Niche zou containers zijn, al zou ik dat niet meer zo afwillen doen.

Waarom virtualiseren:
Hardware kunnen vervangen zonder software aanpassingen.
Doorwerken bij computer uitval.
Resources delen.

[ Voor 4% gewijzigd door |sWORDs| op 07-02-2017 20:51 ]

[Michidez]

Ik ben nu al een tijdje aan het nadenken en het puzzelen om mijn systeem op te zetten. Ik wil namelijk FreeNAS virtueel draaien op mijn zelfbouw server. Nu weet ik dat ik een HBA controller moet doorgeven naar de VM zodat deze rechtstreekse toegang ( tot de SMART) heeft van de HDD's.

Volgens mij het goedkoopste is om de onboard HBA door te geven, en een goedkope kaart te gebruiken om de datastore op aan te sluiten. Nu lees ik in het oude thread dat PCI-e kaarten meegaan als je deze doorstuurt.

Aangezien de post van 2013 is: is dit nog altijd zo? Of werkt dit ondertussen wel zoals men zou verwachten? Als dit nog altijd niet werkt, wat zijn dan mijn mogelijkheden?

[FDMK]

|sWORDs| schreef op zondag 5 februari 2017 @ 14:59:

Aan de hand van jouw advies het lijstje compleet gemaakt. Het is iets meer geworden dan 2500 euro. Klopt dit lijstje?
Het enige punt waarop ik zou kunnen snijden is de storage, dus de Intel 400GB ipv de 1.2TB maar snij mijzelf daarmee uiteindelijk niet mee in de vingers? Ik kan de 400GB uiteindelijk wel in mijn desktop gebruiken maar dat heb ik absoluut niet nodig.

#	Product	Prijs	Subtotaal
1	Supermicro SYS-5028D-TN4T	€ 1.308,82	€ 1.308,82
4	Samsung M393A4K40BB0-CPB	€ 282,30	€ 1.129,20
1	Intel 750 SSD Half Height PCIe 3.0 x4 1,2TB	€ 749,-	€ 749,-
1	Samsung PM961 1TB	€ 415,60	€ 415,60
Bekijk collectie Importeer producten		Totaal	€ 3.602,62

[FireDrunk]

Wauw.. 128GB RAM

Mooie bak!

[FDMK]

FireDrunk schreef op woensdag 8 februari 2017 @ 08:31:
Wauw.. 128GB RAM

Mooie bak!

Staat ook wel tegenover dat ik mijn huidige spul ga verkopen maar dat is wel een druppel op de gloeiende plaat Heb het IMF ook een verzoek gestuurd om mij financieel bij te staan

[|sWORDs|]

Faddermakker schreef op woensdag 8 februari 2017 @ 08:00:
[...]


Aan de hand van jouw advies het lijstje compleet gemaakt. Het is iets meer geworden dan 2500 euro. Klopt dit lijstje?
Het enige punt waarop ik zou kunnen snijden is de storage, dus de Intel 400GB ipv de 1.2TB maar snij mijzelf daarmee uiteindelijk niet mee in de vingers? Ik kan de 400GB uiteindelijk wel in mijn desktop gebruiken maar dat heb ik absoluut niet nodig.

#	Product	Prijs	Subtotaal
1	Supermicro SYS-5028D-TN4T	€ 1.308,82	€ 1.308,82
4	Samsung M393A4K40BB0-CPB	€ 282,30	€ 1.129,20
1	Intel 750 SSD Half Height PCIe 3.0 x4 1,2TB	€ 749,-	€ 749,-
1	Samsung PM961 1TB	€ 415,60	€ 415,60
Bekijk collectie Importeer producten		Totaal	€ 3.602,62

Wat is dat geheugen gestegen zeg... Ik heb eind augustus voor 4x32GB 2400MHz Samsung M393A4K40BB0-CPB 606 euro betaald, dat is +86%!

Als je ooit overgaat naar ROBO is dit wel een behoorlijke verspilling, 10% cache is wat je nodig hebt. Als de cache disk groter is dan is dat gunstig voor de levensduur (en meestal performance), maar 12x groter is wel erg veel (ik zou dus voor de 400GB gaan). Een ander ding waar je op kunt besparen is de 1TB. Als je ziet wat je op 512GB kwijt kan dan zou dat echt voldoende kunnen zijn. Zie hier een dual 5028D-TNT4 ROBO met elk 512GB (en een failure to tolerate van één) en 26 VM's (de rest is nog aan het terug migreren):









En hier wat één VM nog aan IO doet terwijl 25 anderen ook draaien (writes over 10Gbit switch, zonder checksums zou de 4K performance een stuk hoger zijn):

[ Voor 6% gewijzigd door |sWORDs| op 08-02-2017 09:55 ]

[FDMK]

Die geheugenprijzen zijn écht bizar inderdaad. Ik kan initieel ook kijken hoever ik kom met 64GB maar zal uiteindelijk toch naar die 128 toe willen.
Uiteindelijk zal ik hem nog wel uit willen bouwen naar een tweede host maar dat zal ik in een ander financieelboekjaar(decenium )
Die storageaanpassing schelen wel wel een slok op een borrel maar is alsnog fors.

[ Voor 12% gewijzigd door FDMK op 08-02-2017 09:18 ]

[|sWORDs|]

Faddermakker schreef op woensdag 8 februari 2017 @ 09:17:
Die geheugenprijzen zijn écht bizar inderdaad. Ik kan initieel ook kijken hoever ik kom met 64GB maar zal uiteindelijk toch naar die 128 toe willen.
Uiteindelijk zal ik hem nog wel uit willen bouwen naar een tweede host maar dat zal ik in een ander financieelboekjaar(decenium )
Die storageaanpassing schelen wel wel een slok op een borrel maar is alsnog fors.

Een andere manier waarop je misschien 100-200 euro kan besparen is de 5028 in onderdelen te bestellen. Bij de eerste scheelde mij dat zo'n 150 euro, terwijl ik letterlijk alle (van air shroud tot kabeltjes) identieke onderdelen heb. Alleen de model name is anders, maar dat zou ik nog met IPMICFG kunnen aanpassen:

[johnvolkering]

Vraagje: Is het mogelijk om de fan speed aan te passen in ESXi?
Ik heb een Supermicro server en ESXi V6.
De fanspeed wordt wel automatisch gereguleerd.
Echter ze maken nog te veel lawaai en de temperatuur mag wel iets hoger.
Daarom dacht ik de fan speed iets aan te passen (uiteraard voor eigen risico)

Helaas niet bruikbaars tegen gekomen in mijn zoektocht naar het antwoord.
Vandaar een vraagje op dit forum.

Bedankt voor een reactie.

[|sWORDs|]

johnvolkering schreef op woensdag 8 februari 2017 @ 17:33:
Vraagje: Is het mogelijk om de fan speed aan te passen in ESXi?
Ik heb een Supermicro server en ESXi V6.
De fanspeed wordt wel automatisch gereguleerd.
Echter ze maken nog te veel lawaai en de temperatuur mag wel iets hoger.
Daarom dacht ik de fan speed iets aan te passen (uiteraard voor eigen risico)

Helaas niet bruikbaars tegen gekomen in mijn zoektocht naar het antwoord.
Vandaar een vraagje op dit forum.

Bedankt voor een reactie.

In IPMI zijn ze in te stellen, de exacte percentages van de 4 modi kun je volgens mij met IPMICFG aanpassen.

|sWORDs| schreef op woensdag 11 januari 2017 @ 11:17:
[...]

Je kunt de fanspeed in IPMI aanpassen onder Configuration -> Fan Mode:

|sWORDs| schreef op woensdag 11 januari 2017 @ 11:42:
[...]

Hier is het een stuk minder.

Optimal:


Standard:


Heavy IO:


Full:


Weet je zeker dat je fans PWM zijn?

Mode	FAN1-6	FANA-B
Optimal	30-100%	30-100%
Standard	50-100%	50-100%
Heavy IO	50-100%	75%
Full	100%	100%

[ Voor 48% gewijzigd door |sWORDs| op 08-02-2017 18:19 ]

[Le Enfant!]

CurlyMo schreef op dinsdag 7 februari 2017 @ 20:32:
[...]

Voorbeeld:
1. Dataopslag op ZFS in FreeBSD
2. Download in Ubuntu

Beide zijn dan gescheiden en de data is alleen beschikbaar via een netwerk share. Dat maakt het geheel veiliger.

Het is ook makkelijker om je download bak in Ubuntu "even" opnieuw op te zetten, zonder je Data OS aan te raken.

3. PFSense voor een krachtige router.

In draai zelf dus 1 en 2. Daarnaast nog een Ubuntu, Solaris, CentOS, en FreeBSD ontwikkelmachine. Allemaal gescheiden van mijn data storage.

Dit is inderdaad handig, zal dit zeker meenemen bij de bouw van mijn volgende server.

|sWORDs| schreef op dinsdag 7 februari 2017 @ 20:49:
[...]

New cool thing voor server? Na de afgelopen 10 jaar draaien vrijwel alle servers virtueel. Bij de meeste bedrijven meer dan 92%. We heb het hier niet over iets nieuws of over een niche, eerder over de standaard. Niche zou containers zijn, al zou ik dat niet meer zo afwillen doen.

Waarom virtualiseren:
Hardware kunnen vervangen zonder software aanpassingen.
Doorwerken bij computer uitval.
Resources delen.

Ik wist dat dit al breed wordt gebruikt in het bedrijfsleven (het bedrijf waar ik voor werk doet dit ook), maar ik had niet echt het gevoel dat dit ook gold voor thuisservers.

[|sWORDs|]

Voor thuis is het niet echt gebruikelijk, maar ook daar gelden dezelfde voordelen.

[winux]

Ik ben van plan me te gaan certificeren. Beginnen met VCA en daarna VCP.

Daarvoor wil een home lab opbouwen. Heb een NAS met genoeg ruimte. Deze wil ik gebruiken op basis van NFS.

Ga er vanuit, om het beste en meeste te kunnen testen, dat ik minimaal 2 hosts nodig heb.

Zou ik volstaan met de mini zoals in de OP. Of kom ik dan NICs te kort, omdat er maar 1 in zit? Wil ze uiteindelijk ook gaan gebruiken in semi productie voor eigen virtuele servers.

Nu staat er in de voorbeeld build mini een SSD. Wat is de reden om deze te gebruiken tov een USB stick?

[redfoxert]

winux schreef op zaterdag 11 februari 2017 @ 23:42:
Nu staat er in de voorbeeld build mini een SSD. Wat is de reden om deze te gebruiken tov een USB stick?

De USB stick wordt gebruikt om ESX (het OS) vanaf te booten. De SSD's zijn voor storage van je VM's. Die kan (en wil) je niet op een USB stick duwen namelijk.

[winux]

redfoxert schreef op zaterdag 11 februari 2017 @ 23:54:
[...]


De USB stick wordt gebruikt om ESX (het OS) vanaf te booten. De SSD's zijn voor storage van je VM's. Die kan (en wil) je niet op een USB stick duwen namelijk.

Nee die wil je idd niet op een USB stick zetten. Maar OS kan je wel vanaf USB stick draaien toch? En met een centrale data opslag heb je de SSD dus niet nodig?

[redfoxert]

winux schreef op zondag 12 februari 2017 @ 00:04:
[...]

Nee die wil je idd niet op een USB stick zetten. Maar OS kan je wel vanaf USB stick draaien toch? En met een centrale data opslag heb je de SSD dus niet nodig?

OS kan je prima van stick draaien. Met centrale storage heb je in theorie geen SSD nodig. Of je snelheid er beter van wordt is natuurlijk een tweede

[winux]

redfoxert schreef op zondag 12 februari 2017 @ 00:10:
[...]


OS kan je prima van stick draaien. Met centrale storage heb je in theorie geen SSD nodig. Of je snelheid er beter van wordt is natuurlijk een tweede

Normaal draai je ook centrale storage toch?
Maar zou je in thuis situatie uitkomen met i3? Of moet je dan toch wel naar i5?

[redfoxert]

winux schreef op zondag 12 februari 2017 @ 00:37:
[...]
Normaal draai je ook centrale storage toch?
Maar zou je in thuis situatie uitkomen met i3? Of moet je dan toch wel naar i5?

Normaal ... define normaal Local of shared storage werkt in de regel net zo goed. Shared storage is interessant noodzakelijk wanneer je meerdere hosts hebt die in een cluster met HA werken.

Of je met een i3/i5/i7 uitkomt hangt helemaal van je beoogde gebruik af. Een i3 werkt prima met ESX maar een i7 net zo goed. Vaak is het zo dat de CPU het minste probleem is met wat standaard VM's en loop je al snel tegen limitaties qua memory aan.

[ Voor 13% gewijzigd door redfoxert op 12-02-2017 00:51 ]

[winux]

redfoxert schreef op zondag 12 februari 2017 @ 00:46:
[...]


Normaal ... define normaal

Of je met een i3/i5/i7 uitkomt hangt helemaal van je beoogde gebruik af. Een i3 werkt prima met ESX maar een i7 net zo goed. Vaak is het zo dat de CPU het minste probleem is met wat standaard VM's en loop je al snel tegen limitaties qua memory aan.

Normaal in een productie omgeving om je HA, DRS en vMotion te kunnen gebruiken, of ga je dan uit van storage vMotion?

[redfoxert]

winux schreef op zondag 12 februari 2017 @ 00:53:
[...]


Normaal in een productie omgeving om je HA, DRS en vMotion te kunnen gebruiken, of ga je dan uit van storage vMotion?

Storage vMotion gebruik je alleen om de volumes van je VM te verhuizen naar een ander VMFS. Als je shared storage gebruikt zul je dat niet zo snel doen, mits je plaatsing goed is. HA/DRS/vMotion is alleen beschikbaar bij meerdere hosts in je vCenter cluster en daarvoor is shared storage noodzakelijk.

Overigens kun je met vSAN ook local storage presenteren als shared storage in je cluster maar das weer een ander verhaal.

[FireDrunk]

redfoxert schreef op zondag 12 februari 2017 @ 00:57:
[...]


Storage vMotion gebruik je alleen om de volumes van je VM te verhuizen naar een ander VMFS. Als je shared storage gebruikt zul je dat niet zo snel doen, mits je plaatsing goed is. HA/DRS/vMotion is alleen beschikbaar bij meerdere hosts in je vCenter cluster en daarvoor is shared storage noodzakelijk.

Overigens kun je met vSAN ook local storage presenteren als shared storage in je cluster maar das weer een ander verhaal.

Met als enige kanttekening:

Shared Nothing vMotion:
https://wahlnetwork.com/2...d-shared-nothing-vmotion/

[Reloader]

Ik heb zojuist een POweredge T310 geherinstalleerd met esxi 6.5 maar wanneer ik nu een bestand probeer te uploaden via de datastorebrowser dan begint de upload steeds opnieuw. iemand dit al eens meegemaakt / oplossing voor?

[stormfly]

Soms DNS gerelateerd. Dat hij de losse host servers niet kan resolven voor de upload.

[Reloader]

stormfly schreef op zondag 12 februari 2017 @ 12:53:
Soms DNS gerelateerd. Dat hij de losse host servers niet kan resolven voor de upload.

Hm. ik ga de DNS config ff tjekken.overigens na 45 minuten is een upload van een image wel gelukt

vreemd dit

[Nakebod]

Weet iemand of het mogelijk is om met ESXi (6.5) een guest OS toegang te geven tot een USB webcam? Op mijn homeserver wil ik als het even kan een webcam aansluiten. ESXi ziet de camera en ik kan hem als USB Device aan een guest hangen.
Getest met Ubuntu Server 16.10 en Windows 10. De guest herkent de camera, maar ik krijg geen beeld. Ook niet na een guest reboot, en zelfs de host een keer gereboot en geupdate naar de laatste ESXi build.

Inmiddels 3 camera's getest (2x Logitech, 1x "LG" van mijn TV). Op algemene foutmeldingen na in bijv de Windows Camera app dat de webcam niet werkt, en in fswebcam krijg ik een timeout, heb ik geen echte foutmeldingen gezien.

Andere USB devices voor mijn Domoticz installatie werken zonder problemen.
Via Google kom ik eigenlijk niets tegen wat betreft ESXi en webcams. Wel andere vmware producten waarin het moet werken. Ik kan mij voorstellen dat een webcam resource intensiever is en daarom misschien standaard uitstaat, maar gezien ze wel worden herkend

[redfoxert]

Nakebod schreef op zondag 12 februari 2017 @ 14:40:
Weet iemand of het mogelijk is om met ESXi (6.5) een guest OS toegang te geven tot een USB webcam? Op mijn homeserver wil ik als het even kan een webcam aansluiten. ESXi ziet de camera en ik kan hem als USB Device aan een guest hangen.
Getest met Ubuntu Server 16.10 en Windows 10. De guest herkent de camera, maar ik krijg geen beeld. Ook niet na een guest reboot, en zelfs de host een keer gereboot en geupdate naar de laatste ESXi build.

Inmiddels 3 camera's getest (2x Logitech, 1x "LG" van mijn TV). Op algemene foutmeldingen na in bijv de Windows Camera app dat de webcam niet werkt, en in fswebcam krijg ik een timeout, heb ik geen echte foutmeldingen gezien.

Andere USB devices voor mijn Domoticz installatie werken zonder problemen.
Via Google kom ik eigenlijk niets tegen wat betreft ESXi en webcams. Wel andere vmware producten waarin het moet werken. Ik kan mij voorstellen dat een webcam resource intensiever is en daarom misschien standaard uitstaat, maar gezien ze wel worden herkend

USB poort of controller met VT-d doorgeven aan de guest rechtstreeks?

[Nakebod]

Als dat de optie onder Host > Manage > Hardware > PCI Devices is, dan gok ik dat mijn USB controller daar niet voor geschikt is. Of niet aanstaat. Eens in de handleiding van het moederbord gluren
Is maar een simpele "server" met een pricewatch: ASRock H170M-ITX/DL en pricewatch: Intel Core i3-6100 Boxed

In de handleiding staat niet zoveel over VT-d, maar kan vanavond even de host rebooten om te controleren of die optie aanstaat. Zover ik weet wel, al hoop ik stiekem van niet en dat dan het probleem opgelost is

[ Voor 18% gewijzigd door Nakebod op 12-02-2017 14:55 ]

[ComTech]

Iemand een idee hoe dit kan?
1 van m'n ubuntu vm's neemt maar liefst 23.3 GB in beslag en dat terwijl hij heeft maar 1 disk van 16GB heeft.
En er staat bijna geen data op.
VM draait owncloud en sabnzb en gaat via een NFS share naar een freenas VM.
Heb als test een nieuwe VM aangemaakt met een 8GB disk en een NFS share en tot nu toe neemt hij maar 1.16GB in beslag.
Heb maar een kleine SSD als datastore dus iedere GB kan ik gebruiken

[ro3lie]

ComTech schreef op zondag 12 februari 2017 @ 17:04:
Iemand een idee hoe dit kan?
1 van m'n ubuntu vm's neemt maar liefst 23.3 GB in beslag en dat terwijl hij heeft maar 1 disk van 16GB heeft.
En er staat bijna geen data op.
VM draait owncloud en sabnzb en gaat via een NFS share naar een freenas VM.
Heb als test een nieuwe VM aangemaakt met een 8GB disk en een NFS share en tot nu toe neemt hij maar 1.16GB in beslag.
Heb maar een kleine SSD als datastore dus iedere GB kan ik gebruiken

Geen snapshot actief? Mogelijk ook nog je swapfile.

[jadjong]

Ding in stanby gezet? Dan kan je het ram er nog bij optellen.

[|sWORDs|]

Nakebod schreef op zondag 12 februari 2017 @ 14:50:
Als dat de optie onder Host > Manage > Hardware > PCI Devices is, dan gok ik dat mijn USB controller daar niet voor geschikt is. Of niet aanstaat. Eens in de handleiding van het moederbord gluren
Is maar een simpele "server" met een pricewatch: ASRock H170M-ITX/DL en pricewatch: Intel Core i3-6100 Boxed

In de handleiding staat niet zoveel over VT-d, maar kan vanavond even de host rebooten om te controleren of die optie aanstaat. Zover ik weet wel, al hoop ik stiekem van niet en dat dan het probleem opgelost is

code:

esxcli system module set -m=vmkusb -e=FALSE

En daarna even rebooten.

ComTech schreef op zondag 12 februari 2017 @ 17:04:
Iemand een idee hoe dit kan?
1 van m'n ubuntu vm's neemt maar liefst 23.3 GB in beslag en dat terwijl hij heeft maar 1 disk van 16GB heeft.
En er staat bijna geen data op.
VM draait owncloud en sabnzb en gaat via een NFS share naar een freenas VM.
Heb als test een nieuwe VM aangemaakt met een 8GB disk en een NFS share en tot nu toe neemt hij maar 1.16GB in beslag.
Heb maar een kleine SSD als datastore dus iedere GB kan ik gebruiken

De 16GB komt doordat je of een thick disk hebt, of je hebt meer dan 16GB aan writes gehad, zie hole punching in de startpost of gebruik VMFS6 met ESXi 6.5 unmap en discard.
De overige GB's zijn waarschijnlijk omdat je niet al het geheugen gereserveerd hebt en er een swap file aangemaakt wordt en/of suspend.

[ Voor 39% gewijzigd door |sWORDs| op 12-02-2017 18:42 ]

[Nakebod]

|sWORDs| schreef op zondag 12 februari 2017 @ 18:28:
[...]

code:

esxcli system module set -m=vmkusb -e=FALSE

En daarna even rebooten.

Helaas hetzelfde resultaat, wel herkenning, niet werken
Denk dat ik maar een raspberypi oplossing voor de webcam ga gebruiken, ga ik mij ook wel mee redden

[|sWORDs|]

Heb je daarna wel met VT-d de USB controller doorgegeven? Dat zou namelijk altijd moeten werken of boot je van USB?

[ Voor 9% gewijzigd door |sWORDs| op 12-02-2017 20:20 ]

[Nakebod]

|sWORDs| schreef op zondag 12 februari 2017 @ 20:19:
Heb je daarna wel met VT-d de USB controller doorgegeven? Dat zou namelijk altijd moeten werken of boot je van USB?

Even ervan uitgaande dat ik begrijp wat je wilt
We hebben het over deze settings toch?

Ik boot niet van USB, en kan alleen de GPU en 2 NIC's selecteren voor passthrough.
In de UEFI settings van mijn mobo staat VT-d aan, en ergens anders een melding dat VT-d supported was. Heb nog wel bij USB als test legacy support uitgezet, zonder resultaat.

Dus volgens mij zou het moeten werken, maar de praktijk is anders Ben al lang blij dat mijn andere USB devices wel gewoon doorgegeven worden aan mijn Domoticz server.
Ik laat het maar hierbij, zo belangrijk is het ook weer niet

[|sWORDs|]

Nakebod schreef op zondag 12 februari 2017 @ 21:16:
[...]

Dus volgens mij zou het moeten werken, maar de praktijk is anders

[...]

Als je de passthru.map aanpast (nog eens reboot) lukt het inschakelen vast wel (en dan nog een reboot voor je hem aan een VM toewijst). Zo niet wil ik het samen wel eens bekijken, ik vraag me af waarom het niet zou werken, VT-d staat duidelijk aan (anders zou de HD Graphics er ook niet vinkbaar staan).

|sWORDs| schreef op vrijdag 11 november 2016 @ 20:21:
Je kunt ook het volgende doen:

code:

vi /etc/vmware/passthru.map

Dan met 'dd' alle Intel regels behalve één weghalen.
Dan druk je op 'i' en maak je van de device-id 'ffff'
Dan 'esc' ':wq' 'enter'

De file ziet er dan als volgt uit:

code:

# passthrough attributes for devices
# file format: vendor-id device-id resetMethod fptShareable
# vendor/device id: xxxx (in hex) (ffff can be used for wildchar match)
# reset methods: flr, d3d0, link, bridge, default
# fptShareable: true/default, false

# Intel can be reset with d3d0
8086  ffff  d3d0     default
# Broadcom 57710/57711/57712 10Gig cards are not shareable
14e4  164e  default  false
14e4  164f  default  false
14e4  1650  default  false
14e4  1662  link     false
# Qlogic 8Gb FC card can not be shared
1077  2532  default  false
# QLogic QL45604 cards need to be reset with "link" and cannot be shared
1077  1634  link     false
1077  1629  link     false
1077  1636  link     false
1077  1656  link     false
1077  1644  link     false
1077  1654  link     false
# LSILogic 1068 based SAS controllers
1000  0056  d3d0     default
1000  0058  d3d0     default
# NVIDIA
10de  ffff  bridge   false

En dat is exact wat de vib doet.

Of nog gemakkelijker maak een custom iso met mijn intel-passtrough.vib of installeer de VIB los vanaf een datastore:

code:

esxcli software vib install -v /vmfs/volumes/myDatastore/VIB/intel-passthrough-1.0.0-01.x86_64.vib --no-sig-check --force

[ Voor 115% gewijzigd door |sWORDs| op 13-02-2017 16:54 ]