Het grote ESXi/vSphere Topic

[HellStorm666]

Hoe "veilig" is de volgende situatie....
Binnen ESXi heb ik 3 SSD's 1 er van draait ESXi zelf op.
De 2 andere geef ik ieder een eigen data-store (SSD1 en SSD2).
De Hardwareconfiguratie van de VM (Windows S2016) geef ik (via VMware paravirtual SCSI) 2 drives (beide x GB).
De installatie van Windows Server 2016 begin ik gewoon op Drive-1.
En na de installatie doe ik via de Schijfbeheer van S2016 een mirror maken van Drive-1 (C:) en Drive-2 samen.
Effectief heb ik dan een Software Mirror van het hele systeem op 2 losse SSD's.

Als dan een van de SSD's faalt, dan draait ie nog verder op de andere SSD, toch?

EDIT:
Een test zegt meer dan 1000 foto's
Dit werkt dus niet. S2016 draaiend... trek een SSD los. Systeem hangt.
ESXi probeert m te herstarten, maar dat mislukt. (zowel met SSD1 als met SSD2)

[ Voor 13% gewijzigd door HellStorm666 op 20-12-2018 14:16 ]

[Craven]

Just FYI, je bent jezelf aan het ophangen aan het in raid1 zetten van disks terwijl (ik tenminste) dat tegenwoordig helemaal niet zo nuttig meer is. Vroegah waren disks het meest onbetrouwbare onderdeel. Tegenwoordig is dat helemaal niet meer zo. Het is veel interessanter om naar redundancy op een hoger niveau te kijken.

[Dronium]

HellStorm666 schreef op donderdag 20 december 2018 @ 13:13:
Hoe "veilig" is de volgende situatie....

Niet !
Je VM heeft virtueel wel raid1 maar de definitie van die VM (de *.vmx file) staat nog steeds maar op een plek.

Je maakt het te ingewikkeld :
- Supermicro server als ESXi host
- een aantal (sas-)disken in Raid5 aan de LSI als gewone storage (daar kun je ook ESXi op installeren)
- 1 NVMe SSDs als snelle storage voor de CAD-tekeningen
(gewoon een apart volume van je fileserver waarvan de VMDK op de SSD staat)
- Dagelijks een backup naar je Synology (als die genoeg ruimte heeft meerdere versies).
Als er nog budget is: investeer in een een licentie voor vSphere essentials en Veeam voor de backup.

[ Voor 10% gewijzigd door Dronium op 20-12-2018 17:14 ]

[HellStorm666]

Dronium schreef op donderdag 20 december 2018 @ 17:09:
[...]

Niet !
Je VM heeft virtueel wel raid1 maar de definitie van die VM (de *.vmx file) staat nog steed maar op een plek.

Je maakt het te ingewikkeld :
- Supermicro server als ESXi host
- een aantal (sas-)disken in Raid5 aan de LSI als gewone storage (daar kun je ook ESXi op installeren)
- 1 NVMe SSDs als snelle storage voor de CAD-tekeningen
(gewoon een apart volume van je fileserver waarvan de VMDK op de SSD staat)
- Dagelijks een backup naar je Synology (als die genoeg ruimte heeft meerdere versies).
Als er nog budget is: investeer in een een licentie voor vSphere essentials en Veeam voor de backup.

Top, Thnx.
Daar ga ik maar eens mee beginnen.

Kan Data Protection of Replication Ook overweg met backup roulering?
Heb nu binnen Windows Server backup ingesteld dat we 3 backup schijven hebben welke gerouleerd worden (1x per week een andere disk er aan)

Backup disk is 3x over een 3TB Red in een usb3 enclosure.

[Dronium]

VMware Data Protection is al een tijdje EOL.
Voor replicatie heb je een 2e host nodig maar kun je wel meerdere versies (in de vorm van snapshots) bij houden.

Backups kun je het beste met Veeam doen, dat wordt dan zoiets
ESXi-host met VM's op local storage -> Veeam -> Backup files op Synology (internal disks) -> copy van backup naar USB disk (wel blijven rouleren).
Na de eerste backup kan Veeam incrementals maken, die zijn (afhankelijk van je change rate) echt in no-time klaar.

PS.
Kan die USB disk aan je Synology gekoppeld worden? of hangt die aan een fysieke windows-server?

[HellStorm666]

Dronium schreef op donderdag 20 december 2018 @ 17:25:
VMware Data Protection is al een tijdje EOL.
Voor replicatie heb je een 2e host nodig maar kun je wel meerdere versies (in de vorm van snapshots) bij houden.

Backups kun je het beste met Veeam doen, dat wordt dan zoiets
ESXi-host met VM's op local storage -> Veeam -> Backup files op Synology (internal disks) -> copy van backup naar USB disk (wel blijven rouleren).
Na de eerste backup kan Veeam incrementals maken, die zijn (afhankelijk van je change rate) echt in no-time klaar.

PS.
Kan die USB disk aan je Synology gekoppeld worden? of hangt die aan een fysieke windows-server?

hmmm.. vreemd. Als ik bij VMware kijk wat de verschillen zijn tussen de VMware vSphere Essentials Kits en de VMware vSphere Essentials Plus Kits (hierzo: https://store.vmware.com/...tPage&categoryID=66680900 )
Dan staat Data Protection er gewoon tussen.

Maar in dat geval, mocht dat Data Protection dus EOL zijn en de Replication niet de juiste methode zijn voor backup, is het waarschijnlijk interessanter om VMware vSphere Essentials Kits te nemen ipv de Plus. En dan idd het geld in Veeam te steken. ofniet?

[Dronium]

Ik denk inderdaad dat de Essentials kit voorlopig de juiste voor je is. Van de extra features van de Plus versie is vMotion niet bruikbaar omdat je maar een host hebt en voor en High Availability heb je ook nog shared storage nodig.
Als ik dan de andere features bekijk denk ik dat een goede en probleemloze Backup véél belanrijker is.

Hier de EOL melding van Data Protector

[|sWORDs|]

HellStorm666 schreef op donderdag 20 december 2018 @ 09:01:
[...]


Ok duidelijk.
Een goede backup waar je altijd op kan vertrouwen is uiteraard een stap 1.

Kort samenvattend adviseer jij het volgende als ik het goed begrijp.

Intel 750/P3700/900p/P4800X aanschaffen en daar de CAD opslag op. (Die P3700 die je linkte sluit je aan op een PCIe port?)
ESXi op een dual-usb?
Disks niet in RAID (wel aangesloten laten op de LSI 3108 2GB? of op de interne Sata-port?)
De Crucials alleen gebruiken voor data wat minder belangrijk is, of goed gebackupped.

Wat vind je van de HP Z Turbo Drive, Seagate Nytro XF1440 of Intel DC P3520?


[...]

HP Z Turbo Drive = Samsung SM951, slechte drive welke bij bosjes sneuvelen.
Seagate Nytro XF1440 = Sandforce, grote vraagtekens bij.
Intel DC P3520 = Read optimized, 6x trager met sustained writes dan een P3700, prima capacity drive (al hoewel ik eerder voor een P4510 zou gaan) voor VSAN met een P4800X als cache. Voor mixed workloads zou een P4610 logischer zijn.

P4800X is het beste wat je kunt krijgen, maar ook erg duur. Een 900/905p heeft dezelfde flash chips, controller en PCB alleen wat features die je toch nooit gaat gebruiken zitten niet in de firmware en de endurance rating is lager.

P3700 is iets minder snel en kan minder writes aan, maar ook minder duur. Een 750 heeft dezelfde flash chips, controller en PCB alleen wat features die je toch nooit gaat gebruiken zitten niet in de firmware en de endurance rating is lager.

Ik heb zelf:
1 900p (480GB)
4 750 (3x 400GB en 1.2TB)
3 P3700 (1.6TB)

Drive	Steady State (MB/s)	Endurance (TBW)
P4800X 750GB	1288 (Heavy)	83968
900p 480GB	1733,9 (Medium)	8970
900p 280GB	1702,3 (Medium)	5233
P3700 400GB	508,4 (Heavy)	7475
750 400GB	657,9 (Medium)	219
SM951 256GB	102,4 (Medium)	150

De heavy tests zijn meer representatief (langer schrijven), de medium score is zo'n 30% hoger voor de meeste drives.

[ Voor 43% gewijzigd door |sWORDs| op 21-12-2018 14:15 ]

[HellStorm666]

|sWORDs| schreef op vrijdag 21 december 2018 @ 13:43:
[...]

HP Z Turbo Drive = Samsung SM951, slechte drive welke bij bosjes sneuvelen.
Seagate Nytro XF1440 = Sandforce, grote vraagtekens bij.
Intel DC P3520 = Read optimized, 6x trager met sustained writes dan een P3700, prima capacity drive (al hoewel ik eerder voor een P4510 zou gaan) voor VSAN met een P4800X als cache. Voor mixed workloads zou een P4610 logischer zijn.

P4800X is het beste wat je kunt krijgen, maar ook erg duur. Een 900/905p heeft dezelfde flash chips, controller en PCB alleen wat features die je toch nooit gaat gebruiken zitten niet in de firmware en de endurance rating is lager.

P3700 is iets minder snel en kan minder writes aan, maar ook minder duur. Een 750 heeft dezelfde flash chips, controller en PCB alleen wat features die je toch nooit gaat gebruiken zitten niet in de firmware en de endurance rating is lager.

Ik heb zelf:
1 900p (480GB)
4 750 (3x 400GB en 1.2TB)
3 P3700 (1.6TB)



De heavy tests zijn meer representatief (langer schrijven), de medium score is zo'n 30% hoger voor de meeste drives.

De Intel DC P4610 3,2TB is dan wel erg interesant voor ons denk ik.
€0,576 per GB
3,2 TB groot
3200MB/s om 3000MB/s
640.000 IOPS om 200.000 IOPS
5 jaar garantie
21,85 PB TBW

Ding is al vééle male sneller dan een Crucial MX300 525GB die we nu hebben.
Véél veiliger.

Alleen even uitzoeken hoe zo'n U.2 disk aangesloten wordt op m'n Supermicro X10DRH-CT mobo

Die Intel DC P4610 3,2TB zou ik dan inzetten om een aantal Disks op te zetten voor oa de SQL server, CAD file server en normale office opslag.
Aan te raden?

[|sWORDs|]

HellStorm666 schreef op vrijdag 21 december 2018 @ 14:22:
[...]


De Intel DC P4610 3,2TB is dan wel erg interesant voor ons denk ik.
€0,576 per GB
3,2 TB groot
3200MB/s om 3000MB/s
640.000 IOPS om 200.000 IOPS
5 jaar garantie
21,85 PB TBW

Ding is al vééle male sneller dan een Crucial MX300 525GB die we nu hebben.
Véél veiliger.

Alleen even uitzoeken hoe zo'n U.2 disk aangesloten wordt

Die Intel DC P4610 3,2TB zou ik dan inzetten om een aantal Disks op te zetten voor oa de SQL server, CAD file server en normale office opslag.
Aan te raden?

Ja top drive. Wat je niet moet kopen is een bifurcation kaart (AOC-SLG3-2E4R). Helaas staat jouw bord in de de supported list, maar deze WERKT NIET!!! Ik heb maanden besteed met Supermicro en de PM heeft bevestigd dat het niet werkt en nooit gaat werken. Wat wel zou werken is een PLX kaart (AOC-SLG3-2E4), maar die worden niet meer verkocht ivm hofswap problemen.
Makkelijkste is M.2 adapter -> M.2 naar U.2 kabel (SFF-8639).

pricewatch: Delock PCI Express Card > 1 x internal M.2 NGFF
https://click.intel.com/u...l-solid-state-drives.html

[ Voor 18% gewijzigd door |sWORDs| op 21-12-2018 14:42 ]

[HellStorm666]

De andere systeembeheerder zit het converteren van de huidige server naar ESXi niet zitten.
Hij heeft liever dat we een nieuwe server aanschaffen.
Waarschijnlijk kan ik daarna alsnog op de nieuwe server (in alle rust) de DC gaan draaien ed zodat ook op de huidige server ESXi kan komen.

Nog een advies voor een goede bang-for-the-buck Rack server?
Denk dat er maar 1 disk in komt, nl die DC P4610 van 3,2TB

Zo op het eerste gezicht lijkt de Gigabyte R271-Z31 met Epyc 7351P me wel wat.

[ Voor 9% gewijzigd door HellStorm666 op 21-12-2018 14:49 ]

[|sWORDs|]

HellStorm666 schreef op vrijdag 21 december 2018 @ 14:42:
De andere systeembeheerder zit het converteren van de huidige server naar ESXi niet zitten.
Hij heeft liever dat we een nieuwe server aanschaffen.
Waarschijnlijk kan ik daarna alsnog op de nieuwe server (in alle rust) de DC gaan draaien ed zodat ook op de huidige server ESXi kan komen.

Nog een advies voor een goede bang-for-the-buck Rack server?
Denk dat er maar 1 disk in komt, nl die DC P4610 van 3,2TB

Zo op het eerste gezicht lijkt de Gigabyte R271-Z31 met Epyc 7351P me wel wat.

Dan is het waarschijnlijk het slimste om een identieke server aan te schaffen, op zijn minst de zelfde vendor qua CPU voor vMotion.
Ik zou absoluut niemand Gigabyte aanraden, ik heb het bord van die server en de support is om te huilen, ook is dat bord hier niet stabiel met ESXi 6.7 U1 (niet U1 was prima), iets wat ik de komende dagen ga uitzoeken.

[ Voor 9% gewijzigd door |sWORDs| op 21-12-2018 14:52 ]

[HellStorm666]

|sWORDs| schreef op vrijdag 21 december 2018 @ 14:50:
[...]

Dan is het waarschijnlijk het slimste om een identieke server aan te schaffen, op zijn minst de zelfde vendor qua CPU voor vMotion.
Ik zou absoluut niemand Gigabyte aanraden, ik heb het bord van die server en de support is om te huilen.

Maar als ik nu een identieke server aan schaf, mis ik flink wat performance t.o.v. wat nu voor hetzelfde geld mogelijk is. ofniet?

Maakt t voor vMotion uit dat het spul van de zelfde vendor is? zou zeggen dat, omdat ESXi er tussen zit, dit niet uit zou moeten maken.... zo zie je maar.. aannames

En qua Gigabyte... Zelf (prive) goede ervaringen mee... en support, tja.. das voor de gene waarvan ik m koop (serverdirect) een probleem, niet voor mij

[|sWORDs|]

HellStorm666 schreef op vrijdag 21 december 2018 @ 14:54:
[...]

Maar als ik nu een identieke server aan schaf, mis ik flink wat performance t.o.v. wat nu voor hetzelfde geld mogelijk is. ofniet?

Maakt t voor vMotion uit dat het spul van de zelfde vendor is? zou zeggen dat, omdat ESXi er tussen zit, dit niet uit zou moeten maken.... zo zie je maar.. aannames

En qua Gigabyte... Zelf (prive) goede ervaringen mee... en support, tja.. das voor de gene waarvan ik m koop (serverdirect) een probleem, niet voor mij

We hebben een VM en gaan die al draaiend verplaatsen terwijl de instructies die de CPU support niet gelijk blijven?

Jij hebt straks een server draaien en als er problemen zijn zitten zijn het jouw gebruikers die niet kunnen werken. Leuk dat de oplossing het probleem van serverdirect is, maar wat schieten jouw gebruikers daarmee op? En ik heb privé vrijwel altijd Gigabyte borden gehad en die waren perfect, maar dat zegt niets over de kwaliteit van business to business support.

Fouten in microcode, BIOS en BMC firmware, elke vraag duurt een week om een antwoord te krijgen en de reactie is dan:

Please provide us product serial number so that we can look into the product specification.

Maar in de ticket stond al:
Product Name: MZ31-AR0 (1.x)
BIOS Ver: F10

Serienummer verzonden, weer een week verder:

With the problems you encountered, please try below suggestions to see if it works:

1. Kindly remove additional devices, such as GSM server card. Please install CPU and a memory with the server motherboard. If the reboot problem is not happen, then it may be device issue.
2. Kindly click here to download and flahs 1.72 BMC FW. Please flash firmware with flash.nsh in installation file utility\fwud\uefi. Then, update BMC when boot with UEFI-Shell mode.
3. If BMC works properly after update, please connect BMC WebUI and update BIOS, then check whether sensor works well.
4. If possible, you can try to install other CPU or memory to verify whether it is hardware issue.

BMC firmware geflashed, één fout weg, eentje erbij. GSM server card zit trouwens onboard, dus product aanduiding en serienummer is niet voldoende om te snappen waar we het over hebben. Nieuwe reactie en weer een week later:

If you have followed our suggestions in previous mail, changed CPU and memory but problem still remains, then it is possible something wrong with your hardware. The product needs further examination to determine the problem. Meanwhile, because we can hardly define the root cause without looking at the platform, we suggest you to contact your supplier (where you bought the product) and see if they could help you do the further examination.

Als we dat vergelijken met Supermicro dan heb ik meestal in een paar uur reactie en werken ze samen om beta BIOS te testen, etc. Hele andere ervaring.

[ Voor 30% gewijzigd door |sWORDs| op 21-12-2018 15:16 ]

[HellStorm666]

|sWORDs| schreef op vrijdag 21 december 2018 @ 15:01:
[...]

We hebben een VM en gaan die al draaiend verplaatsen terwijl de instructies die de CPU support niet gelijk blijven?

Jij hebt straks een server draaien en als er problemen zijn zitten zijn het jouw gebruikers die niet kunnen werken. Leuk dat de oplossing het probleem van serverdirect is, maar wat schieten jouw gebruikers daarmee op? En ik heb privé vrijwel altijd Gigabyte borden gehad en die waren perfect, maar dat zegt niets over de kwaliteit van business to business support.

Fouten in microcode, BIOS en BMC firmware:

[...]

Daar zit wat in.
Een E3-1270v6 single CPU dan wel aan te raden? (Supermicro bord)
Of beter een Supermicro met dual Xeon Silver 4114?
Of zelfs een dual Xeon Gold 6128?
alle gevallen met 4x en 16GB RAM en geen opslag.

https://serverdirect.nl/c...x-240gb-ssd-redundant-psu

[ Voor 15% gewijzigd door HellStorm666 op 21-12-2018 22:46 ]

[HellStorm666]

@|sWORDs| gaat een van de 3 bovenstaande systemen werken?

[FireDrunk]

Een 8 core Xeon, en 8GB ram? Beetje vreemde combi. Wat gaat die cpu de hele dag doen?

[|sWORDs|]

HellStorm666 schreef op dinsdag 25 december 2018 @ 10:15:
@|sWORDs| gaat een van de 3 bovenstaande systemen werken?

Ik snap het plan niet helemaal, 4x een machine met elk 16GB of één machine met 4x 16GB? En wat ben je van plan qua storage?

[ Voor 5% gewijzigd door |sWORDs| op 25-12-2018 11:12 ]

[Endpoint]

Normaal heb je iets van een baseline waar je hardware op dit moment minimaal aan moet voldoen. Daarna ga je na qua sizing voor hoe lang ga je hem inzetten en wat je te verwachten groei is. Reken daarbij 30% extra resources bij en je zit in de goeie richting.

Hoe lang mag je er uit liggen bij een outage van een host? Moet alles gelijk weer opkomen, dan ga je voor HA en moet je dus alles dubbel uitvoeren. Qua support kan je bij je leverancier terecht, maar deze verwijst me vaak door naar de fabrikant. HP en Dell etc neem je een support contract af, binnen 5 uur etc.

Heb je eigenlijk al een gesegmenteerd netwerk waarbij je je vmotion/storage netwerk van je productienetwerk kan scheiden?

[HellStorm666]

|sWORDs| schreef op dinsdag 25 december 2018 @ 11:11:
[...]

Ik snap het plan niet helemaal, 4x een machine met elk 16GB of één machine met 4x 16GB? En wat ben je van plan qua storage?

Nee, in de machine komt 4 bankjes van 16GB.
De Storage wordt die DC P4610 van 3,2 TB

[HellStorm666]

Endpoint schreef op dinsdag 25 december 2018 @ 11:37:
Normaal heb je iets van een baseline waar je hardware op dit moment minimaal aan moet voldoen. Daarna ga je na qua sizing voor hoe lang ga je hem inzetten en wat je te verwachten groei is. Reken daarbij 30% extra resources bij en je zit in de goeie richting.

Hoe lang mag je er uit liggen bij een outage van een host? Moet alles gelijk weer opkomen, dan ga je voor HA en moet je dus alles dubbel uitvoeren. Qua support kan je bij je leverancier terecht, maar deze verwijst me vaak door naar de fabrikant. HP en Dell etc neem je een support contract af, binnen 5 uur etc.

Heb je eigenlijk al een gesegmenteerd netwerk waarbij je je vmotion/storage netwerk van je productienetwerk kan scheiden?

Outage van een uurtje of 2 is geen probleem.
Dus handmatig een machine over moeten zetten of moeten activeren is geen probleem.

[Endpoint]

Als je een outage tot max 2 uur kan dragen, dan denk dat je je beter zorgen kan gaan maken over je shared storage

[|sWORDs|]

HellStorm666 schreef op dinsdag 25 december 2018 @ 12:26:
[...]


Nee, in de machine komt 4 bankjes van 16GB.
De Storage wordt die DC P4610 van 3,2 TB

We gaan een beetje in rondjes, maar hardware is iets wat we even buiten beschouwing kunnen laten, er komt iets nieuws.

Laten we dan even kijken wat je wil draaien en het even in twee blokken verdelen:

• 1x Windows Server 2016 als DC, DHCP en forward-lookup DNS
• 1x Windows Server 2016 met SQL 2017 als database voor ons PLM pakket
• 2x OpenVPN AS
• Pi-Hole DNS

• 1x Windows Server 2016 voor het PLM pakket
• Boekhoud server
• Webserver (ubuntu)
• LiquidFiles server (soort we-transfer)
• Win7 RDP
• 3CX telefooncentrale

Verder heb je het nog over data.

Het eerste blok kun je prima redundant maken zonder VM level HA. Gewoon overal twee VM's van op twee hypervisors (of een tweede fysiek). Zeker AD, DHCP en DNS wil je niet zonder redundancy draaien, werkelijk alles gaat plat.
Hoe wil je redundancy aanpakken voor deze lijst?

De tweede lijst en de data is lastiger, is het hebben van een backup voldoende?

Wat voor CPU je nodigt gaat hebben is erg afhankelijk van jouw load. Wat draai je nu voor die machines en hoe hoog is de average en peak load?

[ Voor 3% gewijzigd door |sWORDs| op 25-12-2018 13:57 ]

[HellStorm666]

|sWORDs| schreef op dinsdag 25 december 2018 @ 13:23:
[...]

We gaan een beetje in rondjes, maar hardware is iets wat we even buiten beschouwing kunnen laten, er komt iets nieuws.

Laten we dan even kijken wat je wil draaien en het even in twee blokken verdelen:

• 1x Windows Server 2016 als DC, DHCP en forward-lookup DNS
• 1x Windows Server 2016 met SQL 2017 als database voor ons PLM pakket
• 2x OpenVPN AS
• Pi-Hole DNS

• 1x Windows Server 2016 voor het PLM pakket
• Boekhoud server
• Webserver (ubuntu)
• LiquidFiles server (soort we-transfer)
• Win7 RDP
• 3CX telefooncentrale

Verder heb je het nog over data.

Het eerste blok kun je prima redundant maken zonder VM level HA. Gewoon overal twee VM's van op twee hypervisors (of een tweede fysiek). Zeker AD, DHCP en DNS wil je niet zonder redundancy draaien, werkelijk alles gaat plat.
Hoe wil je redundancy aanpakken voor deze lijst?

De tweede lijst en de data is lastiger, is het hebben van een backup voldoende?

Wat voor CPU je nodigt gaat hebben is erg afhankelijk van jouw load. Wat draai je nu voor die machines en hoe hoog is de average en peak load?

Dat bovenste deel wil ik idd redundant draaien.
Voor de rest is een backup, welke ik binnen 2 uur terug kan zetten, prima.

Is vMotion tussen de huidige server en een van die 3 eerder vermelde servers gewoon mogelijk? (ook met t systeem live en local storage?)

[Endpoint]

We dwalen mogelijk van het Vmware stuk af. Ja, wat je wilt is mogelijk maar gaat een behoorlijke hoeveelheid centen kosten.

Volgens mij had je het over ongeveer één terabyte aan productie data, om dat binnen een blok van 2 uur operationeel te hebben vormt al een uitdaging opzich.

Hoe oud mag deze data zijn. Als je een outage, of bijvoorbeeld virus uitbraak krijg, is het erg om een dag productie te verliezen?

Vmotion is mogelijk, als je wel binnen de Intel hoek blijft, mits de juiste EVC modus

[HellStorm666]

Endpoint schreef op dinsdag 25 december 2018 @ 21:22:
We dwalen mogelijk van het Vmware stuk af. Ja, wat je wilt is mogelijk maar gaat een behoorlijke hoeveelheid centen kosten.

Volgens mij had je het over ongeveer één terabyte aan productie data, om dat binnen een blok van 2 uur operationeel te hebben vormt al een uitdaging opzich.

Hoe oud mag deze data zijn. Als je een outage, of bijvoorbeeld virus uitbraak krijg, is het erg om een dag productie te verliezen?

Vmotion is mogelijk, als je wel binnen de Intel hoek blijft, mits de juiste EVC modus

De 1TB is de totale data.
Er wordt, gok ik, niet meer dan 2GB aan nieuwe data gemaakt op een piek dag.

Een dag productie verliezen is vervelend, maar zeker geen ramp.

[Jeroen V]

Beetje jammer dat ik nu pas echt dit topic zie, maar beter laat dan nooit

Sinds een jaar of 6 draai ik een ESXi server puur voor thuisgebruik; een i5-3550 met 32GB RAM. Lokaal zit er een Intel 330 120GB SSD in en de rest van de storage staat op een Synology DS2415+. Daar zitten 2 x 500GB Samsung EVO 850 in voor RAID1 cache en 6 x 6TB WD Red schijven. Een maandje geleden is de NAS overleden (gelukkig nog garantie) maar ik heb inmiddels een Synology RS2418+ staan omdat ik geen zin had om 4 weken zonder NAS te zitten.

De huidige ESXi server heeft te weinig geheugen om er alles mee te kunnen doen wat ik zou willen, dus ik heb inmiddels een nieuwe ESXi server besteld. Ook gaat er in de RS2418+ een zes-tal SSD's (Samsung EVO 860 500GB) waar ik de storage op wil plaatsen voor de VM's. Verder meteen een upgrade naar 10GBit voor de NAS met bijbehorende switch. (DELL N1148T)

De doelstelling voor de ESXi server is met name een home-lab. Ik werk wel aan wat software development projecten waarvan de VM's met o.a. Bitbucket en Jenkins ook op de ESXi machine staan, maar het belangrijkste doel is om te kunnen experimenteren met zo ongeveer alles wat ik zou kunnen bedenken. Een paar voorbeelden:
- ESXi nested om meer van VMWare te leren,
- Azure Stack Development Kit, volledig niet ondersteung door zowel MS als VMWare, maar lijkt me leuk om te proberen,
- Kubernetes cluster.

De server die ik heb besteld is de volgende:

#	Product	Prijs	Subtotaal
2	Intel Xeon E5-2620 v4 Boxed	€ 445,05	€ 890,10
1	Asus Z10PR-D16	€ 417,99	€ 417,99
1	Intel X520-DA2	€ 229,-	€ 229,-
8	Hynix HMA42GR7AFR4N-UH	€ 209,68	€ 1.677,44
1	Transcend MTS420 240GB	€ 140,26	€ 140,26
1	ASUS RS500-E8-PS4	--	--
Bekijk collectie Importeer producten		Totaal	€ 3.354,79

Voor de volledigheid ook even de configuratie van de Synology NAS:

#	Product	Prijs	Subtotaal
4	WD Red WD60EFRX, 6TB	€ 187,89	€ 751,56
1	Intel Ethernet Converged Network Adapter X710-DA2	€ 282,25	€ 282,25
2	Samsung 850 EVO 500GB	€ 125,84	€ 251,68
6	Samsung 860 EVO 500GB	€ 80,28	€ 481,68
1	Synology RS2418+	€ 1.720,41	€ 1.720,41
Bekijk collectie Importeer producten		Totaal	€ 3.487,58

Zodra de DS2415+ weer terug is wil ik die gaan inzetten als backup storage. (afhankelijk van het advies hier zou ik hem ook kunnen verkopen en inruilen voor local storage )

Ik heb niet de laatste generatie van de Xeon gekozen om de simpele reden dat de server dan minimaal 1000,- euro duurder zou uitvallen en ik liever 10GBit heb dan de laatste generatie Xeon's. De SSD is puur om ESXi op te kunnen installeren, mocht ik noodzaak zien voor lokale storage dan kan ik nog twee PCI-E kaarten plaatsen.

Ik lees hier in het topic verschillende meningen over iSCSI vs NFS. Mijn initiële idee was om van de 6x500GB SSD's een RAID volume te maken en daar de iSCSI LUN's op de plaatsen. Ik ben er nog niet helemaal uit welk type RAID ik wil gebruiken; voordeel van meer opslag met RAID5 maar lagere performance, of performance met RAID10 maar minder opslag. ik denk ongeveer 1.5TB aan storage voor VM's nodig te hebben, en dat zou ik met RAID10 net kunnen halen. Een laatste afweging zou RAID0 kunnen zijn, maar dan had ik beter snelle lokale storage kunnen kiezen wat eventueel altijd nog zou kunnen. (belangrijkste reden is dat er met RAID10 of RAID5 iets kapot mag gaan zonder dat ik met de backups aan de gang moet)

De snelheid van de huidige ESXi server is eigenlijk helemaal niet slecht, en dat draait op slechts 2 SSD's met 1GBit, dus ik denk er in snelheid al op voorruit te gaan met de nieuwe hardware.

Hamvraag aan de ervaringsdeskundigen: hoe zouden jullie de storage inrichten in mijn situatie?

[FireDrunk]

Als je geen belangrijke data op de SSDs zet zou ik liever gewoon alle SSD's los publiceren aan je ESXi host, en dat ding de VM's laten verdelen over de SSDs.

Dan heb je per vm de performance van een SSD wat veel beter is dan alles op 1 datastore die onderwater weer RAID gebruikt. Je random write performance is dan in totaal veel hoger. (want geen RAID engine er tussen) en mocht er iets falen, vallen er dus maar (een) enkele VM(s) uit.

iSCSI is in mijn ervaring eigenlijk altijd sneller. Maar NFS is iets makkelijker in beheer. Voor een thuislab merk je het verschil in performance vaak amper, dus ik zou me er niet heel druk om maken. Vooral bij NFS worden sync writes slechter gequeued dan bij iSCSI, en zul je dus meer profijt hebben van meerdere Datastore's en je VM's verdelen.

Je kan bijvoorbeeld die 2*850 EVO wel in RAID doen voor je belangrijkste VM's die je altijd up wil hebben, en je 'speeltuin' VM's op de rest zetten.

[|sWORDs|]

Jammer dat je het nu pas post, ik zie 8500 euro aan apparatuur, ik denk dat je door dit anders in te zetten een beter eindresultaat had kunnen behalen, aan de andere kant, als de huidige oplossing prima was gaat dit natuurlijk ook prima zijn.

Voor wat je nu krijgt, waarom verplaats je de SSDs niet naar de server?

[ Voor 16% gewijzigd door |sWORDs| op 26-12-2018 11:41 ]

[Jeroen V]

FireDrunk schreef op woensdag 26 december 2018 @ 11:22:
Je kan bijvoorbeeld die 2*850 EVO wel in RAID doen voor je belangrijkste VM's die je altijd up wil hebben, en je 'speeltuin' VM's op de rest zetten.

De 2*850 zijn nu de cache voor de 4x6TB en dat wil ik zo houden. Bij de oude server was dit al zo en dat is behoorlijk snel, zelfs voor iSCSI.

Jouw voorstel zou met name voor gelijktijdig gebruik van meerdere VM's zin hebben, dus ik vraag me af of dat voor mij echt voordeel zou zijn aangezien er voor een groot gedeelte van de tijd niet zoveel VM's actief zijn. Als ik dus de 6 nieuwe SSD's op die manier zou gebruiken dan levert me dat 2.5TB op, en dat komt op precies hetzelfde neer als RAID5 met de 6xSSD. De leesprestaties van een RAID5 set zijn echter weer een stuk beter dan een losse drive, dus dan vraag ik me af of dat echt een prestatievoordeel zou zijn. (afgezien van het feit dat ik voor een groot gedeelte redundantie zou inleveren)

|sWORDs| schreef op woensdag 26 december 2018 @ 11:39:
Jammer dat je het nu pas post, ik zie 8500 euro aan apparatuur, ik denk dat je door dit anders in te zetten een beter eindresultaat had kunnen behalen, aan de andere kant, als de huidige oplossing prima was gaat dit natuurlijk ook prima zijn.

Het zal er in ieder geval niet op achteruit gaan, ik denk dat deze configuratie voor mijn doeleinden niet slecht zal presteren. Overigens zou die Synology er toch zijn ongeacht wat voor ESXi server er zou staan omdat ik die ook voor andere doeleinden gebruik.

|sWORDs| schreef op woensdag 26 december 2018 @ 11:39:Voor wat je nu krijgt, waarom verplaats je de SSDs niet naar de server?

Ik zou 4 SSD's in de server kunnen plaatsen (er zitten 4 bays in) maar dan heb ik geen enkele vorm van redundantie, en dat is voor mij juist 1 van de voordelen van de NAS. Maar denk jij dat een enkele lokale SATA drive beter presteert dan een RAID10 of RAID5 set in de NAS in deze configuratie? (ik snap dat een NVMe drive sneller zal zijn dan iSCSI op de NAS, maar dat kan ik altijd nog doen.)

[|sWORDs|]

Je latency is een stuk beter met lokale storage.

[FireDrunk]

Lokale ssd storage is eigenlijk in alle gevallen merkbaar sneller.

[Jeroen V]

Latency zal inderdaad hoger zijn, maar dan kan ik er beter een PCIe kaart in stoppen. (maar dat zal dan volgend jaar worden, ik denk dat mijn vriendin me onder het tapijt schuift als ik nu nog meer speelgoed wil aanschaffen )

Wat is nu zo'n beetje de ultieme PCIe kaart? De nieuwe generatie Optanes zijn erg snel, maar ook behoorlijk duur...

[FireDrunk]

Bang for buck? Denk een pro-sumer NVMe in een converter kaartje.

[|sWORDs|]

Jeroen V schreef op woensdag 26 december 2018 @ 15:57:
Latency zal inderdaad hoger zijn, maar dan kan ik er beter een PCIe kaart in stoppen. (maar dat zal dan volgend jaar worden, ik denk dat mijn vriendin me onder het tapijt schuift als ik nu nog meer speelgoed wil aanschaffen )

Wat is nu zo'n beetje de ultieme PCIe kaart? De nieuwe generatie Optanes zijn erg snel, maar ook behoorlijk duur...

905P (perf), of een P3700(perf/size/price) van Ebay.





Zelf heb ik momenteel 3xP3700 1.6TB als capacity met een 480GB 900p als write cache (single node VSAN met compression/dedupe) en nog wat (3x 400GB, 1x 1.2TB) Intel 750’s als local storage. Backup naar 5x4TB spinning met twee 480GB SM843T’s als read/write cache op XPenology.

Zodra ik mijn EPYC machine stable met 6.7u1 heb ga ik de dual Xeon E5 Broadwell ook naar single EPYC ombouwen en een ROBO config maken met VSAN witness op mijn router (Protectli FW6C met 32GB). Ook wil ik de NVIDIA P40 en M60 vervangen door T4’s.

[ Voor 47% gewijzigd door |sWORDs| op 26-12-2018 16:35 ]

[Jeroen V]

|sWORDs| schreef op woensdag 26 december 2018 @ 16:10:
[...]

905P (perf), of een P3700(perf/size/price) van Ebay.

[Afbeelding]

[Afbeelding]

Zelf heb ik momenteel 3xP3700 1.6TB als capacity met een 480GB 900p als write cache (single node VSAN met compression/dedupe) en nog wat (3x 400GB, 1x 1.2TB) Intel 750’s als local storage. Backup naar 5x4TB spinning met twee 480GB SM843T’s als read/write cache op XPenology.

Zodra ik mijn EPYC machine stable met 6.7u1 heb ga ik de Intel ook naar EPYC ombouwen en een ROBO config maken met VSAN witness op mijn router.

Enorm mooi spul, maar daar hangt wel een prijskaartje aan.... Ik ga in ieder geval eens nadenken over een 905P (maar eerst eens testen als ik de resterende spullen binnen heb of ik het de moeite waard zal vinden)

[|sWORDs|]

Jeroen V schreef op woensdag 26 december 2018 @ 16:37:
[...]

Enorm mooi spul, maar daar hangt wel een prijskaartje aan.... Ik ga in ieder geval eens nadenken over een 905P (maar eerst eens testen als ik de resterende spullen binnen heb of ik het de moeite waard zal vinden)

Het valt nog wel mee, die 1.6TB P3700’s hengel ik voor 500 euro van Ebay met 95%+ writes beschikbaar of voor 600 (normaal 2500) zelfs nieuw in doos.

[ Voor 7% gewijzigd door |sWORDs| op 26-12-2018 17:04 ]

[zeroday]

na heel lang twijfelen vandaag besloten om mijn 6.5 naar 6.7u1 te brengen .. op mjn HP Microserver Gen8
na veel geklooi op 6.5 waarbij HDDs niet meer herkend werden ivm AHCI etc. toch maar besloten om naar 6.7 te gaan want tsja, je wilt toch van de laatste 'features' gebruik kunnen blijven maken..

een van de grootste struikelblokken is elke keer dat er gemeld wordt dat er te weinig storage space is op het device. Via via via een website zag ik een melding dat je dan de swap op je datastore moet aanzetten. Die stond aan, maar niet op die datastore. Dat gedaan en waarempel ..


de upgrade van 6.5 naar 6.7U1 ging verbazing wekkend snel, toen de swap aan stond, de upgrade naar de laatste patches wat minder snel omdat ik een verkeerde upgrade commando had, maar toen ik die ook te pakken had ..

finally .. here is .. (Updated) ESXi-6.7.0-20181104001-standard (Hewlett-Packard)

geen idee wat ik nu op de gratis versie verbeterd moet zien .. maar ik ben geupgraded ..

[ Voor 19% gewijzigd door zeroday op 26-12-2018 18:51 . Reden: fouten der tik ]

[|sWORDs|]

Even een paar dagen flink bezig geweest met het EPYC systeem.

107 Watt idle power usage met power savings=Max Performance (All Core Turbo enabled, dus 24x2800 MHz).

Gigabyte heeft in versie 1.7x van de BMC de fan threshold statisch gemaakt (1200 Non Critical Warning, 900 Critical Warning). Gelukkig heeft mijn case een fan controller, dus alles daaraan gehangen en een fan curve van 90-100% gemaakt, zo draait de CPU fan op 1215-1350RPM en die geeft de feedback, de andere fans draaien dan op 750-900RPM. 35dB op 90% en 37dB op 100% (op 30cm gemeten), lage woosh, dus geen high pitch.

Om aan Gigabyte aan te tonen dat er met de hardware en cooling niets mis is (68 uur aan memtest en 12 uur Prime met large FFT):

[ Voor 4% gewijzigd door |sWORDs| op 27-12-2018 11:17 ]

[|sWORDs|]

HyperBart schreef op zondag 9 december 2018 @ 20:31:
@|sWORDs| in augustus had je een Epyc machine draaiende, wat is de state of the union mbt SMT en vooral passthrough?

Ik zit namelijk met een specifieke use case waarbij meer dan gemiddeld PCIe lanes en sloten nodig zijn (48 lanes netto). Naar dual-CPU gaan is omwille van stroomverbruik en kost de last resort...

Stabiliteitsproblemen met U1 zijn weg na een herinstallatie.

Resterende punten:

• PCIe Bifurcation werkt niet (staat ook nergens dat mijn bord het support, maar nu heeft elke NVMe drive dus een slot nodig).
• Onboard SATA passthrough werkt niet (waarschijnlijk opgelost in de volgende AGESA, losse LSI controller doorgeven werkt wel).
• Fan thresholds zijn niet aan te passen (Gigabyte heeft dit in de laatste BMC firmwares verwijderd, alle fans die 1200RPM of minder draaien heb ik maar aan een fan controller gehangen).

Al met al werkt alles nu prima, echter met de combinatie van bovenstaande en de werkelijk bedroevende support zou ik niemand een B2B bord/server van Gigabyte aanbevelen.

[Jeroen V]

Waarom wil je eigenlijk overstappen naar het EPYC systeem? Gewoon omdat het kan?

[|sWORDs|]

Jeroen V schreef op zaterdag 29 december 2018 @ 18:10:
Waarom wil je eigenlijk overstappen naar het EPYC systeem? Gewoon omdat het kan?

Omdat er bij Intel niets meer van de performance over is. Spectre + Meltdown + L1TF is 18-66% performance hit, afhankelijk van CPU, workload en guest OS. In mijn geval hebben we het over zo'n 50%. Daarbij is de IPC van EPYC en Broadwell ongeveer gelijk en is ook de frequency nog eens 12% hoger en de prijs 50% lager.

In theorie dus een 4.55x betere keuze, maar dan moet het wel werken.

[ Voor 39% gewijzigd door |sWORDs| op 29-12-2018 19:58 ]

[Wim-Bart]

Ik heb mijn Hyper-V server uit gefaseerd en de boel verplaatst naar mijn i5-4590T/16GB/Dual NiC/250GB SSD. So far so good. De onderliggende storage is NFS op een Synology DS418play (4GB) met 4 disks. Voor storage is een dedicated NIC met 2e NIC als redundant NIC, VM network is anders om, 2e NIC primair 1e als fail over. Performance is zoals verwacht.

Keuze voor NFS is de snelheid, bij NFS heb ik 2,3x zo hoge doorvoer bij schrijven en 1,4x zo hoge snelheid met lezen als iSCSI NFS = 96% van theoretische snelheid Gigabit).

Op zich allemaal netjes. Alleen nu de issues.

Sinds ik BIOS update van mijn i5 heb uitgevoerd en ESX 6.5 op laatste patch level heb gebracht is alles opeens een stuk trager en met name de VMs die op lokale SSD staan. Overigens zijn het Windows 2016 en Windows 1809 servers. Hoe kan ik dit oplossen?

Daarnaast heb ik vreselijk veel issues met de management web interface van de ESX server, het is gewoonweg onwerkbaar. Zodra ik een machine geedit heb moet ik refresh doen van de site anders werkt er niks normaal meer als ik andere machine wil bewerken. Iemand een idee? Overigens in chrome geeft ie een melding dat er iets foutbis gegaan en zit ie in een loop waar je niet uit komt. Alleen FF en Edge werken nog redelijk goed.

Daarnaast, hoe krijg ik een Ubuntu 18.04/18.10 machine goed aan de praat op ESX 6.5. Ze bevriezen steeds na enkele minuten.

[|sWORDs|]

NFS -> Wat vreemd, heb je niet per ongeluk iSCSI vanuit een file getest ipv block-level?

ESXi 6.5 -> Waarom geen 6.7U1?

Host client -> Welke build van ESXi?

Waarschijnlijk heb je nu 1.27.2, update die eens naar 1.32: https://labs.vmware.com/f...ded-host-client#changelog

[ Voor 39% gewijzigd door |sWORDs| op 29-12-2018 20:59 ]

[CurlyMo]

Ik zit te kijken of ik van mijn huidige ESXi ZFS server niet een archief server kan maken gezien het verbruik van dat ding. Mijn totale sluipverbruik is nu zo'n 200W en dat vind ik dus te hoog. Dat is niet alleen de NAS, maar wel voor een aanzienlijk deel. Nu zag ik deze machientjes staan: QOTOM 335G4 met 4x Intel NIC en een Intel i3 5005U. Die processor ondersteund VT-d. Verbruik moet tussen de 10 à 15w liggen.

Als ik naar het moederbord en de specificaties, dan heeft dat ding een SATA poort, mini-pcie en een m-sata poort. Daar zou dus theoretisch een SSD in kunnen voor de ESXi data opslag en een mini-pcie naar dual sata in passthrough voor een ZFS mirror. Het probleem is echter dat er nog wat vaag wordt gedaan over de 2 aanvullende m-sata en mini-pcie express poorten.

De enige hint die ik heb gevonden dat het daadwerkelijk om een volwaardige mini-pcie poort gaat is dat de wifi bundel wordt geleverd met de Ahteros AR9287 wat een wifi kaartje is die gebruikt maakt van de pcie interface.

Wat denken jullie? Zou dit een mooi systeempje zijn voor een zuinige zelfbouw ESXi router.

[Wim-Bart]

|sWORDs| schreef op zaterdag 29 december 2018 @ 20:48:
NFS -> Wat vreemd, heb je niet per ongeluk iSCSI vanuit een file getest ipv block-level?

ESXi 6.5 -> Waarom geen 6.7U1?

Host client -> Welke build van ESXi?

Waarschijnlijk heb je nu 1.27.2, update die eens naar 1.32: https://labs.vmware.com/f...ded-host-client#changelog

Issues zijn opgelost, ik heb een behoorlijke fout gemaakt bij updaten van VMware en dus een upgrade gedaan naar ESXi-6.5.0-20171204001-standard in plaats van ESXi-6.5.0-20181104001-standard, ik werd getriggerd door de 4001 aan het einde en keek niet eens verder.

De interface is nu stabiel op alle versies en Ubuntu werkt dus als een zonnetje nu. Overigens is NFS nog vele malen sneller dan iSCSI op mijn DS418play (nu met 8GB). Nu merk ik sowieso dat NFS over het algemeen sneller is onder VMware, ook als je er bijvoorbeeld een NetApp onder hangt. Maar tja, blijf een liefhebber van Fibre Channel, daar kan zelfs 10Gbps Ethernet iSCSI niet tegenop, maar dat is een ander verhaal.

Nu zit ik met het volgende:
Server is een kleine barebone (Dell OptiPlex 9020 Micro i5 4590T 8GB RAM 128GB SSD)
1 x Intel(R) Core(TM) i5-4590T CPU @ 2.00GHz (4 core)
2 x 8GB DDR3 SODIMM
1 x Netwerk adapter
1 x USB3 Netwerk Adapter (r8151 + vghetto-ax88179-esxi65) - handmatig geinstalleerd.

Omdat de USB3 adapter niet zo snel is als de Interne Intel Ethernet (ongeveer 20kbps trager) heb ik de volgende netwerk configuratie:

VM's -> LAN (portgroup) -> vSwitch0 -> (vmnic32) r8151 actief., (vmnic0) intel standby
vmk0 -> Management network (portgroup) -> vSwitch0 -> (vmnic0) intel actief, (vmnic32) r8151 standby.

So far so good, ben al bezig geweest met kabeltjes trekken en failover gaat top. Ik daai de volgende VM's:
Op de lokale SSD: Windows Server 1803 (DNS+AD+DHCP), Pi-hole (Ubuntu Server).
Op NFS: Windows Server 2016 (DNS+AD), Exchange 2016.

Uitdaging:
Nu mijn issue. Op Hyper-V draaide ik gewoon Windows Server Backup en die maakte backup naar een Externe USB disk van Hyper-V.. Niks moeilijks aan.

Vraag:
Hoe krijg ik dit voor elkaar met VMware zonder een VM te moeten optuigen met SQL en dergelijke en niet in iedere VM een losse backup client?

Ik heb gekeken naar Veeam omdat ik daar zelf zeer gecharmeerd van ben, maar dat gaat het doel helemaal voorbij volgens mij.

[|sWORDs|]

iSCSI is de snelste van de twee, dus of je doet file-based iSCSI (heel slecht idee, dan is NFS zeker beter) of er is iets mis met de Synology implementatie.

[ Voor 15% gewijzigd door |sWORDs| op 06-01-2019 01:57 ]

[Wim-Bart]

|sWORDs| schreef op zondag 6 januari 2019 @ 01:56:
iSCSI is de snelste van de twee, dus of je doet file-based iSCSI (heel slecht idee, dan is NFS zeker beter) of er is iets mis met de Synology implementatie.

iSCSI 87MB/s lezen, 47MB/s schrijven
NFS 107MB/s lezen, 91MB/s schrijven

MB = MegaByte

Interface utiilization op Synology by lezen:
iSCSI 100%
NFS 100%

Framesize: 9000 (Jumboframes)

Theoretische snelheid 4x WD Red 2TB:
Read: 588 MB/s
Write: 147 MB/s
Combined (50%): 235MB/s

ISO kopieeren:
Naar PC -> Synology: 97MB/s
Vanaf Synology -> PC: 112MB/s

Dus SAMBA en NFS werken snel en iSCSI langzaam (Overigens, iSCSI implementatie op Synology is al jaren brak).

[ Voor 4% gewijzigd door Wim-Bart op 06-01-2019 02:22 ]

[|sWORDs|]

Wim-Bart schreef op zondag 6 januari 2019 @ 02:21:
[...]

iSCSI 87MB/s lezen, 47MB/s schrijven
NFS 107MB/s lezen, 91MB/s schrijven

MB = MegaByte

Interface utiilization op Synology by lezen:
iSCSI 100%
NFS 100%

Framesize: 9000 (Jumboframes)

Theoretische snelheid 4x WD Red 2TB:
Read: 588 MB/s
Write: 147 MB/s
Combined (50%): 235MB/s

ISO kopieeren:
Naar PC -> Synology: 97MB/s
Vanaf Synology -> PC: 112MB/s

Dus SAMBA en NFS werken snel en iSCSI langzaam (Overigens, iSCSI implementatie op Synology is al jaren brak).

Maar test je file-based of block based?

Kies een LUN-type:
Met Bestandsniveau iSCSI kunnen Targets op bestaande opslagvolumes worden gemaakt zodat opslaggegevens tussen twee opslagsystemen kunnen worden gedeeld. Deze tutorial beschrijft het maken van een iSCSI op bestandsniveau.
Blokniveau iSCSI biedt snellere prestaties, maar gebruikt het volledige opslagvolume. Het gebruik van die wizard vereist extra stappen om een Target te maken, in vergelijking met een iSCSI op bestandsniveau, en is vergelijkbaar met het maken van een RAID-volume op het Synology NAS.

File based is drama, zeker op BTRFS.
File based heeft een extra filesystem en conversie van blocks naar een file.

Als iSCSI brak is op Synology kan NFS zeker een betere keuze zijn. Dit is op sommige ‘Pro’ systemen ook zo, maar die doen vrijwel allemaal file based iSCSI wat natuurlijk geen iSCSI is. Dat ligt niet aan iSCSI, maar aan de implementatie.

[ Voor 41% gewijzigd door |sWORDs| op 06-01-2019 02:36 ]

[Wim-Bart]

|sWORDs| schreef op zondag 6 januari 2019 @ 02:28:
[...]

Maar test je file-based of block based?


[...]

File based is drama, zeker op BTRFS.
File based heeft een extra filesystem en conversie van blocks naar een file.

File based, maar ik ga eens kijken of ik bestaande volume kan verkleinen en er een block bases iSCSI lun kan maken.

Update: Helaas niet mogelijk, kan niet zonder data verlies de boel omzetten.

[ Voor 8% gewijzigd door Wim-Bart op 06-01-2019 02:40 ]

[wian]

@CurlyMo ; ik kan je vraag niet beantwoorden, maar ik ook gekeken naar een Qotom voor ESXi en toch besloten om voor een mini-STX oplossing te gaan (gebaseerd op een Asus H110S2 mobo).

Redenen:
- Qotom doosjes worden al behoorlijk warm bij gebruik als dedicated pfSense firewall met lage load. Bij ESXi met een paar VMs zul je waarschijnlijk al snel met hitte problemen te maken krijgen.
- Nauwelijks ervaringen te vinden met ESXi. Qotoms hebben exotische mobo'tjes en als je ook nog een exotisch 2xSATA adaptertje gaat gebruiken heb je nog meer kans op compatibiliteitsproblemen.
- Ik had maar 2 NICs nodig.

Er zijn veel verschillende mini-STX behuizingen, ook passief gekoelde.

[CurlyMo]

@Wlan het doel is niet klein en goedkoop, maar vooral zuinig.

wian schreef op zondag 6 januari 2019 @ 09:11:
- Nauwelijks ervaringen te vinden met ESXi. Qotoms hebben exotische mobo'tjes en als je ook nog een exotisch 2xSATA adaptertje gaat gebruiken heb je nog meer kans op compatibiliteitsproblemen.

Wat zou hier het probleem zijn? PCIe is toch gewoon PCIe? Als dat ding herkent wordt is het toch voldoende. Hij hoeft er niet van op te starten en in passthrough is het het probleem van de cliënt.

[ Voor 80% gewijzigd door CurlyMo op 06-01-2019 11:00 ]

[wian]

Nogmaals, ik heb er zelf geen ervaring mee. Misschien werkt het gewoon. Ik hoor het graag

[CurlyMo]

Ik probeer het eerst gedegen theoretisch te benaderen

[|sWORDs|]

CurlyMo schreef op zondag 6 januari 2019 @ 09:29:
@Wlan het doel is niet klein en goedkoop, maar vooral zuinig.


[...]

Wat zou hier het probleem zijn? PCIe is toch gewoon PCIe? Als dat ding herkent wordt is het toch voldoende. Hij hoeft er niet van op te starten en in passthrough is het het probleem van de cliënt.

Passthrough is eerst het probleem van de BIOS en daarna van de reset mode van je PCIe device, daarna van de hypervisor en pas daarna van je guest OS. Er kan dus voldoende misgaan voor je hem überhaupt in passthrough krijgt.

Over BIOS gesproken dit is natuurlijk sowieso een risico met bordjes uit China, boot ESXi wel?

Dan is er nog het probleem van de CPU, dit is een Broadwell (September 2014) CPU, slechts een dual core 2GHz met HT, zonder Turbo. Met L1TF/Spectre/Meltdown hou je wel heel weinig performance over, zou je niet beter een generatie kunnen wachten en dan voor de opvolger van de i5-8250U of i5-8259U kunnen gaan?

Dat gezegd hebbende, ik draai ook pfSense onder ESXi op een systeem uit China met 6 Intel NICs (eentje in passthrough) en een Kaby Lake i3. Werkt prima, maar geen SATA controller in passthrough getest:

[ Voor 16% gewijzigd door |sWORDs| op 06-01-2019 13:12 ]

[CurlyMo]

|sWORDs| schreef op zondag 6 januari 2019 @ 13:04:
[...]
Over BIOS gesproken dit is natuurlijk sowieso een risico met bordjes uit China, boot ESXi wel?

Verschillende bronnen zeggen van wel.

Dan is er nog het probleem van de CPU, dit is een Broadwell (September 2014) CPU, slechts een dual core 2GHz met HT, zonder Turbo. Met L1TF/Spectre/Meltdown hou je wel heel weinig performance over, zou je niet beter een generatie kunnen wachten en dan voor de opvolger van de i5-8250U of i5-8259U kunnen gaan?

Je hebt toch alleen last van die CPU bugs als het OS ze daadwerkelijk oplost. Is dat zo in ESXi of is dat optioneel?

Dat gezegd hebbende, ik draai ook pfSense onder ESXi op een systeem uit China met 6 Intel NICs en een Kaby Lake i3. Werkt prima, maar geen passthrough getest.

Welke machine is dat?

[|sWORDs|]

CurlyMo schreef op zondag 6 januari 2019 @ 13:11:
[...]

Verschillende bronnen zeggen van wel.


[...]

Je hebt toch alleen last van die CPU bugs als het OS ze daadwerkelijk oplost. Is dat zo in ESXi of is dat optioneel?


[...]

Je kunt Spectre/Meltdown fixes in je guest OS uitzetten (of maskeren vanuit de hypervisor) en L1TF mitigation in ESXi uitzetten.

CurlyMo schreef op zondag 6 januari 2019 @ 13:11:

[...]

Welke machine is dat?

https://protectli.com/product/fw6b/ maar dit is een rebrand van een systeem uit China. Op Ali zie je ze goedkoper, voorbeeld:
http://nl.aliexpress.com/...am-linux/32824971010.html

[ Voor 18% gewijzigd door |sWORDs| op 06-01-2019 13:20 ]

[CurlyMo]

|sWORDs| schreef op zondag 6 januari 2019 @ 13:04:
[...]

Passthrough is eerst het probleem van de BIOS en daarna van de reset mode van je PCIe device, daarna van de hypervisor en pas daarna van je guest OS. Er kan dus voldoende misgaan voor je hem überhaupt in passthrough krijgt.

Hier wordt bevestigd dat PCI passthrough moet werken met Proxmox VE, dan zou dat voor ESXi toch ook geen probleem moeten zijn toch?
https://fuzzyitlogic.com/tag/pci-passthrough/

Is er dan nog een reden waarom een willekeurig mini-pcie naar sata kaartje niet zou werken?

[|sWORDs|]

CurlyMo schreef op zondag 6 januari 2019 @ 13:23:
[...]

Hier wordt bevestigd dat PCI passthrough moet werken met Proxmox VE, dan zou dat voor ESXi toch ook geen probleem moeten zijn toch?
https://fuzzyitlogic.com/tag/pci-passthrough/

Is er dan nog een reden waarom een willekeurig mini-pcie naar sata kaartje niet zou werken?

De reset mode van dat kaartje.

[CurlyMo]

|sWORDs| schreef op zondag 6 januari 2019 @ 13:24:
[...]

De reset mode van dat kaartje.

Ik gebruik hem reeds in mijn huidige ESXi ZFS NAS.

[|sWORDs|]

CurlyMo schreef op zondag 6 januari 2019 @ 13:25:
[...]

Ik gebruik hem reeds in mijn huidige ESXi ZFS NAS.

Dan lijkt het wel te gaan werken.

[CurlyMo]

|sWORDs| schreef op zondag 6 januari 2019 @ 13:27:
[...]

Dan lijkt het wel te gaan werken.

Dit is overigens de machine met de i3-7100U voor € 220,- incl. verzending.
https://nl.aliexpress.com...ual-core/32947842226.html

[|sWORDs|]

CurlyMo schreef op zondag 6 januari 2019 @ 13:30:
[...]

Dit is overigens de machine met de i3-7100U voor € 220,- incl. verzending.
https://nl.aliexpress.com...ual-core/32947842226.html

Daarom stond er ook voorbeeld, ik had geen zin te blijven klikken om de goedkoopste te vinden.

En zoals je in mijn screenshot kunt zien heb ik L1TF mitigation uit staan op dat systeem. Er is al vrij weinig power dus HT kan ik daar wel gebruiken.

Vraag me wel af of Dual Core 2GHz Broadwell voldoende is om echt iets mee te doen, de Protectli is 2.4GHz en Kaby Lake.

[ Voor 23% gewijzigd door |sWORDs| op 06-01-2019 13:39 ]

[CurlyMo]

|sWORDs| schreef op zondag 6 januari 2019 @ 13:35:
[...]

Daarom stond er ook voorbeeld, ik had geen zin te blijven klikken om de goedkoopste te vinden.

En zoals je in mijn screenshot kunt zien heb ik L1TF mitigation uit staan op dat systeem.

Simpelste optie is overigens gewoon de USB3.0 poorten te gebruiken voor 2 externe SSD's of HDD's. Voor de snelheid hoef ik het niet te laten. Enige vraag is of de USB2.0 en de USB3.0 apart door te geven zijn.

[|sWORDs|]

CurlyMo schreef op zondag 6 januari 2019 @ 13:38:
[...]

Simpelste optie is overigens gewoon de USB3.0 poorten te gebruiken voor 2 externe SSD's of HDD's. Voor de snelheid hoef ik het niet te laten. Enige vraag is of de USB2.0 en de USB3.0 apart door te geven zijn.

code:

 lspci
0000:00:00.0 Bridge: Intel Corporation Xeon E3-1200 v6/7th Gen Core Processor Host Bridge/DRAM Registers 
0000:00:02.0 Display controller: Intel Corporation HD Graphics 620 
0000:00:14.0 Serial bus controller: Intel Corporation Sunrise Point-LP USB 3.0 xHCI Controller 
0000:00:16.0 Communication controller: Intel Corporation Sunrise Point-LP CSME HECI #1 
0000:00:17.0 Mass storage controller: Intel Corporation Sunrise Point-LP AHCI Controller [vmhba0]
0000:00:1c.0 Bridge: Intel Corporation Sunrise Point-LP PCI Express Root Port #1 [PCIe RP[0000:00:1c.0]]
0000:00:1c.1 Bridge:   [PCIe RP[0000:00:1c.1]]
0000:00:1c.2 Bridge: Intel Corporation Sunrise Point-LP PCI Express Root Port #3 [PCIe RP[0000:00:1c.2]]
0000:00:1c.3 Bridge:   [PCIe RP[0000:00:1c.3]]
0000:00:1c.4 Bridge: Intel Corporation Sunrise Point-LP PCI Express Root Port #5 [PCIe RP[0000:00:1c.4]]
0000:00:1c.5 Bridge: Intel Corporation Sunrise Point-LP PCI Express Root Port #6 [PCIe RP[0000:00:1c.5]]
0000:00:1f.0 Bridge: Intel Corporation Intel(R) 100 Series Chipset Family LPC Controller/eSPI Controller - 9D4E 
0000:00:1f.2 Memory controller: Intel Corporation Sunrise Point-LP PMC 
0000:00:1f.4 Serial bus controller: Intel Corporation Sunrise Point-LP SMBus 
0000:01:00.0 Network controller: Intel Corporation 82583V Gigabit Network Connection [vmnic0]
0000:02:00.0 Network controller: Intel Corporation 82583V Gigabit Network Connection [vmnic1]
0000:03:00.0 Network controller: Intel Corporation 82583V Gigabit Network Connection [vmnic2]
0000:04:00.0 Network controller: Intel Corporation 82583V Gigabit Network Connection [vmnic3]
0000:05:00.0 Network controller: Intel Corporation 82583V Gigabit Network Connection [vmnic4]
0000:06:00.0 Network controller: Intel Corporation 82583V Gigabit Network Connection [vmnic5]

Ik zie geen 2.0 controller en er staat ook niets over in de spec sheet, alleen:
4x 3.0 USB

Of had je het over de Qotom? De oudere chipsets hadden volgens mij een xHCI en eHCI controller.
Een ander iets wat ik zie: 1 x DDR3L SO-DIMM Socket (Up to 8G, 1333/1600MHz)

Heb je voldoende aan 8GB? Bedenk dat daar van alles af gaat wat je niet voor je guest OS kan gebruiken, denk dat je iets van 4-4.5GB voor guest OS hebt.

[ Voor 7% gewijzigd door |sWORDs| op 06-01-2019 14:03 ]

[CurlyMo]

|sWORDs| schreef op zondag 6 januari 2019 @ 13:40:
[...]
Of had je het over de Qotom? De oudere chipsets hadden volgens mij een xHCI en eHCI controller.

Dan zou dat dus moeten kunnen.

Een ander iets wat ik zie: 1 x DDR3L SO-DIMM Socket (Up to 8G, 1333/1600MHz)

Ik lees:

1 x DDR4 SO-DIMM Slot (tot 16g, 2133 mhz)

Heb je voldoende aan 8GB? Bedenk dat daar van alles af gaat wat je niet voor je guest OS kan gebruiken.

16GB is wel een eis.

[|sWORDs|]

CurlyMo schreef op zondag 6 januari 2019 @ 14:02:
[...]

Dan zou dat dus moeten kunnen.


[...]


Ik lees:

[...]


[...]

16GB is wel een eis.

Alles wat ik zie met Q355G4 is DDR3L met max 8GB.

Sterker nog, de CPU kan alleen maar DDR3L met 8GB per channel:

Memory Specifications
Max Memory Size (dependent on memory type)
16 GB
Memory Types
DDR3L 1333/1600 LPDDR 1333 /1600
Max # of Memory Channels
2
Max Memory Bandwidth
25.6 GB/s

[ Voor 32% gewijzigd door |sWORDs| op 06-01-2019 14:11 ]

[CurlyMo]

|sWORDs| schreef op zondag 6 januari 2019 @ 14:07:
[...]

Alles wat ik zie met Q355G4 is DDR3L met max 8GB.

Ik linkte later (na jouw tip) bewust naar de Q535G6

[|sWORDs|]

CurlyMo schreef op zondag 6 januari 2019 @ 14:08:
[...]

Ik linkte later (na jouw tip) bewust naar de Q535G6

Heb ik niet gezien en zelfs na alles terug te lezen zie ik het niet staan. Wel een beter idee, DDR4, Kaby Lake en 2.4GHz.

[CurlyMo]

|sWORDs| schreef op zondag 6 januari 2019 @ 14:15:
[...]

Heb ik niet gezien en zelfs na alles terug te lezen zie ik het niet staan. Wel een beter idee, DDR4, Kaby Lake en 2.4GHz.

Deze reactie:

CurlyMo schreef op zondag 6 januari 2019 @ 13:30:
[...]

Dit is overigens de machine met de i3-7100U voor € 220,- incl. verzending.
https://nl.aliexpress.com...ual-core/32947842226.html

[|sWORDs|]

CurlyMo schreef op zondag 6 januari 2019 @ 14:16:
[...]

Deze reactie:

[...]

Lol, ik dacht dat we het daar nog over de Protectli basis hadden.

Met 16GB en twee VM's met twee vCPU's, min free:
4096MB * 0,94 = 3850,24MB
(12288MB - 4096MB) * 0,96 = 7864,32MB
(16384MB - 12288 - 82MB IGP) * 0,98 = 3933,72MB

Sub totaal 15648,28MB - 2048 voor ESXi = 13600,28MB

Dan heb je nog twee VM's (36MB) 4 vCPU's (12,8MB), twee keer VRAM (16MB), subtotaal 13519,49MB = 13.2GB.

Dan heb je nog de memory overhead (13.2*5.4=71,28MB), totaal is 13448,21MB of te wel zo'n 13GB beschikbaar voor guest operating systems. Een 2GB pfSense en 8GB FreeNAS moet je kunnen draaien zonder host memory warnings.

[ Voor 61% gewijzigd door |sWORDs| op 06-01-2019 15:07 ]

[wian]

@|sWORDs| Protectli lijkt ook een leuk doosje. Hoe zit het met de warmte ontwikkeling met dat ding? Kun je hem zonder problemen in een meterkast zetten en belasten of moet je met ventilatoren werken?

[|sWORDs|]

wian schreef op maandag 7 januari 2019 @ 10:39:
@|sWORDs| Protectli lijkt ook een leuk doosje. Hoe zit het met de warmte ontwikkeling met dat ding? Kun je hem zonder problemen in een meterkast zetten en belasten of moet je met ventilatoren werken?

Gaat hier prima (zit in mijn smalle meterkast) met pfSense/wat witness VM's. Maar echte load staat er bijna nooit op.

[ Voor 3% gewijzigd door |sWORDs| op 07-01-2019 14:05 ]

[CurlyMo]

|sWORDs| schreef op zondag 6 januari 2019 @ 14:17:
[...]
Een 2GB pfSense en 8GB FreeNAS moet je kunnen draaien zonder host memory warnings.

Het doel zou zijn om de volgende VM's te verplaatsen naar de nieuwe doos:
- pihole
- download server
- database server
- pfsense + vpn server

Dan kan de grote NAS 's nachts uit wanneer wij niet thuis zijn.

[wian]

Tip: je kunt nu ook pihole functionaliteit implementeren op pfSense met pfBlockerNG. Scheelt weer een VM die je moet onderhouden. Je hebt nu nog het “pfBlockerNG-devel” package nodig, maar werkt gewoon stabiel.

[|sWORDs|]

CurlyMo schreef op maandag 7 januari 2019 @ 12:11:
[...]

Het doel zou zijn om de volgende VM's te verplaatsen naar de nieuwe doos:
- pihole
- download server
- database server
- pfsense + vpn server

Dan kan de grote NAS 's nachts uit wanneer wij niet thuis zijn.

1. Wat voor database (OS+DB+doel)/download(OS+type downloads zoals newsgroups) server?
2. Wat gaat pfSense doen (ook SNORT of Suricata, wat voor VPN, WAN bandbreedte)?
3. Waar zit je zelf aan te denken qua vCPU en vMEM, of heb je wat average en peak stats van de huidige VM's?

Ik zie glasvezel staan in een ander topic, KPN whole sale met IPTV en PPPoE? Alleen PPPoE en NAT met 500Mbit traffic is 28% van de CPU (49% peak), met VPN en IDS komt daar nog flink wat bij, als je download uit nieuwsgroepen kan zo'n download server ook flink resources trekken. Hoeft geen probleem te zijn, als ie 's nacht alleen wat aan het downloaden is dan maakt het natuurlijk niet uit als het wat langzamer gaat.

[ Voor 37% gewijzigd door |sWORDs| op 07-01-2019 14:22 ]

[zonderbloem]

Heeft iemand hier verstand van de netwerkadapter PVRDMA? Recentelijk heb ik al mijn VM's gemigreerd naar vmxnet3 adapters. Bij de keuze van een adapter staat er ook PVRDMA tussen. Ik heb een 10Gb NIC in mijn server zitten die RDMA ondersteund, moet dit nog ingeschakeld worden per VM?

[|sWORDs|]

zonderbloem schreef op maandag 7 januari 2019 @ 14:41:
Heeft iemand hier verstand van de netwerkadapter PVRDMA? Recentelijk heb ik al mijn VM's gemigreerd naar vmxnet3 adapters. Bij de keuze van een adapter staat er ook PVRDMA tussen. Ik heb een 10Gb NIC in mijn server zitten die RDMA ondersteund, moet dit nog ingeschakeld worden per VM?

Gebruik je Linux guests? Heb je meerdere hosts? Gebruik je distributed switches? Gebruik je geen teaming? Heb je Priority Flow Control op je switches?

Je moet een VMkernel inschakelen voor PVRDMA en het toestaan in de firewall.
Dan moet je op een HW-lever 13 of hoger VM met 64 bit linux de PVRDMA adapter toevoegen en het al het geheugen reserveren.

[CurlyMo]

|sWORDs| schreef op maandag 7 januari 2019 @ 13:55:
[...]
• Wat voor database (OS+DB+doel)/download(OS+type downloads zoals newsgroups) server?

FreeBSD + PostgreSQL + IoT meetgegevens sensoren. Inserts stellen niks voor. Analyze queries zijn vrij complex, maar alleen nodig als ik zelf inzicht wil.

• Wat gaat pfSense doen (ook SNORT of Suricata, wat voor VPN, WAN bandbreedte)?

Simpele NAT routing, naar nu ik hoor ook DNS spam blokker. OpenVPN. WAN 500/500 glasvezel (voor nu). Echter, pfSense stond niet eens in de planning. Maar is meer een "omdat-het-kan". Ik weet overigens nog niet eens wat SNORT of Suricata is

• Waar zit je zelf aan te denken qua vCPU en vMEM, of heb je wat average en peak stats van de huidige VM's?

Het maakt niet gek veel uit als dingen wat langzamer lopen. Zuinigheid vind ik belangrijker. Als pfSense te zwaar is, dan houdt ik het bij een aparte router. Of ik knutsel een OpenWRT achtige VM in elkaar.

Ik zie glasvezel staan in een ander topic, KPN whole sale met IPTV en PPPoE? Alleen PPPoE en NAT met 500Mbit traffic is 28% van de CPU (49% peak), met VPN en IDS komt daar nog flink wat bij, als je download uit nieuwsgroepen kan zo'n download server ook flink resources trekken. Hoeft geen probleem te zijn, als ie 's nacht alleen wat aan het downloaden is dan maakt het natuurlijk niet uit als het wat langzamer gaat.

Klopt, downloaden mag 's nachts en hoeft niet snel te zijn.

[|sWORDs|]

CurlyMo schreef op maandag 7 januari 2019 @ 15:15:
[...]

FreeBSD + PostgreSQL + IoT meetgegevens sensoren. Inserts stellen niks voor. Analyze queries zijn vrij complex, maar alleen nodig als ik zelf inzicht wil.


[...]

Simpele NAT routing, naar nu ik hoor ook DNS spam blokker. OpenVPN. WAN 500/500 glasvezel (voor nu). Echter, pfSense stond niet eens in de planning. Maar is meer een "omdat-het-kan". Ik weet overigens nog niet eens wat SNORT of Suricata is


[...]

Het maakt niet gek veel uit als dingen wat langzamer lopen. Zuinigheid vind ik belangrijker. Als pfSense te zwaar is, dan houdt ik het bij een aparte router. Of ik knutsel een OpenWRT achtige VM in elkaar.


[...]

Klopt, downloaden mag 's nachts en hoeft niet snel te zijn.

Klinkt als 3 VM's met elk 2vCPU's en 4GB geheugen, alleen pfSense met 2GB. Dat gaat je wel lukken en misschien lukt 3 a 4GB met pfSense ook net, eventueel met aanpassen van warning, maar ik verwacht dat 2GB voldoende gaat zijn voor pfSense.

zonderbloem schreef op maandag 7 januari 2019 @ 14:41:
[...]
Bij de keuze van een adapter staat er ook PVRDMA tussen.
[...]

Waarvoor wil je eigenlijk RoCe gaan gebruiken?

[ Voor 16% gewijzigd door |sWORDs| op 07-01-2019 15:26 ]

[CurlyMo]

|sWORDs| schreef op maandag 7 januari 2019 @ 15:21:
[...]

Klinkt als 3 VM's met elk 2vCPU's en 4GB geheugen, alleen pfSense met 2GB.

Mijn plan was:
- FreeBSD + PostgreSQL + ZFS 8GB
- Download server 1GB
- PFSense 2GB

Eventueel nog een build server met 1 à 2 GB.

[zonderbloem]

|sWORDs| schreef op maandag 7 januari 2019 @ 15:08:
[...]

Gebruik je Linux guests? Heb je meerdere hosts? Gebruik je distributed switches? Gebruik je geen teaming? Heb je Priority Flow Control op je switches?

Je moet een VMkernel inschakelen voor PVRDMA en het toestaan in de firewall.
Dan moet je op een HW-lever 13 of hoger VM met 64 bit linux de PVRDMA adapter toevoegen en het al het geheugen reserveren.

Ik gebruik geen distributed switches het gaat om een enkele host die is aangesloten op een achterliggende SFP+ switch met glasvezel. De host heeft een uplink van 10Gbit verder niet redundant uitgeveord of als teaming. Er staat geen flow-control ingesteld. De host draait op ESXi 6.5 en had ook ondersteuning voor RDMA zag ik. Op de host zelf zit een NFS datastore naar de synology toe. Als ik het goed begrijp scheelt RDMA je veel CPU kracht ook naar deze datastore toe.

Uit de documentatie van VMware haal ik dat je per VM een aparte netwerkadapter moet specificeren om deze feature te gebruiken. Met de vmxnet3 adapter blijft de networking traffic dus gewoon CPU wegvreten.

[|sWORDs|]

zonderbloem schreef op maandag 7 januari 2019 @ 15:38:
[...]


Ik gebruik geen distributed switches het gaat om een enkele host die is aangesloten op een achterliggende SFP+ switch met glasvezel. De host heeft een uplink van 10Gbit verder niet redundant uitgeveord of als teaming. Er staat geen flow-control ingesteld. De host draait op ESXi 6.5 en had ook ondersteuning voor RDMA zag ik. Op de host zelf zit een NFS datastore naar de synology toe. Als ik het goed begrijp scheelt RDMA je veel CPU kracht ook naar deze datastore toe.

Uit de documentatie van VMware haal ik dat je per VM een aparte netwerkadapter moet specificeren om deze feature te gebruiken. Met de vmxnet3 adapter blijft de networking traffic dus gewoon CPU wegvreten.

RDMA is geen vervanging van VMXNET3 en datastores hebben niets met je netwerk van je guest OS te maken. RDMA (RoCe en eventueel +iSER met vSphere) kun je gebruiken op de hypervisor voor communicatie naar andere hypervisors/storage, etc.
Of je gebruikt vRDMA tussen VM's voor een bypass van de guest OS networking stack en kernel:



maar dan wel voor RDMA aware (gebruiken RDMA Verbs API) zaken, zoals Apache Hadoop of Oracle. Binnen één host is dat memcpy en heb je helemaal geen RDMA adapter nodig, gaat direct via VMkernel (blauw):



De guest kernel driver is echter alleen beschikbaar met de 64bit Linux VMware Tools.

Met NFS moet je Synology dan ook RDMA supporten (alleen bepaalde types) plus een RDMA NIC hebben en je hebt flow control nodig op je switch. Op je VM's doe je dan niets met vRDMA, het is je OpenFabrics Enterprise Distribution stack op je VMkernel port.

Zelf wil ik zodra het supported is zoiets gaan doen:


Links is de meterkast, rechts de zolder.

• ROOD - De Protecli draait pfSense met een NIC in passthrough aan de NTU.
• GEEL - De twee EPYC servers gebruiken RoCe direct connect voor VSAN en vMotion.
• GROEN - De 10Gbit NICs op de EPYC servers zijn zo vrij om alleen maar VM netwerk traffic en een klein beetje witness (naar Gbit op protectli met een vCenter plus een VSAN witness) en management traffic te doen.

Active en Passive vCenter op local storage van een specifieke EPYC server.

[ Voor 15% gewijzigd door |sWORDs| op 07-01-2019 17:02 ]

[Jeroen V]

De webwinkel waar ik de server heb besteld is het niet gelukt deze zonder problemen te leveren, dus deze is inmiddels geannuleerd. Ik ga dus op zoek naar een nieuwe server en leverancier om een mooie oplosssing te leveren. Ik verwacht een stuk of 20 a 25 VM's te draaien waarvan de meeste niet zwaar belast zullen worden. Verder wil ik graag ESXi en ASDK nested kunnen draaien, maar dat is puur om te experimenteren. Het budget wat ik heb is ongeveer 5000 euro incl BTW.

In de oorspronkelijke setup die ik had bedacht was om de VM's via iSCSI (10Gbit) in de NAS te hosten, maar dat mag ook lokaal in de server als ik maar een fatsoenlijke backup methode heb.

Heeft iemand een voorstel wat een goede setup zou zijn?

Voor de volledigheid de NAS die ik al heb:

#	Product	Prijs	Subtotaal
4	WD Red WD60EFRX, 6TB	€ 187,89	€ 751,56
2	Samsung 850 EVO 500GB	€ 125,84	€ 251,68
1	Synology RS2418+	€ 1.720,41	€ 1.720,41
Bekijk collectie Importeer producten		Totaal	€ 3.487,58

Edit: ik zit te denken aan een AMD systeem, en als ik de documentatie goed heb gelezen zou deze machine goed moeten werken met ESXi: https://b2b.gigabyte.com/Rack-Server/R151-Z30-rev-100#ov Als ik die machine configureer met een AMD EPYC 7351P, 128GB en een 1TB M2 SSD hou ik genoeg over om ook een 10GBit switch en NIC voor de NAS aan te schaffen.... (alleen is de levertijd onbekend )

Edit: deze variant zou voor mij beter zijn: https://b2b.gigabyte.com/Rack-Server/R271-Z31-rev-100#ov Deze kast is 2U en geeft 7 low profile PCIe sloten...

Edit2:

|sWORDs| schreef op zaterdag 29 december 2018 @ 17:33:
[...]

Stabiliteitsproblemen met U1 zijn weg na een herinstallatie.

Resterende punten:
[list]
• PCIe Bifurcation werkt niet (staat ook nergens dat mijn bord het support, maar nu heeft elke NVMe drive dus een slot nodig).

Dit betekent dat kaartjes waarop je meerdere NVMe drives kunt plaatsen vooralsnog niet werken?

|sWORDs| schreef op zaterdag 29 december 2018 @ 17:33:
• Onboard SATA passthrough werkt niet (waarschijnlijk opgelost in de volgende AGESA, losse LSI controller doorgeven werkt wel).

De SATA drives kunnen door ESXi zelf wel fatsoenlijk gebruikt worden?

|sWORDs| schreef op zaterdag 29 december 2018 @ 17:33:
• Fan thresholds zijn niet aan te passen (Gigabyte heeft dit in de laatste BMC firmwares verwijderd, alle fans die 1200RPM of minder draaien heb ik maar aan een fan controller gehangen).
[/list]

Dus hij maakt herrie als je geen fan controller zou hebben?

|sWORDs| schreef op zaterdag 29 december 2018 @ 17:33:
Al met al werkt alles nu prima, echter met de combinatie van bovenstaande en de werkelijk bedroevende support zou ik niemand een B2B bord/server van Gigabyte aanbevelen.

Wat zou volgens jou dan een goed alternatief zijn?

Op het moederbord zitten twee 10GBit NIC's (BCM 57810S) waarvan het me nu niet helemaal duidelijk is of dit goed met ESXi gaat werken. Iemand een idee of deze ondersteund worden?

[ Voor 33% gewijzigd door Jeroen V op 11-01-2019 08:53 ]

[|sWORDs|]

Jeroen V schreef op donderdag 10 januari 2019 @ 23:19:

[...]

Dit betekent dat kaartjes waarop je meerdere NVMe drives kunt plaatsen vooralsnog niet werken?

[..]

Ja

Jeroen V schreef op donderdag 10 januari 2019 @ 23:19:
[...]

De SATA drives kunnen door ESXi zelf wel fatsoenlijk gebruikt worden?


[..]

Ja

Jeroen V schreef op donderdag 10 januari 2019 @ 23:19:
[...]


Dus hij maakt herrie als je geen fan controller zou hebben?


[..]

Ja, of je log loopt vol met warnings echter kun je volgens support bij de server wel de thresholds aanpassen. Nou maakt een server natuurlijk altijd veel lawaai.

Jeroen V schreef op donderdag 10 januari 2019 @ 23:19:
[...]


Wat zou volgens jou dan een goed alternatief zijn?

[..]

Supermicro

Jeroen V schreef op donderdag 10 januari 2019 @ 23:19:
[...]

Op het moederbord zitten twee 10GBit NIC's (BCM 57810S) waarvan het me nu niet helemaal duidelijk is of dit goed met ESXi gaat werken. Iemand een idee of deze ondersteund worden?

Werken perfect en zijn ondersteund (sterker nog de server staat op de HCL, dus alles van de server heeft support).

[Jeroen V]

|sWORDs| schreef op vrijdag 11 januari 2019 @ 09:52:
[...]

Supermicro

[...]

Thx voor het antwoord, en aangezien ik niet compleet koppig ben toch maar gaan kijken naar een Supermicro setup. Ik kom op het volgende:

#	Product	Prijs	Subtotaal
1	AMD Epyc 7401P Boxed	€ 1.140,75	€ 1.140,75
1	Supermicro H11SSL-C	€ 430,46	€ 430,46
1	Supermicro SuperChassis CSE-825TQ-600LPB	€ 387,70	€ 387,70
1	Intel X520-DA2	€ 229,-	€ 229,-
4	Kingston 32GB DDR4 2400MHz	€ 365,50	€ 1.462,-
1	Samsung 970 Pro 1TB	€ 328,50	€ 328,50
Bekijk collectie Importeer producten		Totaal	€ 3.978,41

geheugen even ter indicatie, dat zal waarschijnlijk niet exact dit type zijn)

Heb je hier opmerkingen over, of verwacht je dat dit een goede setup zou zijn?

[|sWORDs|]

Jeroen V schreef op vrijdag 11 januari 2019 @ 10:51:
[...]

Thx voor het antwoord, en aangezien ik niet compleet koppig ben toch maar gaan kijken naar een Supermicro setup. Ik kom op het volgende:

#	Product	Prijs	Subtotaal
1	AMD Epyc 7401P Boxed	€ 1.140,75	€ 1.140,75
1	Supermicro H11SSL-C	€ 430,46	€ 430,46
1	Supermicro SuperChassis CSE-825TQ-600LPB	€ 387,70	€ 387,70
1	Intel X520-DA2	€ 229,-	€ 229,-
4	Kingston 32GB DDR4 2400MHz	€ 365,50	€ 1.462,-
1	Samsung 970 Pro 1TB	€ 328,50	€ 328,50
Bekijk collectie Importeer producten		Totaal	€ 3.978,41

geheugen even ter indicatie, dat zal waarschijnlijk niet exact dit type zijn)

Heb je hier opmerkingen over, of verwacht je dat dit een goede setup zou zijn?

Ik was zelf ook al even aan het kijken toen ik zag dat ESX niet bij de certified operating systems staat, echter wel in de VMware HCL. Foutje van de Supermicro website dus.

Bord zit ook in https://www.supermicro.co.../2U/2013/AS-2013S-C0R.cfm maar die staat niet op de HCL, single socket system wel op HCL:
AS-1013S-MTR - Bord H11SSL-i (dan moet -c ook werken die heeft alleen de LSI3008 extra en die staat ook op de HCL)
AS-1113S-WN10RT - Bord H11SSW-NT
AS-2113S-WN24RT - Bord H11SSW-NT
AS-2113S-WTRT - Bord H11SSW-NT

Ik zou voor 2666MHz geheugen gaan en voor Intel Optane storage.

[ Voor 15% gewijzigd door |sWORDs| op 11-01-2019 12:13 ]

[Jeroen V]

|sWORDs| schreef op vrijdag 11 januari 2019 @ 11:57:
[...]

Ik was zelf ook al even aan het kijken toen ik zag dat ESX niet bij de certified operating systems staat, echter wel in de VMware HCL. Foutje van de Supermicro website dus.

Bord zit ook in https://www.supermicro.co.../2U/2013/AS-2013S-C0R.cfm maar die staat niet op de HCL, systemen met H11SSW-NT wel.

Ik zou voor 2666MHz geheugen gaan en voor Intel Optane storage.

Het gaat ook 2666MHz geheugen worden, ik was alleen een beetje lui bij het maken van de lijst. (ik wil het overigens niet in losse onderdelen bestellen, maar volledig geassembleerd zodat de verantwoordelijkheid daarvan bij de leverancier ligt. Mocht je nog goede aanbevelingen hebben waar ik het het beste zou kunnen bestellen dan hoor ik dat graag.)

Intel Optane heb ik even naar zitten kwijlen, maar omdat ik ook nog een 10GBit switch + NIC voor de NAS wil kopen stel ik dat even uit. Het grote voordeel van deze 2U kast is dat er genoeg kaarten later bijgeplaatst kunnen worden. En met deze aanschaf is het hobby-potje even leeg

[|sWORDs|]

Jeroen V schreef op vrijdag 11 januari 2019 @ 12:10:
[...]

Het gaat ook 2666MHz geheugen worden, ik was alleen een beetje lui bij het maken van de lijst. (ik wil het overigens niet in losse onderdelen bestellen, maar volledig geassembleerd zodat de verantwoordelijkheid daarvan bij de leverancier ligt. Mocht je nog goede aanbevelingen hebben waar ik het het beste zou kunnen bestellen dan hoor ik dat graag.)

Intel Optane heb ik even naar zitten kwijlen, maar omdat ik ook nog een 10GBit switch + NIC voor de NAS wil kopen stel ik dat even uit. Het grote voordeel van deze 2U kast is dat er genoeg kaarten later bijgeplaatst kunnen worden. En met deze aanschaf is het hobby-potje even leeg

Switch hoeft niet erg duur te zijn. ]Ubiquiti EdgeSwitch 16 XG
En je zou nog wat aan bekabeling en switch kunnen besparen met RJ45: pricewatch: Buffalo BS-MP2008

En met een 8 channel memory controller wil je misschien 8x16GB IPV 4x32GB, of wil je ooit nog naar 256GB?

Geheugen kan goedkoper en sneller, deze staan op de HCL:
pricewatch: Samsung M393A4K40CB2-CTD

Bord kan goedkoper, je gaat de LSI 3008 zo te zien niet gebruiken. De NIC is erg oud, misschien een nieuwere nemen?

#	Product	Prijs	Subtotaal
1	AMD Epyc 7401P Boxed	€ 1.140,75	€ 1.140,75
1	Supermicro H11SSL-i	€ 381,34	€ 381,34
1	Supermicro SuperChassis CSE-825TQ-600LPB	€ 387,70	€ 387,70
1	Intel Ethernet Converged Network Adapter X710-DA2	€ 271,25	€ 271,25
4	Samsung M393A4K40CB2-CTD	€ 282,75	€ 1.131,-
2	Intel Optane 900P PCI-e 480GB	€ 584,90	€ 1169,80
		Totaal	€ 4.481,84

[ Voor 74% gewijzigd door |sWORDs| op 11-01-2019 12:48 ]

[HellStorm666]

@|sWORDs|
Thnx voor de hulp halverwege December.
Zojuist opdracht gegeven voor onze nieuwe ESXi server (6.7U1).

Het is geworden:
Supermicro AS-2113S-WTRT
AMD Epyc 7401P
4x Samsung 16GB DDR4 2666 (later uitbreiden naar 8x)
Intel DC P4610 3,2TB
Intel X520-DA2 SFP+
Kabel setje waardoor er 8x U.2 hotswap is.

ESXi wil ik vanaf SD draaien via de interne SD slot (uiteraard inc backup)
Verder wil ik met Veaam, Vembu of Altaro backups maken van het hele systeem naar de S2016 server (met de 4x 3TB in RAID5).

DAC voor de SFP+ naar de Unifi 48p switch is ook al besteld.
Misch nog een keer uitbreiden met de US-16-XG.

[Jeroen V]

De leverancier van de server was niet heel erg blij om de order te annuleren, en heeft alsnog alle problemen opgelost en afgelopen vrijdag is dan eindelijk de originele server geleverd. (Dus de Dual Xeon en niet een Epyc server)

@|sWORDs|: ontzettend bedankt voor de hulp bij de Epyc server, maar het is dus toch de 'langzamere' Xeon geworden.

Overigens is langzaam niet echt waar want ik vind hem meer dan snel zat...

Nu eens kijken of ik pfSense ook virtueel wil draaien of toch een Netgate appliance ga aanschaffen....

[Kecin]

Hallo allemaal, ik ben nieuw hier in dit topic en ook nieuw in virtualiseren. Ik had altijd een HP N54L met een baremetal Xpenology erop geinstalleerd. Graag wou ik het iets beter aanpakken door ook andere virtuele machine's te kunnen draaien.

Het is gelukt om ESXI 6.7U1 te draaien op:
PC pricewatch: HP EliteDesk 800 G1 SFF J0F16EA ( I7, 8 cores met 16GB Ram)
HDD Storage: 3 x pricewatch: Seagate IronWolf, 6TB (128MB cache)
Datastore 1: 1 x pricewatch: Crucial MX500 2,5" 500GB
Swapstore 1 : 1 x pricewatch: Kingston SSDNow V Series SNV125-S2/30GB 30GB

Al met al werkt dit prima en haal ik goede read/write resultaten. Echter is mijn Raid nu softwarematig opgebouwd. Standaard kon ik de onboard SATA controller niet doorlussen. Door hem in de passthrough te zetten kwamen de poorten wel los beschikbaar, maar hij ging over zijn nek en was niet stabiel. Daarop heb ik een Raid controller gekocht (via V&A), een pricewatch: HP Smart Array P212/Zero , met 256mb cache, kabel naar 4xsata, batterypack (die nog werkt). Daaraan had ik de 3 X 6TB gekoppeld, dat werkte in eerste instantie niet. Het bleek dat de controller nog op firmware versie 3.0 draaide. Inmiddels op 6.4(?) worden de disks herkend in de boot van de controller. Daarop heb ik een RAID 5 gemaakt, paritycheck e.d. laten gaan. Ging prima.

Ga ik echter de kaart doorlussen dan werkt dit niet, ik kan hem activeren binnen de webomgeving van ESXI, echter na reboot is er 10,9TB gevonden (klopt door Raid 5). Wil ik er echter een datastore opmaken dan loopt de machine gewoon letterlijk vast.

Ik heb al veel zaken geprobeerd (bijvoorbeeld de controller door de linken naar Xpenology/DSM, die kon er niet mee overweg). De boot-sequence veranderd, de bootschijf in de raid erbij te hangen, EHCI modus aan/uit, write-cache aan/uit, poorten gewisseld, etc. Ik kom er niet uit.
Ook natuurlijk meerdere drivers geupload naar ESXI voor de raidcontroller, maar ik krijg hem niet aan de praat waardoor ik nu 1 datastore heb gemaakt van 3 schijven rechtstreeks op het moederbord van de HP machine, maar dat is gevaarlijk wanneer er 1 schijf stuk gaat.

Verder draait het ding als een tiet, alleen de raidcontroller werkt dus voor geen meter. Iemand tips ?

[ThinkPad]

Is er ook iemand die over langere tijd het verbruik van zijn/haar ESXi server monitored?

Er lijkt een soort 'geheugenlek' ofzo in mijn server te zitten (6.7.0 Update 1 (Build 10764712)). Normaal is het verbruik rond de 28-32W, maar na een maand uptime gaat hij ineens meer stroom verbruiken.

Ik kan het precies zien, het nachtelijke verbruik voor mijn huis blijft dan vrij hoog (118W). Gisteren de server gereboot en afgelopen nacht zat ik weer op de voor mij bekende 82W sluipverbruik.

Kan natuurlijk ook één van m'n VMs zijn die dit veroorzaakt, maar was wel benieuwd of iemand hier wel eens zoiets heeft gezien?

[|sWORDs|]

ThinkPadd schreef op maandag 11 februari 2019 @ 13:09:
Is er ook iemand die over langere tijd het verbruik van zijn/haar ESXi server monitored?

Er lijkt een soort 'geheugenlek' ofzo in mijn server te zitten (6.7.0 Update 1 (Build 10764712)). Normaal is het verbruik rond de 28-32W, maar na een maand uptime gaat hij ineens meer stroom verbruiken.

Ik kan het precies zien, het nachtelijke verbruik voor mijn huis blijft dan vrij hoog (118W). Gisteren de server gereboot en afgelopen nacht zat ik weer op de voor mij bekende 82W sluipverbruik.

Kan natuurlijk ook één van m'n VMs zijn die dit veroorzaakt, maar was wel benieuwd of iemand hier wel eens zoiets heeft gezien?

De volgende keer als hij hoog is MHz per VM bekijken voor en na de reboot?

[ComTech]

Ik heb versie 6.7U1 geinstalleerd en wil mijn Intel Corporation Sunrise Point-H AHCI controller doorgeven via passtrough maar er staat not capable.
Ik heb de passtrough.map aangepast maar nog steeds is hij niet door te geven.
Ik dacht dat het met 6.7U1 wel weer mogelijk was om deze door te geven via passtrough.
Is er een andere manier om deze door te geven met versie 6.7U1 ?

[Endpoint]

Kecin schreef op maandag 28 januari 2019 @ 23:24:
Hallo allemaal, ik ben nieuw hier in dit topic en ook nieuw in virtualiseren. Ik had altijd een HP N54L met een baremetal Xpenology erop geinstalleerd. Graag wou ik het iets beter aanpakken door ook andere virtuele machine's te kunnen draaien.

Het is gelukt om ESXI 6.7U1 te draaien op:
PC pricewatch: HP EliteDesk 800 G1 SFF J0F16EA ( I7, 8 cores met 16GB Ram)
HDD Storage: 3 x pricewatch: Seagate IronWolf, 6TB (128MB cache)
Datastore 1: 1 x pricewatch: Crucial MX500 2,5" 500GB
Swapstore 1 : 1 x pricewatch: Kingston SSDNow V Series SNV125-S2/30GB 30GB

Al met al werkt dit prima en haal ik goede read/write resultaten. Echter is mijn Raid nu softwarematig opgebouwd. Standaard kon ik de onboard SATA controller niet doorlussen. Door hem in de passthrough te zetten kwamen de poorten wel los beschikbaar, maar hij ging over zijn nek en was niet stabiel. Daarop heb ik een Raid controller gekocht (via V&A), een pricewatch: HP Smart Array P212/Zero , met 256mb cache, kabel naar 4xsata, batterypack (die nog werkt). Daaraan had ik de 3 X 6TB gekoppeld, dat werkte in eerste instantie niet. Het bleek dat de controller nog op firmware versie 3.0 draaide. Inmiddels op 6.4(?) worden de disks herkend in de boot van de controller. Daarop heb ik een RAID 5 gemaakt, paritycheck e.d. laten gaan. Ging prima.

Ga ik echter de kaart doorlussen dan werkt dit niet, ik kan hem activeren binnen de webomgeving van ESXI, echter na reboot is er 10,9TB gevonden (klopt door Raid 5). Wil ik er echter een datastore opmaken dan loopt de machine gewoon letterlijk vast.

Ik heb al veel zaken geprobeerd (bijvoorbeeld de controller door de linken naar Xpenology/DSM, die kon er niet mee overweg). De boot-sequence veranderd, de bootschijf in de raid erbij te hangen, EHCI modus aan/uit, write-cache aan/uit, poorten gewisseld, etc. Ik kom er niet uit.
Ook natuurlijk meerdere drivers geupload naar ESXI voor de raidcontroller, maar ik krijg hem niet aan de praat waardoor ik nu 1 datastore heb gemaakt van 3 schijven rechtstreeks op het moederbord van de HP machine, maar dat is gevaarlijk wanneer er 1 schijf stuk gaat.

Verder draait het ding als een tiet, alleen de raidcontroller werkt dus voor geen meter. Iemand tips ?

Je hba staat ook niet op de HCL van esxi voor 6.7, hij gaat niet verder als 6.0u3. ik denk dat daar je grootste crux zit, je drivers.
https://www.vmware.com/re...ategory=io&productid=4617

[FireDrunk]

ComTech schreef op woensdag 27 februari 2019 @ 21:48:
Ik heb versie 6.7U1 geinstalleerd en wil mijn Intel Corporation Sunrise Point-H AHCI controller doorgeven via passtrough maar er staat not capable.
Ik heb de passtrough.map aangepast maar nog steeds is hij niet door te geven.
Ik dacht dat het met 6.7U1 wel weer mogelijk was om deze door te geven via passtrough.
Is er een andere manier om deze door te geven met versie 6.7U1 ?

Kan je eens een linux bootcd starten en dit op de commandline uitvoeren:

for a in /sys/kernel/iommu_groups/*; do find $a -type l; done | sort --version-sort

Dit geeft je een overzicht van de IOMMU Groepen zoals ze door de fabrikant van je moederbord ingedeeld zijn.
Als daar een 'fout' in zit, kan je het ding niet doorgeven.

[|sWORDs|]

ComTech schreef op woensdag 27 februari 2019 @ 21:48:
Ik heb versie 6.7U1 geinstalleerd en wil mijn Intel Corporation Sunrise Point-H AHCI controller doorgeven via passtrough maar er staat not capable.
Ik heb de passtrough.map aangepast maar nog steeds is hij niet door te geven.
Ik dacht dat het met 6.7U1 wel weer mogelijk was om deze door te geven via passtrough.
Is er een andere manier om deze door te geven met versie 6.7U1 ?

Staat hij wel in AHCI modus?

[Kecin]

Endpoint schreef op donderdag 28 februari 2019 @ 07:11:
[...]


Je hba staat ook niet op de HCL van esxi voor 6.7, hij gaat niet verder als 6.0u3. ik denk dat daar je grootste crux zit, je drivers.
https://www.vmware.com/re...ategory=io&productid=4617

Had het hier nog niet gemeld maar dat is inderdaad het probleem. Zit nu op 6U3 en draait fantastisch .
Thanks voor het antwoord alsnog!

[ComTech]

FireDrunk schreef op donderdag 28 februari 2019 @ 07:47:
[...]

Kan je eens een linux bootcd starten en dit op de commandline uitvoeren:

for a in /sys/kernel/iommu_groups/*; do find $a -type l; done | sort --version-sort

Dit geeft je een overzicht van de IOMMU Groepen zoals ze door de fabrikant van je moederbord ingedeeld zijn.
Als daar een 'fout' in zit, kan je het ding niet doorgeven.

Met ubuntu en debian krijg ik deze foutmelding

code:

find: ‘/sys/kernel/iommu_groups/*’: No such file or directory

|sWORDs| schreef op donderdag 28 februari 2019 @ 09:57:
[...]

Staat hij wel in AHCI modus?

Yep hij staat in AHCI modus.

Het werkt wel met 6.0 U1 (dat is de enige 6.0 die ik geprobeerd heb).