Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

  • HellStorm666
  • Registratie: april 2007
  • Laatst online: 16:25

HellStorm666

GSX-R 1000 L0 + A4 Avant B8

Hoe "veilig" is de volgende situatie....
Binnen ESXi heb ik 3 SSD's 1 er van draait ESXi zelf op.
De 2 andere geef ik ieder een eigen data-store (SSD1 en SSD2).
De Hardwareconfiguratie van de VM (Windows S2016) geef ik (via VMware paravirtual SCSI) 2 drives (beide x GB).
De installatie van Windows Server 2016 begin ik gewoon op Drive-1.
En na de installatie doe ik via de Schijfbeheer van S2016 een mirror maken van Drive-1 (C:) en Drive-2 samen.
Effectief heb ik dan een Software Mirror van het hele systeem op 2 losse SSD's.

Als dan een van de SSD's faalt, dan draait ie nog verder op de andere SSD, toch?

EDIT:
Een test zegt meer dan 1000 foto's ;)
Dit werkt dus niet. S2016 draaiend... trek een SSD los. Systeem hangt.
ESXi probeert m te herstarten, maar dat mislukt. (zowel met SSD1 als met SSD2)

HellStorm666 wijzigde deze reactie 20-12-2018 14:16 (13%)

Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666


  • Craven
  • Registratie: februari 2007
  • Nu online
Just FYI, je bent jezelf aan het ophangen aan het in raid1 zetten van disks terwijl (ik tenminste) dat tegenwoordig helemaal niet zo nuttig meer is. Vroegah waren disks het meest onbetrouwbare onderdeel. Tegenwoordig is dat helemaal niet meer zo. Het is veel interessanter om naar redundancy op een hoger niveau te kijken.

  • Dronium
  • Registratie: januari 2007
  • Laatst online: 20:57
HellStorm666 schreef op donderdag 20 december 2018 @ 13:13:
Hoe "veilig" is de volgende situatie....
Niet !
Je VM heeft virtueel wel raid1 maar de definitie van die VM (de *.vmx file) staat nog steeds maar op een plek.

Je maakt het te ingewikkeld :
- Supermicro server als ESXi host
- een aantal (sas-)disken in Raid5 aan de LSI als gewone storage (daar kun je ook ESXi op installeren)
- 1 NVMe SSDs als snelle storage voor de CAD-tekeningen
(gewoon een apart volume van je fileserver waarvan de VMDK op de SSD staat)
- Dagelijks een backup naar je Synology (als die genoeg ruimte heeft meerdere versies).
Als er nog budget is: investeer in een een licentie voor vSphere essentials en Veeam voor de backup.

Dronium wijzigde deze reactie 20-12-2018 17:14 (10%)


  • HellStorm666
  • Registratie: april 2007
  • Laatst online: 16:25

HellStorm666

GSX-R 1000 L0 + A4 Avant B8

Dronium schreef op donderdag 20 december 2018 @ 17:09:
[...]

Niet !
Je VM heeft virtueel wel raid1 maar de definitie van die VM (de *.vmx file) staat nog steed maar op een plek.

Je maakt het te ingewikkeld :
- Supermicro server als ESXi host
- een aantal (sas-)disken in Raid5 aan de LSI als gewone storage (daar kun je ook ESXi op installeren)
- 1 NVMe SSDs als snelle storage voor de CAD-tekeningen
(gewoon een apart volume van je fileserver waarvan de VMDK op de SSD staat)
- Dagelijks een backup naar je Synology (als die genoeg ruimte heeft meerdere versies).
Als er nog budget is: investeer in een een licentie voor vSphere essentials en Veeam voor de backup.
Top, Thnx.
Daar ga ik maar eens mee beginnen.

Kan Data Protection of Replication Ook overweg met backup roulering?
Heb nu binnen Windows Server backup ingesteld dat we 3 backup schijven hebben welke gerouleerd worden (1x per week een andere disk er aan)

Backup disk is 3x over een 3TB Red in een usb3 enclosure.

Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666


  • Dronium
  • Registratie: januari 2007
  • Laatst online: 20:57
VMware Data Protection is al een tijdje EOL.
Voor replicatie heb je een 2e host nodig maar kun je wel meerdere versies (in de vorm van snapshots) bij houden.

Backups kun je het beste met Veeam doen, dat wordt dan zoiets
ESXi-host met VM's op local storage -> Veeam -> Backup files op Synology (internal disks) -> copy van backup naar USB disk (wel blijven rouleren).
Na de eerste backup kan Veeam incrementals maken, die zijn (afhankelijk van je change rate) echt in no-time klaar.

PS.
Kan die USB disk aan je Synology gekoppeld worden? of hangt die aan een fysieke windows-server?

  • HellStorm666
  • Registratie: april 2007
  • Laatst online: 16:25

HellStorm666

GSX-R 1000 L0 + A4 Avant B8

Dronium schreef op donderdag 20 december 2018 @ 17:25:
VMware Data Protection is al een tijdje EOL.
Voor replicatie heb je een 2e host nodig maar kun je wel meerdere versies (in de vorm van snapshots) bij houden.

Backups kun je het beste met Veeam doen, dat wordt dan zoiets
ESXi-host met VM's op local storage -> Veeam -> Backup files op Synology (internal disks) -> copy van backup naar USB disk (wel blijven rouleren).
Na de eerste backup kan Veeam incrementals maken, die zijn (afhankelijk van je change rate) echt in no-time klaar.

PS.
Kan die USB disk aan je Synology gekoppeld worden? of hangt die aan een fysieke windows-server?
hmmm.. vreemd. Als ik bij VMware kijk wat de verschillen zijn tussen de VMware vSphere Essentials Kits en de VMware vSphere Essentials Plus Kits (hierzo: https://store.vmware.com/...tPage&categoryID=66680900 )
Dan staat Data Protection er gewoon tussen.

Maar in dat geval, mocht dat Data Protection dus EOL zijn en de Replication niet de juiste methode zijn voor backup, is het waarschijnlijk interessanter om VMware vSphere Essentials Kits te nemen ipv de Plus. En dan idd het geld in Veeam te steken. ofniet?

Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666


  • Dronium
  • Registratie: januari 2007
  • Laatst online: 20:57
Ik denk inderdaad dat de Essentials kit voorlopig de juiste voor je is. Van de extra features van de Plus versie is vMotion niet bruikbaar omdat je maar een host hebt en voor en High Availability heb je ook nog shared storage nodig.
Als ik dan de andere features bekijk denk ik dat een goede en probleemloze Backup véél belanrijker is.

Hier de EOL melding van Data Protector

  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
HellStorm666 schreef op donderdag 20 december 2018 @ 09:01:
[...]


Ok duidelijk.
Een goede backup waar je altijd op kan vertrouwen is uiteraard een stap 1.

Kort samenvattend adviseer jij het volgende als ik het goed begrijp.

Intel 750/P3700/900p/P4800X aanschaffen en daar de CAD opslag op. (Die P3700 die je linkte sluit je aan op een PCIe port?)
ESXi op een dual-usb?
Disks niet in RAID (wel aangesloten laten op de LSI 3108 2GB? of op de interne Sata-port?)
De Crucials alleen gebruiken voor data wat minder belangrijk is, of goed gebackupped.

Wat vind je van de HP Z Turbo Drive, Seagate Nytro XF1440 of Intel DC P3520?


[...]
HP Z Turbo Drive = Samsung SM951, slechte drive welke bij bosjes sneuvelen.
Seagate Nytro XF1440 = Sandforce, grote vraagtekens bij.
Intel DC P3520 = Read optimized, 6x trager met sustained writes dan een P3700, prima capacity drive (al hoewel ik eerder voor een P4510 zou gaan) voor VSAN met een P4800X als cache. Voor mixed workloads zou een P4610 logischer zijn.

P4800X is het beste wat je kunt krijgen, maar ook erg duur. Een 900/905p heeft dezelfde flash chips, controller en PCB alleen wat features die je toch nooit gaat gebruiken zitten niet in de firmware en de endurance rating is lager.

P3700 is iets minder snel en kan minder writes aan, maar ook minder duur. Een 750 heeft dezelfde flash chips, controller en PCB alleen wat features die je toch nooit gaat gebruiken zitten niet in de firmware en de endurance rating is lager.

Ik heb zelf:
1 900p (480GB)
4 750 (3x 400GB en 1.2TB)
3 P3700 (1.6TB)


DriveSteady State (MB/s)Endurance (TBW)
P4800X 750GB1288 (Heavy)83968
900p 480GB1733,9 (Medium)8970
900p 280GB1702,3 (Medium)5233
P3700 400GB508,4 (Heavy)7475
750 400GB657,9 (Medium)219
SM951 256GB102,4 (Medium)150

De heavy tests zijn meer representatief (langer schrijven), de medium score is zo'n 30% hoger voor de meeste drives.

|sWORDs| wijzigde deze reactie 21-12-2018 14:15 (43%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • HellStorm666
  • Registratie: april 2007
  • Laatst online: 16:25

HellStorm666

GSX-R 1000 L0 + A4 Avant B8

|sWORDs| schreef op vrijdag 21 december 2018 @ 13:43:
[...]

HP Z Turbo Drive = Samsung SM951, slechte drive welke bij bosjes sneuvelen.
Seagate Nytro XF1440 = Sandforce, grote vraagtekens bij.
Intel DC P3520 = Read optimized, 6x trager met sustained writes dan een P3700, prima capacity drive (al hoewel ik eerder voor een P4510 zou gaan) voor VSAN met een P4800X als cache. Voor mixed workloads zou een P4610 logischer zijn.

P4800X is het beste wat je kunt krijgen, maar ook erg duur. Een 900/905p heeft dezelfde flash chips, controller en PCB alleen wat features die je toch nooit gaat gebruiken zitten niet in de firmware en de endurance rating is lager.

P3700 is iets minder snel en kan minder writes aan, maar ook minder duur. Een 750 heeft dezelfde flash chips, controller en PCB alleen wat features die je toch nooit gaat gebruiken zitten niet in de firmware en de endurance rating is lager.

Ik heb zelf:
1 900p (480GB)
4 750 (3x 400GB en 1.2TB)
3 P3700 (1.6TB)



De heavy tests zijn meer representatief (langer schrijven), de medium score is zo'n 30% hoger voor de meeste drives.
De Intel DC P4610 3,2TB is dan wel erg interesant voor ons denk ik.
€0,576 per GB
3,2 TB groot
3200MB/s om 3000MB/s
640.000 IOPS om 200.000 IOPS
5 jaar garantie
21,85 PB TBW

Ding is al vééle male sneller dan een Crucial MX300 525GB die we nu hebben.
Véél veiliger.

Alleen even uitzoeken hoe zo'n U.2 disk aangesloten wordt op m'n Supermicro X10DRH-CT mobo ;)

Die Intel DC P4610 3,2TB zou ik dan inzetten om een aantal Disks op te zetten voor oa de SQL server, CAD file server en normale office opslag.
Aan te raden?

Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
HellStorm666 schreef op vrijdag 21 december 2018 @ 14:22:
[...]


De Intel DC P4610 3,2TB is dan wel erg interesant voor ons denk ik.
€0,576 per GB
3,2 TB groot
3200MB/s om 3000MB/s
640.000 IOPS om 200.000 IOPS
5 jaar garantie
21,85 PB TBW

Ding is al vééle male sneller dan een Crucial MX300 525GB die we nu hebben.
Véél veiliger.

Alleen even uitzoeken hoe zo'n U.2 disk aangesloten wordt ;)

Die Intel DC P4610 3,2TB zou ik dan inzetten om een aantal Disks op te zetten voor oa de SQL server, CAD file server en normale office opslag.
Aan te raden?
Ja top drive. Wat je niet moet kopen is een bifurcation kaart (AOC-SLG3-2E4R). Helaas staat jouw bord in de de supported list, maar deze WERKT NIET!!! Ik heb maanden besteed met Supermicro en de PM heeft bevestigd dat het niet werkt en nooit gaat werken. Wat wel zou werken is een PLX kaart (AOC-SLG3-2E4), maar die worden niet meer verkocht ivm hofswap problemen.
Makkelijkste is M.2 adapter -> M.2 naar U.2 kabel (SFF-8639).

pricewatch: Delock PCI Express Card > 1 x internal M.2 NGFF
https://click.intel.com/u...l-solid-state-drives.html

|sWORDs| wijzigde deze reactie 21-12-2018 14:42 (18%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • HellStorm666
  • Registratie: april 2007
  • Laatst online: 16:25

HellStorm666

GSX-R 1000 L0 + A4 Avant B8

De andere systeembeheerder zit het converteren van de huidige server naar ESXi niet zitten.
Hij heeft liever dat we een nieuwe server aanschaffen.
Waarschijnlijk kan ik daarna alsnog op de nieuwe server (in alle rust) de DC gaan draaien ed zodat ook op de huidige server ESXi kan komen.

Nog een advies voor een goede bang-for-the-buck Rack server?
Denk dat er maar 1 disk in komt, nl die DC P4610 van 3,2TB

Zo op het eerste gezicht lijkt de Gigabyte R271-Z31 met Epyc 7351P me wel wat.

HellStorm666 wijzigde deze reactie 21-12-2018 14:49 (9%)

Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
HellStorm666 schreef op vrijdag 21 december 2018 @ 14:42:
De andere systeembeheerder zit het converteren van de huidige server naar ESXi niet zitten.
Hij heeft liever dat we een nieuwe server aanschaffen.
Waarschijnlijk kan ik daarna alsnog op de nieuwe server (in alle rust) de DC gaan draaien ed zodat ook op de huidige server ESXi kan komen.

Nog een advies voor een goede bang-for-the-buck Rack server?
Denk dat er maar 1 disk in komt, nl die DC P4610 van 3,2TB

Zo op het eerste gezicht lijkt de Gigabyte R271-Z31 met Epyc 7351P me wel wat.
Dan is het waarschijnlijk het slimste om een identieke server aan te schaffen, op zijn minst de zelfde vendor qua CPU voor vMotion.
Ik zou absoluut niemand Gigabyte aanraden, ik heb het bord van die server en de support is om te huilen, ook is dat bord hier niet stabiel met ESXi 6.7 U1 (niet U1 was prima), iets wat ik de komende dagen ga uitzoeken.

|sWORDs| wijzigde deze reactie 21-12-2018 14:52 (9%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • HellStorm666
  • Registratie: april 2007
  • Laatst online: 16:25

HellStorm666

GSX-R 1000 L0 + A4 Avant B8

|sWORDs| schreef op vrijdag 21 december 2018 @ 14:50:
[...]

Dan is het waarschijnlijk het slimste om een identieke server aan te schaffen, op zijn minst de zelfde vendor qua CPU voor vMotion.
Ik zou absoluut niemand Gigabyte aanraden, ik heb het bord van die server en de support is om te huilen.
Maar als ik nu een identieke server aan schaf, mis ik flink wat performance t.o.v. wat nu voor hetzelfde geld mogelijk is. ofniet?

Maakt t voor vMotion uit dat het spul van de zelfde vendor is? zou zeggen dat, omdat ESXi er tussen zit, dit niet uit zou moeten maken.... zo zie je maar.. aannames |:(

En qua Gigabyte... Zelf (prive) goede ervaringen mee... en support, tja.. das voor de gene waarvan ik m koop (serverdirect) een probleem, niet voor mij ;)

Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
HellStorm666 schreef op vrijdag 21 december 2018 @ 14:54:
[...]

Maar als ik nu een identieke server aan schaf, mis ik flink wat performance t.o.v. wat nu voor hetzelfde geld mogelijk is. ofniet?

Maakt t voor vMotion uit dat het spul van de zelfde vendor is? zou zeggen dat, omdat ESXi er tussen zit, dit niet uit zou moeten maken.... zo zie je maar.. aannames |:(

En qua Gigabyte... Zelf (prive) goede ervaringen mee... en support, tja.. das voor de gene waarvan ik m koop (serverdirect) een probleem, niet voor mij ;)
We hebben een VM en gaan die al draaiend verplaatsen terwijl de instructies die de CPU support niet gelijk blijven?

Jij hebt straks een server draaien en als er problemen zijn zitten zijn het jouw gebruikers die niet kunnen werken. Leuk dat de oplossing het probleem van serverdirect is, maar wat schieten jouw gebruikers daarmee op? En ik heb privé vrijwel altijd Gigabyte borden gehad en die waren perfect, maar dat zegt niets over de kwaliteit van business to business support.

Fouten in microcode, BIOS en BMC firmware, elke vraag duurt een week om een antwoord te krijgen en de reactie is dan:
Please provide us product serial number so that we can look into the product specification.
Maar in de ticket stond al:
Product Name: MZ31-AR0 (1.x)
BIOS Ver: F10

Serienummer verzonden, weer een week verder:
With the problems you encountered, please try below suggestions to see if it works:

1. Kindly remove additional devices, such as GSM server card. Please install CPU and a memory with the server motherboard. If the reboot problem is not happen, then it may be device issue.
2. Kindly click here to download and flahs 1.72 BMC FW. Please flash firmware with flash.nsh in installation file utility\fwud\uefi. Then, update BMC when boot with UEFI-Shell mode.
3. If BMC works properly after update, please connect BMC WebUI and update BIOS, then check whether sensor works well.
4. If possible, you can try to install other CPU or memory to verify whether it is hardware issue.
BMC firmware geflashed, één fout weg, eentje erbij. GSM server card zit trouwens onboard, dus product aanduiding en serienummer is niet voldoende om te snappen waar we het over hebben. Nieuwe reactie en weer een week later:
If you have followed our suggestions in previous mail, changed CPU and memory but problem still remains, then it is possible something wrong with your hardware. The product needs further examination to determine the problem. Meanwhile, because we can hardly define the root cause without looking at the platform, we suggest you to contact your supplier (where you bought the product) and see if they could help you do the further examination.
Als we dat vergelijken met Supermicro dan heb ik meestal in een paar uur reactie en werken ze samen om beta BIOS te testen, etc. Hele andere ervaring.

|sWORDs| wijzigde deze reactie 21-12-2018 15:16 (30%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • HellStorm666
  • Registratie: april 2007
  • Laatst online: 16:25

HellStorm666

GSX-R 1000 L0 + A4 Avant B8

|sWORDs| schreef op vrijdag 21 december 2018 @ 15:01:
[...]

We hebben een VM en gaan die al draaiend verplaatsen terwijl de instructies die de CPU support niet gelijk blijven?

Jij hebt straks een server draaien en als er problemen zijn zitten zijn het jouw gebruikers die niet kunnen werken. Leuk dat de oplossing het probleem van serverdirect is, maar wat schieten jouw gebruikers daarmee op? En ik heb privé vrijwel altijd Gigabyte borden gehad en die waren perfect, maar dat zegt niets over de kwaliteit van business to business support.

Fouten in microcode, BIOS en BMC firmware:

[...]
Daar zit wat in.
Een E3-1270v6 single CPU dan wel aan te raden? (Supermicro bord)
Of beter een Supermicro met dual Xeon Silver 4114?
Of zelfs een dual Xeon Gold 6128?
alle gevallen met 4x en 16GB RAM en geen opslag.

https://serverdirect.nl/c...x-240gb-ssd-redundant-psu

HellStorm666 wijzigde deze reactie 21-12-2018 22:46 (15%)

Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666


  • HellStorm666
  • Registratie: april 2007
  • Laatst online: 16:25

HellStorm666

GSX-R 1000 L0 + A4 Avant B8

@|sWORDs| gaat een van de 3 bovenstaande systemen werken?

Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666


  • FireDrunk
  • Registratie: november 2002
  • Laatst online: 19:45
Een 8 core Xeon, en 8GB ram? Beetje vreemde combi. Wat gaat die cpu de hele dag doen?

Even niets...


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
HellStorm666 schreef op dinsdag 25 december 2018 @ 10:15:
@|sWORDs| gaat een van de 3 bovenstaande systemen werken?
Ik snap het plan niet helemaal, 4x een machine met elk 16GB of één machine met 4x 16GB? En wat ben je van plan qua storage?

|sWORDs| wijzigde deze reactie 25-12-2018 11:12 (5%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • Endpoint
  • Registratie: april 2016
  • Laatst online: 20:04
Normaal heb je iets van een baseline waar je hardware op dit moment minimaal aan moet voldoen. Daarna ga je na qua sizing voor hoe lang ga je hem inzetten en wat je te verwachten groei is. Reken daarbij 30% extra resources bij en je zit in de goeie richting.

Hoe lang mag je er uit liggen bij een outage van een host? Moet alles gelijk weer opkomen, dan ga je voor HA en moet je dus alles dubbel uitvoeren. Qua support kan je bij je leverancier terecht, maar deze verwijst me vaak door naar de fabrikant. HP en Dell etc neem je een support contract af, binnen 5 uur etc.

Heb je eigenlijk al een gesegmenteerd netwerk waarbij je je vmotion/storage netwerk van je productienetwerk kan scheiden?

  • HellStorm666
  • Registratie: april 2007
  • Laatst online: 16:25

HellStorm666

GSX-R 1000 L0 + A4 Avant B8

|sWORDs| schreef op dinsdag 25 december 2018 @ 11:11:
[...]

Ik snap het plan niet helemaal, 4x een machine met elk 16GB of één machine met 4x 16GB? En wat ben je van plan qua storage?
Nee, in de machine komt 4 bankjes van 16GB.
De Storage wordt die DC P4610 van 3,2 TB

Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666


  • HellStorm666
  • Registratie: april 2007
  • Laatst online: 16:25

HellStorm666

GSX-R 1000 L0 + A4 Avant B8

Endpoint schreef op dinsdag 25 december 2018 @ 11:37:
Normaal heb je iets van een baseline waar je hardware op dit moment minimaal aan moet voldoen. Daarna ga je na qua sizing voor hoe lang ga je hem inzetten en wat je te verwachten groei is. Reken daarbij 30% extra resources bij en je zit in de goeie richting.

Hoe lang mag je er uit liggen bij een outage van een host? Moet alles gelijk weer opkomen, dan ga je voor HA en moet je dus alles dubbel uitvoeren. Qua support kan je bij je leverancier terecht, maar deze verwijst me vaak door naar de fabrikant. HP en Dell etc neem je een support contract af, binnen 5 uur etc.

Heb je eigenlijk al een gesegmenteerd netwerk waarbij je je vmotion/storage netwerk van je productienetwerk kan scheiden?
Outage van een uurtje of 2 is geen probleem.
Dus handmatig een machine over moeten zetten of moeten activeren is geen probleem.

Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666


  • Endpoint
  • Registratie: april 2016
  • Laatst online: 20:04
Als je een outage tot max 2 uur kan dragen, dan denk dat je je beter zorgen kan gaan maken over je shared storage

  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
HellStorm666 schreef op dinsdag 25 december 2018 @ 12:26:
[...]


Nee, in de machine komt 4 bankjes van 16GB.
De Storage wordt die DC P4610 van 3,2 TB
We gaan een beetje in rondjes, maar hardware is iets wat we even buiten beschouwing kunnen laten, er komt iets nieuws.

Laten we dan even kijken wat je wil draaien en het even in twee blokken verdelen:
  • 1x Windows Server 2016 als DC, DHCP en forward-lookup DNS
  • 1x Windows Server 2016 met SQL 2017 als database voor ons PLM pakket
  • 2x OpenVPN AS
  • Pi-Hole DNS
  • 1x Windows Server 2016 voor het PLM pakket
  • Boekhoud server
  • Webserver (ubuntu)
  • LiquidFiles server (soort we-transfer)
  • Win7 RDP
  • 3CX telefooncentrale
Verder heb je het nog over data.

Het eerste blok kun je prima redundant maken zonder VM level HA. Gewoon overal twee VM's van op twee hypervisors (of een tweede fysiek). Zeker AD, DHCP en DNS wil je niet zonder redundancy draaien, werkelijk alles gaat plat.
Hoe wil je redundancy aanpakken voor deze lijst?

De tweede lijst en de data is lastiger, is het hebben van een backup voldoende?

Wat voor CPU je nodigt gaat hebben is erg afhankelijk van jouw load. Wat draai je nu voor die machines en hoe hoog is de average en peak load?

|sWORDs| wijzigde deze reactie 25-12-2018 13:57 (3%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • HellStorm666
  • Registratie: april 2007
  • Laatst online: 16:25

HellStorm666

GSX-R 1000 L0 + A4 Avant B8

|sWORDs| schreef op dinsdag 25 december 2018 @ 13:23:
[...]

We gaan een beetje in rondjes, maar hardware is iets wat we even buiten beschouwing kunnen laten, er komt iets nieuws.

Laten we dan even kijken wat je wil draaien en het even in twee blokken verdelen:
  • 1x Windows Server 2016 als DC, DHCP en forward-lookup DNS
  • 1x Windows Server 2016 met SQL 2017 als database voor ons PLM pakket
  • 2x OpenVPN AS
  • Pi-Hole DNS
  • 1x Windows Server 2016 voor het PLM pakket
  • Boekhoud server
  • Webserver (ubuntu)
  • LiquidFiles server (soort we-transfer)
  • Win7 RDP
  • 3CX telefooncentrale
Verder heb je het nog over data.

Het eerste blok kun je prima redundant maken zonder VM level HA. Gewoon overal twee VM's van op twee hypervisors (of een tweede fysiek). Zeker AD, DHCP en DNS wil je niet zonder redundancy draaien, werkelijk alles gaat plat.
Hoe wil je redundancy aanpakken voor deze lijst?

De tweede lijst en de data is lastiger, is het hebben van een backup voldoende?

Wat voor CPU je nodigt gaat hebben is erg afhankelijk van jouw load. Wat draai je nu voor die machines en hoe hoog is de average en peak load?
Dat bovenste deel wil ik idd redundant draaien.
Voor de rest is een backup, welke ik binnen 2 uur terug kan zetten, prima.

Is vMotion tussen de huidige server en een van die 3 eerder vermelde servers gewoon mogelijk? (ook met t systeem live en local storage?)

Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666


  • Endpoint
  • Registratie: april 2016
  • Laatst online: 20:04
We dwalen mogelijk van het Vmware stuk af. Ja, wat je wilt is mogelijk maar gaat een behoorlijke hoeveelheid centen kosten.

Volgens mij had je het over ongeveer één terabyte aan productie data, om dat binnen een blok van 2 uur operationeel te hebben vormt al een uitdaging opzich.

Hoe oud mag deze data zijn. Als je een outage, of bijvoorbeeld virus uitbraak krijg, is het erg om een dag productie te verliezen?

Vmotion is mogelijk, als je wel binnen de Intel hoek blijft, mits de juiste EVC modus

  • HellStorm666
  • Registratie: april 2007
  • Laatst online: 16:25

HellStorm666

GSX-R 1000 L0 + A4 Avant B8

Endpoint schreef op dinsdag 25 december 2018 @ 21:22:
We dwalen mogelijk van het Vmware stuk af. Ja, wat je wilt is mogelijk maar gaat een behoorlijke hoeveelheid centen kosten.

Volgens mij had je het over ongeveer één terabyte aan productie data, om dat binnen een blok van 2 uur operationeel te hebben vormt al een uitdaging opzich.

Hoe oud mag deze data zijn. Als je een outage, of bijvoorbeeld virus uitbraak krijg, is het erg om een dag productie te verliezen?

Vmotion is mogelijk, als je wel binnen de Intel hoek blijft, mits de juiste EVC modus
De 1TB is de totale data.
Er wordt, gok ik, niet meer dan 2GB aan nieuwe data gemaakt op een piek dag.

Een dag productie verliezen is vervelend, maar zeker geen ramp.

Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666


  • Jeroen V
  • Registratie: februari 2004
  • Laatst online: 20:26

Jeroen V

yadda yadda yadda

Beetje jammer dat ik nu pas echt dit topic zie, maar beter laat dan nooit :)

Sinds een jaar of 6 draai ik een ESXi server puur voor thuisgebruik; een i5-3550 met 32GB RAM. Lokaal zit er een Intel 330 120GB SSD in en de rest van de storage staat op een Synology DS2415+. Daar zitten 2 x 500GB Samsung EVO 850 in voor RAID1 cache en 6 x 6TB WD Red schijven. Een maandje geleden is de NAS overleden (gelukkig nog garantie) maar ik heb inmiddels een Synology RS2418+ staan omdat ik geen zin had om 4 weken zonder NAS te zitten.

De huidige ESXi server heeft te weinig geheugen om er alles mee te kunnen doen wat ik zou willen, dus ik heb inmiddels een nieuwe ESXi server besteld. Ook gaat er in de RS2418+ een zes-tal SSD's (Samsung EVO 860 500GB) waar ik de storage op wil plaatsen voor de VM's. Verder meteen een upgrade naar 10GBit voor de NAS met bijbehorende switch. (DELL N1148T)

De doelstelling voor de ESXi server is met name een home-lab. Ik werk wel aan wat software development projecten waarvan de VM's met o.a. Bitbucket en Jenkins ook op de ESXi machine staan, maar het belangrijkste doel is om te kunnen experimenteren met zo ongeveer alles wat ik zou kunnen bedenken. Een paar voorbeelden:
- ESXi nested om meer van VMWare te leren,
- Azure Stack Development Kit, volledig niet ondersteung door zowel MS als VMWare, maar lijkt me leuk om te proberen,
- Kubernetes cluster.

De server die ik heb besteld is de volgende:
#ProductPrijsSubtotaal
2Intel Xeon E5-2620 v4 Boxed€ 445,05€ 890,10
1Asus Z10PR-D16€ 417,99€ 417,99
1Intel X520-DA2€ 229,-€ 229,-
8Hynix HMA42GR7AFR4N-UH€ 209,68€ 1.677,44
1Transcend MTS420 240GB€ 140,26€ 140,26
1ASUS RS500-E8-PS4----
Bekijk collectie
Importeer producten
Totaal€ 3.354,79


Voor de volledigheid ook even de configuratie van de Synology NAS:
#ProductPrijsSubtotaal
4WD Red WD60EFRX, 6TB€ 187,89€ 751,56
1Intel Ethernet Converged Network Adapter X710-DA2€ 282,25€ 282,25
2Samsung 850 EVO 500GB€ 125,84€ 251,68
6Samsung 860 EVO 500GB€ 80,28€ 481,68
1Synology RS2418+€ 1.720,41€ 1.720,41
Bekijk collectie
Importeer producten
Totaal€ 3.487,58


Zodra de DS2415+ weer terug is wil ik die gaan inzetten als backup storage. (afhankelijk van het advies hier zou ik hem ook kunnen verkopen en inruilen voor local storage :))

Ik heb niet de laatste generatie van de Xeon gekozen om de simpele reden dat de server dan minimaal 1000,- euro duurder zou uitvallen en ik liever 10GBit heb dan de laatste generatie Xeon's. De SSD is puur om ESXi op te kunnen installeren, mocht ik noodzaak zien voor lokale storage dan kan ik nog twee PCI-E kaarten plaatsen.

Ik lees hier in het topic verschillende meningen over iSCSI vs NFS. Mijn initiële idee was om van de 6x500GB SSD's een RAID volume te maken en daar de iSCSI LUN's op de plaatsen. Ik ben er nog niet helemaal uit welk type RAID ik wil gebruiken; voordeel van meer opslag met RAID5 maar lagere performance, of performance met RAID10 maar minder opslag. ik denk ongeveer 1.5TB aan storage voor VM's nodig te hebben, en dat zou ik met RAID10 net kunnen halen. Een laatste afweging zou RAID0 kunnen zijn, maar dan had ik beter snelle lokale storage kunnen kiezen wat eventueel altijd nog zou kunnen. (belangrijkste reden is dat er met RAID10 of RAID5 iets kapot mag gaan zonder dat ik met de backups aan de gang moet)

De snelheid van de huidige ESXi server is eigenlijk helemaal niet slecht, en dat draait op slechts 2 SSD's met 1GBit, dus ik denk er in snelheid al op voorruit te gaan met de nieuwe hardware.

Hamvraag aan de ervaringsdeskundigen: hoe zouden jullie de storage inrichten in mijn situatie?

  • FireDrunk
  • Registratie: november 2002
  • Laatst online: 19:45
Als je geen belangrijke data op de SSDs zet zou ik liever gewoon alle SSD's los publiceren aan je ESXi host, en dat ding de VM's laten verdelen over de SSDs.

Dan heb je per vm de performance van een SSD wat veel beter is dan alles op 1 datastore die onderwater weer RAID gebruikt. Je random write performance is dan in totaal veel hoger. (want geen RAID engine er tussen) en mocht er iets falen, vallen er dus maar (een) enkele VM(s) uit.

iSCSI is in mijn ervaring eigenlijk altijd sneller. Maar NFS is iets makkelijker in beheer. Voor een thuislab merk je het verschil in performance vaak amper, dus ik zou me er niet heel druk om maken. Vooral bij NFS worden sync writes slechter gequeued dan bij iSCSI, en zul je dus meer profijt hebben van meerdere Datastore's en je VM's verdelen.

Je kan bijvoorbeeld die 2*850 EVO wel in RAID doen voor je belangrijkste VM's die je altijd up wil hebben, en je 'speeltuin' VM's op de rest zetten.

Even niets...


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
Jammer dat je het nu pas post, ik zie 8500 euro aan apparatuur, ik denk dat je door dit anders in te zetten een beter eindresultaat had kunnen behalen, aan de andere kant, als de huidige oplossing prima was gaat dit natuurlijk ook prima zijn.

Voor wat je nu krijgt, waarom verplaats je de SSDs niet naar de server?

|sWORDs| wijzigde deze reactie 26-12-2018 11:41 (16%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • Jeroen V
  • Registratie: februari 2004
  • Laatst online: 20:26

Jeroen V

yadda yadda yadda

FireDrunk schreef op woensdag 26 december 2018 @ 11:22:
Je kan bijvoorbeeld die 2*850 EVO wel in RAID doen voor je belangrijkste VM's die je altijd up wil hebben, en je 'speeltuin' VM's op de rest zetten.
De 2*850 zijn nu de cache voor de 4x6TB en dat wil ik zo houden. Bij de oude server was dit al zo en dat is behoorlijk snel, zelfs voor iSCSI.

Jouw voorstel zou met name voor gelijktijdig gebruik van meerdere VM's zin hebben, dus ik vraag me af of dat voor mij echt voordeel zou zijn aangezien er voor een groot gedeelte van de tijd niet zoveel VM's actief zijn. Als ik dus de 6 nieuwe SSD's op die manier zou gebruiken dan levert me dat 2.5TB op, en dat komt op precies hetzelfde neer als RAID5 met de 6xSSD. De leesprestaties van een RAID5 set zijn echter weer een stuk beter dan een losse drive, dus dan vraag ik me af of dat echt een prestatievoordeel zou zijn. (afgezien van het feit dat ik voor een groot gedeelte redundantie zou inleveren)
|sWORDs| schreef op woensdag 26 december 2018 @ 11:39:
Jammer dat je het nu pas post, ik zie 8500 euro aan apparatuur, ik denk dat je door dit anders in te zetten een beter eindresultaat had kunnen behalen, aan de andere kant, als de huidige oplossing prima was gaat dit natuurlijk ook prima zijn.
Het zal er in ieder geval niet op achteruit gaan, ik denk dat deze configuratie voor mijn doeleinden niet slecht zal presteren. Overigens zou die Synology er toch zijn ongeacht wat voor ESXi server er zou staan omdat ik die ook voor andere doeleinden gebruik.
|sWORDs| schreef op woensdag 26 december 2018 @ 11:39:Voor wat je nu krijgt, waarom verplaats je de SSDs niet naar de server?
Ik zou 4 SSD's in de server kunnen plaatsen (er zitten 4 bays in) maar dan heb ik geen enkele vorm van redundantie, en dat is voor mij juist 1 van de voordelen van de NAS. Maar denk jij dat een enkele lokale SATA drive beter presteert dan een RAID10 of RAID5 set in de NAS in deze configuratie? (ik snap dat een NVMe drive sneller zal zijn dan iSCSI op de NAS, maar dat kan ik altijd nog doen.)

  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
Je latency is een stuk beter met lokale storage.

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • FireDrunk
  • Registratie: november 2002
  • Laatst online: 19:45
Lokale ssd storage is eigenlijk in alle gevallen merkbaar sneller.

Even niets...


  • Jeroen V
  • Registratie: februari 2004
  • Laatst online: 20:26

Jeroen V

yadda yadda yadda

Latency zal inderdaad hoger zijn, maar dan kan ik er beter een PCIe kaart in stoppen. (maar dat zal dan volgend jaar worden, ik denk dat mijn vriendin me onder het tapijt schuift als ik nu nog meer speelgoed wil aanschaffen :))

Wat is nu zo'n beetje de ultieme PCIe kaart? De nieuwe generatie Optanes zijn erg snel, maar ook behoorlijk duur...

  • FireDrunk
  • Registratie: november 2002
  • Laatst online: 19:45
Bang for buck? Denk een pro-sumer NVMe in een converter kaartje.

Even niets...


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
Jeroen V schreef op woensdag 26 december 2018 @ 15:57:
Latency zal inderdaad hoger zijn, maar dan kan ik er beter een PCIe kaart in stoppen. (maar dat zal dan volgend jaar worden, ik denk dat mijn vriendin me onder het tapijt schuift als ik nu nog meer speelgoed wil aanschaffen :))

Wat is nu zo'n beetje de ultieme PCIe kaart? De nieuwe generatie Optanes zijn erg snel, maar ook behoorlijk duur...
905P (perf), of een P3700(perf/size/price) van Ebay.





Zelf heb ik momenteel 3xP3700 1.6TB als capacity met een 480GB 900p als write cache (single node VSAN met compression/dedupe) en nog wat (3x 400GB, 1x 1.2TB) Intel 750’s als local storage. Backup naar 5x4TB spinning met twee 480GB SM843T’s als read/write cache op XPenology.

Zodra ik mijn EPYC machine stable met 6.7u1 heb ga ik de dual Xeon E5 Broadwell ook naar single EPYC ombouwen en een ROBO config maken met VSAN witness op mijn router (Protectli FW6C met 32GB). Ook wil ik de NVIDIA P40 en M60 vervangen door T4’s.

|sWORDs| wijzigde deze reactie 26-12-2018 16:35 (47%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • Jeroen V
  • Registratie: februari 2004
  • Laatst online: 20:26

Jeroen V

yadda yadda yadda

|sWORDs| schreef op woensdag 26 december 2018 @ 16:10:
[...]

905P (perf), of een P3700(perf/size/price) van Ebay.

[Afbeelding]

[Afbeelding]

Zelf heb ik momenteel 3xP3700 1.6TB als capacity met een 480GB 900p als write cache (single node VSAN met compression/dedupe) en nog wat (3x 400GB, 1x 1.2TB) Intel 750’s als local storage. Backup naar 5x4TB spinning met twee 480GB SM843T’s als read/write cache op XPenology.

Zodra ik mijn EPYC machine stable met 6.7u1 heb ga ik de Intel ook naar EPYC ombouwen en een ROBO config maken met VSAN witness op mijn router.
Enorm mooi spul, maar daar hangt wel een prijskaartje aan.... Ik ga in ieder geval eens nadenken over een 905P (maar eerst eens testen als ik de resterende spullen binnen heb of ik het de moeite waard zal vinden)

  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
Jeroen V schreef op woensdag 26 december 2018 @ 16:37:
[...]

Enorm mooi spul, maar daar hangt wel een prijskaartje aan.... Ik ga in ieder geval eens nadenken over een 905P (maar eerst eens testen als ik de resterende spullen binnen heb of ik het de moeite waard zal vinden)
Het valt nog wel mee, die 1.6TB P3700’s hengel ik voor 500 euro van Ebay met 95%+ writes beschikbaar of voor 600 (normaal 2500) zelfs nieuw in doos.

|sWORDs| wijzigde deze reactie 26-12-2018 17:04 (7%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • zeroday
  • Registratie: mei 2007
  • Laatst online: 20-04 07:57

zeroday

Dream within a dream

na heel lang twijfelen vandaag besloten om mijn 6.5 naar 6.7u1 te brengen .. op mjn HP Microserver Gen8
na veel geklooi op 6.5 waarbij HDDs niet meer herkend werden ivm AHCI etc. toch maar besloten om naar 6.7 te gaan want tsja, je wilt toch van de laatste 'features' gebruik kunnen blijven maken..

een van de grootste struikelblokken is elke keer dat er gemeld wordt dat er te weinig storage space is op het device. Via via via een website zag ik een melding dat je dan de swap op je datastore moet aanzetten. Die stond aan, maar niet op die datastore. Dat gedaan en waarempel ..


de upgrade van 6.5 naar 6.7U1 ging verbazing wekkend snel, toen de swap aan stond, de upgrade naar de laatste patches wat minder snel omdat ik een verkeerde upgrade commando had, maar toen ik die ook te pakken had ..

finally .. here is .. (Updated) ESXi-6.7.0-20181104001-standard (Hewlett-Packard)

geen idee wat ik nu op de gratis versie verbeterd moet zien .. maar ik ben geupgraded .. ;)

zeroday wijzigde deze reactie 26-12-2018 18:51 (19%)
Reden: fouten der tik

USG, 2x Unifi AP-LR, 1x Unifi Pro, 4x HP Microserver Gen8 (1x Vmware) 3x OpenMediavault. (en nog veel meer andere meuk)


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
Even een paar dagen flink bezig geweest met het EPYC systeem.

107 Watt idle power usage met power savings=Max Performance (All Core Turbo enabled, dus 24x2800 MHz).

Gigabyte heeft in versie 1.7x van de BMC de fan threshold statisch gemaakt (1200 Non Critical Warning, 900 Critical Warning). Gelukkig heeft mijn case een fan controller, dus alles daaraan gehangen en een fan curve van 90-100% gemaakt, zo draait de CPU fan op 1215-1350RPM en die geeft de feedback, de andere fans draaien dan op 750-900RPM. 35dB op 90% en 37dB op 100% (op 30cm gemeten), lage woosh, dus geen high pitch.

Om aan Gigabyte aan te tonen dat er met de hardware en cooling niets mis is (68 uur aan memtest en 12 uur Prime met large FFT):



|sWORDs| wijzigde deze reactie 27-12-2018 11:17 (4%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


Acties:
  • 0Henk 'm!
  • Pinned

  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
HyperBart schreef op zondag 9 december 2018 @ 20:31:
@|sWORDs| in augustus had je een Epyc machine draaiende, wat is de state of the union mbt SMT en vooral passthrough?

Ik zit namelijk met een specifieke use case waarbij meer dan gemiddeld PCIe lanes en sloten nodig zijn (48 lanes netto). Naar dual-CPU gaan is omwille van stroomverbruik en kost de last resort...
Stabiliteitsproblemen met U1 zijn weg na een herinstallatie.

Resterende punten:
  • PCIe Bifurcation werkt niet (staat ook nergens dat mijn bord het support, maar nu heeft elke NVMe drive dus een slot nodig).
  • Onboard SATA passthrough werkt niet (waarschijnlijk opgelost in de volgende AGESA, losse LSI controller doorgeven werkt wel).
  • Fan thresholds zijn niet aan te passen (Gigabyte heeft dit in de laatste BMC firmwares verwijderd, alle fans die 1200RPM of minder draaien heb ik maar aan een fan controller gehangen).
Al met al werkt alles nu prima, echter met de combinatie van bovenstaande en de werkelijk bedroevende support zou ik niemand een B2B bord/server van Gigabyte aanbevelen.

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • Jeroen V
  • Registratie: februari 2004
  • Laatst online: 20:26

Jeroen V

yadda yadda yadda

Waarom wil je eigenlijk overstappen naar het EPYC systeem? Gewoon omdat het kan?

  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
Jeroen V schreef op zaterdag 29 december 2018 @ 18:10:
Waarom wil je eigenlijk overstappen naar het EPYC systeem? Gewoon omdat het kan?
Omdat er bij Intel niets meer van de performance over is. Spectre + Meltdown + L1TF is 18-66% performance hit, afhankelijk van CPU, workload en guest OS. In mijn geval hebben we het over zo'n 50%. Daarbij is de IPC van EPYC en Broadwell ongeveer gelijk en is ook de frequency nog eens 12% hoger en de prijs 50% lager.

In theorie dus een 4.55x betere keuze, maar dan moet het wel werken. ;)

|sWORDs| wijzigde deze reactie 29-12-2018 19:58 (39%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • Wim-Bart
  • Registratie: mei 2004
  • Laatst online: 15:56

Wim-Bart

Zie signature voor een baan.

Ik heb mijn Hyper-V server uit gefaseerd en de boel verplaatst naar mijn i5-4590T/16GB/Dual NiC/250GB SSD. So far so good. De onderliggende storage is NFS op een Synology DS418play (4GB) met 4 disks. Voor storage is een dedicated NIC met 2e NIC als redundant NIC, VM network is anders om, 2e NIC primair 1e als fail over. Performance is zoals verwacht.

Keuze voor NFS is de snelheid, bij NFS heb ik 2,3x zo hoge doorvoer bij schrijven en 1,4x zo hoge snelheid met lezen als iSCSI NFS = 96% van theoretische snelheid Gigabit).

Op zich allemaal netjes. Alleen nu de issues.

Sinds ik BIOS update van mijn i5 heb uitgevoerd en ESX 6.5 op laatste patch level heb gebracht is alles opeens een stuk trager en met name de VMs die op lokale SSD staan. Overigens zijn het Windows 2016 en Windows 1809 servers. Hoe kan ik dit oplossen?

Daarnaast heb ik vreselijk veel issues met de management web interface van de ESX server, het is gewoonweg onwerkbaar. Zodra ik een machine geedit heb moet ik refresh doen van de site anders werkt er niks normaal meer als ik andere machine wil bewerken. Iemand een idee? Overigens in chrome geeft ie een melding dat er iets foutbis gegaan en zit ie in een loop waar je niet uit komt. Alleen FF en Edge werken nog redelijk goed.

Daarnaast, hoe krijg ik een Ubuntu 18.04/18.10 machine goed aan de praat op ESX 6.5. Ze bevriezen steeds na enkele minuten.

Beheerders, Consultants, Servicedesk medewerkers. We zoeken het allemaal. Stuur mij een PM voor meer info of kijk hier De mooiste ICT'er van Nederland.


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
NFS -> Wat vreemd, heb je niet per ongeluk iSCSI vanuit een file getest ipv block-level?

ESXi 6.5 -> Waarom geen 6.7U1?

Host client -> Welke build van ESXi?

Waarschijnlijk heb je nu 1.27.2, update die eens naar 1.32: https://labs.vmware.com/f...ded-host-client#changelog

|sWORDs| wijzigde deze reactie 29-12-2018 20:59 (39%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

Ik zit te kijken of ik van mijn huidige ESXi ZFS server niet een archief server kan maken gezien het verbruik van dat ding. Mijn totale sluipverbruik is nu zo'n 200W en dat vind ik dus te hoog. Dat is niet alleen de NAS, maar wel voor een aanzienlijk deel. Nu zag ik deze machientjes staan: QOTOM 335G4 met 4x Intel NIC en een Intel i3 5005U. Die processor ondersteund VT-d. Verbruik moet tussen de 10 à 15w liggen.

Als ik naar het moederbord en de specificaties, dan heeft dat ding een SATA poort, mini-pcie en een m-sata poort. Daar zou dus theoretisch een SSD in kunnen voor de ESXi data opslag en een mini-pcie naar dual sata in passthrough voor een ZFS mirror. Het probleem is echter dat er nog wat vaag wordt gedaan over de 2 aanvullende m-sata en mini-pcie express poorten.

De enige hint die ik heb gevonden dat het daadwerkelijk om een volwaardige mini-pcie poort gaat is dat de wifi bundel wordt geleverd met de Ahteros AR9287 wat een wifi kaartje is die gebruikt maakt van de pcie interface.

Wat denken jullie? Zou dit een mooi systeempje zijn voor een zuinige zelfbouw ESXi router.

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • Wim-Bart
  • Registratie: mei 2004
  • Laatst online: 15:56

Wim-Bart

Zie signature voor een baan.

|sWORDs| schreef op zaterdag 29 december 2018 @ 20:48:
NFS -> Wat vreemd, heb je niet per ongeluk iSCSI vanuit een file getest ipv block-level?

ESXi 6.5 -> Waarom geen 6.7U1?

Host client -> Welke build van ESXi?

Waarschijnlijk heb je nu 1.27.2, update die eens naar 1.32: https://labs.vmware.com/f...ded-host-client#changelog
Issues zijn opgelost, ik heb een behoorlijke fout gemaakt bij updaten van VMware en dus een upgrade gedaan naar ESXi-6.5.0-20171204001-standard in plaats van ESXi-6.5.0-20181104001-standard, ik werd getriggerd door de 4001 aan het einde en keek niet eens verder.

De interface is nu stabiel op alle versies en Ubuntu werkt dus als een zonnetje nu. Overigens is NFS nog vele malen sneller dan iSCSI op mijn DS418play (nu met 8GB). Nu merk ik sowieso dat NFS over het algemeen sneller is onder VMware, ook als je er bijvoorbeeld een NetApp onder hangt. Maar tja, blijf een liefhebber van Fibre Channel, daar kan zelfs 10Gbps Ethernet iSCSI niet tegenop, maar dat is een ander verhaal.

Nu zit ik met het volgende:
Server is een kleine barebone (Dell OptiPlex 9020 Micro i5 4590T 8GB RAM 128GB SSD)
1 x Intel(R) Core(TM) i5-4590T CPU @ 2.00GHz (4 core)
2 x 8GB DDR3 SODIMM
1 x Netwerk adapter
1 x USB3 Netwerk Adapter (r8151 + vghetto-ax88179-esxi65) - handmatig geinstalleerd.

Omdat de USB3 adapter niet zo snel is als de Interne Intel Ethernet (ongeveer 20kbps trager) heb ik de volgende netwerk configuratie:

VM's -> LAN (portgroup) -> vSwitch0 -> (vmnic32) r8151 actief., (vmnic0) intel standby
vmk0 -> Management network (portgroup) -> vSwitch0 -> (vmnic0) intel actief, (vmnic32) r8151 standby.

So far so good, ben al bezig geweest met kabeltjes trekken en failover gaat top. Ik daai de volgende VM's:
Op de lokale SSD: Windows Server 1803 (DNS+AD+DHCP), Pi-hole (Ubuntu Server).
Op NFS: Windows Server 2016 (DNS+AD), Exchange 2016.

Uitdaging:
Nu mijn issue. Op Hyper-V draaide ik gewoon Windows Server Backup en die maakte backup naar een Externe USB disk van Hyper-V.. Niks moeilijks aan.

Vraag:
Hoe krijg ik dit voor elkaar met VMware zonder een VM te moeten optuigen met SQL en dergelijke en niet in iedere VM een losse backup client?

Ik heb gekeken naar Veeam omdat ik daar zelf zeer gecharmeerd van ben, maar dat gaat het doel helemaal voorbij volgens mij.

Beheerders, Consultants, Servicedesk medewerkers. We zoeken het allemaal. Stuur mij een PM voor meer info of kijk hier De mooiste ICT'er van Nederland.


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
iSCSI is de snelste van de twee, dus of je doet file-based iSCSI (heel slecht idee, dan is NFS zeker beter) of er is iets mis met de Synology implementatie.

|sWORDs| wijzigde deze reactie 06-01-2019 01:57 (15%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • Wim-Bart
  • Registratie: mei 2004
  • Laatst online: 15:56

Wim-Bart

Zie signature voor een baan.

|sWORDs| schreef op zondag 6 januari 2019 @ 01:56:
iSCSI is de snelste van de twee, dus of je doet file-based iSCSI (heel slecht idee, dan is NFS zeker beter) of er is iets mis met de Synology implementatie.
iSCSI 87MB/s lezen, 47MB/s schrijven
NFS 107MB/s lezen, 91MB/s schrijven

MB = MegaByte

Interface utiilization op Synology by lezen:
iSCSI 100%
NFS 100%

Framesize: 9000 (Jumboframes)

Theoretische snelheid 4x WD Red 2TB:
Read: 588 MB/s
Write: 147 MB/s
Combined (50%): 235MB/s

ISO kopieeren:
Naar PC -> Synology: 97MB/s
Vanaf Synology -> PC: 112MB/s

Dus SAMBA en NFS werken snel en iSCSI langzaam (Overigens, iSCSI implementatie op Synology is al jaren brak).

Wim-Bart wijzigde deze reactie 06-01-2019 02:22 (4%)

Beheerders, Consultants, Servicedesk medewerkers. We zoeken het allemaal. Stuur mij een PM voor meer info of kijk hier De mooiste ICT'er van Nederland.


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
Wim-Bart schreef op zondag 6 januari 2019 @ 02:21:
[...]

iSCSI 87MB/s lezen, 47MB/s schrijven
NFS 107MB/s lezen, 91MB/s schrijven

MB = MegaByte

Interface utiilization op Synology by lezen:
iSCSI 100%
NFS 100%

Framesize: 9000 (Jumboframes)

Theoretische snelheid 4x WD Red 2TB:
Read: 588 MB/s
Write: 147 MB/s
Combined (50%): 235MB/s

ISO kopieeren:
Naar PC -> Synology: 97MB/s
Vanaf Synology -> PC: 112MB/s

Dus SAMBA en NFS werken snel en iSCSI langzaam (Overigens, iSCSI implementatie op Synology is al jaren brak).
Maar test je file-based of block based?
Kies een LUN-type:
Met Bestandsniveau iSCSI kunnen Targets op bestaande opslagvolumes worden gemaakt zodat opslaggegevens tussen twee opslagsystemen kunnen worden gedeeld. Deze tutorial beschrijft het maken van een iSCSI op bestandsniveau.
Blokniveau iSCSI biedt snellere prestaties, maar gebruikt het volledige opslagvolume. Het gebruik van die wizard vereist extra stappen om een Target te maken, in vergelijking met een iSCSI op bestandsniveau, en is vergelijkbaar met het maken van een RAID-volume op het Synology NAS.
File based is drama, zeker op BTRFS.
File based heeft een extra filesystem en conversie van blocks naar een file.

Als iSCSI brak is op Synology kan NFS zeker een betere keuze zijn. Dit is op sommige ‘Pro’ systemen ook zo, maar die doen vrijwel allemaal file based iSCSI wat natuurlijk geen iSCSI is. Dat ligt niet aan iSCSI, maar aan de implementatie.

|sWORDs| wijzigde deze reactie 06-01-2019 02:36 (41%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • Wim-Bart
  • Registratie: mei 2004
  • Laatst online: 15:56

Wim-Bart

Zie signature voor een baan.

|sWORDs| schreef op zondag 6 januari 2019 @ 02:28:
[...]

Maar test je file-based of block based?


[...]

File based is drama, zeker op BTRFS.
File based heeft een extra filesystem en conversie van blocks naar een file.
File based, maar ik ga eens kijken of ik bestaande volume kan verkleinen en er een block bases iSCSI lun kan maken.

Update: Helaas niet mogelijk, kan niet zonder data verlies de boel omzetten.

Wim-Bart wijzigde deze reactie 06-01-2019 02:40 (8%)

Beheerders, Consultants, Servicedesk medewerkers. We zoeken het allemaal. Stuur mij een PM voor meer info of kijk hier De mooiste ICT'er van Nederland.


  • wian
  • Registratie: september 2005
  • Niet online
@CurlyMo ; ik kan je vraag niet beantwoorden, maar ik ook gekeken naar een Qotom voor ESXi en toch besloten om voor een mini-STX oplossing te gaan (gebaseerd op een Asus H110S2 mobo).

Redenen:
- Qotom doosjes worden al behoorlijk warm bij gebruik als dedicated pfSense firewall met lage load. Bij ESXi met een paar VMs zul je waarschijnlijk al snel met hitte problemen te maken krijgen.
- Nauwelijks ervaringen te vinden met ESXi. Qotoms hebben exotische mobo'tjes en als je ook nog een exotisch 2xSATA adaptertje gaat gebruiken heb je nog meer kans op compatibiliteitsproblemen.
- Ik had maar 2 NICs nodig.

Er zijn veel verschillende mini-STX behuizingen, ook passief gekoelde.

  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

@Wlan het doel is niet klein en goedkoop, maar vooral zuinig.
wian schreef op zondag 6 januari 2019 @ 09:11:
- Nauwelijks ervaringen te vinden met ESXi. Qotoms hebben exotische mobo'tjes en als je ook nog een exotisch 2xSATA adaptertje gaat gebruiken heb je nog meer kans op compatibiliteitsproblemen.
Wat zou hier het probleem zijn? PCIe is toch gewoon PCIe? Als dat ding herkent wordt is het toch voldoende. Hij hoeft er niet van op te starten en in passthrough is het het probleem van de cliënt.

CurlyMo wijzigde deze reactie 06-01-2019 11:00 (80%)

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • wian
  • Registratie: september 2005
  • Niet online
Nogmaals, ik heb er zelf geen ervaring mee. Misschien werkt het gewoon. Ik hoor het graag :)

  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

Ik probeer het eerst gedegen theoretisch te benaderen :)

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
CurlyMo schreef op zondag 6 januari 2019 @ 09:29:
@Wlan het doel is niet klein en goedkoop, maar vooral zuinig.


[...]

Wat zou hier het probleem zijn? PCIe is toch gewoon PCIe? Als dat ding herkent wordt is het toch voldoende. Hij hoeft er niet van op te starten en in passthrough is het het probleem van de cliënt.
Passthrough is eerst het probleem van de BIOS en daarna van de reset mode van je PCIe device, daarna van de hypervisor en pas daarna van je guest OS. Er kan dus voldoende misgaan voor je hem überhaupt in passthrough krijgt.

Over BIOS gesproken dit is natuurlijk sowieso een risico met bordjes uit China, boot ESXi wel?

Dan is er nog het probleem van de CPU, dit is een Broadwell (September 2014) CPU, slechts een dual core 2GHz met HT, zonder Turbo. Met L1TF/Spectre/Meltdown hou je wel heel weinig performance over, zou je niet beter een generatie kunnen wachten en dan voor de opvolger van de i5-8250U of i5-8259U kunnen gaan?

Dat gezegd hebbende, ik draai ook pfSense onder ESXi op een systeem uit China met 6 Intel NICs (eentje in passthrough) en een Kaby Lake i3. Werkt prima, maar geen SATA controller in passthrough getest:



|sWORDs| wijzigde deze reactie 06-01-2019 13:12 (16%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

|sWORDs| schreef op zondag 6 januari 2019 @ 13:04:
[...]
Over BIOS gesproken dit is natuurlijk sowieso een risico met bordjes uit China, boot ESXi wel?
Verschillende bronnen zeggen van wel.
Dan is er nog het probleem van de CPU, dit is een Broadwell (September 2014) CPU, slechts een dual core 2GHz met HT, zonder Turbo. Met L1TF/Spectre/Meltdown hou je wel heel weinig performance over, zou je niet beter een generatie kunnen wachten en dan voor de opvolger van de i5-8250U of i5-8259U kunnen gaan?
Je hebt toch alleen last van die CPU bugs als het OS ze daadwerkelijk oplost. Is dat zo in ESXi of is dat optioneel?
Dat gezegd hebbende, ik draai ook pfSense onder ESXi op een systeem uit China met 6 Intel NICs en een Kaby Lake i3. Werkt prima, maar geen passthrough getest.
Welke machine is dat?

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
CurlyMo schreef op zondag 6 januari 2019 @ 13:11:
[...]

Verschillende bronnen zeggen van wel.


[...]

Je hebt toch alleen last van die CPU bugs als het OS ze daadwerkelijk oplost. Is dat zo in ESXi of is dat optioneel?


[...]
Je kunt Spectre/Meltdown fixes in je guest OS uitzetten (of maskeren vanuit de hypervisor) en L1TF mitigation in ESXi uitzetten.
https://protectli.com/product/fw6b/ maar dit is een rebrand van een systeem uit China. Op Ali zie je ze goedkoper, voorbeeld:
http://nl.aliexpress.com/...am-linux/32824971010.html

|sWORDs| wijzigde deze reactie 06-01-2019 13:20 (18%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


Acties:
  • +1Henk 'm!

  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

|sWORDs| schreef op zondag 6 januari 2019 @ 13:04:
[...]

Passthrough is eerst het probleem van de BIOS en daarna van de reset mode van je PCIe device, daarna van de hypervisor en pas daarna van je guest OS. Er kan dus voldoende misgaan voor je hem überhaupt in passthrough krijgt.
Hier wordt bevestigd dat PCI passthrough moet werken met Proxmox VE, dan zou dat voor ESXi toch ook geen probleem moeten zijn toch?
https://fuzzyitlogic.com/tag/pci-passthrough/

Is er dan nog een reden waarom een willekeurig mini-pcie naar sata kaartje niet zou werken?

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
CurlyMo schreef op zondag 6 januari 2019 @ 13:23:
[...]

Hier wordt bevestigd dat PCI passthrough moet werken met Proxmox VE, dan zou dat voor ESXi toch ook geen probleem moeten zijn toch?
https://fuzzyitlogic.com/tag/pci-passthrough/

Is er dan nog een reden waarom een willekeurig mini-pcie naar sata kaartje niet zou werken?
De reset mode van dat kaartje.

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

|sWORDs| schreef op zondag 6 januari 2019 @ 13:24:
[...]

De reset mode van dat kaartje.
Ik gebruik hem reeds in mijn huidige ESXi ZFS NAS.

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
CurlyMo schreef op zondag 6 januari 2019 @ 13:25:
[...]

Ik gebruik hem reeds in mijn huidige ESXi ZFS NAS.
Dan lijkt het wel te gaan werken.

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

|sWORDs| schreef op zondag 6 januari 2019 @ 13:27:
[...]

Dan lijkt het wel te gaan werken.
Dit is overigens de machine met de i3-7100U voor € 220,- incl. verzending.
https://nl.aliexpress.com...ual-core/32947842226.html

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
CurlyMo schreef op zondag 6 januari 2019 @ 13:30:
[...]

Dit is overigens de machine met de i3-7100U voor € 220,- incl. verzending.
https://nl.aliexpress.com...ual-core/32947842226.html
Daarom stond er ook voorbeeld, ik had geen zin te blijven klikken om de goedkoopste te vinden. :)

En zoals je in mijn screenshot kunt zien heb ik L1TF mitigation uit staan op dat systeem. Er is al vrij weinig power dus HT kan ik daar wel gebruiken.

Vraag me wel af of Dual Core 2GHz Broadwell voldoende is om echt iets mee te doen, de Protectli is 2.4GHz en Kaby Lake.

|sWORDs| wijzigde deze reactie 06-01-2019 13:39 (23%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

|sWORDs| schreef op zondag 6 januari 2019 @ 13:35:
[...]

Daarom stond er ook voorbeeld, ik had geen zin te blijven klikken om de goedkoopste te vinden. :)

En zoals je in mijn screenshot kunt zien heb ik L1TF mitigation uit staan op dat systeem.
Simpelste optie is overigens gewoon de USB3.0 poorten te gebruiken voor 2 externe SSD's of HDD's. Voor de snelheid hoef ik het niet te laten. Enige vraag is of de USB2.0 en de USB3.0 apart door te geven zijn.

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
CurlyMo schreef op zondag 6 januari 2019 @ 13:38:
[...]

Simpelste optie is overigens gewoon de USB3.0 poorten te gebruiken voor 2 externe SSD's of HDD's. Voor de snelheid hoef ik het niet te laten. Enige vraag is of de USB2.0 en de USB3.0 apart door te geven zijn.

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 lspci
0000:00:00.0 Bridge: Intel Corporation Xeon E3-1200 v6/7th Gen Core Processor Host Bridge/DRAM Registers 
0000:00:02.0 Display controller: Intel Corporation HD Graphics 620 
0000:00:14.0 Serial bus controller: Intel Corporation Sunrise Point-LP USB 3.0 xHCI Controller 
0000:00:16.0 Communication controller: Intel Corporation Sunrise Point-LP CSME HECI #1 
0000:00:17.0 Mass storage controller: Intel Corporation Sunrise Point-LP AHCI Controller [vmhba0]
0000:00:1c.0 Bridge: Intel Corporation Sunrise Point-LP PCI Express Root Port #1 [PCIe RP[0000:00:1c.0]]
0000:00:1c.1 Bridge:   [PCIe RP[0000:00:1c.1]]
0000:00:1c.2 Bridge: Intel Corporation Sunrise Point-LP PCI Express Root Port #3 [PCIe RP[0000:00:1c.2]]
0000:00:1c.3 Bridge:   [PCIe RP[0000:00:1c.3]]
0000:00:1c.4 Bridge: Intel Corporation Sunrise Point-LP PCI Express Root Port #5 [PCIe RP[0000:00:1c.4]]
0000:00:1c.5 Bridge: Intel Corporation Sunrise Point-LP PCI Express Root Port #6 [PCIe RP[0000:00:1c.5]]
0000:00:1f.0 Bridge: Intel Corporation Intel(R) 100 Series Chipset Family LPC Controller/eSPI Controller - 9D4E 
0000:00:1f.2 Memory controller: Intel Corporation Sunrise Point-LP PMC 
0000:00:1f.4 Serial bus controller: Intel Corporation Sunrise Point-LP SMBus 
0000:01:00.0 Network controller: Intel Corporation 82583V Gigabit Network Connection [vmnic0]
0000:02:00.0 Network controller: Intel Corporation 82583V Gigabit Network Connection [vmnic1]
0000:03:00.0 Network controller: Intel Corporation 82583V Gigabit Network Connection [vmnic2]
0000:04:00.0 Network controller: Intel Corporation 82583V Gigabit Network Connection [vmnic3]
0000:05:00.0 Network controller: Intel Corporation 82583V Gigabit Network Connection [vmnic4]
0000:06:00.0 Network controller: Intel Corporation 82583V Gigabit Network Connection [vmnic5]


Ik zie geen 2.0 controller en er staat ook niets over in de spec sheet, alleen:
4x 3.0 USB

Of had je het over de Qotom? De oudere chipsets hadden volgens mij een xHCI en eHCI controller.
Een ander iets wat ik zie: 1 x DDR3L SO-DIMM Socket (Up to 8G, 1333/1600MHz)

Heb je voldoende aan 8GB? Bedenk dat daar van alles af gaat wat je niet voor je guest OS kan gebruiken, denk dat je iets van 4-4.5GB voor guest OS hebt.

|sWORDs| wijzigde deze reactie 06-01-2019 14:03 (7%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

|sWORDs| schreef op zondag 6 januari 2019 @ 13:40:
[...]
Of had je het over de Qotom? De oudere chipsets hadden volgens mij een xHCI en eHCI controller.
Dan zou dat dus moeten kunnen.
Een ander iets wat ik zie: 1 x DDR3L SO-DIMM Socket (Up to 8G, 1333/1600MHz)
Ik lees:
1 x DDR4 SO-DIMM Slot (tot 16g, 2133 mhz)
Heb je voldoende aan 8GB? Bedenk dat daar van alles af gaat wat je niet voor je guest OS kan gebruiken.
16GB is wel een eis.

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
CurlyMo schreef op zondag 6 januari 2019 @ 14:02:
[...]

Dan zou dat dus moeten kunnen.


[...]


Ik lees:

[...]


[...]

16GB is wel een eis.
Alles wat ik zie met Q355G4 is DDR3L met max 8GB.

Sterker nog, de CPU kan alleen maar DDR3L met 8GB per channel:

Memory Specifications
Max Memory Size (dependent on memory type)
16 GB
Memory Types
DDR3L 1333/1600 LPDDR 1333 /1600
Max # of Memory Channels
2
Max Memory Bandwidth
25.6 GB/s

|sWORDs| wijzigde deze reactie 06-01-2019 14:11 (32%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

|sWORDs| schreef op zondag 6 januari 2019 @ 14:07:
[...]

Alles wat ik zie met Q355G4 is DDR3L met max 8GB.
Ik linkte later (na jouw tip) bewust naar de Q535G6

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
CurlyMo schreef op zondag 6 januari 2019 @ 14:08:
[...]

Ik linkte later (na jouw tip) bewust naar de Q535G6
Heb ik niet gezien en zelfs na alles terug te lezen zie ik het niet staan. Wel een beter idee, DDR4, Kaby Lake en 2.4GHz.

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

|sWORDs| schreef op zondag 6 januari 2019 @ 14:15:
[...]

Heb ik niet gezien en zelfs na alles terug te lezen zie ik het niet staan. Wel een beter idee, DDR4, Kaby Lake en 2.4GHz.
Deze reactie:
CurlyMo schreef op zondag 6 januari 2019 @ 13:30:
[...]

Dit is overigens de machine met de i3-7100U voor € 220,- incl. verzending.
https://nl.aliexpress.com...ual-core/32947842226.html

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
Lol, ik dacht dat we het daar nog over de Protectli basis hadden.

Met 16GB en twee VM's met twee vCPU's, min free:
4096MB * 0,94 = 3850,24MB
(12288MB - 4096MB) * 0,96 = 7864,32MB
(16384MB - 12288 - 82MB IGP) * 0,98 = 3933,72MB

Sub totaal 15648,28MB - 2048 voor ESXi = 13600,28MB

Dan heb je nog twee VM's (36MB) 4 vCPU's (12,8MB), twee keer VRAM (16MB), subtotaal 13519,49MB = 13.2GB.

Dan heb je nog de memory overhead (13.2*5.4=71,28MB), totaal is 13448,21MB of te wel zo'n 13GB beschikbaar voor guest operating systems. Een 2GB pfSense en 8GB FreeNAS moet je kunnen draaien zonder host memory warnings.

|sWORDs| wijzigde deze reactie 06-01-2019 15:07 (61%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • wian
  • Registratie: september 2005
  • Niet online
@|sWORDs| Protectli lijkt ook een leuk doosje. Hoe zit het met de warmte ontwikkeling met dat ding? Kun je hem zonder problemen in een meterkast zetten en belasten of moet je met ventilatoren werken?

  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
wian schreef op maandag 7 januari 2019 @ 10:39:
@|sWORDs| Protectli lijkt ook een leuk doosje. Hoe zit het met de warmte ontwikkeling met dat ding? Kun je hem zonder problemen in een meterkast zetten en belasten of moet je met ventilatoren werken?
Gaat hier prima (zit in mijn smalle meterkast) met pfSense/wat witness VM's. Maar echte load staat er bijna nooit op.

|sWORDs| wijzigde deze reactie 07-01-2019 14:05 (3%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

|sWORDs| schreef op zondag 6 januari 2019 @ 14:17:
[...]
Een 2GB pfSense en 8GB FreeNAS moet je kunnen draaien zonder host memory warnings.
Het doel zou zijn om de volgende VM's te verplaatsen naar de nieuwe doos:
- pihole
- download server
- database server
- pfsense + vpn server

Dan kan de grote NAS 's nachts uit wanneer wij niet thuis zijn.

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • wian
  • Registratie: september 2005
  • Niet online
Tip: je kunt nu ook pihole functionaliteit implementeren op pfSense met pfBlockerNG. Scheelt weer een VM die je moet onderhouden. Je hebt nu nog het “pfBlockerNG-devel” package nodig, maar werkt gewoon stabiel.

  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
CurlyMo schreef op maandag 7 januari 2019 @ 12:11:
[...]

Het doel zou zijn om de volgende VM's te verplaatsen naar de nieuwe doos:
- pihole
- download server
- database server
- pfsense + vpn server

Dan kan de grote NAS 's nachts uit wanneer wij niet thuis zijn.
  1. Wat voor database (OS+DB+doel)/download(OS+type downloads zoals newsgroups) server?
  2. Wat gaat pfSense doen (ook SNORT of Suricata, wat voor VPN, WAN bandbreedte)?
  3. Waar zit je zelf aan te denken qua vCPU en vMEM, of heb je wat average en peak stats van de huidige VM's?
Ik zie glasvezel staan in een ander topic, KPN whole sale met IPTV en PPPoE? Alleen PPPoE en NAT met 500Mbit traffic is 28% van de CPU (49% peak), met VPN en IDS komt daar nog flink wat bij, als je download uit nieuwsgroepen kan zo'n download server ook flink resources trekken. Hoeft geen probleem te zijn, als ie 's nacht alleen wat aan het downloaden is dan maakt het natuurlijk niet uit als het wat langzamer gaat.

|sWORDs| wijzigde deze reactie 07-01-2019 14:22 (37%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • timmerdanny
  • Registratie: september 2015
  • Laatst online: 10-04 21:57
Heeft iemand hier verstand van de netwerkadapter PVRDMA? Recentelijk heb ik al mijn VM's gemigreerd naar vmxnet3 adapters. Bij de keuze van een adapter staat er ook PVRDMA tussen. Ik heb een 10Gb NIC in mijn server zitten die RDMA ondersteund, moet dit nog ingeschakeld worden per VM?

ZZP Systeembeheerder bij Danteck | LinkedIn


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
timmerdanny schreef op maandag 7 januari 2019 @ 14:41:
Heeft iemand hier verstand van de netwerkadapter PVRDMA? Recentelijk heb ik al mijn VM's gemigreerd naar vmxnet3 adapters. Bij de keuze van een adapter staat er ook PVRDMA tussen. Ik heb een 10Gb NIC in mijn server zitten die RDMA ondersteund, moet dit nog ingeschakeld worden per VM?
Gebruik je Linux guests? Heb je meerdere hosts? Gebruik je distributed switches? Gebruik je geen teaming? Heb je Priority Flow Control op je switches?

Je moet een VMkernel inschakelen voor PVRDMA en het toestaan in de firewall.
Dan moet je op een HW-lever 13 of hoger VM met 64 bit linux de PVRDMA adapter toevoegen en het al het geheugen reserveren.

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

|sWORDs| schreef op maandag 7 januari 2019 @ 13:55:
[...]
• Wat voor database (OS+DB+doel)/download(OS+type downloads zoals newsgroups) server?
FreeBSD + PostgreSQL + IoT meetgegevens sensoren. Inserts stellen niks voor. Analyze queries zijn vrij complex, maar alleen nodig als ik zelf inzicht wil.
• Wat gaat pfSense doen (ook SNORT of Suricata, wat voor VPN, WAN bandbreedte)?
Simpele NAT routing, naar nu ik hoor ook DNS spam blokker. OpenVPN. WAN 500/500 glasvezel (voor nu). Echter, pfSense stond niet eens in de planning. Maar is meer een "omdat-het-kan". Ik weet overigens nog niet eens wat SNORT of Suricata is :p
• Waar zit je zelf aan te denken qua vCPU en vMEM, of heb je wat average en peak stats van de huidige VM's?
Het maakt niet gek veel uit als dingen wat langzamer lopen. Zuinigheid vind ik belangrijker. Als pfSense te zwaar is, dan houdt ik het bij een aparte router. Of ik knutsel een OpenWRT achtige VM in elkaar.
Ik zie glasvezel staan in een ander topic, KPN whole sale met IPTV en PPPoE? Alleen PPPoE en NAT met 500Mbit traffic is 28% van de CPU (49% peak), met VPN en IDS komt daar nog flink wat bij, als je download uit nieuwsgroepen kan zo'n download server ook flink resources trekken. Hoeft geen probleem te zijn, als ie 's nacht alleen wat aan het downloaden is dan maakt het natuurlijk niet uit als het wat langzamer gaat.
Klopt, downloaden mag 's nachts en hoeft niet snel te zijn.

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
CurlyMo schreef op maandag 7 januari 2019 @ 15:15:
[...]

FreeBSD + PostgreSQL + IoT meetgegevens sensoren. Inserts stellen niks voor. Analyze queries zijn vrij complex, maar alleen nodig als ik zelf inzicht wil.


[...]

Simpele NAT routing, naar nu ik hoor ook DNS spam blokker. OpenVPN. WAN 500/500 glasvezel (voor nu). Echter, pfSense stond niet eens in de planning. Maar is meer een "omdat-het-kan". Ik weet overigens nog niet eens wat SNORT of Suricata is :p


[...]

Het maakt niet gek veel uit als dingen wat langzamer lopen. Zuinigheid vind ik belangrijker. Als pfSense te zwaar is, dan houdt ik het bij een aparte router. Of ik knutsel een OpenWRT achtige VM in elkaar.


[...]

Klopt, downloaden mag 's nachts en hoeft niet snel te zijn.
Klinkt als 3 VM's met elk 2vCPU's en 4GB geheugen, alleen pfSense met 2GB. Dat gaat je wel lukken en misschien lukt 3 a 4GB met pfSense ook net, eventueel met aanpassen van warning, maar ik verwacht dat 2GB voldoende gaat zijn voor pfSense.
timmerdanny schreef op maandag 7 januari 2019 @ 14:41:
[...]
Bij de keuze van een adapter staat er ook PVRDMA tussen.
[...]
Waarvoor wil je eigenlijk RoCe gaan gebruiken?

|sWORDs| wijzigde deze reactie 07-01-2019 15:26 (16%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • CurlyMo
  • Registratie: februari 2011
  • Laatst online: 20:21

CurlyMo

www.pilight.org

|sWORDs| schreef op maandag 7 januari 2019 @ 15:21:
[...]

Klinkt als 3 VM's met elk 2vCPU's en 4GB geheugen, alleen pfSense met 2GB.
Mijn plan was:
- FreeBSD + PostgreSQL + ZFS 8GB
- Download server 1GB
- PFSense 2GB

Eventueel nog een build server met 1 à 2 GB.

geen vragen via PM die ook op het forum gesteld kunnen worden.


  • timmerdanny
  • Registratie: september 2015
  • Laatst online: 10-04 21:57
|sWORDs| schreef op maandag 7 januari 2019 @ 15:08:
[...]

Gebruik je Linux guests? Heb je meerdere hosts? Gebruik je distributed switches? Gebruik je geen teaming? Heb je Priority Flow Control op je switches?

Je moet een VMkernel inschakelen voor PVRDMA en het toestaan in de firewall.
Dan moet je op een HW-lever 13 of hoger VM met 64 bit linux de PVRDMA adapter toevoegen en het al het geheugen reserveren.
Ik gebruik geen distributed switches het gaat om een enkele host die is aangesloten op een achterliggende SFP+ switch met glasvezel. De host heeft een uplink van 10Gbit verder niet redundant uitgeveord of als teaming. Er staat geen flow-control ingesteld. De host draait op ESXi 6.5 en had ook ondersteuning voor RDMA zag ik. Op de host zelf zit een NFS datastore naar de synology toe. Als ik het goed begrijp scheelt RDMA je veel CPU kracht ook naar deze datastore toe.

Uit de documentatie van VMware haal ik dat je per VM een aparte netwerkadapter moet specificeren om deze feature te gebruiken. Met de vmxnet3 adapter blijft de networking traffic dus gewoon CPU wegvreten.

ZZP Systeembeheerder bij Danteck | LinkedIn


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
timmerdanny schreef op maandag 7 januari 2019 @ 15:38:
[...]


Ik gebruik geen distributed switches het gaat om een enkele host die is aangesloten op een achterliggende SFP+ switch met glasvezel. De host heeft een uplink van 10Gbit verder niet redundant uitgeveord of als teaming. Er staat geen flow-control ingesteld. De host draait op ESXi 6.5 en had ook ondersteuning voor RDMA zag ik. Op de host zelf zit een NFS datastore naar de synology toe. Als ik het goed begrijp scheelt RDMA je veel CPU kracht ook naar deze datastore toe.

Uit de documentatie van VMware haal ik dat je per VM een aparte netwerkadapter moet specificeren om deze feature te gebruiken. Met de vmxnet3 adapter blijft de networking traffic dus gewoon CPU wegvreten.
RDMA is geen vervanging van VMXNET3 en datastores hebben niets met je netwerk van je guest OS te maken. RDMA (RoCe en eventueel +iSER met vSphere) kun je gebruiken op de hypervisor voor communicatie naar andere hypervisors/storage, etc.
Of je gebruikt vRDMA tussen VM's voor een bypass van de guest OS networking stack en kernel:



maar dan wel voor RDMA aware (gebruiken RDMA Verbs API) zaken, zoals Apache Hadoop of Oracle. Binnen één host is dat memcpy en heb je helemaal geen RDMA adapter nodig, gaat direct via VMkernel (blauw):



De guest kernel driver is echter alleen beschikbaar met de 64bit Linux VMware Tools.

Met NFS moet je Synology dan ook RDMA supporten (alleen bepaalde types) plus een RDMA NIC hebben en je hebt flow control nodig op je switch. Op je VM's doe je dan niets met vRDMA, het is je OpenFabrics Enterprise Distribution stack op je VMkernel port.

Zelf wil ik zodra het supported is zoiets gaan doen:


Links is de meterkast, rechts de zolder.
  • ROOD - De Protecli draait pfSense met een NIC in passthrough aan de NTU.
  • GEEL - De twee EPYC servers gebruiken RoCe direct connect voor VSAN en vMotion.
  • GROEN - De 10Gbit NICs op de EPYC servers zijn zo vrij om alleen maar VM netwerk traffic en een klein beetje witness (naar Gbit op protectli met een vCenter plus een VSAN witness) en management traffic te doen.
Active en Passive vCenter op local storage van een specifieke EPYC server.

|sWORDs| wijzigde deze reactie 07-01-2019 17:02 (15%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • Jeroen V
  • Registratie: februari 2004
  • Laatst online: 20:26

Jeroen V

yadda yadda yadda

De webwinkel waar ik de server heb besteld is het niet gelukt deze zonder problemen te leveren, dus deze is inmiddels geannuleerd. Ik ga dus op zoek naar een nieuwe server en leverancier om een mooie oplosssing te leveren. Ik verwacht een stuk of 20 a 25 VM's te draaien waarvan de meeste niet zwaar belast zullen worden. Verder wil ik graag ESXi en ASDK nested kunnen draaien, maar dat is puur om te experimenteren. Het budget wat ik heb is ongeveer 5000 euro incl BTW.

In de oorspronkelijke setup die ik had bedacht was om de VM's via iSCSI (10Gbit) in de NAS te hosten, maar dat mag ook lokaal in de server als ik maar een fatsoenlijke backup methode heb.

Heeft iemand een voorstel wat een goede setup zou zijn?

Voor de volledigheid de NAS die ik al heb:
#ProductPrijsSubtotaal
4WD Red WD60EFRX, 6TB€ 187,89€ 751,56
2Samsung 850 EVO 500GB€ 125,84€ 251,68
1Synology RS2418+€ 1.720,41€ 1.720,41
Bekijk collectie
Importeer producten
Totaal€ 3.487,58


Edit: ik zit te denken aan een AMD systeem, en als ik de documentatie goed heb gelezen zou deze machine goed moeten werken met ESXi: https://b2b.gigabyte.com/Rack-Server/R151-Z30-rev-100#ov Als ik die machine configureer met een AMD EPYC 7351P, 128GB en een 1TB M2 SSD hou ik genoeg over om ook een 10GBit switch en NIC voor de NAS aan te schaffen.... (alleen is de levertijd onbekend :S)

Edit: deze variant zou voor mij beter zijn: https://b2b.gigabyte.com/Rack-Server/R271-Z31-rev-100#ov Deze kast is 2U en geeft 7 low profile PCIe sloten...

Edit2:
|sWORDs| schreef op zaterdag 29 december 2018 @ 17:33:
[...]

Stabiliteitsproblemen met U1 zijn weg na een herinstallatie.

Resterende punten:
[list]
• PCIe Bifurcation werkt niet (staat ook nergens dat mijn bord het support, maar nu heeft elke NVMe drive dus een slot nodig).
Dit betekent dat kaartjes waarop je meerdere NVMe drives kunt plaatsen vooralsnog niet werken?
|sWORDs| schreef op zaterdag 29 december 2018 @ 17:33:
• Onboard SATA passthrough werkt niet (waarschijnlijk opgelost in de volgende AGESA, losse LSI controller doorgeven werkt wel).
De SATA drives kunnen door ESXi zelf wel fatsoenlijk gebruikt worden?
|sWORDs| schreef op zaterdag 29 december 2018 @ 17:33:
• Fan thresholds zijn niet aan te passen (Gigabyte heeft dit in de laatste BMC firmwares verwijderd, alle fans die 1200RPM of minder draaien heb ik maar aan een fan controller gehangen).
[/list]
Dus hij maakt herrie als je geen fan controller zou hebben? :)
|sWORDs| schreef op zaterdag 29 december 2018 @ 17:33:
Al met al werkt alles nu prima, echter met de combinatie van bovenstaande en de werkelijk bedroevende support zou ik niemand een B2B bord/server van Gigabyte aanbevelen.
Wat zou volgens jou dan een goed alternatief zijn?

Op het moederbord zitten twee 10GBit NIC's (BCM 57810S) waarvan het me nu niet helemaal duidelijk is of dit goed met ESXi gaat werken. Iemand een idee of deze ondersteund worden?

Jeroen V wijzigde deze reactie 11-01-2019 08:53 (33%)


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
Jeroen V schreef op donderdag 10 januari 2019 @ 23:19:

[...]

Dit betekent dat kaartjes waarop je meerdere NVMe drives kunt plaatsen vooralsnog niet werken?

[..]
Ja
Jeroen V schreef op donderdag 10 januari 2019 @ 23:19:
[...]

De SATA drives kunnen door ESXi zelf wel fatsoenlijk gebruikt worden?


[..]
Ja
Jeroen V schreef op donderdag 10 januari 2019 @ 23:19:
[...]


Dus hij maakt herrie als je geen fan controller zou hebben? :)


[..]
Ja, of je log loopt vol met warnings echter kun je volgens support bij de server wel de thresholds aanpassen. Nou maakt een server natuurlijk altijd veel lawaai.
Jeroen V schreef op donderdag 10 januari 2019 @ 23:19:
[...]


Wat zou volgens jou dan een goed alternatief zijn?

[..]
Supermicro
Jeroen V schreef op donderdag 10 januari 2019 @ 23:19:
[...]

Op het moederbord zitten twee 10GBit NIC's (BCM 57810S) waarvan het me nu niet helemaal duidelijk is of dit goed met ESXi gaat werken. Iemand een idee of deze ondersteund worden?
Werken perfect en zijn ondersteund (sterker nog de server staat op de HCL, dus alles van de server heeft support).

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • Jeroen V
  • Registratie: februari 2004
  • Laatst online: 20:26

Jeroen V

yadda yadda yadda

Thx voor het antwoord, en aangezien ik niet compleet koppig ben toch maar gaan kijken naar een Supermicro setup. Ik kom op het volgende:
#ProductPrijsSubtotaal
1AMD Epyc 7401P Boxed€ 1.140,75€ 1.140,75
1Supermicro H11SSL-C€ 430,46€ 430,46
1Supermicro SuperChassis CSE-825TQ-600LPB€ 387,70€ 387,70
1Intel X520-DA2€ 229,-€ 229,-
4Kingston 32GB DDR4 2400MHz€ 365,50€ 1.462,-
1Samsung 970 Pro 1TB€ 328,50€ 328,50
Bekijk collectie
Importeer producten
Totaal€ 3.978,41
geheugen even ter indicatie, dat zal waarschijnlijk niet exact dit type zijn)

Heb je hier opmerkingen over, of verwacht je dat dit een goede setup zou zijn?

  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
Jeroen V schreef op vrijdag 11 januari 2019 @ 10:51:
[...]

Thx voor het antwoord, en aangezien ik niet compleet koppig ben toch maar gaan kijken naar een Supermicro setup. Ik kom op het volgende:
#ProductPrijsSubtotaal
1AMD Epyc 7401P Boxed€ 1.140,75€ 1.140,75
1Supermicro H11SSL-C€ 430,46€ 430,46
1Supermicro SuperChassis CSE-825TQ-600LPB€ 387,70€ 387,70
1Intel X520-DA2€ 229,-€ 229,-
4Kingston 32GB DDR4 2400MHz€ 365,50€ 1.462,-
1Samsung 970 Pro 1TB€ 328,50€ 328,50
Bekijk collectie
Importeer producten
Totaal€ 3.978,41
geheugen even ter indicatie, dat zal waarschijnlijk niet exact dit type zijn)

Heb je hier opmerkingen over, of verwacht je dat dit een goede setup zou zijn?
Ik was zelf ook al even aan het kijken toen ik zag dat ESX niet bij de certified operating systems staat, echter wel in de VMware HCL. Foutje van de Supermicro website dus.

Bord zit ook in https://www.supermicro.co.../2U/2013/AS-2013S-C0R.cfm maar die staat niet op de HCL, single socket system wel op HCL:
AS-1013S-MTR - Bord H11SSL-i (dan moet -c ook werken die heeft alleen de LSI3008 extra en die staat ook op de HCL)
AS-1113S-WN10RT - Bord H11SSW-NT
AS-2113S-WN24RT - Bord H11SSW-NT
AS-2113S-WTRT - Bord H11SSW-NT

Ik zou voor 2666MHz geheugen gaan en voor Intel Optane storage.

|sWORDs| wijzigde deze reactie 11-01-2019 12:13 (15%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • Jeroen V
  • Registratie: februari 2004
  • Laatst online: 20:26

Jeroen V

yadda yadda yadda

|sWORDs| schreef op vrijdag 11 januari 2019 @ 11:57:
[...]

Ik was zelf ook al even aan het kijken toen ik zag dat ESX niet bij de certified operating systems staat, echter wel in de VMware HCL. Foutje van de Supermicro website dus.

Bord zit ook in https://www.supermicro.co.../2U/2013/AS-2013S-C0R.cfm maar die staat niet op de HCL, systemen met H11SSW-NT wel.

Ik zou voor 2666MHz geheugen gaan en voor Intel Optane storage.
Het gaat ook 2666MHz geheugen worden, ik was alleen een beetje lui bij het maken van de lijst. :X (ik wil het overigens niet in losse onderdelen bestellen, maar volledig geassembleerd zodat de verantwoordelijkheid daarvan bij de leverancier ligt. Mocht je nog goede aanbevelingen hebben waar ik het het beste zou kunnen bestellen dan hoor ik dat graag.)

Intel Optane heb ik even naar zitten kwijlen, maar omdat ik ook nog een 10GBit switch + NIC voor de NAS wil kopen stel ik dat even uit. Het grote voordeel van deze 2U kast is dat er genoeg kaarten later bijgeplaatst kunnen worden. En met deze aanschaf is het hobby-potje even leeg :)

  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
Jeroen V schreef op vrijdag 11 januari 2019 @ 12:10:
[...]

Het gaat ook 2666MHz geheugen worden, ik was alleen een beetje lui bij het maken van de lijst. :X (ik wil het overigens niet in losse onderdelen bestellen, maar volledig geassembleerd zodat de verantwoordelijkheid daarvan bij de leverancier ligt. Mocht je nog goede aanbevelingen hebben waar ik het het beste zou kunnen bestellen dan hoor ik dat graag.)

Intel Optane heb ik even naar zitten kwijlen, maar omdat ik ook nog een 10GBit switch + NIC voor de NAS wil kopen stel ik dat even uit. Het grote voordeel van deze 2U kast is dat er genoeg kaarten later bijgeplaatst kunnen worden. En met deze aanschaf is het hobby-potje even leeg :)
Switch hoeft niet erg duur te zijn. ]Ubiquiti EdgeSwitch 16 XG
En je zou nog wat aan bekabeling en switch kunnen besparen met RJ45: pricewatch: Buffalo BS-MP2008

En met een 8 channel memory controller wil je misschien 8x16GB IPV 4x32GB, of wil je ooit nog naar 256GB?

Geheugen kan goedkoper en sneller, deze staan op de HCL:
pricewatch: Samsung M393A4K40CB2-CTD

Bord kan goedkoper, je gaat de LSI 3008 zo te zien niet gebruiken. De NIC is erg oud, misschien een nieuwere nemen?

#ProductPrijsSubtotaal
1AMD Epyc 7401P Boxed€ 1.140,75€ 1.140,75
1Supermicro H11SSL-i€ 381,34€ 381,34
1Supermicro SuperChassis CSE-825TQ-600LPB€ 387,70€ 387,70
1Intel Ethernet Converged Network Adapter X710-DA2€ 271,25€ 271,25
4Samsung M393A4K40CB2-CTD€ 282,75€ 1.131,-
2Intel Optane 900P PCI-e 480GB€ 584,90€ 1169,80

Totaal€ 4.481,84

|sWORDs| wijzigde deze reactie 11-01-2019 12:48 (74%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • HellStorm666
  • Registratie: april 2007
  • Laatst online: 16:25

HellStorm666

GSX-R 1000 L0 + A4 Avant B8

@|sWORDs|
Thnx voor de hulp halverwege December.
Zojuist opdracht gegeven voor onze nieuwe ESXi server (6.7U1).

Het is geworden:
Supermicro AS-2113S-WTRT
AMD Epyc 7401P
4x Samsung 16GB DDR4 2666 (later uitbreiden naar 8x)
Intel DC P4610 3,2TB
Intel X520-DA2 SFP+
Kabel setje waardoor er 8x U.2 hotswap is.

ESXi wil ik vanaf SD draaien via de interne SD slot (uiteraard inc backup)
Verder wil ik met Veaam, Vembu of Altaro backups maken van het hele systeem naar de S2016 server (met de 4x 3TB in RAID5).

DAC voor de SFP+ naar de Unifi 48p switch is ook al besteld.
Misch nog een keer uitbreiden met de US-16-XG.

Scientia Potentia Est
Xbox-Live GamerTag: H3llStorm666


  • Jeroen V
  • Registratie: februari 2004
  • Laatst online: 20:26

Jeroen V

yadda yadda yadda

De leverancier van de server was niet heel erg blij om de order te annuleren, en heeft alsnog alle problemen opgelost en afgelopen vrijdag is dan eindelijk de originele server geleverd. (Dus de Dual Xeon en niet een Epyc server)

@|sWORDs|: ontzettend bedankt voor de hulp bij de Epyc server, maar het is dus toch de 'langzamere' Xeon geworden.

Overigens is langzaam niet echt waar want ik vind hem meer dan snel zat...

Nu eens kijken of ik pfSense ook virtueel wil draaien of toch een Netgate appliance ga aanschaffen....

  • Kecin
  • Registratie: juli 2004
  • Laatst online: 10:41

Kecin

Je keek.

Hallo allemaal, ik ben nieuw hier in dit topic en ook nieuw in virtualiseren. Ik had altijd een HP N54L met een baremetal Xpenology erop geinstalleerd. Graag wou ik het iets beter aanpakken door ook andere virtuele machine's te kunnen draaien.

Het is gelukt om ESXI 6.7U1 te draaien op:
PC pricewatch: HP EliteDesk 800 G1 SFF J0F16EA ( I7, 8 cores met 16GB Ram)
HDD Storage: 3 x pricewatch: Seagate IronWolf, 6TB (128MB cache)
Datastore 1: 1 x pricewatch: Crucial MX500 2,5" 500GB
Swapstore 1 : 1 x pricewatch: Kingston SSDNow V Series SNV125-S2/30GB 30GB

Al met al werkt dit prima en haal ik goede read/write resultaten. Echter is mijn Raid nu softwarematig opgebouwd. Standaard kon ik de onboard SATA controller niet doorlussen. Door hem in de passthrough te zetten kwamen de poorten wel los beschikbaar, maar hij ging over zijn nek en was niet stabiel. Daarop heb ik een Raid controller gekocht (via V&A), een pricewatch: HP Smart Array P212/Zero , met 256mb cache, kabel naar 4xsata, batterypack (die nog werkt). Daaraan had ik de 3 X 6TB gekoppeld, dat werkte in eerste instantie niet. Het bleek dat de controller nog op firmware versie 3.0 draaide. Inmiddels op 6.4(?) worden de disks herkend in de boot van de controller. Daarop heb ik een RAID 5 gemaakt, paritycheck e.d. laten gaan. Ging prima.

Ga ik echter de kaart doorlussen dan werkt dit niet, ik kan hem activeren binnen de webomgeving van ESXI, echter na reboot is er 10,9TB gevonden (klopt door Raid 5). Wil ik er echter een datastore opmaken dan loopt de machine gewoon letterlijk vast.

Ik heb al veel zaken geprobeerd (bijvoorbeeld de controller door de linken naar Xpenology/DSM, die kon er niet mee overweg). De boot-sequence veranderd, de bootschijf in de raid erbij te hangen, EHCI modus aan/uit, write-cache aan/uit, poorten gewisseld, etc. Ik kom er niet uit.
Ook natuurlijk meerdere drivers geupload naar ESXI voor de raidcontroller, maar ik krijg hem niet aan de praat waardoor ik nu 1 datastore heb gemaakt van 3 schijven rechtstreeks op het moederbord van de HP machine, maar dat is gevaarlijk wanneer er 1 schijf stuk gaat.

Verder draait het ding als een tiet, alleen de raidcontroller werkt dus voor geen meter. Iemand tips :)?

I am not a number, I am a free man! Kecin's tweakblog! - Kecin.com!


  • ComTech
  • Registratie: november 2002
  • Nu online
Ik heb versie 6.7U1 geinstalleerd en wil mijn Intel Corporation Sunrise Point-H AHCI controller doorgeven via passtrough maar er staat not capable.
Ik heb de passtrough.map aangepast maar nog steeds is hij niet door te geven.
Ik dacht dat het met 6.7U1 wel weer mogelijk was om deze door te geven via passtrough.
Is er een andere manier om deze door te geven met versie 6.7U1 ?

|Oneplus6 128GB Mirror Black| DS918+ 4x2TB Seagate IronWolf 2x Samsung 970 EVO 250GB |


  • Endpoint
  • Registratie: april 2016
  • Laatst online: 20:04
Kecin schreef op maandag 28 januari 2019 @ 23:24:
Hallo allemaal, ik ben nieuw hier in dit topic en ook nieuw in virtualiseren. Ik had altijd een HP N54L met een baremetal Xpenology erop geinstalleerd. Graag wou ik het iets beter aanpakken door ook andere virtuele machine's te kunnen draaien.

Het is gelukt om ESXI 6.7U1 te draaien op:
PC pricewatch: HP EliteDesk 800 G1 SFF J0F16EA ( I7, 8 cores met 16GB Ram)
HDD Storage: 3 x pricewatch: Seagate IronWolf, 6TB (128MB cache)
Datastore 1: 1 x pricewatch: Crucial MX500 2,5" 500GB
Swapstore 1 : 1 x pricewatch: Kingston SSDNow V Series SNV125-S2/30GB 30GB

Al met al werkt dit prima en haal ik goede read/write resultaten. Echter is mijn Raid nu softwarematig opgebouwd. Standaard kon ik de onboard SATA controller niet doorlussen. Door hem in de passthrough te zetten kwamen de poorten wel los beschikbaar, maar hij ging over zijn nek en was niet stabiel. Daarop heb ik een Raid controller gekocht (via V&A), een pricewatch: HP Smart Array P212/Zero , met 256mb cache, kabel naar 4xsata, batterypack (die nog werkt). Daaraan had ik de 3 X 6TB gekoppeld, dat werkte in eerste instantie niet. Het bleek dat de controller nog op firmware versie 3.0 draaide. Inmiddels op 6.4(?) worden de disks herkend in de boot van de controller. Daarop heb ik een RAID 5 gemaakt, paritycheck e.d. laten gaan. Ging prima.

Ga ik echter de kaart doorlussen dan werkt dit niet, ik kan hem activeren binnen de webomgeving van ESXI, echter na reboot is er 10,9TB gevonden (klopt door Raid 5). Wil ik er echter een datastore opmaken dan loopt de machine gewoon letterlijk vast.

Ik heb al veel zaken geprobeerd (bijvoorbeeld de controller door de linken naar Xpenology/DSM, die kon er niet mee overweg). De boot-sequence veranderd, de bootschijf in de raid erbij te hangen, EHCI modus aan/uit, write-cache aan/uit, poorten gewisseld, etc. Ik kom er niet uit.
Ook natuurlijk meerdere drivers geupload naar ESXI voor de raidcontroller, maar ik krijg hem niet aan de praat waardoor ik nu 1 datastore heb gemaakt van 3 schijven rechtstreeks op het moederbord van de HP machine, maar dat is gevaarlijk wanneer er 1 schijf stuk gaat.

Verder draait het ding als een tiet, alleen de raidcontroller werkt dus voor geen meter. Iemand tips :)?
Je hba staat ook niet op de HCL van esxi voor 6.7, hij gaat niet verder als 6.0u3. ik denk dat daar je grootste crux zit, je drivers.
https://www.vmware.com/re...ategory=io&productid=4617

  • FireDrunk
  • Registratie: november 2002
  • Laatst online: 19:45
ComTech schreef op woensdag 27 februari 2019 @ 21:48:
Ik heb versie 6.7U1 geinstalleerd en wil mijn Intel Corporation Sunrise Point-H AHCI controller doorgeven via passtrough maar er staat not capable.
Ik heb de passtrough.map aangepast maar nog steeds is hij niet door te geven.
Ik dacht dat het met 6.7U1 wel weer mogelijk was om deze door te geven via passtrough.
Is er een andere manier om deze door te geven met versie 6.7U1 ?
Kan je eens een linux bootcd starten en dit op de commandline uitvoeren:
for a in /sys/kernel/iommu_groups/*; do find $a -type l; done | sort --version-sort

Dit geeft je een overzicht van de IOMMU Groepen zoals ze door de fabrikant van je moederbord ingedeeld zijn.
Als daar een 'fout' in zit, kan je het ding niet doorgeven.

Even niets...


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
ComTech schreef op woensdag 27 februari 2019 @ 21:48:
Ik heb versie 6.7U1 geinstalleerd en wil mijn Intel Corporation Sunrise Point-H AHCI controller doorgeven via passtrough maar er staat not capable.
Ik heb de passtrough.map aangepast maar nog steeds is hij niet door te geven.
Ik dacht dat het met 6.7U1 wel weer mogelijk was om deze door te geven via passtrough.
Is er een andere manier om deze door te geven met versie 6.7U1 ?
Staat hij wel in AHCI modus?

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • Kecin
  • Registratie: juli 2004
  • Laatst online: 10:41

Kecin

Je keek.

Endpoint schreef op donderdag 28 februari 2019 @ 07:11:
[...]


Je hba staat ook niet op de HCL van esxi voor 6.7, hij gaat niet verder als 6.0u3. ik denk dat daar je grootste crux zit, je drivers.
https://www.vmware.com/re...ategory=io&productid=4617
Had het hier nog niet gemeld maar dat is inderdaad het probleem. Zit nu op 6U3 en draait fantastisch :).
Thanks voor het antwoord alsnog!

I am not a number, I am a free man! Kecin's tweakblog! - Kecin.com!


  • ComTech
  • Registratie: november 2002
  • Nu online
FireDrunk schreef op donderdag 28 februari 2019 @ 07:47:
[...]

Kan je eens een linux bootcd starten en dit op de commandline uitvoeren:
for a in /sys/kernel/iommu_groups/*; do find $a -type l; done | sort --version-sort

Dit geeft je een overzicht van de IOMMU Groepen zoals ze door de fabrikant van je moederbord ingedeeld zijn.
Als daar een 'fout' in zit, kan je het ding niet doorgeven.
Met ubuntu en debian krijg ik deze foutmelding

code:
1
find: ‘/sys/kernel/iommu_groups/*’: No such file or directory

|sWORDs| schreef op donderdag 28 februari 2019 @ 09:57:
[...]

Staat hij wel in AHCI modus?
Yep hij staat in AHCI modus.

Het werkt wel met 6.0 U1 (dat is de enige 6.0 die ik geprobeerd heb).

|Oneplus6 128GB Mirror Black| DS918+ 4x2TB Seagate IronWolf 2x Samsung 970 EVO 250GB |


  • |sWORDs|
  • Registratie: maart 2000
  • Laatst online: 20:31
ComTech schreef op donderdag 28 februari 2019 @ 22:13:
[...]


Met ubuntu en debian krijg ik deze foutmelding

code:
1
find: ‘/sys/kernel/iommu_groups/*’: No such file or directory




[...]


Yep hij staat in AHCI modus.

Het werkt wel met 6.0 U1 (dat is de enige 6.0 die ik geprobeerd heb).
Ik kan met 6.7u1 mijn Intel controller gewoon doorgeven. Post je .map file en buildnr eens.

En je gebruikt de controller nog steeds niet voor boot/datastore?

|sWORDs| wijzigde deze reactie 28-02-2019 22:20 (7%)

V&A:24 Core Xeon E5 v4, 256GB ECC met dual 10Gbit upgradeset


  • FireDrunk
  • Registratie: november 2002
  • Laatst online: 19:45
ComTech schreef op donderdag 28 februari 2019 @ 22:13:
[...]


Met ubuntu en debian krijg ik deze foutmelding

code:
1
find: ‘/sys/kernel/iommu_groups/*’: No such file or directory




[...]


Yep hij staat in AHCI modus.

Het werkt wel met 6.0 U1 (dat is de enige 6.0 die ik geprobeerd heb).
Vreemd, misschien is de iommu kernel module niet geladen bij een bootcd. Misschien moet je die eerst laden met 'modprobe iommu'.

Even niets...

Pagina: 1 ... 15 16 17 Laatste


OnePlus 7 Microsoft Xbox One S All-Digital Edition LG W7 Google Pixel 3 XL OnePlus 6T (6GB ram) FIFA 19 Samsung Galaxy S10 Sony PlayStation 5

Tweakers vormt samen met Tweakers Elect, Hardware.Info, Autotrack, Nationale Vacaturebank, Intermediair en Independer de Persgroep Online Services B.V.
Alle rechten voorbehouden © 1998 - 2019 Hosting door True