Zuinige ESXi Server

[Microkid]

cooLopke schreef op maandag 9 januari 2017 @ 23:47:
Beste,

Ik heb uiteindelijk gekozen voor het supermicro bordje X11SSL-F, nu ben ik bezig met de installatie en stoot ik op het probleem dat ik mijn onboard SATA poorten niet kan VT-d passthrough kan enablen of kijk ik verkeerd? Ik ben momenteel bezig met ESXi 6.5 en niet ESXI 6.0 misschien dat hier het probleem ligt?

Iemand die me even terug op het goede spoor kan zetten?

[afbeelding]
[afbeelding]

Ik ben momenteel deze guide aan het volgen, maar ik begrijp het principe van dat "storage network" dat hij aan maakt ook niet zo goed, waarom is dit nodig? Iemand die me dit kan uitleggen?

Ook wordt er uitgelegd dat hij ZIL/SLOG doet, is dat noodzakelijk of enkel als je je NFS share gaat gebruiken als datastore binnen ESXI? Mijn plan is gewoon in bijvoorbeeld een linux server daar NFS mapping doen om dan aan mijn data te kunnen. Is dit dan nodig?

Alvast bedankt voor de hulp!

Als een device niet capable is, herkent esxi hem niet. Ik heb laatst ergens gelezen dat je dan een bestandje moet aanpassen op de server. Weet alleen niet meer hoe of wat.

[|sWORDs|]

cooLopke schreef op maandag 9 januari 2017 @ 23:47:
Beste,

Ik heb uiteindelijk gekozen voor het supermicro bordje X11SSL-F, nu ben ik bezig met de installatie en stoot ik op het probleem dat ik mijn onboard SATA poorten niet kan VT-d passthrough kan enablen of kijk ik verkeerd? Ik ben momenteel bezig met ESXi 6.5 en niet ESXI 6.0 misschien dat hier het probleem ligt?

Iemand die me even terug op het goede spoor kan zetten?

[...]

Staat allemaal hier: Het grote ESXi/vSphere Topic
Passthrough van Intel SATA Controller

Of:

|sWORDs| schreef op maandag 7 november 2016 @ 01:11:
Als er nog mensen gemakkelijker de Intel controller door willen kunnen geven: intel-passthrough.vib

Of:

|sWORDs| schreef op vrijdag 11 november 2016 @ 20:21:
Je kunt ook het volgende doen:

code:

vi /etc/vmware/passthru.map

Dan met 'dd' alle Intel regels behalve één weghalen.
Dan druk je op 'i' en maak je van de device-id 'ffff'
Dan 'esc' ':wq' 'enter'

De file ziet er dan als volgt uit:

code:

# passthrough attributes for devices
# file format: vendor-id device-id resetMethod fptShareable
# vendor/device id: xxxx (in hex) (ffff can be used for wildchar match)
# reset methods: flr, d3d0, link, bridge, default
# fptShareable: true/default, false

# Intel can be reset with d3d0
8086  ffff  d3d0     default
# Broadcom 57710/57711/57712 10Gig cards are not shareable
14e4  164e  default  false
14e4  164f  default  false
14e4  1650  default  false
14e4  1662  link     false
# Qlogic 8Gb FC card can not be shared
1077  2532  default  false
# QLogic QL45604 cards need to be reset with "link" and cannot be shared
1077  1634  link     false
1077  1629  link     false
1077  1636  link     false
1077  1656  link     false
1077  1644  link     false
1077  1654  link     false
# LSILogic 1068 based SAS controllers
1000  0056  d3d0     default
1000  0058  d3d0     default
# NVIDIA
10de  ffff  bridge   false

En dat is exact wat de vib doet.

[ Voor 156% gewijzigd door |sWORDs| op 10-01-2017 09:56 ]

[cooLopke]

Paul schreef op dinsdag 10 januari 2017 @ 00:03:
[...]
Hij maakt een NFS-share aan die daarna als datastore gebruikt kan worden door VMware. Hiervoor heeft VMware een netwerkverbinding met FreeNAS nodig, en omdat er veel data overheen gaat zet hij jumbo frames aan. Als je dat op je gewone LAN doet dan krijg je veel gefragmenteerde pakketjes en belabberde (of geen) netwerkverbinding met de rest van je netwerk (want dat staat veel kans allemaal nog op een MTU van 1500).

Paul, thanks voor de info. Bijkomstige vraag:: in die guide wordt uitgelegd dat hij ZIL/SLOG gebruikt, is dat noodzakelijk of enkel als je je NFS share gaat gebruiken als datastore binnen ESXI? Mijn plan is gewoon in bijvoorbeeld een linux server daar NFS mapping doen om dan aan mijn data te kunnen. Is dit dan nodig?

@sWORDS thanks voor de link! Staat enorm veel handige info in! Ik heb ook de Intel 750 400GB SSD gekocht, moet ik daar ook nog een extra driver voor installeren binnen ESXi of is dit niet nodig? Ik zie deze staan als datastore, dus ik kan daar nu gewoon alle VM images op plaatsen vermoed ik?

Thanks!

[|sWORDs|]

cooLopke schreef op dinsdag 10 januari 2017 @ 10:28:
[...]


Paul, thanks voor de info. Bijkomstige vraag:: in die guide wordt uitgelegd dat hij ZIL/SLOG gebruikt, is dat noodzakelijk of enkel als je je NFS share gaat gebruiken als datastore binnen ESXI? Mijn plan is gewoon in bijvoorbeeld een linux server daar NFS mapping doen om dan aan mijn data te kunnen. Is dit dan nodig?

@sWORDS thanks voor de link! Staat enorm veel handige info in! Ik heb ook de Intel 750 400GB SSD gekocht, moet ik daar ook nog een extra driver voor installeren binnen ESXi of is dit niet nodig? Ik zie deze staan als datastore, dus ik kan daar nu gewoon alle VM images op plaatsen vermoed ik?

Thanks!

Daar moet je absoluut de Intel driver voor installeren, zie ook hier (al hoe wel die laatste nog naar de oudere versie linkt). De Data Center Tool kan ook handig zijn (voor monitoring en firmware upgrade):

|sWORDs| schreef op woensdag 23 november 2016 @ 15:33:
[...]

1GB is niet voldoende om op stoom te komen en met een hogere queuedepth/meer threads kom je nog wat hoger. Verder kun je PVSCSI ook nog op een hogere QD en ringsize zetten, ik zoek mijn reg file even.

Ik snap niet dat jouw 4K write bij QD1 zoveel hoger is. Mijn nested en niet nested tests gebruiken ook de Intel VIB. Bovenstaande tests waren van een 400GB, maar mijn 1.2TB Intel 750 haalt dat ook niet.

code:

[root@esxi1:~] /opt/intel/isdct/isdct show -intelssd

- Intel SSD 750 Series CVCQxxxxxxxxxxxCGN -

Bootloader : 8B1B0131
DevicePath : intel-nvme0
DeviceStatus : Healthy
Firmware : 8EV10174
FirmwareUpdateAvailable : The selected Intel SSD contains current firmware as of this tool release.
Index : 0
ModelNumber : INTEL SSDPE2MW400G4
ProductFamily : Intel SSD 750 Series
SerialNumber : CVCQxxxxxxxxxxxCGN

esxcli software vib list|grep intel-nvme
intel-nvme                     1.0e.2.0-1OEM.550.0.0.1391871        Intel   VMwareCertified     2016-11-10

edit:

code:

Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\pvscsi\Parameters\Device]
 "DriverParameter"="\"RequestRingPages=32,MaxQueueDepth=254\""

[...]


Heb je de reg file geïmporteerd en gereboot? Daarnaast in de opties van Crystal diskmark nog even de QD en threads verhogen.

Ja ik heb een nieuwe versie:
June 2015 - 1.0e.1.1

• Fix DMA constraints to allow for additional SG elements
• Fix heap identification name to comply with certification tests
• Fix off-by-one error on pre-allocation of requests, preventing possible queue ring wrap
• Proactively detect controller failure status and perform recovery
• Set error status for underrun on partially completed commands

October 2015 - 1.0e.2.0

• SCSI translation update to avoid potential collisions on Inquiry VPD 83h.

En de DCT VIB geïnstalleerd (voor betere monitoring en firmware updates).

code:

esxcli software vib get -n intel_ssd_data_center_tool
Intel_bootbank_intel_ssd_data_center_tool_3.0.2-400
   Name: intel_ssd_data_center_tool
   Version: 3.0.2-400
   Type: bootbank
   Vendor: Intel
   Acceptance Level: CommunitySupported
   Summary: Intel SSD Data Center Tool
   Description: The Intel(R) SSD Data Center Tool provides firmware update capability as well as reading and setting many configuration settings on Intel's SSD Data Center Family of products.

Maar met de oude VIB zonder DCT haalde ik dezelfde prestaties.

[ Voor 73% gewijzigd door |sWORDs| op 10-01-2017 12:02 ]

[Paul]

cooLopke schreef op dinsdag 10 januari 2017 @ 10:28:
Paul, thanks voor de info. Bijkomstige vraag:: in die guide wordt uitgelegd dat hij ZIL/SLOG gebruikt, is dat noodzakelijk of enkel als je je NFS share gaat gebruiken als datastore binnen ESXI?

Een SLOG voor je ZIL (die twee zijn niet hetzelfde; een SLOG is een separate log device (?) voor je ZFS Intent Log (wat je toch wel hebt; zonder SLOG staat deze op je harddisks) is vooral nuttig wanneer je veel synchronous writes hebt. Een VMware datastore over NFS is 100% synchronous, dus daar is een SLOG op een snelle SSD erg handig. Voor gewoon wat SMB-verkeer of een film kijken over NFS heb je er heel wat minder aan, dat zijn overwegend reads en eigenlijk allemaal asynchroon. Daarvoor heeft het dus een stuk minder zin

Als je geen NFS datastore gaat gebruiken dan hoef je natuurlijk ook dat storage network niet aan te leggen

[FireDrunk]

Een VMware datastore over NFS is 100% synchronous

Met als enige nuance, dat dat volgens mij bij NFSv4.1 gewijzigd is, maar zeker weten doe ik het niet.

[Corteztm3]

Ik heb laatst het volgende systeem in elkaar gezet, dit werkt nu al enkele weken perfect! Wat alleen een beetje jammer is dat de CPU fan altijd op 100% draait en dit ook niet aan te passen is in de BIOS.

Op de SSHD is VMware ESXi 6.5 geïnstalleerd en daarop staan ook de VM's, deze zit op de IBM controller die ik nog had liggen (tja is niet de snelste meer maar alleen zo kon ik de onboard controller doorgeven). De onboard controller is doorgegeven aan de FreeNAS VM.

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 57,95	€ 57,95
1	Supermicro X11SSL-F	€ 206,50	€ 206,50
1	Seagate Laptop SSHD (2016) (8GB flash), 1TB	€ 86,50	€ 86,50
2	WD Red WD30EFRX, 3TB	€ 115,95	€ 231,90
3	WD Red WD40EFRX, 4TB	€ 162,45	€ 487,35
1	Fractal Design Node 804	€ 104,95	€ 104,95
1	Samsung M391A2K43BB1	€ 129,50	€ 129,50
1	IBM ServeRAID BR10i	--	--
1	Seasonic G-series 360 watt	€ 63,95	€ 63,95
Bekijk collectie Importeer producten		Totaal	€ 1.368,60

[|sWORDs|]

Corteztm3 schreef op woensdag 11 januari 2017 @ 11:09:
Ik heb laatst het volgende systeem in elkaar gezet, dit werkt nu al enkele weken perfect! Wat alleen een beetje jammer is dat de CPU fan altijd op 100% draait en dit ook niet aan te passen is in de BIOS.

Op de SSHD is VMware ESXi 6.5 geïnstalleerd en daarop staan ook de VM's, deze zit op de IBM controller die ik nog had liggen (tja is niet de snelste meer maar alleen zo kon ik de onboard controller doorgeven). De onboard controller is doorgegeven aan de FreeNAS VM.

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 57,95	€ 57,95
1	Supermicro X11SSL-F	€ 206,50	€ 206,50
1	Seagate Laptop SSHD (2016) (8GB flash), 1TB	€ 86,50	€ 86,50
2	WD Red WD30EFRX, 3TB	€ 115,95	€ 231,90
3	WD Red WD40EFRX, 4TB	€ 162,45	€ 487,35
1	Fractal Design Node 804	€ 104,95	€ 104,95
1	Samsung M391A2K43BB1	€ 129,50	€ 129,50
1	IBM ServeRAID BR10i	--	--
1	Seasonic G-series 360 watt	€ 63,95	€ 63,95
Bekijk collectie Importeer producten		Totaal	€ 1.368,60

Je kunt de fanspeed in IPMI aanpassen onder Configuration -> Fan Mode:

[Corteztm3]

|sWORDs| schreef op woensdag 11 januari 2017 @ 11:17:
[...]

Je kunt de fanspeed in IPMI aanpassen onder Configuration -> Fan Mode:
[afbeelding]

Dat klopt en hij staat ook op Standard Speed, echter vind ik 3300 rpm wel erg snel. Er is geen nieuwe BIOS update beschikbaar voor dit bord en als je aanpassing doet naar een ander profiel blijft hij op 3300 rpm draaien.

[|sWORDs|]

Corteztm3 schreef op woensdag 11 januari 2017 @ 11:38:
[...]


Dat klopt en hij staat ook op Standard Speed, echter vind ik 3300 rpm wel erg snel. Er is geen nieuwe BIOS update beschikbaar voor dit bord en als je aanpassing doet naar een ander profiel blijft hij op 3300 rpm draaien.

Hier is het een stuk minder.

Optimal:


Standard:


Heavy IO:


Full:


Weet je zeker dat je fans PWM zijn?

Mode	FAN1-6	FANA-B
Optimal	30-100%	30-100%
Standard	50-100%	50-100%
Heavy IO	50-100%	75%
Full	100%	100%

[ Voor 97% gewijzigd door |sWORDs| op 11-01-2017 14:31 ]

[cooLopke]

Thanks sWORDs en Paul voor de uitleg! Misschien dat ik wel naar de toekomst toe een stukje storage aan een VM zou toe kennen, maar dan ga ik dit via iSCSI doen. Of dient hier ook iets speciaals te gebeuren?

Ik heb ook iets gelezen van L2ARC dit is voor reads ipv writes, dacht ik? Geeft dit wat voordelen, ik heb nog een spare Samsung 850 SSD 500 GB EVO die ik nog wel zou kunnen inzetten.

Nog een bijkomstige vraag, ik heb nu 2 NICS in de supermicro zitten. Voor wat gebruiken jullie deze 2 NICS, Is dit om NIC teaming te doen binnen VMWare of wat zijn hier precies de voordelen van. Als je pfsense gebruikt kan je inderdaad een firewall opzetten hiervoor, maar wat zijn de andere mogelijkheden?

Overigens voor de VMDK's kan ik dan best kiezen voor thin provisioning?

Thanks voor jullie feedback!

[ Voor 21% gewijzigd door cooLopke op 12-01-2017 08:56 ]

[ThinkPad]

@fansnelheid, ik heb ook dat X11SSL-F bord, maar mijn systeem is hartstikke rustig? CPU-koeler is gewoon de Intel stock die bij m'n G4400 zat. Kan mij niet herinneren dat ik instellingen zoals in het screenshot van sWORDs heb aangepast.

[|sWORDs|]

cooLopke schreef op donderdag 12 januari 2017 @ 08:46:
Nog een bijkomstige vraag, ik heb nu 2 NICS in de supermicro zitten. Voor wat gebruiken jullie deze 2 NICS, Is dit om NIC teaming te doen binnen VMWare of wat zijn hier precies de voordelen van. Als je pfsense gebruikt kan je inderdaad een firewall opzetten hiervoor, maar wat zijn de andere mogelijkheden?

Overigens voor de VMDK's kan ik dan best kiezen voor thin provisioning?

Thanks voor jullie feedback!

Heb je de startpost van Het grote ESXi/vSphere Topic gelezen? Zie Disk Formaat.

Met twee NICs zou je er een door kunnen geven aan een VM, maar meestal wordt deze gebruikt om services te scheiden of voor load balancing/failover, dat laatste is ook wat nuttiger aangezien je de NIC dan voor meerdere VM's kunt gebruiken. Het eerste hoef je voor doorvoersnelheid niet te doen, met 10Gbit en een VM die erg veel verkeer heeft kan het nuttig zijn om de CPU utilisatie terug te brengen, al zou je daar ook SR-IOV voor kunnen gebruiken (met een 10Gbit NIC). Thuis heeft load balancing meestal geen zin, omdat je meestal maar één client te gelijk hebt die Gbit kan vullen, het is geen channel bonding dus je hebt meerdere synchrone clients nodig die samen over de Gbit gaan voor je daar voordeel van hebt. Failover heeft thuis ook meestal geen zin, vaak zitten de componenten op dezelfde kaart en gaan ze naar dezelfde switch. De kans dat één wel werkt en de andere niet is dan heel erg klein.

Om een firewall of VLANs te kunnen draaien heb je niet meerdere NICs nodig. Je kunt gewoon een trunk aanbieden (vanaf een NTU of managed switch, de meeste routers hebben een built in managed switch) en binnen ESXi port groups op je virtuele switch maken die aan een VLAN zitten. Ik doe zoiets:

Glasvezel (met WAN VLAN en IPTV VLAN, /29 public subnet) NTU -> Managed Switch (meterkast, Gbit) -> Managed Switch (Zolder, 10Gbit) -> Virtuele Switch -> pfSense

Dan heb ik op pfSense 5 netwerken met elk een eigen DMZ en een eigen public IP, deze gaan naar aparte portgroups op eigen VLANs. Alle 12 netwerken (5 LAN, 5 DMZ, WAN en IPTV) delen dezelfde twee 10Gbit NICs die ook voor VSAN en vMotion gebruikt worden, Management zit op twee Gbit NICs, met een spare (backup) managent VMkernel op de 10Gbit.

Qua virtuele NICs op pfSense heb ik er vier, LAN, WAN, IPTV en Overige VLANs. Dit om niet tegen de IGMPproxy bug met VLANs aan te lopen.

[ Voor 33% gewijzigd door |sWORDs| op 12-01-2017 10:03 ]

[FireDrunk]

De simpelste vorm: je kan je VM's verdelen over je netwerkkaarten. Dus je kan de load spreiden

Daarnaast wat @|sWORDs| schrijft

[cooLopke]

Thanks voor de feedback. Met andere woorden zijn die 2 NICs gewoon overkill en best gewoon zoals firedunk zegt VM's verspreiden over de 2 NICs. Ik zie niet direct in wat het nut is om er eentje door te geven aan VM.

[|sWORDs|]

cooLopke schreef op donderdag 12 januari 2017 @ 10:16:
Thanks voor de feedback. Met andere woorden zijn die 2 NICs gewoon overkill en best gewoon zoals firedunk zegt VM's verspreiden over de 2 NICs. Ik zie niet direct in wat het nut is om er eentje door te geven aan VM.

Een tijdje terug was er iemand die uit principe WAN direct aan een NIC wilde hebben en die met VT-d doorgeven aan een pfSense VM. Zo is de firewall het eerste wat je in het netwerk tegen komt.
Ik zelf denk niet dat het mogelijk is om ergens in te komen op de manier waarop ik het doe, maar heel theoretisch zou het veiliger kunnen zijn, daarnaast bespaar je wat CPU overhead.

[cooLopke]

Dat dacht ik dus dat altijd moest, vandaar dat ik 2 NICs in gedachten heb met pfsense. Je firewall is meestal toch het eerste wat gepasseerd moet worden? Normaal zet je uw netwerk toch altijd zo op, bijvoorbeeld: Kabel => Modem => Pfsense (firewall/router) => rest van het netwerk (LAN/DMZ)

[|sWORDs|]

cooLopke schreef op donderdag 12 januari 2017 @ 10:30:
Dat dacht ik dus dat altijd moest, vandaar dat ik 2 NICs in gedachten heb met pfsense. Je firewall is meestal toch het eerste wat gepasseerd moet worden? Normaal zet je uw netwerk toch altijd zo op, bijvoorbeeld: Kabel => Modem => Pfsense (firewall/router) => rest van het netwerk (LAN/DMZ)

Maar dan ga je er dus vanuit dat een VLAN en ESXi niet veilig zijn en dat er op layer 2 al iets mis kan gaan. Het enige risico wat ik zie is DDOS, maar daar gaat pfSense ook niet bij helpen.

[FireDrunk]

@cooLopke, waar jij misschien mee in de war bent is direct vs vNic's in ESXi.

Je kan een netwerk op 2 manieren doorgeven (mits je hardware het ondersteund):

1) Je maakt een Virtual Machine Network aan op de netwerkkaart die aan je WAN zit, en stopt 1 van de twee vNic's van een VM in dat virtual network. Dan is er maar 1 VM die in dat netwerk kan, en is het dus semi direct.

2) Je geeft de fysieke adapter (dmv VT-d) aan een VM, en die gaat direct met die netwerkkaart in dat netwerk communiceren.

Bij optie 1 kan je theoretisch gezien een 2e VM in dat virtuele netwerk hangen. Dus in theorie is dat onveiliger. Als je dat in de praktijk niet doet, is er geen reden om je druk te maken. De kans dat iemand door middel van forged netwerk pakketjes uit de ESXi Virtual Network laag breekt, en toch aan de verkeerde kant van je VM uit komt, is vrijwel nihil.

Optie 1 heeft als voordeel dat je vrij makkelijk een nieuwe VM kan maken om je router functie over te nemen. Je maakt gewoon een tweede VM, hangt die met 1 poot op je WAN netwerk, en 1 poot op je LAN, je zet DHCP uit, en disabled de virtuele netwerkkaart in het WAN netwerk. Daarna installeer je de hele VM, en als je hem goed genoeg vind, zet je de oude VM uit, activeert de NIC weer die in het WAN netwerk hangt, activeert DHCP en voila, je hebt een nieuwe router.

Het is maar wat je makkelijk vindt

[Paul]

cooLopke schreef op donderdag 12 januari 2017 @ 08:46:
Thanks sWORDs en Paul voor de uitleg! Misschien dat ik wel naar de toekomst toe een stukje storage aan een VM zou toe kennen, maar dan ga ik dit via iSCSI doen. Of dient hier ook iets speciaals te gebeuren?

Ook dank wil je waarschijnlijk een storage netwerkje bouwen, maar dat heeft (ongeveer) hetzelfde probleem als NFS maar dan andersom. Waar NFS alles als sync write beschouwt doet iSCSI niets synced, en bij allebei kun je het gedrag omdraaien. Alles sync is traag (zonder SLOG), niets sync is onveilig.

Als het je om snelheid te doen is en je datacorruptie op je datastore voor lief neemt bij stroomuitval dan kun je beter NFS met sync=disabled doen, NFS is namelijk een heel stuk simpeler in te richten, aan beide kanten.

Zie ook https://forums.freenas.or...hy-is-iscsi-faster.12506/

Ik heb ook iets gelezen van L2ARC dit is voor reads ipv writes, dacht ik?

L2ARC is een 2e laag ARC, en dat is inderdaad een read cache. Echter, iedere entry in je L2ARC kost een bepaalde hoeveelheid geheugen, en dat geheugen gaat ten koste van je ARC. Die zit namelijk in je geheugen, en dat is VEEL sneller dan een SSD. Je kunt dus beter meer geheugen kopen dan een SSD. Als je die SSD al hebt is het misschien wel een optie, maar in een thuis-situatie kun je jezelf afvragen hoeveel baat je daar bij gaat hebben omdat je toegangspatroon overwegend sequentieel is.

Zie ook https://www.zfsbuild.com/...anation-of-arc-and-l2arc/

Als je die SSD niet in kunt zetten als datastore (omdat je geen controller meer hebt die je niet doorgeeft) of als je dat niet wil, maar er verder ook absoluut geen doel voor hebt dan zou je die inderdaad in kunnen zetten als cache. Ik weet niet of FreeNAS dat zo toelaat, maar in dat geval zou ik 5 GB toewijzen als SLOG (https://www.ixsystems.com...l-size-matters-or-doesnt/) en 40 GB L2ARC. Meer is toch niet zinnig (400 GB L2ARC met 4K recordsize kost 6.4 GB RAM, en hoeveel random reads ga je doen?)Dan heb je nog 450 GB vrij die de SSD kan gebruiken om wear levelling toe te passen.

Nog een bijkomstige vraag, ik heb nu 2 NICS in de supermicro zitten. Voor wat gebruiken jullie deze 2 NICS, Is dit om NIC teaming te doen binnen VMWare of wat zijn hier precies de voordelen van.

Mwoah, ga je zoveel dataverkeer genereren? In meerdere streams / sessies? Want anders gaat toch alles over één netwerkkaart.

Als je pfsense gebruikt kan je inderdaad een firewall opzetten hiervoor, maar wat zijn de andere mogelijkheden?

Datastromen scheiden (vMotion, management en LAN van elkaar scheiden bijvoorbeeld) en de boel redundant aansluiten zijn veel gebruikte manieren, thuis is de ene voor je internetlijn en de andere voor LAN (en dan een VM die voor router speelt) inderdaad veel gebruikt.

Overigens voor de VMDK's kan ik dan best kiezen voor thin provisioning?

Dat ligt er aan, hoeveel VM's wil je draaien? En ga je op tijd schijven bijkopen (of VM's weggooien) als je tegen ruimtegebrek aan loopt? @work duurt het zo lang voordat men een keer iets nieuws koopt dat we het niet aandurven om thin provisioning te gebruiken

Op je SSD datastore kan het zeker zinnig zijn, en eventueel ook je resources reserveren in VMware; ik heb een 40 GB SSD en 128 GB RAM (don't ask ) en als ik 64 GB uitdeel aan een VM dan wordt er een 64GB groot bestand op de datastore gemaakt, en dat past niet... Voor die VM heb ik dan ook al het geheugen gereserveerd, waardoor dat bestand niet meer wordt gemaakt. In productie zou ik dat niet zomaar doen (heeft nogal wat invloed op zaken waar je in eerste instantie misschien niet aan denkt) maar thuis speelt dat veel minder.

Bottom line: Voor de performance maakt het niet uit, maar als je schijf vol is dan pleurt er een hoop om. Aan jou om de afweging te maken

[|sWORDs|]

FireDrunk schreef op donderdag 12 januari 2017 @ 10:39:
De kans dat iemand door middel van forged netwerk pakketjes uit de ESXi Virtual Network laag breekt, en toch aan de verkeerde kant van je VM uit komt, is vrijwel nihil.

Op het moment dat ze in de positie zijn om dat überhaupt te proberen heb je waarschijnlijk al grotere problemen. Met ADSL/Kabel zitten ze dan al op modemlevel, bij Glasvezel op de laatste switch van de provider, of al op een VM binnen ESX. Dan checkt ESX op forged transmit en als je geen nesting gebruikt zal dat niet uitstaan (met nesting heb je maclearning fling daar nog eens overheen).

Zelfs als ze op die positie zitten en als ze om de checks heen komen moeten ze ook nog eens weten wat ze moeten cloaken en van welk lek er dan vervolgens gebruik gemaakt moet worden.

De enige partij die ik zo ver zie komen heeft wel betere manieren op vanaf de andere kant (de target machine zelf via een Trojan) er in te komen.

[ifrenken]

Corteztm3 schreef op woensdag 11 januari 2017 @ 11:09:
Ik heb laatst het volgende systeem in elkaar gezet, dit werkt nu al enkele weken perfect! Wat alleen een beetje jammer is dat de CPU fan altijd op 100% draait en dit ook niet aan te passen is in de BIOS.

Op de SSHD is VMware ESXi 6.5 geïnstalleerd en daarop staan ook de VM's, deze zit op de IBM controller die ik nog had liggen (tja is niet de snelste meer maar alleen zo kon ik de onboard controller doorgeven). De onboard controller is doorgegeven aan de FreeNAS VM.

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 57,95	€ 57,95
1	Supermicro X11SSL-F	€ 206,50	€ 206,50
1	Seagate Laptop SSHD (2016) (8GB flash), 1TB	€ 86,50	€ 86,50
2	WD Red WD30EFRX, 3TB	€ 115,95	€ 231,90
3	WD Red WD40EFRX, 4TB	€ 162,45	€ 487,35
1	Fractal Design Node 804	€ 104,95	€ 104,95
1	Samsung M391A2K43BB1	€ 129,50	€ 129,50
1	IBM ServeRAID BR10i	--	--
1	Seasonic G-series 360 watt	€ 63,95	€ 63,95
Bekijk collectie Importeer producten		Totaal	€ 1.368,60

Beste Corteztm3,

ik zie dat je maar een geheheugen module ingebouwd hebt. Werkt dit goed of heb je hier vertragingen door. Omdat namelijk, zoals eerder in deze post gemeld staat, in de handleiding van het moederbord het volgende staat "for best memory performance, install DIMM modules in pairs to activate memory interleaving." Of merk je hier niets van?

[|sWORDs|]

ifrenken schreef op donderdag 12 januari 2017 @ 13:14:
[...]


Beste Corteztm3,

ik zie dat je maar een geheheugen module ingebouwd hebt. Werkt dit goed of heb je hier vertragingen door. Omdat namelijk, zoals eerder in deze post gemeld staat, in de handleiding van het moederbord het volgende staat "for best memory performance, install DIMM modules in pairs to activate memory interleaving." Of merk je hier niets van?

De grootste verschillen zijn met graphics, maar de C232 heeft toch geen graphics support. Performance verschil is 0-4% in applicaties.

[cooLopke]

Thanks voor de hulp FireDunk, swords en Paul!

In verband met die extra SSD die ik nog heb liggen. Het zou idd handiger zijn als ik deze als datastore zou kunnen gebruiken, maar aangezien ik de onboard sata controller doorgeeft heb ik geen aparte controller meer over die ik zou kunnen gebruiken. Ik heb wel destijds een IBM m1115 controller gekocht die ik zou kunnen gebruiken hier voor. Moet ik deze dan ook in IT mode flashen als ik deze niet wil doorgeven?

[|sWORDs|]

cooLopke schreef op donderdag 12 januari 2017 @ 14:22:
Thanks voor de hulp FireDunk, swords en Paul!

In verband met die extra SSD die ik nog heb liggen. Het zou idd handiger zijn als ik deze als datastore zou kunnen gebruiken, maar aangezien ik de onboard sata controller doorgeeft heb ik geen aparte controller meer over die ik zou kunnen gebruiken. Ik heb wel destijds een IBM m1115 controller gekocht die ik zou kunnen gebruiken hier voor. Moet ik deze dan ook in IT mode flashen als ik deze niet wil doorgeven?

Ik zou sowieso IT mode flashen, of je hem doorgeeft of niet (Al hoe wel bij IBM het verschil niet zo groot is als bij Dell). En met de LSI erbij kun je kiezen welke kaart je doorgeeft, de Intel of de LSI.

[ Voor 4% gewijzigd door |sWORDs| op 12-01-2017 14:43 ]

[FireDrunk]

IT vs IR mode is vooral interresant als je bang bent voor dingen als Bad Sectors icm ZFS. Als je gewoon 1 diskje er aan hangt voor ESXi zou ik me daar niet zo druk over maken.

Wel goed om sowieso de firmware te updaten. De LSI controller heeft nog wel eens last van SSD's met oude firmware.

[cooLopke]

|sWORDs| schreef op dinsdag 10 januari 2017 @ 09:25:
[...]


Staat allemaal hier: Het grote ESXi/vSphere Topic
Passthrough van Intel SATA Controller

Ok, ik zal de firmware upgraden, thanks!

@swords kan het zijn dat je intel-passthrough vib file niet werkt ik krijg:

failed not a valid vib file. Ik gebruik powercli 6.5 Release 1:


Thanks!

[ Voor 5% gewijzigd door cooLopke op 12-01-2017 17:58 ]

[|sWORDs|]

cooLopke schreef op donderdag 12 januari 2017 @ 17:56:
[...]


Ok, ik zal de firmware upgraden, thanks!

@swords kan het zijn dat je intel-passthrough vib file niet werkt ik krijg:

failed not a valid vib file. Ik gebruik powercli 6.5 Release 1:
[afbeelding]

Thanks!

Heb je -nsc -force gedaan?

[cooLopke]

Yes heb ik gedaan:



Ik heb wel geen idee wat de extra packages zijn, deze heb ik gekopieerd van het voorbeeld, misschien moet ik deze is weg halen? Thanks!

edit: Als extra uit de logfile: PS>TerminatingError(Get-EsxSoftwarePackage): "Bad VIB archive header" [FAILED] Probably not a valid VIB file, ignoring.

[ Voor 63% gewijzigd door cooLopke op 12-01-2017 23:41 ]

[|sWORDs|]

Misschien komt het door hoe hij gedeeld is, de source werkt hier. Zal 'm morgen eens downloaden en testen.

[cooLopke]

Ok, ik vermoed dat ook. Stuur mij eens een link naar uwe. thx swords!

[|sWORDs|]

cooLopke schreef op vrijdag 13 januari 2017 @ 08:19:
Ok, ik vermoed dat ook. Stuur mij eens een link naar uwe. thx swords!

hele VIB folder

Members only:

Alleen zichtbaar voor ingelogde gebruikers. Inloggen

cooLopke schreef op donderdag 12 januari 2017 @ 23:02:
Ik heb wel geen idee wat de extra packages zijn, deze heb ik gekopieerd van het voorbeeld, misschien moet ik deze is weg halen? Thanks!

edit: Als extra uit de logfile: PS>TerminatingError(Get-EsxSoftwarePackage): "Bad VIB archive header" [FAILED] Probably not a valid VIB file, ignoring.

sata-xahci - Aangepaste AHCI filter, werkt met meer AHCI controllers
net55-r8168 - Realtek 8168 Netwerk driver
net51-r8169 - Realtek 8169 Netwerk driver
net-sky2-1 - Marvel Netwerk driver
net-forcedeth-1 - nVidia Netwerk driver

Over AHCI, 6.5 heeft een nieuwere native driver die eerst geladen wordt en wel met alle AHCI controllers werkt, echter is de performance daar niet zo goed van op sommige (Intel) controllers. Je kunt de oude vmklinux driver gebruiken met:

code:

esxcli system module set --enabled=false --module=vmw_ahci

Met jouw Supermicro en LSI heb je geen van de extra drivers (of AHCI) nodig en zou dit voldoende moeten zijn:

code:

ESXi-Customizer-PS-v2.5.ps1 -pkgDir D:\VIB -nsc -force

Ook hoef je helemaal geen custom iso te maken, je kunt de VIBs ook na installatie erop zetten.
Met de LSI moet je even goed kijken welke firmware je hebt en of de inbox driver de juiste is, zo niet kun je of de firmware aanpassen, of de juiste driver in D:\VIB zetten. Na installatie zou ik de Intel DCT gebruiken om je firmware van de 750 te checken:

code:

/opt/intel/isdct/isdct show -intelssd

en indien nodig bijwerken:

code:

[root@localhost:~] /opt/intel/isdct/isdct load -intelssd 0
WARNING! You have selected to update the drives firmware! 
Proceed with the update? (Y|N): Y
Updating firmware...

- Intel SSD 750 Series CVCQ********CGN -

Status : Firmware Updated Successfully. Please reboot the system.

[ Voor 85% gewijzigd door |sWORDs| op 13-01-2017 11:44 ]

[cooLopke]

Thanks voor de hulp sWORDs! Het bestand werkt nu trouwens ;)!

[sphere]

Heeft iemand recentelijk een machine gebouwd met VT-D met 2 GPUs? Ik wil twee guests met eigen scherm en peripherals. Voor zover ik weet is nog steeds alleen maar mogelijk met twee discrete gpus en niet met een IGP + losse kaart.

[|sWORDs|]

IGP zou kunnen werken, maar niemand heeft het nog gedaan. C236 met Aspeed (console), IGP + AMD/Quadro. De vraag is welke IGP werkt.

[Lordsauron]

na een tijdje mee gelezen te hebben in dit topic heb ik de Supermicro X11SSL-F in combinatie met G4400 besteld. ESXi geïnstalleerd, en alles lijkt te werken. Echter zit ik met een probleem, na reboot ben ik bepaalde settings van ESXi kwijt. Het kan de Networking instellingen zijn, maar ook de Licence die ik heb toegevoegd verdwijnt dan. Nu had ik gelezen dat de USB3.0 soms raar doet. Dus ik heb de usb stick (2.0) al van de port binnen op het moederboard gehaald en in een USB2.0 port gestoken aan de achterkant. Echter blijft het probleem zich voor doen. Iemand hier ook last van gehad, zo ja, hoe los ik het op

[jadjong]

Ik zou eerst controleren of de stick wel terug te vinden is bij storage.

[Lordsauron]

jadjong schreef op zaterdag 21 januari 2017 @ 08:42:
Ik zou eerst controleren of de stick wel terug te vinden is bij storage.

Ja, de storage kan ik gewoon terug vinden, nog een ander idee?

[ Voor 4% gewijzigd door Lordsauron op 21-01-2017 10:05 ]

[Paul]

Ben je de settings kwijt die je sinds de vorige reboot hebt gemaakt, of willekeurige settings?

Ik heb het een keer gehad dat ik de USB-controller met VT-d door had gegeven ipv dat ik USB-devices doorgaf, en op die controller zat dus ook de USB-stick waarvan vSphere opstartte en de config op opsloeg.

Alles wat ik veranderde nadat ik de controller had doorgegeven (waardoor vSphere er wel van kan booten maar er daarna niet meer bij kan) werd dus ook niet opgeslagen.

[Lordsauron]

Paul schreef op zaterdag 21 januari 2017 @ 13:57:
Ben je de settings kwijt die je sinds de vorige reboot hebt gemaakt, of willekeurige settings?

Ik heb het een keer gehad dat ik de USB-controller met VT-d door had gegeven ipv dat ik USB-devices doorgaf, en op die controller zat dus ook de USB-stick waarvan vSphere opstartte en de config op opsloeg.

Alles wat ik veranderde nadat ik de controller had doorgegeven (waardoor vSphere er wel van kan booten maar er daarna niet meer bij kan) werd dus ook niet opgeslagen.

Had daar nog niets mee gedaan, heb esxi op nieuw geïnstalleerd op een andere usb stick, en nu lijkt het te werken vaag.

[Paul]

Een gare USB stick is natuurlijk ook altijd een optie

[cooLopke]

Ik ben even terug begonnen met het projectje, maar ik zit vast. Ik heb een datastore aangemaakt en de NASVM ook, echter krijg ik een vreemde error bij installatie van FreeNAS. Ik heb deze 16GB storage gegeven en wil FreeNAS installeren op het virtuele volume, maar hier geeft hij een foutmelding. Iemand die me verder kan helpen?





Bedankt!

[|sWORDs|]

cooLopke schreef op vrijdag 27 januari 2017 @ 23:35:
Ik ben even terug begonnen met het projectje, maar ik zit vast. Ik heb een datastore aangemaakt en de NASVM ook, echter krijg ik een vreemde error bij installatie van FreeNAS. Ik heb deze 16GB storage gegeven en wil FreeNAS installeren op het virtuele volume, maar hier geeft hij een foutmelding. Iemand die me verder kan helpen?

[afbeelding]

[afbeelding]

Bedankt!

Gebruik je de LSI Logic controller in de VM?

[cooLopke]

|sWORDs| schreef op vrijdag 27 januari 2017 @ 23:42:
[...]

Gebruik je de LSI Logic controller in de VM?

Ik gebruik de LSI Logic Parrallel. Ik kan nog de LSI Logic SAS kiezen:

[ Voor 22% gewijzigd door cooLopke op 27-01-2017 23:58 ]

[|sWORDs|]

Dat zou goed moeten zijn, ik kan het proberen als ik maandagochtend weer thuis ben. Ik zit nog steeds in Dubai. (Erg mooi hier, maar ik wil wel weer naar huis.)

[cooLopke]

|sWORDs| schreef op zaterdag 28 januari 2017 @ 07:50:
Dat zou goed moeten zijn, ik kan het proberen als ik maandagochtend weer thuis ben. Ik zit nog steeds in Dubai. (Erg mooi hier, maar ik wil wel weer naar huis.)

Thanks man! Ik zal het deze avond nog eens proberen met een andere image van freenas, ik heb gezien dat ik 9.10.2 heb en nu is 9.10.2-u1 uit misschien dat dit hopelijk het probleem op lost. Ik heb wel wat devices toegevoegd aan de vm, dus de pci device met de doorgemapte ahci controller + cd/dvd device die de ISO laadt vanaf de datastore. Daarnaast heb ik de memory voor de nas vm het vinkje lock all guest memory aangevinkt. (8GB)

[FireDrunk]

Kan je de virtual hardware upgraden? Want je zou volgens mij bij FreeBSD type nog steeds LSI Logic SAS en Paravirtual moeten kunnen kiezen.

[revox862]

Paar maand geleden mijn ESXi geupgrade naar 6.5 en ik kreeg vergelijkbare errors. Geen oplossing kunnen vinden, dus weer gedowngrade.

Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): UNMAP. CDB: 42 00 00 00 00 00 00 00 18 00
Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): CAM status: SCSI Status Error
Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): SCSI status: Check Condition
Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): SCSI sense: Vendor Specific asc:0,0 (No additional sense information)
Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): Error 5, Unretryable error

Het viel direct op bij een FreeBSD VM, welke non-stop bovenstaande errors genereerde.

Ook een Windows VM, met een Paravirtual SCSI controller, was niet blij. Traag, vastlopers en een vmkernel.log vol met SCSI errors.

Ik heb het vermoeden dat het iets te maken heeft met Automatic space reclamation (UNMAP), wat in 6.5 aan staat, in combinatie met mijn fysieke SATA controller. Alle VM's staan namelijk thin provisioned op een SATA SSD.

[|sWORDs|]

Ik heb een paar weken terug vrijwel alle nas achtigen bekeken, met 6.5 ook op een Intel 750 volgens mij, of misschien op VSAN.

[Lordsauron]

Kan iemand mij vertellen of deze SATA controller zou werken als passthrough voor freeNAS? of een andere redelijk betaalbaren. In dit topic kom ik alleen maar die IBM tegen, en die is vrij aan de prijs en niet meer te koop. Ik kan ook niet ergens een ESXi supported lijst van SATA controllers vinden of zo. Ik wil hem gaan gebruiken in combinatie met een Supermicro X11SSL-F

[Kek]

Lordsauron schreef op zaterdag 28 januari 2017 @ 22:38:
Kan iemand mij vertellen of deze SATA controller zou werken als passthrough voor freeNAS? of een andere redelijk betaalbaren. In dit topic kom ik alleen maar die IBM tegen, en die is vrij aan de prijs en niet meer te koop. Ik kan ook niet ergens een ESXi supported lijst van SATA controllers vinden of zo. Ik wil hem gaan gebruiken in combinatie met een Supermicro X11SSL-F

mijn ervaring met dat soort kaartjes (bijna altijd asmedia dingen) is dat die sowieso traag zijn, en niet lekker door te zetten zijn..

[CurlyMo]

Lordsauron schreef op zaterdag 28 januari 2017 @ 22:38:
Kan iemand mij vertellen of deze SATA controller zou werken als passthrough voor freeNAS? of een andere redelijk betaalbaren. In dit topic kom ik alleen maar die IBM tegen, en die is vrij aan de prijs en niet meer te koop. Ik kan ook niet ergens een ESXi supported lijst van SATA controllers vinden of zo. Ik wil hem gaan gebruiken in combinatie met een Supermicro X11SSL-F

Zoek je serieus nog naar een PCI kaart?

[|sWORDs|]

Lordsauron schreef op zaterdag 28 januari 2017 @ 22:38:
Kan iemand mij vertellen of deze SATA controller zou werken als passthrough voor freeNAS? of een andere redelijk betaalbaren. In dit topic kom ik alleen maar die IBM tegen, en die is vrij aan de prijs en niet meer te koop. Ik kan ook niet ergens een ESXi supported lijst van SATA controllers vinden of zo. Ik wil hem gaan gebruiken in combinatie met een Supermicro X11SSL-F

Waarom draai je het niet om en zoek je naar iets wat goed werkt met ESXi en geef je de Intel controller door?
SATA is sowieso niet supported (met de lage queuedepth is het ook niet iets wat ooit supported gaat zijn), maar als je wil weten wat zou moeten werken met 6.0 u2 dan staat dat beschreven, met 6.5 werken alle AHCI controllers (maar heb je mogelijk wat performance problemen).

LSI in HBA (IT-mode) werkt het beste met ESXi voor SAS/SATA. Ander alternatief is NVMe voor ESXi en onboard Intel voor passthrough (aanbevolen).

Wil je toch echt een andere controller voor passthrough dan moet je eentje hebben waarvoor je de (goedwerkende) reset mode weet. Ik zou alleen Intel/LSI echt aandurven, maar met sommige Marvell/ASMedia controllers kun je ook succes hebben, zie anderen in dit topic.

[ Voor 24% gewijzigd door |sWORDs| op 29-01-2017 08:33 ]

[Lordsauron]

In mijn huidige server heb ik het volgende, USB drive voor ESXi zelf, een Samsung 850 EVO - 250GB waar ik de vmware images op zet. en 1x een WD Red 4TB voor "volatile storage" gezien hier spul op staat waar het jammer is als het weg is, maar geen wereldramp.
Op dit moment zitten beide schijven dus gewoon op de controller van de X11SSL-F. De 4TB heb ik als virtuele HDD in freeNAS zitten, en dit werkt. Maar zoals jullie kunnen voorspellen, niet ideaal.
Had nog stiekem hoop dat je de intel controller kon splitsen (4 poorten zijn wit, 2 zijn oranje) maar kan deze optie niet terug vinden. Ik snap dat de beste optie zou zijn NVMe kaartje halen en een schijfje. Maar dan "zit" ik met die EVO. Daarom dus de zoektocht naar een kaartje waar ik de EVO op kan zetten.

[|sWORDs|]

Lordsauron schreef op zondag 29 januari 2017 @ 10:24:
In mijn huidige server heb ik het volgende, USB drive voor ESXi zelf, een Samsung 850 EVO - 250GB waar ik de vmware images op zet. en 1x een WD Red 4TB voor "volatile storage" gezien hier spul op staat waar het jammer is als het weg is, maar geen wereldramp.
Op dit moment zitten beide schijven dus gewoon op de controller van de X11SSL-F. De 4TB heb ik als virtuele HDD in freeNAS zitten, en dit werkt. Maar zoals jullie kunnen voorspellen, niet ideaal.
Had nog stiekem hoop dat je de intel controller kon splitsen (4 poorten zijn wit, 2 zijn oranje) maar kan deze optie niet terug vinden. Ik snap dat de beste optie zou zijn NVMe kaartje halen en een schijfje. Maar dan "zit" ik met die EVO. Daarom dus de zoektocht naar een kaartje waar ik de EVO op kan zetten.

Alleen de X?9/C2?6 controllers zijn 6+4, alle anderen van de laatste jaren zijn een enkele twee, vier of zes poorts, behalve de Avaton bordjes, die hebben 2 (SATA 600) + 4 (SATA 300).
Je hoeft niet met de EVO te zitten. Je zou deze ook door kunnen geven voor snelle shared storage (voor data, niet VM's). Zelf geef ik vier 4TB (RAID5) schijven en twee 480GB SSD's (RAID1 read/write cache) op de Intel controller door aan XPenology.

[ Voor 12% gewijzigd door |sWORDs| op 29-01-2017 11:14 ]

[Lordsauron]

Ok, er iets me toch niet helemaal duidelijk. Ergens in dit topic kwam ik deze combinatie tegen:

• Addonics M2 PCIe SSD adapter - intern
• Intel Solid-State Drive 600p Series - Solid state drive

Nu vraag ik mij af waarom de Addonics á € 21,- wel een goede keuze is, maar bijvoorbeeld Deze sata controller niet. Ik snap het niet, is het puur omdat het SATA is? Waarom is de op het moederboard geïntegreerde dan wel goed?
Ik kan inderdaad de EVO gaan geburiken voor "high speed storage", en als de M.2 echt de voorkeur geniet ga ik dat ook doen. Maar ben toch benieuwd. Sorry voor mijn n00b-heid

[ Voor 8% gewijzigd door Lordsauron op 29-01-2017 16:54 ]

[|sWORDs|]

Lordsauron schreef op zondag 29 januari 2017 @ 16:53:
Ok, er iets me toch niet helemaal duidelijk. Ergens in dit topic kwam ik deze combinatie tegen:

• Addonics M2 PCIe SSD adapter - intern
• Intel Solid-State Drive 600p Series - Solid state drive

Nu vraag ik mij af waarom de Addonics á € 21,- wel een goede keuze is, maar bijvoorbeeld Deze sata controller niet. Ik snap het niet, is het puur omdat het SATA is? Waarom is de op het moederboard geïntegreerde dan wel goed?
Ik kan inderdaad de EVO gaan geburiken voor "high speed storage", en als de M.2 echt de voorkeur geniet ga ik dat ook doen. Maar ben toch benieuwd. Sorry voor mijn n00b-heid

De addonics is geen controller, maar gewoon een converter. PCIe naar M.2, zie het als een verloop-plugje. De Intel 600p is een NVMe drive (maar niet zo'n hele beste) en geen SATA. De Delock die je daar laat zien is mini-PCIe, die kun je op jouw bord niet kwijt.

Het punt is dat om met VT-d iets door te kunnen geven het device een reset krijgt, niet alle devices ondersteunen dat en als ze het al wel ondersteunen dan is vaak niet bekende met welke mode een reset gegeven kan worden. Van de LSI en Intel controller is dit wel bekend, vandaar dat die mijn voorkeur hebben voor VT-d.

Dan de andere controller die je gebruikt voor ESXi, hiervan is van belang dat deze werkt onder ESXi, in de eerder aangehaalde link naar de startpost kun je zien welke standaard door ESXi gezien worden en voor welke er 3rd party drivers zijn.

SATA: Nadeel is de lage queuedepth van 31-32, kan prima zijn voor een homelab, maar zal nooit aanbevolen worden voor 'echte' omgevingen. SATA drives heb je in 2.5", 3.5" in M.2.

NVMe: Heb je in M.2 en 2.5" U.2 en PCIe. Met een 960 EVO en M.2 converter ben je waarschijnlijk minder kwijt dan de aanschaf van een LSI controller plus kabel en heb je betere performance. Eventueel zou de 850 dan nog V&A in kunnen, dan ben je voor 70-80 klaar.

[ Voor 29% gewijzigd door |sWORDs| op 29-01-2017 17:30 ]

[cooLopke]

revox862 schreef op zaterdag 28 januari 2017 @ 11:29:
Paar maand geleden mijn ESXi geupgrade naar 6.5 en ik kreeg vergelijkbare errors. Geen oplossing kunnen vinden, dus weer gedowngrade.

Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): UNMAP. CDB: 42 00 00 00 00 00 00 00 18 00
Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): CAM status: SCSI Status Error
Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): SCSI status: Check Condition
Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): SCSI sense: Vendor Specific asc:0,0 (No additional sense information)
Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): Error 5, Unretryable error

Het viel direct op bij een FreeBSD VM, welke non-stop bovenstaande errors genereerde.

Ook een Windows VM, met een Paravirtual SCSI controller, was niet blij. Traag, vastlopers en een vmkernel.log vol met SCSI errors.

Ik heb het vermoeden dat het iets te maken heeft met Automatic space reclamation (UNMAP), wat in 6.5 aan staat, in combinatie met mijn fysieke SATA controller. Alle VM's staan namelijk thin provisioned op een SATA SSD.

Iemand die dit probleem kan oplossen? sWords heb jij nog kunnen kijken?

Alvast bedankt.

[|sWORDs|]

cooLopke schreef op maandag 30 januari 2017 @ 14:02:
[...]


Iemand die dit probleem kan oplossen? sWords heb jij nog kunnen kijken?

Alvast bedankt.

Vanmorgen pas thuis en dankzij KLM 41 uur niet gegeten... Ik moest echt eerst even eten/bad/bed doen.

Dual Xeon E5 2690 v3 ES op X10DRH-iT, Intel 750 met ESXi 6.5:

1. FreeNAS-9.10.2-U1.iso naar datastore
2. Nieuwe Custom VM, HW Level 10, FreeBSD 64 bit, 2 Sockets, 8GB Mem, VMXNET3, LSI Logic Parallel, 8GB Thin, CD (IDE) connected at poweron met iso
3. Install op 8GB, bootmode BIOS
4. Reboot

Members only:

Alleen zichtbaar voor ingelogde gebruikers. Inloggen

Zal ik het nog eens proberen met HW Level 13? Misschien is het de SATA controller voor de DVD drive die FreeBSD niet leuk vind.
Edit: HW13 gebruikt ook IDE voor DVD bij FreeBSD, dus dat kan het niet zijn.
Ik heb nu alles default gelaten bij het installeren, alleen het geheugen op 8GB (minimum volgens Freenas) gezet, dus 1 Socket en E1000 nic met HW13, werkt ook prima. Ik ga de OVA niet vervangen, HW10 is wel zo gemakkelijk, dat werkt met 5.5-6.5.

Heb je wel dezelfde firmware in de Intel 750 en bovenstaande driver?

code:

/opt/intel/isdct/isdct show -intelssd|grep Firmware
Firmware : 8EV10174
FirmwareUpdateAvailable : The selected Intel SSD contains current firmware as of this tool release.

[ Voor 89% gewijzigd door |sWORDs| op 30-01-2017 15:17 ]

[revox862]

Ter info: Ik heb geen Supermicro moederbord, Intel 750 SSD of FreeNAS. Ik gebruik dus ook niet de driver of OVA image van sWORDs.

[|sWORDs|]

revox862 schreef op maandag 30 januari 2017 @ 15:20:
Ter info: Ik heb geen Supermicro moederbord, Intel 750 SSD of FreeNAS. Ik gebruik dus ook niet de driver of OVA image van sWORDs.

Dat snap ik. Maar cooLopke heeft dat allemaal wel.

Als ik in je inventaris kijken dat gebruik je een v5, misschien is dat wel de overeenkomst met cooLopke en het verschil met mij. Ik heb hier geen Skylake om op te testen, alleen Haswell (E5 v3) en Broadwell (Xeon-D).
Je zou ook kunnen kijken of je BIOS 3010 hebt en indien niet die proberen, misschien zit er een nieuwe CPU Microcode in, helaas is er van de laatste twee biosen voor jouw bord geen changelog.

Een combi van Skylake, ESXi 6.5 en BSD? We weten het gauw genoeg als cooLopke de OVA probeert.

[ Voor 56% gewijzigd door |sWORDs| op 30-01-2017 15:38 ]

[revox862]

Ja. Ik had de BIOS al gedownload, maar nog geen tijd gehad deze te updaten. Server draait natuurlijk "productie" en mijn FreeDOS USB stick is zoek.

[cooLopke]

|sWORDs| schreef op maandag 30 januari 2017 @ 15:22:
[...]

Dat snap ik. Maar cooLopke heeft dat allemaal wel.

Als ik in je inventaris kijken dat gebruik je een v5, misschien is dat wel de overeenkomst met cooLopke en het verschil met mij. Ik heb hier geen Skylake om op te testen, alleen Haswell (E5 v3) en Broadwell (Xeon-D).
Je zou ook kunnen kijken of je BIOS 3010 hebt en indien niet die proberen, misschien zit er een nieuwe CPU Microcode in, helaas is er van de laatste twee biosen voor jouw bord geen changelog.

Een combi van Skylake, ESXi 6.5 en BSD? We weten het gauw genoeg als cooLopke de OVA probeert.

Thanks voor de hulp al swords. Echter lijkt me alles in orde hoor, maar het werkt niet . Heb volgende firmware:

code:

./isdct show -intelssd | grep Firmware
Firmware : 8EV10174
FirmwareUpdateAvailable : The selected Intel SSD contains current firmware as of this tool release.

Ook staat de package correct:


Ik zal de ova eens proberen. Kan het niet zijn, dat deze continu foutmeldingen gaat produceren dan? Ik heb wel dit online gevonden: https://forums.freenas.or...-scsi-status-error.48177/

Ik heb echter geen idee hoe ik daar aan moet beginnen hoe kan ik die drives formatteren gelijk dat daar staat?

edit: ik heb de ova file van swords ingeladen. Deze werkt perfect . Ik zag eerst geen disks, maar ik was vergeten het pci device toe te voegen . Nu zie ik alle disks ^.^. Het enige wat gebeurt is wel dat deze even vasthangt op deze zaken bij het booten is dit normaal?



En:

[ Voor 14% gewijzigd door cooLopke op 30-01-2017 21:02 ]

[|sWORDs|]

Het grappige is dat met HW10 het unblocken even duurt, met HW13 niet. Je kunt 'm upgraden naar HW13 en kijken wat er gebeurd.

[cooLopke]

Geupgrade naar HW13 en krijg nu voortdurend deze foutmelding:



Hoe kan ik VM's aanmaken met HW10 in plaats van 13? Kan ik dat ergens kiezen?

Ik heb zo het gevoel dat ik hetzelfde probleem heb als revox, en ik denk dat ik ook maar voor 6.0 ga gaan. Als alles continu errors gaat produceren, is toch niet zo goed.

Thanks!

[ Voor 27% gewijzigd door cooLopke op 30-01-2017 22:51 ]

[|sWORDs|]

Je kunt HW level gewoon kiezen. Ik denk niet dat je continu fouten krijgt, maar dat er iets is met BSD+HW13+Skylake. Om ESXi te downgraden voor virtual HW level is dus niet echt nodig.

[ Voor 25% gewijzigd door |sWORDs| op 30-01-2017 23:21 ]

[cooLopke]

|sWORDs| schreef op maandag 30 januari 2017 @ 23:18:
Je kunt HW level gewoon kiezen. Ik denk niet dat je continu fouten krijgt, maar dat er iets is met BSD+HW13+Skylake. Om ESXi te downgraden voor virtual HW level is dus niet echt nodig.

Dag swords, dat klopt volledig. Heb hem nu terug op HW10 geplaatst en het probleem is opgelost. Ik ga het zo laten. Mocht iemand het vreemde probleem kunen oplossen, mag je me altijd een berichtje sturen

Thx voor de hulp!

Het enige wat ik nu nog ondervind is dat er toch een vertraging zit op de freenas vm. Ik doe een copy naar mijn fysieke server. Daar haal ik de max speed uit Gbit lijn, terwijl dit nested 20% minder is, rond de 80MB/s. Is dit normaal,of een instelling ergens?

edit: ik heb alles getest powerline, wifi, kabel en alle write acties zijn precies 20-30% . Iemand tips? Ik heb wel op de dataset in freenas aname op "On" staan.

[ Voor 28% gewijzigd door cooLopke op 31-01-2017 08:15 ]

[FDMK]

Nieuw jaar nieuw kansen. Ik moet dit jaar weer mijn VCP verlengen maar wil voor mijn VCIX gaan. Mijn huidige homelab is nogal uitgekleed en outdated dus ben aan het kijken naar iets nieuws.
Aangezien VSAN tegenwoordig intergraal onderdeel is van het VCP/VCAP wil ik een homelab met VSAN gaan bouwen. Ik zit alleen een beetje met de CPU requirements(en dus ook de kosten). Op onderstaande lijst missen inderdaad de storagecomponenten maar ik zat te denken aan een nmve ssd icm sata3 ssd.

#	Product	Prijs	Subtotaal
3	Intel Pentium G4560 Boxed	€ 58,80	€ 176,40
3	Shuttle XPC slim Barebone DH170	€ 234,90	€ 704,70
3	Crucial CT204864BF160B	€ 159,50	€ 478,50
Bekijk collectie Importeer producten		Totaal	€ 1.359,60

[|sWORDs|]

edit: Moved

[ Voor 98% gewijzigd door |sWORDs| op 31-01-2017 10:18 ]

[|sWORDs|]

Zullen we verder gaan in Het grote ESXi/vSphere Topic?

[Lordsauron]

Nou, zit nou met een gekke situatie.
Heb dus een NVMe SSD besteld zodat ik de SATA controller door kan geven. In de machine er bij gezet, alles werkt, top. Ik zet de server uit, Haal oude SATA SSD er uit en start hem op.
Foutmelding: fatal error 10 out of resources. Huh, stond er soms wat op de SSD of zo, weet je wat ik installeer ESXi gewoon ff opnieuw. Haal alles los behalve de USB stick waar hij op stond (die heb ik even geformatteerd in een andere machine) installer nieuwe ESXi alles lijkt OK. Hij start opnieuw op. Weer de zelfde error 10 (out of resources). Was even bang dat mijn RAM niet helemaal goed was, dus even memtest gedraaid. Alles helemaal top. snap er niets van. Iemand een idee?

[tss68nl]

Ik ben me al een tijdje aan het oriënteren op een zuinige ESXi server, niet gehinderd door enige voorkennis, en eigenlijk voornamelijk uit noodzaak.

• Ik wil een NAS/backup systeem draaien, wat compatible is met Synology (omdat ik continue wil syncen met een synology off-site)
• Daarnaast nog een aantal VM's wil draaien waaronder wat Linux varianten,
• Maar ook een Microsoft SQL Server.
• IPCameras om het huis moeten ook opname en interface hebben.
• Plex server is een must aangezien iedereen daar aan gewend is (draai het nu samen met SQL Server)

Nu kan dat out of the box, voor 600+ euro met een Synology 916+ 8GB, omdat je daarop voor zover ik kan zien ook een windows 2012 server virtueel kan draaien. De linux varianten...en meerdere VM's ben ik niet zo zeker van, maar dat maakt niet uit eigenlijk. Ik heb namelijk het idee dat ik voor minder geld een veel krachtiger en meer flexibel platform neer kan zetten met ESXi, aangevuld met XPenology voor de Sync/IPCam functionaliteit.

Ik heb reeds een paar keer met HyperBart aan de telefoon gezeten en een stuk wijzer geworden, maar wil nu echt de hardware gaan samen stellen, en volgens mij hebben jullie daar mooie ideeën over.

Mijn keuzes tot zover:

• Ik heb twee locaties (waarvan één voorzien van een 4-disk Synology). Ik voorzie Disk 1 en 2 als lokale NAS, en 3 & 4 als backup van de andere locatie. Zo zijn de beide locaties een 1:1 backup van elkaar. Files worden door gekopieerd direct bij het schrijven. (Dus geen backup schemas)
• RAID: Kost in mijn ogen óf zeer veel extra disk capaciteit (10, 6 of 1), óf heeft een grote kans op failure door één disk die uitvalt (5, 0). Ik laat van alle data off-site een backup mee lopen, dus in dat geval heb ik essentieel een RAID1, maar dan zonder de performance winst bij lezen. Sowieso is het fijn om gewoon bestaande disks te kunnen gebruiken aangevuld met nieuwe. Ik heb nog wat 1.5, 2 en 3 GB schijven liggen, en een setje 5GB disks erij zou voorlopig prima voldoen.
• Ik ben me bewust van ZFS en BtrFS, en hoewel ik begrijp dat ze echt meerwaarde kunnen bieden, wil ik het e.e.a. liever zonder ZFS doen. Ik wil namelijk de mogelijkheid behouden de storage makkelijk te kunnen aanpassen/uitbreiden. BtrFS heeft leuke features qua snapshots, dus dat wil ik overwegen, al zal dat dan wel op single disks zijn. Dus ook geen BtrFS RAID wat blijkbaar nogal wat issues geeft momenteel.

Optie 1:
Ik heb nog redelijk recente mediacenter hardware staan, maar kwam er ook met hulp van HyperBart niet snel uit om de NIC/Sata te injecteren in de install. Gaat om een Gigabyte Z77M-D3H met i3-3225 proc en 32GB compatibel DDR3 geheugen, wat energiezuinig is en voldoende rekenkracht heeft. Zou ik daar ESXi werkend op kunnen krijgen denken jullie? Ik heb al aardig wat afgezocht, maar de NIC drivers gaan niet klakkeloos in de install.

Optie 2 - Nieuwe build:

• Heb ik VT-d nodig? Als ik Xpenelogy ga draaien zou het fijn zijn om een hele controller door te kunnen geven aan de VM, maar scheelt dat nu echt zoveel? Daarnaast...de performance van de opslag hoeft echt niet top-notch te zijn. Er gaat af en toe eens 1.5GB aan foto's ineens op, maar dat is de grootste belasting.
• Voor de SQL Server machine zou het wel fijn zijn aardig wat geheugen toe te kunnen wijzen, maar voor XPenology heb ik waarschijnlijk ECC nodig en de prijzen zijn sky-high momenteel. Wellicht dus 4 slots, 1 strip van 8GB, en later bijprikken?
• Moederbord waarvan de NIC en SATA controller direct werken in ESXi (of zeer makkelijk) zou een zegen zijn: ik ben geen held in linux varianten, en dat wil ik wellicht ook zo houden

Qua hardware, zou dit voldoen? Volgens mij heeft het bord voornamelijk haakse SATA, wat in deze case een issue kan zijn met de voeding die er direct achter ligt? Of is daar nog ruimte?

#	Product	Prijs	Subtotaal
1	Intel Core i5-7400T Tray	€ 206,-	€ 206,-
1	Gigabyte GA-H110N	€ 83,60	€ 83,60
1	Fractal Design Node 304 Zwart	€ 78,50	€ 78,50
1	be quiet! TFX Power 2 300W Gold	€ 58,50	€ 58,50
Bekijk collectie Importeer producten		Totaal	€ 426,60

Of zou het beter zoiets kunnen worden (andere case...maar dat is detail):

#	Product	Prijs	Subtotaal
1	Intel Core i5-7500T Tray	€ 215,-	€ 215,-
1	Supermicro X11SSL-F	€ 201,50	€ 201,50
1	Fractal Design Node 304 Zwart	€ 78,50	€ 78,50
1	IBM 16GB DDR4 Memory 2Rx4 1.2V 2133MHz RDIMM	€ 115,23	€ 115,23
1	Seasonic G-series 360 watt	€ 63,95	€ 63,95
Bekijk collectie Importeer producten		Totaal	€ 674,18

Ik ben erg slecht thuis in verbruik van verschillende setups...en één van de belangrijkste doelstellingen is toch ook wel om de nu 3 machines die de taken uitvoeren en dus altijd aan staan, te consolideren naar 1 zuinige machine. Ook al zegt TDP niet alles, denk ik met de lagere TDP's toch wel iets zuiniger in totaal te zijn? Zijn er specifieke combinaties van hardware waarmee ik verwarming van het huis gewoon aan de daarvoor bedoelde installatie kan over laten?

Ik hoor graag jullie mening

[|sWORDs|]

tss68nl schreef op donderdag 9 februari 2017 @ 02:38:
Ik ben me al een tijdje aan het oriënteren op een zuinige ESXi server, niet gehinderd door enige voorkennis, en eigenlijk voornamelijk uit noodzaak.

[...]

Ik hoor graag jullie mening

De 7400T en H110 hebben geen vPRO (en dus geen AMT) of IPMI, dus voor installatie e.d. heb je toetsenbord/muis/scherm nodig.
Dat H110 bord heeft een Realtek NIC, dat werkt niet zonder extra driver.

Qua energieverbruik gaat er geen tot nauwelijks verschil zijn tussen een 7400T en een 7600, de laatste zou mijn voorkeur hebben.

ECC heb je niet echt nodig (de meeste hardware Synology NAS devices hebben ook geen ECC), VT-d ook niet en zeker niet voor single disk, maar VT-d zit tegenwoordig op alle borden en CPU's. Je hebt alleen een extra storage device nodig om dan als boot/datastore te kunnen gebruiken. XPenology gebruikt trouwens geen BTRFS RAID, maar MDADM RAID en dan BTRFS als filesystem er boven op. Met een hardware Synology draai je niet zo maar even een VM, VirtualBox aan de praat krijgen is niet echt gemakkelijk op de laatste DSM6. Met een QNAP (Virtualization Station) is dat een eitje.

Ik snap je opmerking over RAID5 niet helemaal. Bij uitval van één disk draai je gewoon degraded door, pas bij de uitval van twee disks ligt het plat. Nou is de kans op uitval van één disk groter met vier schijven dan met één, maar ik weet niet of je mag stellen dat de kans op gelijktijdige uitval van twee disks met vier schijven groter is dan één met één schijf. Ik denk dat dat andersom is.

Heb je de startpost van Het grote ESXi/vSphere Topic gelezen?

[ Voor 42% gewijzigd door |sWORDs| op 09-02-2017 08:42 ]

[tss68nl]

|sWORDs| schreef op donderdag 9 februari 2017 @ 08:29:
De 7400T en H110 hebben geen vPRO (en dus geen AMT) of IPMI, dus voor installatie e.d. heb je toetsenbord/muis/scherm nodig.
Dat H110 bord heeft een Realtek NIC, dat werkt niet zonder extra driver.

Qua energieverbruik gaat er geen tot nauwelijks verschil zijn tussen een 7400T en een 7600, de laatste zou mijn voorkeur hebben.

ECC heb je niet echt nodig (de meeste hardware Synology NAS devices hebben ook geen ECC), VT-d ook niet en zeker niet voor single disk, maar VT-d zit tegenwoordig op alle borden en CPU's. Je hebt alleen een extra storage device nodig om dan als boot/datastore te kunnen gebruiken. XPenology gebruikt trouwens geen BTRFS RAID, maar MDADM RAID en dan BTRFS als filesystem er boven op. Met een hardware Synology draai je niet zo maar even een VM, VirtualBox aan de praat krijgen is niet echt gemakkelijk op de laatste DSM6. Met een QNAP (Virtualization Station) is dat een eitje.

Ik snap je opmerking over RAID5 niet helemaal. Bij uitval van één disk draai je gewoon degraded door, pas bij de uitval van twee disks ligt het plat. Nou is de kans op uitval van één disk groter met vier schijven dan met één, maar ik weet niet of je mag stellen dat de kans op gelijktijdige uitval van twee disks met vier schijven groter is dan één met één schijf. Ik denk dat dat andersom is.

Heb je de startpost van Het grote ESXi/vSphere Topic gelezen?

Ja ik heb de startpost gelezen. Daarin vond ik bijvoorbeeld de config van HyperBart, maar toen ik daaraan refereerde moest hij lachen en gaf hij aan dat dat al 4 a 5 builds geleden was, dus dat die informatie verouderd is. Hij heeft zelf een 10+ disk Xeon/ECC/64GB setup wat volgens mij classificeert als bijverwarming ipv zuinige ESXi.

Wat betreft RAID5, doel ik op de kans dat een tweede schijf sneuvelt tijdens een rebuild. Maar aangevuld: ik vind het fijn om disks van verschillende omvang te kunnen gebruiken. Anders geef ik nu €700 uit aan 4x4TB, om dat later weer per 4 te moeten upgraden. Liever dat ik af en toe eens een nieuwe grotere losse schijf kan plaatsen. Zuinig is wat mij betreft niet alleen qua stroomverbruik, maar ook re-use van componenten die toch al rondslingeren.

Nee, BtrFS RAID is ook nog niet erg stabiel. Door MDADM te gebruiken (of gewoon single disks) met daarop BtrFS heb je voornamelijk de voordelen van snapshots/versiehistorie van bestanden. Een backup van 300GB duurt maar een aantal minuten als er reeds veel data eerder gekopieerd is, en de versie historie (op synology) die vroeger maar 2 versies had en 2x het datavolume innam, neemt nu voor 32 versies maar een fractie in. Het is een leuke feature momenteel, en als BtrFS als RAID volwassen wordt dan zou het wel eens de heilige graal kunnen zijn qua opslag voor zover ik heb gelezen. Maar vooralsnog.....

VT-d : SATA controller doorgeven:
Eerste vraag blijft nog steeds: is het echt nodig? Is het verschil in performance (stress op cpu bijvoorbeeld) dusdanig hoog dat ik de sata controller wel door *moet* geven voor XPenology? Er zijn wel wat high-res IP cams die opnemen, plus wat bulk aan data af en toe, en ik wil wellicht wel upgraden naar BtrFS RAID zodra het ook betrouwbaar werkt.

Als het dan nodig is, dan is er een keuze:

• Pak ik een extra SATA raid controller die ik door kan geven en gebruik ik de onboard voor SSD's met VM's erop?
• Of pak ik een simpel extra sata controller zoals
• deze voor SSD, en geef ik de controller van het moederbord door? Kan dat zomaar wel met alle controllers? VT-d op je MB en Proc is leuk, maar als de controller niet wil....

Als ik jouw opmerking zie dat VT-d niet nodig is: dat klopt? Geen negatieve effecten op processor gebruik bijvoorbeeld? (die proc is namelijk hard nodig voor SQL Server)


Keyboard/muis/scherm
Je geeft aan dat ik tijdens installatie een KVM nodig heb, maar, dat is toch echt alleen tijdens installatie van ESXi? Daarna heb je toch een webinterface waarmee je de verschillende virtuele machines kan beheren/aanmaken etc? En een console waar nodig voor wijzigingen aan de ESXi machine zelf?
Of is jouw ervaring dat je veel vaker een monitor nodig hebt? Mijn insteek was om hem te installeren op het bureau, en zodra de boel draait alles los te koppelen en de unit in de kast te laten verdwijnen.


Ik kom met je opmerkingen dan uit op het volgende:

#	Product	Prijs	Subtotaal
1	Intel Core i5-7600 Boxed	€ 241,95	€ 241,95
1	Gigabyte GA-H170N-WIFI	€ 131,-	€ 131,-
1	Fractal Design Node 304 Zwart	€ 78,50	€ 78,50
1	IBM 16GB DDR4 Memory 2Rx4 1.2V 2133MHz RDIMM	€ 115,23	€ 115,23
1	Startech.com 2 Port SATA 6 Gbps PCI Express SATA Controller Card	€ 34,35	€ 34,35
1	Seasonic G-series 360 watt	€ 63,95	€ 63,95
Bekijk collectie Importeer producten		Totaal	€ 664,98

Die processor is wel weer €50 duurder. ECC heb ik er ook in laten zitten, aangezien het maar €15 scheelt met gewoon DDR4. Bovenstaand zou ik dus wel een NIC driver moeten injecteren in de install, maar dat is te doen? Met versie ESXi 6.5 ook? (Ik heb geen allergie voor de nieuwe webinterface omdat ik helemaal nieuw ben op dit gebied...)

[|sWORDs|]

tss68nl schreef op donderdag 9 februari 2017 @ 12:48:
[...]


Ja ik heb de startpost gelezen. Daarin vond ik bijvoorbeeld de config van HyperBart, maar toen ik daaraan refereerde moest hij lachen en gaf hij aan dat dat al 4 a 5 builds geleden was, dus dat die informatie verouderd is. Hij heeft zelf een 10+ disk Xeon/ECC/64GB setup wat volgens mij classificeert als bijverwarming ipv zuinige ESXi.
[...]

Dat is een ander topic (vervanger van deze) en dus een andere startpost en andere configs.

tss68nl schreef op donderdag 9 februari 2017 @ 12:48:
[...]

Nee, BtrFS RAID is ook nog niet erg stabiel. Door MDADM te gebruiken (of gewoon single disks) met daarop BtrFS heb je voornamelijk de voordelen van snapshots/versiehistorie van bestanden. Een backup van 300GB duurt maar een aantal minuten als er reeds veel data eerder gekopieerd is, en de versie historie (op synology) die vroeger maar 2 versies had en 2x het datavolume innam, neemt nu voor 32 versies maar een fractie in. Het is een leuke feature momenteel, en als BtrFS als RAID volwassen wordt dan zou het wel eens de heilige graal kunnen zijn qua opslag voor zover ik heb gelezen. Maar vooralsnog.....

[...]

De problemen die bekend zijn met BTRFS RAID gaan niet op voor Synology. Dat was mijn punt.

tss68nl schreef op donderdag 9 februari 2017 @ 12:48:
[...]

VT-d : SATA controller doorgeven:
Eerste vraag blijft nog steeds: is het echt nodig? Is het verschil in performance (stress op cpu bijvoorbeeld) dusdanig hoog dat ik de sata controller wel door *moet* geven voor XPenology? Er zijn wel wat high-res IP cams die opnemen, plus wat bulk aan data af en toe, en ik wil wellicht wel upgraden naar BtrFS RAID zodra het ook betrouwbaar werkt.

Als het dan nodig is, dan is er een keuze:

• Pak ik een extra SATA raid controller die ik door kan geven en gebruik ik de onboard voor SSD's met VM's erop?
• Of pak ik een simpel extra sata controller zoals
• deze voor SSD, en geef ik de controller van het moederbord door? Kan dat zomaar wel met alle controllers? VT-d op je MB en Proc is leuk, maar als de controller niet wil....

Als ik jouw opmerking zie dat VT-d niet nodig is: dat klopt? Geen negatieve effecten op processor gebruik bijvoorbeeld? (die proc is namelijk hard nodig voor SQL Server)
[...]

Ja er is verschil qua CPU load en dat kan flink oplopen, maar dat is alleen bij veel IO. Als je toch een extra controller wil gebruiken dan zou ik eerder voor NVMe gaan.
Mocht je toch twee SATA controllers willen gebruiken dan zou ik alleen een controller doorgeven waarvan de reset mode bekend is en goed werkt, ik ken alleen Intel en LSI (SAS). Let met 6.5 en de AHCI controller die je niet doorgeeft op dat de nieuwe kernel mode driver waarschijnlijk niet de beste performance geeft en je waarschijnlijk beter terug kan naar de oude driver.

tss68nl schreef op donderdag 9 februari 2017 @ 12:48:
[...]


Keyboard/muis/scherm
Je geeft aan dat ik tijdens installatie een KVM nodig heb, maar, dat is toch echt alleen tijdens installatie van ESXi? Daarna heb je toch een webinterface waarmee je de verschillende virtuele machines kan beheren/aanmaken etc? En een console waar nodig voor wijzigingen aan de ESXi machine zelf?
Of is jouw ervaring dat je veel vaker een monitor nodig hebt? Mijn insteek was om hem te installeren op het bureau, en zodra de boel draait alles los te koppelen en de unit in de kast te laten verdwijnen.

[...]

Hoe het bij jou gaat zijn durf ik niet te zeggen, maar ik merk dat ik met grote regelmaat IPMI gebruik. Daarnaast is de plaatsing van mijn machines niet ideaal en zou het een flinke klus zijn om 'even' tb/monitor te gebruiken. Staat ie naast je bureau dan kun je het natuurlijk gewoon aan een tweede ingang op je monitor vast laten zitten en alleen keyboard overprikken.

tss68nl schreef op donderdag 9 februari 2017 @ 12:48:
[...]
ECC heb ik er ook in laten zitten, aangezien het maar €15 scheelt met gewoon DDR4.
[...]

Zowel het bord als de CPU ondersteunen geen ECC.

tss68nl schreef op donderdag 9 februari 2017 @ 12:48:
[...]
Die processor is wel weer €50 duurder.
[..]

Voor die 50 euro (wat eigenlijk $37 zou moeten zijn) heb je wel 1.1GHz meer base en turbo frequency. En vPro (maar dan moet je wel een ander bord gebruiken) met AMT.

tss68nl schreef op donderdag 9 februari 2017 @ 12:48:
[...]

Bovenstaand zou ik dus wel een NIC driver moeten injecteren in de install, maar dat is te doen? Met versie ESXi 6.5 ook? (Ik heb geen allergie voor de nieuwe webinterface omdat ik helemaal nieuw ben op dit gebied...)

Ja, met 6.5 ook. Maar een ISO maken is zo gepiept, zie startpost in dat andere topic. De vraag blijft waarom neem je niet gewoon een bord met een Intel NIC (in die startpost staat ook een link die de borden met Intel NIC geeft)?

[ Voor 103% gewijzigd door |sWORDs| op 09-02-2017 13:20 ]

[tss68nl]

|sWORDs| schreef op donderdag 9 februari 2017 @ 12:51:
Ja er is verschil qua CPU load en dat kan flink oplopen, maar dat is alleen bij veel IO. Als je toch een extra controller wil gebruiken dan zou ik eerder voor NVMe gaan.
Mocht je toch twee SATA controllers willen gebruiken dan zou ik alleen een controller doorgeven waarvan de reset mode bekend is en goed werkt, ik ken alleen Intel en LSI (SAS). Let met 6.5 en de AHCI controller die je niet doorgeeft op dat de nieuwe kernel mode driver waarschijnlijk niet de beste performance geeft en je waarschijnlijk beter terug kan naar de oude driver.

Het Gigabyte GA-H170N-WIFI bord heeft M.2. Ben ik dan raar als ik denk dat er dus twee controllers op zitten? Dan kan ik die M.2 toch gebruiken met een SSD, en de SATA doorgeven aan Xpenology?

ESXi 6.5 verhaal met de AHCI controller ging *woosh* over m'n hoofd. Praktisch gezien: je zegt daarmee dat het doorgeven van een SATA controller met 6.5 waarschijnlijk hopeloos is, en ik beter het hele pass-through verhaal sowieso kan vergeten?

Ja, met 6.5 ook. Maar een ISO maken is zo gepiept, zie startpost in dat andere topic.

HyperBart heeft geprobeerd een ISO te maken met de Z77 NIC drivers er in, en dat lukte niet. Vandaar dat ik ook kijk naar nieuwe hardware: anders heb ik hier de perfecte machine namelijk staan: zuinig, goede proc, veel geheugen, efficiënte voeding. Enige probleem is dat we dus geen 6.5 ISO gemaakt krijgen voor een GB Z77M-D3H.

De vraag blijft waarom neem je niet gewoon een bord met een Intel NIC (in die startpost staat ook een link die de borden met Intel NIC geeft)?

Het Gigabyte GA-H170N-WIFI bord wat ik er steeds al in heb staan heeft een I219V en I211AT toch?

[Paul]

tss68nl schreef op donderdag 9 februari 2017 @ 21:07:
Het Gigabyte GA-H170N-WIFI bord heeft M.2. Ben ik dan raar als ik denk dat er dus twee controllers op zitten? Dan kan ik die M.2 toch gebruiken met een SSD, en de SATA doorgeven aan Xpenology?

M.2 is een "rare" connector, die kan meerdere signalen doorgeven. Een NVMe-SSD gebruikt de PCIe-lanes van de M.2-connector, een SATA-SSD gebruikt de SATA-aansluiting van de M.2-connector.

Die connector is echter geen controller; die maakt gebruik van een controller die al op het moederbord zit. Idem met SATA Express. Als je in de handleiding van het moederbord gaat kijken dan staat daar in dat je SATA3_0 niet kunt gebruiken als je een SATA SSD in de M.2-connector steekt.[/]

ESXi 6.5 verhaal met de AHCI controller ging *woosh* over m'n hoofd. Praktisch gezien: je zegt daarmee dat het doorgeven van een SATA controller met 6.5 waarschijnlijk hopeloos is, en ik beter het hele pass-through verhaal sowieso kan vergeten?

Nee, dat als je GEEN pass-through gebruikt voor de onboard-controller je beter een oude(re) driver kunt installeren

[tss68nl]

Paul schreef op donderdag 9 februari 2017 @ 21:52:
M.2 is een "rare" connector, die kan meerdere signalen doorgeven. Een NVMe-SSD gebruikt de PCIe-lanes van de M.2-connector, een SATA-SSD gebruikt de SATA-aansluiting van de M.2-connector.

Aha, thanks. Dat is hetzelfde verhaal met de PCIe in dat geval? Dus als je een NVMe-SSD gebruikt, dan kan je geen card meer gebruiken in het PCIe slot? Of zijn er dan minder lanes beschikbaar?

Dus als ik een NVMe-SSD aansluit, dan kan ik de SATA controller doorgeven?

Nee, dat als je GEEN pass-through gebruikt voor de onboard-controller je beter een oude(re) driver kunt installeren

Ok duidelijk Maar volgens mij is het ook zo, dat als ik gewoon een oude versie (ESXi 5.0?) gebruik dat ik een hoop sata drivers er wel in heb zitten en de hele installatie makkelijker zou moeten gaan? Mis ik dan functionaliteit? Volgens mij is de webinterface dan niet zonder meer beschikbaar en moet ik het configgen met een applicatie doen toch?

Heb ik dan nog steeds ook de mogelijkheid om disks te downspinnen om energie te besparen? Wordt de CPU dan ook gethrottled? Of ben ik het spoor weer helemaal bijster?

[Paul]

tss68nl schreef op donderdag 9 februari 2017 @ 22:13:
Aha, thanks. Dat is hetzelfde verhaal met de PCIe in dat geval? Dus als je een NVMe-SSD gebruikt, dan kan je geen card meer gebruiken in het PCIe slot? Of zijn er dan minder lanes beschikbaar?

Dat hangt van het moederbord af, maar in jouw geval maakt dat niet uit. Sommige borden (maar niet op dat mini-formaat) laten je kiezen tussen een 4x PCIe-slot en de M.2-connector.

Het PCIe-16x slot komt van de CPU af, de overige functies die PCIe gebruiken komen van je chipset, hele rare borden uitgezonderd kun je dus ALTIJD je PCIe 16x-slot gebruiken ongeacht wat je in andere sloten stopt.

Dus als ik een NVMe-SSD aansluit, dan kan ik de SATA controller doorgeven?

Yup

Ok duidelijk Maar volgens mij is het ook zo, dat als ik gewoon een oude versie (ESXi 5.0?) gebruik dat ik een hoop sata drivers er wel in heb zitten en de hele installatie makkelijker zou moeten gaan? Mis ik dan functionaliteit? Volgens mij is de webinterface dan niet zonder meer beschikbaar en moet ik het configgen met een applicatie doen toch?

Klopt. Je kunt ook gewoon 6.0 gebruiken, daar zit wel een webinterface bij. Bij 5.5 en ouder moet je daarvoor een vCenter Server-licentie en een (niet-gratis) licentie op vSphere hebben.

Heb ik dan nog steeds ook de mogelijkheid om disks te downspinnen om energie te besparen?

Als je de controller doorgeeft hangt dat helemaal van je OS af. Als je de controller niet doorgeeft dan weet ik het eerlijk gezegd niet, geen idee of vSphere ook disks down spint.

Wordt de CPU dan ook gethrottled?

Hangt van de instellingen in vSphere af Op alles behalve High Performance afaik wel.
[/quote]

[tss68nl]

Paul schreef op donderdag 9 februari 2017 @ 22:33:
Dat hangt van het moederbord af, maar in jouw geval maakt dat niet uit. Sommige borden (maar niet op dat mini-formaat) laten je kiezen tussen een 4x PCIe-slot en de M.2-connector.

Dank voor de hulp

Als ik het dan allemaal zo eens bij elkaar puzzel, dan kom ik op het volgende uit wat prima zou moeten werken?:

#	Product	Prijs	Subtotaal
1	Intel Core i5-7400 Boxed	€ 193,25	€ 193,25
1	Gigabyte GA-Z270N-WIFI	€ 148,90	€ 148,90
1	Fractal Design Node 304 Zwart	€ 78,50	€ 78,50
1	Corsair Vengeance LPX CMK16GX4M1A2400C16	€ 119,-	€ 119,-
1	Seasonic G-series 450 watt	€ 77,15	€ 77,15
1	Samsung 960 EVO 500GB	€ 239,50	€ 239,50
Bekijk collectie Importeer producten		Totaal	€ 856,30

• Proc iets gedowngrade naar een i5-7400 wat volgens mij niet heel veel scheelt met een i5-7600.
• De NVMe SSD hakt er behoorlijk in. De 256GB is zeer slecht leverbaar, dus moet het een 500GB worden. (128GB is prijs/GB zeer slecht).
• Heb de voeding ook iets geupgrade om een semi-modulaire variant te hebben, wel zo handig in een dergelijk kleine behuizing.
• Ook heb ik het moederbord geupgrade, omdat de H170N 4 van de 6 SATA poorten haaks aan het uiteinde van het moederbord heeft zitten. Daar door past bijna geen enkele SATA kabel meer tussen MB en voeding, behalve €10 kostende kabels die zeer veel issues schijnen te hebben volgens de recensies. Dan maar €30 meer aan een MB met de sata gewoon recht omhoog

[|sWORDs|]

tss68nl schreef op donderdag 9 februari 2017 @ 21:07:
[...]

Het Gigabyte GA-H170N-WIFI bord wat ik er steeds al in heb staan heeft een I219V en I211AT toch?

Ik had even niet gezien dat je van H110 naar H170 was gegaan.

tss68nl schreef op donderdag 9 februari 2017 @ 21:07:
[...]

ESXi 6.5 verhaal met de AHCI controller ging *woosh* over m'n hoofd. Praktisch gezien: je zegt daarmee dat het doorgeven van een SATA controller met 6.5 waarschijnlijk hopeloos is, en ik beter het hele pass-through verhaal sowieso kan vergeten?


[...]

De oude drivers zitten er nog gewoon in, even één command line uitvoeren en rebooten. Met NVMe aan ESXi heb je hier sowieso geen last van.

tss68nl schreef op donderdag 9 februari 2017 @ 21:07:
[...]

Het Gigabyte GA-H170N-WIFI bord heeft M.2. Ben ik dan raar als ik denk dat er dus twee controllers op zitten? Dan kan ik die M.2 toch gebruiken met een SSD, en de SATA doorgeven aan Xpenology?

[...]

Alleen als het een PCIe SSD is.

tss68nl schreef op donderdag 9 februari 2017 @ 21:07:
[...]

HyperBart heeft geprobeerd een ISO te maken met de Z77 NIC drivers er in, en dat lukte niet. Vandaar dat ik ook kijk naar nieuwe hardware: anders heb ik hier de perfecte machine namelijk staan: zuinig, goede proc, veel geheugen, efficiënte voeding. Enige probleem is dat we dus geen 6.5 ISO gemaakt krijgen voor een GB Z77M-D3H.


[...]

Qualcomm Atheros AR8161/8165, dat is principe wel aan de praat te krijgen, maar dan moet je zelf de drivers compileren. Het probleem is dat de drivers vanaf v-front voor ESXi 5.0 gemaakt zijn en die niet meer compatible met 6.5 zijn.

In KB2147697 VMware declares that all drivers built and certified on ESXi 5.5 and 6.0 are also supported with ESXi 6.5.

Technically even drivers that have been compiled for ESXi 5.1 can still be installed and used on ESXi 6.5. However, drivers that have been compiled for ESXi 5.0 can definitely no longer be installed on ESXi 6.5.

This affects the following drivers from the V-Front Online Depot: net-atl1, net-atl1e, net-r8101, net-8139too, net-skge, net-tulip. They can no longer be installed on and used with ESXi 6.5.

Maar je kunt ook gewoon een Intel/Broadcom NIC er los inzetten? Qua sloten zit je goed, NVMe in het 16x (3.0) slot (M.2 adapter als je geen HHHL gebruikt), NIC in PCIe x4 of x1 (2.0) of PCI, de enige vraag is of het bord van NVMe wil booten (edit: Nee dus, alleen met een bios mod), maar dat zou je met een USB stick kunnen oplossen.

#	Product	Prijs	Subtotaal
1	Sandisk Ultra Fit 16GB Zwart	€ 8,87	€ 8,87
1	HP Intel Ethernet I210-T1 GbE NIC (E0X95AA) HCL	€ 33,71	€ 33,71
1	Addonics ADM2PX4 M2 PCIe SSD adapter	€ 21,01	€ 21,01
1	Samsung PM961 256GB	€ 135,90	€ 135,90
Bekijk collectie Importeer producten		Totaal	€ 199,49

of:

pricewatch: Intel Gigabit CT Desktop Adapter HCL

ESXi boot: USB
Datastore: NVMe
NAS VM: Bootdisk op NVMe Datastore, Data disks via Intel AHCI in VT-d passthrough
Overige VM's: op NVMe Datastore

[ Voor 166% gewijzigd door |sWORDs| op 10-02-2017 13:23 ]

[Paul]

tss68nl schreef op vrijdag 10 februari 2017 @ 03:04:
De NVMe SSD hakt er behoorlijk in. De 256GB is zeer slecht leverbaar, dus moet het een 500GB worden. (128GB is prijs/GB zeer slecht).

Je kunt ook de pricewatch: Intel 600p 512GB nemen, scheelt een hoop in kosten. Wel langzamer, maar nog steeds meer dan snel genoeg om een aantal VM's van te draaien.

Ook heb ik het moederbord geupgrade

Waarom een Wifi-bord? Wil je per se wifi gebruiken? Volgens mij kan vSphere dat niet, waardoor je de adapter door zou moeten geven aan een VM, waardoor je dus alleen bij die ene VM kunt.

[tss68nl]

|sWORDs| schreef op vrijdag 10 februari 2017 @ 11:59:
Ik had even niet gezien dat je van H110 naar H170 was gegaan.

Ik ook niet, maar inmiddels naar de 270 vanwege de sata aansluitingen.

Alleen als het een PCIe SSD is.

Volgens mij is dat gelukt, de snelheid is bizar hoog vergeleken met een sata interface zag ik. Dat zal de vm's goed doen. (En de Microsoft SQL database zal ik waarschijnlijk op de SSD draaien...die zijn zeer I/O gevoelig)

Maar je kunt ook gewoon een Intel/Broadcom NIC er los inzetten? Qua sloten zit je goed, NVMe in het 16x (3.0) slot (M.2 adapter als je geen HHHL gebruikt), NIC in PCIe x4 of x1 (2.0) of PCI, de enige vraag is of het bord van NVMe wil booten (edit: Nee dus, alleen met een bios mod), maar dat zou je met een USB stick kunnen oplossen.

ESXi boot: USB
Datastore: NVMe
NAS VM: Bootdisk op NVMe Datastore, Data disks via Intel AHCI in VT-d passthrough
Overige VM's: op NVMe Datastore

Nuttige info! Voor dat geld ga ik het zeker proberen om wat van de oude hardware te maken, ondanks dat ik de nieuwe hardware ook wel zie zitten nu dat ik een set heb gevonden met jullie hulp wat echt meer dan voldoende moet zijn om fijn al m'n vm's op te kunnen draaien

Paul schreef op vrijdag 10 februari 2017 @ 12:07:
Je kunt ook de pricewatch: Intel 600p 512GB nemen, scheelt een hoop in kosten. Wel langzamer, maar nog steeds meer dan snel genoeg om een aantal VM's van te draaien.

Waarom een Wifi-bord? Wil je per se wifi gebruiken? Volgens mij kan vSphere dat niet, waardoor je de adapter door zou moeten geven aan een VM, waardoor je dus alleen bij die ene VM kunt.

Ik heb wel goede ervaringen met samsung ssd's. Trouwe klant zullen we maar zeggen En wifi, nee, dat lijkt me een beetje vreemd voor een dergelijke server. Ik heb gewoon gezocht naar bordjes met een goede (Intel) NIC (andere ESXi startpost), mITX, 6 sata poorten, en heb goede ervaringen met Gigabyte: dan staan deze bordjes als goedkopere opties. Maar de wifi ga ik nooit gebruiken

[davidoffm]

|sWORDs| schreef op maandag 12 december 2016 @ 08:39:
[...]

Misschien een gokje nemen met pricewatch: ASRock H110M-ITX
en eventueel wet koop op afstand gebruiken?

Nu de verhuizing achter de rug is, pak ik ESXi maar weer eens op. Ik wil komende week nu ECHT onderdelen gaan bestellen. Heeft het onbewust zin gehad om te wachten op KabyLake. Met de nieuwe lijn procs en chipsets die uit zijn zou het lijstje er zo uit zien:

#	Product	Prijs	Subtotaal
1	Intel Core i5-7500 Boxed	€ 218,95	€ 218,95
1	ASRock H270M-ITX/ac	€ 123,50	€ 123,50
1	Supermicro CSE-721TQ-250B	€ 165,34	€ 165,34
1	Crucial CT16G4DFD8213	€ 104,52	€ 104,52
1	Intel 600p 256GB	€ 96,95	€ 96,95
Bekijk collectie Importeer producten		Totaal	€ 709,26

Ander voordeel dat zich aandient omdat ik nog niet besteld had, de behuizing is weer iets in prijs gezakt.

Heeft iemand van jullie al ervaring met ESXi en de nieuwste generatie Intel processoren ?

[tss68nl]

|sWORDs| schreef op vrijdag 10 februari 2017 @ 11:59:
Maar je kunt ook gewoon een Intel/Broadcom NIC er los inzetten? Qua sloten zit je goed, NVMe in het 16x (3.0) slot (M.2 adapter als je geen HHHL gebruikt), NIC in PCIe x4 of x1 (2.0) of PCI, de enige vraag is of het bord van NVMe wil booten (edit: Nee dus, alleen met een bios mod), maar dat zou je met een USB stick kunnen oplossen.

Ik heb de configuratie besteld exact zoals in m'n laatst geposte lijstje samengevat. Korte conclusie: dat ding vliegt. Bedankt allemaal voor de input en de inzichten, dat scheelde me een hoop uitzoek werk.

Ik heb uiteindelijk met VM workstation op m'n PC een ESXi image als VM aangemaakt, en een usb-stick als drive gemount en daarop ESXi geinstalleerd.
NVMe SSD wordt gebruikt als VM opslag, en de sata controller is pass-through aan een xpenology doorgegeven (startpost ESXi topic staat de handleiding). Voor Xpenology heb ik het DSM 6 image van 'Jun' gebruikt en die draait voortreffelijk (zelfs de Plex service).

Echt alles werkt eigenlijk direct out of the box, en ook qua bouwen van de pc zelf verliep alles precies zoals verwacht. Zat in een half uurtje in elkaar, en 20 minuten later draaide ESXi 6.5. Zonder enige linux voorkennis viel me het allemaal echt heel erg mee.

(Ok, ik heb wel WinSCP/notepad++ gebruikt om de passthrough te regelen....standaard geen nano, en VI kwam ik echt niet uit )

Qua stroomverbruik wat metingen gedaan, met de volgende VM's erop:

• Windows Server 2016 + SQL Server 2016 / 8GB Memory
• Edomi (CentOS) - 1.5GB
• Homekit (Ubuntu) - 1.5GB
• Xpenology (DSM6) - 2GB

30W Idle
41W bij kopieren van een aantal TB met 30 MB/s over netwerk. (proc komt niet boven 11%)

Ik moet eerst even wat zaken inrichten, en dan kom ik pas toe aan zwaardere processing loads van SQL server, waar ik verwacht dat de proc het ook echt wel te verduren krijgt en daarmee het verbruik ook significant zal stijgen.

Maar de opzet is zeker gelukt: een redelijk zuinige server als het niet zo druk is, maar voldoende power als het nodig is. Ik ben happy! Thanks nogmaals

[Paul]

tss68nl schreef op maandag 13 februari 2017 @ 00:42:
Ik heb uiteindelijk met VM workstation op m'n PC een ESXi image als VM aangemaakt, en een usb-stick als drive gemount en daarop ESXi geinstalleerd.

(Ok, ik heb wel WinSCP/notepad++ gebruikt om de passthrough te regelen....standaard geen nano, en VI kwam ik echt niet uit )

Wait, what? Windows -> VMware Workstation -> vSphere -> VM's?

Ik mag hopen dat je de gebouwde computer opstart van USB waar alleen vSphere op geïnstalleerd staat? Of was bovenstaande een ingewikkelde manier om vSphere op die USB-stick te krijgen? Voor een volgende keer dat je een ISO op een USB-stick wilt zetten vanuit Windows: UNetbootin

En passthrough kun je toch helemaal vanuit de GUI regelen? Of is dat veranderd in 6.5?

[tss68nl]

Paul schreef op maandag 13 februari 2017 @ 08:39:
[...]
Wait, what? Windows -> VMware Workstation -> vSphere -> VM's?

Ik mag hopen dat je de gebouwde computer opstart van USB waar alleen vSphere op geïnstalleerd staat? Of was bovenstaande een ingewikkelde manier om vSphere op die USB-stick te krijgen? Voor een volgende keer dat je een ISO op een USB-stick wilt zetten vanuit Windows: UNetbootin

En passthrough kun je toch helemaal vanuit de GUI regelen? Of is dat veranderd in 6.5?

Haha, ja natuurlijk staat er alleen vSphere op de USB Ach, VMWare workstation had ik al staan: iso mounten, usb bijvoegen, en na de installatie plug je hem zo in de nieuw gebouwde machine en draaien maar. Hoefde ik ook geen scherm/toetsenbord en muis aan de gebouwde machine te koppelen

Je moet je SATA/AHCI controller in de /etc/vmware/passthru.map toevoegen om in aanmerking te komen voor passthrough volgens mij? Of is dat alleen voor een losse controller? Ik heb niet gekeken of het werkt zonder die aanpassing eerlijk gezegd....met iig wel!

[Paul]

Ik krijg de link voor 6.5 zo snel niet gevonden, wel die voor 5.5, wat ook werkt in de 6.0-omgeving waar ik nu bij kan: https://pubs.vmware.com/v...09-82C7-4B2A77EC6EB7.html

Ga naar een Host -> Manage -> Settings -> PCI Devices

[tss68nl]

Paul schreef op maandag 13 februari 2017 @ 12:17:
Ga naar een Host -> Manage -> Settings -> PCI Devices

Op 6.5: Host -> Manage -> Tab Hardware -> PCI Devices

Daar heb ik hem uiteindelijk ook aan gezet (toggle passthrough), maar er staat 'not capable' als hij niet in de config is opgenomen volgens mij? Maar dat heb ik dus niet gechecked...

[ Voor 26% gewijzigd door tss68nl op 13-02-2017 12:32 ]

[|sWORDs|]

tss68nl schreef op maandag 13 februari 2017 @ 12:26:
[...]


Op 6.5: Host -> Manage -> Tab Hardware -> PCI Devices

Daar heb ik hem uiteindelijk ook aan gezet (toggle passthrough), maar er staat 'not capable' als hij niet in de config is opgenomen volgens mij? Maar dat heb ik dus niet gechecked...

|sWORDs| schreef op vrijdag 11 november 2016 @ 20:21:
Je kunt ook het volgende doen:

code:

vi /etc/vmware/passthru.map

Dan met 'dd' alle Intel regels behalve één weghalen.
Dan druk je op 'i' en maak je van de device-id 'ffff'
Dan 'esc' ':wq' 'enter'

De file ziet er dan als volgt uit:

code:

# passthrough attributes for devices
# file format: vendor-id device-id resetMethod fptShareable
# vendor/device id: xxxx (in hex) (ffff can be used for wildchar match)
# reset methods: flr, d3d0, link, bridge, default
# fptShareable: true/default, false

# Intel can be reset with d3d0
8086  ffff  d3d0     default
# Broadcom 57710/57711/57712 10Gig cards are not shareable
14e4  164e  default  false
14e4  164f  default  false
14e4  1650  default  false
14e4  1662  link     false
# Qlogic 8Gb FC card can not be shared
1077  2532  default  false
# QLogic QL45604 cards need to be reset with "link" and cannot be shared
1077  1634  link     false
1077  1629  link     false
1077  1636  link     false
1077  1656  link     false
1077  1644  link     false
1077  1654  link     false
# LSILogic 1068 based SAS controllers
1000  0056  d3d0     default
1000  0058  d3d0     default
# NVIDIA
10de  ffff  bridge   false

En dat is exact wat de vib doet.

Of nog gemakkelijker maak een custom iso met mijn intel-passtrough.vib of installeer de VIB los vanaf een datastore:

code:

esxcli software vib install -v /vmfs/volumes/myDatastore/VIB/intel-passthrough-1.0.0-01.x86_64.vib --no-sig-check --force

Paul schreef op maandag 13 februari 2017 @ 08:39:
[...]
Wait, what? Windows -> VMware Workstation -> vSphere -> VM's?

Ik mag hopen dat je de gebouwde computer opstart van USB waar alleen vSphere op geïnstalleerd staat? Of was bovenstaande een ingewikkelde manier om vSphere op die USB-stick te krijgen? Voor een volgende keer dat je een ISO op een USB-stick wilt zetten vanuit Windows: UNetbootin

[...]

Zo maak ik ook altijd mijn USB sticks gereed. Even in Fusion koppelen en installeren en wat je dan dus doet is ESXi op USB installeren, niet de installer op USB zetten. Meestal test ik mijn custom iso eerst even op een virtuele disk en indien succesvol doe ik daarna meteen een stick.

Paul schreef op maandag 13 februari 2017 @ 08:39:
[...]

En passthrough kun je toch helemaal vanuit de GUI regelen? Of is dat veranderd in 6.5?

Voor Intel is er een filter actief, dat was met 6.0 ook al zo.

[ Voor 33% gewijzigd door |sWORDs| op 13-02-2017 12:56 ]

[tss68nl]

davidoffm schreef op zondag 12 februari 2017 @ 14:24:
Heeft iemand van jullie al ervaring met ESXi en de nieuwste generatie Intel processoren ?

Yep, zojuist een i5-7400 in gebruik genomen. Flink wat rekenkracht, dus alles draait vlot, maar je moet je wel realiseren dat alle i5 procs het moeten doen zonder HyperThreading. Dus even gemakkelijk een 'halve' core voor een licht apparaatje kan je wel vergeten.

De enige optie is dan de i7-7700, maar die is flink duurder, of een Xeon. Maar dat is qua prijs het zelfde verhaal. Wel vind ik de proc zuinig: tussen de 30 en 40W doorgaans.

[ Voor 4% gewijzigd door tss68nl op 14-02-2017 01:01 ]

[Maroki]

Zelf heb ik vorige week het volgende systeempje thuis neergezet ter leering ende vermaeck

#	Product	Prijs	Subtotaal
1	Intel Pentium G4560 Boxed	€ 59,-	€ 59,-
1	ASRock H270M-ITX/ac	€ 123,50	€ 123,50
4	Toshiba DT01ACA300, 3TB	€ 88,-	€ 352,-
1	Cooler Master Elite 344 USB 3.0 Zilver	€ 39,-	€ 39,-
1	G.Skill Aegis F4-2400C15S-16GIS	€ 113,20	€ 113,20
1	be quiet! Pure Power 10 300W	€ 45,50	€ 45,50
1	Intel 600p 256GB	€ 96,95	€ 96,95
Bekijk collectie Importeer producten		Totaal	€ 829,15

Ik ben nog geen problemen tegengekomen wat betreft ESXi en VT-d. Ik moest alleen de SATA Controller toevoegen aan de passthru.map en kon hem daarna doorgeven naar mijn FreeNAS VM.

Tot nu toe heb ik de volgende VMs draaien:

• OpenVPN AS
• FreeNAS
• Domoticz (Ubuntu 16.04 LTS)
• Emby Media Server (Ubuntu 16.04 LTS)
• PiHole DNS Adblocker (Ubuntu 16.04 LTS)

De volgende VM op de lijst is pfSense maar dit gaat nogal wat uitzoekwerk worden denk ik
Ook moet er nog wat geregeld worden voor backups maar tot nu toe staan er geen belangrijke bestanden op dus heeft niet zo'n haast

[tvwes]

Combi post "Zuinige ESXi server" & ZFS all-in-one storage provider

Inleiding

Deze server is nergens een uitblinker in. Het is niet de mooiste, niet de snelste, niet het meeste opslag enzovoort. Wel is dit een prima allround platform waar je jaren gemak van kan hebben.
Je aan alle kanten uitbreiden om toch 24 spindles te laten knetteren of de stookkosten te verlagen door er een GPU bij te plaatsen.
De verschillende opslag componenten zijn allemaal enterprise modellen met ditto prijs kaartje. Je kan daar natuurlijk ook "gewone" versie voornemen. Omdat ik op basis van mijn huidige servers weet hoeveel data de VM's genereren, weet ik hoeveel TB per jaar er wordt geschreven. Gewone SSD's zullen dan te snel kapot gaan en de prestaties zijn stukken minder. Ook hebben al deze SSD's bijvoorbeeld powerloss protection. Zodat als de jaren oude psu er plots mee stopt ik geen data kwijt raak. Maar het is dus zeker niet zo dat ik nu aan iedereen deze schijven adviseer.
De X11 skylake supermicro bordjes zijn niet duur, prima kwaliteit en icm met of een pentium of core i3 al meer dan genoeg voor huis tuin en keuken ESXi servers zijn.

Hardware componenten

1x Supermicro X11SSH-LN4F bios 1.0B
1x i3-6100T @3.2GHz
4x16GBECC M391A2K43BB1-CPB
2x intel DC3610-480GB
1x samsung SM863 480GB
1x intel 600p 960GB
2x WDC Gold WD8002FRYZ 8TB
1x SANdisk ultra fit 16GB USB3 dongle
1x lianli bz-525b
1x Antec earthwatt 380
1x noname antiek uATX minitower

Software

VMware vSphere ESXi 6.5.0 build 4564106
stock OMNIos r151020 voor storage

De hardware

Deze antieke uATX case had ik nog liggen net als de antec earthwatt 380 PSU. Alle servers staan in een droge kelder waar ik zelden kom. Ik ga daar dus geen geld aan uitgeven. Die antec had ik ook nog liggen, ja niet de zuinigste maar prima voeding hiervoor. Ik heb er een paar en doen al vele jaren hun werk prima.
De case heeft 2 externe 5.25" bays, 2 externe 3.5" bays en 1 interne 3.5" bay. Oh en 2 front USB 1.0 poorten!!! In de bovenste 5.25" heb ik die lian-li bracket in gebouwd. Waarin ik de drie 2.5 SSD's heb geplaatst. Prima bracket, met een gaas frontje een veel ruimte voor airflow. Ja er zijn allerlei prachtige hotswap brackets te koop. Maar deze zijn bijna allemaal van matige kwaliteit en er zitten een of twee fans in die ook weer wat verbruiken. Voor mij is de betrouwbaarheid (door het ontbreken van de backplane en de fans) de reden te om te kiezen voor deze niet hotswap oplossing.
De twee WD harddisken zijn ook gewoon geschroefd in een 3.5 bay. De NVME kan je zo op het moederbord schroeven. Belangrijk is dat de NVME aan de voorkant zit bij dit mobo en dat je het daardoor redelijk kan koelen.
De 16GB usb dongle kan zo op het moederbord worden gestoken.
Dit mobo verbruikt zo weinig stroom dat ik op moment slechts de P4 stekker heb aangesloten en niet een volledige EPS stekker.
Ik had nog een noctua NF-A8 besteld, een 80mm PWM fan, maar alles blijft zo koel tussen de 22 en 25 graden dat ik de fan er niet in heb gemonteerd.

De configuratie

ESXi heeft storage nodig voor de (virtuele) disken van de VM's. Deze storage kan op diverse manieren worden gerealiseerd. Direct (DAS), remote (SAN of NAS) of de "all-in-one" configuratie. Bij direct zal ESXi de lokale schijven gebruiken en aanbieden als storage voor de VM's. Voordeel: extreem simpel en snel. Nadelen: weinig features en al snel een dedicated raid controller nodig. Remote, bijvoorbeeld via een SAN of NFS NAS. Voordelen: flexibiliteit, je kan je NAS of SAN ook voor andere zaken gebruiken en je kan meerdere ESXi servers aansluiten op dezelfde storage. Je NAS of SAN zal zo goed als altijd meer features hebben dan ESXi, bijvoorbeeld backups en snapshots. Nadelen, dezelfde snelheid als DAS behalen wordt kostbaar. Dit vanwege de dure fabrics, als 10 of 40 GBe, IB of FC. Je latency wordt bijna altijd hoger.
Tot slot is er de "all-in-one" optie. Hierbij wordt de lokale storage via VT-d wordt doorgegeven aan een speciale storage VM. Die de fysieke storage weer als NAS aanbiedt aan de ESXi host. Echter de data hoeft nu niet fysiek het netwerk op. Het storage netwerk is virtueel en blijft binnen de machine. De prestaties zijn hierdoor best heel redelijk. Deze laatste optie is zeer geschikt voor een zuinige ESXi server, je hebt immers geen externe componenten nodig voor je storage maar je hebt wel meer features dan ESXi standaard heeft.


Voordat je aan de storage kan beginnen moet je eerst wat netwerk zaken voorbereiden. Ik heb een dedicated vSwitch, genaamd "storage", aangemaakt. Hierna een extra kernel nic voor de storage. Bij het aanmaken van de kernel nic zal ook een nieuwe portgroup worden aangemaakt. Geef deze een suffix als "-kernel", bijvoorbeeld "stor1500-kernel". Je hebt namelijk een tweede portgroup nodig voor de VM. Dus maak nu een nieuwe portgroup aan op de "storage" vswitch bijvoorbeeld "stor1500-network". Ik heb beide portgroups in een dedicated vlan gezet ivm met mijn bestaande infrastructuur waarin de vmware hosts losse storage hebben.
De "all-in-one" krijgt via VT-d de AHCI controller doorgegeven. Maar deze is niet bootable. Je zal je boot drive dus altijd op een extra door ESXi beheerde datastore moeten plaatsen. Je kan een USB stick hiervoor gebruiken of zoals in mijn geval de NVME disk. LETOP, je kan niet zomaar een usb stick erin steken en gebruiken als datastore. Je zal hiervoor via SSH bepaalde functionaliteit uit moeten zetten. Omdat ik toch al de NVME disk wilde toewijzen aan ESXi was het voor mij erg simpel. Ik heb het wel via USB getest maar was niet blij met de prestaties en de nadelen van deze hack. Het gebruik van de lokale NVME zonder raid of andere beveiliging is een bewuste keuze. Maak een datastore aan op je lokale storage. Kopieer de installatie iso daarnaar toe.
Voordat je de AHCI controller via VT-d kan door geven zal je dit device moeten aangeven als zijnde geschikt voor passthrough. Login via SSH op de ESXi server en open /etc/vmware/passthru.map en voeg onderaan toe:

code:

# Intel Sunrise Point AHCI
8086  a102  d3d0     false

Na de reboot markeer je de AHCI controller als passthrough device. Nu kan je de storage VM aanmaken.
Mijn configuratie is grofweg als volgt:
2 vCPU's
8GB ram, LETOP dit moet locked zijn ivm met de passthough
Een 20GB boot disk op de NVME datastore.
nic1 "mgmt-network" type VMXNET3
nic2 "stor1500-network" type VMXNET3
pci device0 Sunrise point AHCI controller
pci device1 i210 gigabit nic
Boot en install je OS. Hierna kan je via je storage OS de fysieke storage configureren en exporteren via NFS over de tweede nic. En tot slot kan je in ESXi de NFS share mounten als extra datastore. iSCSI kan ook maar vereist meer configuratie omdat ESXi de datastore niet zal vinden tijdens het booten maar vervolgens niet zonder slag of stoot opnieuw gaat proberen. NFS is veel simpeler. Er zijn randgevallen waarin iSCSI te verkiezen is boven NFS, maar thuis in een zuinige ESXi server?
Mijn storage bestaat uit een SSD mirror en een harddisk mirror. De SSD mirror biedt 400GB (overprovisioned van 480GB) snelle storage en die harddiskpool ruim 7TB iets minder snelle.
Alvast even wat over de zuinigheid van het systeem ik heb heel bewust voor de minder snelle oude sata drives gekozen ipv NVME ivm met het energie verbruik. Ook heb ik de duurdere 8TB's met helium genomen ook weer ivm meer het lagere verbruik. En ja dat scheelt op papier echt veel alsmede in de praktijk.

De prestaties

Wat moet ik hier over zeggen? Natuurlijk zijn ruwe benchmarks prachtig maar wie heeft thuis al dat geweld echt nodig? Die 960GB NVME via x4 PCIe3.0 is echt snel. Die 2 8TB harddisken leveren streaming meer dan 400MB per seconde aan een andere VM. En de SSD's leveren bijn 750MB/sec aan streaming reads. Bedenk even wat een gigantisch lange keten de data door heen moet gaan. En wat een top prestaties je dan krijgt ondanks dat het kleine cpu'tje en dat het maar sata is en slechts twee devices. Heel knap van vmware!
Ik heb hier wat resultaten van crystal diskmark op een windows 7 vm met vmdk's op diverse datastore's.

-----------------------------------------------------------------------
CrystalDiskMark 5.2.1 x64 (C) 2007-2017 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

   Sequential Read (Q= 32,T= 1) :  1297.215 MB/s
  Sequential Write (Q= 32,T= 1) :   575.226 MB/s
  Random Read 4KiB (Q= 32,T= 1) :   467.688 MB/s [114181.6 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :   466.519 MB/s [113896.2 IOPS]
         Sequential Read (T= 1) :   986.803 MB/s
        Sequential Write (T= 1) :   579.664 MB/s
   Random Read 4KiB (Q= 1,T= 1) :    32.180 MB/s [  7856.4 IOPS]
  Random Write 4KiB (Q= 1,T= 1) :   107.753 MB/s [ 26306.9 IOPS]

  Test : 16384 MiB [E: 0.4% (0.1/20.0 GiB)] (x5)  [Interval=5 sec]
  Date : 2017/01/15 22:28:05
    OS : Windows 7 Professional [6.1 Build 7600] (x64)

local nvme intel 600p 960GB datastore (no ZFS)

-----------------------------------------------------------------------
CrystalDiskMark 5.2.1 x64 (C) 2007-2017 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

   Sequential Read (Q= 32,T= 1) :   745.136 MB/s
  Sequential Write (Q= 32,T= 1) :   197.916 MB/s
  Random Read 4KiB (Q= 32,T= 1) :    86.242 MB/s [ 21055.2 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :     3.309 MB/s [   807.9 IOPS]
         Sequential Read (T= 1) :   643.162 MB/s
        Sequential Write (T= 1) :   210.334 MB/s
   Random Read 4KiB (Q= 1,T= 1) :    34.105 MB/s [  8326.4 IOPS]
  Random Write 4KiB (Q= 1,T= 1) :     1.725 MB/s [   421.1 IOPS]

  Test : 16384 MiB [F: 0.4% (0.1/20.0 GiB)] (x5)  [Interval=5 sec]
  Date : 2017/01/15 22:38:21
    OS : Windows 7 Professional [6.1 Build 7600] (x64)

remote NFS datastore mirrored intel DC S3610 480GB NO SLOG

-----------------------------------------------------------------------
CrystalDiskMark 5.2.1 x64 (C) 2007-2017 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

   Sequential Read (Q= 32,T= 1) :   723.147 MB/s
  Sequential Write (Q= 32,T= 1) :   319.445 MB/s
  Random Read 4KiB (Q= 32,T= 1) :    66.237 MB/s [ 16171.1 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :    27.005 MB/s [  6593.0 IOPS]
         Sequential Read (T= 1) :   703.807 MB/s
        Sequential Write (T= 1) :   174.906 MB/s
   Random Read 4KiB (Q= 1,T= 1) :    30.642 MB/s [  7481.0 IOPS]
  Random Write 4KiB (Q= 1,T= 1) :    12.097 MB/s [  2953.4 IOPS]

  Test : 16384 MiB [F: 0.4% (0.1/20.0 GiB)] (x5)  [Interval=5 sec]
  Date : 2017/01/15 22:52:11
    OS : Windows 7 Professional [6.1 Build 7600] (x64)
  
remote NFS datastore mirrored intel DC S3610 480GB single slog samsung 863 480GB

Met betrekking tot de CPU kan ik alleen maar zeggen prima voor het geld. Als je niet weet wat je nu echt nodig hebt aan CPU power zou ik willen aanraden om eerst zo'n i3-6100 of 6100T te proberen of zelfs de pentium. Je kan er echt veel mee doen. Maar als je veel compute nodig hebt dan kan je zo een XEON nemen.

Het verbruik

Deze server heeft nu 19 draaiende ESXi VM's en 7 nested die zo'n 38GB ram gebruiken en een gemiddelde load heeft van 15%.
Er is geen spindown van de disken. De ESXi powermode is balanced. En wat verbruikt dat nu: 2 cores, 64 GB ram, 3x gbit aangesloten, IPMI, 18TB ruwe storage en een matige PSU???
Zo'n 39watt dat is zonder de UPS, direct aan het stopcontact. Het minimum van 36Watt en het maximum 58Watt tijdens het booten. Zie deze post voor details aangaande de energie metingen
Ik denk dat ik het met een echte zuinige voeding en zonder de UPS wel terug kan brengen naar gemiddeld35watt. En als je de IPMI ook weglaat misschien wel 30watt. Ja er valt best nog wat te winnen. Maar dat ga ik nooit goed maken qua tijd wat dat kost. Als een coldboot je al tegen de vijf minuten kost (19 VM's die niet allemaal tegelijk gestart kunnen worden!) dan snap je dat het profilen van het systeem zeer tijdrovend gaat worden. Helaas heb ik een APD op de datastore met enkele metingen zoals tijdens memtest.

Verbeter punten

• Een betere voeding, zuiniger en meer sata connectors of modulair. Zelfs een pico kan dit systeem makkelijk aan.
• Zuiniger model UPS. Heb ik helaas echt nodig, een powerloss zorgt voor guests die (misschien) niet meer booten. De UPS maakt een nette shutdown mogelijk en daardoor ook een succesvolle herstart.
• Het beheer van ESXi 6.5. Wat een drama is die web client. Echt een schande de arrogantie die VMware hier heeft vertoond!!! Helaas heb ik nog wat legacy VM's waar ik geen tijd voor heb om te converteren. Want anders had ik uberhaubt geen ESXi meer gebruikt.
• ESXi leest onjuiste waarden uit de sensors. OA voltages en de RPM van de cpukoeler kloppen niet. Terwijl als je de waarden bijvoorbeeld via supermicro bekijkt kloppen ze wel.

Alternatieven

• De xeon D is natuurlijk ook heel interessant maar uiteindelijk heb ik toch hiervoor gekozen omdat het basis platform echt veel waar voor je geld bied. Ja de xeon D kan meer ram aan maar dat is zeer kostbaar en de meeste mensen hier hebben geen 10GBit. Ook de lage clock stond me wat tegen bij de budget xeon-D modellen. Als je heel veel concurrency hebt zijn al die core's prachtig maar veel software die door tweakers gebruikt wordt heeft meer baat bij een hoge clock en ipc dan veel cores. Dat is voor mij de hoofdreden geweest om niet voor xeon-D te gaan maar voor de gewone skylake. Het is sluit beter aan bij de gemiddelde tweaker hier.
• Geen IPMI. Heb ik in productie niet nodig, want alles is stabiel en wat moet ik dan in de BIOS? Maar het was zoo makkelijk bij het inrichten. En ik hoop dat het ding nooit vastloopt. Wel gebruik ik IPMI voor monitoring. ESXi kan zonder IPMI bar weinig sensoren uitlezen van je whitebox.
• Ander merk mobo, kan en zal zeker zuiniger zijn. Ik hoop weer meer dan 5 jaar met dit systeem te doen en dan is kwaliteit en support voor mij belangrijker dan een watt zuiniger bij een consumenten bord.
• Ander storage OS. Bijvoorbeeld napp-it of nas4free. Maar ik heb die GUI niet nodig en begruik het OS ook voor andere zaken die al die GUI schillen niet kunnen en dan moet ik toch weer naar de shell. Maar voor de minder ingewijde is het prima.

Conclusie

Typisch geval van kost wat maar dan heb je ook wat. Heel veel storage, heel veel prestaties en veel uitbreid en upgrade mogelijkheden in een stil en zuinig kastje. Die core i3 kan je altijd upgraden naar een XEON. Ik heb nog drie vrij sata poorten en 4 vrije pcie sloten. Je kan bijvoorbeeld nog een SAS controller of een 10GBe kaart toevoegen. De gebruikte schijven zijn natuurlijk niet je standaard schijfjes. Maar dat is een persoonlijke afweging. Ik ben vaak weken van huis en dan moet dit allemaal rustig doordraaien. Betrouwbaarheid is voor mij heel belangrijk. Maar over het algemeen ben ik erg tevreden na een maandje proefdraaien. De vier gbit poorten zijn ook erg handig. Ik heb bijvoorbeeld een fysieke nic via pass-through aan de storage vm doorgegeven. Clients die bij de storage moeten vanaf het netwerk skippen ESXi volledig. NIC-bonding als LACP is minder aantrekkelijk voor mijn usecases dan losse nic's. Ook gebruiken SATA SSD's minder stroom dan NVME devices! Al die IOPS en bandtwidth bij NVME is prachtig maar op dit moment alles behalve zuinig en dat zijn sata devices veel meer.

Afsluiting

Ja ik zou nog veel meer configuratie details kunnen geven. Zoals het nesten van VM's (wat ik doe) of de ZFS configuratie. Maar dat heeft weinig meer te maken met het topic. Mocht er desalnietemin belangstelling voor zijn dan zal ik kijken wat ik kan doen.

[ Voor 100% gewijzigd door tvwes op 26-02-2017 13:16 . Reden: verbruik verduidelijkt na extra metingen ]

[jesses]

Hi,

Ik sta op het punt een kleine ESX server te maken welke in de meterkast komt te staan.
Hier wil ik de volgende applicaties op draaien:
*Freeradius
*Fileserver (freenas?)
*En tot slot moet iets van software voor mijn axis camera.
*Gentoo om mee te oefenen

Ik zit nu te denken aan de volgende hardware en zou graag weten of jullie nog tips voor mij hebben:

https://tweakers.net/pric...-elite-110/specificaties/
https://tweakers.net/pricewatch/476475/msi-h110i-pro.html
https://tweakers.net/pric...l-core-i5-6400-boxed.html
https://tweakers.net/pric...ucial-ct2k8g4dfd8213.html
https://tweakers.net/pric...ic-g-series-360-watt.html

Ik heb zelf nog 2X WD red 4TB + 1X Crucial 128GB SSD.
ESXI zelf wil ik op een USB stick zetten en bovenstaande storage beschikbaar stellen voor de VMs.

Of adviseren jullie eerder een i3 processor icm 32GB geheugen?

Alvast bedankt voor het meedenken!

Gr,
Jesse

[tvwes]

Als je "even" naar mijn post hier boven leest dan zie je dat je met een i3 al een heel eind kan komen. Omdat je niet zoveel eisen (qua VM guest OS's) hebt zou je ook kunnen overwegen om alles in FreeBSD te draaien. Je kan een mix van jails en VM's maken. FreeBSD heeft een ingebouwde hypervisor genaamd bhyve. Het voordeel is dat je niet tegen het probleem van de bootdisk (voor je FreeNAS) aanloopt (zoals ik in mijn post hierboven beschrijf). Je kan je AHCI controller wel doorgeven maar je kan er niet van booten! Je hebt dus extra storage, zoals NVME, USB, iSCSI etc nodig. Ik heb een NVME disk erbij gestoken omdit probleem op te lossen. USB kan maar daar zitten wat haken en ogen aan. In principe ondersteund ESXi een USB datastore ook niet. Als je alles native in FreeBSD doet heb je dit gezeur niet.

[jesses]

tvwes schreef op maandag 20 februari 2017 @ 14:35:
Als je "even" naar mijn post hier boven leest dan zie je dat je met een i3 al een heel eind kan komen. Omdat je niet zoveel eisen (qua VM guest OS's) hebt zou je ook kunnen overwegen om alles in FreeBSD te draaien. Je kan een mix van jails en VM's maken. FreeBSD heeft een ingebouwde hypervisor genaamd bhyve. Het voordeel is dat je niet tegen het probleem van de bootdisk (voor je FreeNAS) aanloopt (zoals ik in mijn post hierboven beschrijf). Je kan je AHCI controller wel doorgeven maar je kan er niet van booten! Je hebt dus extra storage, zoals NVME, USB, iSCSI etc nodig. Ik heb een NVME disk erbij gestoken omdit probleem op te lossen. USB kan maar daar zitten wat haken en ogen aan. In principe ondersteund ESXi een USB datastore ook niet. Als je alles native in FreeBSD doet heb je dit gezeur niet.

Bedankt voor je reply!
Ik ga dan voor de i3 icm FreeBSD (hier nog wel "even" het nodige uitzoek/lees werk voor doen:)

Gr,
Jesse

[CurlyMo]

tvwes schreef op maandag 20 februari 2017 @ 14:35: Je kan een mix van jails en VM's maken. FreeBSD heeft een ingebouwde hypervisor genaamd bhyve.

Ik heb dit een tijdje zo gehad, maar ik vond bhyve nog verre van het gemak hebben als van ESXi en nog niet stabiel genoeg.

[jesses]

CurlyMo schreef op maandag 20 februari 2017 @ 16:04:
[...]

Ik heb dit een tijdje zo gehad, maar ik vond bhyve nog verre van het gemak hebben als van ESXi en nog niet stabiel genoeg.

Ik zie wel dat FreeBSD gelijk een mooie oplossing heeft voor fouttolerantie (ZFS),
Wat bedoel je met niet stabiel? FreeBSD is toch juist heel stabiel?

[CurlyMo]

jesses schreef op maandag 20 februari 2017 @ 16:42:
[...]


Ik zie wel dat FreeBSD gelijk een mooie oplossing heeft voor fouttolerantie (ZFS),
Wat bedoel je met niet stabiel? FreeBSD is toch juist heel stabiel?

Ik heb het over bhyve specifiek. ZFS en FreeBSD staan hier niet ter discussie.

[tvwes]

jesses schreef op maandag 20 februari 2017 @ 16:42:
[...]


Ik zie wel dat FreeBSD gelijk een mooie oplossing heeft voor fouttolerantie (ZFS),
Wat bedoel je met niet stabiel? FreeBSD is toch juist heel stabiel?

FreeBSD is behoorlijk stabiel, zeker als je binnen de gebaande paden blijft. FreeBSD jails zijn zeer stabiel en is een prima manier om applicaties als FreeRadius te hosten. Ik heb te weinig ervaring met bhyve om te kunnen beooordelen of het stabiel is. Feit is dat het bij lange na niet zo'n volwassen product is als ESXi. Dat er bugs in zitten kan je donder op zeggen, terwijl dat bij ESXi een stuk minder is.
Een afweging die je kan maken is of je het leuk vind om met technologie te rommelen? Zo ja dan kan je best FreeBSD met bhyve proberen. Werkt het voor jouw niet dan heb je een of twee avonden wat ervaring opgedaan en kan je alsnog overstappen naar ESXi.
Ik heb een hele partij legacy VM's en kon niet zomaar afscheid nemen van ESXi. Wat ik met die nieuwste versie echt graag had gedaan. De kern is echt helemaal top alsmede de prestaties maar het beheer is een ramp.
Totslot wil ik benadrukken dat FreeBSD niet een of ander beun project is. Een investering daarin is geen verspilde moeite.

Veel succes.