Zuinige ESXi Server

[|sWORDs|]

WeiserMaster schreef op maandag 10 oktober 2016 @ 14:26:
Ik wil de kaart gebruiken voor een Freenas VM met ZFS.

Geef gewoon de Intel controller door en zoek iets anders om van te booten(PXE, USB, NVMe)/datastores(USB, NVMe, NFS/iSCSI). Je kunt zelfs een kleine NVMe drive pakken (mits je bord kan booten van NVMe) en een tweede datastore terug delen vanaf de Freenas VM.

Bedenk wel dat als je USB als datastore gebruikt je geen USB device passthrough meer kunt doen (maar wel een hele controller mocht je er twee hebben) en dat je een datastore nodig hebt om de Freenas VM op te zetten.

[ Voor 44% gewijzigd door |sWORDs| op 10-10-2016 14:38 ]

[FireDrunk]

Write Cache en ZFS zijn vijanden van elkaar! Dat is een no-go! Er zijn succesvolle verhalen over die specifieke controllers (SAS2008 based) in IR mode, maar doorgaans is het sterk aangeraden om de controllers te crossflashen naar IT mode. Dat kan met bijna alle controllers die gebaseerd zijn op het LSI SAS2008 chipset of nieuwer zoals de SAS2108 en SAS2308.

[MvL]

|sWORDs| schreef op maandag 10 oktober 2016 @ 14:16:
[...]

Er zijn heel veel opties mogelijk, maar omdat je nogal wat verschillende hardware hebt kan het lastig worden.

Je hebt twee 3.6GHz Xeon E3 servers met 32GB, een Haswell en een Skylake, daar zou je een cluster met shared storage van kunnen maken, met Haswell EVC mode en dan een derde server die niet in het cluster zit en de storage voor ESXi (flash) en overig (spinning) doet (NFS/iSCSI), met nog wat extra VM's.

Je grootste uitdaging wordt daarbij de shared storage, die is of traag (Gbit naar cluster) of snel (lokaal op de derde machine). Daarnaast is het nut van een cluster vrij gering, want storage server down is alles down.

Andere optie zou VSAN in het cluster met een witness op de storage server. Zelfde probleem met Gigabit, maar main storage host down is dan niet alles down.

Bedankt voor je reactie sWORDs!

Je stelt dus voor een cluster bestaand uit 2 servers en een aparte server voor storage? Dit vind ik zeker een interessante optie.

Deze storage server zal dan iets van NAS software moeten draaien neem ik aan? Rockstor vind ik bijvoorbeeld een interessante oplossing. Ik las van het weekend dat er aan de RAID 5/6 bug wordt gewerkt. Om nog even te vermelden ik heb ook 5 8tb SMR drives voor media storage. Van wat ik begrepen heb schijnen deze wel goed te werken in een BTRFS omgeving maar dit dien ik nog wel nader te onderzoeken. Er zijn natuurlijk meerder mogelijkheden. Misschien heb je een aanbeveling voor bepaalde software?

Wat betreft netwerk snelheid ik heb 2 Intel quad Pro VT kaarten in de hardware doos liggen. Hier kunnen we wel iets mee neem ik aan?

Edit ik zie in je comment dat je op storage server ook eventueel VM's draait. Toch hier ook ESXi op?

[|sWORDs|]

MvL schreef op maandag 10 oktober 2016 @ 16:58:
[...]


Bedankt voor je reactie sWORDs!

Je stelt dus voor een cluster bestaand uit 2 servers en een aparte server voor storage? Dit vind ik zeker een interessante optie.

Deze storage server zal dan iets van NAS software moeten draaien neem ik aan? Rockstor vind ik bijvoorbeeld een interessante oplossing. Ik las van het weekend dat er aan de RAID 5/6 bug wordt gewerkt. Om nog even te vermelden ik heb ook 5 8tb SMR drives voor media storage. Van wat ik begrepen heb schijnen deze wel goed te werken in een BTRFS omgeving maar dit dien ik nog wel nader te onderzoeken. Er zijn natuurlijk meerder mogelijkheden. Misschien heb je een aanbeveling voor bepaalde software?

Wat betreft netwerk snelheid ik heb 2 Intel quad Pro VT kaarten in de hardware doos liggen. Hier kunnen we wel iets mee neem ik aan?

Edit ik zie in je comment dat je op storage server ook eventueel VM's draait. Toch hier ook ESXi op?

Er zijn voor shared storage ook meerdere opties (en nog wel meer dan hier staan als je verder out of the box denkt):
1) VSAN
2) ESXi met VT-d van een controller
3) Bare metal

Waarbij je bij 2 en 3 natuurlijke diverse software storage oplossingen kunt gebruiken.

Gbit blijft Gbit hoeveel kaarten je er ook instopt. Zaken als MPIO helpen een beetje (112MB/s->130MB/s) per host, maar hebben alleen echt zin naar meerdere hosts (170MB/s naar twee of 224MB/s met path pinning). En 130-170MB/s voor een bak VM's is niet erg veel, maar je zou wel de IO hogs op de storage host kunnen draaien met optie 2.

[ Voor 4% gewijzigd door |sWORDs| op 10-10-2016 17:26 ]

[MvL]

Waar moet ik aan denken als ik out of the box denk?

Ik eerlijk gezegd toch wel geneigd naar een bare metal oplossing voor de storage.

Dus netwerk snelheid is met een aparte storage server belangrijk (1Gbit een no-go). Oplossing is dan 10Gbit maar dan wel een prijzige...

[WeiserMaster]

De intel controller kan ik helaas niet doorgeven, ook al is ESXi op een USB Stick geïnstalleerd. de enige USB controller heb ik momenteel nog nodig, totdat de FreeNAS VM beschikbaar is.. Ook niet echt handig
NVMe heeft het moederbord ook niet beschikbaar.
Goed, een kaart zonder Write Cache wordt het dan.
Gebruikt FreeNAS dan een RAMdisk o.i.d. om te cachen?
Ik kijk binnenkort nog wat de mogelijkheden zijn op een ander systeem, met de huidige hypervisor kom ik tegen een paar obstakels aan

[|sWORDs|]

MvL schreef op maandag 10 oktober 2016 @ 17:45:
Waar moet ik aan denken als ik out of the box denk?

Ik eerlijk gezegd toch wel geneigd naar een bare metal oplossing voor de storage.

Dus netwerk snelheid is met een aparte storage server belangrijk (1Gbit een no-go). Oplossing is dan 10Gbit maar dan wel een prijzige...

Als de prijzen van 10Gbit switches je tegen staan zou je kunnen kijken naar Infiniband of VSAN met 10Gbit cross-connect en witness traffic op 1Gbit:

[ Voor 63% gewijzigd door |sWORDs| op 10-10-2016 17:55 ]

[|sWORDs|]

WeiserMaster schreef op maandag 10 oktober 2016 @ 17:51:
De intel controller kan ik helaas niet doorgeven, ook al is ESXi op een USB Stick geïnstalleerd.
[...]

Natuurlijk wel.

[ Voor 39% gewijzigd door |sWORDs| op 10-10-2016 17:53 ]

[MvL]

|sWORDs| schreef op maandag 10 oktober 2016 @ 17:51:
[...]


Als de prijzen van 10Gbit switches je tegen staan zou je kunnen kijken naar Infiniband of VSAN met 10Gbit cross-connect en witness traffic op 1Gbit:
[afbeelding]

Ja, ik vind het nu nog aardig aan de prijzige kant maar als ik bv de Ubiquiti EdgeSwitch 16‑XG voorbij zie komen gaat mijn hart toch wel sneller kloppen.

Ik liet net even mijn gedachten hierover gaan een Xeon D bordje met 10Gbit poorten voor de storage server zou dan wel mooi zijn. Supermicro heeft dacht ik wel mooi spul...

[WeiserMaster]

|sWORDs| schreef op maandag 10 oktober 2016 @ 17:53:
[...]

Natuurlijk wel.

Ok, dus het is afhankelijk van de controller ook nog mogelijk om enkele i.p.v. alle poorten door te geven?
Dat is ook een handige oplossing. Daar ga ik naar kijken

[|sWORDs|]

WeiserMaster schreef op maandag 10 oktober 2016 @ 18:00:
[...]


Ok, dus het is afhankelijk van de controller ook nog mogelijk om enkele i.p.v. alle poorten door te geven?
Dat is ook een handige oplossing. Daar ga ik naar kijken

Sommige (o.a. X?9/C6?0) Intel chipset bestaan uit 4+6 poort controllers (sommige borden hebben niet alle poorten in gebruik, dan is het 2+6 of 4+4), maar de meeste (consumer/Xeon E3/Xeon D) borden hebben een enkele 2, 4 of 6 poorts controller.
Wat je wel eens ziet op consumer borden is een extra jMicron o.i.d. controller die het mogelijk met de community driver doet, dan zou je die voor boot/datastore kunnen gebruiken, maar dan moet je die wel integreren in de iso.

[ Voor 23% gewijzigd door |sWORDs| op 10-10-2016 18:06 ]

[|sWORDs|]

MvL schreef op maandag 10 oktober 2016 @ 18:00:
[...]


Ja, ik vind het nu nog aardig aan de prijzige kant maar als ik bv de Ubiquiti EdgeSwitch 16‑XG voorbij zie komen gaat mijn hart toch wel sneller kloppen.

Ik liet net even mijn gedachten hierover gaan een Xeon D bordje met 10Gbit poorten voor de storage server zou dan wel mooi zijn. Supermicro heeft dacht ik wel mooi spul...

Zakelijk ben ik vendor neutral, maar hier thuis is alles Supermicro.

[WeiserMaster]

Ok, goed om te weten. Bedankt
Waarom eigenlijk de voorliefde voor Supermicro?

[|sWORDs|]

WeiserMaster schreef op maandag 10 oktober 2016 @ 18:25:
Ok, goed om te weten. Bedankt
Waarom eigenlijk de voorliefde voor Supermicro?

Goede prijzen, goede functies, goede compatibiliteit, snelle updates. Privé de beste ervaring mee.

MvL schreef op maandag 10 oktober 2016 @ 18:00:
[...]


Ja, ik vind het nu nog aardig aan de prijzige kant maar als ik bv de Ubiquiti EdgeSwitch 16‑XG voorbij zie komen gaat mijn hart toch wel sneller kloppen.

Ik liet net even mijn gedachten hierover gaan een Xeon D bordje met 10Gbit poorten voor de storage server zou dan wel mooi zijn. Supermicro heeft dacht ik wel mooi spul...

Ik heb die nog niet in handen gehad, maar de 10Gbit switches die ik wel gezien heb wil je niet binnen een paar meter van een woon of slaapkamer hebben.

edit, XG is stukken beter: "We observed noise in the 36-38dba."

[ Voor 53% gewijzigd door |sWORDs| op 10-10-2016 19:27 ]

[MvL]

Het geluid is niet zo heel groot probleem. Het hangt allemaal in een rack in een aparte ruimte.

[HyperBart]

FireDrunk schreef op zaterdag 02 april 2016 @ 12:26:
Ik geloof je direct, maar ik zie dat niet terug in de reviews.


[...]

Steady State testing is bij TheSSDReview.com 45 minuten lang.

Dat is best pittig. Als ik zie wat er daarna nog aan average bandwith langskomt, ben ik toch redelijk positief.

Stiekem zou ik het gewoon wel eens willen testen met mijn workloads. Een 950 Pro 512GB vs een Intel 750 400GB, en dan 40 VM's uitrollen, patchen, en weer afsluiten en verwijderen (allemaal via iSCSI).

Kijken wat het verschil is

* HyperBart meldt zich weer even. Zal ik dan die Intel aanschaffen voor in mijn nieuwe Supermicro "build" (Supermicro SYS-E300-8D) en leggen we ze eens langs elkaar?

Heb met veel interesse het overleg gevolgd tussen jou en Swords ivm die Samsung vs de Intel. Nu doet Swords me twijfelen om voor de Intel te gaan maar dan offer ik voor één SSD wel ineens de M2 aansluiting en de ruimte voor een 2.5inch op...

[ Voor 13% gewijzigd door HyperBart op 10-10-2016 23:09 ]

[|sWORDs|]

Ik heb ze beide twee keer, zeg maar wat jullie willen zien en ik draai de test.
Maar de uitslag is niet zo lastig te voorspellen, het ligt aan de test:
Prestaties in hoge temperatuur: Intel
Hoge queue depth: Intel
Langdurig (7 minuten+) continu schrijven: Intel
Lage queue depth: Samsung
Burst: Samsung

VMFS burst:

Drive	Seq Read Q64T2	Seq Write Q64T2	4K Read Q64T2	4K Write Q64T2	Seq Read	Seq Write	4K Read	4K Write
Intel 750 400GB	2306	998.5	630.9	617.1	1174	875.8	30.92	65.93
Samsung 950 512GB	2392	1521	900.9	431.1	1400	1537	40.09	73.99

En dat de Samsung vrij snel terug valt in performance is hier wel goed te zien:


Intel:




Heb je lichte korte workloads en weinig temperatuur dan heb je aan de Samsungs een super drive.

[ Voor 131% gewijzigd door |sWORDs| op 11-10-2016 00:14 ]

[CurlyMo]

|sWORDs| schreef op maandag 10 oktober 2016 @ 23:20:
Heb je lichte korte workloads en lage temperatuur dan heb je aan de Samsungs een super drive.

En wat is een lage temperatuur?

[FireDrunk]

Staat hier wel een redelijk duidelijk verhaal:
https://www.pugetsystems....-Throttling-Analysis-776/

De exacte temperatuur is niet te meten zeggen ze. Maar ik schat dat het ding gaat throttlen bij ~50c.
Als je dus je dat ding in de airflow van je kast hebt zitten (en niet plat op het bord) en je jaagt er redelijk wat verse lucht door heen, denk ik dat je vrij goed zit, mits je geen Dual GPU setup hebt

Ik heb (nog steeds) 2 van die PCIe insteekkaartjes liggen om M.2 SSD's op te prikken, maar na de verhalen van Swords, twijfel ik ook weer... Als ik die insteekkaartjes zou gebruiken, zou ik er denk ik ook heatsinks op doen.

(maar ik zou voor de 960 Pro gaan, en niet de 950 )

http://www.thessdreview.c...g-ssd-global-summit-2016/

King of the road will be the Samsung 960 Pro PCIe Gen 3×4 NVMe M.2 SSD which will be the first consumer 2TB M.2 SSD release, also available in 512GB and 1TB capacities. Capacity isn’t the strong point of this SSD, however, as its speed is advertised at 3.5GB/s read and 2.1GB/s write, along with random read and write IOPS of 440K and 360K, making it the smallest and highest performing SSD available worldwide. The Samsung 960 Pro will come with a limited 5 year warranty or a total write count of 1.2Pb (whichever comes first) at the 2TB capacity.

Dat is een Template uitrollen in VMware in 1 seconde

[ Voor 62% gewijzigd door FireDrunk op 11-10-2016 08:13 ]

[CurlyMo]

FireDrunk schreef op dinsdag 11 oktober 2016 @ 08:08:
(maar ik zou voor de 960 Pro gaan, en niet de 950 )

Nadeel daarvan is dat ze er niet in kleinere groottes zijn (128 / 256).

[|sWORDs|]

FireDrunk schreef op dinsdag 11 oktober 2016 @ 08:08:
Staat hier wel een redelijk duidelijk verhaal:
https://www.pugetsystems....-Throttling-Analysis-776/

De exacte temperatuur is niet te meten zeggen ze. Maar ik schat dat het ding gaat throttlen bij ~50c.
Als je dus je dat ding in de airflow van je kast hebt zitten (en niet plat op het bord) en je jaagt er redelijk wat verse lucht door heen, denk ik dat je vrij goed zit, mits je geen Dual GPU setup hebt

Ik heb (nog steeds) 2 van die PCIe insteekkaartjes liggen om M.2 SSD's op te prikken, maar na de verhalen van Swords, twijfel ik ook weer... Als ik die insteekkaartjes zou gebruiken, zou ik er denk ik ook heatsinks op doen.

(maar ik zou voor de 960 Pro gaan, en niet de 950 )

http://www.thessdreview.c...g-ssd-global-summit-2016/


[...]


Dat is een Template uitrollen in VMware in 1 seconde

Er zijn nog meer redenen om voor Intel te gaan:

1. Drivers - In alle testen komt naar voren dat zowel de Intel als de Samsung het beter doen met hun eigen drivers dan generic drivers. Intel maakt wel drivers voor ESXi, Samsung niet. Combineer dat met de berichten dat VMware werkt aan ParaVirtual NVMe en de 4K verschillen (ook bij lage QD) kunnen in de toekomst nog wel eens veel groter worden.
2. Firmware - Een Intel kun je flashen onder ESXi, Samsung niet. De SM/PM Samsung firmwares zijn al vrijwel helemaal niet te krijgen. Je kunt trouwens ook een lagere power mode zetten (tegen minder performance).
3. Compatibiliteit - De Intel 750 is een P3700 met mogelijk andere flash chips (Google backed flash drive report laat wel zien dat je geen voordeel hebt van 'enterprise' flash chips), maar de P3700 staat op de HCL (ook VSAN HCL) en wordt dus getest. Samsung heeft geen enterprise drives met dezelfde controllers op de HCL.

En misschien eigenlijk ook nog wel de prijs, bij de 400GB betaal je 10ct per gigabyte meer dan bij Samsung, maar je krijgt een product in handen wat eigenlijk 70ct per GB meer is. Bij de 800GB is dat nog maar een cent en bij de 1.2TB is het zelfs 6 cent minder.

Generic info:

code:

[root@localhost:~] /opt/intel/isdct/isdct show -all -intelssd

- Intel SSD 750 Series CVCQ51350096400CGN -

AggregationThreshold : 0
AggregationTime : 0
ArbitrationBurst : 0
Bootloader : 8B1B0131
CoalescingDisable : 1
DevicePath : intel-nvme0
DeviceStatus : Healthy
EnduranceAnalyzer : 128.92 years
ErrorString : 
Firmware : 8EV10171
FirmwareUpdateAvailable : 8EV10174
HighPriorityWeightArbitration : 0
IOCompletionQueuesRequested : 30
IOSubmissionQueuesRequested : 30
Index : 0
Intel : True
IntelGen3SATA : False
IntelNVMe : True
InterruptVector : 0
LatencyTrackingEnabled : False
LowPriorityWeightArbitration : 0
Lun : 0
MediumPriorityWeightArbitration : 0
ModelNumber : INTEL SSDPE2MW400G4
NVMeControllerID : 0
NVMeMajorVersion : 1
NVMeMinorVersion : 0
NVMePowerState : 0
NVMeTertiaryVersion : 0
NamespaceId : 4294967295
NativeMaxLBA : 781422767
NumErrorLogPageEntries : 63
OEM : Generic
PCILinkGenSpeed : 3
PCILinkWidth : 4
PowerGovernorMode : 0 25W
Product : CarmelRidge
ProductFamily : Intel SSD 750 Series
ProductProtocol : NVME
SMARTEnabled : True
SMARTHealthCriticalWarningsConfiguration : 0
SMBusAddress : 106
SectorSize : 512
SerialNumber : CVCQ51350096400CGN
TCGSupported : False
TempThreshold : 85
TimeLimitedErrorRecovery : 0
TrimSupported : True
VolatileWriteCacheEnabled : False
WriteAtomicityDisableNormal : 0

Firmware update:

code:

[root@localhost:~] /opt/intel/isdct/isdct load -intelssd 0
WARNING! You have selected to update the drives firmware! 
Proceed with the update? (Y|N): Y
Updating firmware...

- Intel SSD 750 Series CVCQ51350096400CGN -

Status : Firmware Updated Successfully. Please reboot the system.

Sensors:

code:

[root@localhost:~] /opt/intel/isdct/isdct show -sensor

- Intel SSD 750 Series CVCQ51350096400CGN -

AvailableSpare : 100
AverageNandEraseCycles : 17
CrcErrorCount : 75
DeviceStatus : Healthy
EndToEndErrorDetectionCount : 0
EnduranceAnalyzer : 128.92
EraseFailCount : 0
ErrorInfoLogEntries : 0x00
HighestLifetimeTemperature : 40
LowestLifetimeTemperature : 17
MaxNandEraseCycles : 25
MediaErrors : 0x00
MinNandEraseCycles : 14
PercentageUsed : 0
PowerCycles : 0x034
PowerOnHours : 0x01192
ProgramFailCount : 0
SpecifiedPCBMaxOperatingTemp : 71
SpecifiedPCBMinOperatingTemp : 0
Temperature : 28 Celsius
ThermalThrottleCount : 0
ThermalThrottleStatus : 0
UnsafeShutdowns : 0x02F

Hier zie je dus ook duidelijk dat mijn 750 in 255 dagen nog nooit vanwege temperatuur 'ge-throttle-d' heeft, alle vier niet trouwens, terwijl er één tussen een passieve nVidia Tesla M60 (300W TDP) en twee E5 2690's (twee keer 135W TDP) zat:

code:

"HighestLifetimeTemperature":57,
"SpecifiedPCBMaxOperatingTemp":85,
"ThermalThrottleCount":0,

[ Voor 166% gewijzigd door |sWORDs| op 11-10-2016 11:39 ]

[FireDrunk]

Zojuist even getest, en ik kan een Datastore Cluster aanmaken van lokale Datastores. Dat betekend dus dat ik 'gewoon' 2 losse PCIe SSD's kan kopen, in de machines kan schroeven en ze samen in de machines kan aanspreken als 1 datastore (handig met scripten).

Uiteraard betekent dat: Geen HA, en de VM's op een specifieke PCIe SSD kunnen alleen op een specifieke host draaien, maar dat maakt me niet uit.

[MvL]

|sWORDs| schreef op maandag 10 oktober 2016 @ 17:51:
[...]


Als de prijzen van 10Gbit switches je tegen staan zou je kunnen kijken naar Infiniband of VSAN met 10Gbit cross-connect en witness traffic op 1Gbit:
[afbeelding]

Nog bedankt voor het plaatje.

Jullie zijn wel echte pro's hier dat kan ik wel zien aan de termen die hier voorbij komen. Daar ben ik maar een prutser bij. Ik moet duidelijk zeker nog veel meer research doen.., naar bijvoorbeeld virtual SAN.

[ Voor 0% gewijzigd door MvL op 11-10-2016 21:56 . Reden: typo ]

[ThinkPad]

Heeft iemand een aanrader voor een niet al te dure (<275 euro) Skylake set die VT-D doet en lekker zuinig is?
Ik zoek een mobo, CPU, RAM. De rest (PSU, SSD e.d.) heb ik nog.

Ik wil graag m'n Synology NAS en Intel NUC (ESXi server) vervangen door één apparaat. De Microserver Gen8 leek mij wel wat, maar die is alweer verouderd inmiddels. Heb begrepen dat ik beter een Skylake opstelling kan bouwen. Maar laatste keer dat ik zelf hardware heb samengesteld is al >5 jaar geleden, dus enige hulp zou welkom zijn

[ Voor 7% gewijzigd door ThinkPad op 12-10-2016 13:36 ]

[renedis]

ThinkPadd schreef op woensdag 12 oktober 2016 @ 13:26:
Heeft iemand een aanrader voor een niet al te dure (<275 euro) Skylake set die VT-D doet en lekker zuinig is?
Ik zoek een mobo, CPU, RAM. De rest (PSU, SSD e.d.) heb ik nog.

Ik wil graag m'n Synology NAS en Intel NUC (ESXi server) vervangen door één apparaat. De Microserver Gen8 leek mij wel wat, maar die is alweer verouderd inmiddels. Heb begrepen dat ik beter een Skylake opstelling kan bouwen. Maar laatste keer dat ik zelf hardware heb samengesteld is al >5 jaar geleden, dus enige hulp zou welkom zijn

Kortom wil jij je NAS + NUC (ESXi) samenvoegen in één ESXi machine. Let wel, je maakt er wel een SPOF van. Ik zelf krijg dat er niet meer door heen met de WAF ivm beschibkaarheid Domoticz en TVHeadend.

En ga voor minimaal 8GB RAM als ik je mag adviseren.

Als PCI-Passthrough geen vereiste is voldoet elke simpele moederbord in principe. Maar Indien jij een losse SATA controller naar bijvoorbeeld een XPenology/FreeNAS VM wilt doorgeven moet je PCI-Passthrough hebben. Niet alle moederborden ondersteunen PCI-Passthrough van de onboard SATA controller. Als ze het wel ondersteunen dien je meestal met een mod dit te activeren.
Deze optie is soms natuurlijk wel een gokje.

Kijk voor leuke systeempjes ook eens naar de openingspost op deze pagina.

Je NUC met i3 heeft een Passmark score van 2290. Dat is niets vergeleken met de meeste Skylake CPU's. Een G4400 heeft bijvoorbeeld een score van 3676.


**Onthoud wel.. boven aangegeven is een leidraad, geen garantie (om mij zelf in te dekken )

[ThinkPad]

renedis schreef op woensdag 12 oktober 2016 @ 15:25:
[...]

Klopt. Ik doe dermate weinig met de NAS (behalve fileshares aanbieden en incidenteel eens een torrentje downloaden) dat ik het naar mijn idee beter kan samenvoegen in één apparaat. Een SPOF is niet erg, de NUC heeft zich wel bewezen als stabiele ESXi hypervisor. Ik heb ook geen beademingsapparatuur eraan hangen die 99,999999% uptime moet hebben ofzo

Ik heb nu 8GB in de NUC zitten, dat is inderdaad wel het minimum.

Dat passthrough verhaal is wat lastig. Ik wil 2x 3.5" schijven in het systeem plaatsen, als RAID1-array onder XPenology (o.i.d.). Daarna nog een SSD die ik als datastore wil geven aan ESXi. Ik begrijp echter dat bij de meeste moederborden alle SATA-poorten op één controller hangen. Ik zou dan dus niet die splitsing kunnen maken om de VM aan ESXi te geven als datastore en de HDD's als RAID-array instellen in een VM. Dan zou ik op een losse SATA-controller uit komen en heb ik dus wel PCI-Passthrough nodig?

De moederborden genoemd in die post kan ik zo 123 niks van terugvinden qua PCI-Passthrough. Heeft iemand een idee of ik dat nodig ga hebben en zo ja, een voorbeeld van een moederbord die dat kan?

De G4400 lijkt mij prima als die VT-d doet. De i3 is mij nu snel zat voor de basic dingetjes die ik er mee doe.

Met de pricewatch: Crucial CT2K8G4DFD8213 en pricewatch: Intel Pentium G4400 Boxed zit ik op ~128 euro. Met een budget van 275 euro heb ik dus nog 147 euro over voor een goed moederbord. Zaken als 2x LAN (zodat ik in de toekomst wellicht eens wat met pfSense o.i.d. kan doen) en iLo / IPMI zijn ook wel leuk, is dat wellicht voor dat budget te krijgen? Supermicro bordje ofzo?

[ Voor 25% gewijzigd door ThinkPad op 12-10-2016 21:28 ]

[Paul]

ThinkPadd schreef op woensdag 12 oktober 2016 @ 21:07:
Ik zou dan dus niet die splitsing kunnen maken om de VM aan ESXi te geven als datastore en de HDD's als RAID-array instellen in een VM. Dan zou ik op een losse SATA-controller uit komen en heb ik dus wel PCI-Passthrough nodig?

Ligt er aan wat je als NAS-software in wil zetten. Ga je ZFS gebruiken dan is het het beste om de controller door te geven en heb je passthrough nodig, ga je iets anders gebruiken dan hoeft het niet per se. Losse schijven één op één doorzetten kan op zich wel (local RDM, is het het een en ander over te vinden) zonder PCI Passthrough maar wordt voor ZFS niet aangeraden geloof ik.

Als je een NVMe-SSD neemt heb je maar één SATA-controller (onboard of anders) nodig, die ene kun je dan doorgeven met passthrough. Of je nu een insteekkaart of de onboard controller doorgeeft, ze zitten beiden op PCI en voor beiden heb je voor het doorgeven Passthrough nodig.

Supermicro-borden worden veel gebruikt. Niet super zuinig, niet de goedkoopste, maar staan (over het algemeen) wel op de HCL, ondersteunen passthrough en hebben meestal een IPMI-verbinding (KVM over IP), bijvoorbeeld de pricewatch: Supermicro X11SSL-F

XPEnology / DSM gebruikt EXT4, daar kun je "gewoon" wat VMDK's aan geven en hoef je SSD dus ook geen NVMe-variant te zijn. Je hebt dan 3 datastores, de SSD met je VM's, HDD 1 met één VMDK voor je XPEnology, en HDD 2 met de andere VMDK voor XPEnology.

[ThinkPad]

Paul schreef op woensdag 12 oktober 2016 @ 21:32:
[...]

RDM schijnt over het algemeen een afrader te zijn, dus die weg wil ik eigenlijk niet in gaan ZFS niet van plan. Een NVMe-SSD is een goeie suggestie, maar heb net vorig jaar een 256GB SSD gekocht. Die nu weer vervangen door een NVMe-variant wordt echt even te duur

Die Supermicro is een mooi ding, maar eigenlijk te duur. Wat voor verbruik moet je op rekenen met twee strippen DDR4, een G4400 (of vergelijkbaar zuinige processor) en een 2.5" SSD eraan? Slikt dat bord trouwens alleen ECC geheugen, of kan er ook non-ECC geheugen in

M.b.t. een VMDK op disk1 en een VMDK op disk2, is dat even betrouwbaar als de RAID1-array die ik nu in m'n Synology heb Klinkt toch een beetje als een hobby-bob oplossing.
Nadeel is dan sowieso dat ik de data op de twee disks tijdelijk ergens anders moet plaatsen, dan een VMDK op de disk knallen en dan data terugpompen in die VMDK's. Ik heb toch liever dat ik gewoon de RAID1-array (ext4) kan importeren. Dat zou een _hoop_ kopieertijd schelen en bijbehorende downtime.

[ Voor 19% gewijzigd door ThinkPad op 12-10-2016 22:08 ]

[Paul]

ThinkPadd schreef op woensdag 12 oktober 2016 @ 22:05:
Die Supermicro is een mooi ding, maar eigenlijk te duur. Wat voor verbruik moet je op rekenen met twee strippen DDR4, een G4400 (of vergelijkbaar zuinige processor) en een 2.5" SSD eraan?

Geen idee, ik heb een variant een socket 2011 (server) Xeon en ECC Registered geheugen, plus nog eens 5 harddisks. Doet idle 60 Watt.

Slikt dat bord trouwens alleen ECC geheugen, of kan er ook non-ECC geheugen in

En kan ook niet-ECC in. Dat scheelt overigens maar 2 of 3 euro per 8 GB dus daarvoor hoef je het niet per se te laten.

M.b.t. een VMDK op disk1 en een VMDK op disk2, is dat even betrouwbaar als de RAID1-array die ik nu in m'n Synology heb Klinkt toch een beetje als een hobby-bob oplossing.

Ja en nee. Ik weet niet hoeveel je Synology met S.M.A.R.T.-gegevens doet, dat kan op die manier niet meer. Maar je schijven gaan er niet sneller stuk van of zo.

Nadeel is dan sowieso dat ik de data op de twee disks tijdelijk ergens anders moet plaatsen, dan een VMDK op de disk knallen en dan data terugpompen in die VMDK's. Ik heb toch liever dat ik gewoon de RAID1-array (ext4) kan importeren. Dat zou een _hoop_ kopieertijd schelen en bijbehorende downtime.

Dan moet je de schijven aan een controller hangen die je met VT-D doorgeeft of RDM's gebruiken. VMware snapt niks van EXT 4, dus zul je de schijven rechtstreeks bij je NAS moeten zien te krijgen.

[ThinkPad]

Duidelijk, heel erg bedankt Ik zit al een stuk beter in de materie nu.

Als iemand nog andere suggesties heeft voor een bord wat PCI-Passthrough doet? Die oplossing met VMDK's klinkt toch als een 'net-niet' oplossing voor mij.
Die Supermicro is zoals ik al zei echt een tof ding, maar met het prijskaartje wat daar aan hangt ga ik over het budget heen wat ik er aan wil uitgeven om het leuk te houden IPMI en 2x LAN is geen vereiste, meer een leuke gimmick. Maar gaat dus buiten m'n budget vallen. Met PCI-Passthrough kan ik altijd nog een Intel netwerkkaart inprikken. En IPMI... tsja dan maar een beeldscherm aansluiten

[ Voor 31% gewijzigd door ThinkPad op 12-10-2016 22:28 ]

[CurlyMo]

Heeft iemand wel eens een goedkope dual NVME M.2 naar PCIe kaart gezien? Dat zou ideaal zijn voor een mini-itx build.

Hmm. Misschien is dit wel een optie:
http://www.addonics.com/products/ad3m2spx4.php

Vraag is of hij twee Samsung 960 250 EVO kan faciliteren qua snelheid.

[ Voor 44% gewijzigd door CurlyMo op 12-10-2016 22:59 ]

[FireDrunk]

Het kan niet zonder hele speciale chips (o.a. PLX / Pericom en Avago maken ze). Die krengen zijn erg duur, en kosten aardig wat latency (de duurste modellen doen 126ns, wat je dus keiharde iops kost op een NMVe drive). Dat komt omdat PCIe direct op je CPU zit, en er een volgens mij geen native multiplex optie in het PCIe protocol zit, en ze dus wat vage truukjes uit moeten halen...

Al met al, niet doen, gewoon een groter bord kopen, of een ITX plank met M.2 nemen, en in de PCIe poort een PCIe -> M.2 converter steken

EDIT: dat kaartje is dus alleen maar conversie van M.2 naar SATA, en werkt dus alleen met AHCI SSD's.

[ Voor 9% gewijzigd door FireDrunk op 12-10-2016 23:09 ]

[|sWORDs|]

CurlyMo schreef op woensdag 12 oktober 2016 @ 22:54:
Heeft iemand wel eens een goedkope dual NVME M.2 naar PCIe kaart gezien? Dat zou ideaal zijn voor een mini-itx build.

Hmm. Misschien is dit wel een optie:
http://www.addonics.com/products/ad3m2spx4.php

Vraag is of hij twee Samsung 960 250 EVO kan faciliteren qua snelheid.

Er zijn bifurcation kaarten die zijn niet heel duur maar die gaan naar U.2. Vandaar zou je naar M.2 in U.2 2.5" kunnen gaan, maar dan zit je in totaal al snel op een PLX kaart, al hoe wel er volgens mij geen PLX kaarten meer gemaakt worden omdat ze geen hot swap ondersteunen. Daarnaast moet het bord dan ook bifurcation ondersteunen.

Edit: Met een beetje googlen zie ik dat Dell en HP PCI-e x16 naar 4x M.2 bifurcation kaarten hebben, alleen zie ik die zelfs met een riser niet in een m-itx build passen.
Dell:


Edit 2: Ook een tweakers artikel: nieuws: HP brengt pci-e-kaart met plek voor vier m2-ssd's uit

$675 met twee 256GB modules (1129 met twee 512GB), extra 256GB modules zijn $275 per stuk (450 voor 512GB).

[ Voor 37% gewijzigd door |sWORDs| op 12-10-2016 23:58 ]

[Paul]

Ik zie op eBay heel veel x4 naar dual M.2, maar dan is één daarvan alleen SATA...

x8 kaarten naar 2x M.2 kom ik zo snel ook niet tegen, of x16 naar 4 stuks... Wel zijn er splitters te vinden die van een x8 of x16 slot meerdere x4 sloten maakt bijvoorbeeld...

[CurlyMo]

FireDrunk schreef op woensdag 12 oktober 2016 @ 23:08:
Al met al, niet doen, gewoon een groter bord kopen, of een ITX plank met M.2 nemen, en in de PCIe poort een PCIe -> M.2 converter steken

Of een msata naar m.2?
http://www.ebay.nl/itm/Mi...9f5421:g:T8UAAOSw1DtXIGrk

[OMX2000]

Hey |sWords| hoe staat het met nieuwe topic?

[|sWORDs|]

OMX2000 schreef op donderdag 13 oktober 2016 @ 07:07:
Hey |sWords| hoe staat het met nieuwe topic?

Ik heb nog niet echt een duidelijk antwoord over waar die moet komen. Misschien schiet ik hem zo gewoon in en mocht er bezwaar op de locatie komen dan kunnen ze hem verplaatsen.

Het grote ESXi/vSphere Topic

[ Voor 7% gewijzigd door |sWORDs| op 13-10-2016 08:29 ]

[-The_Mask-]

Paul schreef op donderdag 13 oktober 2016 @ 00:46:
Ik zie op eBay heel veel x4 naar dual M.2, maar dan is één daarvan alleen SATA...

x8 kaarten naar 2x M.2 kom ik zo snel ook niet tegen, of x16 naar 4 stuks... Wel zijn er splitters te vinden die van een x8 of x16 slot meerdere x4 sloten maakt bijvoorbeeld...

Daarvoor heb je een PCI Express bridge chip nodig en dan wordt het sowieso geen goedkope oplossing meer.

[ Voor 8% gewijzigd door -The_Mask- op 13-10-2016 08:42 ]

[Paul]

-The_Mask- schreef op donderdag 13 oktober 2016 @ 08:39:
Daarvoor heb je een PCI Express bridge chip nodig

Ik ben niet zo bekend met de layout van een PCI-Express slot, maar zo te zien bevat het eerste stukje alleen JTAG en SMBus, en daarna een X aantal PCIe lanes. Zo op het eerste gezicht zie ik dus niet in waarom je daarvan niet ½X naar slot 1 en ½X naar slot 2 kunt leiden? Ze doen dus ergens nog het een en ander waardoor een deel van het flexibele idee "Hier heb je 16 of 28 lanes, zie maar wat je er mee doet" teniet wordt gedaan? Je kunt wel de ene kant op (1 device met minder lanes) maar niet de andere kant op (een teveel aan lanes verdelen over meerdere devices)?

[ThinkPad]

Paul schreef op woensdag 12 oktober 2016 @ 21:32:
[...]
Supermicro-borden worden veel gebruikt. Niet super zuinig, niet de goedkoopste, maar staan (over het algemeen) wel op de HCL, ondersteunen passthrough en hebben meestal een IPMI-verbinding (KVM over IP), bijvoorbeeld de pricewatch: Supermicro X11SSL-F
[...]

Heb de pricewatch: Asus P10S-I ook nog gevonden. Is iets vriendelijker geprijsd.
Zelfde chipset als die Supermicro
Ook dual LAN
Ook IPMI

Wordt in het 'zuinige server topic' ook veel genoemd.

Maar ondersteund dat bord ook PCI-Passthrough? Ik kan dat in de specs van Asus niet goed vinden (weet ook niet of "PCI-Passthrough" de term is waar ik op moet zoeken).

[hans_lenze]

ThinkPadd schreef op woensdag 12 oktober 2016 @ 22:27:
Duidelijk, heel erg bedankt Ik zit al een stuk beter in de materie nu.

Als iemand nog andere suggesties heeft voor een bord wat PCI-Passthrough doet? Die oplossing met VMDK's klinkt toch als een 'net-niet' oplossing voor mij.
Die Supermicro is zoals ik al zei echt een tof ding, maar met het prijskaartje wat daar aan hangt ga ik over het budget heen wat ik er aan wil uitgeven om het leuk te houden IPMI en 2x LAN is geen vereiste, meer een leuke gimmick. Maar gaat dus buiten m'n budget vallen. Met PCI-Passthrough kan ik altijd nog een Intel netwerkkaart inprikken. En IPMI... tsja dan maar een beeldscherm aansluiten

De "net-niet" VMDK oplossing draait hier inmiddels meerdere jaren in verschillende hardware opstellingen met een Xpenology VM. Tot nu toe prima stabiel en snel zat. Op dit moment zit er een Asrock N3700-itx bord met ESXi onder. Die is snel zat voor een Xpenology, VCSA, sexilog en een Windows VM.

[-The_Mask-]

Paul schreef op donderdag 13 oktober 2016 @ 09:00:
[...]
Ik ben niet zo bekend met de layout van een PCI-Express slot, maar zo te zien bevat het eerste stukje alleen JTAG en SMBus, en daarna een X aantal PCIe lanes. Zo op het eerste gezicht zie ik dus niet in waarom je daarvan niet ½X naar slot 1 en ½X naar slot 2 kunt leiden? Ze doen dus ergens nog het een en ander waardoor een deel van het flexibele idee "Hier heb je 16 of 28 lanes, zie maar wat je er mee doet" teniet wordt gedaan? Je kunt wel de ene kant op (1 device met minder lanes) maar niet de andere kant op (een teveel aan lanes verdelen over meerdere devices)?

Ik weet zo niet waarom niet, nooit onderzocht. Maar een PCI Express bridge chip wordt altijd gebruikt voor twee apparaten op één PCI Express slot en na een snelle Google actie hebben de M.2 kaarten het ook, dus het lijkt mij vrij duidelijk dat het verplicht is.

[renedis]

ThinkPadd schreef op donderdag 13 oktober 2016 @ 09:01:
[...]

Heb de pricewatch: Asus P10S-I ook nog gevonden. Is iets vriendelijker geprijsd.
Zelfde chipset als die Supermicro
Ook dual LAN
Ook IPMI

Wordt in het 'zuinige server topic' ook veel genoemd.

Maar ondersteund dat bord ook PCI-Passthrough? Ik kan dat in de specs van Asus niet goed vinden (weet ook niet of "PCI-Passthrough" de term is waar ik op moet zoeken).

Jup werkt! Erg mooi bordje! De IPMI werkt NIET OOTB omdat je een addon module moet kopen.
Deze zit bij de goedkopere bordjes er namelijk niet bij. De mini-SAS 2.0 naar 4x SATA converter zit er ook NIET bij, deze moet je nog los kopen. Mocht je voor dit bordje gaan heb ik die nog wel liggen voor je.

Vergeet niet dat je icm PCI-Passthrough dan een NVME SSD moet hebben of een extra SATA controller of dergelijke voor je datastore.

De mini pci-express werkt op x1 en zal bij een NVME SSD dus niet optimaal werken. Een NVME SSD heeft x4 nodig om volledige bandbreedte te hebben.

RDM zou ik niet aanraden icm een XPenology VM. Werkt naar mijn mening niet lekker (trager) en je verliest de mogelijkheid tot disk spindown. We hebben het in dit topic hier wel over "zuinigheid" wat je dan gegarandeerd verliest.

[ThinkPad]

renedis schreef op donderdag 13 oktober 2016 @ 10:15:
[...]

Met al die extra meuk die nodig is kan ik beter zo'n Supermicro kopen, die is dan €40-50 goedkoper dan die Asus met alle losse accesoires er nog bij.

Of heb ik voor die Supermicro ook nog dergelijke kabeltjes e.d. nodig? En een extra SATA-controller moet daar ook nog bij? Of valt de SATA-controller van de Supermicro wel 'op te knippen' dat ik bijv. twee HDD's aan een VM wil geven en een andere aan de ESXi host?

[renedis]

ThinkPadd schreef op donderdag 13 oktober 2016 @ 12:19:
[...]

Met al die extra meuk die nodig is kan ik beter zo'n Supermicro kopen, die is dan €40-50 goedkoper dan die Asus met alle losse accesoires er nog bij.

Of heb ik voor die Supermicro ook nog dergelijke kabeltjes e.d. nodig? En een extra SATA-controller moet daar ook nog bij? Of valt de SATA-controller van de Supermicro wel 'op te knippen' dat ik bijv. twee HDD's aan een VM wil geven en een andere aan de ESXi host?

Alles met een C232 of een C236 chipset heeft 1 interne SATA controller waardoor je een extra (PCI-E) SATA controller moet aanschaffen.Tenzij er een extra contrller al op het moederbord zit.

De SuperMicro's staan niet bekend als zuinige bordjes maar zijn wel enorm bang-for-buck. Ik zelf ben altijd erg fan van ze.

Ik weet niet welke je hebt gezien maar deze heeft 2 SATA controllers (C232 + LSI3008):
pricewatch: Supermicro X11SSL-CF

Deze zou denk ik dan aan je eisen voldoen zonder extra aanschaf van SATA controllers/IPMI addons etc.

De rest van de SuperMicro's met micro-atx hebben dit NIET:
pricewatch: Supermicro X11SSL-F
pricewatch: Supermicro X11SSH-F
pricewatch: Supermicro X11SAE-M
pricewatch: Supermicro X11SSH-LN4F
pricewatch: Supermicro X11SSZ-TLN4F

De Asus P10S-I is mini-itx.. ik weet niet wat je vereiste is op dat gebied?

[ThinkPad]

Kanonnen, wat een geld

Ik heb een pricewatch: Cooler Master Elite 335 behuizing, daar past een mITX bordje waarschijnlijk wel in denk ik?

Door 'Paul' werd mij de pricewatch: Supermicro X11SSL-F aangeraden: Paul in "Zuinige ESXi Server"

Dat leek mij wel een goede optie. Moet er dus nog wel een SATA-kaartje bij dus. Die andere Supermicro's die je noemt zijn echt te duur helaas.

[FireDrunk]

Waarom wil je perse mITX in een Elite 335? Daar kan gewoon ATX in?
Dan pin je jezelf ook niet zo vast qua uitbreidingsmogelijkheden.

[ThinkPad]

FireDrunk schreef op donderdag 13 oktober 2016 @ 16:36:
Waarom wil je perse mITX in een Elite 335? Daar kan gewoon ATX in?
Dan pin je jezelf ook niet zo vast qua uitbreidingsmogelijkheden.

Ik hoef niet perse mITX hoor Weet niet waar dat idee weg komt, formaat boeit mij niet, als het maar in die case past.

[ Voor 62% gewijzigd door ThinkPad op 13-10-2016 22:09 ]

[FireDrunk]

Ah, my bad.

Als dit: (https://tweakers.net/cate...mh4UqdXLZd_3UhmxMPfKic8wE) je enige eisen zijn, waarom dan niet de goedkoopste?

pricewatch: ASRock H110M-DGS

ftp://europe.asrock.com/Manual/H110M-DGS.pdf
Pagina 47 heeft het over VT-d support.

CurlyMo schreef op donderdag 13 oktober 2016 @ 06:51:
[...]

Of een msata naar m.2?
http://www.ebay.nl/itm/Mi...9f5421:g:T8UAAOSw1DtXIGrk

Waarom wil je dit? Buiten dat het niet kan (Je kan NMVE niet omzetten naar SATA, en dat wil je ook helemaal niet), begrijp ik niet waarom je perse M.2 wil? Je wil gewoon 2 SSD's in een ITX build? Waarom dan geen SATA? Als je 2 NVME SSDs wil, *moet* je 2 PCIe poorten gebruiken. En laten ITX builds die nou bijna nooit hebben (in ieder geval niet in 2 * x4+, eerder 1*x16 en 1*x1).

Anders zit je gewoon aan een plank met onboard M.2 vast, en daarna koop je een PCIe -> 1 * M.2 Converter kaartje. Dat kan prima.

pricewatch: Gigabyte GA-H110N
pricewatch: MSI B150I GAMING PRO

(Let op: dat zijn wel rechtopstaande M.2 sockets, dus hele lange kaartjes kunnen lastig inbouwen zijn in hele kleine ITX kastjes.)

[ Voor 56% gewijzigd door FireDrunk op 14-10-2016 08:09 ]

[CurlyMo]

FireDrunk schreef op vrijdag 14 oktober 2016 @ 08:00:
Waarom wil je dit? Buiten dat het niet kan (Je kan NMVE niet omzetten naar SATA, en dat wil je ook helemaal niet), begrijp ik niet waarom je perse M.2 wil? Je wil gewoon 2 SSD's in een ITX build? Waarom dan geen SATA? Als je 2 NVME SSDs wil, *moet* je 2 PCIe poorten gebruiken. En laten ITX builds die nou bijna nooit hebben (in ieder geval niet in 2 * x4+, eerder 1*x16 en 1*x1).

Omdat ik in het kader van mijn experimenten graag het uiterste uit mijn (huidige) NAS wil halen. Deels omdat het misschien kan

[FireDrunk]

Waarom perse 2 SSDs dan? Wil je graag RAID doen over de SSDs? Anders kan je misschien beter kijken naar een wat dikkere losse SSD? Dat maakt de build een stuk makkelijker.

Een 800GB Intel 750 ofzo?

[renedis]

ThinkPadd schreef op donderdag 13 oktober 2016 @ 15:31:
Kanonnen, wat een geld

Ik heb een pricewatch: Cooler Master Elite 335 behuizing, daar past een mITX bordje waarschijnlijk wel in denk ik?

Door 'Paul' werd mij de pricewatch: Supermicro X11SSL-F aangeraden: Paul in "Zuinige ESXi Server"

Dat leek mij wel een goede optie. Moet er dus nog wel een SATA-kaartje bij dus. Die andere Supermicro's die je noemt zijn echt te duur helaas.

Het is altijd een hoop geld.


Als ik het een beetje gok bij jou wil je graag het volgende:
- 2 NICs
- SATA controller doorgeven via PCI-Passthrough met minimaal 2x 3.5" HDD's er aan.
- Apart een datastore via SATA SSD
- IPMI
- 30W/35W idle (incl 2x HDD's)

In de volgende kast:
- pricewatch: Cooler Master Elite 335

De X11SSL-F is overigens geen slechte optie:

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 55,95	€ 55,95
1	Supermicro X11SSL-F	€ 204,75	€ 204,75
2	Kingston D1G72M150	€ 36,18	€ 72,36
1	Conceptronic PCI Express Card SATA 600	€ 28,30	€ 28,30
Bekijk collectie Importeer producten		Totaal	€ 361,36

Een budget van +- 275,- euro met de eisen die je hebt is wel erg lastig. Als je de IPMI en 2e NIC laat vallen dan kan het zo'n 150 euro goedkoper vergeleken met bovenstaande:

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 55,95	€ 55,95
1	ASRock H110M-DGS	€ 47,80	€ 47,80
1	Crucial CT2K8G4DFD8213	€ 71,95	€ 71,95
1	Conceptronic PCI Express Card SATA 600	€ 28,30	€ 28,30
Bekijk collectie Importeer producten		Totaal	€ 204,-

Aandachtspunten:
- De extra SATA controller is van ASMedia. Je moet drivers injecten (.vib file) voordat het werkt in ESXi.
- De goedkopere optie heeft een Realtek NIC. Je moet dus wederom drivers injecten voor ESXi.
- Je weet niet zeker of je de onboard SATA van de goedkopere ASRock kan gebruiken via PCI-Passthrough. Dat het bordje Passthrough/vt-d ondersteund betekent nog niet dat het ook kán. Een andere oplossing is dat je de ASmedia controller doorgeeft ipv de onboard. Dan gebruik je de onboard voor je datastore. Enig nadeel is dat je met de ASmedia max 2 HDD's kan aansluiten. Wil je toch meer poorten/veiligheid dan moet je voor een duurdere andere (V&A) SATA controller gaan (of 2x de controller kopen als je meer HDD's wilt). Een controller zoals die van V&A trekt zo'n 8W.

[CurlyMo]

FireDrunk schreef op vrijdag 14 oktober 2016 @ 08:43:
Waarom perse 2 SSDs dan? Wil je graag RAID doen over de SSDs? Anders kan je misschien beter kijken naar een wat dikkere losse SSD? Dat maakt de build een stuk makkelijker.

Een 800GB Intel 750 ofzo?

2 kleine SSD's kunnen een mirrored SLOG faciliteren.

[ThinkPad]

FireDrunk schreef op vrijdag 14 oktober 2016 @ 08:00:
Ah, my bad.

Als dit: (https://tweakers.net/cate...mh4UqdXLZd_3UhmxMPfKic8wE) je enige eisen zijn, waarom dan niet de goedkoopste?

pricewatch: ASRock H110M-DGS

ftp://europe.asrock.com/Manual/H110M-DGS.pdf
Pagina 47 heeft het over VT-d support.
[...]

Zoals renedis zegt is het maar de vraag of de SATA-controller via PCI-Passthrough valt door te geven. Ook is Realtek wat minder, heb dan toch liever een Intel LAN-adapter. En de 2x LAN van de Supermicro is wel nice, net als de IPMI.

renedis schreef op vrijdag 14 oktober 2016 @ 10:03:
[...]
Het is altijd een hoop geld.

Als ik het een beetje gok bij jou wil je graag het volgende:
- 2 NICs
- SATA controller doorgeven via PCI-Passthrough met minimaal 2x 3.5" HDD's er aan.
- Apart een datastore via SATA SSD
- IPMI
- 30W/35W idle (incl 2x HDD's)

In de volgende kast:
- pricewatch: Cooler Master Elite 335

De X11SSL-F is overigens geen slechte optie:
[...]

Aandachtspunten:
- De extra SATA controller is van ASMedia. Je moet drivers injecten (.vib file) voordat het werkt in ESXi.
- De goedkopere optie heeft een Realtek NIC. Je moet dus wederom drivers injecten voor ESXi.
- Je weet niet zeker of je de onboard SATA van de goedkopere ASRock kan gebruiken via PCI-Passthrough. Dat het bordje Passthrough/vt-d ondersteund betekent nog niet dat het ook kán. Een andere oplossing is dat je de ASmedia controller doorgeeft ipv de onboard. Dan gebruik je de onboard voor je datastore. Enig nadeel is dat je met de ASmedia max 2 HDD's kan aansluiten. Wil je toch meer poorten/veiligheid dan moet je voor een duurdere andere (V&A) SATA controller gaan (of 2x de controller kopen als je meer HDD's wilt). Een controller zoals die van V&A trekt zo'n 8W.

LOL, dat SATA-kaartje heb ik al eens gehad productreview: Conceptronic PCI Express Card SATA 600 review door ThinkPad
Nadeel was toen dat hij bleef haken op 164MB/s, maar voor een traditionele HDD is dat prima. Meen dat ik toen tegen die snelheidslimiet aanliep met een SSD. Kaartje kostte mij via eBay maar €11 trouwens, bijna twee tientjes goedkoper dan in NL

De wensen die je opnoemt klopt inderdaad wel aardig. Stroomverbruik en SATA verhaal is wel een harde eis, 2x LAN en IPMI is een 'nice to have'.

Supermicro vs. ASRock is nogal een verschil trouwens. Dat is voor mij een beetje het verschil tussen een dikke Mercedes en een Opel Corsa ofzo ASRock is in mijn ogen toch wat meer een budgetmerk.
Hoeft niks mis mee te zijn, maar Supermicro heb ik toch wat meer vertrouwen in. Dan liever nu een paar tientjes meer uitgeven en een stabiele server voor een aantal jaren hebben.

Is er trouwens nog een reden dat je voor die specifieke 2x8GB (Kingston / Crucial) stripjes hebt gekozen? Had zelf deze 1x16GB gevonden, even duur: pricewatch: Kingston ValueRAM KVR21N15D8/16

Qua financiën ben ik er opzich wel uit dat ik die Supermicro X11SSL-F wil kopen. Enige waar ik nog mee zit is het stroomverbruik. Ik kan eigenlijk nergens voorbeelden vinden van hoeveel zo'n bordje met een G4400 ofzo dan gaat verbruiken
Zou nogal jammer zijn als ik de boel dichtschroef, aanzet en de powermeter niet onder de 50W ofzo komt

[ Voor 3% gewijzigd door ThinkPad op 14-10-2016 10:42 ]

[FireDrunk]

Wat vind je van deze? pricewatch: Asus P10S-M DC
Mijn verwachting is heel eerlijk gezegd, dat die zuiniger is dan de SuperMicro. De Asus P10S-I scoort ook heel goed, en dit bord is eigenlijk helemaal hetzelfde op het formaat na.

Je mist dan de IPMI (die moet je los bijkopen). Voordeel is dat het bord M.2 sloten heeft. Nadeel is dat het bord 1 PCIe poort minder heeft (maar logisch, want die gaan naar de M.2 sloten).

https://tweakers.net/pricewatch/compare/589141;589837/

[FireDrunk]

CurlyMo schreef op vrijdag 14 oktober 2016 @ 10:33:
[...]

2 kleine SSD's kunnen een mirrored SLOG faciliteren.

Persoonlijk vertrouw ik een single Intel 750 meer als SLOG dan twee Samsung's in RAID. Dit komt omdat de Intel ingebouwde stroomverliesbescherming heeft, en de Samsung's niet (dat is voorbestemd aan de enterprise modellen).

De kans dat je Samsung's de SLOG daadwerkelijk goed opvangen is dus kleiner bij stroomverlies dan bij de Intel.

Als het gaat om uitval van een individuele SSD zal de Samsung het waarschijnlijk wel gewoon goed doen.

Desalniettemin, ik zou Samsung's niet zomaar als SLOG gebruiken, maar dat is mijn persoonlijke mening.
Dat komt vooral omdat Samsung erg, erg agressief in DRAM cached op zijn SSD's.

[CurlyMo]

FireDrunk schreef op vrijdag 14 oktober 2016 @ 11:13:
[...]


Persoonlijk vertrouw ik een single Intel 750 meer als SLOG dan twee Samsung's in RAID. Dit komt omdat de Intel ingebouwde stroomverliesbescherming heeft, en de Samsung's niet (dat is voorbestemd aan de enterprise modellen).

Daar hebben we weer die ebay m.2 naar pcie met supercap voor toch?

[ThinkPad]

FireDrunk schreef op vrijdag 14 oktober 2016 @ 11:07:
Wat vind je van deze? pricewatch: Asus P10S-M DC
Mijn verwachting is heel eerlijk gezegd, dat die zuiniger is dan de SuperMicro. De Asus P10S-I scoort ook heel goed, en dit bord is eigenlijk helemaal hetzelfde op het formaat na.

Je mist dan de IPMI (die moet je los bijkopen). Voordeel is dat het bord M.2 sloten heeft. Nadeel is dat het bord 1 PCIe poort minder heeft (maar logisch, want die gaan naar de M.2 sloten).

https://tweakers.net/pricewatch/compare/589141;589837/

Ook een leuk ding, die mist dan alleen IPMI in vergelijking met die Supermicro zo te zien.
De keren dat ik nu met m'n NUC een monitor eraan heb gehad is ongeveer nul, als ESXi eenmaal draait dan hoef je niet meer bij de hardware zelf via KVM o.i.d.

Zuinigheid is belangrijker dan IPMI/KVM, dus die Asus is dan beter als jij het idee hebt dat die zuiniger gaat zijn.

Zou je bij dat Asus bordje de SATA-controller wel in losse stukken kunnen opknippen? Of moet daar ook een extra SATA-kaartje in zoals de ASM1061? Over die ASM kwam ik namelijk een zorgwekkend bericht tegen: Compizfox in "Het grote DIY RAID NAS topic deel 3"

Is dat nog steeds relevant? Ik denk dat ik de

[FireDrunk]

CurlyMo schreef op vrijdag 14 oktober 2016 @ 11:14:
[...]

Daar hebben we weer die ebay m.2 naar pcie met supercap voor toch?

True, dat helpt vast, maar zonder daadwerkelijke test zou ik er mijn belangrijkste data niet aan toevertrouwen.

Voor een speeltuin VM pool die je met wat gevloek kan restoren, is het OK, maar voor je familiefotoalbum zou ik het niet doen.

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 11:17:
[...]

Ook een leuk ding, die mist dan alleen IPMI in vergelijking met die Supermicro zo te zien.
De keren dat ik nu met m'n NUC een monitor eraan heb gehad is ongeveer nul, als ESXi eenmaal draait dan hoef je niet meer bij de hardware zelf via KVM o.i.d.

Zuinigheid is belangrijker dan IPMI/KVM, dus die Asus is dan beter als jij het idee hebt dat die zuiniger gaat zijn.

Zou je bij dat Asus bordje de SATA-controller wel in losse stukken kunnen opknippen? Of moet daar ook een extra SATA-kaartje in zoals de ASM1061? Over die ASM kwam ik namelijk een zorgwekkend bericht tegen: Compizfox in "Het grote DIY RAID NAS topic deel 3"

Is dat nog steeds relevant? Ik denk dat ik de

Volgens mij is daar ook weer een tegenbericht van geweest, maar pin me er niet op vast.
Mooie is dat je de M.2 sloten dan kan gebruiken om van te booten, dus hoef je de controller niet op te splitsen.

[ThinkPad]

FireDrunk schreef op vrijdag 14 oktober 2016 @ 11:19:
[...]
Volgens mij is daar ook weer een tegenbericht van geweest, maar pin me er niet op vast.
Mooie is dat je de M.2 sloten dan kan gebruiken om van te booten, dus hoef je de controller niet op te splitsen.

Zal nog eens zoeken van het weekend wat ik kan vinden over die ASM1061. Die M.2 is ook wel handig, dan zou ik daar een SSD in kunnen stoppen als datastore voor ESXi en daar m'n VM's op draaien. En dan de SATA-poorten doorgeven aan een VM om daar een RAID-array te draaien.

Punt is alleen dat ik in de NUC nu een pricewatch: Crucial MX200 mSATA 250GB heb zitten, dat gaat niet passen in een M.2 Moet ik nog weer geld bijleggen voor een nieuwe SSD... Grrrr

[FireDrunk]

Als je op een tight budget zit, zijn zulk soort setups vaak lastig leuk te realiseren. Je komt gaandeweg altijd op nieuwe requirements, i know the feeling

Qua NVMe Boot opties, kan je naar deze kijken: pricewatch: Intel 600p 128GB

De goedkoopste NVMe bootbare SSD.

[Paul]

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 11:17:
Zou je bij dat Asus bordje de SATA-controller wel in losse stukken kunnen opknippen?

Je kunt een controller nooit opknippen. Of je geeft hem door, of niet, einde discussie Sommige borden hebben twee controllers onboard, dus dan geef je maar een deel van de SATA-poorten door, maar je geeft nog steeds een hele controller door.

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 11:24:
dat gaat niet passen in een M.2 Moet ik nog weer geld bijleggen voor een nieuwe SSD... Grrrr

Let wel dat je dan een NVMe M.2 SSD moet kopen, als je een SATA M.2 SSD koopt dan zit deze op de poorten van de enige controller op het bord. Je verliest dan (een van) de grijze SATA-poorten.

[ThinkPad]

Dikke ellende met die SSD's dan...
128GB is te weinig, ik wil niet kleiner dan 250GB erin hebben. NVMe wordt weer peperduur. Ik blijf gewoon bij m'n huidige mSATA SSD.

Idee is nu om de mSATA aan één van de SATA-aansluitingen van het mobo te hangen (heb een mSATA > 2.5" SATA behuizing) en een ASM1061 kaartje erin drukken (met 2x 3.5" eraan) die ik dan doorgeef aan een VM. Het is alleen de vraag of die pricewatch: Asus P10S-M DC PCI-Passthrough doet. Hoe kom ik daarachter?

[ Voor 9% gewijzigd door ThinkPad op 14-10-2016 11:54 ]

[|sWORDs|]

Het is bijna knap om een Haswell of nieuwer bord te vinden die geen VT-d support heeft.
Qua CPU's was het wat lastiger, maar met Skylake heeft alles VT-d.

Zie I/O HW Virtualisatie in nieuwe startpost.

[ Voor 77% gewijzigd door |sWORDs| op 14-10-2016 12:07 ]

[ThinkPad]

VT-d == PCI-Passthrough

[|sWORDs|]

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 12:07:
VT-d == PCI-Passthrough

PCI-Passthrough doe je met IOMMU, Intel noemt dat Virtualization Technology for Directed I/O (VT-d).


IOMMU wordt meestal gebruikt om virtuele machines directe toegang te geven tot storage controllers.
Op socket 1151 en 2011 ondersteunen alle chipsets, BIOS-en en CPU's VT-d.

|sWORDs| schreef op donderdag 13 oktober 2016 @ 08:28:

Het grote VMware ESXi/vSphere Topic

[...]

I/O HW Virtualisatie:

Er zijn momenteel drie manieren om vanuit hardware I/O beschikbaar te maken voor een virtuele machine.

1. IOMMU (Device -> 1 virtuele machine op dezelfde host)
2. SR-IOV (Device -> n virtuele machines op dezelfde host)
3. MR-IOV (Device -> n virtuele machines op n hosts)

Input/Output Memory Management Unit (IOMMU):

Met Intel® Virtualization Technology for Directed I/O (VT-d) of AMD I/O Virtualization Technology (IOMMU) kan er een DMA translation gedaan worden op chipset niveau waardoor er directe communicatie mogelijk is tussen het geheugen van één virtuele machine en een IO hub. Er zit dus geen software tussen, de hypervisor vraagt het alleen aan, maar doet zelf geen translation.



Een manier om dit te begrijpen is als een soort van VLAN voor IO devices per virtuele machine op PCIe niveau.
Om het te kunnen gebruiken moeten meerdere onderdelen het ondersteunen: Chipset, BIOS, CPU en je PCI(e) device moet te resetten (flr, d3d0, link, bridge of default) zijn. Op socket 1151 en 2011 ondersteunen alle chipsets, BIOS-en en CPU's VT-d.

IOMMU wordt meestal gebruikt om virtuele machines directe toegang te geven tot storage controllers (bijvoorbeeld voor ZFS), USB hubs of GPU's. ESXi heeft een filterlijst (/etc/vmware/passthru.map) met devices die doorgegeven kunnen worden, deze is aan te passen met bijvoorbeeld een Intel SATA controller. Mocht het een storage controller zijn dan mag het niet je bootdevice en er geen datastores op staan om hem door te kunnen geven.
[...]

[ Voor 84% gewijzigd door |sWORDs| op 14-10-2016 12:17 ]

[ThinkPad]

Thanks.

Dan gaat dit de hardware worden denk ik:

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 55,95	€ 55,95
1	Asus P10S-M DC	€ 188,35	€ 188,35
1	Kingston ValueRAM KVR21N15D8/16	€ 71,52	€ 71,52
1	Conceptronic PCI Express Card SATA 600	€ 28,30	€ 28,30
Bekijk collectie Importeer producten		Totaal	€ 344,12

De Supermicro is overigens niet veel duurder:

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 55,95	€ 55,95
1	Supermicro X11SSL-F	€ 204,75	€ 204,75
1	Kingston ValueRAM KVR21N15D8/16	€ 71,52	€ 71,52
1	Conceptronic PCI Express Card SATA 600	€ 28,30	€ 28,30
Bekijk collectie Importeer producten		Totaal	€ 360,52

Maar omdat ik focus op zuinigheid kan ik dus beter voor de Asus gaan. Al kriebelt het nog wel steeds om voor die 15 euro meer toch voor de Supermicro te gaan, aangezien dat een 'echt' serverboard is. Maar dan moet ik wel reviews vinden dat hij zuinig is, zal van het weekend nog eens zoeken.

[ Voor 33% gewijzigd door ThinkPad op 14-10-2016 12:26 ]

[|sWORDs|]

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 12:16:
Thanks.

Dan gaat dit de hardware worden denk ik:

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 55,95	€ 55,95
1	Asus P10S-M DC	€ 188,35	€ 188,35
2	WD Green HDD, 2TB	€ 79,90	€ 159,80
1	Cooler Master Elite 335	€ 0,-	€ 0,-
1	Kingston ValueRAM KVR21N15D8/16	€ 71,52	€ 71,52
1	Conceptronic PCI Express Card SATA 600	€ 28,30	€ 28,30
1	Seasonic G-series 360 watt	€ 58,95	€ 58,95
1	Crucial MX200 mSATA 250GB	€ 89,22	€ 89,22
Bekijk collectie Importeer producten		Totaal	€ 652,09

HDD's, behuizing, voeding, SSD heb ik dus al.

CPU, Mobo, RAM en SATA-controller moet ik nog kopen.

Pagina 74 van Asus P10S-M DC manual:
VT-d [Enabled]

Intel G4400 in ARK:
Intel® Virtualization Technology for Directed I/O (VT-d) ‡ Yes

Of die Conceptronics goed werkt in passthrough weet ik niet, ik kan nergens de supported reset modes vinden. En er zijn meerdere mensen die problemen hebben met ASM1061:

Compizfox schreef op dinsdag 26 februari 2013 @ 23:46:
Nee ik kan het ook niet verklaren

Feit is wel dat meerdere mensen, met verschillende moederborden precies ditzelfde hebben ervaren.
Daarbij maakt het ook niet uit of het om een ASM1061 gaat die on-board is geplaatst (als 2e onboard controller) of op een los PCI-e kaartje.

Anderen hebben wel succes:

CurlyMo schreef op woensdag 07 september 2016 @ 11:13:
In het kader van de ASM1061 ervaringen. Ik heb voor een tweede server dit kaartje gekocht:
PCI-E To SATA3 PCI E SATA3.0 6Gb/s the SSD Asmedia Chip Expansion Card ASM1061

Deze draait nu naast een Cougar Point 6 port SATA AHCI Controller. Doorgeven van louter de onboard SATA gaat ook in deze combinatie prima.

Alleen doet hij dus het omgekeerde, namelijk de Intel SATA doorgeven.

[ Voor 13% gewijzigd door |sWORDs| op 14-10-2016 12:41 ]

[ThinkPad]

Wat zou het alternatief zijn als ik gewoon simpel twee diskjes wil doorgeven aan een VM? Dan zit je al gauw naar een M1015 (met bijbehorend stroomverbruik ) ofzo te kijken denk ik?

De SSD zal wel op het moederbord moeten, de SSD aan de ASM1061 gaat niet sneller dan 164MB/s zoals ik in het verleden al heb gemeten.

[ Voor 27% gewijzigd door ThinkPad op 14-10-2016 12:44 ]

[renedis]

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 12:42:
Wat zou het alternatief zijn als ik gewoon simpel twee diskjes wil doorgeven aan een VM? Dan zit je al gauw naar een M1015 (met bijbehorend stroomverbruik ) ofzo te kijken denk ik?

De SSD zal wel op het moederbord moeten, de SSD aan de ASM1061 gaat niet sneller dan 161MB/s zoals ik in het verleden al heb gemeten.

Ik heb persoonlijk met de ASM op ESXi 6 nog geen problemen ondervonden..

[Compizfox]

|sWORDs| schreef op vrijdag 14 oktober 2016 @ 12:24:
Of die Conceptronics goed werkt in passthrough weet ik niet, ik kan nergens de supported reset modes vinden. En er zijn meerdere mensen die problemen hebben met ASM1061:

[...]

Anderen hebben wel succes:

[...]

Alleen doet hij dus het omgekeerde, namelijk de Intel SATA doorgeven.

Dat is dan de eerste keer dat ik dat hoor

Ik weet zowel uit eigen ervaring, als uit ervaring van vele anderen, dat de ASM1061 niet werkt als je de onboard controller doorgeeft.

[|sWORDs|]

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 12:42:
Wat zou het alternatief zijn als ik gewoon simpel twee diskjes wil doorgeven aan een VM? Dan zit je al gauw naar een M1015 (met bijbehorend stroomverbruik ) ofzo te kijken denk ik?

De SSD zal wel op het moederbord moeten, de SSD aan de ASM1061 gaat niet sneller dan 164MB/s zoals ik in het verleden al heb gemeten.

NVMe op het bord en de Intel AHCI controller doorgeven, goedkoper, sneller en zuiniger dan een mSATA+LSI.

Vanaf 64 euro (128GB):
pricewatch: Intel 600p 128GB

Of 99 voor een snelle 256GB:
pricewatch: Samsung PM961 256GB

[ Voor 20% gewijzigd door |sWORDs| op 14-10-2016 13:01 ]

[Paul]

Probleem is een beetje dat die mSATA al gekocht is (in het verleden)

ThinkPad, kun je die mSATA niet ergens anders gebruiken? Of op V&A zetten voor € 80 en (na afdingen door de koper ) 3 tientjes bijleggen op een NVMe-SSD?

|sWORDs| schreef op vrijdag 14 oktober 2016 @ 12:55:
Vanaf 64 euro:
pricewatch: Intel 600p 128GB

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 11:52:
Dikke ellende met die SSD's dan...
128GB is te weinig, ik wil niet kleiner dan 250GB erin hebben. NVMe wordt weer peperduur. Ik blijf gewoon bij m'n huidige mSATA SSD.

pricewatch: Intel 600p 256GB € 96, al zou ik voor die € 4 verschil voor de pricewatch: Samsung PM961 256GB gaan.

Het SuperMicro bord heeft geen M.2 slot, dan zou je er een http://www.ebay.com/itm/A...950-PRO-SSD-/322024141420 bij moeten kopen

[ Voor 67% gewijzigd door Paul op 14-10-2016 13:05 ]

[Paul]

Oeps, mag weg... Kan iemand hem rapporteren?

[ Voor 153% gewijzigd door Paul op 14-10-2016 13:05 ]

[ThinkPad]

Zou wel een hoop ergernis schelen he, dan weten we immers zeker dat het gaat werken. Probleem is alleen dat ik nu al buiten m'n budget loop eigenlijk. Ook al zijn het dan 'maar' 3 tientjes, het tikt wel allemaal aan
Zal er van het weekend eens aan gaan rekenen...

[|sWORDs|]

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 13:07:
Zou wel een hoop ergernis schelen he, dan weten we immers zeker dat het gaat werken. Probleem is alleen dat ik nu al buiten m'n budget loop eigenlijk. Ook al zijn het dan 'maar' 3 tientjes, het tikt wel allemaal aan
Zal er van het weekend eens aan gaan rekenen...

Misschien moet we een crowd fund actie voor je starten.

En voor welke oplossing je ook gaat ik heb het op spare liggen:

[ Voor 14% gewijzigd door |sWORDs| op 14-10-2016 13:12 ]

[ThinkPad]

Geld is het probleem niet, maar meer dat het gewoon al snel uit de klauwen loopt en er meer kosten bij komen kijken dan ik in eerste instantie verwacht had Uiteindelijk is het nog steeds een simpele thuisserver

[|sWORDs|]

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 13:13:
Geld is het probleem niet, maar meer dat het gewoon al snel uit de klauwen loopt en er meer kosten bij komen kijken dan ik in eerste instantie verwacht had Uiteindelijk is het nog steeds een simpele thuisserver

I know, ik zit gewoon helemaal in de vrijdagmiddag HK modus... Koffer aan het pakken voor VMworld Barcelona.

[FireDrunk]

@|sWORDs|, doe je daar nog iets van in V&A?

[|sWORDs|]

FireDrunk schreef op vrijdag 14 oktober 2016 @ 13:42:
@|sWORDs|, doe je daar nog iets van in V&A?

Eigenlijk zijn alleen de LSI en één PCIe naar M.2 over, die andere moeten in de tweede VSAN host, maar ik ben er nog niet achter hoe ik die kan bestellen. Vond dat de werkgever ook wel iets in mijn lab mocht investeren. Ik heb de dual E5, 10Gbit switch en de eerste Xeon-D zelf betaald en de K2 van nVidia gekregen plus M60 lang te leen.

[ Voor 13% gewijzigd door |sWORDs| op 14-10-2016 13:58 ]

[3DDude]

|sWORDs| schreef op vrijdag 14 oktober 2016 @ 13:08:
[...]

Misschien moet we een crowd fund actie voor je starten.

En voor welke oplossing je ook gaat ik heb het op spare liggen:

[afbeelding]

Ik heb zo'n PCI express Intel 750 van 800GB. (330 euro wegens bol.com prijsfout )
Moest wel zo'n NVMe driver in vmware importeren, maar hij doet het lekker vlot.

Ik zit alleen wel rustig rond te kijken voor een nieuwe deal, want ik loop tegen mijn i5/32GB limieten aan

/me 3DDude heeft een HP Prodesk 600, met 32GB ram een een i5 4590 o.id.. en 3 SSD's (128GB, 250GB, 800GB en een 4TB WD Purple

Ik wil ook wel een server met zo'n GRID kaart lijkt me wel wat

[ Voor 7% gewijzigd door 3DDude op 14-10-2016 14:07 ]

[Compizfox]

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 13:13:
Geld is het probleem niet, maar meer dat het gewoon al snel uit de klauwen loopt en er meer kosten bij komen kijken dan ik in eerste instantie verwacht had Uiteindelijk is het nog steeds een simpele thuisserver

Je kunt altijd nog gewoon physical RDM gebruiken. Dan hoef je geen hele controller door te geven.

Bij mij met ESXi 5.5 werkt dat prima.

[Cranberry]

3DDude schreef op vrijdag 14 oktober 2016 @ 14:00:
[...]


Ik wil ook wel een server met zo'n GRID kaart lijkt me wel wat

Hier idem. 'k Vind ze voor een lab nog verschrikkelijk duur. Met bijv. Intel Iris Pro kan ik prima met vDGA spelen, maar voor vGPU is er nog geen concurrentie voor NVIDIA. Maar goed dat is offtopc...

[ThinkPad]

Compizfox schreef op vrijdag 14 oktober 2016 @ 20:18:
[...]

Je kunt altijd nog gewoon physical RDM gebruiken. Dan hoef je geen hele controller door te geven.

Bij mij met ESXi 5.5 werkt dat prima.

Dan mis je de S.M.A.R.T. informatie toch? Ook niet heel handig.

[Compizfox]

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 21:36:
[...]

Dan mis je de S.M.A.R.T. informatie toch? Ook niet heel handig.

Nee, dat is met virtual RDM. Met physical RDM werkt dat allemaal.

[|sWORDs|]

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 21:36:
[...]

Dan mis je de S.M.A.R.T. informatie toch? Ook niet heel handig.

Heb je de nieuwe startpost gelezen? Physical RDM heeft S.M.A.R.T. data.

|sWORDs| schreef op donderdag 13 oktober 2016 @ 08:28:

Het grote VMware ESXi/vSphere Topic

[...]

RDM:

Een RDM (Raw Device Mapping) is een speciale link file in een VMFS volume dat metadata voor het gekoppelde apparaat beheerd. Door de management software wordt het als een normaal disk bestand gezien, maar voor virtuele machines ziet de storage virtualisatie laag het als een virtueel SCSI apparaat.
Daar waar je met VT-d een gehele controller doorgeeft kun je met RDM een gehele disk doorgeven en mocht je er een clustered filesystem op zetten, dan kan het ook aan meerdere machines.
RDM is niet beschikbaar met alle controllers (met name RAID en DAS niet).



RDM heeft twee compatibiliteitsmodi:

Physical

Physical mode geeft minimale SCSI virtualisatie, eigenlijk wordt alleen REPORT LUNs afgevangen zodat de VMkernel de LUN kan isoleren. Verder wordt alles direct van de hardware doorgegeven.

Virtual

Virtual mode doet volledige virtualisatie en geeft alleen READ en WRITE direct door.
SMART data en dergelijke zijn niet beschikbaar.
[...]

edit:
Ik type niet snel genoeg op mijn mobiel.

[ Voor 93% gewijzigd door |sWORDs| op 14-10-2016 21:48 ]

[ThinkPad]

Oh man, jullie maken het wel moeilijk zeg. Dacht ik net dat ik alles duidelijk had...

Dan kan het dus als volgt:
- SATA SSD op het moederbord aansluiten als datastore voor ESXi
- 2x 3.5" op het moederbord aansluiten en via pRDM doorgeven aan een VM, in die VM kan ik dan gewoon RAID1 draaien?

Dat zou wel tof zijn, dat scheelt mij de aanschaf van een dure NVMe-SSD Kan ik dan ook gewoon de huidige RAID1-array van de Synology overzetten naar een XPenology VM zonder de array opnieuw te hoeven opbouwen (vanwege RDM o.i.d.) ?

offtopic:
Keurig trouwens, dat nieuwe topic!

[ Voor 22% gewijzigd door ThinkPad op 14-10-2016 22:18 ]

[Compizfox]

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 22:15:
Oh man, jullie maken het wel moeilijk zeg. Dacht ik net dat ik alles duidelijk had...

Dan kan het dus als volgt:
- SATA SSD op het moederbord aansluiten als datastore voor ESXi
- 2x 3.5" op het moederbord aansluiten en via pRDM doorgeven aan een VM, in die VM kan ik dan gewoon RAID1 draaien?

Dat kan zo ja

Dat zou wel tof zijn, dat scheelt mij de aanschaf van een dure NVMe-SSD Kan ik dan ook gewoon de huidige RAID1-array van de Synology overzetten naar een XPenology VM zonder de array opnieuw te hoeven opbouwen (vanwege RDM o.i.d.) ?

Geen idee, heb geen verstand van XPenology. Maar RDM zou niets moeten veranderen aan de harde schijven.

[ Voor 12% gewijzigd door Compizfox op 14-10-2016 22:33 ]

[ThinkPad]

Heb je met Physical RDM nog wel de mogelijkheid voor spindown? Gezien renedis dit zegt:

renedis schreef op donderdag 13 oktober 2016 @ 10:15:
[...]
RDM zou ik niet aanraden icm een XPenology VM. Werkt naar mijn mening niet lekker (trager) en je verliest de mogelijkheid tot disk spindown. We hebben het in dit topic hier wel over "zuinigheid" wat je dan gegarandeerd verliest.

Zuinigheid is mijn streven, dus spindown is wel een vereiste

[renedis]

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 22:45:
Heb je met Physical RDM nog wel de mogelijkheid voor spindown? Gezien renedis dit zegt:
[...]


Zuinigheid is mijn streven, dus spindown is wel een vereiste

Spindown werkt niet, zelf ondervonden (in DSM5, geen ervaring met DSM6 en spindown). Over SMART ga ik nu twijfelen.. Ik ben van mening dat dit niet werkte met XPenology. Kan natuurlijk ook een een beperking zijn van XPenology dat dit niet (goed) werkte.

[Compizfox]

ThinkPadd schreef op vrijdag 14 oktober 2016 @ 22:45:
Heb je met Physical RDM nog wel de mogelijkheid voor spindown? Gezien renedis dit zegt:

Jazeker. Met physical RDM wordt de HDD gewoon echt 'raw' doorgegeven, en heeft het guest OS dus precies dezelfde toegang tot de HDD als wanneer hij er echt in zou hangen.

Met virtual RDM is dat niet het geval; daar wordt hij als een block device aangeboden. In dat geval verlies je SMART, AAM/APM/spindown, enz.

---

renedis schreef op vrijdag 14 oktober 2016 @ 23:27:
[...]


Spindown werkt niet, zelf ondervonden (in DSM5, geen ervaring met DSM6 en spindown). Over SMART ga ik nu twijfelen.. Ik ben van mening dat dit niet werkte met XPenology. Kan natuurlijk ook een een beperking zijn van XPenology dat dit niet (goed) werkte.

Met physical RDM werkt dat wel. Met virtual RDM niet.

[ Voor 50% gewijzigd door Compizfox op 14-10-2016 23:56 ]

[FireDrunk]

Compizfox schreef op vrijdag 14 oktober 2016 @ 23:48:
[...]
Jazeker. Met pRDM wordt de HDD gewoon echt 'raw' doorgegeven.

Daar ben ik het niet helemaal mee eens.

Ja, de commando's van het (virtuele) OS worden direct op de bus gezet, en komen direct bij de harddisk aan. In dat opzicht is je OS direct in contact met de schijf.

*maar*, er zit nog wel een controller tussen, met ander gedrag. Denk bijvoorbeeld aan een falende schijf, die commando's niet op tijd afrond. Dan gaat nog steeds de controller logica van het virtuele OS bokken. In dat opzicht is het dus weer niet helemaal representatief voor de hardware die je gebruikt.

Nou kan je dat risico minimaliseren door de (redelijk nieuwe) AHCI controller te gebruiken, dan is die 'bok' logica vrijwel nihil, en/of in handen van de sofwarematige AHCI implementatie van het Guest OS.

Gebruik je LSI Logic SAS of PVSCSI ben je overgeleverd aan de logica van VMware's interpretatie van die fouten.

[Compizfox]

FireDrunk schreef op vrijdag 14 oktober 2016 @ 23:57:
[...]

Daar ben ik het niet helemaal mee eens.

Ja, de commando's van het (virtuele) OS worden direct op de bus gezet, en komen direct bij de harddisk aan. In dat opzicht is je OS direct in contact met de schijf.

*maar*, er zit nog wel een controller tussen, met ander gedrag.

Daar heb je zeker gelijk in.

Denk bijvoorbeeld aan een falende schijf, die commando's niet op tijd afrond. Dan gaat nog steeds de controller logica van het virtuele OS bokken. In dat opzicht is het dus weer niet helemaal representatief voor de hardware die je gebruikt.

Nou kan je dat risico minimaliseren door de (redelijk nieuwe) AHCI controller te gebruiken, dan is die 'bok' logica vrijwel nihil, en/of in handen van de sofwarematige AHCI implementatie van het Guest OS.

Gebruik je LSI Logic SAS of PVSCSI ben je overgeleverd aan de logica van VMware's interpretatie van die fouten.

Tja, is dat zo? In welk opzicht zou die (geëmuleerde) controller gaan bokken?

[FireDrunk]

Enterpise controllers en firmware zijn vaak gebouwd rondom availability, niet op laatste redmiddel data recovery. Ze gaan er van uit dat je RAID draait, en dat die disk failures oppikt. Dus als een disk bokt, word hij vaak al na 30s uit de array gemieterd. En dat wil je dus misschien niet altijd.

Bij XPenology, NTFS, Ext3/4, en dat soort systemen misschien wel, maar bij btrfs en ZFS weer niet.

[|sWORDs|]

Als ik het me goed herinner sturen de virtuele controllers geen spindown, maar kun je dit bij de LSI wel aanzetten. Op ESXi moet dan wel de smartdaemon uit omdat de schijven anders sowieso elk halfuur aan gaan.

Edit:
En nog een waarschuwing voor Thinkpad, ik heb RDM op lokale schijven vaak niet aan de praat gekregen, met een hoop controllers is het niet te doen. Weet niet zeker of ik het ooit met Intel geprobeerd heb.

[ Voor 33% gewijzigd door |sWORDs| op 15-10-2016 00:32 ]

[Compizfox]

FireDrunk schreef op zaterdag 15 oktober 2016 @ 00:17:
Enterpise controllers en firmware zijn vaak gebouwd rondom availability, niet op laatste redmiddel data recovery. Ze gaan er van uit dat je RAID draait, en dat die disk failures oppikt. Dus als een disk bokt, word hij vaak al na 30s uit de array gemieterd. En dat wil je dus misschien niet altijd.

Bij XPenology, NTFS, Ext3/4, en dat soort systemen misschien wel, maar bij btrfs en ZFS weer niet.

Misschien begrijp ik je verkeerd, maar die virtuele controllers doen dat toch niet? Ik weet inderdaad van hardware-RAID-controllers dat die schijven uit een array mieteren zodra ze unresponsive zijn, maar de virtuele controllers doen geen RAID (dat doe je in software op de guest). Ze hebben dus geen 'array' om de schijf uit te mieteren.

Het lijkt me ook sterk dat die virtuele controllers gewoon besluiten om een schijf te 'vergeten' zodra hij unresponsive is. Het enige wat er gebeurt is immers dat er commando's doorgegeven worden (en translatie tussen SCSI en AHCI in het geval van SATA-schijven). Meer hoeft zo'n controller niet te doen (en doet hij ook niet, lijkt me).

[ThinkPad]

Klinkt allemaal toch niet super ideaal, misschien toch maar beter gewoon een NVMe meebestellen. Dan weet ik zeker dat ik geen gezeur heb.

Ik wil graag alles bij één webshop (Afuture in dit geval, geen voorkeur), ik bestel dan de pricewatch: Intel 600p 256GB mee.

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 55,95	€ 55,95
1	Asus P10S-M DC	€ 188,35	€ 188,35
1	Crucial CT2K8G4DFD8213	€ 71,40	€ 71,40
1	Intel 600p 256GB	€ 96,-	€ 96,-
Bekijk collectie Importeer producten		Totaal	€ 411,70

[ Voor 71% gewijzigd door ThinkPad op 15-10-2016 09:35 ]

[|sWORDs|]

Mochten er nog mensen naar VMworld Barcelona gaan en het leuk vinden even bij te kletsen, kom even langs aan het einde van mijn sessies in Hall 8.0, Room Number 44 op dinsdag om 12:00 of donderdag 13:00.
Of stuur een PM voor een andere tijd dan spreken we ergens af, ik ben een stuk minder druk dan op VMworld Las Vegas. Mocht je de sessies interessant vinden kom dan een uurtje eerder, respectievelijk:
Horizon for Linux Technical Deep Dive [EUC7453]
Everything You Need to Know About Horizon Remote Desktop Services Hosted Applications (But Probably Do Not) [EUC8725]

[ Voor 36% gewijzigd door |sWORDs| op 15-10-2016 09:39 ]

[FireDrunk]

@CompizFox, je gaat uit van een hoop best case scenario's. Bedenk je goed, dat vmware die driver niet geschreven heeft ( LSI Logic SAS). Dat is gewoon de originele lsi driver. VMware heeft alleen een virtueel device geschreven wat kan praten met die driver. De logica om schijven offline te zetten is dus hetzelfde in een vm als in een bare metal doos, dat gebeurt namelijk in de drivers en firmware.

En jouw argument over de afwezigheid van een array is ook onterecht, want disks worden nooit behandeld ten opzichte van de array waar ze in zitten. Doen ze het niet, dan zal de controller resets sturen, daarna gaan ze offline, of ze nou in een array zitten of niet.

Uiteraard is mijn mening hier berust op ervaring en wat ik zie in vms en niet op de source code. Dus in theorie zou vmware rare truukjes uit kunnen halen om het gedrag te veranderen, maar ik betwijfel het.

Het is leuk om een keer goed te testen.

[ThinkPad]

WTF is this shit Vanochtend bij Afuture de pricewatch: Asus P10S-M DC in m'n mandje gelegd, wou er nog even over nadenken. Zonet nog eens te kijken naar het winkelmandje: dafuq? totaalbedrag ineens hoger.

Is het moederbord sinds vanochtend ineens 17 euro duurder. Niet chill

De pricewatch: Supermicro X11SSL-F is nu zelfs nog goedkoper (wel 80 hele centen ). Maarja die heeft geen M.2. dus dan zou ik nog een losse controller moeten kopen. Ben ik wel iets goedkoper uit omdat ik geen NVMe-SSD hoef te kopen, maarja van die ASM1061 was het maar de vraag of die goed valt door te geven... Als ik het goed begrijp gaat het mis zodra je de onboard controller doorgeeft, dan werkt de ASM1061 niet meer (als je daar je datastore op zou willen zetten). Maar als ik op de onboard een SATA SSD hang als datastore, dan kan ik (als ik het goed begrepen heb) de ASM1061 wél zonder problemen volledig doorgeven aan een VM. Dat zou top zijn, ik heb toch maar twee schijven (RAID1) die ik wil doorgeven.

[ Voor 72% gewijzigd door ThinkPad op 15-10-2016 21:30 ]