Zuinige ESXi Server

[Nindustries]

Doordat ik geen iGPU nodig heb, toch maar de Xeon genomen; (nog steeds vPro)
Nog aanmerkingen? Anders ga ik ervoor

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 V3 Boxed	€ 216,59	€ 216,59
1	Asus CS-B	€ 129,10	€ 129,10
1	Codegen 4U-500	€ 78,65	€ 78,65
1	Crucial Ballistix Sport BLS2CP8G3D1609DS1S00CEU	€ 131,-	€ 131,-
1	Seasonic G-Serie 360Watt	€ 56,-	€ 56,-
1	Crucial MX100 256GB	€ 90,75	€ 90,75
Bekijk collectie Importeer producten		Totaal	€ 702,09

[FireDrunk]

Als je dan toch voor een Xeon gaat, waarom dan geen ECC? Anders kan je toch ook voor een i5 gaan?

[Nindustries]

FireDrunk schreef op donderdag 14 augustus 2014 @ 10:21:
Als je dan toch voor een Xeon gaat, waarom dan geen ECC? Anders kan je toch ook voor een i5 gaan?

Mensen op IRC hebben mij dan toch weer overgehaald om idd ECC te gebruiken
(Ik dacht ook dat alleen i7 HT had)
SuperMicro mobo voor ipmi en ECC support. (Is er een goedkoper mobo met vPro en ECC?)
Moet nog juist checken of het geheugen wel compatibel is.
Nieuw lijstje;

Warning: lijstje is niet juist, Xeon werkt hier niet mee samen!

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 V3 Boxed	€ 220,50	€ 220,50
1	Supermicro X10SLL-F	€ 162,50	€ 162,50
1	Codegen 4U-500	€ 78,65	€ 78,65
1	Crucial CT204872BB160B	€ 133,03	€ 133,03
1	be quiet! Straight Power E9 400W	€ 62,50	€ 62,50
1	Crucial MX100 256GB	€ 90,75	€ 90,75
Bekijk collectie Importeer producten		Totaal	€ 747,93

[ Voor 3% gewijzigd door Nindustries op 14-08-2014 12:44 . Reden: Warning toegevoegd. ]

[|sWORDs|]

Dat is geen vPro, maar je hebt IPMI voor KVM en media. Het KVM gedeelte van vPRO is AMT, dat werkt alleen met iGPU, het bord wat je nu kiest heeft een C222 chipset en die ondersteunt geen vPRO.

Er is geen feitelijk voordeel tussen de Xeon + Cxxx tenopzichte van i5/i7 vPro + Qx7, behalve ECC, waar je in een home lab niets aan hebt.

[ Voor 72% gewijzigd door |sWORDs| op 14-08-2014 12:23 ]

[Nindustries]

|sWORDs| schreef op donderdag 14 augustus 2014 @ 12:19:
Dat is geen vPro, maar je hebt IPMI voor KVM en media.

I know, maar ik stelde de vraag maar voor moest er een goedkoper moederbord zijn met vPro.
(Geen extra nic nodig)

[|sWORDs|]

Nindustries schreef op donderdag 14 augustus 2014 @ 12:21:
[...]

I know, maar ik stelde de vraag maar voor moest er een goedkoper moederbord zijn met vPro.
(Geen extra nic nodig)

Als je maar 1 nic nodig hebt dan is je eerste pricewatchlijst met het Asrock Q87 board de goedkoopste oplossing.

En is er nog een reden waarom niet voor een zuinige setup gaat? Zie bijvoorbeeld mijn bestelling met de 25 Watt Xeon E3-1240L v3, die trouwens als het goed is vandaag binnen komen.

[ Voor 20% gewijzigd door |sWORDs| op 14-08-2014 12:26 ]

[Nindustries]

|sWORDs| schreef op donderdag 14 augustus 2014 @ 12:24:
[...]

Als je maar 1 nic nodig hebt dan is je eerste pricewatchlijst met het Asrock Q87 board de goedkoopste oplossing.

En is er nog een reden waarom niet voor een zuinige setup gaat? Zie bijvoorbeeld mijn bestelling met de 25 Watt Xeon E3-1240L v3, die trouwens als het goed is vandaag binnen komen.

Kom er eigenlijk een beetje op neer dat ik wil futureproofen en nog niet 100% zeker ben wat ik allemaal wil gaan draaien. Waarschijnlijk downloaders, XPenology, transcoderen voor Plex, tvHeadend, IDS, Minecraft server, website,...
Ik verander constant van gedacht qua hardwarekeuzes

[FireDrunk]

Die E3 doet ook geen Registered geheugen! Alleen UDIMM (Unregistered ECC DIMM).

Die Crucial latjes gaan dus niet werken!

[Nindustries]

FireDrunk schreef op donderdag 14 augustus 2014 @ 12:42:
Die E3 doet ook geen Registered geheugen! Alleen UDIMM (Unregistered ECC DIMM).

Die Crucial latjes gaan dus niet werken!

Juist! Ik was al bang dat dit niet ging werken. Bedankt
Eerst moet ik maar eens uitmaken wat ik verwacht van mijn server..

[FireDrunk]

De lastigste taak

[Zenix]

Nindustries schreef op donderdag 14 augustus 2014 @ 12:43:
[...]

Juist! Ik was al bang dat dit niet ging werken. Bedankt
Eerst moet ik maar eens uitmaken wat ik verwacht van mijn server..

Ja, over het algemeen zie ik hier behoorlijke wat overkill
Dit is mijn setup wenslijst: sandybridgeserver al een aantal jaren oud.

Hierop
- Downloadbak, en Veeam backup ( 2012 R2 )
- Webserver ( Debian Wheezy )
- IPTV voor XBMC en opnemen ( Debian Wheezy )
- Gameserver 12 Wolfenstein Enemy territory servers, 10 teamspeak servers met vaak 50-70 mensen erop in de avond. ( Ubuntu 12.04 )
- vCenter
- OpenVPN ( Debian Wheezy )

Ik voel mij alleen een beetje gelimiteerd door de 16GB ram. Ik zie de i3 2100 bijna nooit op 100%.
Ik ga switchen als Skylake er is met 16GB DDR4 modules. Dan ga ik waarschijnlijk voor een ITX systeem met 2x16GB en een Celeron, want die i3 2100 is al overkill.

Je zal wel een zwaarder systeem moeten hebben wil je ZFS hebben, maar dat heb ik niet nodig. Ik bewaar mijn data bijna nooit, en gooi regelmatig alles leeg.

Dingen als vPro zijn wel mooi op de Q87, maar ik zou daar persoonlijk geen extra geld voor over hebben.
Zelf zou ik nu een Asrock B85M Pro4 kopen, heeft vt-d en Intel Nic. Als CPU bijvoorbeeld een Celeron of Pentium G3258. De Pentium zou je zelfs een kleine overklok kunnen geven naar 3,6GHz bijvoorbeeld. Tenzij je natuurlijk vt-d nodig hebt.

[ Voor 23% gewijzigd door Zenix op 14-08-2014 13:52 ]

[FireDrunk]

Tss... Ik heb een Celeron G1820 met 8GB RAM... Jij hebt een i3/16GB RAM en roept overkill??

[Zenix]

FireDrunk schreef op donderdag 14 augustus 2014 @ 13:49:
Tss... Ik heb een Celeron G1820 met 8GB RAM... Jij hebt een i3/16GB RAM en roept overkill??

Daar zou ik nu ook voor gegaan zijn, alleen dan wel met 32GB ram.

Trouwens de NIC waar ik het eerder over had is in de aanbieding op taobao http://item.taobao.com/it....23.gckQqM&id=22426184497

Via Zamark heb je hem voor ongeveer 80$ binnen.

[ Voor 27% gewijzigd door Zenix op 14-08-2014 13:57 ]

[|sWORDs|]

Ik heb 3x de Intel (Intel I350-T4) versie voor 270 euro (dus 90 euro p/s), inclusief verzenden en douanekosten van ebay geplukt. Nieuw in doos.

[Zenix]

|sWORDs| schreef op donderdag 14 augustus 2014 @ 17:53:
Ik heb 3x de Intel (Intel I350-T4) versie voor 270 euro (dus 90 euro p/s), inclusief verzenden en douanekosten van ebay geplukt. Nieuw in doos.

Ja, dat zou ik ook wel willen
Bij welke verkoper?

[FireDrunk]

http://www.ebay.com/itm/151207718974

Genoeg te vinden toch?

[|sWORDs|]

Zenix schreef op donderdag 14 augustus 2014 @ 18:05:
[...]


Ja, dat zou ik ook wel willen
Bij welke verkoper?

http://www.ebay.nl/itm/30..._trksid=p3984.m1497.l2649

Hmm, dat is gek, is nu in eens de 340. Ik heb toch echt de I350-T4.

[ Voor 11% gewijzigd door |sWORDs| op 14-08-2014 21:26 ]

[jjust]

Bedoel je niet deze? Zelfde verkoper wel 350?

[|sWORDs|]

Dat zou je denken, maar die link staat in mijn aankopen. De beschrijving was toen (week terug) 350 en de ontvangen kaarten ook.

[Glival]

Binnenkort wil ik m'n huidige server upgraden, en de X10SL7-F die eerder in dit topic voorbijkwam lijkt me wel wat. Als ik het goed begrijp kan de onboard LSI 2308 geflasht worden naar IT mode (en vervolgens middels VT-d worden doorgegeven), zodat er geen extra HBA nodig is.

Dit is wat ik van plan ben te bestellen:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1220 V3 Boxed	€ 174,49	€ 174,49
1	Supermicro X10SL7-F	€ 224,-	€ 224,-
2	Crucial CT102472BD160B	€ 72,75	€ 145,50
Bekijk collectie Importeer producten		Totaal	€ 543,99

Twee vragen over deze setup:

• Is dit het juiste type geheugen (DDR3-1600, 1.35V, ECC, Unbuffered)?

• Ik zag de L-versie van de CPU ook voorbijkomen; die is een stuk zuiniger, maar volgens http://www.cpubenchmark.n...php?cmp[]=2251&cmp[]=2022 is het verschil in performance bijzonder groot. Daarnaast begrijp ik uit dit topic dat een snellere CPU als voordeel heeft dat 'ie eerder terug kan naar idle, dus het verschil in verbruik lang niet zo groot is als de TDP doet geloven. De niet-L lijkt me daarom een betere keuze?

[FREAKJAM]

Ik heb zelf toevallig ook de X10SL7 in combinatie met een Xeon E3 (Ik heb wel de 1230 v3 variant). Ik heb voor de 1230 gekozen omdat die hyperthreading ondersteunt en de 1220 v3 niet.

Het moederbord prefereert wel dual channel memory, dus ik weet het niet zeker of het wel zo slim is 2 losse bankjes van 8GB te kopen, maar volgens mij kan er weinig mis gaan. Ik zie meerdere mensen die deze combinatie gebruiken op het internet.

Over de L-versie van de CPU kan ik je niet veel vertellen, daar heb ik geen ervaring mee.

Mocht je willen weten hoe je de LSI2308 wil flashen naar IT-mode, dat heb ik een tijd terug beschreven op mijn blog. Het werkt namelijk enkel via de UEFI methode en niet via DOS.

[ Voor 36% gewijzigd door FREAKJAM op 15-08-2014 13:09 ]

[FireDrunk]

L- Xeon's is 99/100 keer hetzelfde verhaal als -T versies... Marketing.

Waar het leuk voor is, is als je 48 * 1U servers met L CPU's uitrust in een 48U rack, dan hoef je wat minder bang te zijn voor oververhitting dan als je er hogere TDP CPU's in zet.

Voor betere performance/watt hoef je ze niet te kopen.

[Glival]

Bedankt voor de feedback! Ik heb m'n lijstje iets aangepast:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 V3 Boxed	€ 216,59	€ 216,59
1	Supermicro X10SL7-F	€ 224,-	€ 224,-
1	Crucial CT2KIT102472BD160B	€ 152,50	€ 152,50
Bekijk collectie Importeer producten		Totaal	€ 593,09

[FireDrunk]

Mooi setje, let wel op de levertijd van het geheugen. Ecc udimm is nogal in short supply blijkbaar...

[|sWORDs|]

FireDrunk schreef op vrijdag 15 augustus 2014 @ 13:12:
L- Xeon's is 99/100 keer hetzelfde verhaal als -T versies... Marketing.

Waar het leuk voor is, is als je 48 * 1U servers met L CPU's uitrust in een 48U rack, dan hoef je wat minder bang te zijn voor oververhitting dan als je er hogere TDP CPU's in zet.

Voor betere performance/watt hoef je ze niet te kopen.

Voor betere performance per watt maakt het inderdaad niet heel veel uit, maar voor je totale power use over een jaar wel, het ligt er natuurlijk helemaal aan wat je er op gaat draaien, maar het kan behoorlijk veel schelen (in watts, in euro's valt dat voor een thuislab super mee) als ze redelijk beladen zijn. Ik heb net de 1240L v3's binnen en de 2GHz standaard clock (3GHz turbo) is echt geen enkel probleem. Misschien wel als je sDGA voor games gaat gebruiken, maar voor normaal gebruik is het echt super snel. Storage (SSD vs spinning) en geheugen (hoeveelheid) is een groter verschil.

[FireDrunk]

Dat zeg ik, performance/watt zijn ze *niet* zuiniger... Dus het maakt niet uit of je ze idle draait, op 20%, op 40% of op 100%. Hij is nooit efficienter dan een gewone CPU.

Het *ENIGE* verschil, is dat deze CPU zijn TDP binnen de perken houdt, door zijn maximale turbo frequentie niet langer dan iets van 15 seconden achter elkaar te draaien. Daarna klokt hij gewoon automatisch een stapje terug.

Niets meer...

[ppl]

Over welke performance/Watt hebben we dat dan over? Die in idle time?

Dat idle verhaal vind ik altijd zo waardeloos. Leuk dat ie idle weinig doet maar hoeveel doet ie wanneer je 'm aan het werk zet? Als je FreeBSD gebruikt met ports is dat van groot belang want met compileren is je machine echt niet idle (ik zie het verbruik van de ESXi server hier bijna verdubbelen; vm heeft trouwens wel 2 vCPU's (als in 2 cores, niet 2 sockets)). Die bovengrens is wat mij betreft net zo belangrijk als wat hij in idle time weet te verbruiken. Zeker wanneer je meer en meer vm's gaat toevoegen en je dus meer resources in gebruik hebt.

[|sWORDs|]

FireDrunk schreef op vrijdag 15 augustus 2014 @ 16:53:
Dat zeg ik, performance/watt zijn ze *niet* zuiniger... Dus het maakt niet uit of je ze idle draait, op 20%, op 40% of op 100%. Hij is nooit efficienter dan een gewone CPU.

Het *ENIGE* verschil, is dat deze CPU zijn TDP binnen de perken houdt, door zijn maximale turbo frequentie niet langer dan iets van 15 seconden achter elkaar te draaien. Daarna klokt hij gewoon automatisch een stapje terug.

Niets meer...

Waarom zo defensief? Ik zeg letterlijk inderdaad met als enige correctie bijna. Het is geen aanval op jouw opmerking, maar een aanvulling.

ppl schreef op vrijdag 15 augustus 2014 @ 17:38:
Over welke performance/Watt hebben we dat dan over? Die in idle time?

Dat idle verhaal vind ik altijd zo waardeloos. Leuk dat ie idle weinig doet maar hoeveel doet ie wanneer je 'm aan het werk zet? Als je FreeBSD gebruikt met ports is dat van groot belang want met compileren is je machine echt niet idle (ik zie het verbruik van de ESXi server hier bijna verdubbelen; vm heeft trouwens wel 2 vCPU's (als in 2 cores, niet 2 sockets)). Die bovengrens is wat mij betreft net zo belangrijk als wat hij in idle time weet te verbruiken. Zeker wanneer je meer en meer vm's gaat toevoegen en je dus meer resources in gebruik hebt.

Juist onder load zitten de allergrootste verschillen, daar scheelt het 55 (25 vs 80) Watt. Maar dan wel tegen een lagere performance.

[ Voor 39% gewijzigd door |sWORDs| op 15-08-2014 18:32 ]

[A1AD]

Werkelijk sorry voor mijn schaamloze luiheid, maar is er ondertussen al een goedkoop pci-e hba kaartje compatibel met esx dat mijn SIL3114 pci kaart kan vervangen? Ik wil een SSD maar dit huidge kaartje is zoooo traag... (enkel voor de datastore, onboard > freenas)

Of is het aan te raden de SSD aan de onboard controller te hangen en via freenas met iscsi terug te koppelen, TRIM wise?

[FireDrunk]

ASMedia Chipje? Werken volgens mij prima hoor... Mocht je het willen testen, heb er nog wel een liggen

[ppl]

|sWORDs| schreef op vrijdag 15 augustus 2014 @ 18:30:
Juist onder load zitten de allergrootste verschillen, daar scheelt het 55 (25 vs 80) Watt. Maar dan wel tegen een lagere performance.

Precies maar ik zie bij dit soort discussie dat men zich veelal compleet blind staart op wat ie doet als ie idle is. In het zuinige server topic idem dito. Het is geen onbelangrijk scenario omdat het ding inderdaad veelal idle zal draaien bij de gemiddelde persoon maar dat is het voluit draaien ook. Dan is in sommige gevallen zelfs de performance per Watt al minder interessant. Je wil een bepaalde performance en een bepaalde max aantal Watt, lang niet altijd de meest optimale performance/Watt verhouding omdat dit dan weer niet altijd een systeem oplevert die datgene kan doen wat ie moet doen.

@A1AD: definieer goedkoop...een M1015 voor 100 euro wordt ook gezien als goedkoop

[A1AD]

ppl schreef op vrijdag 15 augustus 2014 @ 19:30:
[...]
@A1AD: definieer goedkoop...een M1015 voor 100 euro wordt ook gezien als goedkoop

In dezelfde prijscategorie als mijn huidig pci kaartje. Het enige wat me van een M1015 weerhoudt is de warmte dat hij zou produceren. Ik heb nogal een krappe kast.

@Firedrunk: ik wil dat wel eens testen, snel genoeg voor een SSD? Ik moet ze nog wel aanschaffen en zou voor een MX-100 gaan. Maar ik maak me nog wat zorgen over het gebrek van TRIM in ESX.

[Glival]

FireDrunk schreef op vrijdag 15 augustus 2014 @ 19:29:
ASMedia Chipje? Werken volgens mij prima hoor... Mocht je het willen testen, heb er nog wel een liggen

Volgens Compizfox in "Zuinige ESXi Server" werkte dat toch juist niet? Of is dat inmiddels opgelost?

[Compizfox]

De ASM1061 werkt niet als je de on-board HBA doorgeeft nee. Dit heeft verder niets met ESXi te maken, ook zonder ESXi werkt de ASM1061 niet als je de on-board HBA uitschakeld. Waarom? Geen flauw idee. Als het gefixed is, zou dat via een BIOS-update zijn.

[FireDrunk]

Als je een los ASM1061 chipje gebruikt zou het geen probleem moeten zijn volgens mij.
Zoals ik al zei, ik heb er twee liggen (PCIe x1) dus je kan het komen proberen

[A1AD]

Dus er is al die tijd nog niets veranderd en is de 1015 nog steeds de enige optie

[Compizfox]

FireDrunk schreef op vrijdag 15 augustus 2014 @ 23:23:
Als je een los ASM1061 chipje gebruikt zou het geen probleem moeten zijn volgens mij.
Zoals ik al zei, ik heb er twee liggen (PCIe x1) dus je kan het komen proberen

Lees nou eens die post van mij die hij linkt

Het maakt niets uit of je de ASM1061 on-board of op een PCI-e-kaart hebt, in beide gevallen gaat het niet werken.

A1AD schreef op vrijdag 15 augustus 2014 @ 23:23:
Dus er is al die tijd nog niets veranderd en is de 1015 nog steeds de enige optie

Nou, dat ook weer niet. In de TS staan een aantal andere mogelijkheden; zelf maak ik gebruik van het 'splitsen' van mijn onboard HBA via IDE combined mode.

[ Voor 28% gewijzigd door Compizfox op 15-08-2014 23:27 ]

[FireDrunk]

Ik heb jouw post, en verhaal al wel 100x gelezen, dat wil nog niet zeggen dat ik het geloof...

Beter gezegd: Ik geloof best dat het in jouw situatie zo is, maar ik kan er niet bij dat een PCIe x1 kaartje meegegeven word als je een andere controller doorgeeft via VT-d...

Stel je stopt een Hauppauge TV-Kaartje in datzelfde slot, gaat die dan ook mee? Zo ja, mega fail van je moederbordfabrikant, want dan delen de onboard controller PCIe lanes.

Zoals ik al zei, kom het hier testen, en je weet het zeker... Los van het feit wat jij zegt in jouw sitatuatie, ben jij nog maar 1 persoon, met 1 ervaring... Als hij bevestigd dat het niet werkt met weer een andere combinatie, worden we er misschien wijzer van *waarom* het verkeerd gaat...

[sphere]

Laat onze zwaardvriend hier eens even wat over zeggen vanuit zijn vakmanschap

[FireDrunk]

|sWORDs| schreef op vrijdag 15 augustus 2014 @ 18:30:
Waarom zo defensief? Ik zeg letterlijk inderdaad met als enige correctie bijna. Het is geen aanval op jouw opmerking, maar een aanvulling.

Het was niet zo defensief bedoeld, als het zo klonk vanuit de letters, mijn excuses

[|sWORDs|]

FireDrunk schreef op zaterdag 16 augustus 2014 @ 10:41:
[...]

Het was niet zo defensief bedoeld, als het zo klonk vanuit de letters, mijn excuses

Ik was niet beledigd, wilde gewoon even zeker weten dat jij dat ook niet was.

sphere schreef op zaterdag 16 augustus 2014 @ 10:32:
Laat onze zwaardvriend hier eens even wat over zeggen vanuit zijn vakmanschap

Misschien ben ik er wel receptionist.
Maar het enige wat ik er over kan zeggen is dat niet alles met passthrough werkt (Zie bijvoorbeeld ook de Geforce kaarten, die het ineens wel doen na een Quadro mod). Wat sowieso noodzakelijk is, alle devices achter een PCI-e naar PCI bridge moeten aan hetzelfde domein.

Ik ben toevallig al een paar uur bezig om passthrough van een PCI-e kaartje met twee Marvell 9235 controllers (bezig met een QNAP 870, met een 3770T en 16GB als derde esxi host) voor elkaar te krijgen. De passthrough werkt, maar het device daarna niet. De community VIB installeren (om de disks als datastores ipv passthrough te krijgen) gaat ook niet helemaal goed, krijg maar 4 (alle oneven bays) van de 8 disks te zien, maar wel alle 8 poorten. Ik denk dat wat mij nekt dat er twee chips op 1 kaart zitten met waarschijnlijk nog een bridge chip op de kaart. Net nog even een niet QNAP linux distro (Fedora 20) op de nas gezet om te kijken of dan alle disks er zijn, dat werkt wel.

[ Voor 36% gewijzigd door |sWORDs| op 16-08-2014 11:28 ]

[FireDrunk]

Misschien een idee om dit te proberen?

code:

thijs@NAS:~$ lspci -t -v
-[0000:00]-+-00.0  Intel Corporation Xeon E3-1200 v2/3rd Gen Core processor DRAM Controller
           +-01.0-[01]----00.0  LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon]
           +-02.0  Intel Corporation Xeon E3-1200 v2/3rd Gen Core processor Graphics Controller
           +-14.0  Intel Corporation 7 Series/C210 Series Chipset Family USB xHCI Host Controller
           +-16.0  Intel Corporation 7 Series/C210 Series Chipset Family MEI Controller #1
           +-1a.0  Intel Corporation 7 Series/C210 Series Chipset Family USB Enhanced Host Controller #2
           +-1c.0-[02]--
           +-1c.5-[03]----00.0  Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller
           +-1c.6-[04]--+-00.0  Intel Corporation 82580 Gigabit Network Connection
           |            +-00.1  Intel Corporation 82580 Gigabit Network Connection
           |            +-00.2  Intel Corporation 82580 Gigabit Network Connection
           |            \-00.3  Intel Corporation 82580 Gigabit Network Connection
           +-1c.7-[05]----00.0  ASMedia Technology Inc. ASM1062 Serial ATA Controller
           +-1d.0  Intel Corporation 7 Series/C210 Series Chipset Family USB Enhanced Host Controller #1
           +-1f.0  Intel Corporation H77 Express Chipset LPC Controller
           +-1f.2  Intel Corporation 7 Series/C210 Series Chipset Family 6-port SATA Controller [AHCI mode]
           \-1f.3  Intel Corporation 7 Series/C210 Series Chipset Family SMBus Controller

[|sWORDs|]

FireDrunk, de controllers verschijnen gewoon op de host en ook in de vm. Als ik Windows op een VM zet zie ik de controllers met een uitroepteken, terwijl er geen drivers noodzakelijk zijn voor de controllers. Ik denk echt dat het met het DMA domain te maken heeft.

[ Voor 11% gewijzigd door |sWORDs| op 16-08-2014 11:34 ]

[FireDrunk]

Ik doelde meer op je bridge verhaal. In principe zou je met dat lspci commando de bridge chip moeten kunnen achterhalen... Zo niet, zul je even die QNAP open moeten schroeven

[ Voor 18% gewijzigd door FireDrunk op 16-08-2014 11:34 ]

[|sWORDs|]

FireDrunk schreef op zaterdag 16 augustus 2014 @ 11:34:
Ik doelde meer op je bridge verhaal. In principe zou je met dat lspci commando de bridge chip moeten kunnen achterhalen... Zo niet, zul je even die QNAP open moeten schroeven

Er is geen bridge chip te zien, toch vraag ik me af hoe ze dan twee 9235 op 1 kaart krijgen. Misschien zijn ze op de een of andere manier gelinkt.

[FireDrunk]

Ahzo, je bedoeld dat die chips zelf een bus naar elkaar hebben? Dat heb ik nog nooit gezien eerlijk gezegd

[|sWORDs|]

FireDrunk schreef op zaterdag 16 augustus 2014 @ 11:39:
Ahzo, je bedoeld dat die chips zelf een bus naar elkaar hebben? Dat heb ik nog nooit gezien eerlijk gezegd

Het is een PCIe x4 slot backplane kaart met 8 sata poorten, lspci toont twee 9235 (http://www.marvell.com/st...2xx-002-product-brief.pdf) SATA controllers, lshw zegt dat beide een x1 link hebben.

Hier een plaatje van de 470 (met 1 controller):


Ik ga maar terug naar mijn oorspronkelijke plan. 2 esxi hosts met de QNAP als iSCSI met VAAI en dan een paar van de VM's (vCenter, DC) in Virtualization Station (QEMU/KVM) draaien. Het is wel jammer, ben in totaal toch wel een dag kwijt en ben weer terug waar ik begon. Morgen vlieg ik al weer naar een klant, zo krijg ik mijn lab nooit af...

[ Voor 21% gewijzigd door |sWORDs| op 16-08-2014 12:39 ]

[FireDrunk]

Zitten er geen Port Multipliers tussen? Tuurlijk niet, je hebt 2 chips die 4 poorten kunnen leveren, zou stom zijn...

[ Voor 52% gewijzigd door FireDrunk op 16-08-2014 11:52 ]

[A1AD]

FireDrunk schreef op zaterdag 16 augustus 2014 @ 09:29:

...

Zoals ik al zei, kom het hier testen, en je weet het zeker... Los van het feit wat jij zegt in jouw sitatuatie, ben jij nog maar 1 persoon, met 1 ervaring... Als hij bevestigd dat het niet werkt met weer een andere combinatie, worden we er misschien wijzer van *waarom* het verkeerd gaat...

Je wilt het niet opsturen? Met 2 klein schelmen hier is tijd voor de hobby moeilijk te plannen...
Uiteraard betaal ik je de verzending en de nodige waarborg op voorhand.

[FireDrunk]

Mag ook, stuur maar een DM

[A1AD]

FireDrunk schreef op zaterdag 16 augustus 2014 @ 15:09:
Mag ook, stuur maar een DM

Zal ik doen, al gewoon om nu voor eens en altijd het verhaal al dan niet te kunnen bevestigen want ik heb tussen door nog eens 5 minuten voor mijzelf kunnen nadenken nl.: Ik kan niet upgraden naar 5.5 omdat ik dan de onboard intel hba niet meer kan doorgeven aan men storage VM. Als ik een M1015 installeer kan ik deze doorgeven aan de storage VM en de onboard gebruiken voor de datastores (SSD)

Kan iemand nog even bevestigen dat de M1015 kan worden doorgegeven in ESX5.5?
En als je dan dit leest heb ik al geen zin meer in een SSD voor ESX.

[FireDrunk]

TRIM is helemaal niet zo heel erg om te missen hoor.. Ja, je SSD word potentieel iets trager, maar ach. Het is niet alsof het ding stuk gaat ofzo...

Een M1015 is zeker door te geven via ESXi 5.5.

[Compizfox]

FireDrunk schreef op zaterdag 16 augustus 2014 @ 09:29:
Ik heb jouw post, en verhaal al wel 100x gelezen, dat wil nog niet zeggen dat ik het geloof...

Wat jij gelooft moet je zelf weten. Feit is wel dat ik het getest hebt. Als je twijfelt aan mijn methoden moet je het misschien eens zelf testen

Beter gezegd: Ik geloof best dat het in jouw situatie zo is, maar ik kan er niet bij dat een PCIe x1 kaartje meegegeven word als je een andere controller doorgeeft via VT-d...

Stel je stopt een Hauppauge TV-Kaartje in datzelfde slot, gaat die dan ook mee? Zo ja, mega fail van je moederbordfabrikant, want dan delen de onboard controller PCIe lanes.

Weet je zeker dat je mijn verhaal 100x hebt gelezen? Het kaartje wordt niet "meegegeven". Dat is een misverstand.

Het is alleen zo dat de ASM1061 niet functioneert als de onboard HBA niet beschikbaar is. Het probleem heeft dan ook helemaal niets met ESXi of zelfs maar met IOMMU te maken; je kunt dit al testen door gewoon de onboard HBA uit te zetten in je BIOS. Probeer het maar. De ASM1061 werkt dan simpelweg niet. Niet op de Asrock 970 Extreme3, het moederbord waarop ik het heb getest, in elk geval.

En nee, met andere PCI-devices is dit niet het geval.

Zoals ik al zei, kom het hier testen, en je weet het zeker... Los van het feit wat jij zegt in jouw sitatuatie, ben jij nog maar 1 persoon, met 1 ervaring... Als hij bevestigd dat het niet werkt met weer een andere combinatie, worden we er misschien wijzer van *waarom* het verkeerd gaat...

Er zijn natuurlijk meer mensen die hebben ervaren dat het niet werkt om de ASM1061 als HBA voor ESXi te gebruiken als je de onboard HBA doorgeeft. Ik heb het alleen iets uitgebreider getest. Het is natuurlijk mogelijk dat mijn moederbord gek doet en dat bij andere moederborden dit probleem zich alleen in ESXi voordoet, maar dat lijkt mij eigenlijk niet zo waarschijnlijk.

[ Voor 6% gewijzigd door Compizfox op 17-08-2014 00:29 ]

[FireDrunk]

Aha, dat verhelderd de boel wel een (klein) beetje. Ik blijf het raar vinden dat dat controllertje zo moeilijk doet.
Lastige is dat ik wel een heel arsenaal aan VT-d capabele moederborden heb, maar geen i5 / Xeon's meer

Kan het dus zelf even niet makkelijk testen.

[Compizfox]

FireDrunk schreef op zaterdag 16 augustus 2014 @ 23:18:
Aha, dat verhelderd de boel wel een (klein) beetje.

Niet lullig bedoeld, maar dat probeer ik al de hele tijd al duidelijk te maken

Ik blijf het raar vinden dat dat controllertje zo moeilijk doet.

Zeker raar. Ik moet toegeven dat ik geen verklaring heb waarom deze chip zo reageert. Mijn vermoeden is dat hij op de één of andere manier afhankelijk is van de onboard HBA, maar hoe dat mechanisme dan precies in elkaar zou zitten kan ik helaas niet weten.

Misschien dat iemand anders met een hoop verstand van moederborden / PCI-e / hardware hier een hypothese over heeft?

Lastige is dat ik wel een heel arsenaal aan VT-d capabele moederborden heb, maar geen i5 / Xeon's meer

Kan het dus zelf even niet makkelijk testen.

Aha, vandaar. Maar je zou eventueel wel kunnen testen of jouw kaartjes het nog doen als je de onboard HBA uitschakelt in de BIOS. Daar heb je geen VT-d voor nodig. Ik ben wel benieuwd of je dezelfde resultaten krijgt als ik kreeg Zoals je zelf al zei: dan is het hele gedoe weer ietsjes duidelijker

[ Voor 51% gewijzigd door Compizfox op 17-08-2014 00:31 ]

[Genestealer]

FireDrunk schreef op zaterdag 16 augustus 2014 @ 23:18:
Aha, dat verhelderd de boel wel een (klein) beetje. Ik blijf het raar vinden dat dat controllertje zo moeilijk doet.
Lastige is dat ik wel een heel arsenaal aan VT-d capabele moederborden heb, maar geen i5 / Xeon's meer

Kan het dus zelf even niet makkelijk testen.

Heb nog Xeon liggen op de plank. Dacht een W3550. Mocht je willen testen, kan hem zo lenen je woont dicht bij.

[FireDrunk]

Dat is dan weer Socket 1366, daar heb ik net geen bord voor
Mijn primaire NAS is Socket 1155, en mijn ESXi cluster is Socket 1150.

[Vuurvoske]

Oke, ik heb sinds vandaag ook een probleem.
Ik draai deze bak:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 149,-	€ 149,-
1	ASRock B75 Pro3-M	€ 46,50	€ 46,50
1	ICIDU Secure Digital Ultra 8GB	€ 6,50	€ 6,50
1	Seagate Barracuda 7200.14 ST1000DM003, 1TB	€ 46,11	€ 46,11
5	Western Digital Green WD20EARX, 2TB	€ 0,-	€ 0,-
1	Cooler Master Silencio 550	€ 65,45	€ 65,45
1	Intel Gigabit CT Desktop Adapter	€ 21,-	€ 21,-
2	Kingston KVR1333D3N9/8G	€ 68,95	€ 137,90
1	Kingston ValueRAM KVR1333D3N9K2/8G	€ 0,-	€ 0,-
1	Corsair Builder CX430 Bronze	€ 38,50	€ 38,50
Bekijk collectie Importeer producten		Totaal	€ 510,96

Hier draaien een aantal vm's op. Waaronder ZFSGURU. Deze spreekt 5x 2TB aan via intel panther controller (passthrough)

En hier had ik een sil3112 in zitten, waarop een 1TB seagate zat aangesloten als datastore. Tot eergisteren werkt dit prima. Toen besloot ik te upgraden naar esxi 5.5 en begon de ellende.
ZFSguru kon de controller niet meer goed herkennen en ook de schijven niet.
Daarna voerde ik maar een install uit naar 5.1u2. Tijdens het booten bleef hij hangen op acpi. Moederboard bios geflashed. Vervolgens besloot Sil3112 moeilijk te gaan doen tijdens boot. Schijnt dat de bios van mijn mobo en de Sil3112 nu niet meer kunnen samenwerken.

Dus ik ben op zoek naar een sata controller (goedkope oplossing) om mijn datastore schijf aan te sluiten. Aangezien ik ook een ASM1061 heb die niet wil werken als ik mijn intel panther passthrough...

_______________________________________________________________________________________
Edit:
Ik heb zelf net nog gezocht. En kom op het volgende:
pricewatch: Startech.com 2 Port SATA 6 Gbps PCI Express SATA Controller Card
Prijs: e35,-

Op de website van startech vind ik het volgende:

Warranty	Lifetime
SKU	PEXSAT32
Hardware
Ports	2
Interface	Sata
Bus Type	PCI Express
Card Type	Standard Profile (LP bracket incl.)
Chipset ID	Marvell - 88SE9128

Bron: http://goo.gl/iX9aoE

LET OP! Deze chipset word native niet ondersteund door ESXI 5.5, maar WEL door 5.1!
* ZFSGURU mensen die deze controller nodig hebben voor de welbekende doeleinden, hebben er waarschijnlijk baat bij voorlopig ESXI 5.1(u2) te blijven draaien.

It looks like VMware has dropped support for Marvell 88SE9128 in ESXi 5.5. But it worked in 5.1…

gr1n, - 15-10-’13 09:14

Bron: http://goo.gl/EI0Jfr

ECHTER! Als je de onderstaande link leest, is er een persoon die een methode heeft om middels een eigen driver + installatie methode deze toch aan de praat te krijgen:

Marvell Technology Group Ltd.	88SE9128 PCIe SATA 6 Gb/s RAID controller with HyperDuo2)	1b4b:9130 1.5
Marvell Technology Group Ltd.	88SE9128 PCIe SATA 6 Gb/s RAID controller2)	1b4b:9128 1.6

Bron: http://goo.gl/eRg7XN

Hiermee is het dus mogelijk om voor een relatief lage prijs het (passthrough) ASM1061 probleem op te lossen.

Nog wat kleine pro's:
- Bestelbaar in Nederland
- Garantie in Nederland
- Betere kwaliteit
- Meer recente ondersteuning (bios / drivers)
- RAID 0 + 1 ondersteuning

_______________________________________________________________________________________
Test:
* Hier houd ik een log bij met bevindingen!

- 19-08-2014: Kaart besteld, morgen afhalen
- 20-08-2014: Kaart getest. Word herkend door ESXI 5.1
- 20-08-2014: Indien intel panther op passthrough staat, werkt de Marvel chipset niet (net zo min als de ASMEDIA chip).
- 21-08-2014: Negatief advies. Leuk kaartje, maar niet geschikt om te gebruiken voor VT-D / IOMMU passthrough doeleinden.

Advies: Geef wat geld uit voor een raid controller. Check de onderstaande file voor compatibiliteit:
- VMWARE IO guide

[ Voor 25% gewijzigd door Vuurvoske op 21-08-2014 15:07 ]

[|sWORDs|]

Even een kleine correctie, VMware heeft de support niet gedropt, het is nooit supported geweest. De 5.5 AHCI driver werkt anders en gebruikt een lijst met toegestane vendor en device ID's. Voor 5.5 werkte een hoop unsupported controllers out of the box, dat is sinds 5.5 niet meer zo.

Waarom zie ik niemand een supported controller van ebay trekken? Voor ongeveer hetzelfde bedrag moet bijvoorbeeld een Dell Perc of LSI te krijgen zijn.

http://www.vmware.com/res...ility/pdf/vi_io_guide.pdf

[ Voor 40% gewijzigd door |sWORDs| op 21-08-2014 01:50 ]

[FireDrunk]

FireDrunk schreef op woensdag 13 augustus 2014 @ 15:08:
Nee hoor, goedkope manier (die een beetje acceptabel is) is via een LSI2008 based RAID controller. Dan kan je RAID0 en 1 doen (waarvan RAID1 natuurlijk het beste is).

Wil je RAID5 kan je het beste kijken naar tweedehands Adaptec, HP(LSI Rebrands) of Dell(Ook gewoon LSI rebrands) RAID Controllers.

Als je het echt cheap wil, kan je soms een HP P400 controller tweedehands versieren met een BBWC module van 256MB voor een paar tientjes.

Die controller is leuk voor RAID1, acceptabel voor RAID5, maar sowieso ongeschikt voor bijvoorbeeld SSD's.

Bovendien is het gewoon een hele oude controller... Wil je iets moderners, kan je in principe gewoon kijken op de VMware HCL.


<sub>V&A aangeboden: Dell PERC H700 512MB NV Cache met BBU
V&A aangeboden: IBM ServeRAID M1015 SAS/SATA met 2x LSI bekabeling.
V&A aangeboden: Intel RAID Controller SASUC8I
V&A aangeboden: LSI MegaRAID SAS 8208ELP (PCIe x4 / 8x SATA 3GB/s)
V&A aangeboden: LSI MegaRAID SAS 8344ELP te koop

Werken volgens mij allemaal onder ESXi, maar check het zelf nog even op de HCL!</sub>

[A1AD]

Vuurvoske schreef op dinsdag 19 augustus 2014 @ 22:14:
Aangezien ik ook een ASM1061 heb die niet wil werken als ik mijn intel panther passthrough...

@Firedrunk: Dit is dezelfde config als ik heb...onnodig van dit te testen dus.

[FireDrunk]

Ik dacht dat de test meer ging over het verschil tussen een onboard en een PCIe x1 ASMedia chipje?

[A1AD]

FireDrunk schreef op donderdag 21 augustus 2014 @ 12:43:
Ik dacht dat de test meer ging over het verschil tussen een onboard en een PCIe x1 ASMedia chipje?

Nee, de onboard wordt doorgegevn aan zfs. Mijn datastore HBA welke nu de PCI variant is had ik graag vervangen voor een pci-e variant voor extra performancie wellicht nodig voor een SSD in de toekomst.

Maar ik ga niet moelijk doen en de M1015 kopen om door te geven aan ZFS en de SSD op de onboard aansluiten.

[Vuurvoske]

Met de Marvel chipset krijg ik hetzelfde resultaat als de combinatie ASMedia 1061 en intel panther. Ik ga hem terug brengen en heb ondertussen een HP Smart array P400 controller besteld.

Ps. www.serverhome.nl bied verschillende raidcontrollers voor goede prijzen. Wellicht ook interessant voor jullie?

[|sWORDs|]

Mocht je later ooit nog iets met vSAN (3 hosts minimum) willen doen dan zijn de p400 en p410 not supported, de p420 wel.

[ Voor 8% gewijzigd door |sWORDs| op 21-08-2014 17:31 ]

[A1AD]

|sWORDs| schreef op donderdag 21 augustus 2014 @ 17:31:
Mocht je later ooit nog iets met vSAN (3 hosts minimum) willen doen dan zijn de p400 en p410 not supported, de p420 wel.

Graag! Maar 3 Hosts... Dat valt niet echt onder zuinig vrees ik

[|sWORDs|]

A1AD schreef op vrijdag 22 augustus 2014 @ 08:11:
[...]


Graag! Maar 3 Hosts... Dat valt niet echt onder zuinig vrees ik

Ik vind mijn setup met 25 Watt CPU's zelfs met 3 hosts nog zeker zuinig.

[wian]

|sWORDs| schreef op donderdag 14 augustus 2014 @ 17:53:
Ik heb 3x de Intel (Intel I350-T4) versie voor 270 euro (dus 90 euro p/s), inclusief verzenden en douanekosten van ebay geplukt. Nieuw in doos.

Hoe bevalt deze en hoelang duurde de verzending? Mooi prijsje voor 4 gbit NICs.

[|sWORDs|]

242,61 betaald via paypal (geen verzendkosten, dus prijs voor 1 is delen door 3), 31/7 besteld, 1-8 melding dat betaling binnen was, 8/8 ontvangen. 29,47 aan BTW en inklaringskosten. Dat is dus 90,70 per kaart.

Kaart is super, het mooie van de 350 is dat hij passthrough per NIC kan doen. Heb er een in beide esx hosts en een in de Qnap. Alles heeft nu dus 6x Gbit.

Qnap (3770T, 16GB, draait naast iSCSI ook de backend met Virtualization Station:

[ Voor 115% gewijzigd door |sWORDs| op 22-08-2014 22:29 ]

[wian]

Bedankt voor de foto's en uitleg. Erg leuk speelgoed, ik heb er ook 1 besteld

Maakt het qua snelheid veel uit als je passthrough gebruikt voor de NICs? Ik draai een virtuele firewall, misschien is het verstandig om interface die naar mijn modem gaat dmv passthrough direct aan de FW VM door te mappen. Dat zou toch in theorie de attack surface verkleinen?

[|sWORDs|]

Passthrough heeft pas echt voordelen vanaf zo'n 115Mbit aan traffic. Er zijn ook nadelen omdat een aantal technieken niet met passthrough werken. In theorie is het veiliger, maar in de praktijk zal dit niets uitmaken. Een NIC waar geen management op draait zie ik niet als kwetsbaar, maar inderdaad zou een security analist het zeker als veiliger bestempelen, maar die lopen dan ook meestal met alu hoedjes.

Voor de security mensen, let op de smilie!

[ Voor 42% gewijzigd door |sWORDs| op 23-08-2014 11:45 ]

[Zenix]

wian schreef op zaterdag 23 augustus 2014 @ 11:32:
Bedankt voor de foto's en uitleg. Erg leuk speelgoed, ik heb er ook 1 besteld

Maakt het qua snelheid veel uit als je passthrough gebruikt voor de NICs? Ik draai een virtuele firewall, misschien is het verstandig om interface die naar mijn modem gaat dmv passthrough direct aan de FW VM door te mappen. Dat zou toch in theorie de attack surface verkleinen?

Ik zou hem ook passtrough doen bij de WAN. Kan de virtuele firewall ook direct de offloading features gebruiken van de NIC, dan zou de performance omhoog moeten gaan en je CPU load omlaag.

Dit kan tevens ook als je SR-IOV gebruikt, daarnaast is VMDq/NetQueue ook een mooie feature. Verder is hij gewoon lekker zuinig in vergelijking met zijn voorgangers.

[ Voor 9% gewijzigd door Zenix op 23-08-2014 11:59 ]

[|sWORDs|]

Als de fysieke NIC offloading support dan laat VMXNET de segmentatie aan de fysieke NIC over.

[|sWORDs|]

Vuurvoske schreef op donderdag 21 augustus 2014 @ 15:01:
Met de Marvel chipset krijg ik hetzelfde resultaat als de combinatie ASMedia 1061 en intel panther. Ik ga hem terug brengen en heb ondertussen een HP Smart array P400 controller besteld.

Ps. www.serverhome.nl bied verschillende raidcontrollers voor goede prijzen. Wellicht ook interessant voor jullie?

http://www.v-front.de/201...p-offline-bundles-on.html

FireDrunk schreef op zaterdag 16 augustus 2014 @ 23:10:
TRIM is helemaal niet zo heel erg om te missen hoor.. Ja, je SSD word potentieel iets trager, maar ach. Het is niet alsof het ding stuk gaat ofzo...

Een M1015 is zeker door te geven via ESXi 5.5.

Trim vind niet automatisch plaats, maar je kunt wel handmatig trimmen met unmap. (esxcli storage vmfs unmap -l volume-label) Die zou voor de meeste controllers unmap/trim ook aan de controller moeten doorgeven.

[ Voor 52% gewijzigd door |sWORDs| op 24-08-2014 12:39 ]

[R0berto]

Ik ben bezig met mijn wensenlijstje voor een nieuwe thuisserver die ik wil gaan opzetten. Wat ik er voorlopig mee wil doen:

• firewall
• VPN server
• privé-webserver
• fileserver
• HTPC
• incidenteel een lichte game

Juist aan die laatste twee vereisten zijn nogal wat moeilijkheden met passthrough en dergelijke verbonden.
Daarom vroeg ik mij af of het nuttig was om te kijken naar een ESXi-opstelling, of dat het toch handiger is om een gewone host te draaien met daarop VMWare. Want de keuze voor ESXi, en dus compatible hardware, beinvloedt de mogelijke zuinige componenten natuurlijk wel

[Compizfox]

Voor het hosten van een game (dedicated server dus) heb je geen passthrough nodig.

Wil je echter games gaan spelen, dan wordt het (heel) lastig.

[R0berto]

nee, ik snap dat dedicated gameservers geen passthrough vereisen, maar ik doelde op het spelen van een game.
En dat zou dan op dezelfde guest kunnen/mogen als de HTPC; ik neem aan dat dat de zaken een klein beetje vergemakkelijkt

[|sWORDs|]

Ik zou geen passthrough voor HTPC en games aan raden, er zijn mensen die het met ATI kaarten aan de praat hebben, maar er zijn nog al wat problemen en het is ook niet supported. Anders zit je al snel aan het modden van een Geforce of het kopen van een Quadro.

Als ik jouw rijtje zo zie en kijk naar hoe ik het zelf doe dan zitten al jouw genoemde zaken buiten ESXi, maar de eerste 4 (bij mij eerste 2 op router, volgende 2 op NAS) zijn prima geschikt voor virtualisatie.

[Clavat]

Na een drukke tijd heb ik weer tijd om een tuin op te starten,
Nu alleen wil ik goedkoop beginnen en natuurlijk zuinig.

Het enige wat ik nog nodig heb is een:
Moederbord
Processor
Voeding,

De rest is al aanwezig,
Maar ik heb al heel wat gezocht maar wat ik het beste kan nemen??

Ik zoek dus een redelijke krachtige server waar ik minimaal een 10tal machines op kan maken,
maar dus ook goedkoop..
Wat is de beste oplossing?

[FireDrunk]

Paul in "Zuinige ESXi Server"

Paul heeft een mooi voorbeeldje

[Glival]

Glival schreef op vrijdag 15 augustus 2014 @ 15:19:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 V3 Boxed	€ 216,59	€ 216,59
1	Supermicro X10SL7-F	€ 224,-	€ 224,-
1	Crucial CT2KIT102472BD160B	€ 152,50	€ 152,50
Bekijk collectie Importeer producten		Totaal	€ 593,09

Heb 't inmiddels binnen, en 't werkt!

Mijn ervaringen tot nu toe:
• IPMI is superhandig, en werkt zelfs als de PC uit staat; ik denk dat je alles volledig headless kan installeren (zolang je een DHCP-server in je LAN hebt), maar ik heb de installatie van ESXi met monitor/toetsenbord gedaan
• Het flashen van de onboard LSI-controller naar IT mode stelde inderdaad niet zoveel voor (thanks Freakjam)
• Er zit gewoon een USB 3.0-poort in 't midden van het moederbord, dat zag ik pas nadat ik 'm had ingebouwd... daar boot ik nu van (dus niet alleen een header voor front panel USB, maar ook een echte poort waar de USB-stick direct in kan)
• De onboard Intel NICs werken met ESXi, al heb ik wel een VIB toegevoegd m.b.v. de ESXi Customizer (heb 't niet met een "kale" ESXi-ISO geprobeerd)
• De onboard Realtek NIC (RTL8211E) is dedicated voor IPMI, en ik weet niet of je 'm kan gebruiken in ESXi; ik krijg 't in ieder geval niet aan de praat (maar ik heb genoeg aan de 2 Intel NICs)
• De vSphere Client zit goed in elkaar, werkt fijn!
• Een oude HD die tijdelijk op m'n onboard controller zat om wat de kopiëren (de C222-controller, waar ook m'n HD met datastore aan hangt, dus niet de LSI-controller) kon ik niet makkelijk in de vSphere Client middels RDM doorgeven aan een VM (vinkje was grijs), maar op deze manier lukte 't wel
• Op één van m'n VMs heb ik pfSense draaien (gebaseerd op FreeBSD), en daarop werken de NICs alleen in E1000-mode... VMXNET 2 is instabiel (packet loss), VMXNET 3 wordt niet herkend (heb Open-VM-Tools geïnstalleerd), en met passthrough wordt 'ie wel herkend als Intel I210 maar krijg ik geen IP via m'n router (die in bridge mode staat)... misschien zou dat laatste kunnen komen doordat 't MAC-adres is veranderd na het wijzigen van E1000 naar passthrough (I210) en m'n router dat niet leuk vindt ofzo, dat moet ik nog even uitzoeken
• Een andere VM draait FreeNAS met 3x WD Red 4TB in RAID-Z1; het werkt na wat gepruts wel, maar wat is die UI van FreeNAS brak zeg... opzich vind ik 't niet zo erg om dingen uit te zoeken (plugins installeren werkt bijvoorbeeld niet, gaat iets fout met de jails), maar in productie zou ik toch liever alles handmatig doen of een alternatief proberen dan 't aan FreeNAS over te laten

Anyway, ik kan deze setup zeker aanraden! Als je bedenkt dat je met dit moederbord geen extra M1015 nodig hebt valt de prijs ook nog wel mee, en het is een echt Supermicro server-bord met IPMI enzo.

Ik wil nog wel graag de NICs (VMXNET 3 voor m'n LAN- en passthrough voor m'n WAN-NIC) fixen in pfSense, maar dat is vast wel op te lossen. En ze werken nu wel, al is het dan als E1000.

Erg zuinig zal het vast niet zijn trouwens, maar dat heb ik niet gemeten

[FireDrunk]

1) IPMI is er inderdaad voor bedoeld om altijd te werken... Het is zelfs beschikbaar als je hele server keihard vastgekaait is, of in een BSOD staat
2) Die Realtek is inderdaad dedicated, komt omdat die op een hele andere CPU aangesloten zit dan je Xeon (zit op een vaag ARM chipje, wat weer direct gevoed word door de voeding).
3) VMXNET3 onder pfSense is nogal een geknutsel, je moet volgens mij handmatig de kernel modules kopieren, maar het op de pfSense forums staat er genoeg over. Ik draai hier thuis al maanden een pfSense met E1000 en dat werkt prima (en kan ook gewoon > 1Gb aan).
4) Passthrough zou ik niet gebruiken, dan zijn de NIC's niet meer beschikbaar voor ESXi Beetje lastig beheren.
5) Nog verbruikscijfers?

[Compizfox]

Welke versie van FreeBSD gebruik je? In versie 9.x moet je VMware-tools installeren. In FreeBSD 10 zit de driver voor VMXNET3 er al standaard in.

[FireDrunk]

_{pfSense is FreeBSD 8, en zelfs bij de nieuwe beta's hebben ze volgens mij de VMXNET3 kernel module er expliciet uitgelaten}

[Glival]

FireDrunk schreef op dinsdag 26 augustus 2014 @ 14:31:
3) VMXNET3 onder pfSense is nogal een geknutsel, je moet volgens mij handmatig de kernel modules kopieren, maar het op de pfSense forums staat er genoeg over. Ik draai hier thuis al maanden een pfSense met E1000 en dat werkt prima (en kan ook gewoon > 1Gb aan).
4) Passthrough zou ik niet gebruiken, dan zijn de NIC's niet meer beschikbaar voor ESXi Beetje lastig beheren.

Hmm ik heb die modules volgens mij wel in de juiste directories, maar moet zeggen dat ik 't topic ook niet heel goed heb gelezen omdat ze als E1000 ook werkten en ik verder wilde met de volgende VM

Passthrough voor m'n WAN-NIC leek me juist wel handig; die heeft een extern IP (via de DHCP van m'n provider), en met passthrough kan ik 'm niet per ongeluk aan een andere VM toewijzen omdat de pfSense-VM 'm dan al in gebruik heeft. Zie ook https://forum.pfsense.org/index.php?topic=53185.0, het verschil in snelheid is niet enorm maar het CPU-verbruik wel.

FireDrunk schreef op dinsdag 26 augustus 2014 @ 14:31:
5) Nog verbruikscijfers?

Nee helaas, ik zal eens rondvragen of ik iemand ken die een energiemeter heeft.

[FireDrunk]

Dat is zeker een valide reden, hoewel ik niet zo zwaar aan dat CPU verbruik zou tillen... Als je een dikke Xeon hebt, is die paar procent ook niet echt om te huilen Maar het is zeker een prima optie.

[FREAKJAM]

Tof dat je setup goed draait Glival! Ik heb zoals je weet dezelfde setup en ik heb toevallig 2 weken terug pfSense ook omgezet naar VMXNET3 en dat werkt goed.

Zoals FireDrunk al aangeeeft, er zijn genoeg guides te vinden. Ik heb toen deze gebruikt. Schrijf wel even goed je mac-adressen op wanneer je het omzet. Na een reboot van de pfSense-server moet je de nic's opnieuw toewijzen aan je LAN/WAN namelijk.

[ Voor 32% gewijzigd door FREAKJAM op 26-08-2014 16:24 ]

[ppl]

FireDrunk schreef op dinsdag 26 augustus 2014 @ 14:54:
_{pfSense is FreeBSD 8, en zelfs bij de nieuwe beta's hebben ze volgens mij de VMXNET3 kernel module er expliciet uitgelaten}

pfSense 2.1.x is gebaseerd op FreeBSD 8.3 (er zit behoorlijk veel verschil tussen 8.0 en 8.3, ondanks de point releases zijn dit wel full releases a la OS X).

Het is niet erg dat je geen VMXNET3 kunt, met E1000 wil het ook prima. Voor pfSense op ESXi is het volgende document handig om door te nemen (hiermee krijg je VMXNET3 niet werkend): https://doc.pfsense.org/index.php/PfSense_2_on_VMware_ESXi_5

Btw, update wel je IPMI ivm een vulnerability en houdt die Realtek ook alleen voor IPMI gebruik (is waarschijnlijk toch maar een 100Mbit ding, genoeg voor remote management).

[nero355]

Ik dacht ik geef hem een tip : Installeer FreeBSD en daarna pfsense los via de ports, maar dat kan zo te zien helaas niet meer

Vroeger ging dat wel... best handig als je volledige support moest hebben voor het één en ander!

[FireDrunk]

ppl schreef op dinsdag 26 augustus 2014 @ 17:06:
[...]

pfSense 2.1.x is gebaseerd op FreeBSD 8.3 (er zit behoorlijk veel verschil tussen 8.0 en 8.3, ondanks de point releases zijn dit wel full releases a la OS X).

Helemaal correct, ik haalde het meer aan vanwege het feit dat VMXNET3 er ook in 8.3 niet standaard in zit

[A1AD]

Glival schreef op dinsdag 26 augustus 2014 @ 14:17:

• Een andere VM draait FreeNAS met 3x WD Red 4TB in RAID-Z1; het werkt na wat gepruts wel, maar wat is die UI van FreeNAS brak zeg... opzich vind ik 't niet zo erg om dingen uit te zoeken (plugins installeren werkt bijvoorbeeld niet, gaat iets fout met de jails), maar in productie zou ik toch liever alles handmatig doen of een alternatief proberen dan 't aan FreeNAS over te laten

FreeNAS werk in mijn ogen heerlijk. Waarom zou je trouwens plugins gebruiken als je een ESX server hebt waar je x aantal (linux) servers op kan draaien...

[SeppeD]

Hallo,

Ik ben mijn hardware onderdelen aan het kiezen voor mijn ZFS/ESXI server.

Ik zie dat het moederbord Super Micro X10SL7-F samen met de Intel Xeon E3-1230V3 veel gekozen wordt.
Ondertussen is de Intel Xeon E3-1231V3 (Haswell Refresh) uit en voor een iets lagere prijs dan de E3-1230V3.

Werkt de Xeon E3-1231V3 (Haswell Refresh) ook op het moederbord Super Micro X10SL7-F ?
Indien er een biosupdate moet gebeuren kan ik dit doen zonder een andere processor te kopen?

Alvast bedankt

[|sWORDs|]

Dat werkt zonder bios update, sowieso is de kans groot dat de laatste bios er in zit.

[ppl]

FireDrunk schreef op dinsdag 26 augustus 2014 @ 19:08:
[...]

Helemaal correct, ik haalde het meer aan vanwege het feit dat VMXNET3 er ook in 8.3 niet standaard in zit

Dat snap ik maar bij FreeBSD moet je oppassen wat je als versienummer gebruikt. Een 8.3 is geen point release maar een final release. Ze brengen dan ook nieuwe functionaliteit, drivers, etc. met zich mee. Een 10.0 versie is bijv. niets anders als een 8.3 of 9.2. Je had eigenlijk net zo goed een compleet ander OS kunnen noemen, dat was net zo betekenisvol geweest. In dit geval was het makkelijker geweest om te zeggen dat alles van voor 10.0 geen VMXNET3 driver standaard aan boord heeft.

A1AD schreef op dinsdag 26 augustus 2014 @ 19:36:
[...]


FreeNAS werk in mijn ogen heerlijk. Waarom zou je trouwens plugins gebruiken als je een ESX server hebt waar je x aantal (linux) servers op kan draaien...

Minder overhead Je draait nu namelijk 1 OS met een aantal plugins en niet diverse OS's. Dat scheelt je ook in beheer het nodige. Als ik het goed heb gebruikt men voor die plugins de jail functionaliteit in FreeBSD (daar waar FreeNAS op is gebouwd). Dat zit qua security ook wel goed (je kunt natuurlijk altijd nog kiezen om omwille van security of een ander OS een losse vm te maken).

[A1AD]

ppl schreef op dinsdag 26 augustus 2014 @ 22:58:
[...]
Minder overhead Je draait nu namelijk 1 OS met een aantal plugins en niet diverse OS's. Dat scheelt je ook in beheer het nodige.

Het beheer wordt net moelijker zonder scheiding van funcionaliteit ...
Voor standalone installaties zijn die jails een uitkomst maar hell no voor een ESX omgeving. Installeer dan geen ESX hé.
ESX installeren om dan freenas te virtualiseren en de jails te gebruiken hierin? Gans gedoe met doorgeven van HBA's, virtuele laag ertussen dat voor problemen kan zorgen (zie forum freenas) , powermanagement dat niet optimaal werkt, extra geheugen voor de hypervisor... hoezo overhead

Extra servertje, lekker snapshots maken. Onafhankelijk van iets dat je 24/7 up wilt hebben (je NAS) en lekker stoeien met vlans, vMotion, backups, noem maar op. Teveel voordelen tov teveel nadelen

Ik geloof nooit dat er hier mensen zijn die met zijn ESX server werken met jails. Je zal er altijd wel hebben rondlopen

[Paul]

A1AD schreef op dinsdag 26 augustus 2014 @ 23:27:
Voor standalone installaties zijn die jails een uitkomst maar hell no voor een ESX omgeving. Installeer dan geen ESX hé.
Ik geloof nooit dat er hier mensen zijn die met zijn ESX server werken met jails. Je zal er altijd wel hebben rondlopen

Hier nog iemand Maar ik gebruik het alleen voor de FreeNAS plugins.

Plugin installeren:
- Aanklikken in webinterface
- Even wachten
- Storage koppelen in webgui

Nieuwe VM:
- VM aanmaken, ISO mounten
- OS installeren
- OS configureren
- Samba of NFS installeren
- SMB of NFS-share maken op NAS
- SMB- of NFS-share mounten
- Transmission / sabnzbd / plex / whatever installeren

Ik weet het wel hoor Ik ben gewoon lui...

Maar goed, dat doe ik dus alleen voor FreeNAS plugins, die bieden functionaliteit die heel dicht bij de NAS liggen. Voor al het andere spul maak ik uiteraard in ESXi een VM aan

[A1AD]

Paul schreef op woensdag 27 augustus 2014 @ 08:04:
[...]

Nieuwe VM:
- VM aanmaken, ISO mounten
- OS installeren
- OS configureren
- Samba of NFS installeren
- SMB of NFS-share maken op NAS
- SMB- of NFS-share mounten
- Transmission / sabnzbd / plex / whatever installeren

Nieuwe VM:
- Laden template
- Transmission / sabnzbd / plex / whatever installeren

[FireDrunk]

Het is maar wat je gewend bent... Toen ik ESXi draaide vond ik het wel een fijn idee dat mijn Services (SabNZBd en de hele reut) niet stuk gingen als mijn NAS voor een ander OS vervangen werd (vaak genoeg geswitched van Nexenta naar BSD, naar Linux, naar ZFSguru...)

Aan de andere kant... Die services hebben wel een *flinke* performance hit te pakken doordat ze niet op dezelfde machine staan als de storage... En met 200Mbit internet is dat best wel heel erg merkbaar...

Daarom draait alles hier nu ongevirtualiseerd (ZFSonLinux met de hele batterij aan services gewoon lokaal).

[A1AD]

FireDrunk schreef op woensdag 27 augustus 2014 @ 10:42:
Aan de andere kant... Die services hebben wel een *flinke* performance hit te pakken doordat ze niet op dezelfde machine staan als de storage... En met 200Mbit internet is dat best wel heel erg merkbaar...

Wacht, wil je nu zeggen dat plex, sabnzb, *insert program* trager werken op een VM?

[Paul]

A1AD schreef op woensdag 27 augustus 2014 @ 10:38:
- Laden template

Gefeliciteerd, je hebt de eerste 2 stappen gecombineerd Tenzij je een aantal verschillende templates maakt, maar gezien de hoeveelheid plugins die ik heb draaien (3...) is het dat niet waard

A1AD schreef op woensdag 27 augustus 2014 @ 10:45:
Wacht, wil je nu zeggen dat plex, sabnzb, *insert program* trager werken op een VM?

Nee, hij zegt dat ze een langzamere verbinding hebben met de storage wanneer ze op een andere machine draaien dan die storage

Als ik een dedicated NAS heb met een hoop storage en 1 gigabit verderop een ESXi-host met sabnzbd dan kan dat best trager zijn dan wanneer ik een combi-NAS heb met zowel een hoop storage als sabnzbd

[ Voor 44% gewijzigd door Paul op 27-08-2014 10:52 ]