Zuinige ESXi Server

[Paul]

FREAKJAM schreef op maandag 17 februari 2014 @ 09:02:
Ik snap hoe je iscsi opzet in FreeNAS/ESXi maar ik vond het ook niet echt logisch klinken om een datastore aan te maken in ESXi/FreeNAS en om deze vervolgens te koppelen aan welk systeem dan ook.

Volgens mij haal je nog steeds termen door elkaar, of je legt het wat warrig uit

Wat vind je onlogisch, het concept 'datastore' van VMware of het concept 'iSCSI'?

Zonder datastore geen ESXi (want die heeft iets nodig om zijn VM's op te slaan) en iSCSI is 'gewoon' en SAN-technologie vergelijkbaar met fiber channel

[Chronos]

Chronos schreef op dinsdag 21 januari 2014 @ 13:03:
Op basis van dit topic, het zuinige server topic en nog wat andere bronnen, o.a. freenas forums heb ik het volgende systeem samengesteld:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 196,-	€ 196,-
1	Supermicro X9SCM-F	€ 157,55	€ 157,55
3	WD Green WD20EZRX, 2TB	€ 70,95	€ 212,85
1	Fractal Design Node 304 Zwart	€ 65,-	€ 65,-
2	Kingston KVR1333D3E9S/8G	€ 76,90	€ 153,80
1	Delock SATA-300 PCI Express Card, 2 Port	€ 18,-	€ 18,-
1	Seasonic G-Serie 360Watt	€ 51,-	€ 51,-
Bekijk collectie Importeer producten		Totaal	€ 854,20

Even een update over deze config, de Delock PCI-e SATA adapter blijkt niet te werken in ESXi 5, kennelijk alleen in 4. ESXi herkent de kaart wel, maar bij het aanspreken van mijn SSD op deze controller treden allerlei fouten op (de SSD werkt wel perfect op de moederbord controller).

Heb nu een 2e hands HP P400 Smart Array controller gekocht in de hoop dat deze wel goed zal werken.

Overigens past een mITX kast natuurlijk ook niet bij een uATX moederbord

[FireDrunk]

Er zijn heel wat drivers van 5.1 niet naar 5.5 mee verhuist, check even of hij wel werkt onder 5.1.
Als dat zo is, kan je 5.1 upgraden naar 5.5 met behoud van de oude drivers.

Datzelfde geld namelijk voor de ASMedia driver. Die zit wel in 5.1 maar niet in 5.5.
Makkelijkste manier om dit op te lossen is om te upgraden.

(In theorie kan je ook uitzoeken welke driver het is, en zelf installeren, maar dat is meer werk)

[FREAKJAM]

Paul schreef op maandag 17 februari 2014 @ 09:17:
[...]
Volgens mij haal je nog steeds termen door elkaar, of je legt het wat warrig uit

Wat vind je onlogisch, het concept 'datastore' van VMware of het concept 'iSCSI'?

Zonder datastore geen ESXi (want die heeft iets nodig om zijn VM's op te slaan) en iSCSI is 'gewoon' en SAN-technologie vergelijkbaar met fiber channel

Hetgeen wat ik onlogisch vind klinken is dat je NTFS draait op ZFS. Maar dat bevestig je dus ook:

Wat je NIET moet doen is de iSCSI-datastore van VMware OOK aan jet HTPC koppelen en als NTFS formatteren, op dat moment raak je je datastore en alles wat daarop staat kwijt. Als je dan in VMware kijkt dan zegt deze dat de datastore corrupt is (want ineens NTFS ipv VMFS). Ga je daar weer een datastore aanmaken dan is Windows de D:-schijf kwijt

Ik gebruik trouwens een SSD van 240GB als datastore.

[ Voor 25% gewijzigd door FREAKJAM op 17-02-2014 09:41 ]

[Pantagruel]

Chronos schreef op maandag 17 februari 2014 @ 09:28:
[...]


Even een update over deze config, de Delock PCI-e SATA adapter blijkt niet te werken in ESXi 5, kennelijk alleen in 4. ESXi herkent de kaart wel, maar bij het aanspreken van mijn SSD op deze controller treden allerlei fouten op (de SSD werkt wel perfect op de moederbord controller).

Heb nu een 2e hands HP P400 Smart Array controller gekocht in de hoop dat deze wel goed zal werken.

Overigens past een mITX kast natuurlijk ook niet bij een uATX moederbord

Cirkelzaag doet wonderen

De P400 werkt onder ESXi 5.1, heb alleen geen idee of 't 'logical volumes groter dan 2TB' probleem is opgelost. Als je de SSD aan de P400 hangt zul je er geen last van hebben.

FREAKJAM schreef op maandag 17 februari 2014 @ 09:40:
[...]

Hetgeen wat ik onlogisch vind klinken is dat je NTFS draait op ZFS. Maar dat bevestig je dus ook:
[...]
snipzz...

Als je een blockdevice (file of volledig device als 'n hdd) via iSCSI aan een machine (vm of bare-metal) geeft ziet deze die als een blanco disk. Formateren met een fs (NTFS in t geval van windows) is voor gebruik een vereiste.

[ Voor 20% gewijzigd door Pantagruel op 17-02-2014 10:43 ]

[Paul]

FREAKJAM schreef op maandag 17 februari 2014 @ 09:40:
Hetgeen wat ik onlogisch vind klinken is dat je NTFS draait op ZFS.

Dat klopt, dat is omdat iSCSI een SAN-technologie is @work draaien we NTFS, volgens mij nog een verdwaalde FAT32, Ext4, VMFS etc etc op whatever onze storage vendors gebruiken als filesystem op hun storage arrays. De keten is nog een stuk langer (3 filesystems...) als je een VM aanmaakt op een ZFS iSCSI VMFS datastore

[vandijk]

Na enig gezoek naar een raidcontroller ben ik op het volgende uitgekomen

- Antec 4u rackmount
- Intel S1200V3RPL
- Xeon E3-1230 V3
- 2x Kingston 8 GB ECC
- be quiet! Straight Power E9 400W
- LSI 8708EM2 256MB
- 8x 2TB HGST (RAID 6)
- 4GB usb stick voor boot

Zonder disks en controller zit ik idle rond de 25 watt. Als het array klaar is met initialiseren en de VM's overgezet zijn naar het array zal ik eens kijken wat de score nu is. Ik hoop rond de 80Watt, maar ik verwacht eerder rond de 90 a 100 uit te komen.

In tegenstelling tot de veel geziene ZFS VM die via iSCSI ruimte aanbied voor VM's heb ik gekozen voor een hardware raid controller met BBU en een VMFS van +/- 12TB. Hier op plaats ik een Windows fileserver die de storage beschikbaar stelt voor de rest van mijn netwerk. Verder nog een paar VM's voor mail, webserver etc.



De 2e server draait nu nog Windows 2003. Deze heeft 4x 1TB in raid 5. Deze gaat als backup server dienen voor de belangrijkste data. Ik gebruik Zovo.co als off-site backup.

[ Voor 17% gewijzigd door vandijk op 17-02-2014 11:36 ]

[manmetdehamer]

Hallo Allemaal,

De laatste dagen ben ik mezelf aan het orienteren gewees top een home server.
Ik wil de server gaan gebruiken als home lab / nas.

Ik wil een zfs server draaien welke rechtstreeks mijn disken gaat aansturen 4x 2tb om te beginnen.
Een deel wil ik als isci gaan aanbieden aan esxi en de rest gaan delen via nfs / cifs.

Nu ben ik op de onderstaande configuratie gekomen:

Mijn vraag hebben jullie hier nog ideen over? en zal deze configuratie nog redelijk zuinig zijn?

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 189,99	€ 189,99
1	Supermicro X10SL7-F	€ 229,34	€ 229,34
1	Gigabyte GZ-X7	€ 36,97	€ 36,97
1	Kingston 16GB 1600MHz Reg ECC x8 Kit of 4 (KTMSX3168K4/16G)	€ 208,50	€ 208,50
1	Seasonic G-Serie 360Watt	€ 51,-	€ 51,-
Bekijk collectie Importeer producten		Totaal	€ 715,80

[DXaroth]

manmetdehamer schreef op donderdag 20 februari 2014 @ 16:11:
Hallo Allemaal,

De laatste dagen ben ik mezelf aan het orienteren gewees top een home server.
Ik wil de server gaan gebruiken als home lab / nas.

Ik wil een zfs server draaien welke rechtstreeks mijn disken gaat aansturen 4x 2tb om te beginnen.
Een deel wil ik als isci gaan aanbieden aan esxi en de rest gaan delen via nfs / cifs.

Nu ben ik op de onderstaande configuratie gekomen:

Mijn vraag hebben jullie hier nog ideen over? en zal deze configuratie nog redelijk zuinig zijn?

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 189,99	€ 189,99
1	Supermicro X10SL7-F	€ 229,34	€ 229,34
1	Gigabyte GZ-X7	€ 36,97	€ 36,97
1	Kingston 16GB 1600MHz Reg ECC x8 Kit of 4 (KTMSX3168K4/16G)	€ 208,50	€ 208,50
1	Seasonic G-Serie 360Watt	€ 51,-	€ 51,-
Bekijk collectie Importeer producten		Totaal	€ 715,80

Je moederbord is socket 1150, je CPU 1155 .. da gaat niet werken

[FireDrunk]

En je hebt Registered ECC (RDIMM) gekozen, je moet unregistered ECC (UDIMM) hebben.
(en pak gelijk 2*8 ipv 4*4, dan heb je in de toekomst nog de mogelijkheid om uit te breiden)

[ Voor 36% gewijzigd door FireDrunk op 20-02-2014 16:33 ]

[Zenix]

Daarnaast is het misschien ook een optie om te kiezen voor een micro-atx kast? Heb je toch minder ruimte nodig

[manmetdehamer]

FireDrunk schreef op donderdag 20 februari 2014 @ 16:32:
En je hebt Registered ECC (RDIMM) gekozen, je moet unregistered ECC (UDIMM) hebben.
(en pak gelijk 2*8 ipv 4*4, dan heb je in de toekomst nog de mogelijkheid om uit te breiden)

Het geheugen heb ik aangepast:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 189,99	€ 189,99
1	Supermicro X10SL7-F	€ 229,34	€ 229,34
1	Gigabyte GZ-X7	€ 36,66	€ 36,66
1	Crucial CT2KIT102472BD160B	€ 146,-	€ 146,-
1	Seasonic G-Serie 360Watt	€ 51,-	€ 51,-
Bekijk collectie Importeer producten		Totaal	€ 652,99

Heeft iemand nog suggesties voor een moederbord? Beetje lastig om in de pw te filteren op een moederbord met 2 sata controllers. Eventueel een andere moederbord + cpu configuratie die vt-d en ecc ondersteund sta ik ook open voor . Over de micro atx kast had ik eigenlijk nog niet nagedacht, zal eens kijken of ik wat gunstigs kan vinden.

[TweakMDS]

manmetdehamer schreef op donderdag 20 februari 2014 @ 17:44:
[...]


Het geheugen heb ik aangepast:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 189,99	€ 189,99
1	Supermicro X10SL7-F	€ 229,34	€ 229,34
1	Gigabyte GZ-X7	€ 36,66	€ 36,66
1	Crucial CT2KIT102472BD160B	€ 146,-	€ 146,-
1	Seasonic G-Serie 360Watt	€ 51,-	€ 51,-
Bekijk collectie Importeer producten		Totaal	€ 652,99

Heeft iemand nog suggesties voor een moederbord?

Geen idee of het iets is, en misschien ook nog niet verkrijgbaar, maar deze leek me leuk: http://www.asrock.nl/server/overview.asp?Model=E3C224D4I-14S

[FireDrunk]

Je moet nog steeds je CPU aanpassen.

(Hint: pricewatch: Intel Xeon E3-1230 V3 Boxed)

[ Voor 65% gewijzigd door FireDrunk op 20-02-2014 18:30 ]

[DXaroth]

manmetdehamer schreef op donderdag 20 februari 2014 @ 17:44:
[...]


Het geheugen heb ik aangepast:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 189,99	€ 189,99
1	Supermicro X10SL7-F	€ 229,34	€ 229,34
1	Gigabyte GZ-X7	€ 36,66	€ 36,66
1	Crucial CT2KIT102472BD160B	€ 146,-	€ 146,-
1	Seasonic G-Serie 360Watt	€ 51,-	€ 51,-
Bekijk collectie Importeer producten		Totaal	€ 652,99

Heeft iemand nog suggesties voor een moederbord? Beetje lastig om in de pw te filteren op een moederbord met 2 sata controllers. Eventueel een andere moederbord + cpu configuratie die vt-d en ecc ondersteund sta ik ook open voor . Over de micro atx kast had ik eigenlijk nog niet nagedacht, zal eens kijken of ik wat gunstigs kan vinden.

Ik zou voor de CPU gaan die FireDrunk linkte, wil je toch voor de v2 gaan, dan zou ik zelf SuperMicro aanraden (zoals je zelf al had gevonden).. iets als deze: pricewatch: Supermicro X9SCM-F

[manmetdehamer]

Klinkt goed, dan zou ik op het onderstaande uitkomen:
Wat voor harde schijven zouden jullie aanraden? ik heb er momenteel 2x 2tb en zit er aan te denken om er nog 2 bij te nemen.

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 V3 Boxed	€ 218,50	€ 218,50
1	Supermicro X10SL7-F	€ 229,34	€ 229,34
1	Gigabyte GZ-X7	€ 36,66	€ 36,66
1	Crucial CT2KIT102472BD160B	€ 146,-	€ 146,-
1	Seasonic G-Serie 360Watt	€ 51,-	€ 51,-
Bekijk collectie Importeer producten		Totaal	€ 681,50

[FREAKJAM]

Je komt wel aardig dicht bij mijn setup :-) Ik heb nog een losse SSD die ik gebruik als datastore.

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 V3 Boxed	€ 218,50	€ 218,50
1	Supermicro X10SL7-F	€ 229,34	€ 229,34
6	WD Red SATA 6 Gb/s WD30EFRX, 3TB	€ 111,88	€ 671,28
1	BitFenix Shadow	€ 59,99	€ 59,99
7	Sharkoon SATA III standard (50cm)	€ 3,90	€ 27,30
1	Kingston ValueRAM KVR16E11K4/32	€ 302,50	€ 302,50
1	Seasonic G-Serie 360Watt	€ 51,-	€ 51,-
1	Crucial 2.5" M500 240GB	€ 100,90	€ 100,90
Bekijk collectie Importeer producten		Totaal	€ 1.660,81

[vandijk]

vandijk schreef op maandag 17 februari 2014 @ 11:29:
Na enig gezoek naar een raidcontroller ben ik op het volgende uitgekomen

- Antec 4u rackmount
- Intel S1200V3RPL
- Xeon E3-1230 V3
- 2x Kingston 8 GB ECC
- be quiet! Straight Power E9 400W
- LSI 8708EM2 256MB
- 8x 2TB HGST (RAID 6)
- 4GB usb stick voor boot

Zonder disks en controller zit ik idle rond de 25 watt. Als het array klaar is met initialiseren en de VM's overgezet zijn naar het array zal ik eens kijken wat de score nu is. Ik hoop rond de 80Watt, maar ik verwacht eerder rond de 90 a 100 uit te komen.

Na bijna 2 dagen raid level aanpassing en initialiseren is het eindelijk tijd om een meting te doen. Idle zonder draaiende vm's ongeveer 85watt. Met 4 draaiende (idle) Windows vm's (2x 2012, 2003 en 8.1) tussen de 88 en 93watt. Tijdens het overpompen van 2TB aan media files piekt de boel rond de 120watt.

Het moederbord heeft helaas weinig (geen) opties voor power management. De 2 Noctua NF-S12A PWM fans die ik aangesloten heb op het moederbord lijken niet echt trager te gaan draaien. De temperatuur volgens de ESXi health status zitten tussen de 26 en 34 graden.

[ Voor 3% gewijzigd door vandijk op 20-02-2014 21:44 ]

[FireDrunk]

Ik denk dat vooral je schijven voor dat hoge verbruik zorgen... Je CPU doet van zichzelf al heel weinig...

[vandijk]

Schijven en raidcontroller zullen inderdaad de grote boosdoeners zijn inderdaad. Maar alles bij elkaar is het bijna net zo 'zuinig' als de 10 jaar oude Athlon met 1 HD die ik nu de deur uit kan doen..

[ Voor 8% gewijzigd door vandijk op 20-02-2014 20:51 ]

[DXaroth]

vandijk schreef op donderdag 20 februari 2014 @ 20:41:
[...]


Na bijna 2 dagen raid level aanpassing en initialiseren is het eindelijk tijd om een meting te doen. Idle zonder draaiende vm's ongeveer 85watt. Met 4 draaiende (idle) Windows vm's (2x 2012, 2003 en 8.1) tussen de 88 en 93watt.

Het moederbord heeft helaas weinig (geen) opties voor power management. De 2 Noctua NF-S12A PWM fans die ik aangesloten heb op het moederbord lijken niet echt trager te gaan draaien. De temperatuur volgens de ESXi health status zitten tussen de 26 en 34 graden.

Als ik de specs goed lees hebben die schijven een piek verbruik van 11w per stuk, en een idle verbruik van 5-6w .. dus 50% van dat verbruik gaat op aan je schijven sowieso (granted dat je systeem netjes spindown doet, anders zal dat zeker meer dan 50% zijn)

[vandijk]

Ik verwacht niet dat die schijven aan spin down doen. Die vm's schrijven te vaak naar logfiles.

[Verwijderd]

FireDrunk schreef op donderdag 20 februari 2014 @ 18:30:
Je moet nog steeds je CPU aanpassen.

(Hint: pricewatch: Intel Xeon E3-1230 V3 Boxed)

Ik had de [url]http://http://tweakers.net/pricewatch/346340/intel-xeon-e3-1220-v3-boxed.html[/url] bij dit moederbord gekozen omdat er al een GPU op het bord zit, die heb je dan niet nodig in de CPU.

Op het [url]http://http://tweakers.net/pricewatch/347332/supermicro-x10sl7-f.html[/url] moederbord zit een GPU (VGA BMC integrated Aspeed AST2400)

[ Voor 13% gewijzigd door Verwijderd op 20-02-2014 22:25 ]

[A1AD]

ha, samba read van zfs naar win8.1
realtek nic: 40-50MB/s
Intel nic: +100MB/s
Van rommel gesproken...

[ Voor 15% gewijzigd door A1AD op 23-02-2014 17:22 ]

[Chronos]

Afgelopen dagen heb ik enorm lopen klooien met ESXi 5.5 om de onboard SATA controller door te geven aan een guest OS (met FreeNAS). Niets bleek te werken. De fouten die ik tegenkwam bij het doorgeven van de onboard controller:

ahci0: AHCI controller reset failure
device_attach: ahci0 attach returned 6

Daarnaast heb ik geprobeerd een HP Smart Array P400 controller door te geven (als soort van debug actie), ook dit werkte niet. Uiteindelijk bleek te optie vrij simpel, downgraden naar ESXi 5.1, nu werkt alles perfect.

De foutmelding werd meerdere keren genoemd in topics op GoT, maar de genoemde oplossingen (hw.pci settings wijzigen in loader.conf) werkten niet voor mij.

[FireDrunk]

Die melding heb ik ook wel eens gezien. Had volgens mij te maken met het feit dat de desbetreffende controller een boot rom implementeerde. Vanaf ESXi 5.5 wil ESX volgens mij die boot rom naar gewoon RAM kopieren (wat normaal gesproken bij boot roms gebeurd), maar dat lukt niet icm VT-d.

ESXi 5.1 doet die kopie slag volgens mij nog niet.

Maar dat is puur speculatie. Ik heb bijvoorbeeld de ASMedia controller van een ASRock bord door kunnen geven, maar een zelfde controller die los op een PCIe x1 kaartje zit, werkte weer niet en gaf diezelfde foutmelding.

[nero355]

A1AD schreef op zondag 23 februari 2014 @ 17:21:
ha, samba read van zfs naar win8.1
realtek nic: 40-50MB/s
Intel nic: +100MB/s
Van rommel gesproken...

Daarom heb ik laatst een moederbord met onboard Intel voor mijn HTPC gekocht

[Verwijderd]

Beste Tweakers,

Ik ben een gevirtualiseerde homeserver aan het samenstellen die voornamelijk zal dienen om:
1. Domein op te zetten
2. Netwerk monitoring (omgeving met 8-tal clients)
3. Testlab (voor security doeleinden)

#	Product	Prijs	Subtotaal
1	Intel Core i3 4330 Boxed	€ 108,-	€ 108,-
1	ASRock B75 Pro3-M	€ 49,64	€ 49,64
1	Cooler Master N300 (Closed)	€ 32,04	€ 32,04
1	Crucial Ballistix Tactical BLT2C4G3D1608ET3LX0CEU	€ 65,01	€ 65,01
1	be quiet! System Power 7 300W	€ 32,-	€ 32,-
1	Crucial 2.5" M500 240GB	€ 99,99	€ 99,99
Bekijk collectie Importeer producten		Totaal	€ 386,68

Wat denken jullie van deze set-up?

Om diskspace te sparen zou ik het OS op een USB stick plaatsen.
Ik heb thuis nog een Synology DS213J draaien.
De essentiële VM's zou ik het OS op de SSD plaatsen, de data kan opgeslagen worden op de NAS.

Zou ik toekomen met deze van 240GB of best naar een SSD van 500GB kijken?
Tips/opmerkingen zijn zeker welkom, dit is de eerste keer dat ik dit doe en maak (hoogstwaarschijnlijk) enkele beginnersfouten.

Bedoeling van deze server is dat ik hierop mijn intern netwerk zal monitoren. Kom ik toe met een moederbord met 1 NIC?

[FireDrunk]

Je hebt de verkeerde CPU voor dat moederbord (of andersom ).
Of je een grotere SSD nodig hebt, ligt vooral aan de OSen die je wil draaien. Wil je 20x Windows 2012, zul je inderdaad wat krap toekomen, maar 20x Ubuntu is vele malen makkelijker.

1 NIC kan prima icm ESXi voor een paar VM's

[Verwijderd]

FireDrunk schreef op maandag 24 februari 2014 @ 12:43:
Je hebt de verkeerde CPU voor dat moederbord (of andersom ).
Of je een grotere SSD nodig hebt, ligt vooral aan de OSen die je wil draaien. Wil je 20x Windows 2012, zul je inderdaad wat krap toekomen, maar 20x Ubuntu is vele malen makkelijker.

1 NIC kan prima icm ESXi voor een paar VM's

Aangepast naar ASRock B85M Pro4.
Denk dat ik zeker niet over 6 Windows OS'en ga gaan. Kan ik in het slechtste geval nog enkele OS'en op de NAS zelf zetten?

[FireDrunk]

Dat kan, alleen is dat wel erg traag. Maar voor bijvoorbeeld voor een Domain Controller werkt dat prima.

[Dinh]

Ik ben momenteel aan het kijken voor een ESXi server voor thuis. Ik wil graag het volgende op draaien:

Vaste VMs:
- Windows/Linux voor video encoding (HandBrake)
- Hackintosh server
- Plex Media Server
- NZBd & pyLoad
- Lokale webserver (nginx, uwsgi, python)

Afwisselend:
- Centos/Linux server(s) voor ontwikkeling/testen (web) apps voordat ze in productie gaan
- Updates/nieuwe versies vaste VMs testen voordat ze "vast" worden

Ik heb het volgende in gedachte qua onderdelen (ik zit in USA):

- Kast: iStarUSA D-400L-7 (http://www.istarusa.com/istarusa/products.php?model=D-400L-7)
- Drive Bay: 2x iStarUSA BPN-DE230SS-BLUE (http://www.istarusa.com/i...cts.php?model=BPN-DE230SS)
- Voeding: Corsair AX760 (http://www.corsair.com/us...ed-fully-modular-psu.html)
- Moederbord: Supermicro X9DR3-F (http://www.supermicro.com...ard/Xeon/C600/X9DR3-F.cfm)
- CPUs: 2x Intel Xeon 2630V2 (http://ark.intel.com/prod...630-v2-15M-Cache-2_60-GHz)
- CPU Coolers: 2x Noctua NH-U9DX i4 (http://www.noctua.at/main...iew&products_id=67&lng=en)
- Memory: Kingston 64GB Kit 4x16GB (http://www.kingston.com/u...h/?partid=KVR16R11D4k4/64)
- Hard Drive: 6x HGST 3TB Deskstar NAS (http://www.hgst.com/hard-...its/nas-desktop-drive-kit)
- En nog te bepalen SSD/HDD voor installatie ESXi + FreeBSD VM

Opzet:
- De SSD/HDD (waarschijnlijk in mirror) gaan in de SATA3 poorten van de moederbord. Deze wordt dan gebruikt voor installatie ESXi en datastore voor FreebSD VM
- De 6 Deskstar gaan via de hotswap bays in de SAS poorten van moederbord. De SAS controller wordt via PCI passthrough doorgegeven aan de FreeBSD VM en gaan dan in RAIDZ2
- ZFS Pool wordt gedeeld en dient als datastore voor de andere VMs
- Tussen de VMs wordt er een vSwitch geplaatst, met de 2x 1GB onboard NIC als uplink (teaming?) en deze gaan in een Cisco SG300-28
- Backup van belangrijke data wordt verzorgt door een bestaande server met RAIDZ2. Deze wordt met 2x 1GB NIC op de Cisco SG300-28 aangesloten.

Mijn vragen:
- Hoe zijn mijn keuzes voor de onderdelen? Ik wil toch wel iets krachtigs hebben, maar wil dat het ook redelijk stil is.
- Is mijn opzet mogelijk? Kan de SAS controller worden doorgegeven aan de FreeBSD VM?

[Zenix]

Voeding is overkill, zou 500w voeding nemen want dat is zuiniger. Je kan ook esxi installeren op een usb stick.

Neem aan dat je al die CPU power nodig hebt voor encoding? Want het is niet echt een zuinige server.
Persoonlijk zou ik investeren in ssd's voor de ZFS pool en datastore.

Is het trouwens de bedoeling dat je alles op de gratis ESXi gaat draaien, of heb je een licentie? Indien eerste zou ik ip hash teaming doen, anders load based teaming.

[ppl]

Welke teaming je moet doen wordt ook bepaald door de switch. Kijk daar ook even naar. En vergeet ook niet dat je met teaming niet een snellere link krijgt. Het is eerder dat je een robuustere link krijgt (het wegvallen van de verbinding van 1 NIC kan door de andere worden opgevangen).

Als ik de config zo bekijk vraag ik me eerder af wat daar nou zuinig aan is en waar je die cpu power voor wil gaan benutten. Naast die 2 cpu's van elk een TDP van 80W gaat er ook nog een sloot aan geheugen en 6 hdd's in het ding wat ook behoorlijk aantikt qua energiegebruik. Dit is eerder een doodnormale ESXi server dan een zuinige ESXi server.

[Dinh]

Zenix schreef op dinsdag 25 februari 2014 @ 23:38:
Voeding is overkill, zou 500w voeding nemen want dat is zuiniger. Je kan ook esxi installeren op een usb stick.

Neem aan dat je al die CPU power nodig hebt voor encoding? Want het is niet echt een zuinige server.
Persoonlijk zou ik investeren in ssd's voor de ZFS pool en datastore.

Is het trouwens de bedoeling dat je alles op de gratis ESXi gaat draaien, of heb je een licentie? Indien eerste zou ik ip hash teaming doen, anders load based teaming.

Ik zal kijken naar een 500W PSU. De keuze was gebaseerd op het feit dan ik een AX860i in mijn gaming PC heb zitten en dat bevalt erg goed.

SSD voor datastore zal nog wel in budget passen, maar helaas niet voor de ZFS pool. Heb immers minimaal 6 TB nodig voor video, muziek en andere data. 6TB aan SSD is nog wel erg duur.

CPU power is inderdaad nodig voor encoding video. Maar ook voor Plex Media Server en OSX Server (Xcode server).

Ik ga inderdaad de gratis ESXi draaien.

ppl schreef op woensdag 26 februari 2014 @ 00:24:
Welke teaming je moet doen wordt ook bepaald door de switch. Kijk daar ook even naar. En vergeet ook niet dat je met teaming niet een snellere link krijgt. Het is eerder dat je een robuustere link krijgt (het wegvallen van de verbinding van 1 NIC kan door de andere worden opgevangen).

Als ik de config zo bekijk vraag ik me eerder af wat daar nou zuinig aan is en waar je die cpu power voor wil gaan benutten. Naast die 2 cpu's van elk een TDP van 80W gaat er ook nog een sloot aan geheugen en 6 hdd's in het ding wat ook behoorlijk aantikt qua energiegebruik. Dit is eerder een doodnormale ESXi server dan een zuinige ESXi server.

Het is ook niet mijn bedoeling om een zuinige ESXi server te bouwen. Ik dacht dat ik het in deze topic wel kwijt kan, maar als het offtopic is, dan start ik wel een nieuwe topic met mijn vraag.

[Zenix]

Dinh schreef op woensdag 26 februari 2014 @ 01:05:
[...]


Ik zal kijken naar een 500W PSU. De keuze was gebaseerd op het feit dan ik een AX860i in mijn gaming PC heb zitten en dat bevalt erg goed.

De Corsair ax serie is gemaakt door Seasonic, dus als die serie je bevalt kan je ook kijken naar Seasonic zelf.

Je kan met gratis esxi geen lacp gebruiken maar wel static lag/etherchannel wat die switch prima kan. Heb zelf een sg200 waarmee het werkt, dus een sg300 zal helemaal moeten werken. Alleen is ip hash teaming zeker niet ideaal zoals ppl al aangaf.

[ Voor 25% gewijzigd door Zenix op 26-02-2014 01:50 ]

[Paul]

Dinh schreef op dinsdag 25 februari 2014 @ 22:44:
Ik ben momenteel aan het kijken voor een ESXi server voor thuis. Ik wil graag het volgende op draaien:

Heb je zo lomp veel CPU ook echt nodig?

Met een pricewatch: Intel Xeon E5-1620 Tray op een pricewatch: Supermicro X9SRL-F bespaar je 900 euro (1000 zodra de aanbieding bij Salland is afgelopen) en je hebt nog steeds een quadcore op 3.6 GHz. Ik weet niet hoeveel je moet encoden maar de rest is peanuts.

Doorgeven SAS, op de SuperMicro-site staat dat die poorten via de C606 komen. Als dat dezelfde SCU is als in het bordje dat ik hierboven link dan gaat dat niet werken. Wat met het bordje dat ik link in ieder geval wel werkt (of dat met jouw S9D ook gaat weet ik niet) is de datastore op de SCU en (de controller met) de 6 'onboard' poorten doorgeven aan je VM

Datastore in mirror gaat helaas niet werken, VMware ziet geen Intel RAID, alleen losse schijven. Daar moet je dus een losse, ondersteunde raidcontroller voor aanschaffen. pricewatch: HP Smart Array P400/256-MB bijvoorbeeld.

[TweakMDS]

Misschien mis ik er een stukje uit, maar bij het grootschalig transcoden / encoden van video zou QuickSync een voordeel moeten kunnen bieden. Ik kan niet direct zien of de Xeon E5-2630v2 dat heeft, maar het lijkt erop dat dat niet zo is en dat alleen de E3's dit hebben.
Kan interessant zijn om de performance eens in die hoek te zoeken.

[ Voor 5% gewijzigd door TweakMDS op 26-02-2014 08:27 ]

[FireDrunk]

Ik vraag mij af of je QuickSync kan gebruiken als je VMWare gebruikt...

[Mezz0]

Ik zit deze post al jaren te volgen en heb zelf een ml110 G7 van mn werk gekregen maar zonder xeon (dus geen vt-d). Ik gebruik al tijden RDM's en heb er total geen problemen mee maar ik wil gewoon naar een vt-d system. Het goedkoopste is mn cpu te vervangen voor een e3-1230 maar liever ga ik over naar een nieuw system.

Wat is momenteel nu de zuinigste cpu + mb op basis van vt-d? want de openings post is alweer wat ouder.

[FireDrunk]

Dat ligt aan je voeding. Als je een lichte voeding kan nemen omdat je weinig disks hebt (PicoPSU) dan is het zuiniger dan wanneer je een batterij aan schijven hebt.

Aan de andere kant. Als je veel schijven hebt, maakt die paar watt verschil tussen de verschillende CPU's ook maar weinig uit.

Een i5-3330 (1155) en een i5-4440 (1150) zijn beide erg zuinig en doen beide volgens mij VT-d.
Qua moederbord heb je redelijk wat opties.

[Mezz0]

Ik zat inderdaad al naar een PicoPSU te kijken.
Wat was ook alweer het 'slechte' van RDM's? ik gebruik ze nu al een tijd en kwa zuinigheid en stilte ben ik echt fan van de avoton bordjes.

[FireDrunk]

In combinatie met FreeBSD zijn er redelijk wat problemen bekend met RDM's (de bekende 0 bytes disks)
in combinatie met Linux zijn er veel minder problemen.

Als je de AHCI of de LSI Logic SAS controller gebruikt voorzie ik verder geen problemen. De PVSCSI doet geen TRIM voor zover ik weet, dus die zou ik niet gebruiken.

De AHCI controller kan je alleen gebruik icm de Web Client (en dus alleen icm vCenter).

[ Voor 45% gewijzigd door FireDrunk op 26-02-2014 13:39 ]

[Mezz0]

Aha.. dat is goed te weten. Ik gebruik zelf momenteel ZFSguru virtueel (zonder problemen )en denk erover weer te experimenter met Nexenta (vroeger ook mee gewerkt met RDM's en geen problemen.

Maar zover jullie het weten geen snelheidsverlies ivm RDM?

[Deem007492]

ESXI 5.5 en Veeam backup gaan niet samen, omdat ESXI free edition dit niet niet toestaat. Hoe backuppen jullie je VM's?

[FireDrunk]

Niet

[Deem007492]

FireDrunk schreef op donderdag 27 februari 2014 @ 15:04:
Niet

Krijg jij het wel voor elkaar? Alle tips zijn welkom.

Mijn ESXI 5.5 server draait inmiddels stabiel. Het heeft de nodige tijd gekost, maar dan heb je ook wat . De basis is in ieder geval gelegd. Mijn vraag is nu wat vinden jullie van het verbruik? dit bedraagt ca. 65W idle. Hoe kan ik dit eventueel minimaliseren?

Setup:
1 Intel Xeon E3-1230 V3
1 Supermicro X10SL7-F
6 WD Red SATA 6 Gb/s WD20EFRX, 2TB
1 Crucial 2.5" M500 240GB
1 Sandisk Extreme USB 3.0 Flash Drive 16GB Zwart
1 Fractal Design Define Mini
1 Kingston ValueRAM KVR16E11K4/32
1 Intel Gigabit CT Desktop Adapter
1 Seasonic G-Serie 360Watt
4 Fractal Design Silent R2, 120mm

VM's:
- pfSense
- FreeNAS
- Windows 7
-... rest volgt nog.

[FireDrunk]

Waar wil je naar toe backuppen? Want je kan natuurlijk het hele simpele GhettoVCBBackup gebruiken.
Wil je wat geavanceerders zul je met guest agents ofzo moeten werken. Maar dat lijkt mij niet wenselijk.

Waarom niet gewoon de VMDK's kopieren?

[prekz]

Mij lijkt het leuk om eens te spelen met ESXi, hiervoor wil ik graag gebruik maken van een intel NUC (veel rekenkracht heb ik niet nodig). De storage wordt verzorgt door een Synology nas.

Ik maak zelf ook gebruik van een HTPC deze zou ik dan eventueel willen vervangen door deze NUC, waar dan nog andere VM's op komen. Mijn vraag is of dit überhaupt mogelijk is.

Ik weet dat je dit kan doen met Windows 8/Server 2012 en hyper V. Dat je gewoon op je normale OS je xmbc installeert en dat je dan VM's aanmaakt voor overige doeleinden.

Waarom ik dit wil doen is dat ik namelijk ESXi op een usb stick kan installeren en dat er dus geen lokale storage aanwezig is.

[Deem007492]

GhettoVCBBackup heb ik nog niet bekeken. Werkt dat eenvoudig?
Het mag simpel zijn. Hoe gaat dat met VMDK's? Vanuit ESXI datastore de gehele VM map kopieeren?

Backuppen moet naar een vaste pc of usb disk aangesloten op de ESXI. Ik weet alleen niet welke USB controller ik moet passtroughen. Ik ben nl. bang dat ik de verkeerde instel en dat ESXI daardoor niet meer boot vanaf de geintegreerde USB op het moederbord. Er zijn 2 USB host controllers beschikbaar voor passtrough. Hoe weet ik welke gebruikt wordt voor de geïntegreerde op het moederbord?

[abusimbal]

Deem007492 schreef op donderdag 27 februari 2014 @ 15:40:
[...]


Krijg jij het wel voor elkaar? Alle tips zijn welkom.

Mijn ESXI 5.5 server draait inmiddels stabiel. Het heeft de nodige tijd gekost, maar dan heb je ook wat . De basis is in ieder geval gelegd. Mijn vraag is nu wat vinden jullie van het verbruik? dit bedraagt ca. 65W idle. Hoe kan ik dit eventueel minimaliseren?

Setup:
1 Intel Xeon E3-1230 V3
1 Supermicro X10SL7-F
6 WD Red SATA 6 Gb/s WD20EFRX, 2TB
1 Crucial 2.5" M500 240GB
1 Sandisk Extreme USB 3.0 Flash Drive 16GB Zwart
1 Fractal Design Define Mini
1 Kingston ValueRAM KVR16E11K4/32
1 Intel Gigabit CT Desktop Adapter
1 Seasonic G-Serie 360Watt
4 Fractal Design Silent R2, 120mm

VM's:
- pfSense
- FreeNAS
- Windows 7
-... rest volgt nog.

Waarom 6x2TB en niet 4x3TB ?

@hieronder, de laatste 2 redenen begrijp ik niet goed.

Hoe meer schijven, hoe meer kans er is dat er 1 stuk gaat.
Ik zie 1 voordeel, sneller.
Voor de rest zie ik nadelen:
- Hoe meer schijven, hoe groter kans dat er 1 stuk gaat.
- Kwa opslag in dit geval is 4x3TB goedkoper en zuiniger dan 6x2TB, dus 6x2TB is duurder.
- Meer stroomverbruik

[ Voor 16% gewijzigd door abusimbal op 27-02-2014 20:28 ]

[Moikvin]

abusimbal schreef op donderdag 27 februari 2014 @ 17:26:
[...]

Waarom 6x2TB en niet 4x3TB ?

• Sneller(afhankelijk van configuratie)
• Betrouwbaarder
• Grotere spreiding van risico's

@hierboven:
Er zijn meer schijven die stuk kunnen gaan ja, maar gezien totale hoeveelheid data gelijk blijft zal elke schijf verantwoordelijk zijn voor minder data. Zorgt ook weer voor sneller rebuilden in geval van RAID. Meer opties wat betreft RAID etc.

2TB-schijven zijn er al veel langer, is veel te vinden over de betrouwbaarheid, levensduur etc.

Kosten/stroomverbruik geef ik je. Het is dan ook een afweging, redenen voor 2TB hebben vooral betrekking op data-integriteit.

[ Voor 47% gewijzigd door Moikvin op 27-02-2014 23:00 ]

[ik222]

Waar bestellen jullie die Supermicro moederborden eigenlijk? Ik zie dat ze eigenlijk nergens goed leverbaar zijn namelijk...

[FireDrunk]

Azerty heeft er een heleboel.

[ik222]

FireDrunk schreef op vrijdag 28 februari 2014 @ 15:15:
Azerty heeft er een heleboel.

Ja klopt alleen bijna allemaal ook met de melding "10+ dagen levertijd, niet op voorraad bij leverancier". Nou vind ik wachten helemaal niet erg alleen vraag ik me bij dat soort statussen altijd af of ze überhaupt ooit geleverd gaan worden...

[FireDrunk]

Dat is altijd, Supermicro is (bijna) nooit op voorraad.

[Paul]

Azerty levert wel Ik heb mijn server daar ook gekocht en de data waarop de diverse onderdelen bij hen binnenkwamen kwamen akelig dicht bij de opgegeven levertijden

[ik222]

Paul schreef op vrijdag 28 februari 2014 @ 15:19:
Azerty levert wel Ik heb mijn server daar ook gekocht en de data waarop de diverse onderdelen bij hen binnenkwamen kwamen akelig dicht bij de opgegeven levertijden

Goed om te horen, dan ga ik denk ik het setje moederbord, CPU, CPU koeler en geheugen bij hen bestellen.

Ik ben er bijna uit en zeer waarschijnlijk wordt het deze combinatie:

#	Product	Prijs	Subtotaal
1	Intel Xeon E5-1620 v2 Tray	€ 267,35	€ 267,35
1	Supermicro X9SRL-F	€ 265,33	€ 265,33
3	WD Green WD20EZRX, 2TB	€ 70,95	€ 212,85
1	Supermicro SNK-P0050AP4	€ 34,99	€ 34,99
4	Samsung M393B2G70BH0-YH909	€ 115,66	€ 462,64
1	Crucial 2.5" M500 240GB	€ 100,90	€ 100,90
Bekijk collectie Importeer producten		Totaal	€ 1.344,06

Vervolgens de extra controller op het Supermicro bord doorgeven een VM waar ik ZFS op ga draaien voor storage. En alle overige VM´s met hun OS disk op de SSD voor de IOPS. Mocht de SSD ooit te klein worden of te weinig IOPS leveren dan is de upgrade makkelijk in de vorm van een tweede SSD.

[FireDrunk]

nom nom nom, 64GB geheugen, en een E5, lekker hoor!

De SRL-F heeft toch maar 1 controller?

[ik222]

FireDrunk schreef op vrijdag 28 februari 2014 @ 15:46:
nom nom nom, 64GB geheugen, en een E5, lekker hoor!

De SRL-F heeft toch maar 1 controller?

Ik had ergens in dit topic gelezen (post van Paul volgens mij?) dat met dit bord de SSD op de SCU kan zetten als datastore en dat ik dan de controller met de 6 SATA poorten kan doorgeven aan ESXi.

Wat betreft 64GB geheugen is dat inderdaad lekker en vooral dat met deze CPU / Moederbord op termijn uitbreiding naar 128GB mogelijk is (8 x 16GB). Overigens twijfel ik nog wel een beetje of ik er gelijk 64GB in ga proppen of dat is eerst start met 32GB. Op zich heb ik aan 32GB namelijk nu wel genoeg maar dan zit het wel meteen vol en is er weinig ruimte over om te testen etc.

Overigens nog een vraag: Vind ZFS het erg als de schijven niet identiek zijn? Ik heb namelijk nu nog één pricewatch: Seagate Barracuda 7200.14 ST2000DM001, 2TB hier liggen. Maar vanwege relatief slechte reviews en advies hier in het topic wil ik die eigenlijk niet meer kopen. Het zou wel fijn zijn als ik die schijf alsnog in de array kan stoppen...

[ Voor 53% gewijzigd door ik222 op 28-02-2014 16:00 ]

[Phyt_]

Mannen,
Heb nu een tijdje esxi 5.5. free version draaien op het volgende:
Pfsense / 2 windows servers.
Nu wil ik ook eigen nas gaan draaien via Vmware, het RDM verhaal lijkt niet goed te werken, dit wil ik dan ook niet gaan gebruiken.
Het systeem ondersteund, VT-d, maar kan ik nu met de onboard hardware ook al de disken doorgeven, of moet ik een controller kopen? Dit is mij nu onduidelijk.

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 147,90	€ 147,90
1	ASRock B75 Pro3-M	€ 49,90	€ 49,90
1	Cooler Master N300 (Closed)	€ 35,55	€ 35,55
1	Corsair CMV16GX3M2A1333C9	€ 126,-	€ 126,-
1	Seasonic G-Serie 360Watt	€ 51,-	€ 51,-
Bekijk collectie Importeer producten		Totaal	€ 410,35

alvast bedankt.

[Paul]

ik222 schreef op vrijdag 28 februari 2014 @ 15:55:
Ik had ergens in dit topic gelezen (post van Paul volgens mij?) dat met dit bord de SSD op de SCU kan zetten als datastore en dat ik dan de controller met de 6 SATA poorten kan doorgeven aan ESXi.

Klopt Al is dat bij mij nog steeds internetwijsheid, ik moet het nog aan de praktijk toetsen. Ben met mijn memtestjes niet veel verder gekomen en besloten het maar met 6 x 16 GB te doen, mijn geheugen staat niet op de 'tested'-list van Supermicro, en eerlijk is eerlijk, die 96 GB is ook al vet overkill

Ben er nu eerst FreeNAS op aan het zetten zonder VMware, als ik dan over mijn pool tevreden ben dan gaat dat USB-stickje eruit en komt er een andere USB-stick in voor VMware; kan ik altijd nog van stick wisselen en bij mijn data als VMware het zou begeven Alleen heb ik wat weinig tijd / maak ik er wat weinig tijd voor om dat af te maken...

Helaas kom ik er dit weekeinde ook niet toe, ik zit de komende paar dagen 200km van huis.

[ Voor 4% gewijzigd door Paul op 28-02-2014 16:21 ]

[Ixus74]

Ik heb al een tijdje in dit topic en het zuinige server topic zitten meelezen (een jaartje of twee onderhand). Nu heb ik wel een paar wensen die het voor mij lastig maken een goede configuratie te vinden, deze wensen zijn namelijk in een aantal gevallen nogal lastig met elkaar te combineren, dus dan komt het aan op compromieën.

Uitgangspunten zijn :

• ESXi 5.5 compatible (mag met extra drivers)
• Klein
• Twee NIC's
• Krachtig genoeg om 4 VM's te draaien (2 x Windows Server, 1 x Windows 7 en 1 x Ubuntu)
• Zuinig
• Niet te duur

Ik denk met onderstaande config redelijk in de buurt te komen :

#	Product	Prijs	Subtotaal
1	Intel Core i3 4130 Boxed	€ 94,89	€ 94,89
1	Asus Q87T	€ 128,01	€ 128,01
1	Akasa Cypher	€ 40,20	€ 40,20
1	Akasa AK-CC7122BP01 Low Profil	€ 12,-	€ 12,-
1	Corsair CMSO16GX3M2A1600C11	€ 130,03	€ 130,03
Bekijk collectie Importeer producten		Totaal	€ 405,13

Een voeding heb ik nog in de vorm van een Dell laptopvoeding en voor de storage gebruik ik voorlopig een 500Gb laptop drive.

Ik hoor graag op- en of aanmerkingen.

[FREAKJAM]

Deem007492 schreef op donderdag 27 februari 2014 @ 15:55:
GhettoVCBBackup heb ik nog niet bekeken. Werkt dat eenvoudig?
Het mag simpel zijn. Hoe gaat dat met VMDK's? Vanuit ESXI datastore de gehele VM map kopieeren?

Backuppen moet naar een vaste pc of usb disk aangesloten op de ESXI. Ik weet alleen niet welke USB controller ik moet passtroughen. Ik ben nl. bang dat ik de verkeerde instel en dat ESXI daardoor niet meer boot vanaf de geintegreerde USB op het moederbord. Er zijn 2 USB host controllers beschikbaar voor passtrough. Hoe weet ik welke gebruikt wordt voor de geïntegreerde op het moederbord?

Unitrends al eens geprobeerd? Daar ga ik dit weekend ook mee spelen. (En ik heb een vergelijkbare setup, zelfde mobo + pfsense/freenas)

[jadjong]

ik222 schreef op vrijdag 28 februari 2014 @ 15:55:
[...]

Ik had ergens in dit topic gelezen (post van Paul volgens mij?) dat met dit bord de SSD op de SCU kan zetten als datastore en dat ik dan de controller met de 6 SATA poorten kan doorgeven aan ESXi.

Dat werkt

Hang geen Samsung SSD's aan de SCU. De 840EVO gaat stuk binnen enkele dagen en de 830 werkt niet meer bij meerdere op dezelfde controller. ESX maakt gebruik van WWN om disks te onderscheiden en de 830 heeft geen unieke WWN per unit.

Overigens nog een vraag: Vind ZFS het erg als de schijven niet identiek zijn? Ik heb namelijk nu nog één pricewatch: Seagate Barracuda 7200.14 ST2000DM001, 2TB hier liggen. Maar vanwege relatief slechte reviews en advies hier in het topic wil ik die eigenlijk niet meer kopen. Het zou wel fijn zijn als ik die schijf alsnog in de array kan stoppen...

Zorg dat je wat ruimte overhoud (100MB) voor het geval de vervanger niet exact dezelfde hoeveelheid bitjes heeft.

[ik222]

Thanks voor de informatie, ik was van plan om een Crucial SSD te gebruiken dus dat lijkt me geen probleem te vormen.

[80000]

ik222 schreef op vrijdag 28 februari 2014 @ 15:14:
Waar bestellen jullie die Supermicro moederborden eigenlijk? Ik zie dat ze eigenlijk nergens goed leverbaar zijn namelijk...

http://www.twp.nl/

[DXaroth]

80000 schreef op vrijdag 28 februari 2014 @ 21:33:
[...]


http://www.twp.nl/

wij halen ze hier ook bij twp vandaan, al zou ik ze niet direct aanraden als je informatie wilt.. het zijn goede jongens (en dames), maar qua technische inhoud (en dan heb ik het over de wat lastigere vragen dan je gemiddelde 'hoort deze cpu bij deze mobo' of 'kan deze ECC aan?' ) duurt het soms onnodig lang..

Ik heb ook goede dingen gehoord over ahead-it, maar daar zelf (nog) geen ervaring mee voor werk en/of prive aankopen.

[damouzer]

Na het lezen van vele posts ook een IBM M1015 aangeschaft en geflashed naar IT modus. Deze via passthrough toegevoegd aan een VM (server draait ESXI 5.5). ZFSGURU Live CD geboot en root-on-zfs geinstalleerd. Na een herstart kan de VM de controller / disken niet vinden voor het booten? Doe ik iets fout of moet ik dit anders oplossen?

[FireDrunk]

Ja, een Virtual machine kan niet booten van de M1015, daar moet je de machine een gewone vdisk voor geven.

[Phyt_]

hmm, heb mijn asmedia 1061 handmatig geinstalleerd hier heb ik nu 2 datastores op (1 ssd en gewone hd ), vervolgens de panther intel ahci op passtrough gezet.
En deze heb ik nu aan de nas4free vm gehangen een pciconf -lvcb geeft mij het volgende:
Heb helaas nog geen disks hier om te testen, maar zoals ik het zie kan ik er nu gewoon disken op de SATA van de intel aansluiten moeten deze zichtbaar worden binnen Nas4free?

none2@pci0:3:0:0: class=0x010601 card=0x1e021849 chip=0x1e028086 rev=0x04 hdr=0x00
vendor = 'Intel Corporation'
device = 'Panther Point 6 port SATA AHCI Controller'
class = mass storage
subclass = SATA
bar [10] = type I/O Port, range 32, base 0x4038, size 8, enabled
bar [14] = type I/O Port, range 32, base 0x4030, size 4, enabled
bar [18] = type I/O Port, range 32, base 0x4028, size 8, enabled
bar [1c] = type I/O Port, range 32, base 0x4024, size 4, enabled
bar [20] = type I/O Port, range 32, base 0x4000, size 32, enabled
bar [24] = type Memory, range 32, base 0xfd4fe800, size 2048, enabled
cap 05[80] = MSI supports 1 message
cap 01[70] = powerspec 3 supports D0 D3 current D0
cap 12[a8] = SATA Index-Data Pair
cap 13[b0] = PCI Advanced Features: FLR TP


OK aan het testen geweest, oude disk gevonden word niet herkend.
zal een IBM M1015 gaan aanschaffen > it mode flashen > passtrough en dan zfs opbouwen.

[ Voor 5% gewijzigd door Phyt_ op 01-03-2014 22:26 ]

[damouzer]

FireDrunk schreef op zaterdag 01 maart 2014 @ 19:59:
Ja, een Virtual machine kan niet booten van de M1015, daar moet je de machine een gewone vdisk voor geven.

Ok. Dat is een duidelijk antwoord, dan maar een extra disk er in

[A1AD]

Phyt_ schreef op zaterdag 01 maart 2014 @ 20:12:
hmm, heb mijn asmedia 1061 handmatig geinstalleerd hier heb ik nu 2 datastores op (1 ssd en gewone hd ), vervolgens de panther intel ahci op passtrough gezet.
En deze heb ik nu aan de nas4free vm gehangen een pciconf -lvcb geeft mij het volgende:
Heb helaas nog geen disks hier om te testen, maar zoals ik het zie kan ik er nu gewoon disken op de SATA van de intel aansluiten moeten deze zichtbaar worden binnen Nas4free?

none2@pci0:3:0:0: class=0x010601 card=0x1e021849 chip=0x1e028086 rev=0x04 hdr=0x00
vendor = 'Intel Corporation'
device = 'Panther Point 6 port


OK aan het testen geweest, oude disk gevonden word niet herkend.
zal een IBM M1015 gaan aanschaffen > it mode flashen > passtrough en dan zfs opbouwen.

De pantherpoint kan je niet meer doorgeven in 5.5. In 5.1 werkt dit nog perfect trouwens.

[ Voor 27% gewijzigd door A1AD op 02-03-2014 15:56 ]

[ik222]

ik222 schreef op vrijdag 28 februari 2014 @ 15:41:
[...]

Goed om te horen, dan ga ik denk ik het setje moederbord, CPU, CPU koeler en geheugen bij hen bestellen.

Ik ben er bijna uit en zeer waarschijnlijk wordt het deze combinatie:

#	Product	Prijs	Subtotaal
1	Intel Xeon E5-1620 v2 Tray	€ 267,35	€ 267,35
1	Supermicro X9SRL-F	€ 265,33	€ 265,33
3	WD Green WD20EZRX, 2TB	€ 70,95	€ 212,85
1	Supermicro SNK-P0050AP4	€ 34,99	€ 34,99
4	Samsung M393B2G70BH0-YH909	€ 115,66	€ 462,64
1	Crucial 2.5" M500 240GB	€ 100,90	€ 100,90
Bekijk collectie Importeer producten		Totaal	€ 1.344,06

Vervolgens de extra controller op het Supermicro bord doorgeven een VM waar ik ZFS op ga draaien voor storage. En alle overige VM´s met hun OS disk op de SSD voor de IOPS. Mocht de SSD ooit te klein worden of te weinig IOPS leveren dan is de upgrade makkelijk in de vorm van een tweede SSD.

Zo de kogel is door de kerk, zojuist het bovenstaande besteld bij Azerty Nu nog een paar weken wachten op levering van met name het moederbord en het geheugen. Uiteindelijk toch besloten gelijk 64GB geheugen te bestellen aangezien 32GB in mijn geval direct vol zit en het toch de bedoeling is ook wat te kunnen testen op deze host.

Bedankt voor alle adviezen in dit topic!

[thof]

ik222 schreef op zondag 02 maart 2014 @ 19:38:
[...]

Zo de kogel is door de kerk, zojuist het bovenstaande besteld bij Azerty Nu nog een paar weken wachten op levering van met name het moederbord en het geheugen. Uiteindelijk toch besloten gelijk 64GB geheugen te bestellen aangezien 32GB in mijn geval direct vol zit en het toch de bedoeling is ook wat te kunnen testen op deze host.

Bedankt voor alle adviezen in dit topic!

Ben erg benieuwd naar het resultaat, zit al maanden dezelfde richting op te kijken. Verbruik houd mij alleen nog een beetje tegen. Ik zou een E5 nemen voor het aantal geheugen en niet zo zeer voor de brute rekenkracht. Heb je een mogelijk, zodra je hem binnen hebt, om het verbruik te meten?

[Paul]

In Paul in "Zuinige ESXi Server" heb ik de nodige gegevens

#	Product	Prijs	Subtotaal
1	Intel Xeon E5-1620 v2 Tray	€ 267,35	€ 267,35
1	Supermicro X9SRL-F	€ 265,33	€ 265,33
5	Seagate STx000VN000, 4TB	€ 151,85	€ 759,25
1	Supermicro SNK-P0050AP4	€ 34,99	€ 34,99
1	be quiet! Shadow Wings PWM, 92mm	€ 11,-	€ 11,-
1	Seasonic G-Serie 360Watt	€ 51,-	€ 51,-
1	Intel Postville X25-V SSDSA2MP040G2R5 40GB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 1.388,92

Geheugen zijn 16 GB reepjes uit een HP. Ben wel benieuwd naar ik222's ervaring met de processorcooler aangezien ik de stock cooler niet eens gebruikt heb en er meteen een pricewatch: be quiet! Shadow Wings PWM, 92mm op heb gezet

[Ixus74]

Ixus74 schreef op vrijdag 28 februari 2014 @ 17:00:

#	Product	Prijs	Subtotaal
1	Intel Core i3 4130 Boxed	€ 94,89	€ 94,89
1	Asus Q87T	€ 128,01	€ 128,01
1	Akasa Cypher	€ 40,20	€ 40,20
1	Akasa AK-CC7122BP01 Low Profil	€ 12,-	€ 12,-
1	Corsair CMSO16GX3M2A1600C11	€ 130,03	€ 130,03
Bekijk collectie Importeer producten		Totaal	€ 405,13

Wat lastig weer die compatibliteit van de NIC's met ESXI...

Kom ik er net achter dat de Asus Q87T een RealTek 8111g gebaseerde NIC heeft. Ik heb hier nog geen driver voor ESXi 5.5 voor gevonden, alleen voor de 8111e. De andere NIC is een Intel i217LM, kan ik hiervoor de zelfde driver als de i217V gebruiken??

Kan ik eventueel met bovenstaande setup de RealTek rechtstreeks aan een VM doorgeven of heb ik dan VT-d (dus een i5 processor) nodig?

[jadjong]

Ixus74 schreef op maandag 03 maart 2014 @ 16:10:
[...]
Kan ik eventueel met bovenstaande setup de RealTek rechtstreeks aan een VM doorgeven of heb ik dan VT-d (dus een i5 processor) nodig?

Dan heb je vt-d nodig.

[vandijk]

Is een AsRock Avoton bordje (2x intel nic) en 2x 8GB ECC niets voor je? ben je iets van 60 euro duurder uit. Verbruik is lager en performance scheelt niet zo veel.

[Phyt_]

A1AD schreef op zondag 02 maart 2014 @ 15:55:
[...]


De pantherpoint kan je niet meer doorgeven in 5.5. In 5.1 werkt dit nog perfect trouwens.

Hmm thanks, dan ga ik dat toch eerst even in 5.1 draaien , scheelt weer +-100 euro aan de ibm 1015.
en weer wat te doen :d

[ik222]

thof schreef op maandag 03 maart 2014 @ 15:21:
[...]


Ben erg benieuwd naar het resultaat, zit al maanden dezelfde richting op te kijken. Verbruik houd mij alleen nog een beetje tegen. Ik zou een E5 nemen voor het aantal geheugen en niet zo zeer voor de brute rekenkracht. Heb je een mogelijk, zodra je hem binnen hebt, om het verbruik te meten?

Yup ik heb hier een (simpele) meter voor het energieverbruik, zal de resultaten posten als de setup over een paar weken draait. De reden voor mij om voor een Xeon E5 met Supermicro bord te gaan is inderdaad ook voornamelijk de mogelijkheid op meer dan 32GB geheugen, al heb je natuurlijk ook wel wat CPU power nodig als je flink wat VM's hebt draaien.

@Paul: In mijn geval staat de server in de meterkast, geluid is dus niet echt een issue. Ik neem ook de goedkope casefans (1 x 80mm en 1 x 120mm) van mijn huidige kast mee die inmiddels 8 jaar oud zijn, dus ik vermoed dat die het geluid van de bij de CPU koeler geleverde fan wel zullen overstemmen

[Phyt_]

Zojuist ge-downgrade van esxi 5.5. naar 5.1, heb daarmijn Intel Panther sata controllers met passtrough enabled, maar dan verdwijnen ook mijn asmedia controller met 2 aansluitingen waar ik de datastores op heb staan.

Kan ik nu een goedkope sata controller kopen voor 2/4 disks, en daar mijn datastores op aansluiten en dan de intel panther doorgeven aan ZFS host? Gaat dit werken of moet ik IBM m1015 aanschaffen?

[analog_]

Uiteindelijk ga je die m1015 toch kopen dus bespaar je de tussenstappen. Ik ben niet de enige tweaker die de dure omweg heeft bewandeld. De tussenstappen brengen je weinig op anders dan frustratie, doe jezelf een plezier, slacht het varkentje en ga voor proven 'just works'.

De m1015 kan je ook meenemen naar je volgende platform, op die manier heb je gegarandeerd ook genoeg compatibele sas poorten whatever je besluit te draaien software/moederbord.

[ Voor 57% gewijzigd door analog_ op 03-03-2014 20:33 ]

[A1AD]

Phyt_ schreef op maandag 03 maart 2014 @ 19:32:
Kan ik nu een goedkope sata controller kopen voor 2/4 disks, en daar mijn datastores op aansluiten en dan de intel panther doorgeven aan ZFS host? Gaat dit werken of moet ik IBM m1015 aanschaffen?

Er zijn al verschillende controllers in dit topic voorbij gekomen. Mijn DS staat ook op een goedkoop PCI controllertje.

[Phyt_]

@analog, wat is er op tegen om de intel panther te gebruiken tov de ibm?
Uitval? Errors?
Er komen 3x3tb disks aan te hangen voor zfs raidz.

Zal morgen eens kijken naar controllers.

[A1AD]

Phyt_ schreef op maandag 03 maart 2014 @ 21:43:
@analog, wat is er op tegen om de intel panther te gebruiken tov de ibm?
Uitval? Errors?

Daar zit het verschil niet. Wanneer je een goedkope HBA gebruikt voor je datastore dan boet je in aan performantie.

[servies]

ik222 schreef op zondag 02 maart 2014 @ 19:38:
[...]

Zo de kogel is door de kerk, zojuist het bovenstaande besteld bij Azerty Nu nog een paar weken wachten op levering van met name het moederbord en het geheugen. Uiteindelijk toch besloten gelijk 64GB geheugen te bestellen aangezien 32GB in mijn geval direct vol zit en het toch de bedoeling is ook wat te kunnen testen op deze host.

Bedankt voor alle adviezen in dit topic!

Ik vraag me alleen af of je het geleverd gaat krijgen. Alles wat ik kan vinden over het geheugen dat je besteld hebt suggereert dat het eigenlijk niet meer leverbaar is...

[ik222]

servies schreef op dinsdag 04 maart 2014 @ 11:45:
[...]

Ik vraag me alleen af of je het geleverd gaat krijgen. Alles wat ik kan vinden over het geheugen dat je besteld hebt suggereert dat het eigenlijk niet meer leverbaar is...

Het probleem is dat al het geheugen wat op de QVL van Supermicro staat niet normaal leverbaar is in Nederland.

Voorlopig wacht ik wel af, het moederbord heeft sowieso ook een flinke levertijd.

[Paul]

In Duitsland is vrijwel alle geheugen op de lijst wel goed verkrijgbaar ( http://www.guenstiger.de/ is een soort Tweakers Pricewatch), 1600 MHz low voltage 16GB: http://www.guenstiger.de/Preissuche/HMT42GR7MFR4A-PB.html

[abusimbal]

Of http://geizhals.eu voor prijzen in Duitsland

EDIT:
BTW nog een mooie compacte mini-ITX case gevonden met 5x hot swap bay en 2 interne 3.5" HDD bays.
http://www.g-alantic.com.tw/10214/ga6901/

[ Voor 61% gewijzigd door abusimbal op 04-03-2014 22:05 ]

[Neophyte808]

Hoi, ik heb nog een PC staan met de volgende specs: C2Q Q6600, 6 GB RAM, DFI DK moederbord (P35 chipset als ik me niet vergis), GT610 en een 500 GB HDD. Ik wil hier graag ESxi op draaien, maar ik lees reacties als "VT-d (dus een i5 processor) nodig", dus ik ben een beetje wary. Mijn vraag is dus eigenlijk: is dit een goed idee?

[Paul]

Voor ESXi is het geen probleem, gaat gewoon werken. Als je fysieke hardware zonder tussenkomst van de hypervisor door wilt geven aan een VM heb je VT-d nodig, maar als je dat niet doet is er geen probleem

Dat doorgeven van hardware doet men hier voornamelijk als men ZFS wil gebruiken in een VM maar met maar één schijf in je host ga jij daar geen gebruik van maken

[servies]

Paul schreef op dinsdag 04 maart 2014 @ 15:47:
In Duitsland is vrijwel alle geheugen op de lijst wel goed verkrijgbaar ( http://www.guenstiger.de/ is een soort Tweakers Pricewatch), 1600 MHz low voltage 16GB: http://www.guenstiger.de/Preissuche/HMT42GR7MFR4A-PB.html

Ik vind leverbaar bij 1 leverancier nou niet echt goed verkrijgbaar... In hoeverre is hun voorraadsysteem correct... te vaak gezien dat het uiteindelijk toch niet leverbaar bleek te zijn...

[Paul]

Twee is beter dan nul, en dan zijn er nog de niet-low-voltage en de langzamere versies die daar wel en in de pricewatch niet te vinden zijn

[DJSnels]

Ik ben ook aan het rondneuzen naar een zuinige, op ESXi gebaseerde homeserver/testbak/NAS.
Wat ERG relaxed zou zijn is als ik hem ook kan inzetten als HTPC.

Nu zit ik te denken aan 2 mogelijkheden, waarvan ik niet zeker weet of ze überhaupt mogelijk zijn:
Xeon 1230v3 als basis met losse videokaart in ppassthrough naar een Win7 VM.
i5 als basis en de Intel HD Graphics naar de VM doormappen (kan dit icm de onboard aansluitingen??)

Heeft iemand dit ooit geprobeerd?

[sphere]

Ik heb wel losse videokaarten gemapt naar guests onder esxi maar hd graphics niet geprobeerd.

[DJSnels]

sphere schreef op dinsdag 04 maart 2014 @ 23:23:
Ik heb wel losse videokaarten gemapt naar guests onder esxi maar hd graphics niet geprobeerd.

Ik heb dat ook wel eens met Grid kaarten gedaan, maar die zijn headless....
Ik ga ervanuit dat de beeldoutput met een losse GPU wel zal werken (ook HD hoop ik) maar van de iGP ben ik niet zo zeker.

[FREAKJAM]

DJSnels schreef op dinsdag 04 maart 2014 @ 22:18:
Ik ben ook aan het rondneuzen naar een zuinige, op ESXi gebaseerde homeserver/testbak/NAS.
Wat ERG relaxed zou zijn is als ik hem ook kan inzetten als HTPC.

Nu zit ik te denken aan 2 mogelijkheden, waarvan ik niet zeker weet of ze überhaupt mogelijk zijn:
Xeon 1230v3 als basis met losse videokaart in ppassthrough naar een Win7 VM.
i5 als basis en de Intel HD Graphics naar de VM doormappen (kan dit icm de onboard aansluitingen??)

Heeft iemand dit ooit geprobeerd?

Schijnbaar doet alles boven de Radeon ATI HD5000 het wel goed. Ik heb nu ook nog een losse HTPC met een HD6750, maar ben stiekem hier ook wel geinterreseerd in. Heb je deze thread al eens doorgelezen? Hier ook een klein lijstje met geteste GPU's.

[ Voor 11% gewijzigd door FREAKJAM op 04-03-2014 23:34 ]

[DJSnels]

FREAKJAM schreef op dinsdag 04 maart 2014 @ 23:32:
[...]


Schijnbaar doet alles boven de Radeon ATI HD5000 het wel goed. Ik heb nu ook nog een losse HTPC met een HD6750, maar ben stiekem hier ook wel geinterreseerd in. Heb je deze thread al eens doorgelezen? Hier ook een klein lijstje met geteste GPU's.

272 pagina's vond ik wat te ruim, maar ik ben nog niemand tegengekomen die zijn ESXi bak als HTPC in il zetten, terwijl ik denk dat beide devices toch ltijd 24/7 aan staan, dus het zou een mooie combi zijn.

Edit: er zijn wel wat AMD kaarten succesvol doorgemapt (zelfs 2 naar 2 VMs), maar nog geen iGP's

[ Voor 6% gewijzigd door DJSnels op 05-03-2014 00:45 ]

[ik222]

Paul schreef op dinsdag 04 maart 2014 @ 21:54:
Twee is beter dan nul, en dan zijn er nog de niet-low-voltage en de langzamere versies die daar wel en in de pricewatch niet te vinden zijn

Ja ik heb zag ik ook de 1,5V variant besteld bij Azerty (onbewust eigenlijk, zowel de 1,35V als de 1,5V variant staan op de Supermicro QVL en op de site bij Azerty).

[ Voor 17% gewijzigd door ik222 op 05-03-2014 08:36 ]