Zuinige ESXi Server

[IceTeaGX]

Ik veronderstel dat je daar nog meer op gaat draaien.
Anders is het interessanter om pfSense bare metal te draaien.

[FireDrunk]

Probleem is dat het bakje een beetje een goedkoop Chinees ding is, en er een BIOS in zit, waar pfSense niet van wil booten. Er is al een bugfix gedaan in de upstream FreeBSD11-CURRENT kernel, maar die kernel versie komt pas bij pfSense 2.4.x en dat gaat nog maanden op zich laten wachten.

Als ik dus ESXi 6.0u2 aan de praat krijg, kan ik virtueel pfSense draaien. Zelfs nog kans dat het nog een tikje zuiniger is ook

Als ik er ESXi op zou zetten, komt er (waarschijnlijk) niets bij. Misschien een stepping stone vm om te kunnen SSHen, maar niet meer dan dat.

[ Voor 14% gewijzigd door FireDrunk op 25-07-2016 19:57 ]

[HyperBart]

Ik zou er voor gaan.

[Teaclo]

FireDrunk schreef op maandag 25 juli 2016 @ 10:24:
Zijn er hier mensen die al eens ESXi op een Celeron j1900 hebben gedraaid, en die iets kunnen zeggen over de performance daar van? Ik kan niet zo goed inschatten wat de Celeron kan hebben.

Idee is om virtueel pfSense te draaien. Maar ik heb 200Mbit internet, en ik heb geen idee of de j1900 200Mbit aan vSwitch traffic makkelijk kan handelen.

Heb jij toevallig dit als moederbord gigabyte j1900n-d2h?

ik heb geprobeerd 5.5 op te installeren maar is me helaas niet gelukt. Ik liep toen tegen de error: relocating modules and starting up the kernel

Heb nadien ook Hyper-V (W2K12R2) geprobeerd, maar dat vond de cpu niet echt lekker.
+-70% load in idle toestand.

Heb dan maar mijn UTM (sophos) bare metal geïnstalleerd.

[ Voor 3% gewijzigd door Teaclo op 27-07-2016 12:22 ]

[FireDrunk]

Nee, ik heb een chiness passive mini-pctje gekocht van een onbekend merk. Maar heb met ESXi hetzelfde probleem.

Sophos UTM leek mij ook prima, maar als ik daar de laatste iso van pak, krijg ik de melding dat hij de "Appliance Hardware" niet kan vinden...

Zal wel de verkeerde ISO gebruiken.

[Teaclo]

FireDrunk schreef op woensdag 27 juli 2016 @ 12:36:
Nee, ik heb een chiness passive mini-pctje gekocht van een onbekend merk. Maar heb met ESXi hetzelfde probleem.

Sophos UTM leek mij ook prima, maar als ik daar de laatste iso van pak, krijg ik de melding dat hij de "Appliance Hardware" niet kan vinden...

Zal wel de verkeerde ISO gebruiken.

Inderdaad verkeerde ISO Software appliance ipv hardware

Heb dit setupje +- 2j jaar draaien zonder enig probleem Sophos rocks!

[jeanj]

Ik heb sinds 2011 een "zuinige" ESxi (4.1) server waar ik o.a. nas4free op draai met zfs met daarnaast nog 5-10 linux/bsd vm's en win7 vm

Ik sta nu op het punt om wat zaken te vernieuwen/uit te breiden, en daar zoek ik wat advies voor

In mijn huidge setup wil ik het volgende veranderen

• de 2tb disken zijn 5 jaar oud en hangen aan de onboard controller, zfs raidz2. Deze wil ik vervangen/uitbreiden met 8 4tb RED (op de m1015). Zou de voeding dit trekken als ik ze er naast zet?
• de 2TB's gaan er uit nadat ik de data heb overgezet en krijgen in nieuw leven in een netgear NAS. Als de voering het niet trekt, dan is plan B disken tijdelijk in mijn desktop voor overdracht data
• de 160gb is veel ouder, denk richting de 10 jaar. ik ga ESXi op een 120GB ssd zetten. Mogelijk koop ik er nog een disk bij voor VMstorage, voor VMS die veel data gebruken (of ik zet dat op de NAS). Zodra de 2TB schijven er uit zijn, gaan de ssd (+ data disk) aan de onboard controller, en kan de losse sata controller er uit (is iet meer gesupport onder hogere ESXi versies)
• ram moet echt uitgebreid worden naar 32 GB, Oorsponkelijk had ik 16Gb maar ik had het ergens ander harder nodig.....
• ik overweeg om ESXi up te graden van 4.1 naar 5 of 6 of proxmox of iets anders te gaan gebruiken

De vraag is ook wat vinden jullie er van, wat kunnen jullie adviseren eat er beter kan en waarom?

Huidige setup

#	Product	Prijs	Subtotaal
1	be quiet! Pure Power L7 350W	€ 0,-	€ 0,-
1	Cooler Master Elite 335	€ 0,-	€ 0,-
1	Delock SATA-300 PCI Express Card, 2 Port	€ 15,50	€ 15,50
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 0,-	€ 0,-
1	Intel Core i5 2400 Boxed	€ 0,-	€ 0,-
1	Intel Desktop Board DQ67OWB3	€ 0,-	€ 0,-
1	Intel PRO/1000 GT	€ 37,-	€ 37,-
1	Intel Pro/1000 PT Dual Port	€ 156,01	€ 156,01
1	Kingston ValueRAM KVR1333D3N9K2/8G	€ 79,95	€ 79,95
1	Maxtor DiamondMax 10 160GB, 160GB	€ 145,20	€ 145,20
6	Samsung Spinpoint F4 EG HD204UI, 2TB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 433,66

Nieuwe te realiseren setup

• 8 GB vervangen 32GB ram (nog te kopen)
• 6x2TB vervangen door 8x4TB (nog te kopen)
• 160GB schijf voor vm's vervangen door 128GB SSD (heb ik nog liggen)
• Sata-300 controller verwijderd

#	Product	Prijs	Subtotaal
1	Intel Core i5 2400 Boxed	€ 0,-	€ 0,-
1	Intel Desktop Board DQ67OWB3	€ 0,-	€ 0,-
8	WD Red WD40EFRX, 4TB	€ 156,-	€ 1.248,-
1	Cooler Master Elite 335	€ 0,-	€ 0,-
1	Intel PRO/1000 GT	€ 37,-	€ 37,-
1	Intel Pro/1000 PT Dual Port	€ 156,01	€ 156,01
4	Kingston ValueRAM KVR1333D3N9H/8G	€ 37,76	€ 151,04
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 0,-	€ 0,-
1	be quiet! Pure Power L7 350W	€ 0,-	€ 0,-
1	Samsung 830 series SSD 128GB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 1.592,05

[Dinsdale]

Microkid schreef op vrijdag 22 juli 2016 @ 19:25:

Het moederbord komt met een klein fannetje. Aangezien er in een meterkast natuurlijk weinig luchtstroom is, wil ik geen risico nemen en heb ik een Prolimatech Ultrasleek Vortex 140mm in de case geplaatst. De fan is slechts 15mm hoog en pas perfect aan de binnenkant van het gaas. De fan draait heel langzaam op 300 toeren en houdt alles lekker koel, dus ook het geheugen.

Als kast heb ik een Antec ISK 110 VESA gekozen, dit is een mini-itx kast van amper 22x22cm met veel gaas, dus lekker luchtig. De 90W voeding is extern. Hier een mooie review van deze case.

Ik heb zelf een passief gekoeld c2558 bordje van Supermicro in deze kast zitten. Zonder extra kastkoeling loopt de CPU-temperatuur al gauw op naar een graad of 60-70. Dus ik ben wel heel benieuwd naar:

• Hoe je de fan aan de kast heb vastgemaakt? Dat kon ik niet duidelijk uit de foto's halen.
• Welke temperaturen je nu meet op de CPU en het geheugen?

Mooi project heb je daar overigens. Ik zit er zelf over te denken om zo'n bordje in een Chieftec IX-03B in te bouwen, net iets kleiner dan de Antec. Niet omdat het moet....

[Zenix]

jeanj schreef op zaterdag 30 juli 2016 @ 11:21:
Ik heb sinds 2011 een "zuinige" ESxi (4.1) server waar ik o.a. nas4free op draai met zfs met daarnaast nog 5-10 linux/bsd vm's en win7 vm

Ik sta nu op het punt om wat zaken te vernieuwen/uit te breiden, en daar zoek ik wat advies voor

Klinkt goed, heb zelf ook nog i5 2400 gaat ook 32GB in. Persoonlijk zou ik de voeding vervangen, staat niet bekend als hoge kwaliteit die serie.

[Microkid]

Dinsdale schreef op zaterdag 30 juli 2016 @ 19:39:
[...]


Ik heb zelf een passief gekoeld c2558 bordje van Supermicro in deze kast zitten. Zonder extra kastkoeling loopt de CPU-temperatuur al gauw op naar een graad of 60-70. Dus ik ben wel heel benieuwd naar:

• Hoe je de fan aan de kast heb vastgemaakt? Dat kon ik niet duidelijk uit de foto's halen.
• Welke temperaturen je nu meet op de CPU en het geheugen?

Mooi project heb je daar overigens. Ik zit er zelf over te denken om zo'n bordje in een Chieftec IX-03B in te bouwen, net iets kleiner dan de Antec. Niet omdat het moet....

Hoi, ik heb e.e.a. verduidelijkt in m'n oorspronkelijke bericht. Fans zitten vast met 2 kleine tie-wraps, cpu is ongeveer 40 graden, geheugen 36.

[Dinsdale]

Microkid schreef op zondag 31 juli 2016 @ 00:14:
[...]

Hoi, ik heb e.e.a. verduidelijkt in m'n oorspronkelijke bericht. Fans zitten vast met 2 kleine tie-wraps, cpu is ongeveer 40 graden, geheugen 36.

Oeps. Sorry, finaal overheen gelezen. Ik wil het kastje als demo-systeem gebruiken en dan heb ik liefst zo min mogelijk geluid. Heb je enig idee hoeveel herrie die CPU-fan maakt? Heb je nog overwogen om de passief gekoelde versie te nemen en dan misschien de case fan wat harder te laten blazen?

[dnacid]

Na een aantal jaren gedraaid te hebben met mijn huidige setup loop ik nu tegen performance problemen aan. hierdoor heb ik besloten dat ik mijn huidige setup ga vervangen.
Mijn huidige setup bestaat uit de volgende onderdelen:

#	Product	Prijs	Subtotaal
1	Intel Pentium G840 Boxed	€ 0,-	€ 0,-
1	Intel Desktop Board DH67BL (B3)	€ 0,-	€ 0,-
1	HP 410411-001, 250GB	€ 0,-	€ 0,-
2	WD Green WD20EARX, 2TB	€ 102,85	€ 205,70
1	Fractal Design Core 1000 USB 2.0	€ 60,89	€ 60,89
1	P1 Smart Meter USB	--	--
1	Intel Gigabit CT Desktop Adapter	€ 24,08	€ 24,08
1	Kingston ValueRAM KVR16R11S8K4/16	€ 98,49	€ 98,49
1	Antec Earthwatts EA-380D Green	€ 49,45	€ 49,45
1	APC Back-UPS ES 550VA DIN	€ 75,-	€ 75,-
1	Rfxcom RFXtrx433E USB 433.92MHz Transceiver	€ 109,75	€ 109,75
Bekijk collectie Importeer producten		Totaal	€ 623,36

Op de bovenstaande server draai ik dmv esxi 5.5 de volgende vm's:
- Small Business Server 2011 (AD, DHCP, DNS, Exchange 2010)
- Windows 7 (remote login bak, Domoticz)
- Freenas 9 (NAS, de 2TB disks via RDM doorgegeven, RAID 1)
- Pfsense (Firewall)

Nu ben ik aan het twijfelen tussen 2 systemen die ik heb uitgezocht. Ik zoek dus vooral meer performance (CPU en minimaal 32gb memory). Tevens wil ik graag wat extra diskspace (nu 1,5 TB data in gebruik).

Systeem 1:

#	Product	Prijs	Subtotaal
1	Intel Core i5-6400 Boxed	€ 183,50	€ 183,50
1	Asus Q170M2	€ 152,-	€ 152,-
2	WD Red WD30EFRX, 3TB	€ 110,50	€ 221,-
1	Kingston HyperX Fury black HX421C14FBK2/32	€ 141,-	€ 141,-
1	Samsung SM961 512GB	€ 251,92	€ 251,92
Bekijk collectie Importeer producten		Totaal	€ 949,42

Systeem 2:

#	Product	Prijs	Subtotaal
1	Supermicro X10SDV-4C-TLN4F	€ 536,50	€ 536,50
2	WD Red WD30EFRX, 3TB	€ 110,50	€ 221,-
1	Kingston ValueRAM KVR21E15D8K2/32I	€ 164,20	€ 164,20
1	Samsung SM961 512GB	€ 251,92	€ 251,92
Bekijk collectie Importeer producten		Totaal	€ 1.173,62

Ik ben dus van plan om het moederbord, cpu, geheugen en hdd's te vervangen.
De situatie waar ik naar toe wil is:
- ESXi 6 op usb stick
- Datastore op NVME SSD (Samsung 961)
- Disks/sata controller via vt'd doorgeven aan freenas
- In eerste instantie zullen de vm's hetzelfde blijven. in de toekomst kan er natuurlijk wel eens wat bij komen.

Op dit moment gaat mijn voorkeur uit naar systeem 2 ivm de volgende redenen:
- Supermicro bord heeft 2 x 1Gbps en 2 x 10Gbps standaard aan boord.
- Bord heeft IPMI, leuk om te hebben.
- Setup is waarschijnlijk zuiniger als systeem 1

Systeem 1 is echter een stukje goedkoper en biedt de mogelijkheid om in de toekomst nog de cpu te upgraden, ook meer pci-e sloten.
Ik ben van plan om de rest van mijn onderdelen eerst opnieuw te gebruiken (Behuizing ed). De extra netwerkkaart vervalt wel natuurlijk bij gebruik van systeem 2.
De voeding staat op een eventueel te vervangen lijst. Suggesties?

Nu is mijn vraag aan jullie, zien jullie problemen in bovenstaande setups en wat ik er mee wil? Is systeem 2 de hogere kosten waard?

[|sWORDs|]

dnacid schreef op donderdag 04 augustus 2016 @ 11:03:
[...]
Ik ben dus van plan om het moederbord, cpu, geheugen en hdd's te vervangen.
De situatie waar ik naar toe wil is:
- ESXi 6 op usb stick
- Datastore op NVME SSD (Samsung 961)
- Disks/sata controller via vt'd doorgeven aan freenas
- In eerste instantie zullen de vm's hetzelfde blijven. in de toekomst kan er natuurlijk wel eens wat bij komen.

Op dit moment gaat mijn voorkeur uit naar systeem 2 ivm de volgende redenen:
- Supermicro bord heeft 2 x 1Gbps en 2 x 10Gbps standaard aan boord.
- Bord heeft IPMI, leuk om te hebben.
- Setup is waarschijnlijk zuiniger als systeem 1

Systeem 1 is echter een stukje goedkoper en biedt de mogelijkheid om in de toekomst nog de cpu te upgraden, ook meer pci-e sloten.
Ik ben van plan om de rest van mijn onderdelen eerst opnieuw te gebruiken (Behuizing ed). De extra netwerkkaart vervalt wel natuurlijk bij gebruik van systeem 2.
De voeding staat op een eventueel te vervangen lijst. Suggesties?

Nu is mijn vraag aan jullie, zien jullie problemen in bovenstaande setups en wat ik er mee wil? Is systeem 2 de hogere kosten waard?

Tjonge dit is een lastige:

• De Supermicro build heeft IPMI, maar de Asrock heeft AMT.
• De Supermicro heeft 10GBe, maar hoe snel denk je dat er iets naast komt wat er gebruik van kan maken?
• De Asrock build heeft een hoop extra CPU power (2.2 vs 2.7 met 3.3 turbo).
• De Supermicro heeft ECC.
• De Asrock build is goedkoper.

Ik denk dat je hier zelf de afweging op moet maken. Ik zou trouwens ESXi gewoon op de NVMe installeren en niet op USB.

[Zenix]

Misschien nog een andere en veel goedkopere optie een i5 2400 bijvoorbeeld uit V&A halen met een SSD en 32GB DDR3 ( of 2x4 en 2x8 voor 24GB, zodat je helft van je oude setje kan gebruiken) dan ben je voor een stuk minder klaar.

Een nadeel van optie één is dat de tweede netwerkcontroller geen Intel is, maar Realtek. Verder sluit ik mij aan bij Swords.

[ Voor 5% gewijzigd door Zenix op 04-08-2016 12:32 ]

[dnacid]

|sWORDs| schreef op donderdag 04 augustus 2016 @ 12:27:
[...]

Tjonge dit is een lastige:

• De Supermicro build heeft IPMI, maar de Asrock heeft AMT.
• De Supermicro heeft 10GBe, maar hoe snel denk je dat er iets naast komt wat er gebruik van kan maken?
• De Asrock build heeft een hoop extra CPU power (2.2 vs 2.7 met 3.3 turbo).
• De Supermicro heeft ECC.
• De Asrock build is goedkoper.

Ik denk dat je hier zelf de afweging op moet maken. Ik zou trouwens ESXi gewoon op de NVMe installeren en niet op USB.

Dank je voor je antwoord. Ik heb alleen een Asus bord in de setup en geen asrock
Die 10gb aansluiting is leuk voor de toekomst. Er wordt in mijn regio een proef gedaan met 10 gbe glasvezel. (www.glasvezeldewolden.nl). in eerste instantie ben ik niet van plan om naar 10gbit te gaan maar je weet nooit wat de toekomst brengt...
Qua CPU power verwacht ik dat ik er al fors op vooruit zal gaan in vergelijking met de G840. of zal dat verschil niet erg groot zijn.
Verder zie je dus geen probleem in het via vt-d doorgeven van de sata controller incl disks als ik de esxi en datastore op de ssd zet?

[dnacid]

Zenix schreef op donderdag 04 augustus 2016 @ 12:30:
Misschien nog een andere en veel goedkopere optie een i5 2400 bijvoorbeeld uit V&A halen met een SSD en 32GB DDR3 ( of 2x4 en 2x8 voor 24GB, zodat je helft van je oude setje kan gebruiken) dan ben je voor een stuk minder klaar.

Een nadeel van optie één is dat de tweede netwerkcontroller geen Intel is, maar Realtek. Verder sluit ik mij aan bij Swords.

Dat is idd ook een optie waar ik naar gekeken heb. Echter zou ik ook wel weer eens wat nieuwe dingen willen proberen zoals vt-d. Tevens verwacht ik met de nieuwe setup iets energiezuiniger te zijn.
Ik ga er van uit dat deze server weer een jaar of 5 gaat draaien dus daar wil ik ook best wat extra voor uitgeven.

[|sWORDs|]

dnacid schreef op donderdag 04 augustus 2016 @ 12:58:
[...]

Dank je voor je antwoord. Ik heb alleen een Asus bord in de setup en geen asrock

Lol, ik had dat gedeelte uit de quote al gewist en gokte verkeerd.

dnacid schreef op donderdag 04 augustus 2016 @ 12:58:
Verder zie je dus geen probleem in het via vt-d doorgeven van de sata controller incl disks als ik de esxi en datastore op de ssd zet?

Nee, de SSD is PCIe en zit dus niet op de controller.

[dnacid]

|sWORDs| schreef op donderdag 04 augustus 2016 @ 13:18:
......
Nee, de SSD is PCIe en zit dus niet op de controller.

Oke top. Daar ging ik al een van uit na het lezen van dit topic. Maar toch voor de zekerheid nog even vragen

[Zenix]

dnacid schreef op donderdag 04 augustus 2016 @ 13:02:
[...]

Dat is idd ook een optie waar ik naar gekeken heb. Echter zou ik ook wel weer eens wat nieuwe dingen willen proberen zoals vt-d. Tevens verwacht ik met de nieuwe setup iets energiezuiniger te zijn.
Ik ga er van uit dat deze server weer een jaar of 5 gaat draaien dus daar wil ik ook best wat extra voor uitgeven.

Dan snap ik het wel VT-d is voor mij ook een reden om van mijn i5 2400 over te stappen in de toekomst in combinatie met PCI-e SSD voor de VM's zodat je de Intel controller voor NAS kan gebruiken.

[dnacid]

Heb systeem 2 nog wat aangepast. Had ECC UDIMM (2 x 16) in het lijstje staan. Is nu ECC RDIMM geworden (1 x 32). Module staat als tested memory op site van Supermicro.
Lijstje wordt nu:

#	Product	Prijs	Subtotaal
1	Supermicro X10SDV-4C-TLN4F	€ 536,50	€ 536,50
2	WD Red WD30EFRX, 3TB	€ 110,50	€ 221,-
1	Samsung M393A4K40BB0-CPB	€ 151,50	€ 151,50
1	Samsung SM961 512GB	€ 251,92	€ 251,92
Bekijk collectie Importeer producten		Totaal	€ 1.160,92

Bijkomend voordeel is dat deze setup iets goedkoper is geworden

[FireDrunk]

Zou je niet liever voor Dual Channel gaan? Bij een goedekope simpele setup zou ik er niet zo om malen dat je Single Channel gaat draaien, maar voor een 'dikke' beefy Xeon-D vind ik het toch een beetje jammer van het performanceverlies

[Zenix]

http://m.ebay.com/itm/151989476551?_mwBanner=1 kan je ook overwegingen als derde optie icm met X99 of server chipset. Heb je namelijk wel meer CPU Power.

[ Voor 14% gewijzigd door Zenix op 05-08-2016 14:47 ]

[dnacid]

FireDrunk schreef op vrijdag 05 augustus 2016 @ 13:57:
Zou je niet liever voor Dual Channel gaan? Bij een goedekope simpele setup zou ik er niet zo om malen dat je Single Channel gaat draaien, maar voor een 'dikke' beefy Xeon-D vind ik het toch een beetje jammer van het performanceverlies

Tja, daar heb je dan ook weer gelijk in... Bord heeft gelukkig 4 sloten dus kan dan altijd nog fatsoenlijk upgraden.

[dnacid]

Zenix schreef op vrijdag 05 augustus 2016 @ 14:46:
http://m.ebay.com/itm/151989476551?_mwBanner=1 kan je ook overwegingen als derde optie icm met X99 of server chipset. Heb je namelijk wel meer CPU Power.

Haha, maak het me nu niet moeilijker dan dat het al is... Is ook wel een mooie optie. Enkel de TDP van 100+ maakt het allemaal wat minder zuinig denk ik dan maar....

[Zenix]

dnacid schreef op vrijdag 05 augustus 2016 @ 22:45:
[...]

Haha, maak het me nu niet moeilijker dan dat het al is... Is ook wel een mooie optie. Enkel de TDP van 100+ maakt het allemaal wat minder zuinig denk ik dan maar....

Bij die verkoper heb je ook Low Power varianten met tdp van 70 Je kan ook voor 8 of 10 cores gaan

Zoals http://m.ebay.com/itm/Int...870fff7482d%257Ciid%253A4
http://m.ebay.com/itm/Int...870fff7482d%257Ciid%253A9 of zelfs 65W http://m.ebay.com/itm/Int...70fff7482d%257Ciid%253A23 De laatste is een Broadwell.

[ Voor 86% gewijzigd door Zenix op 05-08-2016 23:00 ]

[|sWORDs|]

Als het om 8 cores gaat zou ik eerder voor een dikkere Xeon-D gaan zoals de 1541.
De reden om voor X99/C612 te gaan is heel veel cores met veel frequency of veel IO.
De L varianten zijn eigenlijk alleen interessant om je maximale stroomverbruik terug te brengen, idle maakt het weinig uit en het duurt ook langer voor je weer op idle zit:

|sWORDs| schreef op woensdag 25 mei 2016 @ 12:02:
[...]


De 2630L is geen gekke CPU. De base frequency is 1.8 vs 2.6, maar de base is eigenlijk alleen van toepassing als de koeling niet goed is (bij een L loop je mogelijk wel tegen de TDP, ik heb nog geen turbo bin testen gezien van een L). De all core turbo is 2.5 vs 2.8 en de 4 core turbo is 3.1 vs 3.2.
De 2699 is trouwens 145Watt, geen 85.

Maar je leest die hardware.info review wel verkeerd, die 81,6W is voor het hele systeem (server met twee CPU's), twee 2650L v3's (65W) halen maar 7,6W minder idle. De performance per Watt is zelfs beter bij de 2699 v4's. Het totale stroomverbruik voor een Povray benchmark is minder met de 2699 v4's. Zie race to idle.

De C state power is trouwens gelijk:

	2630L v4	2630 v4	2650L v3	2699 v4	2699 v4 ES	2650 v3 ES	2630 v4 ES
TDP	55W	85W	65W	145W	145W	105W	85W
Max Power	110W	170W	130W	290W	290W	210W	170W
Cores	10	10	12	22	22	10	10
Base Frequency	1.8	2.2	1.8	2.2	2.1	2.2	2.2
All Core Turbo Frequency	2.5	2.8	2.1	3.0	2.4	2.5	2.3
4 Core Turbo Frequency	3.1	3.2	2.2	3.7	2.4?	2.5?	2.3?
C1E	35W	35W	38W	55W	55W?	43W?	35W?
C3	25W	25W	38W	35W	38W?	33W?	25W?
C1	12W	12W	13W	14W	14W?	13W?	12W?
Price	$612	$667	$1329	$4115	$939	$175	$199

Het laatste probleem met de CPU is dat de 2630L eigenlijk wat goedkoper moet zijn dan de 2630, maar hier is ie (veel) duurder.

Als je echt wil besparen op stroom, waarom neem je dan een board met een LSI3008 en quad Gbit? Mocht je passthrough willen doen kun je ook de 10 C610 poorten in 6 en 4 knippen. En als het je enige server in huis is, hoe ga je dan ooit meer dan 2 Gbit lijnen vol trekken?

[ Voor 80% gewijzigd door |sWORDs| op 06-08-2016 10:53 ]

[Zenix]

Klopt ik ben ook geen fan van de L varianten en zou ook de Xeon pakken die ik als eerst vermelde, die heeft bij elkaar toch een paar GHz meer beschikbaar waardoor als het nodig is hij inderdaad sneller klaar is en idle kan gaan. Maar hij vond de TDP te hoog, daarom de alternatieven

[Addsz]

Ik lees al een tijdje "in the shadows" mee en zou mijn setup graag met jullie willen delen. Een NAS stond al lang op mijn wishlisht. In plaats van een Synology te kopen heb ik besloten om mijn eigen ESXi te configureren waar ik wat op kan hobbyen maar tevens ook als NAS kan gebruiken. Het stroomverbruik heb ik helaas nog niet gemeten. (deze houden jullie te goed)

Mijn doel was een NAS, HTPC, en hobbybakje in één. Mocht wel iets kosten maar natuurlijk niet te veel in eerste instantie. (dat kan je richting een a-technische dame nooit verantwoorden ) Dus het moest iets worden wat nog wel een paar keer uit te breiden is. Thuis had ik nog 2WD-greens liggen en een dubbele Gigabit LAN kaart van Intel.

Dit heb ik er van gemaakt:

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 56,49	€ 56,49
1	Fujitsu D3417-B	€ 142,77	€142,77
1	Sapphire HD 6450 1GB DDR3	€ 32,62	€ 32,62
1	WD Green HDD, 2TB	€ 79,90	€ 79,90
1	Sharkoon USB3.0 Host Controller Card	€ 11,95	€ 11,95
1	Corsair Carbide Air 240 Zwart	€ 93,95	€ 93,95
1	Intel Pro/1000 PT Dual Port	€ 156,01	€ 156,01
1	Samsung M391A2K43BB1	€ 77,50	€ 77,50
1	be quiet! Pure Power L8 300W	€ 43,95	€ 43,95
1	Samsung 950 Pro 256GB	€ 185,95	€ 185,95
Bekijk collectie Importeer producten		Totaal	€ 738,32

Op dit moment draait er ESXi 6.0u2 op (via USB3.0 stick) met de NVMe disk als lokale datastore voor de harde schijven van 3VMs:
1 - Freenas 9.10 - waar ik de locale SATA controller heb doorgestoken via PCI-passthrough om de 2 WD's in een ZFS mirror te kunnen hangen. Verder draait er nog Plex media server op en een aantal file services. (CIFS, NFS en iSCSI)
2 - Ubuntu Server 16LTS als downloadstation met Couchpotato, Sonarr, Sabnzbd & Deluge. Hierin worden alle downloads via een openvpn verbinding naar binnen gehaald en automatisch in de juiste folder voor Plex gezet.
3. Windows 10 als HTPC OS. Met de AMD GPU en losse USB3.0 kaart via PCI-passthrough geconfigureerd.

Voor alle VM's heb ik memory reservations gemaakt. Freenas 8GB, Ubuntu 1GB en Win10 2GB. Als ik aan het downloaden ben + een full HD MKV afspeel op de Win10 VM trekt de ESXi server maar 60% CPU. (waarvan Windows de grootverbruiker is....)

Het liefste zou ik Elementary OS of iets dergelijks willen inzetten maar daar heb ik nog te weinig informatie over opgezocht. Heeft iemand hier een Linux HTPC VM met een doorgestoken GPU?

[|sWORDs|]

Als je een GPU wil doorsteken en een HDMI output wil kunnen gebruiken dan zijn er maar een paar opties:

• AMD
• Bepaalde nVidia Quatro's:
• [list]
• 1000M, 3000M, 5000
• K2000/K4000/K5000/K6000
• K3100M
• K2200/K4200/K5200
• [/list]
• Bepaalde Intel Xeon E3's (ik ben er nog niet precies achter welke v3 Haswell's, ik denk degene met een P4700, maar in elk geval v4 Broadwell met Iris Pro.

Ik heb zelf nog nooit een AMD doorgestoken naar Linux, nVidia wel dat werkte prima, maar HDMI audio heb ik niet getest. Waarom zou je trouwens niet iets als OpenElec gebruiken ipv Elementary OS?

[ Voor 74% gewijzigd door |sWORDs| op 06-08-2016 14:10 ]

[Microkid]

Addsz schreef op zaterdag 06 augustus 2016 @ 12:41:
Voor alle VM's heb ik memory reservations gemaakt. Freenas 8GB, Ubuntu 1GB en Win10 2GB.

Waarom doe je dat? Hiermee blokkeer je feitelijk 11GB geheugen. Je kan memory management beter aan ESXi overlaten, is veel flexibeler. Je hebt geheugen genoeg namelijk.

[Zenix]

Inderdaad dat is de kracht van ESXI ook.

[Addsz]

Dat klopt. Voor Ubuntu zou ik het automatisch kunnen laten lopen. Maar bij de VM's met een passthrough ben ik verplicht minimaal het toegewezen geheugen te reserveren. (Anders start hij niet op)

[|sWORDs|]

Microkid schreef op zaterdag 06 augustus 2016 @ 15:04:
[...]

Waarom doe je dat? Hiermee blokkeer je feitelijk 11GB geheugen. Je kan memory management beter aan ESXi overlaten, is veel flexibeler. Je hebt geheugen genoeg namelijk.

Als je toch geen memory overcommit hebt is het juist goed om reserve all memory te doen, scheelt ook een zooi swap files.

[OMX2000]

Als ik moederbord en processor vervang moet io nog met gekke dingen rekening houden?

Ik heb wel 4 schijven die ik als RDM doorgeef, dus ik verwacht dat ik die opnieuw moet aanmaken. Maar verder is het gewoon gaan met de banaan neem ik aan?

[Deem007492]

Welke M2 adapter wordt aanbevolen voor de Samsung SM951 (NVMe) 512GB in combinatie met een
Supermicro X10SL7-F?

Via eBay met cap, goedkoop:
Http://www.ebay.com/itm/322024141420?_mwBanner=1
Addonics:
pricewatch: Addonics ADM2PX4 M2 PCIe SSD adapter
Delock:
pricewatch: Delock PCI Express Card > 1 x internal M.2 NGFF

[|sWORDs|]

Ik heb de niet OEM versie in de Delock zitten, werkt perfect.

[Deem007492]

Belangrijke afweging voor mij is de functie stroomverliesbescherming.

Ik zie in de pricewatch vergelijking dat de Intel 750 deze functie wel heeft en de Samsung 950/951 daar niet over beschikt.

Kun je dat met die m2 adapter van eBay voor de Samsungs oplossen of is de Intel dan een betere keuze.

[Kage Musha]

Hallo,

Ik wil graag een nieuwe zuinige server bouwen met ESXi of Proxmox.
Met de volgende VMs:
- NAS gebaseerd op Freenas, OMV of Rockstor (wanneer ik voor BRTFS kies ipv ZFS).
- Webserver
- OpenVPN
- Dropbox-achtig oplossing als NextCloud of pydio (zou ook op de NAS kunnen draaien, maar hou het liever gescheiden)
- pruts VM


Onboard SATA VT-d passthrough naar de NAS VM voor mass storage.
PCIe->SATA kaartje voor SSD als hypervisor/vm datastore (of moet dit een NVMe SSD zijn?)

#	Product	Prijs	Subtotaal
1	Intel Core i5-6500 Tray	€ 193,-	€ 193,-
1	Gigabyte GA-B150M-D3H	€ 83,50	€ 83,50
4	Toshiba DT01ACA300, 3TB	€ 83,75	€ 335,-
1	be quiet! Pure Rock	€ 29,50	€ 29,50
1	Crucial CT2K16G4DFD824A	€ 125,50	€ 125,50
1	Delock MiniPCIe I/O PCIe full size 2 x SATA 6 Gb/s	€ 19,51	€ 19,51
1	Seasonic G-series 360 watt	€ 58,95	€ 58,95
1	Crucial MX300 2,5" 275GB	€ 71,14	€ 71,14
Bekijk collectie Importeer producten		Totaal	€ 916,10

Dit gaat in een Antec 300 met 5 case fans die ik al heb.

Is de PSU voldoende of moet ik toch voor iets anders gaan.
Denk dat er uiteindelijk max 6-8 HDD op aangesloten zullen zijn, begin met 4 HDD.
pricewatch: be quiet! Straight Power 10 400W

Ik ben van plan om de onboard (realtek) netwerkkaart van de Gigabyte mobo te gebruiken.

Heb ik nog rare dingen/combinaties gemaakt, zijn er betere alternatieven met ongeveer zelfde prijs?
En aangezien dit de zuinige esxi topic is, zal dit een beetje zuinig zijn?

[Deem007492]

Als je openvpn wilt gebruiken, wil je dat dan met pfsense doen? Zo ja, dan heb je minimaal 2 nics nodig.

Esxi met Freenas, pfsense, Windows etc. gaat prima.

[H143]

Goedenavond,

sinds kort ben ik een beetje aan het prutsten met een server e.d.
nu heb ik een POV ion 330 systeempje met daar op xpenology
zou ik hier ook een ESXI server op kunnen draaien met daarop Xpenolgy en Domoticz (misschien binnenkort nog meer)
het hoeft geen snelheidsmonster te zijn maar gewoon een beetje mee prutsen is voor mij voldoende

[Zenix]

Je hebt minimaal 4GB nodig voor ESXi. Ik denk dat je het beter niet kunt doen en beter bare-metal Xpenology erop kan zetten, maar betwijfel of dat ook beetje goede performance heeft. Daarnaast is het uberhaupt de vraag of ESXi werkt op dat systeem.

[ Voor 15% gewijzigd door Zenix op 08-08-2016 18:09 ]

[Kage Musha]

Deem007492 schreef op maandag 08 augustus 2016 @ 15:51:
Als je openvpn wilt gebruiken, wil je dat dan met pfsense doen? Zo ja, dan heb je minimaal 2 nics nodig.

Esxi met Freenas, pfsense, Windows etc. gaat prima.

Ik was eigenlijk van plan om gewoon een linux vm met openvpn te draaien, zo light-weight mogelijk.

[Zenix]

Deem007492 schreef op maandag 08 augustus 2016 @ 15:51:
Als je openvpn wilt gebruiken, wil je dat dan met pfsense doen? Zo ja, dan heb je minimaal 2 nics nodig.

Esxi met Freenas, pfsense, Windows etc. gaat prima.

Waarom heb je twee NICS nodig met OpenVPN?

Kage Musha schreef op maandag 08 augustus 2016 @ 20:06:
[...]

Ik was eigenlijk van plan om gewoon een linux vm met openvpn te draaien, zo light-weight mogelijk.

Als je maar weinig VPN connecties tegelijk hebt kan ik OpenVPN Access Server aanraden, is als appliance te downloaden voor VMware of zeer makkelijk te installeren. Is de meer commerciële versie van OpenVPN. Zeer gebruiksvriendelijk, alleen maar 2 VPN connecties tegelijk.

Alsnog hoef je voor de resources geen aparte Linux VM te nemen voor OpenVPN. Als je OpenVPN bij pfSense gebruikt dan heb je denk ik minder resources in gebruik, sowieso qua schijfruimte.

[ Voor 4% gewijzigd door Zenix op 08-08-2016 20:19 ]

[Microkid]

Mag ik even wijzen op de topic warning?

Let op: Dit is geen 'algemeen ESxi-topic'. Ook je algemene VT vragen horen hier niet thuis!

Dus graag weer on-topic over zuinige ESXi servers.

[ Voor 3% gewijzigd door Microkid op 08-08-2016 20:23 ]

[Deem007492]

Voor esxi icm pfsense/openvpn is het beter om 2 nics te gebruiken. Je kunt een intel nic voor ca. €20,- toevoegen aan je setup. Hiermee kun je Wan en Lan gescheiden houden.

[OMX2000]

Microkid schreef op maandag 08 augustus 2016 @ 20:21:
Mag ik even wijzen op de topic warning?

Let op: Dit is geen 'algemeen ESxi-topic'. Ook je algemene VT vragen horen hier niet thuis!

Dus graag weer on-topic over zuinige ESXi servers.

Ik begrijp je punt. Maar misschien is het handig dat je dan ook aangeeft wat dat algemene topic dan wel mag zijn. Dit topic lijkt het defacto ESXi topic te zijn geworden. En het gaat al heeeel lang niet meer om zuinige esxi servers.

But correct me if I'm wrong.

[Microkid]

OMX2000 schreef op maandag 08 augustus 2016 @ 21:04:
[...]
Ik begrijp je punt. Maar misschien is het handig dat je dan ook aangeeft wat dat algemene topic dan wel mag zijn. Dit topic lijkt het defacto ESXi topic te zijn geworden. En het gaat al heeeel lang niet meer om zuinige esxi servers.

Touché
We hadden daar een ander topic voor, maar dat is inderdaad wat vergeten...
Het grote thuis-virtualisatie topic
Wellicht dus toch zinvol om de algemene ESXi/virtualisatie vragen daar te parkeren, en dit topic te bewaren voor het bouwen van een energiezuinige server?

[ Voor 13% gewijzigd door Microkid op 08-08-2016 21:29 ]

[vso]

Ik heb nu een 980x 6 core, 24gb ram .. verbruik
Ik zoek een vervanger met VT-D + min 64gb ram en IPMI O, budget ongeveer 1000,-
vt-d primair voor sata contoller(s) .. 10gbit niet nodig intel nic's wel must

storage zal ik apart onderzoeken, het gaat me nu voornamelijk voor bovenstaand combo,
liever 2x 600,- euro voor dubbele host(s) .. maar dat betwijfel ik ..

De reden dat ik de vraag zo stel is ik lees in dit topic leuke dingen .. maar wat is voor key om op te filteren/zoeken in deze ? en waarom..

Microkid schreef op vrijdag 22 juli 2016 @ 19:25:
Update 23/7:
Op verzoek wat waardes van het stroomverbruik:

- Systeem uit: 4.8W
- Tijdens boot: 32W
- In het BIOS scherm: 47W (geen powermanagement, dus cpu op vol vermogen)
- ESXi op high performance: 33W (leeg), 34W (met 2 VM's draaiend)
- ESXi op balanced performance : 26W (leeg), 27W (met 2 VM's draaiend), 31W met 12VM's
- ESXi op low power : 26W (leeg), 27W (met 2 VM's draaiend)
- Alle power management in de BIOS uitgeschakeld en ESXi op high performance: ongeveer 45-50W.

Ik heb de power instellingen altijd op balanced staan, dus het stroomverbruik zal straks rond de 30W schommelen Per jaar dus ongeveer 263kWh, dus ongeveer 55 euro aan electra.

Even nieuwsgierig .. helpt het als je de power settings binnen vmware guests tweaked???
helpt dit uberhaupt binnen vm's of niet .. (denk aan concurenten) is ga er eigenlijk van uit dat Vmware hier leidend op is.

[|sWORDs|]

vso schreef op dinsdag 09 augustus 2016 @ 01:11:
[...]

storage zal ik apart onderzoeken, het gaat me nu voornamelijk voor bovenstaand combo,
liever 2x 600,- euro voor dubbele host(s) .. maar dat betwijfel ik ..


[...]


Even nieuwsgierig .. helpt het als je de power settings binnen vmware guests tweaked???
helpt dit uberhaupt binnen vm's of niet .. (denk aan concurenten) is ga er eigenlijk van uit dat Vmware hier leidend op is.

Ja dat helpt, maar voor productie machines (enterprise) wordt het afgeraden. Power management van de host en VM's zetten we normaal gesproken uit zodat je een voorspelbare performance hebt.

Twee hosts heeft voordelen maar zeker voor thuis meer nadelen.

Voordelen:

• HA (maar aangezien je andere onderdelen zoals router en switch waarschijnlijk bij bijvoorbeeld stroom uitval plat gaan heb je er niet heel veel aan)
• Makkelijk updaten. Doordat je twee componenten hebt kun je VUM gebruiken en mocht je de host updaten die VUM/vCenter draait vMotion-ed die over.

Nadelen:

• Shared storage nodig
• Netwerk is al snel je bottle neck
• Kosten, dubbele kasten, CPU etc.
• Stroomverbruik

[ Voor 25% gewijzigd door |sWORDs| op 09-08-2016 12:13 ]

[dnacid]

Na een lang weekend wikken en wegen heb ik zojuist de volgende setup besteld:

#	Product	Prijs	Subtotaal
1	Intel Core i5-6400 Boxed	€ 183,50	€ 183,50
1	Asus Q170M2	€ 154,25	€ 154,25
2	WD Red WD30EFRX, 3TB	€ 110,50	€ 221,-
1	Kingston HyperX Fury black HX421C14FBK2/32	€ 141,95	€ 141,95
1	Samsung SM961 512GB	€ 244,43	€ 244,43
Bekijk collectie Importeer producten		Totaal	€ 945,13

Kast en voeding neem ik mee vanuit de vorige setup. (Zie eerdere post)
Toch gekozen voor het ASUS bord en losse cpu ipv het supermicro bord met de Xeon.
Voornaamste reden was toch het later kunnen upgraden en de hogere snelheid.
Kan me nu al verheugen op het weekend

[Microkid]

vso schreef op dinsdag 09 augustus 2016 @ 01:11:
Even nieuwsgierig .. helpt het als je de power settings binnen vmware guests tweaked???
helpt dit uberhaupt binnen vm's of niet .. (denk aan concurenten) is ga er eigenlijk van uit dat Vmware hier leidend op is.

Nee, power settings binnen een VM hebben geen directe toegang tot de CPU dus zal je hier niets mee kunnen winnen. Het enige dat werkt is de power saver optie, de VM gaat dan vanzelf na zoveel minuten in suspend.

[vso]

|sWORDs| schreef op dinsdag 09 augustus 2016 @ 12:10:
[...]
Ja dat helpt, maar voor productie machines (enterprise) wordt het afgeraden. Power management van de host en VM's zetten we normaal gesproken uit zodat je een voorspelbare performance hebt.

Twee hosts heeft voordelen maar zeker voor thuis meer nadelen.

Voordelen:

• HA (maar aangezien je andere onderdelen zoals router en switch waarschijnlijk bij bijvoorbeeld stroom uitval plat gaan heb je er niet heel veel aan)
• Makkelijk updaten. Doordat je twee componenten hebt kun je VUM gebruiken en mocht je de host updaten die VUM/vCenter draait vMotion-ed die over.

Nadelen:

• Shared storage nodig
• Netwerk is al snel je bottle neck
• Kosten, dubbele kasten, CPU etc.
• Stroomverbruik

Niet helemaal mee eens, hoewel aantal enterprise zaken extra "bonus" zijn, zijn de volgende zaken echt key
- dhcp
- centraal aanmelden (roaming profiles??)
- dns / internet access.

Je kan een N+1 bouwen het zij active/active of active/passive .. tuurlijk heb je overhead in HW die je relatief kan beperken.. maar waar ligt je waarde grens redundantie of zuinig zijn .. ?
een crosslinkkabel vs switch bv ..

2x 50watt (load) systeem overtreft mijn huidge 1x host + 1x nas (totaal 230w) , en uit ervaring is de W.A.F en persoonlijk niet happy als 1 v.d 2 faalt. zelfs UPS helpt niet tegen "iets wat over zijn nek gaat"
ik offer liever raid 10 op, en doe liever via raid 1 per host in een mirror opslag.

offtopic:
hiervoor lijkt windows storage spaces bv wel grappig

Ik denk dat je zuinig server 75% tot 95% van zijn tijd thuis idle is .. dus zsm een idle toestand bereiken is erg interessant met een low verbruik.. overdreven gezegd is 200W load niet super intressant..
Maar .. dan kom je weer terug op de vraag .. hoe slim gaat het virtualisatie OS in combinatie met een guest OS hiermee overweg ..

Microkid schreef op dinsdag 09 augustus 2016 @ 12:17:
[...]
Nee, power settings binnen een VM hebben geen directe toegang tot de CPU dus zal je hier niets mee kunnen winnen. Het enige dat werkt is de power saver optie, de VM gaat dan vanzelf na zoveel minuten in suspend.

inderdaad powersaving binnen een VM kan wel issues geven zoals ik lees..

intressant is dat bios/esxi een 3% verschil kan hebben in powersaving en het zeker wel waard is hierin te duiken http://www.vmware.com/con...vsphere55-white-paper.pdf

[M-slayer]

Ik ben al een tijdje aan het rondkijken om een homelabje op te zetten rond de 400 euro.
Wat denken jullie van deze setup? Geen rare componenten die niet werken met esxi?

Ik wil er mijn Plex media server op draaien en mijn studie pruts servers (MCSA 2016)

#	Product	Prijs	Subtotaal
1	Jetway JC-110-B	€ 0,-	€ 0,-
1	Intel Core i3-6100 Boxed	€ 117,95	€ 117,95
1	ASRock H110M-ITX	€ 67,87	€ 67,87
1	Crucial CT2K16G4DFD8213	€ 131,51	€ 131,51
1	Crucial MX300 2,5" 275GB	€ 71,14	€ 71,14
Bekijk collectie Importeer producten		Totaal	€ 388,47

[|sWORDs|]

M-slayer schreef op dinsdag 09 augustus 2016 @ 15:59:
Ik ben al een tijdje aan het rondkijken om een homelabje op te zetten rond de 400 euro.
Wat denken jullie van deze setup? Geen rare componenten die niet werken met esxi?

Ik wil er mijn Plex media server op draaien en mijn studie pruts servers (MCSA 2016)

#	Product	Prijs	Subtotaal
1	Jetway JC-110-B	€ 0,-	€ 0,-
1	Intel Core i3-6100 Boxed	€ 117,95	€ 117,95
1	ASRock H110M-ITX	€ 67,87	€ 67,87
1	Crucial CT2K16G4DFD8213	€ 131,51	€ 131,51
1	Crucial MX300 2,5" 275GB	€ 71,14	€ 71,14
Bekijk collectie Importeer producten		Totaal	€ 388,47

Er zijn wat problemen met een Asrock B150 en unix achtige besturingssystemen. Dit hoeft bij de H110 niet zo te zijn, maar ik zou voor de zekerheid misschien een ander merk pakken, ook gezien deze:

Cranberry schreef op dinsdag 02 februari 2016 @ 09:23:
Iemand hier bij wie een zelfgebouwde ESXi-host niet echt uit gaat als je een poweroff/shutdown geeft?

Twee maanden geleden heb ik zelf een ESXi-server samengesteld obv een ASRock H170M Pro4. Nu ik eindelijk ben toegekomen aan het spelen met deze machine, valt het me op dat de machine niet uit gaat als ik een Shutdown geef. De machine blijft aan en blijft 35/37W verstoken (idle plm 26W).
Vanuit Windows 10 gaat 'ie wel netjes uit. Iemand hier ook al eens tegenaan gelopen? Een zoektocht op internet leverde me tot op heden weinig zinvolle informatie.
Wie heeft een idee?

[ Voor 12% gewijzigd door |sWORDs| op 10-08-2016 11:31 ]

[Cranberry]

Met een BIOS-update is op m'n ASRock H170M Pro4 het issue van het niet uit gaan, opgelost.
Nu heb regelmatig nog dat ik de machine twee keer aan moet zetten, omdat 'ie na de eerste keer aanzetten na 2 sec. o.i.d. weer uit gaat. Voor mij geen onoverkomelijk probleem, maar het is duidelijk dat 't qua compatibiliteit net niet helemaal ok is.
Overigens zijn er inmiddels al weer twee nieuwe versies van de BIOS, dus ik zal binnenkort even checken of dat nog iets verbetert aan de situatie.

[FireDrunk]

Lichtelijk offtopic, maar probeer je geheugeninstellingen eens een tikkeltje conservatief in te stellen. Het kan zijn dat je geheugen net wat te strak wordt aangesproken waardoor het niet start en de tweede keer er misschien een fail safe waarde geprobeerd wordt.

[CurlyMo]

FireDrunk schreef op donderdag 21 juli 2016 @ 15:56:
Hoeft niet, je kan op de virtuele disk alleen grub zetten, en je root partitie wel op de controller zetten.

Dat je er niet van kan booten wil niet zeggen dat je root partitie er niet op kan.

Twee verschillende dingen

Eerder hebben jullie opgemerkt dat ik vanaf datastorage via grub kan booten vanaf mijn SSD's. Daardoor kan het OS op de SSD's blijven. Twee vraagjes:

1. Kan je de SSD partitioneren zodat ik alle OS' op mijn SSD's kan zetten (ZFS-on-Root mirror) en dan telkens via grub booten van de juiste partitie?
2. Kan je dan voor de datastore een SD naar SATA adapter gebruiken. Dan kan ik voor 4 euro klaar zijn. SD kaarten heb ik genoeg en als dat ding alleen maar grub hoeft te laten is de performance penalty minimaal.

[ Voor 24% gewijzigd door CurlyMo op 10-08-2016 22:15 ]

[vso]

@mod .. kan deze vraag eventueel gesplitst worden ?

CurlyMo schreef op woensdag 10 augustus 2016 @ 22:13:
[...]


Eerder hebben jullie opgemerkt dat ik vanaf datastorage via grub kan booten vanaf mijn SSD's. Daardoor kan het OS op de SSD's blijven. Twee vraagjes:

1. Kan je de SSD partitioneren zodat ik alle OS' op mijn SSD's kan zetten (ZFS-on-Root mirror) en dan telkens via grub booten van de juiste partitie?
2. Kan je dan voor de datastore een SD naar SATA adapter gebruiken. Dan kan ik voor 4 euro klaar zijn. SD kaarten heb ik genoeg en als dat ding alleen maar grub hoeft te laten is de performance penalty minimaal.

Dit zijn meer esxi specifieke vragen dan zuinige server vragen ..

1) Als ik je goed begrijp heb je nu een fysieke *nix hw bak die je wilt virtualiseren echter zonder de SSD te "verliezen"
Ja dat kan maar waarom ? P2V is veel wijzer. de ssd kan je binnen esx beter inzetten als caching of "boot" disk. tragere media als "storage" voor rand meuk/software.
_toevoeging je splitst dus je machine in meerde virtuele machines op en draait ze tegelijken bent dus af van het multiboot concept (deprecated wegens virtualisatie check virtualbox/vm workstation)

2) zie 1 + in theorie kan dit wel, echter de HCL van vmware is specifiek... dus garantie tot de deur.
valt beetje te vergelijken met vanaf usb storage aanbieden .. het kan (met hack) .. maar waarom..


Echter als je binnen linux windows apps seamless wilt draaien . (bijvoorbeeld) dan is een VDI of seamless intergratie via andere producten ook intressant. maar misschien is dit meer offtopic gok ik.. op jou vraag (zoiezo van zuinige server topic)

Je vragen zijn eigenlijk single points of failures, hierom wordt het op enterprise niveau niet gedaan.
Je zou je beter in VDI en Virtualisatie algemeen kunnen inlezen, om op je eerste punt tegen te komen "multiboot grub" doe je dan meerdere vm's met eigen "boot" ..
pak gelijk "docker" mee in je onderzoek

[ Voor 5% gewijzigd door vso op 11-08-2016 00:19 ]

[CurlyMo]

vso schreef op donderdag 11 augustus 2016 @ 00:16:
Dit zijn meer esxi specifieke vragen dan zuinige server vragen ..

Het voorkomen van inzetten van extra SSD's of HDD's is toch juist om goedkoop en zuinig te blijven? Ik verwacht dat zo'n SD naar Sata ding minder stroom verbruikt.

_toevoeging je splitst dus je machine in meerde virtuele machines op en draait ze tegelijken bent dus af van het multiboot concept (deprecated wegens virtualisatie check virtualbox/vm workstation)

Dat snapte ik en is het ook idee om de route van ESXi te bewandelen.

Maar ik kan dus niet mij SSD inzetten via:
1) SSDp1 -> FreeBSD
2) SSDp2 -> Ubuntu
3) SSDp3 -> Windows
etc.

en dan op de SD
1) VM 1 -> SD grub -> boot van SSDp1
2) VM 2 -> SD grub -> boot van SSDp2
3) VM 3 -> SD grub -> boot van SSDp3

Het idee is dat ik idealiter mijn ZFSonRoot direct met mijn SSD wil laten communiceren en niet via een RDM of andere virtuele manier.

[FireDrunk]

CurlyMo schreef op donderdag 11 augustus 2016 @ 06:57:
[...]

Het voorkomen van inzetten van extra SSD's of HDD's is toch juist om goedkoop en zuinig te blijven? Ik verwacht dat zo'n SD naar Sata ding minder stroom verbruikt.


[...]

Dat snapte ik en is het ook idee om de route van ESXi te bewandelen.

Maar ik kan dus niet mij SSD inzetten via:
1) SSDp1 -> FreeBSD
2) SSDp2 -> Ubuntu
3) SSDp3 -> Windows
etc.

en dan op de SD
1) VM 1 -> SD grub -> boot van SSDp1
2) VM 2 -> SD grub -> boot van SSDp2
3) VM 3 -> SD grub -> boot van SSDp3

Het idee is dat ik idealiter mijn ZFSonRoot direct met mijn SSD wil laten communiceren en niet via een RDM of andere virtuele manier.

Ik snap nog steeds niet wat je wil. Je wil de "Virtualisatie" van storage in ESXi overslaan ten faveure van ZFSonRoot in het Guest OS?

Je hebt dus een SSD/USB stick waar je van boot, en nog een SSD, waar je eigenlijk verdeeld over verschillende partities een paar VM's zou willen opstarten.

Antwoord is heel simpel: Dit kan niet.

Dit komt omdat je de VM nooit van "vastpinnen" op die ene partitie. ESXi kan niet garanderen dat de VM die je eventueel dat device zou geven, niet "out of bounds" gaat krassen in ruimte van de andere VM. Daarom is dit concept nooit ingebouwd.

Raw Device Mapping is wel een relatief "geïsoleerde" oplossing, waardoor het door ESXi geïmplementeerd is.

Als ik het goed begrijp wil je ZFSonRoot in je VM's met zo min mogelijk "kans" dat het mis gaat.
VMFS is an sich een prima filessystem, en honoreert keurig sync requests, waardoor ZFS in een VM op een vDisk draaien op VMFS helemaal niet slecht is. Vanuit de VM is het effect hetzelfde om ZFSonRoot te gebruiken. Er veranderd niets voor de werking er van.

Ik kwam recentelijk ook dit artikeltje tegen:
http://www.virten.net/201...tore-in-vsphere-esxi-6-0/

Dit zorgt er voor dat je op USB stick(s) Datastores kan maken. Dit zorgt er dus voor dat 'onze' afhankelijkheid voor een NVMe SSD of een extra controller komt te vervallen.

Ik weet niet precies of dit op jouw usecase matcht, maar misschien heb je er iets aan

Ik heb zelf nog een Sandisk Ultra USB3.0 stick liggen, waar ik dit concept eens op zou willen testen als ik tijd heb.

[|sWORDs|]

CurlyMo schreef op woensdag 10 augustus 2016 @ 22:13:
[...]


Eerder hebben jullie opgemerkt dat ik vanaf datastorage via grub kan booten vanaf mijn SSD's. Daardoor kan het OS op de SSD's blijven. Twee vraagjes:

1. Kan je de SSD partitioneren zodat ik alle OS' op mijn SSD's kan zetten (ZFS-on-Root mirror) en dan telkens via grub booten van de juiste partitie?
2. Kan je dan voor de datastore een SD naar SATA adapter gebruiken. Dan kan ik voor 4 euro klaar zijn. SD kaarten heb ik genoeg en als dat ding alleen maar grub hoeft te laten is de performance penalty minimaal.

1) Nee, VT-d is 1:1 en bij RDM mag er maar 1 device schrijven naar de mapping en je kunt niet mappen naar een partitie. Met SR-IOV zou dit mogelijk kunnen, maar er is geen storage ondersteuning voor SR-IOV in ESXi (en ik denk de andere hypervisors ook nog niet) en de SSD moet dit ook kunnen (alleen Intel NVMe drives kunnen dit voor zo ver ik weet).
2) Je kunt SD wel voor boot gebruiken, maar niet zomaar als datastore. Volgens mij was er wel iets mogelijk met FAT16, maar niet supported en erg traag. Een alternatief zou SD boot met USB datastore kunnen zijn, maar dat zou ik ook niet aanraden.

Als ik nou kijk naar wat je wil dan zou ik voor zoiets gaan:

1 NVMe drive voor ESXi boot en als datastore voor alle VM's.
2 Onboard Sata controller in passthrough voor je ZFS storage disks.

Beste performance, meest flexibel, gemakkelijk te installeren/upgraden etc.

[|sWORDs|]

vso schreef op dinsdag 09 augustus 2016 @ 13:15:
[...]

Niet helemaal mee eens, hoewel aantal enterprise zaken extra "bonus" zijn, zijn de volgende zaken echt key
- dhcp
- centraal aanmelden (roaming profiles??)
- dns / internet access.

Je kan een N+1 bouwen het zij active/active of active/passive .. tuurlijk heb je overhead in HW die je relatief kan beperken.. maar waar ligt je waarde grens redundantie of zuinig zijn .. ?
een crosslinkkabel vs switch bv ..

2x 50watt (load) systeem overtreft mijn huidge 1x host + 1x nas (totaal 230w) , en uit ervaring is de W.A.F en persoonlijk niet happy als 1 v.d 2 faalt. zelfs UPS helpt niet tegen "iets wat over zijn nek gaat"
ik offer liever raid 10 op, en doe liever via raid 1 per host in een mirror opslag.

Ik had eerst drie Xeon e3 hosts en een NAS. Voor services die je dubbel kunt uitvoeren zonder clustering zoals AD, DNS en DHCP werkt dat prima. Maar er blijven altijd SPOF's over als je geen enterprise grade switches (distributed LACP, meerdere storage controllers zijn onbetaalbaar) gebruikt. Switch of NAS down = alles down. Je zou crosslinks voor storage kunnen gebruiken, maar je kunt niet crosslinks leggen naar alles waar je bij wil kunnen. Ook beperk je zonder 10GBe de snelheid heel erg:
Single server met NVMe = 1400-3200MB/s read voor al je VM's. VM naar VM networking = 800-1000MB/s.
NAS met dual GBe = 130-200MB/s voor al je VM's. VM naar VM networking across hosts = 110MB/s.

Ook heb je dan dus de power usage voor bijvoorbeeld drie i5/e3 machines en niet voor één Xeon-D.

In mijn geval had ik niet voldoende geheugen en niet voldoende IO. Ik had er een vierde host bij moeten plaatsen en alles met 10GBe NICs (+switch) uit moeten rusten. Overstappen naar een single dual e5 server met virtuele NAS was goedkoper (en waarschijnlijk ook goedkoper in stroom), maar het is wel wat lastiger updaten. Soms zit ik er aan te denken om een NUCje met alleen een server voor vCenter+VUM en een extra AD/DNS/DHCP server er naast te zetten (en dan een VC/VUM voor de NUC op de e5), maar is al dat sluimer verbruik het gemak bij updaten wel waard...

Wat ik aan mijn oude oplossing erg gemakkelijk vond is dat als de NAS plat ging vrijwel niets meer werkte en ik de kritieke services dus net zo goed als VM's op de NAS kon draaien. Dus de NAS verzorgde de storage naar de hosts en draaide AD/DNS/DHCP, vCenter+VUM, SQL. Dat maakte ESXi bijwerken appeltje eitje en voor ik de NAS bijwerkte schakelde ik alle ESXi VM's uit. Ook kon ik één IO intensive VM direct op de NAS draaien waardoor ik niet op 110MB/s disk IO bleef zitten. Maar met de nieuwe oplossing heb ik meerdere NVMe drives en een heel stuk meer IO naar meer VM's.

Geheugenverbruik met TPS aan en 60-65% van de totale stack geïnstalleerd:

[ Voor 19% gewijzigd door |sWORDs| op 11-08-2016 11:10 ]

[vso]

|sWORDs| schreef op donderdag 11 augustus 2016 @ 09:54:
1) Nee, VT-d is 1:1 en bij RDM mag er maar 1 device schrijven naar de mapping en je kunt niet mappen naar een partitie. Met SR-IOV zou dit mogelijk kunnen, maar er is geen storage ondersteuning voor SR-IOV in ESXi (en ik denk de andere hypervisors ook nog niet) en de SSD moet dit ook kunnen (alleen Intel NVMe drives kunnen dit voor zo ver ik weet).
2) Je kunt SD wel voor boot gebruiken, maar niet zomaar als datastore. Volgens mij was er wel iets mogelijk met FAT16, maar niet supported en erg traag. Een alternatief zou SD boot met USB datastore kunnen zijn, maar dat zou ik ook niet aanraden.

Als ik nou kijk naar wat je wil dan zou ik voor zoiets gaan:

1 NVMe drive voor ESXi boot en als datastore voor alle VM's.
2 Onboard Sata controller in passthrough voor je ZFS storage disks.

Beste performance, meest flexibel, gemakkelijk te installeren/upgraden etc.

VT-d is voor passthrough van HW, echter je kan al sinds jaar en dag een raw disk 1:1 doormappen .. VT-D gebruik je voor je GPU, Satacontroller en usb (hub) in het geval van zijn vraag heeft hij dat alleen "nodig" voor usb to serieel meuk (wat ik niet zou doen)

Ervaring YouTube: 8 Computers to Virtualize them, 1 Hardware machine to bind them (Pow... erg intressant om te bouwen veel geleerd

ZFS heeft zoals je in het grote zfs topic kan lezen erg specifieke controller eisen .. komt je performance niet ten goede..

Als je daarnaast leest wil hij meerdere SD kaarten op 1 "nep" ssd connecten .. voor VMware zou dit zich presenteren als 1 of meerdere disks

|sWORDs| schreef op donderdag 11 augustus 2016 @ 10:27:
[...]

Ik had eerst drie Xeon e3 hosts en een NAS. Voor services die je dubbel kunt uitvoeren zonder clustering zoals AD, DNS en DHCP werkt dat prima. Maar er blijven altijd SPOF's over als je geen enterprise grade switches (distributed LACP, meerdere storage controllers zijn onbetaalbaar) gebruikt. Switch of NAS down = alles down. Je zou crosslinks voor storage kunnen gebruiken, maar je kunt niet crosslinks leggen naar alles waar je bij wil kunnen. Ook beperk je zonder 10GBe de snelheid heel erg:
Single server met NVMe = 1400-3200MB/s read voor al je VM's. VM naar VM networking = 800-1000MB/s.
NAS met dual GBe = 130-200MB/s voor al je VM's. VM naar VM networking across hosts = 110MB/s.

Er zijn meer wegen naar Rome .. daar mee komt natuurlijk dat je wat "inlevert"
vmware had een appliance waarmee je een storage kon sharen ? discontued .. wellicht omdat anderen dat beter kunnen

10gbit nic in een vmware omgeving heb je niet echt nodig, je omgeving is dan wel erg slecht ingericht of erg specifiek. Het profijt zit hem eerder in "versimpeling" voor netwerk beheer/storage/backup en dus wel erg prettig.

Ook heb je dan dus de power usage voor bijvoorbeeld drie i5/e3 machines en niet voor één Xeon-D.

In mijn geval had ik niet voldoende geheugen en niet voldoende IO. Ik had er een vierde host bij moeten plaatsen en alles met 10GBe NICs (+switch) uit moeten rusten. Overstappen naar een single dual e5 server met virtuele NAS was goedkoper (en waarschijnlijk ook goedkoper in stroom), maar het is wel wat lastiger updaten. Soms zit ik er aan te denken om een NUCje met alleen een server voor vCenter+VUM en een extra AD/DNS/DHCP server er naast te zetten (en dan een VC/VUM voor de NUC op de e5), maar is al dat sluimer verbruik het gemak bij updaten wel waard...

Wat ik aan mijn oude oplossing erg gemakkelijk vond is dat als de NAS plat ging vrijwel niets meer werkte en ik de kritieke services dus net zo goed als VM's op de NAS kon draaien. Dus de NAS verzorgde de storage naar de hosts en draaide AD/DNS/DHCP, vCenter+VUM, SQL. Dat maakte ESXi bijwerken appeltje eitje en voor ik de NAS bijwerkte schakelde ik alle ESXi VM's uit. Ook kon ik één IO intensive VM direct op de NAS draaien waardoor ik niet op 110MB/s disk IO bleef zitten. Maar met de nieuwe oplossing heb ik meerdere NVMe drives en een heel stuk meer IO naar meer VM's.

Geheugenverbruik met TPS aan en 60-65% van de totale stack geïnstalleerd:
[afbeelding]

Mijn volgende setup trap ik mijn nas de deur uit en ga ik voor 1:1 concept.. (2 hosts) hoewel externe storage prettig kan zijn. zijn er ook veel methodes om eromheen te werken.. DFS,Rsync clustering .. om er een paar te noemen. . en ook technieken om data te beperken binnen een host.
En er zijn meer redenen daarbuiten om slimmer om te gaan met je software configuratie dan hardware en dus optimalisatie van je omgeving. Dus storage virutalisatie.. (ssd caching..)

90% van de bedrijfs omgevingen zijn data hongerig omdat de gebruikers simpel weg data copieren. Hierom is een grote storage ideaal wegens deduplicatie.

Zuinigheid heeft voor mij een grens namelijk " data bescherming op zijn optimaalst" iets meer verbruik en iets tragere nas is voor mij acceptabel.

Over SPoF gesproken aparte Nuc behoud je die, een virtualized block sync storage oplossing is goedkoper want storage kost 1x wat extra tb .. versus power + aanschaf.
In mijn setup kan ik 1 vd. 2 hosts van UPS voorzien en bij power loss kan ik heel misschien erg klein beetje data verlies hebben en bij hw failure draai ik nog vrolijk door.. kan zelf het terug op brengen van hosts automagischeren .. (indien nodig als het niet clusterd kan .. )
Het scheelt me alsnog bakken met geld, again op bedrijfs niveau zou ik we investeren maar dat dat is omdat veel beheer collega's in de stress schieten bij linux, netwerk en complexe configuraties..

* vso vind "paying monkey money, gets you monky proof equipment"

[|sWORDs|]

vso schreef op donderdag 11 augustus 2016 @ 20:45:
[...]

VT-d is voor passthrough van HW, echter je kan al sinds jaar en dag een raw disk 1:1 doormappen .. VT-D gebruik je voor je GPU, Satacontroller en usb (hub) in het geval van zijn vraag heeft hij dat alleen "nodig" voor usb to serieel meuk (wat ik niet zou doen)

Wat hij wil doen is VM's draaien zonder storage virtualisatie. Daar zijn twee opties voor: VT-d van de controller of RDM. Wat hij verder wil doen is partities mappen. Dat kan met beide niet.

vso schreef op donderdag 11 augustus 2016 @ 20:45:
[...]
ZFS heeft zoals je in het grote zfs topic kan lezen erg specifieke controller eisen .. komt je performance niet ten goede..

Intel controllers zijn gewoon aanbevolen.

vso schreef op donderdag 11 augustus 2016 @ 20:45:
[...]
vmware had een appliance waarmee je een storage kon sharen ? discontued .. wellicht omdat anderen dat beter kunnen

Daar hebben we nu VSAN voor en je kunt natuurlijk sharen wat je wil vanuit een VM, ook terug naar de host.

vso schreef op donderdag 11 augustus 2016 @ 20:45:
[...]
10gbit nic in een vmware omgeving heb je niet echt nodig, je omgeving is dan wel erg slecht ingericht of erg specifiek. Het profijt zit hem eerder in "versimpeling" voor netwerk beheer/storage/backup en dus wel erg prettig.

Er worden geen (nauwelijks?) omgevingen meer gebouwd zonder 10Gbit. En lees mijn stukje over de storage nog eens, 110MB/s is niet meer van deze tijd, zeker niet als je dat (of een paar tientallen meer met MPIO) moet delen met veel machines. Heb je weinig VM's of gebruik je local storage dan heb je het niet nodig, maar dan heb je dus geen HA op virtualisatie level.

[vso]

|sWORDs| schreef op donderdag 11 augustus 2016 @ 21:24:
[...]

Wat hij wil doen is VM's draaien zonder storage virtualisatie. Daar zijn twee opties voor: VT-d van de controller of RDM. Wat hij verder wil doen is partities mappen. Dat kan met beide niet.


[...]

Intel controllers zijn gewoon aanbevolen.


[...]

Daar hebben we nu VSAN voor en je kunt natuurlijk sharen wat je wil vanuit een VM, ook terug naar de host.


[...]

Er worden geen (nauwelijks?) omgevingen meer gebouwd zonder 10Gbit. En lees mijn stukje over de storage nog eens, 110MB/s is niet meer van deze tijd, zeker niet als je dat (of een paar tientallen meer met MPIO) moet delen met veel machines. Heb je weinig VM's of gebruik je local storage dan heb je het niet nodig, maar dan heb je dus geen HA op virtualisatie level.

Hmmm dat merkte ik al op in 1ste reactie .. alleen omschreven dat de aanpak anders is dan hij denkt.
vd-t is niet praktisch omdat je de gehele controller doorzet .... tenzij je maar 1 disk eraanhangt.

ZFS is niet geschreven voor 1 controller, maar voor direct contact met de fysieke disk. ga je een sw/hw raid er tussen zetten zal het wel werken maar je prestatie komt het zeker niet ten goede.
Dat merk x controlers beter presteren is een ander verhaal...

VSAN lijkt me niet goedkoop voor @home

Als je mijn reactie gelezen had maak ik onderscheid tussen @home en bedrijf en heb ik het ook nog over dimensionering. cpu/ram/netwerkspeed/storage kan je beter limiteren zodat je bottlenecks creëert dan gelijk maximaal je systeem te belasten .. 99% van een nieuwe omgeving word niet getest en na een jaar performance problemen hebben is gehuil zonder addequate oplossingen te hebben...
Dit levert je vitale monitoring data op voor capicity management, uitgaande dat je limieten wel realistisch zijn.
10gbit op een bladechassis zeg ik natuurlijk!, maar dan praat je ook over meer dan 5 servers ofzo ..
maar een simple 8 core host.. in dit verhaal is het wel belangrijk dat je een referentie kader hebt.
Ik kan enorm veel bedrijven aanwijzen die bij wijze van spreken nog op 100mbit kunnen draaien.
en dan noem ik je boven de 200 tot 500 gebruikers .. ik heb menig server park gezien / beheerd en serverruimtes van 16+ racks is niet vreemd. of multitenant . goed dan wel 1gbit ..
Nogmaals 10gbit voor die paar euro is niet een reden om met alle kranen wagenwijd open je netwerk vol te stampen.. als je dat niet goed in controle hebt creëer je meer problemen dan je oplost.

Een backup oplossing die je 10gbit lijn dicht kan trekken is de enige reden waarom ik zo snel zou willen, en dit is puur omdat een gebruikers werkdag van 5:00 tot 01:00 duurt .. of 24x7 de rest moet gewoon op andere manieren efficient van 1gbit gebruik maken.. (uitgezonderd storage en dus backup)

Hiermee ben je cirkel rond want een efficent serverpark is ook zuiniger

[sphere]

|sWORDs| schreef op donderdag 11 augustus 2016 @ 09:54:
Als ik nou kijk naar wat je wil dan zou ik voor zoiets gaan:

1 NVMe drive voor ESXi boot en als datastore voor alle VM's.
2 Onboard Sata controller in passthrough voor je ZFS storage disks.

De sterretjes staan wat vaag, maar als je een NVMe in het PCI-e slot kan proppen dan gaat dat waarschijnlijk goed. Scheelt weer een extra controller kopen voor kleinschalige oplossingen.

http://www.asrock.com/mb/...0Pro4/?cat=Specifications

[ Voor 204% gewijzigd door sphere op 11-08-2016 22:31 ]

[|sWORDs|]

vso schreef op donderdag 11 augustus 2016 @ 22:11:
[...]

Hmmm dat merkte ik al op in 1ste reactie .. alleen omschreven dat de aanpak anders is dan hij denkt.
vd-t is niet praktisch omdat je de gehele controller doorzet .... tenzij je maar 1 disk eraanhangt.

ZFS is niet geschreven voor 1 controller, maar voor direct contact met de fysieke disk. ga je een sw/hw raid er tussen zetten zal het wel werken maar je prestatie komt het zeker niet ten goede.
Dat merk x controlers beter presteren is een ander verhaal...

VSAN lijkt me niet goedkoop voor @home

Als je mijn reactie gelezen had maak ik onderscheid tussen @home en bedrijf en heb ik het ook nog over dimensionering. cpu/ram/netwerkspeed/storage kan je beter limiteren zodat je bottlenecks creëert dan gelijk maximaal je systeem te belasten .. 99% van een nieuwe omgeving word niet getest en na een jaar performance problemen hebben is gehuil zonder addequate oplossingen te hebben...
Dit levert je vitale monitoring data op voor capicity management, uitgaande dat je limieten wel realistisch zijn.
10gbit op een bladechassis zeg ik natuurlijk!, maar dan praat je ook over meer dan 5 servers ofzo ..
maar een simple 8 core host.. in dit verhaal is het wel belangrijk dat je een referentie kader hebt.
Ik kan enorm veel bedrijven aanwijzen die bij wijze van spreken nog op 100mbit kunnen draaien.
en dan noem ik je boven de 200 tot 500 gebruikers .. ik heb menig server park gezien / beheerd en serverruimtes van 16+ racks is niet vreemd. of multitenant . goed dan wel 1gbit ..
Nogmaals 10gbit voor die paar euro is niet een reden om met alle kranen wagenwijd open je netwerk vol te stampen.. als je dat niet goed in controle hebt creëer je meer problemen dan je oplost.

Een backup oplossing die je 10gbit lijn dicht kan trekken is de enige reden waarom ik zo snel zou willen, en dit is puur omdat een gebruikers werkdag van 5:00 tot 01:00 duurt .. of 24x7 de rest moet gewoon op andere manieren efficient van 1gbit gebruik maken.. (uitgezonderd storage en dus backup)

Hiermee ben je cirkel rond want een efficent serverpark is ook zuiniger

ZFS: Wie heeft het over RAID? Er is geen directe disk toegang, het gaat bij SAS en SATA altijd via een controller.

Bottlenecks: Een goede oplossing zit met vrijwel alles (CPU/MEM/IO) tijdens pieken op 80% van zijn kunnen. Verdere limieten aanbrengen is meestal niet verstandig en raden we daarom ook af.

Qua 10GBe, aantal servers maakt niet uit, als dat zou kloppen zou men alleen de uplinks op 10GBe hebben. Sinds storage er bij gekomen is kom je met gbit niet weg tenzij je echt zeer kleinschalig draait of eigenlijk geen load hebt.
Het is niet voor niets dat we gbit ten zeerste afraden voor VSAN.
Een simpele SSD doet al 550MB/s en dat gebruiken we voor desktops. 110MB/s delen met veel VM's (Of ook nog netwerk) is niet verstandig, tenzij je geen load hebt.

Qua VSAN kosten voor thuis, zie de eerder aan gehaalde thuislicentie.

[|sWORDs|]

sphere schreef op donderdag 11 augustus 2016 @ 22:27:
[...]

De sterretjes staan wat vaag, maar als je een NVMe in het PCI-e slot kan proppen dan gaat dat waarschijnlijk goed. Scheelt weer een extra controller kopen voor kleinschalige oplossingen.

http://www.asrock.com/mb/...0Pro4/?cat=Specifications

Er zit ook een M.2 slot op. Wel raar, 24 lanes uitdelen, misschien is het x4 slot shared.

[sphere]

Ik denk dat als je de controller doorgeeft je niet meer kan booten vanaf M.2 omdat die (kennelijk) aan de sata controler hangt:

If M2_1 is occupied by a SATA-type M.2 device, SATA3_0 and SATA3_1 will be disabled.

[vso]

@|sWORDs| mischien is het handiger dat je 1 topic met meerdere quotes doet ipv meerdere posts

|sWORDs| schreef op donderdag 11 augustus 2016 @ 23:13:
ZFS: Wie heeft het over RAID? Er is geen directe disk toegang, het gaat bij SAS en SATA altijd via een controller.

IK heb het over RAID, en ja er is "directe" disk toegang. controllers zijn tegenwoordig redelijk intelligent en voor ZFS moet je "domme" doorgeefluik modus aanzetten voor welke controller je ook pakt. Teminste dat is wat Ch1p3r IMHO de ZFS guru op dit forum zal beamen.. hierom is een disk doorzetten in "raw" modus denk ik relatief handig .. en zou je vd-t niet nodig hebben van uitgaande dat je de controler tijdens boot of via firmware flash in "domme" modus zet.

Bottlenecks: Een goede oplossing zit met vrijwel alles (CPU/MEM/IO) tijdens pieken op 80% van zijn kunnen. Verdere limieten aanbrengen is meestal niet verstandig en raden we daarom ook af.

huh ?? sorry maar het zal me een rotzorg zijn de pieken .. en ik heb liever dat als hij piekt max CPU pakt.. zodat hij sneller weer idle kan gaan doen..

Daarnaast waarom heb ik het nu over limieten ??? dat heb ik ook verklaart wel graag inhoudelijk reageren.

Overgens adviseert VMware in training/cursus ook hier gebruik van te maken maar erg spaarzaam (lees via resource pool en minder pools is beter dan meer. en zeker niet nesten. en alleen de eerder genoemde situaties is valide om "limieten" te gebruiken
Overgens een limiet in wat anders dan CPU prioriteit .. en stel je ook op andere locaties in

ik ben geen guru, maar gelukkig hebben we een uiterst flex virtualisatie (vmware en anderen) farms die waar mogelijk super optimaal draaien (klanten hebben soms vreemde wensen, en politiek overwint soms)

Qua 10GBe, aantal servers maakt niet uit, als dat zou kloppen zou men alleen de uplinks op 10GBe hebben. Sinds storage er bij gekomen is kom je met gbit niet weg tenzij je echt zeer kleinschalig draait of eigenlijk geen load hebt.
Het is niet voor niets dat we gbit ten zeerste afraden voor VSAN.
Een simpele SSD doet al 550MB/s en dat gebruiken we voor desktops. 110MB/s delen met veel VM's (Of ook nog netwerk) is niet verstandig, tenzij je geen load hebt.

Qua VSAN kosten voor thuis, zie de eerder aan gehaalde thuislicentie.

met gbit kom je prima weg .. waarom denk je dat we niet direct van de amsix de meest uber verbinding hebben ? Je wilt een backbone infra hebben waarbij een domme applicatie niet je hele lijn verzadigd . yeah voor QoS en packateers

sphere schreef op donderdag 11 augustus 2016 @ 23:23:
Ik denk dat als je de controller doorgeeft je niet meer kan booten vanaf M.2 omdat die (kennelijk) aan de sata controler hangt:


[...]

Wat hij hierzegt is dat als je m2 erin mikt 2 fysieke poorten op je mobo kwijt raakt .. dus van heb je 8 sata poorten beschikbaar en geen M2 in gebruik OF je hebt .. 6 sata poorten beschikbaar en een M2 kaart erin gepropt

dit zegt nog niks over je boot mogelijkheid .. maar dit is wel handig om te weten als je opeens 2 disks mist nadat je boot als je een M2 erin hebt gepropt .. of waarom je niet alle disks ziet

[ Voor 11% gewijzigd door vso op 11-08-2016 23:44 ]

[|sWORDs|]

sphere schreef op donderdag 11 augustus 2016 @ 23:23:
Ik denk dat als je de controller doorgeeft je niet meer kan booten vanaf M.2 omdat die (kennelijk) aan de sata controler hangt:


[...]

Nee, als je een mSATA device in M.2 (M2_1) stopt dan schakelt de PCH die door. Bij PCIe AHCI/NVMe (M2_2) is dat niet zo. Dit is trouwens ook gelijk het antwoord waarom ze 24 lanes doorgeven. De 4 lanes naar het M.2_2 slot komen dus uit de PCH die met DMI naar de CPU gaat. Je shared die lanes dus met LAN, USB en SATA. Bij de meeste borden is er 1 M2 slot die beide kan of een M2 slot direct aan de CPU (geen mSATA support).

vso schreef op donderdag 11 augustus 2016 @ 23:40:
[...]

Overgens adviseert VMware in training/cursus [...]
ik ben geen guru

[...]

Ik werk voor VMware en mijn team schrijft de EUC Reference Architectures, VMworld sessies, blogposts, trained intern personeel (waaronder de trainers die de cursussen geven) en doet de top 25 EUC projecten wereldwijd.

vso schreef op donderdag 11 augustus 2016 @ 23:40:

[...]
met gbit kom je prima weg .. waarom denk je dat we niet direct van de amsix de meest uber verbinding hebben ? Je wilt een backbone infra hebben waarbij een domme applicatie niet je hele lijn verzadigd . yeah voor QoS en packateers


[...]

Amsix? Ik heb het over het interne netwerk tussen de servers. En over storage.

vso schreef op donderdag 11 augustus 2016 @ 23:40:
[...]
IK heb het over RAID, en ja er is "directe" disk toegang. controllers zijn tegenwoordig redelijk intelligent en voor ZFS moet je "domme" doorgeefluik modus aanzetten voor welke controller je ook pakt. Teminste dat is wat Ch1p3r IMHO de ZFS guru op dit forum zal beamen.. hierom is een disk doorzetten in "raw" modus denk ik relatief handig .. en zou je vd-t niet nodig hebben van uitgaande dat je de controler tijdens boot of via firmware flash in "domme" modus zet.
[...]

Dat domme doorgeefluik krijg je juist met een Intel controller in VT-d en niet met RDM. Lees anders dit topic eens door, je zal zien dat vrijwel iedereen VT-d met ZFS gebruikt. Voor deze discussie waren er dit jaar nog maar 9 posts met RDM (slechts twee in combinatie met ZFS en beide hadden het al een tijd) erin in dit topic, toen VT-d nog op minder CPU's beschikbaar was zag je het veel meer, maar ook problemen, met VT-d van een aanbevolen controller nog geen probleem gezien. RDM heeft zijn use cases, maar meerdere drives voor ZFS zou ik daar niet meer onder rekenen. (En er gaan zo een aantal reageren die het nog doen en nog geen problemen hebben gehad.)

vso schreef op donderdag 11 augustus 2016 @ 23:40:

[...]

Daarnaast waarom heb ik het nu over limieten ??? dat heb ik ook verklaart wel graag inhoudelijk reageren.

[...]

Ik heb het net nog eens gelezen, maar ik snap niets van wat daar staat en al helemaal niet hoe dat overeenkomt met de algemene aanbevelingen.

vso schreef op donderdag 11 augustus 2016 @ 23:40:

[...]

Wat hij hierzegt is dat als je m2 erin mikt 2 fysieke poorten op je mobo kwijt raakt .. dus van heb je 8 sata poorten beschikbaar en geen M2 in gebruik OF je hebt .. 6 sata poorten beschikbaar en een M2 kaart erin gepropt

dit zegt nog niks over je boot mogelijkheid .. maar dit is wel handig om te weten als je opeens 2 disks mist nadat je boot als je een M2 erin hebt gepropt .. of waarom je niet alle disks ziet

Nee, de Intel controller heeft 6 poorten, waarbij er twee (waarom is mij een raadsel, meestal is dat één) uitgeschakeld worden als je een mSATA in de M2_1 stopt. Maar je kunt dus prima een NVMe drive in M2_2 stoppen, de Intel controller in VT-d zetten en de NVMe voor je VM's en als bootdisk voor ESXi/een storage VM gebruiken, de datadisks zitten dan aan de Intel controller in VT-d.

Het principe met storage is vrij simpel. Je hebt altijd een controller nodig, PCIe devices hebben zelf een controller, (m)SATA devices niet. ZFS, VSAN en anderen willen directe toegang tot de controller en bijvoorkeur een controller die geen trucs uithaalt bij de communicatie naar de disks.

RDM werkt via een virtuele controller, net als VMFS of VSAN, waarbij de laatste twee nog het nadeel van een extra tussenliggend filesystem hebben. Die zijn allen niet super geschikt voor ZFS. Bedenk je ook dat RDM niet simpel is, het heeft vereisten aan de controller en anders kun je een poging op de commandline wagen. Het andere nadeel is dat de schijf niet perse altijd als dezelfde gezien wordt bij meerdere disks.

VT-d geeft de VM 'directe' toegang tot de controller en gebruik je een controller zonder HW XOR zoals een SAS HBA in de juiste modus (it/passthrough dus geen RAID) of een SATA controller in AHCI (dus geen RAID) modus dan gaat dat prima. Redundancy doe je dan op ZFS of VSAN niveau.
VT-d geeft een storage resultaat dat het dichtst (zo dicht dat je het eigenlijk direct kunt noemen) bij een fysieke machine zit.

Het nadeel van een controller met VT-d doorgeven is dat het altijd de gehele controller is, sommige chipsets (bijv C612) of borden hebben twee controllers, anderen niet. Omdat je ook nog een controller 'nodig' (ja USB kan ook, maar dat is niet echt gewenst) hebt voor je datastore zie je veel mensen een LSI2008 of 3008 based kaart voor ZFS gebruiken. 3108 is dan weer niet zo geschikt, aangezien die alleen RAID support.

Nou zit er ook gelijk een voordeel aan, want een paar SATA disks zijn helemaal niet zo geschikt voor een iets grotere omgeving vanwege de lage queuedepth (31 per drive voor Intel, 32 voor LSI/Max SATA, de reden waarom VSAN alleen SAS/NVMe support), dus een NVMe drive laat alles gelijk vliegen (queuedepth 2046-2048 per drive).

[ Voor 127% gewijzigd door |sWORDs| op 12-08-2016 22:57 ]

[Paul]

vso schreef op donderdag 11 augustus 2016 @ 23:40:
IK heb het over RAID

...in die post voor het eerst, niet in de post die door sWORDs wordt gequote HBA's zijn overigens ook gewoon controllers, een RAID-controller is pas een RAID-controller als er het woordje RAID voor staat

huh ?? sorry maar het zal me een rotzorg zijn de pieken .. en ik heb liever dat als hij piekt max CPU pakt.. zodat hij sneller weer idle kan gaan doen..

...thuis... @work heb ik liever dat de "piek" zelfs niet boven de 50% uit komt want dan kunnen we geen datacenter-uitval meer opvangen zonder performanceverlies. Als je op de milliseconde gaat kijken mag hij best naar de 100%, maar met VM's die over het algemeen maar één of twee cores krijgen en draaien op een server met 2x 10 core + HT wordt dat erg lastig

met gbit kom je prima weg .. waarom denk je dat we niet direct van de amsix de meest uber verbinding hebben ?

Je haalt 2 dingen door elkaar: Je internetverbinding en de verbinding met je storage. Die serverruimtes met 16 racks vol, hadden die shared storage? Zo nee: De allereerste SATA-standaard had al 1.5 GBit/s. Zo ja, hoe was dat ontsloten? 2 GB FC is (voor computertermen) al "eeuwen" oud, de meeste datacentra zullen op 2x (want redundancy) 8 GB FC of zelfs 2x16 GBit FC draaien. Als ze iCSCI gebruiken dan zal dat zelden slechts op 1 GBit zijn, terwijl ze de goedkoopst mogelijke 8/1 ADSL-lijn hebben liggen om wat mailtjes te kunnen sturen / ontvangen.

Wat hij hierzegt is dat als je m2 erin mikt 2 fysieke poorten op je mobo kwijt raakt ..

Kan VMware een controller die je met VT-d doorgeeft nog zelf gebruiken? Lijkt me niet

Je hebt wel gelijk dat het voor het booten niet uitmaakt (ik heb ook wel eens een USB-controller doorgegeven aan een VM, dat bleek dezelfde controller te zijn als waar de boot-USB-stick aan hing . En ik me maar afvragen waarom VMware de wijzigingen niet opsloeg ) maar de controller doorgeven en het M.2-slot (met SATA-SSD) als datastore gebruiken gaat niet lukken.

[Red Boll]

Mijn setup die het nu al enkele maanden zonder problemen doet.

#	Product	Prijs	Subtotaal
1	Intel Core i7-6700 Boxed	€ 319,90	€ 319,90
1	Asus Z170M-PLUS	€ 125,63	€ 125,63
1	Corsair Carbide Air 240 Wit	€ 93,95	€ 93,95
1	Noctua NH-D9L	€ 49,01	€ 49,01
4	Kingston ValueRAM KVR21N15D8/16	€ 68,-	€ 272,-
1	Seasonic G-series 450 watt	€ 74,95	€ 74,95
1	Crucial BX200 480GB	€ 125,95	€ 125,95
Bekijk collectie Importeer producten		Totaal	€ 1.061,39

[|sWORDs|]

Red Boll schreef op zaterdag 13 augustus 2016 @ 00:36:
Mijn setup die het nu al enkele maanden zonder problemen doet.

#	Product	Prijs	Subtotaal
1	Intel Core i7-6700 Boxed	€ 319,90	€ 319,90
1	Asus Z170M-PLUS	€ 125,63	€ 125,63
1	Corsair Carbide Air 240 Wit	€ 93,95	€ 93,95
1	Noctua NH-D9L	€ 49,01	€ 49,01
4	Kingston ValueRAM KVR21N15D8/16	€ 68,-	€ 272,-
1	Seasonic G-series 450 watt	€ 74,95	€ 74,95
1	Crucial BX200 480GB	€ 125,95	€ 125,95
Bekijk collectie Importeer producten		Totaal	€ 1.061,39

Waarom een Z bord bij een niet K CPU, zou een H170M-Plus niet logischer zijn of een Q170 voor vPro met AMT?

[Red Boll]

|sWORDs| schreef op zaterdag 13 augustus 2016 @ 07:49:
[...]

Waarom een Z bord bij een niet K CPU, zou een H170M-Plus niet logischer zijn of een Q170 voor vPro met AMT?

Joh!?!

Ik heb even geen idee waarom dat logischer zou zijn. De originele setup was met een ASRock B150M Pro4S en dat werkte niet goed (4Ghz CPU utilisatie bij idle + errors). Een collega vertelde dat dit moederbord deze problemen niet gaf dus heb ik die aangeschaft.

Er draaien nu actief 4 VM's (en wat klein grut af en toe) op en de CPU blijft onder de 700Mhz steken.

[CurlyMo]

FireDrunk schreef op donderdag 11 augustus 2016 @ 09:15:
[...]
Als ik het goed begrijp wil je ZFSonRoot in je VM's met zo min mogelijk "kans" dat het mis gaat.
VMFS is an sich een prima filessystem, en honoreert keurig sync requests, waardoor ZFS in een VM op een vDisk draaien op VMFS helemaal niet slecht is. Vanuit de VM is het effect hetzelfde om ZFSonRoot te gebruiken. Er veranderd niets voor de werking er van.

Dus ik geef mijn beide SSD's via vDisks door aan mijn client en binnen mijn client draai ik een ZFS-on-Root mirror op die vDisks?

Het doel is enige redundantie creëren voor mijn clients.

[FireDrunk]

Je kan een VM gewoon 2 disks geven, die elk op een andere datastore liggen. Dan kan je in de VM weer een ZFSonRoot mirror maken op die 2 disks.

De vBIOS van een VM kan voor zover ik weet gewoon van alle attached disks opstarten, dus dat zou geen probleem moeten zijn.

Lastige is wel dat de .vmx file (de configuratie file van de VM zelf) dan eigenlijk ook op redundante storage moet staan. Of je moet hem periodiek backuppen ofzo.

In theorie kan je een nieuwe vm maken, en de 2e disk bijvoorbeeld attachen, dan kan je gewoon de vm weer opstarten, maar het is beter om de VMX file te bewaren. Staan wat dingen in die je liever gelijk houdt. (MAC Addressen van de NIC's, het UUID van de VM zelf enzo).

[|sWORDs|]

Red Boll schreef op zaterdag 13 augustus 2016 @ 09:36:
[...]

Joh!?!

Ik heb even geen idee waarom dat logischer zou zijn. De originele setup was met een ASRock B150M Pro4S en dat werkte niet goed (4Ghz CPU utilisatie bij idle + errors). Een collega vertelde dat dit moederbord deze problemen niet gaf dus heb ik die aangeschaft.

Er draaien nu actief 4 VM's (en wat klein grut af en toe) op en de CPU blijft onder de 700Mhz steken.

Er is niets mis mee, maar ik denk dat je het systeem post als voorbeeld voor anderen. Een Z170 bord is gelijk aan H170 bord op het overklokken, kunnen opdelen CPU lanes, meer lanes vanuit PCH (maar DMI is gelijk, wat heb je aan de lanes als je ze shared) en twee extra USB 3 poorten (8->10) en zo'n 25 euro verschil na. Allemaal niet erg nuttig voor ESXi, dus vandaar dat ik toch even wil noemen dat men nog 25 euro kan besparen. Tenzij je de CPU lanes wilt kunnen opdelen.

Een Q170 bord is ongeveer even duur en geeft ook nog eens remote keyboard/video/muis/virtual cd (met een vPRO CPU), maar geen overklokken.

Chipset	Z170	H170	Q170	C236
Overklok (met K CPU)	ja	nee	nee	nee
Chipset lanes	20	16	20	20
CPU PCIe op te delen	ja	nee	ja	ja
Max USB 2	14	14	14	4
Max USB 3	10	8	10	10
Max SATA 3	6	6	6	8
vPRO met AMT (met vPRO CPU)	nee	nee	ja	ja
Xeon support	nee	nee	nee	ja
ECC support	nee	nee	nee	ja

Desktop CPU's met vPRO:

• i7-6700
• i7-6700T
• i5-6600
• i5-6600T
• i5-6500
• i5-6500T

Desktop CPU's met overklok:

• i7-6700K
• i5-6600K

Voor mij zou dus logisch zijn:

• Overklok: K CPU + Z170
• AMT: vPro CPU + Q170
• Xeon of ECC: C236
• Overig: H170 (tenzij je de CPU lanes wilt opdelen)

[ Voor 45% gewijzigd door |sWORDs| op 13-08-2016 12:39 ]

[Red Boll]

|sWORDs| schreef op zaterdag 13 augustus 2016 @ 11:14:
[...]

Er is niets mis mee, maar ik denk dat je het systeem post als voorbeeld voor anderen. Een Z170 bord is gelijk aan H170 bord op het overklokken, kunnen opdelen CPU lanes, meer lanes vanuit PCH (maar DMI is gelijk, wat heb je aan de lanes als je ze shared) en twee extra USB 3 poorten (8->10) en zo'n 25 euro verschil na. Allemaal niet erg nuttig voor ESXi, dus vandaar dat ik toch even wil noemen dat men nog 25 euro kan besparen. Tenzij je de CPU lanes wilt kunnen opdelen.

Bedankt voor je uitgebreide reactie. Dat is een goede tip voor de volgende koper van onderdelen voor zijn/haar server.
Zo diep ben ik voor de aankoop niet in de materie gedoken, wellicht kan een ander hier zijn/haar voordeel mee doen.

[|sWORDs|]

Het leek mij handig om misschien een ander type topic te beginnen, de discussie staat hier. Graag ook jullie input!

[CurlyMo]

CurlyMo schreef op vrijdag 22 juli 2016 @ 10:01:
[...]

Volgens mij hebben we die info in ons midden, want het lijkt bij @stuffer wel te werken met een pricewatch: Delock MiniPCIe I/O PCIe full size 2 x SATA 6 Gb/s (ASM1061) i.c.m. het pricewatch: ASRock Z87E-ITX (Haswell) moederbord.

stuffer schreef op vrijdag 22 juli 2016 @ 12:09:
[...]


Bij deze bevestigd.

Ook hier bevestigd

[wetsteyn]

Goedemorgen,

Heb deze lijst samen gesteld maar kan niet vinden of de controller werkt op het mobo icm met EXSI.

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 56,49	€ 56,49
1	MSI H110I Pro	€ 75,-	€ 75,-
1	Fractal Design Array R2 Mini ITX NAS Case	€ 0,-	€ 0,-
2	Kingston ValueRAM KVR21N15D8/16	€ 68,-	€ 136,-
1	Delock Controller SATA, 4 port with Raid	€ 23,-	€ 23,-
Bekijk collectie Importeer producten		Totaal	€ 290,49

De HDD's etc heb ik nog .

[|sWORDs|]

Sata 150, SIL3114 based. Klinkt niet super, die chip is deprecated en unsupported sinds ESXi 5.5.

Dit zijn trouwens de enige twee betaalbare (<100 euro) controllers met 4 of meer SATA600 poorten en de vereiste PCIe bandbreedte in de pricewatch:
pricewatch: Delock PCI Express Card > Hybrid 4 x internal SATA 6 Gb/s RAID - ... -> Marvell 88SE9215, zou kunnen werken (met een aanpassing aan?) de community ahci driver.
pricewatch: Highpoint Rocket 640L -> Marvell 88SE9230, zou kunnen werken met een aanpassing aan de community ahci driver.

Als hij niet in de community driver zit kun je het ook zelf doen met PID en VID van de kaart:

code:

cd /tmp 
mkdir ahci
cd ahci
vmtar -x /bootbank/sata_ahc.v00 -o sata_ahc.tar 
tar xvf sata_ahc.tar
rm sata_ahc.tar
echo "regtype=linux,bus=pci,id=PID:VID 0000:0000,driver=ahci,class=storage" >> etc/vmware/driver.map.d/ahci.map
tar cvf sata_ahc.tar etc usr
vmtar -c sata_ahc.tar -o sata_ahc.vgz 
mv sata_ahc.vgz /bootbank/sata_ahc.v00

Boven de 100 euro kun je beter een LSI van Ebay trekken.

[ Voor 153% gewijzigd door |sWORDs| op 15-08-2016 13:37 ]

[CurlyMo]

wetsteyn schreef op maandag 15 augustus 2016 @ 08:34:
Goedemorgen,

Heb deze lijst samen gesteld maar kan niet vinden of de controller werkt op het mobo icm met EXSI.

Waarom geen:
pricewatch: Intel Pentium G4400 Boxed
pricewatch: Gigabyte GA-H97N-WIFI

Met een
http://www.ebay.nl/itm/Mi...ad3980:g:AhgAAOSwuTxWBDKA

Of
pricewatch: Delock MiniPCIe I/O PCIe full size 2 x SATA 6 Gb/s

---

Microkid schreef op zaterdag 06 augustus 2016 @ 15:04:
[...]

Waarom doe je dat? Hiermee blokkeer je feitelijk 11GB geheugen. Je kan memory management beter aan ESXi overlaten, is veel flexibeler. Je hebt geheugen genoeg namelijk.

Ik heb nu gisteren voor het eerst ESXi draaien met nu (nog) 3 VM's op een Quad Core / 16GB Mem / 128GB SSD:
1. FreeBSD ZFS storage, 8GB Mem, 16GB SSD, 4 Cores
2. Ubuntu voor downloaden, 2048 GB Mem, 8GB SSD, 4 Cores
3. Ubuntu voor development, 4096 GB Mem, 16GB SSD, 4 Cores

En wanneer ik wil experimenteren kunnen daar nog wat VM's bij komen,

Betekent het bovenstaande advies nu dat ik elke VM de volle pond aan geheugen geef en dat ESXi zorgt dat de juiste hoeveelheid geheugen naar de juiste VM gaat? Of interpreteer ik dit advies nu te simpel? Is het daarnaast verstandig om alle VM's toegang te geven tot alle cores?

Die download bak kan qua specs wel wat naar beneden, maar dit was om snel even wat dingen weer op gang te brengen.

Qua disk storage krijgt elke VM een deel van mijn SSD in de vorm van vDisks. Daar wil ik later een tweede SSD aan toe voegen. Daarop dezelfde grootte aan vDisks zodat ik binnen mijn VM's ZFS mirrors kan draaien voor mijn OS. Zijn er grote nadelen wat betreft deze constructie tegenover het gebruik van iSCSI schijven die ik uit mijn ZFS storage exporteer? Of is dat tweede juist weer veel complexer?

[ Voor 46% gewijzigd door CurlyMo op 15-08-2016 10:05 ]

[CurlyMo]

Oeps

[ Voor 99% gewijzigd door CurlyMo op 15-08-2016 10:05 ]

[stuffer]

CurlyMo schreef op zondag 14 augustus 2016 @ 19:19:
[...]


[...]

Ook hier bevestigd

Nice!
Wat is btw je stroomverbruik nu?

2weken geleden is de seasonic bij mij overleden en heb hem vervangen door een picopsu met 80watt adapter.

Idle verbruik is gezakt naar 26watt.

[CurlyMo]

stuffer schreef op maandag 15 augustus 2016 @ 10:40:
[...]


Nice!
Wat is btw je stroomverbruik nu?

2weken geleden is de seasonic bij mij overleden en heb hem vervangen door een picopsu met 80watt adapter.

Idle verbruik is gezakt naar 26watt.

Ik verwacht geen verschil in verbruik omdat ik de disks niet liet downspinnen. Een PicoPSU met mijn verbruik heeft onvoldoende zin omdat het verbruik daar niet laag genoeg voor is.

Als je de statistiek hier en hier vergelijkt, dan zie je dat de Antec EarthWatts Platinum 450W een efficiëntie heeft van 77.7% bij 22.5W en de PicoPSU 79.4% bij 21.5W.

De pico cijfers zijn wel wat oud, maar je ziet dat het verschil niet denderend groot is als je rond de 30W zit.

[ Voor 32% gewijzigd door CurlyMo op 15-08-2016 11:44 ]

[wetsteyn]

CurlyMo schreef op maandag 15 augustus 2016 @ 09:13:
[...]

Waarom geen:
pricewatch: Intel Pentium G4400 Boxed
pricewatch: Gigabyte GA-H97N-WIFI

Met een
http://www.ebay.nl/itm/Mi...ad3980:g:AhgAAOSwuTxWBDKA

Of
pricewatch: Delock MiniPCIe I/O PCIe full size 2 x SATA 6 Gb/s

---

Max 16GB ondersteuning DDR3.
Ik zie DDR4 met 32GB toch meer geschikt voor 4VM's + ZFS als opslag.

|sWORDs| schreef op maandag 15 augustus 2016 @ 09:08:
Sata 150, SIL3114 based. Klinkt niet super, die chip is deprecated en unsupported sinds ESXi 5.5.

Dit zijn trouwens de enige twee betaalbare (>100 euro) controllers met 4 of meer SATA600 poorten en de vereiste PCIe bandbreedte in de pricewatch:
pricewatch: Delock PCI Express Card > Hybrid 4 x internal SATA 6 Gb/s RAID - ... -> Marvell 88SE9215, zou kunnen werken (met een aanpassing aan?) de community ahci driver.
pricewatch: Highpoint Rocket 640L -> Marvell 88SE9230, zou kunnen werken met een aanpassing aan de community ahci driver.

Als hij niet in de community driver zit kun je het ook zelf doen met PID en VID van de kaart:

code:

cd /tmp 
mkdir ahci
cd ahci
vmtar -x /bootbank/sata_ahc.v00 -o sata_ahc.tar 
tar xvf sata_ahc.tar
rm sata_ahc.tar
echo "regtype=linux,bus=pci,id=PID:VID 0000:0000,driver=ahci,class=storage" >> etc/vmware/driver.map.d/ahci.map
tar cvf sata_ahc.tar etc usr
vmtar -c sata_ahc.tar -o sata_ahc.vgz 
mv sata_ahc.vgz /bootbank/sata_ahc.v00

Boven de 100 euro kun je beter een LSI van Ebay trekken.

Thanks ga hiereens induiken .

[ Voor 50% gewijzigd door wetsteyn op 15-08-2016 12:42 ]

[CurlyMo]

wetsteyn schreef op maandag 15 augustus 2016 @ 12:41:
Max 16GB ondersteuning DDR3.
Ik zie DDR4 met 32GB toch meer geschikt voor 4VM's + ZFS als opslag.

Goed punt, het is jammer genoeg schipperen tussen SATA poorten en geheugen.

[|sWORDs|]

wetsteyn schreef op maandag 15 augustus 2016 @ 12:41:

[...]

Thanks ga hiereens induiken .

Hier is een stukje (WIP) wat misschien handig kan zijn:

|sWORDs| schreef op zondag 14 augustus 2016 @ 11:46:
[...]

Opslag:
Boot:
ESXi kan booten vanaf ATA/SATA/SAS/SCSI/NVMe zolang er een driver aanwezig is, mocht je een custom driver nodig hebben kun je die in de iso integreren.
Naast reguliere storage devices kan er ook geboot worden via PXE, iSCSI, SAN, USB (UHCI) of SD (EHCI/XHCI).

SATA:
Out of the box heeft ESXi een gefilterde generic AHCI driver waarbij het filter (etc/vmware/driver.map.d/ahci.map) de volgende controllers bevat:

• AMD FCH/SB7x0/SB8x0/SB9x0
• Apple PCIe SSD
• Intel 5/6/7/8/100, Atom C2000/NM10, ICH 6/7/8/9/10, C200/210/220/600(X79)/610(X99), 31/32/5400
• nVidia MCP78/MCP89
• ULi M5288
• Unknown (1b62:2923)
• Samsung SM951 AHCI

Er is een community driver die deze filterlijst uitbreid met bijvoorbeeld Marvell(88SE9xxx)/JMicron(JMB36x)/ASMedia (ASM106x) SATA controllers of je kunt de lijst zelf aanpassen in de tar file (/bootbank/sata_ahc.v00).
Verder zitten er in ESXI niet AHCI SATA drivers voor:

• Adaptec AAR-1210SA (Silicon Image)
• Apple
• nVidia CK804, MCP04/51/55/61/65/67, nForce2/3
• Promise 376/378/779/TX2(xxx)/TX4(xxx)
• Serverworks K2, Raidcore xC4000, HT1000, HT1100
• Silicon Image 3112, 3114, 3124, 3132, 3512, 3531

ATA:
Alleen AMD/ATI, Intel, Highpoint, Promise, Serverworks, Silicon Image en VIA PATA drivers zitten out of the box in ESXi. (Let op dat sommige SATA in IDE mode zijn!)

USB:
Standaard is USB alleen beschikbaar als boot device, maar als je het niet erg vind om USB passthrough op te offeren kun je USB ook als datastore gebruiken.

SAS/SCSI/HW iSCSI:
Alleen Adaptec, QLogic, Cisco, HP en LSI drivers zitten out of the box in ESXi.

NVMe:
Er zit een generic NVMe driver in ESXi, voor de Intel 750/P3500/P3600/P3700 kun je qua performance beter de Intel VIB installeren.

[...]

[Cranberry]

Gisteren heb ik de Intel Skull Canyon (nuc6i7kyk) binnengekregen. Installatie van ESXi (6.0u2) ging prima, mits de Thunderbolt-controller is uitgeschakeld.
Idle-verbruik met 32GB ram en 'n Samsung EVO 950 512GB M2 SSD is 17,5W.

'k Heb geprobeerd de Iris Pro Graphics 580 via passthrough/vDGA werkend te krijgen in een Win10 VM, maar dat is (nog) niet gelukt (iets wat met XenServer wel schijnt te werken).

Al met al vind ik het een prima systeem. 32GB is niet heel ruim, maar er kunnen toch behoorlijk wat VM's op draaien.

[|sWORDs|]

Cranberry schreef op woensdag 17 augustus 2016 @ 16:43:
Gisteren heb ik de Intel Skull Canyon (nuc6i7kyk) binnengekregen. Installatie van ESXi (6.0u2) ging prima, mits de Thunderbird-controller is uitgeschakeld.
Idle-verbruik met 32GB ram en 'n Samsung EVO 950 512GB M2 SSD is 17,5W.

'k Heb geprobeerd de Iris Pro Graphics 580 via passthrough/vDGA werkend te krijgen in een Win10 VM, maar dat is (nog) niet gelukt (iets wat met XenServer wel schijnt te werken).

Al met al vind ik het een prima systeem. 32GB is niet heel ruim, maar er kunnen toch behoorlijk wat VM's op draaien.

Ik zit er ook al redelijk lang naar te kijken. Mijn grootste bezwaar is dat alles aan de PCH hangt en er dus 'maar' 3940MB/s beschikbaar is. Echt jammer dat de M2's en ThunderBolt niet aan de CPU hangen. En twee extra sodimm sloten zou hem perfect maken.
Maar hij staat nog steeds op de shortlist.

Qua passthrough, alleen bepaalde Haswell en Broadwell (P4700 en P6300) GPU's hebben support. Skylake zal wel de volgende versie worden.

edit:
Thunderbirds are go for Thunderbolt.

[ Voor 8% gewijzigd door |sWORDs| op 18-08-2016 10:58 ]

[FireDrunk]

@|sWORDs|, heb jij ergens (misschien vanuit VMware zelf?) een lijst met welke USB(3) NIC's werken onder ESXi?

[renedis]

FireDrunk schreef op donderdag 18 augustus 2016 @ 09:29:
@|sWORDs|, heb jij ergens (misschien vanuit VMware zelf?) een lijst met welke USB(3) NIC's werken onder ESXi?

Zo ver ik weet is het officieel niet eens supported?

Je kan deze eens doornemen:
http://www.virtuallyghett...ver-for-esxi-5-5-6-0.html


Edit:
nog meer leesvoer
http://www.virtuallyghett...adapter-nic-for-esxi.html

[ Voor 12% gewijzigd door renedis op 18-08-2016 09:46 ]

[|sWORDs|]

FireDrunk schreef op donderdag 18 augustus 2016 @ 09:29:
@|sWORDs|, heb jij ergens (misschien vanuit VMware zelf?) een lijst met welke USB(3) NIC's werken onder ESXi?

Niets werkt out of the box, je kunt een Linux driver waar de source van is compilen, maar dat is niet altijd even gemakkelijk. AX88179 based met VIB heeft de grootste kans van slagen zoals Renedis zegt. Mocht je ook Thunderbolt hebben dan is de Apple TB adapter ook iets wat werkt of voor een NUC een Mini PCIe dual/single i350/i354, maar dan zal of de kap losmoeten of er gaatje(s) met de Dremel gemaakt moeten worden.

[ Voor 23% gewijzigd door |sWORDs| op 18-08-2016 09:59 ]

[Verwijderd]

Iemand een idee of het mogelijk is een Promise Pegasus 2 als passthrough door te geven aan een VM in ESXI 6u2?

Heb een Mac Mini draaien met ESXi 6, Promise Pegasus 2 eraan (in JBOD) schijven worden gezien onder devices en heb middels RDM (niet officieel ondersteund) deze in een VM staan. De VM maakt middels ZFS een RAIDZ1 ervan. Heb dit in zowel een Debian VM als een macOS VM gedaan en beide lopen na een week vast. Kan dan niks meer en moet dan ESXi herstarten.

Nu kan het issue een paar oorzaken hebben:

- RDM disks verkeerd ingesteld of niet geschikt voor wat ik wil. (staat als SCSI disks ingesteld met opties independant / persistant.
- OpenZFS / ZFS on Linux die vastloopt door onbekende redenen. (Heb hiervoor een zelfbouw Hack gehad waar ik jaren OpenZFS (mac) in heb gedraaid en gaf nooit problemen.

Iemand nog ideen?

[FireDrunk]

Heb sinds gister mijn HTPC NUC (i3/8GB) omgezet naar ESXi6, en dat werkt eigenlijk prima. De onboard Intel NIC werkte out of the box, en ik hoefde dus geen drivers te injecteren.
Helaas ondersteund die NIC geen Jumbo Frames. En 1 NIC is ook maar zo... karig...

Vandaar het idee om een extra NIC toe te voegen.

[|sWORDs|]

FireDrunk schreef op donderdag 18 augustus 2016 @ 09:58:
Heb sinds gister mijn HTPC NUC (i3/8GB) omgezet naar ESXi6, en dat werkt eigenlijk prima. De onboard Intel NIC werkte out of the box, en ik hoefde dus geen drivers te injecteren.
Helaas ondersteund die NIC geen Jumbo Frames. En 1 NIC is ook maar zo... karig...

Vandaar het idee om een extra NIC toe te voegen.

Ik zag trouwens dat de Brix ook leverbaar is met twee NICs. Ook op mijn shortlist als extra server.
Heb nog een D54250WY met 8GB 'liggen' (de vrouw gebruikt die eens per 4 weken als iets op de iPad niet lukt), misschien dat ik daar eens wat NICs in ga Dremelen, of ga klussen met een 3rd party NUC passieve behuizing.

Verwijderd schreef op donderdag 18 augustus 2016 @ 09:55:
Iemand een idee of het mogelijk is een Promise Pegasus 2 als passthrough door te geven aan een VM in ESXI 6u2?

Heb een Mac Mini draaien met ESXi 6, Promise Pegasus 2 eraan (in JBOD) schijven worden gezien onder devices en heb middels RDM (niet officieel ondersteund) deze in een VM staan. De VM maakt middels ZFS een RAIDZ1 ervan. Heb dit in zowel een Debian VM als een macOS VM gedaan en beide lopen na een week vast. Kan dan niks meer en moet dan ESXi herstarten.

Nu kan het issue een paar oorzaken hebben:

- RDM disks verkeerd ingesteld of niet geschikt voor wat ik wil. (staat als SCSI disks ingesteld met opties independant / persistant.
- OpenZFS / ZFS on Linux die vastloopt door onbekende redenen. (Heb hiervoor een zelfbouw Hack gehad waar ik jaren OpenZFS (mac) in heb gedraaid en gaf nooit problemen.

Iemand nog ideen?

Ik weet niet of VT-d werkt via TB en als het al kan dan moet de Pegasus ook nog een reset mode ondersteunen. Ik denk dat het antwoord nee is.

[ Voor 61% gewijzigd door |sWORDs| op 18-08-2016 11:03 ]

[pitchdown]

Cranberry schreef op woensdag 17 augustus 2016 @ 16:43:
Gisteren heb ik de Intel Skull Canyon (nuc6i7kyk) binnengekregen. Installatie van ESXi (6.0u2) ging prima, mits de Thunderbird-controller is uitgeschakeld.
Idle-verbruik met 32GB ram en 'n Samsung EVO 950 512GB M2 SSD is 17,5W.

'k Heb geprobeerd de Iris Pro Graphics 580 via passthrough/vDGA werkend te krijgen in een Win10 VM, maar dat is (nog) niet gelukt (iets wat met XenServer wel schijnt te werken).

Al met al vind ik het een prima systeem. 32GB is niet heel ruim, maar er kunnen toch behoorlijk wat VM's op draaien.

Klinkt interessant.
Welk geheugen heb je gebruikt? Die modules zijn volgens mij niet goedkoop...

[|sWORDs|]

pitchdown schreef op donderdag 18 augustus 2016 @ 16:07:
[...]


Klinkt interessant.
Welk geheugen heb je gebruikt? Die modules zijn volgens mij niet goedkoop...

Ik vind het nog wel meevallen, 130-140 euro, tientje meer dan niet SODIMM.
pricewatch: Crucial CT2K16G4SFD824A

[ Voor 20% gewijzigd door |sWORDs| op 18-08-2016 16:25 ]