Zuinige ESXi Server

[Pantagruel]

Tha_Butcha schreef op dinsdag 08 januari 2013 @ 02:22:
[...]


Dat werkt dus niet,, die controller wordt niet goed doorgegeven. Iig niet in mijn setup met een i5 3330. Pantagruel was daar ook mee aan het klooien geloof ik. Twee pagins terug wordt er nog over gediscussieerd.

Mezelf ff quote'n, het doorgeven van de Intel SATA chipset betekend dat je met 1 vinkje zowel de 1x SATA600 en de 5 SATA300 aansluitingen doorsteekt. Andere optie is de Asmedia controller te gebruiken voor je datastorage tbv ESXi en de onboard Intel door te sluizen naar een vm. Dit laatste heb ik niet getest omdat de bak met de ASRock B75 Pro3-M en de i5-3330 al naar de rechtmatige eigenaar was gegaan.

In mijn eigen 'zuinige ESXi server' zit een i3 2120, een 80 GB Intel SSD op de SATA600 als datastore, 3 stuks 1 TB drives zijn als opslag mbv RDM door geven (1 aan een Ubuntu VM en 2 stuks aan een OpenIndiana VM) en beschik ik dus niet over Vt-d.

[C00KW4US]

Even ter info n.a.v. mijn vorige posts. Ik heb een 3TB disk kunnen RDM'en naar een Win2012 VM. De disk is zichtbaar in Windows en wordt herkend als een fysieke sata disk, geen gekke waardes meer maar gewoon 3TB beschikbaar. De RDM is dan ook physical.

Wat ik heb gedaan: de disken waren nieuw en ik had eerst een vmfs partitie op deze disken gemaakt. Later wilde ik ze RDM'en en daar is het denk ik fout gegaan vanwege de vmfs partitie die er al op stond.

De disk heb ik via een directe windows installatie eerst geformatteerd met NTFS (gpt) zodat het iig een indeling had. Daarna weer ESXi installeren en de disk via vmkfstools -z mappen. Great success

[FireDrunk]

Kijk, dat is goed nieuws! Het ligt dus DUIDELIJK aan de MPTSAS driver in FreeBSD dat het niet werkt

Toch niet de firmware

[Compizfox]

Meer een combinatie ervan geloof ik. (Nieuwe MTPSAS-driver in FreeBSD 9.1 + oudere firmware = "Unsupportable block size 0")

[ Voor 12% gewijzigd door Compizfox op 08-01-2013 14:14 ]

[Tha_Butcha]

Pantagruel schreef op dinsdag 08 januari 2013 @ 09:32:
[...]


Mezelf ff quote'n, het doorgeven van de Intel SATA chipset betekend dat je met 1 vinkje zowel de 1x SATA600 en de 5 SATA300 aansluitingen doorsteekt. Andere optie is de Asmedia controller te gebruiken voor je datastorage tbv ESXi en de onboard Intel door te sluizen naar een vm. Dit laatste heb ik niet getest omdat de bak met de ASRock B75 Pro3-M en de i5-3330 al naar de rechtmatige eigenaar was gegaan.

Welke is dan de Asmedia controller? Ik zie de volgende aansluitingen op mijn bord namelijk:

- SATA3_0 (ESXi datastore)
- SATA2_1 (HD)
- SATA2_2 (HD)
- SATA2_3 (HD)
- SATA2_4 (HD)
- SATA2_5

en los nog een keer:

- SATA3_A0
- SATA3_A1

Is die tweede serie SATA3 dan de asmedia controller, zodat ik daar de ESXi data store aan gooi en eventueel een SSD als L2ARC?

EDIT:

mmm, net geprobeerd, dat lukt niet op een of andere manier.

Heb de datastore op de SATA3_A0 gehangen en op AHCI in de bios gezet. De lspci output geeft dit:

code:

00:00:00.0 Bridge: Intel Corporation Ivy Bridge DRAM Controller
00:00:02.0 Display controller: Intel Corporation Ivy Bridge Graphics Controller
00:00:14.0 Serial bus controller: Intel Corporation Panther Point USB xHCI Host Controller
00:00:16.0 Communication controller: Intel Corporation Panther Point MEI Controller #1
00:00:1a.0 Serial bus controller: Intel Corporation Panther Point USB Enhanced Host Controller #2
00:00:1b.0 Multimedia controller: Intel Corporation Panther Point High Definition Audio Controller
00:00:1c.0 Bridge: Intel Corporation Panther Point PCI Express Root Port 1 [PCIe RP[00:00:1c.0]]
00:00:1c.4 Bridge: Intel Corporation Panther Point PCI Express Root Port 5 [PCIe RP[00:00:1c.4]]
00:00:1c.5 Bridge: Intel Corporation Panther Point PCI Express Root Port 6 [PCIe RP[00:00:1c.5]]
00:00:1d.0 Serial bus controller: Intel Corporation Panther Point USB Enhanced Host Controller #1
00:00:1e.0 Bridge: Intel Corporation 82801 PCI Bridge
00:00:1f.0 Bridge: Intel Corporation Panther Point LPC Controller
00:00:1f.2 Mass storage controller: Intel Corporation Panther Point AHCI Controller [vmhba0]
00:00:1f.3 Serial bus controller: Intel Corporation Panther Point SMBus Controller
00:02:00.0 Mass storage controller: ASMedia Technology Inc.  [vmhba34]
00:03:00.0 Network controller: Realtek Realtek 8168 Gigabit Ethernet [vmnic0]

Volgens in de vSphere client geeft hij aan dat de ASmedia (00:02) onder de PCI Express root 5 (00:1c.4) hangt, dus ik gooi de Panther ACHI door via passthrough (00:1f.2), alleen dan ben ik ook mijn data store kwijt.

Iemand een idee wat ik verkeerd doe?

[ Voor 47% gewijzigd door Tha_Butcha op 08-01-2013 15:57 ]

[xelnaha]

Zelf gisteren geprobeerd om pci wlan kaart via passthrough door tegeven,

esxi gaf inderdaad aan dat het een pci-->pcie bridge was, maar toch een PSOD helaas.

[Pantagruel]

Tha_Butcha schreef op dinsdag 08 januari 2013 @ 14:49:
[...]


Welke is dan de Asmedia controller? Ik zie de volgende aansluitingen op mijn bord namelijk:

- SATA3_0 (ESXi datastore)
- SATA2_1 (HD)
- SATA2_2 (HD)
- SATA2_3 (HD)
- SATA2_4 (HD)
- SATA2_5

en los nog een keer:

- SATA3_A0
- SATA3_A1

Is die tweede serie SATA3 dan de asmedia controller, zodat ik daar de ESXi data store aan gooi en eventueel een SSD als L2ARC?

Het zijn de twee aparte SATA aansluitingen die naast/onder de ATX power aansluiting zitten ( SATA3_A0 en SATA3_A1).

Als je op dit moment je Intel SATA controller door zou steken dan zal ESXi zijn datastore kwijt raken en zit je in zak en as.

De L2ARC SSD kun je op de door gegeven SATA3_0 steken en dan andere 5 stuks SATA 2 tbv van HDD's gebruiken, of inderdaad op de SATA3_A1 steken en dan via RDM aan de storage VM vrijgeven.

[ Voor 11% gewijzigd door Pantagruel op 08-01-2013 16:02 ]

[Tha_Butcha]

Pantagruel schreef op dinsdag 08 januari 2013 @ 15:57:
[...]


Het zijn de twee aparte SATA aansluitingen die naast de ATX power aansluiting zitten ( SATA3_A0 en SATA3_A1). Als je op dit moment je Intel SATA contrroller door zou steken dan zal ESXi zijn datastore kwit raken en zit je in zak en as.

Hmm, ik had het zo gedaan (zie mijn edit hierboven). Maar hij blijkt dus ergens mis te lopen, krijg te zien dat mijn datastore unavailable is dan.

[Pantagruel]

Tha_Butcha schreef op dinsdag 08 januari 2013 @ 16:03:
[...]


Hmm, ik had het zo gedaan (zie mijn edit hierboven). Maar hij blijkt dus ergens mis te lopen, krijg te zien dat mijn datastore unavailable is dan.

Maar voordat je de Intel SATA controller doorgaf, starte ESXi zonder problemen op vanaf de Asmedia SATA controller?.

[Tha_Butcha]

Jup, ik heb nu mijn datastore op die asmedia hangen, dan vind ie de virtual machines gewoon. Ergens gaat ie toch over de mik met de drivers volgens mij, want als ik de de storage adapters bekijk (of bij de passthrough lijst) wordt de controller listed als "uknown device" en niet als ASMedia. De ander wordt gewoon aangeduid als Panther Point AHCI controller

[FireDrunk]

Die ASMedia werkt dan ook niet onder ESXi. Ookal vind LSPCI die, wil dat nog niet zeggen dat er in de HyperVisor laag een driver voor is geladen.

Kan je volgens mij zien met lspci -vvv

[ Voor 12% gewijzigd door FireDrunk op 08-01-2013 16:14 ]

[Pantagruel]

Tha_Butcha schreef op dinsdag 08 januari 2013 @ 16:12:
Jup, ik heb nu mijn datastore op die asmedia hangen, dan vind ie de virtual machines gewoon. Ergens gaat ie toch over de mik met de drivers volgens mij, want als ik de de storage adapters bekijk (of bij de passthrough lijst) wordt de controller listed als "uknown device" en niet als ASMedia. De ander wordt gewoon aangeduid als Panther Point AHCI controller

FireDrunk schreef op dinsdag 08 januari 2013 @ 16:14:
Die ASMedia werkt dan ook niet onder ESXi. Ookal vind LSPCI die, wil dat nog niet zeggen dat er in de HyperVisor laag een driver voor is geladen.

Kan je volgens mij zien met lspci -vvv

Het ruikt dan inderdaad naar of geen ondersteuning voor de controller mbt Vt-d of een gebrek aan driver ondersteuning, in ieder geval teleurstellend . Blijft er weinig anders over dan de 'RDM truc' of een losse HBA die je mbv Vt-d doorsteekt (M1015 bijv.) [of hopen op 'n ESXi driver voor de Intel controller brainfart ;)]

[FireDrunk]

ESXi driver voor de intel controller? Mis ik iets?

[Tha_Butcha]

Als je de intel controller op passthrough doet, neemt ie de HD's die aan de Asmedia hangen gewoon mee. Of in ieder geval, mijn datastore verdwijnt dan (zonder passthrough draait die datastore prima vanaf de asmedia). Dus vandaar dat ie het heeft over die ondersteuning of driver ondersteuning, denk ik.

Net een bios update gedaan, maar dat mocht ook niet baten.

[FireDrunk]

Dan zitten ze dus op dezelfde PCIe bus waarschijnlijk...

Dat heeft weinig met drivers te maken...

Kun je eens een screenshotje posten van je VT-d schermpje?

[Tha_Butcha]

00:1f.2 is afaik die intel controller en 02:00.0 is de Asmedia

[FireDrunk]

vreemd, en je kan die 02:00.0 dus niet doorgeven? Zou wel moeten kunnen zo te zien.
Misschien dan toch een BIOS issue...

[Tha_Butcha]

Heb hem liever andersom (want al die hd's hangen aan die intel), maar in beide gevallen werkt het niet; in de zin dat als je hem doorgeeft ook gelijk de andere controller meegeeft. Dat wordt dan maar sparen voor een IBM serveraid oid

[xelnaha]

Ik lees in documentatie dat esxi dvfs ondersteund. Nu kan ik deze optie niet in 5.1 vinden. Is dit iets dat ze standaard hebben aangezet met de nieuwe versies?

[Pantagruel]

Tha_Butcha schreef op dinsdag 08 januari 2013 @ 18:00:
Heb hem liever andersom (want al die hd's hangen aan die intel), maar in beide gevallen werkt het niet; in de zin dat als je hem doorgeeft ook gelijk de andere controller meegeeft. Dat wordt dan maar sparen voor een IBM serveraid oid

Dat was mijn 'wens' eigenlijk ook, maar dat gaat dus niet door. Zoals FireDrunk al zegt, of op dezelfde PCIe bus of een onzuivere BIOS/UEFI implementatie. Als het t laatste is, is het maar de vraag of t opgelost gaat worden. Het is immers een consumer bordje.

Wat ook een optie is, een niet al te dure basale PCIe 1x SATA controller aanschaffen, die onder ESXi werkt natuurlijk, om je datastore op aan te sluiten en dan de hele onboard zwik doorgeven mbv Vt-d. Verdient wellicht geen schoonheidsprijs en voelt 'dom' aan omdat je toch echt zou verwachten dat de Asmedia controller los staat van de Intel SATA controller. Op dit soort momenten is t stiekem jammer dat ESXi datastores op USB niet ondersteund.

[devastator83]

Ben al een tijdje dit topic aan het volgen, en overweeg nu om zelf een ESXI server te gaan gebruiken.

Ik zou het voor het volgende willen gebruiken:
*VM1: WinXP voor gebruik van HomeSeer
*VM2: unraid
*VM3: WinXP voor andere win taken
*VM4: Debian voor linux stuff

Echter, Ik zou 2 3TB disks willen gebruiken en doorgeven aan unraid. Ik lees echter dat 3TB schijven een probleem zijn...

Unraid zou dan mappen sharen die dan weer gebruikt kunnen worden door de andere VM's.

Heeft iemand ervaring met dergelijke setup, of op- of aanmerkingen ?

[Compizfox]

Windows XP als server-OS?

Ik zou ook ZFSGuru aanraden ipv Unraid.

[devastator83]

Compizfox schreef op woensdag 09 januari 2013 @ 13:37:
Windows XP als server-OS?

Ik zou ook ZFSGuru aanraden ipv Unraid.

Niet alles moet noodzakelijk als server dienen he.
Kan bijvoorbeeld ook gebruikt worden om via remote desktop te officen vanop een linux pc ...

[Compizfox]

*VM1: WinXP voor gebruik van HomeSeer

Ik nam aan dat je HomeServer bedoelde, of had ik dat verkeerd?

[devastator83]

Compizfox schreef op woensdag 09 januari 2013 @ 13:42:
[...]
Ik nam aan dat je HomeServer bedoelde, of had ik dat verkeerd?

Nee, ik bedoelde toch wel HomeSeer :-)
Is voor mijn domoticasysteem.

[C00KW4US]

Heeft er iemand benchmarks van een SSD icm vmdk's? Ben benieuwd wat de performance van een SSD is als er een hypervisor tussen zit.

[FireDrunk]

Vaak genoeg getest, nooit echt groot verschil kunnen vinden. ESXi is wat dat betreft echt heel snel.
Verschil is in harde cijfers < 2% denk ik zo.

[analog_]

FireDrunk schreef op woensdag 09 januari 2013 @ 20:48:
Vaak genoeg getest, nooit echt groot verschil kunnen vinden. ESXi is wat dat betreft echt heel snel.
Verschil is in harde cijfers < 2% denk ik zo.

2nd above, met volgende collectie: crucial m4,samsung 830, vertex1 en intel x25-e. VMFS levert bijzonder weinig overhead maar je moet wel nadenken over het feit dat je dan wel 'klem' zit aan ESXi om ze uit te lezen. Er is dacht ik voor FUSE een read-only driver op linux als ik mij goed herinner, maar dat is meer een last-resort oplossing vind ik persoonlijk.

[Valkyre]

Mijn nieuwe config is binnen:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 159,60	€ 159,60
1	Asrock H77 Pro4-M	€ 69,40	€ 69,40
4	Western Digital Green WD20EARS, 2TB	€ 99,95	€ 399,80
1	Huntkey Jumper 300G	€ 62,70	€ 62,70
1	Intel 520 180GB	€ 151,99	€ 151,99
Bekijk collectie Importeer producten		Totaal	€ 843,49

+ een 320gig laptop sata schijfje.

Ik had al een USB stick met ESXi 5.1 staan en zoals ook in dit topic werd gezegd kun je dezelfde stick gebruiken zonder opnieuw te hoeven installeren. Moederbord + CPU vervangen booten et voila inderdaad ESX start op. maar zonder Netwerk.....
Toen heb ik een andere USB stick gepakt en ESX opnieuw geinstalleerd en toen werd de NIC wel gezien.

VM's weer geimporteerd ook allemaal goed, en wat ik helemaal verbazingwekkend vond was dat de Physical RDM's gewoon kon mounten en dat ze nog werken ook

Toen een beetje aan het klooien geweest met vt-d zoals ook hierboven al gedaan:

Als ik de 00:1c.5 VT-d dan ben ik al mijn datastores kwijt.

Ik moet eigenlijk zien te achterhalen welke sata poorten hangen aan de 00:1c.7 daar mijn 2 disken (ssd + laptop schijf) op zetten, en dan die AHCI controller vt-d'en...

EDIT: alle schijven behalve mijn SSD gedisconnect en vt-d op die AHCI 00:1c.5 aangezet. Elke sata aansluiting geprobeerd en geen van allen ziet uberhaupt nog een storage device.


Met deze load verbruikt dit systeem 47 watt.
Met een balanced power schema.

Ah wanneer ik in een VM een 7zip actie aan zet, waarbij 2 cores gebruikt worden en ongeveer 2000 mhz in vSphere, schiet het verbruik omhoog naar 66 watt

[ Voor 4% gewijzigd door Valkyre op 09-01-2013 23:24 ]

[FireDrunk]

Ik vind dat toch zo vreemd... Dat je een losse controller niet door kan geven...
Helaas heb ik niet zo'n bord, anders had ik het zelf eens geprobeerd.

[Valkyre]

Yeah me2, ik kwam een blog post van iemand tegen, die de unknown: unknown controller welk kon doorgeven, en daar ook een disc op zag, maar dat is dan volgens mij de intel controller die maar 2 schijven heeft.
Waarop ik een soort van aangenomen heb, dat als ik dan mijn 2 datastore schijven op deze controller aansluit voor alle vm's en dan de andere controller doorgeef ik die kan vt-d'en maar dat lijkt dus niet te werken helaas.

Goed met RDM's werkt het ook wat voor mij afdoende is, maar jammer is het wel.

Wat misschien nog een keer leuk is om te testen om een TV aan de HDMI poort te hangen en die dan in een VM te vt-d'en...

Hij lijkt dus gewoon alles door te geven ookal geef je maar 1 controller aan.

[ Voor 5% gewijzigd door Valkyre op 10-01-2013 09:34 ]

[FireDrunk]

GPU passthrough is sowieso stuk in ESXi 5.1 volgens mij. Dat werkte alleen met een _heel_ beperkt aantal kaartje onder 4.1 en 5.0 voor zover ik weet.

HyperBart is er een poos terug nog mee bezig geweest volgens mij.

[Valkyre]

ik heb eventueel nog een extra GPU kaartje liggen welke ik hier in zou kunnen prikken.
het zou wel gaaf zijn om dan eventueel mijn HTPC overbodig te maken, maar een HDMi kabel en een optische kabel voor het geluid, van +-15 meter vinden en nog door de muur trekken is dan ook nog wel een uitdaging.

[magic_japie]

Ik ben benieuwd of het je lukt Gohan-san om je videokaart via vt-d te kunnen pass-throughen.

Dan heb ik zo goed als mijn config klaar om te bestellen

[Tha_Butcha]

Gohan-san schreef op woensdag 09 januari 2013 @ 22:08:

Ik moet eigenlijk zien te achterhalen welke sata poorten hangen aan de 00:1c.7 daar mijn 2 disken (ssd + laptop schijf) op zetten, en dan die AHCI controller vt-d'en...

EDIT: alle schijven behalve mijn SSD gedisconnect en vt-d op die AHCI 00:1c.5 aangezet. Elke sata aansluiting geprobeerd en geen van allen ziet uberhaupt nog een storage device.

00:1c:7 is de Asmedia Controller, dat is waar SATA3_A0 en SATA3_A1 aan hangen (zie mijn reactie een paar dagen eerder in dit topic), het is degene die zit bij de ATX aansluiting. Je kan hier wel HD's aanhangen, maar geen passthrough doen zonder dat de andere schijven mee gaan.

De andere controller (de Intel Panther Point) zit bij jou op 00:1c.5, dat zijn de rode aansluitingen op je bord, SATA2. In beide gevallen trekken ze elkaar 'mee' als je ze door wil gooien, dus een NAS op ESXi draaien zonder RDM (en volgens sommige mensen wil je dat niet, zeker niet i.c.m. ZFS) te gebruiken wordt vrij lastig bij dit bordje.
Voor de rest is het een mooi bordje, mux had in zijn blogs nog een link naar een duitse blog, die met dit bordje flink aan het tweaken is geweest en een verbruik voor elkaar kreeg vna 10,8W idle en 31,0W stressed (met prime). Hij draait wel maar 1 SSD en heeft een Pico PSU but still, impressive.

[Valkyre]

magic_japie schreef op donderdag 10 januari 2013 @ 10:17:
Ik ben benieuwd of het je lukt Gohan-san om je videokaart via vt-d te kunnen pass-throughen.

Dan heb ik zo goed als mijn config klaar om te bestellen

Ik denk dat ik van het weekend wel wat tijd heb, en ik zal het even proberen.

Tha_Butcha schreef op donderdag 10 januari 2013 @ 10:22:
[...]


00:1c:7 is de Asmedia Controller, dat is waar SATA3_A0 en SATA3_A1 aan hangen (zie mijn reactie een paar dagen eerder in dit topic), het is degene die zit bij de ATX aansluiting. Je kan hier wel HD's aanhangen, maar geen passthrough doen zonder dat de andere schijven mee gaan.

De andere controller (de Intel Panther Point) zit bij jou op 00:1c.5, dat zijn de rode aansluitingen op je bord, SATA2. In beide gevallen trekken ze elkaar 'mee' als je ze door wil gooien, dus een NAS op ESXi draaien zonder RDM (en volgens sommige mensen wil je dat niet, zeker niet i.c.m. ZFS) te gebruiken wordt vrij lastig bij dit bordje.
Voor de rest is het een mooi bordje, mux had in zijn blogs nog een link naar een duitse blog, die met dit bordje flink aan het tweaken is geweest en een verbruik voor elkaar kreeg vna 10,8W idle en 31,0W stressed (met prime). Hij draait wel maar 1 SSD en heeft een Pico PSU but still, impressive.

Ik heb nu RDM's met Raid 5 draaien naar een windows 2008r2 machine, momenteel draait dit al een paar maanden stabiel (gisteren een andere moederbord + CPU weliswaar)
Deze machine is mijn fileserver dus ook in zekere zin een NAS. voor nu laat ik het zo en dan helaas geen zfs.
Misschien tzt een goedkope sata controller er in prikken en die dan doorgeven. dat wil ik alleen liever niet vanwege het extra verbruik. Heeft iemand daar eigenlijk ervaring mee wat het extra verbruik is van een insteek pci-e kaartje?

Waar vind jij de informatie welke sata poorten met welke controller verbonden is? op de website van asrock kon ik het niet vinden... (kan ook aan mij liggen hoor )

[Tha_Butcha]

Gohan-san schreef op donderdag 10 januari 2013 @ 11:17:
Misschien tzt een goedkope sata controller er in prikken en die dan doorgeven. dat wil ik alleen liever niet vanwege het extra verbruik. Heeft iemand daar eigenlijk ervaring mee wat het extra verbruik is van een insteek pci-e kaartje?

Waar vind jij de informatie welke sata poorten met welke controller verbonden is? op de website van asrock kon ik het niet vinden... (kan ook aan mij liggen hoor )

Ik ga er waarschijnlijk een IBM Serveraid in doen, moet ik wel weer ff geld hebben. En een voltcraft staat ook op de lijst, dus dan zal ik het wel ff meten.

Op de site van AsRock staat dit:

- 1 x SATA3 6.0 Gb/s connector by Intel® B75, supports NCQ, AHCI and Hot Plug functions
- 2 x SATA3 6.0 Gb/s connectors by ASMedia ASM1061, support NCQ, AHCI and Hot Plug functions

En er zijn 3 Sata3 connectors, Er is één SATA3 connector die bij de andere 5 SATA2 connectoren staat en die bij de ATX zijn er ook twee. Daaruit heb ik geconcludeerd dat degene bij de ATX de Asmedia zijn.

[Valkyre]

Tha_Butcha schreef op donderdag 10 januari 2013 @ 14:52:
[...]


Ik ga er waarschijnlijk een IBM Serveraid in doen, moet ik wel weer ff geld hebben. En een voltcraft staat ook op de lijst, dus dan zal ik het wel ff meten.

Op de site van AsRock staat dit:


[...]


En er zijn 3 Sata3 connectors, Er is één SATA3 connector die bij de andere 5 SATA2 connectoren staat en die bij de ATX zijn er ook twee. Daaruit heb ik geconcludeerd dat degene bij de ATX de Asmedia zijn.

ja dat had ik ook gevonden, alleen de sticker op het moederbord zegt bij die 6 sata connectors welke sata3 zijn en dat zijn juist de 4 gruize daar.
Maar goed ik heb ze allemaal geprobeerd, en geen van alle werkte toen ik de AHCI geVT-d't had....

Deze? die zit er wel interressant uit inderdaad.
http://tweakers.net/price...-system-[x/specificaties/
8 extra poorten das niet verkeerd maar allemaal in gebruik ook weer niet echt 'zuinig'

Voltcraft heb ik liggen mocht je in de buurt van Leidschendam wonen/werken.

Edit: jij hebt het volgens mij over de B75-Pro3-m? nu ik dat duitse forum de screenshots zie, snap ik waarom je het over de connectors bij de ATX hebt die van mij heeft een iets andere indeling

[ Voor 11% gewijzigd door Valkyre op 10-01-2013 18:19 ]

[Deveon]

Voor de geintresseerde heb ik mogelijk binnenkort de Intel RAID Controller SASUC8I in de aanbieding. Dit aangezien ik de overstap na Hyper-V 3.0 ga proberen icm met (Solaris) zfs (daar werkt RDM native ipv controller via VT-d).

[jadjong]

FireDrunk schreef op donderdag 10 januari 2013 @ 09:34:
GPU passthrough is sowieso stuk in ESXi 5.1 volgens mij. Dat werkte alleen met een _heel_ beperkt aantal kaartje onder 4.1 en 5.0 voor zover ik weet.

HyperBart is er een poos terug nog mee bezig geweest volgens mij.

5.1 build 7993733 is redelijk onbruikbaar met vt-d. De laatste update (914609) fixt dit, behalve iets usb-gerelateerd. Dus als je ook usb met vt-d wilt gebruiken moet je terug naar de laatste 5.0U02.
http://communities.vmware.com/docs/DOC-20835

[ Voor 4% gewijzigd door jadjong op 10-01-2013 21:34 ]

[FireDrunk]

Deveon schreef op donderdag 10 januari 2013 @ 19:31:
Voor de geintresseerde heb ik mogelijk binnenkort de Intel RAID Controller SASUC8I in de aanbieding. Dit aangezien ik de overstap na Hyper-V 3.0 ga proberen icm met (Solaris) zfs (daar werkt RDM native ipv controller via VT-d).

Uh wat? RDM heeft niets met VT-d te maken... En voor zover ik weet heeft Hyper-V nog steeds geen VT-d ondersteuning voor PCIe. (Wel maakt het gebruik van bijvoorbeeld VMDq (Virtual Machine Device Queing) en dat is weer een subfunctie van VT-d.

Dus wat bedoel je precies? Want een physieke harde schijf doorgeven kan inderdaad al veel langer bij Hyper-V dan bij ESXi.

Probleem is nog steeds, dat je een virtuele schijf doorgeeft, en niet de disk zelf.
Dus net als met Virtual RDM van VMware, ben je niet veilig met Hyper-V als het gaat om bescherming tegen bad sectors.

[Deveon]

Ik bedoel precies wat jij ook zegt. Aangezien Hyper-V een ondersteunde variant van RDM heeft hoef ik niet raidcontroller door te geven en heb ik dus de raidcontroller niet meer nodig. Dus ja, ik vervang een appel voor een peer.

Maar het is alleen nog wel even testen of HyperV 3.0 gaat werken icm Solaris...

Windows 8 met HyperV 3.0 (identiek aan HyperV van 2012) is voor mij een perfect oplossing om HTPC en hypervisor te combineren en het kost maar 29,95

[FireDrunk]

Maar waarom denk je dat Hyper-V's passthrough beter is dan VMware's RDM?

[Deveon]

Omdat het in Hyper-V wel ondersteund wordt en in VMware niet, maar ik heb nooit beweerd dat het beter is. Het grote plus punt voor mij is het HTPC mogelijkheid, iets wat me op ESX niet lukt.

Helaas is het nog niet gelukt om mijn ESX binnen Hyper-V te draaien door middel van "rdm".

[FireDrunk]

Wat bedoel je met "Ondersteund"?

RDM is een prima werkende en ondersteunde feature onder VMware, enige reden dat je het via de commandline doet, is dat het een feature is die bedoeld is voor SAN LUN's en niet voor SATA disks... Het mechanisme is verder exact hetzelfde...

[ Voor 3% gewijzigd door FireDrunk op 11-01-2013 12:40 ]

[Compizfox]

jadjong schreef op donderdag 10 januari 2013 @ 21:34:
[...]

5.1 build 7993733 is redelijk onbruikbaar met vt-d. De laatste update (914609) fixt dit, behalve iets usb-gerelateerd. Dus als je ook usb met vt-d wilt gebruiken moet je terug naar de laatste 5.0U02.
http://communities.vmware.com/docs/DOC-20835

Die zou het moeten fixen ja, bij mij PSOD ie nog steeds. Nu wel met een andere error.

[Glival]

Gisteren ESXi 5.1 geïnstalleerd op een Asus P5B + Core 2 Duo E6700, maar er gaat iets mis met de NIC; hij vraagt om een IP aan de DHCP-server, de DHCP-server geeft er ook een uit, maar die wordt dan niet ontvangen of geaccepteerd. Ook met een static IP kan ik 'm niet pingen.

Anyway, die combinatie is niet bepaald zuinig (heeft ook een aparte videokaart nodig) en ondersteunt geen VT-d; ik dacht ter vervanging dit systeem te kopen:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3470T Boxed	€ 170,70	€ 170,70
1	Asus P8H77-I	€ 85,-	€ 85,-
1	Lian Li PC-Q25B	€ 109,81	€ 109,81
1	Corsair Vengeance CML8GX3M2A1600C9 Low Profile	€ 40,54	€ 40,54
1	Corsair Builder CX430	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 406,05

CPU: lage TDP; VT-d; socket 1155 omdat m'n PC dat ook heeft, en ik zo onderdelen uit kan wisselen mocht dat nodig zijn
Moederbord: goedkoop, 6x SATA, en volgens dit topic heeft 'ie ondersteuning voor VT-d, al is dat het enige wat ik er over kan vinden; heeft iemand er ervaring mee?
Behuizing: 5x SATA hot swap; klein
Geheugen: zelfde als ik in m'n PC heb - mocht ik willen upgraden dan kan ik deze 2x 4GB verplaatsen naar m'n PC en 2x 8GB voor de server kopen
Voeding: heb ik al; is erg stil

Harddisks ben ik nog niet helemaal uit; waarschijnlijk WD Green in RAIDZ1. Van wat ik heb gelezen is het gebruikelijk ESXi te installeren op een USB-stick?

De VMs die ik tenminste wil draaien:
• NAS (FreeNAS?)
• Media server (mediatomb, Samba, torrent downloader)
• Development server (nginx, PostgreSQL, Rails etc)

Op- en aanmerkingen zijn welkom

[Compizfox]

Glival schreef op vrijdag 11 januari 2013 @ 14:58:
Harddisks ben ik nog niet helemaal uit; waarschijnlijk WD Green in RAIDZ1. Van wat ik heb gelezen is het gebruikelijk ESXi te installeren op een USB-stick?

WD Blue's zijn sneller

ESXi is inderdaad slim om op een USB-stick te installeren, omdat je geen partitie (of USB-device) kunt gebruiken voor de datastore van ESXi. ESXi accepteert alleen hele schijven.
Een datastore is verplicht en ESXi zelf is maar 500 MB dus het is het meestal niet waard om daar een complete schijf aan te verspillen

De VMs die ik tenminste wil draaien:
• NAS (FreeNAS?)
• Media server (mediatomb, Samba, torrent downloader)
• Development server (nginx, PostgreSQL, Rails etc)

Op- en aanmerkingen zijn welkom

Ik zou ipv FreeNAS, ZFSGuru doen. Dat is open-source, minder locked down (je kunt gewoon de ports tree gebruiken) en volgens mij ook wat specifieker gericht op ZFS.

Houdt er rekening mee dat je tweede VM voor de media server-functies bij de data moet komen die gehost wordt door VM1.
VM2 zou je toegang kunnen geven tot de data op VM2 dmv NFS, maar je zet samba neer bij VM2, dat lijkt me niet slim omdat je dan dubbel zit te sharen. (Als je een bestand kopieert verstuur je het eerst via CIFS naar VM2, die het via NFS naar VM1 zit te gooien)

Zelf heb ik een VM met ZFSGuru, die ik eigenlijk alleen voor de storage gebruik. (deze host ook NFS en Samba)
Daarnaast heb ik een VM met Debian, waar ik hosting, printserver, torrent client en al het andere spul op heb.
Deze heeft de data gemount via NFS.

[ Voor 8% gewijzigd door Compizfox op 11-01-2013 15:09 ]

[Valkyre]

Glival schreef op vrijdag 11 januari 2013 @ 14:58:
Gisteren ESXi 5.1 geïnstalleerd op een Asus P5B + Core 2 Duo E6700, maar er gaat iets mis met de NIC; hij vraagt om een IP aan de DHCP-server, de DHCP-server geeft er ook een uit, maar die wordt dan niet ontvangen of geaccepteerd. Ook met een static IP kan ik 'm niet pingen.

Anyway, die combinatie is niet bepaald zuinig (heeft ook een aparte videokaart nodig) en ondersteunt geen VT-d; ik dacht ter vervanging dit systeem te kopen:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3470T Boxed	€ 170,70	€ 170,70
1	Asus P8H77-I	€ 85,-	€ 85,-
1	Lian Li PC-Q25B	€ 109,81	€ 109,81
1	Corsair Vengeance CML8GX3M2A1600C9 Low Profile	€ 40,54	€ 40,54
1	Corsair Builder CX430	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 406,05

CPU: lage TDP; VT-d; socket 1155 omdat m'n PC dat ook heeft, en ik zo onderdelen uit kan wisselen mocht dat nodig zijn
Moederbord: goedkoop, 6x SATA, en volgens dit topic heeft 'ie ondersteuning voor VT-d, al is dat het enige wat ik er over kan vinden; heeft iemand er ervaring mee?
Behuizing: 5x SATA hot swap; klein
Geheugen: zelfde als ik in m'n PC heb - mocht ik willen upgraden dan kan ik deze 2x 4GB verplaatsen naar m'n PC en 2x 8GB voor de server kopen
Voeding: heb ik al; is erg stil

Harddisks ben ik nog niet helemaal uit; waarschijnlijk WD Green in RAIDZ1. Van wat ik heb gelezen is het gebruikelijk ESXi te installeren op een USB-stick?

De VMs die ik tenminste wil draaien:
• NAS (FreeNAS?)
• Media server (mediatomb, Samba, torrent downloader)
• Development server (nginx, PostgreSQL, Rails etc)

Op- en aanmerkingen zijn welkom

USB stick is meer dan prima.
Wat je even moet uitzoeken is of dit boardje de hardeschijf controllers kan door geven via vt-d, zie in 1 van mijn posts hierboven dat ik ook een bord gebasseerd op h77 dat dus niet lukt (asrock weliswaar)

Als je echt zuinig wilt gaan, heb ik weleens gelezen dat MSI nog zuiniger was tegenover Asus.

Met de huidige geheugen prijzen zou ik voor minimaal 16 gig gaan.
Ik ben ook met 8 gig begonnen, en dat is echt niks. (dacht ook dat ZFS nogal een memory hog is)

[JarnoH]

#	Product	Prijs	Subtotaal
1	Intel Core i5 3470 Boxed	€ 169,30	€ 169,30
1	ASRock B75 Pro3-M	€ 58,77	€ 58,77
1	Cooler Master Silencio 550	€ 67,99	€ 67,99
1	Corsair Vengeance CML16GX3M2A1600C10	€ 71,70	€ 71,70
1	Seasonic G-Serie 360Watt	€ 59,-	€ 59,-
Bekijk collectie Importeer producten		Totaal	€ 426,76

Met de bovenstaande combinatie ben ik al een tijdje bezig met ESXi 5.1. In eerste instantie stond esxi op een usbstickje en de VM's op een HDD. Dit werkte prima. Echter wil ik de USB poorten van het moederbord via VT-d passthrough naar een VM passthrough'en. Dit in verband met onder andere een USB wifi dongel. VT-d heb ik in het bios enabled en kan bij de VT-d opties via Vsphere. Echter, wanneer ik de USB controller mark voor passthrough en reboot is deze weer unmarked na reboot. Ondertussen heb ik ESXi op een hdd geinstalleerd omdat ik dacht dat het kwam omdat esxi vanaf de USB opstart. Helaas maakt dit geen verschil.

Weet iemand hier hoe ik dit kan fixen en wat de oorzaak hiervan zou kunnen zijn? Ik begin nu te twijfelen of mijn mobo VT-d wel ondersteund, ondanks dat de bios dit doet.

Graag hoor ik of iemand ervaring heeft met vt-d en dit moederbord, want momenteel loop ik echt vast...

[analog_]

Glival schreef op vrijdag 11 januari 2013 @ 14:58:
[...]

#	Product	Prijs	Subtotaal
1	Intel Core i5 3470T Boxed	€ 170,70	€ 170,70
1	Asus P8H77-I	€ 85,-	€ 85,-
1	Lian Li PC-Q25B	€ 109,81	€ 109,81
1	Corsair Vengeance CML8GX3M2A1600C9 Low Profile	€ 40,54	€ 40,54
1	Corsair Builder CX430	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 406,05

[...]

Als je een q77 bord neemt krijg je er AMT (lees: KVM) erbij).

JarnoH schreef op vrijdag 11 januari 2013 @ 15:19:
[...]
Weet iemand hier hoe ik dit kan fixen en wat de oorzaak hiervan zou kunnen zijn? Ik begin nu te twijfelen of mijn mobo VT-d wel ondersteund, ondanks dat de bios dit doet.

Graag hoor ik of iemand ervaring heeft met vt-d en dit moederbord, want momenteel loop ik echt vast...

Lees een paar pagina's terug, 5.1 heeft problemen met VT-d en voor degene met PSOD en pci-e apparaten is een patch uitgekomen. USB was nog een probleem en als ik mij goed herinner is 5.0u2 de laatste die dat wel goed doet.

[ Voor 12% gewijzigd door analog_ op 11-01-2013 15:26 ]

[Valkyre]

JarnoH schreef op vrijdag 11 januari 2013 @ 15:19:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3470 Boxed	€ 169,30	€ 169,30
1	ASRock B75 Pro3-M	€ 58,77	€ 58,77
1	Cooler Master Silencio 550	€ 67,99	€ 67,99
1	Corsair Vengeance CML16GX3M2A1600C10	€ 71,70	€ 71,70
1	Seasonic G-Serie 360Watt	€ 59,-	€ 59,-
Bekijk collectie Importeer producten		Totaal	€ 426,76

Met de bovenstaande combinatie ben ik al een tijdje bezig met ESXi 5.1. In eerste instantie stond esxi op een usbstickje en de VM's op een HDD. Dit werkte prima. Echter wil ik de USB poorten van het moederbord via VT-d passthrough naar een VM passthrough'en. Dit in verband met onder andere een USB wifi dongel. VT-d heb ik in het bios enabled en kan bij de VT-d opties via Vsphere. Echter, wanneer ik de USB controller mark voor passthrough en reboot is deze weer unmarked na reboot. Ondertussen heb ik ESXi op een hdd geinstalleerd omdat ik dacht dat het kwam omdat esxi vanaf de USB opstart. Helaas maakt dit geen verschil.

Weet iemand hier hoe ik dit kan fixen en wat de oorzaak hiervan zou kunnen zijn? Ik begin nu te twijfelen of mijn mobo VT-d wel ondersteund, ondanks dat de bios dit doet.

Graag hoor ik of iemand ervaring heeft met vt-d en dit moederbord, want momenteel loop ik echt vast...

Staat VT-d in de bios aan? (staat op mijn pr-m4 onder northbridge in de bios)
Gebruik je vcenter?
waar ik zelf achter kwam was dat ik binnen vcenter iets aanzette voor VT-d dit werktte niet dus moest ik op de host zelf dit apparaat weer uitzetten. dat Vcenter dan weer opstart en even in conflict is staat ie nu aan of uit maar na een rescan en 10 minuten wachten herstelde zich dit dan weer.

[JJFS]

analog_ schreef op vrijdag 11 januari 2013 @ 15:21:
[...]

Als je een q77 bord neemt krijg je er AMT (lees: KVM) erbij).


[...]

Lees een paar pagina's terug, 5.1 heeft problemen met VT-d en voor degene met PSOD en pci-e apparaten is een patch uitgekomen. USB was nog een probleem en als ik mij goed herinner is 5.0u2 de laatste die dat wel goed doet.

Alleen moet hij dat moederboard dan dubbel vouwen om in z'n kast te krijgen (m-itx)

[analog_]

JJFS schreef op vrijdag 11 januari 2013 @ 15:27:
[...]


Alleen moet hij dat moederboard dan dubbel vouwen om in z'n kast te krijgen (m-itx)

De pricewatch: Intel Desktop Board DQ77KB, ben je wel gebonden aan so-dimm en externe voeding.

[JarnoH]

Gohan-san schreef op vrijdag 11 januari 2013 @ 15:22:
[...]


Staat VT-d in de bios aan? (staat op mijn pr-m4 onder northbridge in de bios)
Gebruik je vcenter?
waar ik zelf achter kwam was dat ik binnen vcenter iets aanzette voor VT-d dit werktte niet dus moest ik op de host zelf dit apparaat weer uitzetten. dat Vcenter dan weer opstart en even in conflict is staat ie nu aan of uit maar na een rescan en 10 minuten wachten herstelde zich dit dan weer.

Bedankt voor je snelle reactie!
Bij mij staat dat inderdaad ook onder northbridge in de bios. Ik gebruik vSphere overigens ipv Vcenter, maar dat maakt toch niet veel uit? Ik heb enkel VT-d enabled in de bios (voorheen nog niet en toen waren de VT-d instelling opties in vSphere grijskleurig).

Van de bug in esxi 5.1 was ik me bewust, thx voor het ophelderen analog_. Het zou dus in principe niet aan de hardware van mijn host kunnen liggen? Ik denk dat ik dan maar 5.0u2 ga proberen! Thx for the advice en snelle reacties allemaal

[Valkyre]

JarnoH schreef op vrijdag 11 januari 2013 @ 15:35:
[...]


Bedankt voor je snelle reactie!
Bij mij staat dat inderdaad ook onder northbridge in de bios. Ik gebruik vSphere overigens ipv Vcenter, maar dat maakt toch niet veel uit? Ik heb enkel VT-d enabled in de bios (voorheen nog niet en toen waren de VT-d instelling opties in vSphere grijskleurig).

Nee het maakt niet veel uit, maar als je in Vcenter iets aan zet, en vervolgens werkt het dan niet. Dan neem ik aan dat je vcenter vm ook niet meer opstart en je dus in de host zelf de setting weer moet aanpassen. en dan is er een mismatch met wat vcenter denkt dat die waardie is ten opzichte van de werkelijke

Dat vind ik eigenlijk wel interressant.
Gebruitk iedereen Vcenter?
Zo ja dan de appliance of de windows versie?

ik zelfs gebruik de appliance,
maar heb geheugen naar 4 gig terug gebracht.

[Compizfox]

JarnoH schreef op vrijdag 11 januari 2013 @ 15:19:
Met de bovenstaande combinatie ben ik al een tijdje bezig met ESXi 5.1. In eerste instantie stond esxi op een usbstickje en de VM's op een HDD. Dit werkte prima. Echter wil ik de USB poorten van het moederbord via VT-d passthrough naar een VM passthrough'en. Dit in verband met onder andere een USB wifi dongel. VT-d heb ik in het bios enabled en kan bij de VT-d opties via Vsphere. Echter, wanneer ik de USB controller mark voor passthrough en reboot is deze weer unmarked na reboot. Ondertussen heb ik ESXi op een hdd geinstalleerd omdat ik dacht dat het kwam omdat esxi vanaf de USB opstart. Helaas maakt dit geen verschil.

Weet iemand hier hoe ik dit kan fixen en wat de oorzaak hiervan zou kunnen zijn? Ik begin nu te twijfelen of mijn mobo VT-d wel ondersteund, ondanks dat de bios dit doet.

Graag hoor ik of iemand ervaring heeft met vt-d en dit moederbord, want momenteel loop ik echt vast...

Je hebt niet eens VT-d/IOMMU nodig voor USB passthrough.
Je kunt bij de settings van een VM gewoon een USB device toevoegen. Dan geeft hij gewoon het device door (en niet de USB-hub)

[Glival]

Compizfox schreef op vrijdag 11 januari 2013 @ 15:07:
WD Blue's zijn sneller

1080p streamen en tegelijk downloaden moet ook wel lukken met Greens toch? Veel GB/euro, zuinig en betrouwbaar vind ik belangrijker dan snelheid zolang ik maar een bepaald minimum haal.

Compizfox schreef op vrijdag 11 januari 2013 @ 15:07:
Houdt er rekening mee dat je tweede VM voor de media server-functies bij de data moet komen die gehost wordt door VM1.
VM2 zou je toegang kunnen geven tot de data op VM2 dmv NFS, maar je zet samba neer bij VM2, dat lijkt me niet slim omdat je dan dubbel zit te sharen. (Als je een bestand kopieert verstuur je het eerst via CIFS naar VM2, die het via NFS naar VM1 zit te gooien)

Samba zou beter op VM1 kunnen idd, thanks!

analog_ schreef op vrijdag 11 januari 2013 @ 15:31:
De pricewatch: Intel Desktop Board DQ77KB, ben je wel gebonden aan so-dimm en externe voeding.

Ik kan geen moederbord vinden wat aan de volgende voorwaarden voldoet:
• Socket 1155
• mini-ITX
• VT-d
• minimaal 5x SATA
• AMT
• Gigabit LAN
Dus er moet wat afvallen... Een ander moederbord en daarnaast een PCI-express SATA-controller is een optie maar wordt wel een stuk duurder dan de €85 die de P8H77-I kost.

Gohan-san schreef op vrijdag 11 januari 2013 @ 15:19:
Wat je even moet uitzoeken is of dit boardje de hardeschijf controllers kan door geven via vt-d, zie in 1 van mijn posts hierboven dat ik ook een bord gebasseerd op h77 dat dus niet lukt (asrock weliswaar)

Ik las hier het volgende:

The closest thing I can vouch for is that the ASUS P8H77-I (the mITX variant fo the P8H77-V) does in fact support VT-d. I'm currently testing it matched with an intel Core i5-3470 (which is confirmed to support VT-d at the CPU level). I enabled Intel Virtualization features in the BIOS (there's a setting somewhere in the menu)

Running vmware esxi, it did show that Directpath I/O is supported.

Bedoel je dat?

Gohan-san schreef op vrijdag 11 januari 2013 @ 15:19:
Met de huidige geheugen prijzen zou ik voor minimaal 16 gig gaan.
Ik ben ook met 8 gig begonnen, en dat is echt niks. (dacht ook dat ZFS nogal een memory hog is)

Ok, zo veel duurder is het idd niet

[jadjong]

Compizfox schreef op vrijdag 11 januari 2013 @ 15:07:
[...]

Een datastore is verplicht en ESXi zelf is maar 500 MB dus het is het meestal niet waard om daar een complete schijf aan te verspillen

Je kan prima esx op een 1TB schijf installeren en de overige 999GB als datastore gebruiken. Bij het aanmaken van de datastore aangeven dat je het huidige partitieschema wilt behouden en dan ben je er.

[Valkyre]

Glival schreef op vrijdag 11 januari 2013 @ 16:13:
[...]


1080p streamen en tegelijk downloaden moet ook wel lukken met Greens toch? Veel GB/euro, zuinig en betrouwbaar vind ik belangrijker dan snelheid zolang ik maar een bepaald minimum haal.


[...]


Samba zou beter op VM1 kunnen idd, thanks!


[...]


Ik kan geen moederbord vinden wat aan de volgende voorwaarden voldoet:
• Socket 1155
• mini-ITX
• VT-d
• minimaal 5x SATA
• AMT
• Gigabit LAN
Dus er moet wat afvallen... Een ander moederbord en daarnaast een PCI-express SATA-controller is een optie maar wordt wel een stuk duurder dan de €85 die de P8H77-I kost.


[...]


Ik las hier het volgende:


[...]


Bedoel je dat?


[...]


Ok, zo veel duurder is het idd niet

Met de kennis die ik nu heb, en je wilt VT-d voor je storage gebruiken?
Zou ik het goedkoopste moederbord wat je kunt vinden dat aan je eisen voldoet, en er dan een PCI-express sata controller aan toevoegen dat lijkt mij de meest waarschijnlijk manier om een storage te VT'den op consumenten hardware.

Hier verder boven werd al geschreven over IBM serverraid, kost 120 euro wat ook wel weer meevalt.
De asrock moederborden zijn +-50 euro

[Compizfox]

jadjong schreef op vrijdag 11 januari 2013 @ 16:18:
[...]

Je kan prima esx op een 1TB schijf installeren en de overige 999GB als datastore gebruiken. Bij het aanmaken van de datastore aangeven dat je het huidige partitieschema wilt behouden en dan ben je er.

Oh, dat wist ik niet. Ik had gehoord dat dat niet kon.

[yeehaw]

Ik heb al wat lopen zoeken, maar kan niet echt het antwoord vinden. Hoe berekent men het aantal Virtuele Machines dat op een bepaalde CPU kan draaien? Er van uitgaande dat de storage en geheugen geen probleem is?

Laat ik het verhaal ietsje uitbreiden:

Stel dat je als voorbeeld een server opstelt met 8 SSD's voor Storage, en 32GB RAM. Je maakt vervolgens 16 VM's met elk 2GB RAM en dus 2 machines per SSD.

Deze zouden qua RAM en qua IO niet tegen problemen aanlopen.

Hoe bereken je dan wat voor CPU je hiervoor zou gebruiken.

[ Voor 43% gewijzigd door yeehaw op 11-01-2013 20:37 ]

[Zenix]

Gohan-san schreef op vrijdag 11 januari 2013 @ 15:46:
[...]


Nee het maakt niet veel uit, maar als je in Vcenter iets aan zet, en vervolgens werkt het dan niet. Dan neem ik aan dat je vcenter vm ook niet meer opstart en je dus in de host zelf de setting weer moet aanpassen. en dan is er een mismatch met wat vcenter denkt dat die waardie is ten opzichte van de werkelijke

Dat vind ik eigenlijk wel interressant.
Gebruitk iedereen Vcenter?
Zo ja dan de appliance of de windows versie?

ik zelfs gebruik de appliance,
maar heb geheugen naar 4 gig terug gebracht.

Ik gebruik ook de vcenter appliance en heb het op 3GB geheugen gezet en 1 vCPU inplaats.

Had van de week wel iets raar met 1 van de RDM schijven kreeg I/O errors.
Vandaag moest ik toch maar eens upgraden naar 5.1 en patchen, dus ik controleer de hardeschijf, maar niks aan de hand en de RDM werkt weer goed. De server was sinds er ESXi op stond nog niet uit geweest, uptime behaald van 180 dagen.

[redfoxert]

yeehaw schreef op vrijdag 11 januari 2013 @ 20:29:
Ik heb al wat lopen zoeken, maar kan niet echt het antwoord vinden. Hoe berekent men het aantal Virtuele Machines dat op een bepaalde CPU kan draaien? Er van uitgaande dat de storage en geheugen geen probleem is?

Laat ik het verhaal ietsje uitbreiden:

Stel dat je als voorbeeld een server opstelt met 8 SSD's voor Storage, en 32GB RAM. Je maakt vervolgens 16 VM's met elk 2GB RAM en dus 2 machines per SSD.

Deze zouden qua RAM en qua IO niet tegen problemen aanlopen.

Hoe bereken je dan wat voor CPU je hiervoor zou gebruiken.

Hangt helemaal af van WAT je precies op die VM's gaat doen natuurlijk. Een 16 fileservers zouden met een Core i3 misschien al genoeg hebben. Ga je er op folden dan kom je met een dual cpu Xeon systeem nog tekort

[yeehaw]

redfoxert schreef op vrijdag 11 januari 2013 @ 20:43:
[...]


Hangt helemaal af van WAT je precies op die VM's gaat doen natuurlijk. Een 16 fileservers zouden met een Core i3 misschien al genoeg hebben. Ga je er op folden dan kom je met een dual cpu Xeon systeem nog tekort

Dat begrijp ik , maar is er niet een soort algemene guideline? Stel dat je een virtueel serverpark hebt dat diverse servers heeft. Zoals bijvoorbeeld webservers, databaseservers, AD-servers, Fileservers enz.

Je kan dan niet specifiek kijken naar de workload van één van deze. Hoe zou je een algemene inschatting kunnen maken wat goed genoeg is?

[Zenix]

yeehaw schreef op vrijdag 11 januari 2013 @ 20:45:
[...]


Dat begrijp ik , maar is er niet een soort algemene guideline? Stel dat je een virtueel serverpark hebt dat diverse servers heeft. Zoals bijvoorbeeld webservers, databaseservers, AD-servers, Fileservers enz.

Je kan dan niet specifiek kijken naar de workload van één van deze. Hoe zou je een algemene inschatting kunnen maken wat goed genoeg is?

Dan kom je bij de vraag wat draait er op de webserver, hoe groot is de database, hoeveel gebruikers zijn er in AD etc. Je moet niet denken bij ESXI ik moet 2GB per machine ik moet 2 cores per machine. Je kan het beste in virtueel geheugen en virtuele cpu kracht denken. In jouw voorbeeld kan je ook 16 VM's 3GB geheugen geven ook al heb je maar 32GB fysiek. Dat moet je natuurlijk niet doen als ze allemaal echt 2GB nodig hebben, maar als 1 machine af en toe 2GB nodig heeft en andere ook maar sommige soms meer dan 2GB dan kan je dat ook zo doen. Dat zelfde geld min of meer voor CPU, dat is de kracht van ESXI, zo efficiënt mogelijk om gaan met hardware. Je kan niet schatten als je niet weet wat je precies er allemaal mee gaat doen, en als je dat wel weet moet je testen of het genoeg is.

[ Voor 33% gewijzigd door Zenix op 11-01-2013 21:00 ]

[yeehaw]

Bedankt, dat beantwoord mijn vraag enigzins. Zijn er ook tooltjes om uit te rekenen hoeveel virtuele cpu kracht een bepaalde toepassing kost? Of is het vooral tijdens het bouwen van zo'n platform dat je ziet hoeveel extra of hoeveel minder je eigenlijk nodig hebt?

[Tha_Butcha]

Glival schreef op vrijdag 11 januari 2013 @ 14:58:

Even wat gedachtespinsels die zo door mijn hoofd schieten bij het lezen van je post:

CPU: lage TDP; VT-d; socket 1155 omdat m'n PC dat ook heeft, en ik zo onderdelen uit kan wisselen mocht dat nodig zijn

Volgens mux is een T versie niet uit qua verbruik. Kort door de bocht gezegd is het belangrijker dat ie krachtig is, zodat ie sneller rushed naar idled. En het verbruik wat je pc idle doet is veel relevanter (dat doet ie namelijk het grootste deel van je tijd). Check ook deze post.

Moederbord: goedkoop, 6x SATA, en volgens dit topic heeft 'ie ondersteuning voor VT-d, al is dat het enige wat ik er over kan vinden; heeft iemand er ervaring mee?

Geen ervaring mee, punt is wel dat Asus borden niet de naam hebben zuinig te zijn. En check of je daadwerkelijk je HD's via VT-d door kan gooien. Mijn bord (Asrock b75 Pro3-m) kan volgens de specs aan, maar in de praktijk gaat het toch niet helemaal super.

Behuizing: 5x SATA hot swap; klein

Hoeveel HD's plemp je erin, want ik kan me voorstellen als je hem helemaal vol gooit, dat de airflow niet echt optimaal is in zo'n klein kastje. Iets wat niet bevorderlijk is voor je HD's

Geheugen: zelfde als ik in m'n PC heb - mocht ik willen upgraden dan kan ik deze 2x 4GB verplaatsen naar m'n PC en 2x 8GB voor de server kopen

Aangezien je voor ZFS wil gaan, dan lijkt me 2*4GB vrij krap: als vuistregel moet je 1GB RAM voor 1TB space hanteren (bovenop wat je OS nodig heeft)

Harddisks ben ik nog niet helemaal uit; waarschijnlijk WD Green in RAIDZ1. Van wat ik heb gelezen is het gebruikelijk ESXi te installeren op een USB-stick?

USB Stick is wel zo makkelijk, Dan houdt je je data van je OS gescheiden, wel zo makkelijk. Hoef je ook niet te gaan kloten met partitionering e.d.

De VMs die ik tenminste wil draaien:
• NAS (FreeNAS?)
• Media server (mediatomb, Samba, torrent downloader)
• Development server (nginx, PostgreSQL, Rails etc)

Welk OS ga je als mediaserver draaien, windows of linux? En hoe ga je die aan je NAS koppelen, met SMB, of NFS? NFS is multithreaded, SMB niet.

[Glival]

Duidelijk, thanks! Misschien moet ik dan maar van mini-ITX afstappen; heb nog een tower staan.

#	Product	Prijs	Subtotaal
1	Intel Core i5 3570 Boxed	€ 183,80	€ 183,80
1	Intel Desktop Board DQ77MK	€ 122,90	€ 122,90
1	Corsair Vengeance CML16GX3M2A1600C10	€ 71,70	€ 71,70
1	Corsair Builder CX430	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 378,40

Is nog goedkoper ook

Tha_Butcha schreef op zaterdag 12 januari 2013 @ 00:52:
Welk OS ga je als mediaserver draaien, windows of linux? En hoe ga je die aan je NAS koppelen, met SMB, of NFS? NFS is multithreaded, SMB niet.

Linux of FreeBSD. SMB wil ik alleen gebruiken om drive(s) te mounten vanuit Windows.

[abusimbal]

Glival schreef op vrijdag 11 januari 2013 @ 16:13:
Ik kan geen moederbord vinden wat aan de volgende voorwaarden voldoet:
• Socket 1155
• mini-ITX
• VT-d
• minimaal 5x SATA
• AMT
• Gigabit LAN
Dus er moet wat afvallen... Een ander moederbord en daarnaast een PCI-express SATA-controller is een optie maar wordt wel een stuk duurder dan de €85 die de P8H77-I kost.

En de Jetway NF9E ? Ik heb deze thuis nog nieuw liggen, als iemand deze wil stuur maar een DM.
http://www.jetwaycomputer.com/NF9E.html

[FireDrunk]

Tha_Butcha schreef op zaterdag 12 januari 2013 @ 00:52:
Welk OS ga je als mediaserver draaien, windows of linux? En hoe ga je die aan je NAS koppelen, met SMB, of NFS? NFS is multithreaded, SMB niet.

Multithreaded NFS? Sinds wanneer?

[Glival]

abusimbal schreef op zaterdag 12 januari 2013 @ 16:56:
[...]


En de Jetway NF9E ? Ik heb deze thuis nog nieuw liggen, als iemand deze wil stuur maar een DM.
http://www.jetwaycomputer.com/NF9E.html

Ah, ik had gefilterd in de pricewatch maar daar staat 'ie niet in... Je hebt een DM

[JJFS]

analog_ schreef op vrijdag 11 januari 2013 @ 15:31:
[...]

De pricewatch: Intel Desktop Board DQ77KB, ben je wel gebonden aan so-dimm en externe voeding.

Die had ik helemaal over het hoofd gezien en na het lezen van mux z'n berichten over het hele internet is het nog een zeer goed moederbord ook.
Ik ben nu op onderstaande setup gekomen voor mijn ESXi servertje:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1225V2 Boxed	€ 196,-	€ 196,-
1	Intel Desktop Board DQ77KB	€ 120,-	€ 120,-
1	Lian Li PC-Q25B	€ 108,22	€ 108,22
1	Corsair Vengeance CMSX16GX3M2A1600C10	€ 79,90	€ 79,90
Bekijk collectie Importeer producten		Totaal	€ 504,12

Ik zag dat mux een (niet gespporte) i3570k werkend heeft gekregen op dit moederbord, dus ik hoop dat de E3-1225V2 gaat werken met z'n 77w TDP.
Op het internet helaas geen bevestiging kunnen vinden dat dit werkt, maar zag wel dat de nieuwere bios versies CPU modellen hebben uitgesloten dus ik ga ervan uit dat het met een oudere bios werkt.

Weet iemand of het mogelijk is om 1.35 volt memory te gebruiken in deze setup? Het moederbord ondersteund het iig wel, maar ik weet niet of er nog meer vereisten voor zijn.

[ Voor 3% gewijzigd door JJFS op 13-01-2013 10:04 ]

[FireDrunk]

Weet je zeker dat de Xeon gaat werken? Want Xeon's is een heel ander verhaal dan een i5.
Intel kan soms heel vervelend zijn als het gaat om CPU support.

[JJFS]

FireDrunk schreef op zondag 13 januari 2013 @ 10:16:
Weet je zeker dat de Xeon gaat werken? Want Xeon's is een heel ander verhaal dan een i5.
Intel kan soms heel vervelend zijn als het gaat om CPU support.

Nee dat weet ik niet, ik heb wel een supported CPU lijst gevonden van begin 2012 en daar stonden alle CPU's gewoon op die boven de 65w TDP waren (dus ook deze xeon).
Daarna is een bios update uitgekomen en zijn op de intel website alle CPU's met meer dan 65w TDP eraf gehaald.

[FireDrunk]

Lelijk, ik heb een DQ77MK en daar geld dat limiet volgens mij niet voor (verder exact hetzelfde bord...)

[Ultimation]

FireDunk heb jij misschien een soort van zuinigeste/best practice setup voor ESXi 5.1? Hoe zou jou ideale bak eruit zien?

Misschien wel leuk om dat aan de begin post toe te voegen.

[ppl]

FireDrunk schreef op zaterdag 12 januari 2013 @ 18:45:
Multithreaded NFS? Sinds wanneer?

Hij bedoeld misschien de parallelle toegangsmogelijkheid in NFSv4.1. Niet dat je er in de praktijk wat aan hebt aangezien NFSv3 en NFSv4 nog altijd de dienst uit maken.

[FireDrunk]

Echt zuinig? of met VT-d?

Want echt zuinig is zonder ZFS en zo...

Beste is denk ik een DQ77MK met een i3-3330 icm een flinke SSD.
PicoPSU kan prima. Dan zit je op iets van 15-17W denk ik, afhankelijk van je adapter.

Dat is mét VT-d en dus niet goedkoop.

Als je goedkoper wil, moet je naar B75,H61,H67 icm een G860 ofzo.

[Glival]

Ga toch voor een groter bord (geen mini-ITX); het wordt een van deze drie:
• pricewatch: Asrock Q77M vPro
• pricewatch: Gigabyte GA-Q77M-D2H
• pricewatch: Intel Desktop Board DQ77KB
Nadeel van het Intel-bord is dat 'ie 5x SATA heeft (beide andere borden 6x), en wat duurder is; maar in dit topic las ik dat 'ie wel heel zuinig is, en wellicht is de hardware-ondersteuning beter (hoewel de twee andere borden bijvoorbeeld ook Intel NICs hebben)?

[analog_]

Glival schreef op maandag 14 januari 2013 @ 02:27:
Ga toch voor een groter bord (geen mini-ITX); het wordt een van deze drie:
• pricewatch: Asrock Q77M vPro
• pricewatch: Gigabyte GA-Q77M-D2H
• pricewatch: Intel Desktop Board DQ77KB
Nadeel van het Intel-bord is dat 'ie 5x SATA heeft (beide andere borden 6x), en wat duurder is; maar in dit topic las ik dat 'ie wel heel zuinig is, en wellicht is de hardware-ondersteuning beter (hoewel de twee andere borden bijvoorbeeld ook Intel NICs hebben)?

Ook 2xgigabit op de intel vs 1x op de anderen.

[FireDrunk]

Die Intel heeft een mSATA slot erbij, dus met een mSATA -> SATA adapter heb je gewoon 6x sata.
Oh wacht je hebt het over de -KB, ik had het over de -MK

[ Voor 24% gewijzigd door FireDrunk op 14-01-2013 09:19 ]

[Glival]

Oeps die bedoelde ik ook ('t was al laat...): pricewatch: Intel Desktop Board DQ77MK.
Maar als ik het goed begrijp is de mSATA-aansluiting gedeeld met een reguliere SATA-aansluiting:

One internal SATA connector (multiplexed with an mSATA port, routed to the PCI
Express Full-/Half-Mini Card slot) (gray)

When an mSATA module is plugged into the PCI Express Full-Mini Card slot, SATA port
4 (colored gray) will be disabled automatically.

[FireDrunk]

Die andere is de eSATA poort...

[Glival]

Sorry ik begrijp je niet helemaal, welke andere is de eSATA-poort?

Uit de Integration Guide voor de DQ77MK:



En uit de manual:

1.5.4 SATA Interfaces
The board provides six SATA connectors, through the PCH, which support one device
each:
• Two SATA 6.0 Gb/s interfaces through the Intel Q77 Express Chipset with Intel®
Rapid Storage Technology RAID support (blue)
• Two internal SATA 3.0 Gb/s interfaces through Intel Q77 Express Chipset with Intel
Rapid Storage Technology RAID support (black)
• One internal SATA connector (multiplexed with an mSATA port, routed to the PCI
Express Full-/Half-Mini Card slot) (gray)
• One external eSATA 3.0 Gb/s interface (red)

Dus als ik het goed begrijp kan ik 5 interne HDDs gebruiken (waarvan 1 mSATA kan zijn, maar gewoon 5x SATA kan ook), en 1x eSATA. Een interne HDD aansluiten op de eSATA-connector zou misschien kunnen door een kabel via de buitenkant te laten lopen. Of lees ik het nou helemaal verkeerd? Zou kunnen hoor, heb nog niet zo veel koffie op

[FireDrunk]

2 blauw, 2 zwart, mSATA en eSATA, inderdaad. 6 in totaal dus.
Enige nadeel is, dat je dus eSATA weer naar binnen moet krijgen, maar daar zijn ook brackets voor te krijgen.



Zoiets dus.

[ Voor 31% gewijzigd door FireDrunk op 14-01-2013 11:10 ]

[Valkyre]

als het je om het aantal sata poorten gaat waarom neem je dan niet?
http://tweakers.net/pricewatch/310268/asrock-z77-pro4-m.html

Dan heb je er 8, en waarschijnlijk zuiniger dan full atx boord.

[FireDrunk]

De -MK is een mATX plank, en is stukkkkeen zuiniger dan elk Z77 bord dat je kan vinden.

Z77 is sowieso slechter dan Q77 (nou kan een fabrikant het natuurlijk heel bont maken, maar 99/100 is Q77 zuiniger.)

[Glival]

En de Q77 heeft coole features zoals AMT

Heeft iemand de ASRock Q77 vPro zonder problemen draaien icm ESXi 5.1 (RDM, AMT, werkende NIC, evt VT-d)?

[Compizfox]

Volgens mij heeft überhaupt niemand met ESXi 5.1 VT-d zonder problemen draaien

Hoop toch dat ze dat eens echt gaan fixen. En fix dan meteen de firmware van de geemuleerde LSI-controller

[ Voor 41% gewijzigd door Compizfox op 14-01-2013 13:19 ]

[FireDrunk]

Ik zal van de week eens ESXi 5.1 op mijn machine zetten... Moet ik eerst OF AMT aan de praat krijgen, OF een lege CD vinden

[Valkyre]

OF je zet de ISO op een usb stick

[FireDrunk]

En dan? ESXi vind dat niet zo leuk volgens mij...

[Valkyre]

ow ik heb mijn ESX met een USB stick op een andere USB stick geinstalleerd.
De iso heb ik met http://unetbootin.sourceforge.net/ gemaakt.
op 3 verschillende systemen van Msi en Asrock geen enkel probleem gehad.

Wat ik wel tegen kwam maar niet meer geldt voor 5x, was dat op 4x en lager je bepaalde bestanden moest aanpassen. Maar dat heb ik tot op heden niet nodig gehad met 5x

@hieronder, die vind ik helemaal sterk!

[ Voor 33% gewijzigd door Valkyre op 14-01-2013 13:52 ]

[Compizfox]

Ik heb ESXi vanaf USB-stick op dezelfde USB-stick geinstalleerd

Dat is mogelijk omdat de installer zich volledig in het RAM laadt (dat past wel), en je dan de USB-stick gewoon kunt overwriten.

[redfoxert]

Je kunt zelfs met VMware Workstation en de ISO een USB stick installeren met daarop ESXi. Gewoon bij het aanmaken van de VM kiezen voor een ESXi installatie bij het OS. ISO mounten en installeren naar de USB stick die je kunt koppelen aan de VM. Works like a charm.

[FireDrunk]

Dat is inderdaad wel een van de slimste manieren. Ik gebruik Workstation veel de laatste tijd
Gaan we vanavond eens proberen.

[Valkyre]

waarom nog workstation als je een esxi host hebt?

Ik heb juist van de week mijn workstation installatie gedinstalleerd omdat ik er geen nut meer in zag

[FireDrunk]

Ik heb geen ESXi momenteel

[analog_]

FireDrunk schreef op maandag 14 januari 2013 @ 18:23:
Ik heb geen ESXi momenteel

ban-hamer!