Zuinige ESXi Server

[Tsurany]

Ik zie geen reden waarom het niet zou kunnen.

[sphere]

FireDrunk schreef op donderdag 18 juli 2013 @ 08:51:
Jup, maar die kan je dan op SSD zetten toch?

En aan welke controller gaat hij die SSD hangen dan? Want hij neemt een 3330 om de controllers door te geven aan zijn VM via VT-D. Althans dat begreep ik er van. Dan is er voor ESXi geen disk meer zichtbaar om guests van te starten.

[gassiepaart]

Gameserver? Ik zie geen grafische kaart... of is het echt een game server en host je bv openttd?

[Tsurany]

Hij host de games, dus dan heb je geen grafische kaart nodig als je dedicated serverfiles kan gebruiken.

[Vuurvoske]

gassiepaart schreef op donderdag 18 juli 2013 @ 14:16:
Gameserver? Ik zie geen grafische kaart... of is het echt een game server en host je bv openttd?

Ik host een aantal games. Dedicated. Denk hierbij aan COD4, CSS, UT04. Bovendien zit er een onboard grafische chip in de CPU (Alhoewel die behoorlijk overkill is voor het af en toe checken en indien nodig herinstalleren van ESXI)

[ Voor 13% gewijzigd door Vuurvoske op 18-07-2013 14:19 ]

[FireDrunk]

Het verbruik van die GPU is praktisch nul als hij niets doet, dus het is de beste GPU die je kan hebben. Geen GPU in een systeem is ook onhandig...

[magic_japie]

Verwijderd schreef op woensdag 17 juli 2013 @ 14:07:
[...]


Ik ben deze week weer begonnen met ESXi gpu passthrough (voorheen Xen gebruikt), je moet echter wel een flinke bak geheugen reserveren en spelen in de vm configs met PCIhole.start en .end Heb nu een AMD HD5450(HTPC) en HD7950(Gaming bak) werkende.

Al om al, het werkt wel, maar je moet er wel het 1 en ander voor doen. Out of the box werkt het bijna niet.

Heb je toevallig links van websites hoe je dit gefixt hebt en een overzicht van de gebruikte hardware?
Ik ben al lange tijd naar zo'n config op zoek voordat ik ga investeren in nieuwe hardware.
Het liefst voor ESXI maar Xen mag natuurlijk ook.

[sphere]

Nou dit ofzo? Xen op freebsd als Domain 0 (host) + vga,usb,sound

[FrankGNL]

Compizfox schreef op woensdag 17 juli 2013 @ 15:50:
[...]

Ja dat werkt. Je moet spindown dan uiteraard op de VM configureren.

Ik heb spindown aanstaan op mijn RAID controller (LSI 9260) op 30 minuten en in Windows 2008 R2 op 20 minuten, maar nog steeds gebeurd er vrij weinig.
Het is een schone installatie, met niks geinstalleerd

Als ik de RAID controller direct doorgeef aan de VM werkt het wel.

Maar ik wil graag snapshots kunnen maken, daarom dat ik RDM wil.

[ Voor 5% gewijzigd door FrankGNL op 19-07-2013 22:08 ]

[Neptunus]

Verwijderd schreef op woensdag 17 juli 2013 @ 14:07:
[...]


Ik ben deze week weer begonnen met ESXi gpu passthrough (voorheen Xen gebruikt), je moet echter wel een flinke bak geheugen reserveren en spelen in de vm configs met PCIhole.start en .end Heb nu een AMD HD5450(HTPC) en HD7950(Gaming bak) werkende.

Al om al, het werkt wel, maar je moet er wel het 1 en ander voor doen. Out of the box werkt het bijna niet.

Kan je hierover meer uitleg geven. Wil graag in een VM xbmc draaien zodat mijn media bak uit kan. Draai nu toch al allees op mijn ESXi bak dus waarom ook niet een VM met GPU passthrough met xbmc.

[redfoxert]

Vuurvoske schreef op donderdag 18 juli 2013 @ 13:36:
Op de datastore staan in totaal 4 vm's. Ik wil RAID 1 vanuit het moederbord aanzetten. Zodat ik altijd een copy heb van de gehele datastore. Dus niet passthrough doorzetten aan 1 vm.

Probleem is echter dat hoogstwaarschijnlijk je datastore niet meer gevonden kan worden. ESX ondersteunt voor zover mij bekend geen Intel ICH RAID. Door het in RAID mode zetten van je controller verandert de PCI ID en die word dan niet meer ondersteunt door de ESX hypervisor.

[A1AD]

Neptunus schreef op zaterdag 20 juli 2013 @ 15:47:
[...]


Kan je hierover meer uitleg geven. Wil graag in een VM xbmc draaien zodat mijn media bak uit kan. Draai nu toch al allees op mijn ESXi bak dus waarom ook niet een VM met GPU passthrough met xbmc.

wat ik mij dan afvraag: staat je host dan dicht bij je tv? hoe breng je het video signaal tot aan je tv?

[Compizfox]

McGreenNL schreef op vrijdag 19 juli 2013 @ 20:55:
[...]


Ik heb spindown aanstaan op mijn RAID controller (LSI 9260) op 30 minuten en in Windows 2008 R2 op 20 minuten, maar nog steeds gebeurd er vrij weinig.
Het is een schone installatie, met niks geinstalleerd

Als ik de RAID controller direct doorgeef aan de VM werkt het wel.

Maar ik wil graag snapshots kunnen maken, daarom dat ik RDM wil.

Gebruik je ook ZFS? Dan kan ik dat Virtual RDM wat je gebruikt sterk afraden. ZFS wil graag een 'echte' schijf zien en geen block device (waar ESXi tussen zit met z'n snapshots)

Maar met Virtual RDM ga je inderdaad spindown niet werkend krijgen omdat ESXi daar zelf geen functie voor heeft.
Met Physical RDM kan het wel, omdat je dan een schijf doorgeeft ipv een block device.

[ Voor 13% gewijzigd door Compizfox op 21-07-2013 19:37 ]

[Neptunus]

A1AD schreef op zondag 21 juli 2013 @ 12:59:
[...]


wat ik mij dan afvraag: staat je host dan dicht bij je tv? hoe breng je het video signaal tot aan je tv?

Mijn server staat in de trapkast en met een HDMI kabel van 4 mtr. kom ik al een heel eind. Heb op het werk al eens een HDMI kabel van 12 mtr. geprobeerd en dat ging prima.

[FireDrunk]

Dat werkt wel, maar probeer er geen Blu-Ray over te sturen 1080p gaat wel, maar zodra je DTS Master HD mee gaat sturen gaat het geheel vaak bij > 10m sputteren.

[Neptunus]

FireDrunk schreef op zondag 21 juli 2013 @ 23:26:
Dat werkt wel, maar probeer er geen Blu-Ray over te sturen 1080p gaat wel, maar zodra je DTS Master HD mee gaat sturen gaat het geheel vaak bij > 10m sputteren.

Thanks zal ik daar rekening mee gaan houden. Denk dat ik met 6 mtr kabel van PC naar TV wel haal.

[FireDrunk]

Het ligt ook en beetje aan de kwaliteit van de kabel. Een kabel van 1,50eu/m haalt veelal kortere afstanden dan een kabel van 5eu/m.

Maar goed, dat hoort hier niet thuis

---
Leuk servertje HyperBart


Verbruik is dan weer jammer

[ Voor 33% gewijzigd door FireDrunk op 23-07-2013 21:49 ]

[magic_japie]

Verwijderd schreef op woensdag 17 juli 2013 @ 14:07:
[...]


Ik ben deze week weer begonnen met ESXi gpu passthrough (voorheen Xen gebruikt), je moet echter wel een flinke bak geheugen reserveren en spelen in de vm configs met PCIhole.start en .end Heb nu een AMD HD5450(HTPC) en HD7950(Gaming bak) werkende.

Al om al, het werkt wel, maar je moet er wel het 1 en ander voor doen. Out of the box werkt het bijna niet.

Hoe dik is je voeding? Bij 4Launch staat dat er minimaal een 400W voeding in moet als je de Radeon HD5450 wil gebruiken. Lijkt mij nogal overkill, maar omdat deze kaart niet duurt is en deze GPU passthrough ondersteunt...

[Kosty]

Eerder had ik al eens een mogelijke setup voor een ESXi-bak gepost die ik aan het overwegen was, maar het project is toen on hold gezet. Ondertussen is Haswell er en ik ben eens aan het kijken naar wat de mogelijkheden zijn.

Onderstaande combinatie is wat ik samengeraapt heb ondertussen:

#	Product	Prijs	Subtotaal
1	Intel Core i5 4570S Boxed	€ 171,40	€ 171,40
1	MSI B85-G41 PC Mate	€ 71,70	€ 71,70
1	Kingston ValueRAM KVR16N11/8	€ 53,95	€ 53,95
1	be quiet! System Power 7 300W	€ 31,20	€ 31,20
Bekijk collectie Importeer producten		Totaal	€ 328,25

Ik vraag me nog een paar dingen af:

• Hoe zit het met de B85 storage controller, is die ondersteund in ESXi (kan ik schijven er op aansluiten en gebruiken als datastore)
• Die B85 heeft 2x SATA2, 4x SATA3. Zouden die herkend worden als aparte controllers, zodat ik de SATA3 poorten kan doorgeven aan een VM?
• Wordt de onboard NIC herkend?
• Qua zuinigheid, is die voeding geen lichte overkill (icm een stuk of 6 SATA schijven) ? Zou er veel verschil zijn tussen deze en bv. een 120W PicoPSU in het uiteindelijke totale eindverbruik (ik hoop dat dit systeem lang geen 100W trekt?) ?

Hopelijk kan iemand me hier wat over vertellen want de informatie over ESXi setjes op Haswell is nogal... schaars. In totaal vind ik er zo 2 à 3 installaties op het internet die deftig gedocumenteerd zijn, beide gebruiken ze moederborden met de Z87 chipset, zwaardere CPUs (de 4770(s)) en zwaardere voedingen en toch komen ze steeds nog <100W. Daar heb ik dus niet veel aan bij het vergelijken. De vragen die ik heb worden bijlange niet beantwoord.

[FireDrunk]

1) Ja, maar alleen in AHCI modus.
2) Nee, dat is 1 controller
3) Herkend misschien wel, maar of hij stabiel werkt is altijd maar de vraag, de één heeft nooit problemen met zijn Realtek NIC onder ESXi, de ander alleen maar.
4) Bij spinup trekken 6 schijven meer dan 100W, nou kan een PicoPSU wel wat hebben bij startup, maar het moet ook weer niet te gek worden. Ik geloof dat veel mensen zeggen dat zonder staggered spinup de max op 4 schijven lag ofzo, maar pin me er niet op vast.

Overigens: waarom de -S versie? De gewone versie is even duur en sneller.

[ Voor 7% gewijzigd door FireDrunk op 24-07-2013 20:56 ]

[Kosty]

FireDrunk schreef op woensdag 24 juli 2013 @ 20:55:
1) Ja, maar alleen in AHCI modus.
2) Nee, dat is 1 controller
3) Herkend misschien wel, maar of hij stabiel werkt is altijd maar de vraag, de één heeft nooit problemen met zijn Realtek NIC onder ESXi, de ander alleen maar.
4) Bij spinup trekken 6 schijven meer dan 100W, nou kan een PicoPSU wel wat hebben bij startup, maar het moet ook weer niet te gek worden. Ik geloof dat veel mensen zeggen dat zonder staggered spinup de max op 4 schijven lag ofzo, maar pin me er niet op vast.

Overigens: waarom de -S versie? De gewone versie is even duur en sneller.

Bedankt voor je snelle antwoord! Alleen in AHCI modus, daarmee bedoel je dus dat die onboard RAID niet gaat werken? Da's geen probleem, was ik ook niet van plan
In mijn huidige (oude) setup gebruik ik de onboard (Realtek) NIC, samen met een PCI NIC en dat gaat tot nu toe zonder problemen. Gelukkig heb ik eventueel die PCI NICs nog voor moest het toch slecht gaan.

Eh wel, de TDP ligt 20w lager. De "Turbo boost" haalt de CPU naar dezelfde 3.6 Ghz als de niet-S versie.
Volgens de volgende link is het verschil in performance niet heel groot, terwijl het verschil in performance/watt wél groot is: http://cpuboss.com/cpus/I...70S-vs-Intel-Core-i5-4570
Uiteraard zijn dat gewoon maar wat getallen, dat zegt niets over de praktijk. Denk je dat het een merkbaar verschil zou zijn, S tegen "niet S", zowel in performance als in verbruik?

[Tsurany]

TDP is niet heel interessant, dat is gewoon de maximale prestaties beperken waardoor het maximale verbruik ook beperkt wordt. Het verbruik op dezelfde snelheid zal gewoon even snel zijn.

[FireDrunk]

cpuboss is niet echt een goede referentie, die rekenen alleen Ghz/W volgens mij, en staven maar weinig info uit benchmarks.

Liever even AnandTech of iets dergelijks raadplegen.

[Kosty]

Tsurany schreef op woensdag 24 juli 2013 @ 21:25:

TDP is niet heel interessant, dat is gewoon de maximale prestaties beperken waardoor het maximale verbruik ook beperkt wordt. Het verbruik op dezelfde snelheid zal gewoon even snel zijn.

Ah, goed om te weten! Dan heeft het in feite inderdaad geen zin om zo'n S-reeks te kiezen, het wordt dus de 4570.

FireDrunk schreef op woensdag 24 juli 2013 @ 21:31:
cpuboss is niet echt een goede referentie, die rekenen alleen Ghz/W volgens mij, en staven maar weinig info uit benchmarks.

Liever even AnandTech of iets dergelijks raadplegen.

Goed om te weten! Ik gebruik die CPUboss ook maar als vergelijktool, maar eerlijk toegegeven wist ik niet wat het verschil tussen een S en "niet S" was in de praktijk

[ Voor 9% gewijzigd door Kosty op 24-07-2013 21:55 ]

[Tsurany]

Ik heb op dit moment last van een vrij hoog idle verbruik met de volgende setup: gallery: Tsurany

Het idle verbruik zit op de 61 watt en dan heb ik in FreeNAS ingesteld dat alle hardeschijven in standby mode gaan na 5 minuten idle. Dit doen ze ook want tijdens het benaderen van de share hoor je de schijven opspinnen.
Dus die 61 watt is, naar mijn idee, puur het systeem plus de schijf voor de datastore. Dat lijkt mij aan de hoge kant. Op het moederbord zijn alle stroombesparende features aangezet en ook in ESXi staat hij in gesteld op "Low power". Waar gaat het mis?

[FireDrunk]

Een schijf in spindown is niet uit, die verbruikt vaak nog 1-1.5W (voor de printplaat enzo).
Als je dus 8 schijven hebt, zit je al snel aan 10-12W idle verbruik.
Als je basisset 40W doet onder ESXi is het zuinig, en dan heb je nog wat verlies vanwege de voeding.

Overigens is Low Power helemaal niet het zuinigst, Custom is veel beter.
Zet bij Advanced Settings -> Power
De volgende opties aan:
"Use C-States" en "Use P-States".

Dat scheelt vaak al een paar watt.

[ Voor 28% gewijzigd door FireDrunk op 25-07-2013 23:20 ]

[Tsurany]

Schijven in standby zouden naar wat ik las zo'n 0,5W moeten verbruiken maar kennelijk is dat toch wat meer. Dan is 9x1,5W al snel ~14W, toch aardig wat. Ik had gehoopt toch wel rond de 20W idle te komen maar dat blijft dus een illusie? Zal gelijk die custom settings eens toepassen.

[Compizfox]

Het verschilt natuurlijk ook wat per schijf. Moet je even Mux' blog lezen, die heeft volgens mij wel eens uitgezocht wat nu echt zuinige schijven zijn

[gitaarwerk]

Vraagje voor de storage kenners; aangezien ik niet nog een server erbij wil kopen, maar wellicht gewoon het volgende doen: (geen kaas van iscsi gegeten)

Kan ik als ik een zeg: Hp proliant n54l servertje heb met daar 4 schijven in, doorgeven via netwerk middells iscsi. Vervolgens deze meegeven aan Freenas onder een VM, zodat deze zfs raidz kan krijgen?

Zou dit veel performance verliezen??

Als ik wel esxi draai met vt-d als een van de zuinige servers hier besproken,.. Zonder ECC dan, is dit dan echt belangrijk. Voor mij gaat het om 95% storage welke niet critisch is, maar die andere 5% wel. Documenten, administratie etc. Ik zou evt nog backups kunnen maken of syncen met dropbox oid (maar nu ben ik niet zo weg van dropbox privacy)

[FireDrunk]

Waarom kan je niet gewoon FreeNAS op die N54L zetten?

[gitaarwerk]

FireDrunk schreef op zondag 28 juli 2013 @ 10:30:
Waarom kan je niet gewoon FreeNAS op die N54L zetten?

Dat is een hele goede vraag. Daar heb ik zeker ook aan zitten denken. Met name hierom:

Ik zou graag toch ESXi draaien om zo met HA en vMotion te gaan spelen. Ik heb sowieso nog een HBA en 16GB ECC ram liggen, dus kan ik zo gebruiken . Qua prijs maakt het allemaal niet erg uit, tenzij ik weer voor een grotere unit ga als een Xeon proc,..alhoewel het ook maar echt 15 euro scheelt,...

Voornamelijk wil ik alles aan ESXi hangen qua beheer en SSL service uitschakelen op een aantal VM's.

Ohg ja, wellicht wil ik op de FreeNas server ook PLEX draaien met evt een videokaart voor transcoding. Maar zit even te kijken hoe datr gebruik is. Ik ga nog wat testen doen met PLEX hoeveel resources die gebruikt met transcoden. edit: PMS support geen hardware accelatie dus

[ Voor 22% gewijzigd door gitaarwerk op 28-07-2013 11:07 ]

[FireDrunk]

Je wil dus 2 hosts, die elk lokale storage hebben, en daarmee testen hoe HA werkt. Dat gaat natuurlijk niet werken, want HA en vMotion vereist clustered storage (een SAN / NAS) die voor beide machines bereikbaar is.

Beste advies wat ik je kan geven is: Bespaar niet op een te simpele oplossing, als je echt wil leren hoe HA en vMotion werkt, moet je gewoon een degelijk cluster neerzetten.
Het hoeft niet duur te zijn:

wenslijst: ESXi (Intel)

Ik zit er zelf ook naar te kijken om dit clustertje naast mijn huidige ESXi bak (Opteron met 64GB) te zetten.
Hierdoor kan ik spelen met ESXi en/of Hyper-V. Storage heb ik dan ofwel op de Opteron, of zelfs op mijn reguliere FreeBSD ZFS NAS.

[ Voor 56% gewijzigd door FireDrunk op 28-07-2013 12:27 ]

[gitaarwerk]

FireDrunk schreef op zondag 28 juli 2013 @ 12:25:
Je wil dus 2 hosts, die elk lokale storage hebben, en daarmee testen hoe HA werkt. Dat gaat natuurlijk niet werken, want HA en vMotion vereist clustered storage (een SAN / NAS) die voor beide machines bereikbaar is.

Beste advies wat ik je kan geven is: Bespaar niet op een te simpele oplossing, als je echt wil leren hoe HA en vMotion werkt, moet je gewoon een degelijk cluster neerzetten.
Het hoeft niet duur te zijn:

wenslijst: ESXi (Intel)

Ik zit er zelf ook naar te kijken om dit clustertje naast mijn huidige ESXi bak (Opteron met 64GB) te zetten.
Hierdoor kan ik spelen met ESXi en/of Hyper-V. Storage heb ik dan ofwel op de Opteron, of zelfs op mijn reguliere FreeBSD ZFS NAS.

Eigenlijk net wat anders hoe je dat stelt.

Ik heb op beide machines een aantal VM's draaien. DE iSCSI storage is gewoon beschikbaar voor een enkele andere VM..misschien word het ook maar gewoon via 1 gbit netwerk. Nog niet helemaal over uit.

Uiteindelijk zijn er 4 vm's welke ik met vMotion/HA wil spelen mee. Dat zijn eigenlijk gewoon de simepel apache machines en percona mysql apart. Die delen geen storage enzovoorts.

De cluster die je opgeeft is inderdaad best nice. Is he tnodig dat de hardware exact hetzelfde is? (ik heb nl net de Dell besteld, en heb geen zin om nogmaals hetzelfde bedrag uit te geven ) In worst case scenario..dan maar geen HA vMotion ;-)

Ik lees dit uit de handleiding:

Configure hosts for vMotion with shared storage to ensure that virtual machines are accessible to both source and target hosts.

During a migration with vMotion, the migrating virtual machine must be on storage accessible to both the source and target hosts. Ensure that the hosts configured for vMotion use shared storage. Shared storage is typically on a storage area network (SAN), but can also be implemented using iSCSI and NAS shared storage

Wat ik daaruit lees is dat je dus een shared storage moet gebruiken. Dus inderdaad aparte storage zetten via een lan-disk of een (Free)Nas box. In dat laatste geval, zou het wellicht iets -te- duur zijn om dit te doen, vooral omdat naast het systeem welke je opgeeft, ook nog voedingen en kast bijkomen. Dan heb ik naast de NAS de andere machine puur voor HA/vMotion...dat vind ik weer wat TE als je begrijpt wat ik bedoel . Uiteindelijk wil ik spelen omdat het kan, maar om er nogmaals dus twee systemeen bij te kopen ipv de 1 geplanned, denk ik dat ik het ga laten zitten. Ik was er eigenlijk vanuit gegaan (das dus heel gevaarlijk) dat via een bv vlan een dedicated vMotion gblan tussen de twee machines genoeg was.

Uiteindelijk maakt het niet echt uit, maar als het kon, wilde ik het proberen

[ Voor 3% gewijzigd door gitaarwerk op 28-07-2013 15:34 ]

[FireDrunk]

Ik denk dat je het nog niet helemaal begrijpt. vMotion is het verhuizen van een VM naar een andere machine terwijl hij draait. Als je lokale storage gebruikt, hoe kan de andere machine dan bij de data van de inkomende VM? Je hebt daar altijd shared storage voor nodig.

HA (High Availibility) is het mechanisme wat ervoor zorgt dat VM's weer opgestart worden als er een host uit klapt. Als die host je datastore is voor de andere host, stoppen direct alle VM's op je 2e ESXi host, ookal werkt die nog prima. Ook voor HA heb je dus shared storage nodig.

En zeggen dat Apache geen shared storage gebruikt klopt dus niet, de vDisk waar het OS op staat moet dus op Shared Storage liggen.

Wat je in theorie wel kan doen, is vESXi doen. Je kan onder ESXi nog een ESXi draaien.

Dus HyperVisor -> 2 VM's -> 1 VM die je vMotioned tussen de 2 virtuele ESXi machines.
Daardoor kan je wel weer spelen met vMotion en HA als technieken.

Het is niet snel, maar het kan wel.

[gitaarwerk]

FireDrunk schreef op zondag 28 juli 2013 @ 15:38:
Ik denk dat je het nog niet helemaal begrijpt. vMotion is het verhuizen van een VM naar een andere machine terwijl hij draait. Als je lokale storage gebruikt, hoe kan de andere machine dan bij de data van de inkomende VM? Je hebt daar altijd shared storage voor nodig.

HA (High Availibility) is het mechanisme wat ervoor zorgt dat VM's weer opgestart worden als er een host uit klapt. Als die host je datastore is voor de andere host, stoppen direct alle VM's op je 2e ESXi host, ookal werkt die nog prima. Ook voor HA heb je dus shared storage nodig.

En zeggen dat Apache geen shared storage gebruikt klopt dus niet, de vDisk waar het OS op staat moet dus op Shared Storage liggen.

Wat je in theorie wel kan doen, is vESXi doen. Je kan onder ESXi nog een ESXi draaien.

Dus HyperVisor -> 2 VM's -> 1 VM die je vMotioned tussen de 2 virtuele ESXi machines.
Daardoor kan je wel weer spelen met vMotion en HA als technieken.

Het is niet snel, maar het kan wel.

Thanks voor de uitleg. Snap het wel..maar 't is zondag denk ik Zit er toch met mijn hoofd niet helemaal bij . Zoals je het stelt is het inderdaad onzin wat ik zeg .

Betreft Apache wilde ik hiermee stellen dat HA alleen voor die vm's gebruikt zal worden. De storage delen dacht ik op een andere manier

Maar wel begrijpelijk zo. Uiteindelijk is het een beetje te dure grap voor thuis denk ik (extra systeem + energiekosten), aangezien ik niet als studie doe.

Uiteindelijk gaat het leuk worden als je echt een dedicated SAN/NAS hebt. Cluster is eigenlijk beetje overdone nog. Later denk ik bij een nieuw huisje, als het allemaal wat noodzakelijker is als alles altijd up is.

[jadjong]

Vmotion kan zowel met local storage als met shared storage.
Als je shared storage gebruikt zal Vsphere de inhoud van het vram kopieren naar de andere host en dan ben je klaar. Met local storage wordt naast vram ook akke vmdk's gekopieerd. Voordeel is dat je de vm geen reboot hoeft te geven, nadeel is dat je tientallen GB's van de vmdk over het netwerk gooit en dat de vm tijdens het kopieren niet vooruit te branden is.

[gitaarwerk]

jadjong schreef op zondag 28 juli 2013 @ 22:43:
Vmotion kan zowel met local storage als met shared storage.
Als je shared storage gebruikt zal Vsphere de inhoud van het vram kopieren naar de andere host en dan ben je klaar. Met local storage wordt naast vram ook akke vmdk's gekopieerd. Voordeel is dat je de vm geen reboot hoeft te geven, nadeel is dat je tientallen GB's van de vmdk over het netwerk gooit en dat de vm tijdens het kopieren niet vooruit te branden is.

Hmm.. dan zou dat wel gaan denk ik. Uiteindelijk zal de GB's over netwerk niet uitmaken want wil er een dedicated vlan voor hebben met eigen NIC's (als ik ze dan toch heb ). Ik denk dat het gewoon wat spelen word dus =). Zo'n SAN oplossing is wel wat netter denk ik.

[FireDrunk]

Voor Share Nothing vMotion heb je toch nog steeds een betaalde versie van ESXi nodig inc vCenter?
(nou snap ik dat er genoeg manieren zijn om dat te doen hoor , tell me about it )

[gitaarwerk]

FireDrunk schreef op maandag 29 juli 2013 @ 08:35:
Voor Share Nothing vMotion heb je toch nog steeds een betaalde versie van ESXi nodig inc vCenter?
(nou snap ik dat er genoeg manieren zijn om dat te doen hoor , tell me about it )

Voor zover ik weet wel ja

[analog_]

@FireDrunk, aspiratie om mijn SSD array te overdonderen? (SAN wenslijstje)

[FireDrunk]

oh nee, gewoon voor de lol lijstjes samenstellen

[ Voor 4% gewijzigd door FireDrunk op 29-07-2013 18:50 ]

[A1AD]

zijn er goede argumenten om voor Haswell te gaan? zal esx van de extra power saving functies gebruik kunnen maken?

[FireDrunk]

Nope, ik verwacht het niet. Maar dannog zal Haswell waarschijnlijk zuiniger zijn dan Ivy Bridge.
Maar of je dat terugverdient (want er zijn nog geen Haswell Celeron's)

[ Voor 73% gewijzigd door FireDrunk op 01-08-2013 23:54 ]

[FrankGNL]

Compizfox schreef op zondag 21 juli 2013 @ 19:36:
[...]

Gebruik je ook ZFS? Dan kan ik dat Virtual RDM wat je gebruikt sterk afraden. ZFS wil graag een 'echte' schijf zien en geen block device (waar ESXi tussen zit met z'n snapshots)

Maar met Virtual RDM ga je inderdaad spindown niet werkend krijgen omdat ESXi daar zelf geen functie voor heeft.
Met Physical RDM kan het wel, omdat je dan een schijf doorgeeft ipv een block device.

Het is een fysieke rdm omdat mijn logische volume 12TB is. De vm is geinstalleerd met windows 2008r2, en hier staan de power settings op low en spindown nu op 30 minuten
Ik heb het getest met hyperv en daar werkt het wel.

[defusion]

Ik ben eens rond aan het kijken om de storage van mijn ESXI servertje uit te breiden.
Momenteel heb ik het gros van mijn data op de desktop staan, terwijl de ESXI o.a. als downloadserver fungeert.

Ik heb echter slechts plek voor 1 schijf in de mediacenter behuizing die ik gebruik voor de server.
Daarom zat ik te denken aan een externe behuizing voor de schijven, en vroeg me af of iemand daar ervaring mee heeft.
Ik denk bijv. aan zoiets: pricewatch: Icybox IB-3640SU3 Zwart

Het nadeel echter, is dat het weer een aparte voeding heeft, en dus weer extra stroom verbruikt.
Enig idee hoeveel dit zal zijn?

Alternatief neem ik ziets: pricewatch: Icydock MB974SP-B
maar dan "extern", als in de sata/power kabels doortrekken tot buiten de behuizing.

tips?
Of dan toch maar een andere, goedkope, behuizing zoeken?

[Tsurany]

Wat voor hardware heb je nu? Zijn wel een aantal relatief kleine behuizingen die 6 harde schijven kwijt kunnen. Die zijn goedkoper dan die Icybox dingetjes. Vraag is vooral of je huidige systeem compatibel is.

[defusion]

een mATX bordje (met esata en 4x gewone sata), i3. Verder weet ik het even niet specifiek.

Deze kast heb ik nu: http://store.antec.com/Pr...350/0-761345-15737-7.aspx
Even uitgaande dat het geen speciale maat voeding is zou ik die wel kunnen hergebruiken.

Deze staat in een dichte dressoir, dus ruimte is wel een issue, maar het hoeft niet mooi te zijn.

Ik hoop inderdaad onder de 100 euro klaar te zijn, buiten de aanschijf van de extra harde schijven.
6 drive bays is mooi. 4 zou voorlopig voldoende moeten zijn, gezien het aantal sata aansluitingen.

[Tsurany]

Je kan dan denken aan bijvoorbeeld zo'n kast: pricewatch: Silverstone Precision PS07
Of iets duurder: pricewatch: Lian Li PC-V354B
Of iets lelijker: pricewatch: Xigmatek Gigas

[ Voor 16% gewijzigd door Tsurany op 02-08-2013 10:36 ]

[defusion]

Die silverstone ziet er inderdaad goed uit. lian-li, mooi as usual, maar te duur.

Ik ga me als ik thuis ben eens alles opmeten, dan kan ik in de pricewatch de maximale afmetingen invoeren.
Zag nog wat goedkope atx behuizingen van 30-40 euro, maar eens even kijken of dat ook past (al dan niet liggend). Hoewel de silverstone waarschijnlijk wat degelijker en belangrijker: stiller zal zijn.

Deze zit rond dezelfde prijs als de silverstone: pricewatch: Fractal Design Define Mini en is ook maar 2cm hoger.

[Tsurany]

Dat is idd ook een aardige kast. Even kijken hoeveel ruimte je hebt en wat je dus kwijt kan. Is er wel genoeg ventilatie in het dressoir? Meer schijven betekent meer warmte.

[defusion]

Er zit een gat in de achterkant, verder hooguit een kiertje onder de deur.

Het wordt wel wat warmer in de kast, maar het valt naar mijn idee nog reuze mee.

[Compizfox]

McGreenNL schreef op vrijdag 02 augustus 2013 @ 09:10:
[...]
Het is een fysieke rdm omdat mijn logische volume 12TB is. De vm is geinstalleerd met windows 2008r2, en hier staan de power settings op low en spindown nu op 30 minuten
Ik heb het getest met hyperv en daar werkt het wel.

Met physical RDM kun je geen snapshots maken

Het enige dat ik kan vertellen, is dat je spindown in je guest (Windows Server 2008 dus) moet configureren. Hoe je dat precies moet doen kan ik je helaas niet vertellen (heb geen ervaring met Windows Server)

[FrankGNL]

Compizfox schreef op vrijdag 02 augustus 2013 @ 12:45:
[...]

Met physical RDM kun je geen snapshots maken

Het enige dat ik kan vertellen, is dat je spindown in je guest (Windows Server 2008 dus) moet configureren. Hoe je dat precies moet doen kan ik je helaas niet vertellen (heb geen ervaring met Windows Server)

Ik heb met fysieke rdm wel met snapshots kunnen werken, dan moet je volgens mij de disk independent maken, zal het vanavond nog eens proberen.

[hans_lenze]

McGreenNL schreef op vrijdag 02 augustus 2013 @ 13:24:
[...]


Ik heb met fysieke rdm wel met snapshots kunnen werken, dan moet je volgens mij de disk independent maken, zal het vanavond nog eens proberen.

Dan heb je dus geen snapshot van de schijf die je met RDM doorgeeft. Ergo: snapshots werken niet met fysieke RDMs.

[FrankGNL]

hans_lenze schreef op vrijdag 02 augustus 2013 @ 13:27:
[...]


Dan heb je dus geen snapshot van de schijf die je met RDM doorgeeft. Ergo: snapshots werken niet met fysieke RDMs.

Sorry, misschien heb ik het dan niet goed uitgelegd, als ik mijn raid controller direct doorgeef kan ik helemaal geen snapshot maken van mijn os disk, en dit is voor mij wel een must voor backup van de os disk.

Ga vanavond nog eens kijken of ik de disk spin down kan krijgen.

Bedankt voor de reacties

[ Voor 29% gewijzigd door FrankGNL op 02-08-2013 13:39 ]

[FrankGNL]

Spindown werkt nu eindelijk ik moest de lsi sas drivers aanpassen en het volgende toevoegen aan het inf filetje

---

[Install_AddReg_HW]
HKR, "StorPort", "EnableIdlePowerManagement", 0x00010001, 0x01

---

Daarna drivers opnieuw installeren.

[Compizfox]

McGreenNL schreef op vrijdag 02 augustus 2013 @ 13:24:
[...]


Ik heb met fysieke rdm wel met snapshots kunnen werken, dan moet je volgens mij de disk independent maken, zal het vanavond nog eens proberen.

Het lijkt me sterk dat dat kan, want Physical RDM geeft de schijf 'als schijf' door (iit tot Virtual RDM, wat de schijf als block device doorgeeft).
Het lijkt me dus niet dat ESXi een mogelijkheid heeft tot toegang tot die schijf, eigenlijk net zoals je geen twee fysieke schijfcontrollers toegang kunt geven tot 1 fysieke SATA/SCSI-schijf.

[hans_lenze]

Compizfox schreef op zondag 04 augustus 2013 @ 21:46:
[...]

Het lijkt me sterk dat dat kan, want Physical RDM geeft de schijf 'als schijf' door (iit tot Virtual RDM, wat de schijf als block device doorgeeft).
Het lijkt me dus niet dat ESXi een mogelijkheid heeft tot toegang tot die schijf, eigenlijk net zoals je geen twee fysieke schijfcontrollers toegang kunt geven tot 1 fysieke SATA/SCSI-schijf.

Hij maakt wel degelijk een snapshot van de virtuele machine maar hij slaat de schijven die als independent gemarkeerd zijn over (maakt dus geen snapshot van de schijven die dmv een physical RDM zijn doorgegeven).

Of dat nuttig of gewenst is, is een ander verhaal.

[ThinkPad]

Over spindown vond ik hier ook nog wat interessants:
http://www.avsforum.com/t...-renovation#post_22661985

Je moet inderdaad de .inf aanpassen. Maar 2 posts daaronder staat nog een tip, namelijk de SMART daemon van ESXi zelf uitschakelen, omdat hij anders om de 30 min. je disks alsnog laat opspinnen.

Zou het aanpassen van de driver, en daarbij spindown werkend krijgen, ook werken voor de Paravirtual controller? Die gebruik ik namelijk voor m'n RDM, omdat de Paravirtual een betere performance zou bieden dan de LSI

[FrankGNL]

ThinkPadd schreef op zondag 04 augustus 2013 @ 22:46:
Over spindown vond ik hier ook nog wat interessants:
http://www.avsforum.com/t...-renovation#post_22661985

Je moet inderdaad de .inf aanpassen. Maar 2 posts daaronder staat nog een tip, namelijk de SMART daemon van ESXi zelf uitschakelen, omdat hij anders om de 30 min. je disks alsnog laat opspinnen.

Zou het aanpassen van de driver, en daarbij spindown werkend krijgen, ook werken voor de Paravirtual controller? Die gebruik ik namelijk voor m'n RDM, omdat de Paravirtual een betere performance zou bieden dan de LSI

Dat had ik inderdaad ook gelezen en gelijk toegepast. Spin Down werkt erg goed hier

[FireDrunk]

Vast wel, de Paravirtual Controller is in feite ook gewoon een SAS controller. Enige verschil is dat de laagjes die ertussen zitten veel dunner zijn, en dat SAS commando's direct aan de host driver van ESXi worden gegeven (er vind dus (bijna) geen emulatie plaats). Qua spindown zou dit dus gewoon moeten werken, tenzij VMware zo lief is geweest om een of ander filter voor de spindown commando's in te bouwen...

[FrankGNL]

FireDrunk schreef op maandag 05 augustus 2013 @ 10:44:
Vast wel, de Paravirtual Controller is in feite ook gewoon een SAS controller. Enige verschil is dat de laagjes die ertussen zitten veel dunner zijn, en dat SAS commando's direct aan de host driver van ESXi worden gegeven (er vind dus (bijna) geen emulatie plaats). Qua spindown zou dit dus gewoon moeten werken, tenzij VMware zo lief is geweest om een of ander filter voor de spindown commando's in te bouwen...

Heb dit zojuist getest met dezelfde aanpassing in de driver file en het werkt

[ThinkPad]

Super, ga ik dat ook even doen!

Heb je die SMART Daemon ook uitgeschakeld?

Edit: Bij mij staat die [Shutdown_addreg] sectie niet in de pvscsi.inf (op de floppy vanaf vmimages op datastore)
Heb jij die er gewoon bij in gezet, en die waarde eronder bijgeplakt?

[ Voor 98% gewijzigd door ThinkPad op 06-08-2013 18:02 ]

[FrankGNL]

ThinkPadd schreef op dinsdag 06 augustus 2013 @ 16:07:
Super, ga ik dat ook even doen!

Heb je die SMART Daemon ook uitgeschakeld?

Edit: Bij mij staat die [Shutdown_addreg] sectie niet in de pvscsi.inf (op de floppy vanaf vmimages op datastore)
Heb jij die er gewoon bij in gezet, en die waarde eronder bijgeplakt?

SMART daemon heb ik ook uitgezet ja

Bij mij stond [Shutdown_addreg] er ook niet, ik heb hem gewoon onderaan neergezet

[ThinkPad]

Okidoki, even proberen

[HKLM_]

Vandaag ook mijn ESXI servertje maar eens in elkaar gezet.

1. CPU = Intel Core i3-2620T 2,6GHZ
2. Moederbord = Gigabyte H77-D3H
3. RAM = 12 GB DDR3 Kingston 1333
4. HDD = OCZ Vertex 2 120GB
5. HDD = WD 500 GB Green
6. Energie = 40/45 Watt

De CPU draait nu standaard op 1,6 GHZ met een max van 2,6.

Voor het beheren van de machine heb ik de Vsphere client gedownload, deze is echter maar 60 dagen geldig. Wat gebruiken /raden jullie aan om de machine na deze 60 dagen te beheren ?

[ Voor 6% gewijzigd door HKLM_ op 10-08-2013 16:56 . Reden: Nieuw HDD, ]

[Tsurany]

De cliënt is onbeperkt bruikbaar en niet onderhevig aan licenties, de licentie van de server is de gene die verloopt. Hier kan je echter gewoon een gratis key voor aanvragen, zie: http://communities.vmware...d/414015?start=0&tstart=0

[HKLM_]

Thanks voor de reactie ben nog redelijk nieuw in de VMWare world maar dit komt wel goed

Tsurany schreef op vrijdag 09 augustus 2013 @ 18:01:
De cliënt is onbeperkt bruikbaar en niet onderhevig aan licenties, de licentie van de server is de gene die verloopt. Hier kan je echter gewoon een gratis key voor aanvragen, zie: http://communities.vmware...d/414015?start=0&tstart=0

[Kosty]

Ondertussen heb ik mijn set dus binnen (4570, MSI B85-G41), maar nu ben ik nog op zoek naar een HBA voor passthrough naar een FreeNAS VM. Aangezien de interne SATA controller niet door te geven valt ben ik op zoek naar een controller die ik wel kan doorgeven, maar liefst dus zo simpel mogelijk aangezien ik ga werken met software RAID. Nu zit het zo dat ik 2x 3TB schijven heb, dus zo'n LSI 3041E (of een controller gebasseerd op dezelfde chipset) gaat niet werken, die ondersteunen blijkbaar maximum 2TB schijven.

Wat is nu een goed alternatief? Liefst niet te duur, maarja

[redfoxert]

Kosty schreef op zondag 11 augustus 2013 @ 23:26:
Ondertussen heb ik mijn set dus binnen (4570, MSI B85-G41), maar nu ben ik nog op zoek naar een HBA voor passthrough naar een FreeNAS VM. Aangezien de interne SATA controller niet door te geven valt ben ik op zoek naar een controller die ik wel kan doorgeven, maar liefst dus zo simpel mogelijk aangezien ik ga werken met software RAID. Nu zit het zo dat ik 2x 3TB schijven heb, dus zo'n LSI 3041E (of een controller gebasseerd op dezelfde chipset) gaat niet werken, die ondersteunen blijkbaar maximum 2TB schijven.

Wat is nu een goed alternatief? Liefst niet te duur, maarja

IBM M1015

[wopie]

Ik ben aan het nadenken over hoe ik een efficient zuinig ESXi-systeem kan opzetten zonder al te hoge kosten. Hierbij heb ik al een Synology NAS (DS411) die 24x7 draait, en ik heb pas geleden een Samsung 840 SSD (non-pro) aangeschaft om mijn huidige server wat snelheid te geven t.o.v. een enkele 160GB IDE disk (deze server is een AMD 705e met 5GB).

Op dit moment gebruik ik de VMWare eigenlijk puur als remote-client om naar huis te kunnen connecten, ik zou echter graag meer willen doen (lab-omgeving maken van x-aantal host voor testen met tiering, ik doe veel met netwerken en dan zijn generieke vm-clients zo handig om in netwerken te hangen om hiermee te testen hoe je connectivity is, spelen met diverse OS'en, etc).
Ik verwacht dus 3 VM's continue te draaien als "productie" en de rest zal aan en uit gezet worden.

Om snelheid in het geheel te krijgen heb ik ervaren dat vmware graag IO doet, hiervoor leek mij de SSD een mooie start (meerdere SSD's in raid lijkt me wat overkill aangezien ik nog niet weet hoe 1 SSD zal presteren). Na installatie van de SSD blijkt inderdaad dat van latency oid geen sprake is (eerdere tests met NFS-share op mijn Synology die met 4x WD green's is uitgerust waren niet positief. Hierna heb ik nog met een HP P212 met 2x SAS 146GB 3,5inch van het werk kunnen spelen, dit ging al beter, echter boel lawaai en stroomverbruik verwacht ik ook van dat het nogal op zal lopen tijdens 24x7 aan laten staan).

mijn opties (zoals ik die zie):
- SSD voor de Guests-datastore gebruiken (ESXi ondersteund geen TRIM, dus hoe lang zal dit goed gaan?), backups zal ik dan naar de NAS gaan schrijven (moet nog wel even uitzoeken op wat voor manier, maar het internet zal hier denk ik genoeg oplossingen voor aandragen)

- SSD in de Synology (DSM4.3beta gaat TRIM ondersteunen) en deze via NFS aanbieden aan de ESXi (zal de latency in het LAN een issue gaan zijn? Tis 1Gbps, maar dan nog. Aangezien de NAS toch altijd 24x7 aan staat lijkt me dit wel een mooie oplossing, mooi zuinig CPU'tje ala G1610 oid met 32Gb RAM erbij en hoppa, gaan).

- SSD in de ESXi icm een 2,5Inch diskje waarbij een VM-host de SSD gepasstrought krijgt zodat er TRIM support kan zijn (op deze manier kan ik dan VM's via NFS op deze virtuele-host draaien, aangezien er binnen ESXi praktisch geen bottleneck is voor LAN-speed zou ik niet de 1Gbps bottleneck ervaren die ik via mijn LAN wel zou hebben). Nadeel is van deze setup dat je IOMMU of VT-D moet hebben, kortom, duurdere componenten.

Kortom, ik denk middels de SSD performance te kunnen halen bij gelijktijdig actieve VM's (met weinig vertraging via RDP etc), alleen weet ik nog niet hoe (ik wil weinig geld uitgeven en weinig verbruik overhouden, dus mobo/cpu/mem/PSU is eigenlijk al wel de max).

Hebben jullie nog ideeen?
NFS als datastore icm Gbps-LAN, hoe performed dit (ervaringen)?
SSD onder ESXi, doen zonder TRIM support (die nieuwe SSD-cache feature, is dat misschien wat)?
overigens mik ik op een idle -verbruik < 30watt (net als de NAS nu al doet)

Ik ben benieuwd.

[om3ega]

Ik heb een aantal componenten samengesteld voor een ESXi server. Aanschaf zal waarschijnlijk binnen 1 maand geschieden.

Onder deze lijst een motivatie van mijn keuzes. Ik ben benieuwd naar jullie opmerkingen / verbeterpunten.

#	Product	Prijs	Subtotaal
1	Intel Core i5 3570S Tray	€ 188,80	€ 188,80
1	Intel Desktop Board DQ77KB	€ 127,-	€ 127,-
1	Western Digital Red WD30EFRX, 3TB	€ 116,99	€ 116,99
1	Lian Li PC-V354B	€ 142,60	€ 142,60
1	be quiet! Shadow Rock Top Flow SR1	€ 41,60	€ 41,60
2	Kingston ValueRAM KVR16S11/8	€ 54,94	€ 109,88
1	Samsung SH-224BB Zwart	€ 14,95	€ 14,95
Bekijk collectie Importeer producten		Totaal	€ 741,82

Processor
De Intel Core i5 3570S is een processor compatible met het DQ88KB moederbord. Meer TDP accepteerd het moederbord niet. Deze processor heeft alle virtualizatie truckjes aan boord.

Moederbord
Gewoon een mooi bordje. Externe power supply nodig (geen issue) , 2 Netwerk kaarten (1 x Netwerk , 1 x iSCSI) , zuinig ..

Harddisk
Deze disk komt niet in de server (deze zal helemaal disk-loos worden) , deze 3TB disk komt in mijn Synology 1512+ , waar ik nog 1 slot vrij heb. Hier ga ik een 500GB iSCSI lun maken voor de VM's. De Synology en de ESXi server zullen d.m.v. een crosscable met elkaar verbonden staan puur voor iSCSI verkeer.

kast
Ik vermoed dat deze kast prima voldoet aan mijn wensen (filters, koeling, grote , looks e.t.c.)

koeling
Dit leek me een mooie stille practische koeling voor deze kast + processor. Maar ik ben niet echt thuis in deze materie

Geheugen
Het bordje ondersteunt max. 16GB (Genoeg voor mijn wensen) geheugen. Dus 2 x 8GB geheugen er in. Compatible volgens een site die buiten Intel om allemaal geheugen modules test. Dit is het snelste geheugen wat beschikbaar is voor dit moederbord.

DVD
Gewoon een goedkope DVD reader / writer puur voor practische doeleinden. Zal verder nauwelijks gebruikt worden.

De server zal dus zonder disken zijn en opstarten van een USB Key. Al de storage zal via iSCSI en de NAS lopen. Een 1:1 koppeling tussen de NAS en de server (zonder switch er tussen)

Uiteindelijke doel : Wellicht komt er nog een Duel NIC Intel kaartje in en zal ik mijn router vervangen door een Linux setup , Asterisk server , en verder wat Windows 2008 en 2012 studeer mogelijkheden. Geen hele zware dingen.

Het uiteindelijke doel is wel dat de server 24h blijft draaien, maar een laag idle gebruik heeft. Bursten moet wel mogelijk zijn.

[FireDrunk]

wopie schreef op maandag 12 augustus 2013 @ 17:49:
Ik ben aan het nadenken over hoe ik een efficient zuinig ESXi-systeem kan opzetten zonder al te hoge kosten. Hierbij heb ik al een Synology NAS (DS411) die 24x7 draait, en ik heb pas geleden een Samsung 840 SSD (non-pro) aangeschaft om mijn huidige server wat snelheid te geven t.o.v. een enkele 160GB IDE disk (deze server is een AMD 705e met 5GB).

Op dit moment gebruik ik de VMWare eigenlijk puur als remote-client om naar huis te kunnen connecten, ik zou echter graag meer willen doen (lab-omgeving maken van x-aantal host voor testen met tiering, ik doe veel met netwerken en dan zijn generieke vm-clients zo handig om in netwerken te hangen om hiermee te testen hoe je connectivity is, spelen met diverse OS'en, etc).
Ik verwacht dus 3 VM's continue te draaien als "productie" en de rest zal aan en uit gezet worden.

Om snelheid in het geheel te krijgen heb ik ervaren dat vmware graag IO doet, hiervoor leek mij de SSD een mooie start (meerdere SSD's in raid lijkt me wat overkill aangezien ik nog niet weet hoe 1 SSD zal presteren). Na installatie van de SSD blijkt inderdaad dat van latency oid geen sprake is (eerdere tests met NFS-share op mijn Synology die met 4x WD green's is uitgerust waren niet positief. Hierna heb ik nog met een HP P212 met 2x SAS 146GB 3,5inch van het werk kunnen spelen, dit ging al beter, echter boel lawaai en stroomverbruik verwacht ik ook van dat het nogal op zal lopen tijdens 24x7 aan laten staan).

mijn opties (zoals ik die zie):
- SSD voor de Guests-datastore gebruiken (ESXi ondersteund geen TRIM, dus hoe lang zal dit goed gaan?)

ESXi 5.1 herkend wel echt SSD's (en noemt ze ook zo), maar of het ook TRIM doet weet ik niet zeker, ik verwacht het eerlijk gezegd wel.

, backups zal ik dan naar de NAS gaan schrijven (moet nog wel even uitzoeken op wat voor manier, maar het internet zal hier denk ik genoeg oplossingen voor aandragen)

GhettoVCB is je vriend.

- SSD in de Synology (DSM4.3beta gaat TRIM ondersteunen) en deze via NFS aanbieden aan de ESXi (zal de latency in het LAN een issue gaan zijn? Tis 1Gbps, maar dan nog. Aangezien de NAS toch altijd 24x7 aan staat lijkt me dit wel een mooie oplossing, mooi zuinig CPU'tje ala G1610 oid met 32Gb RAM erbij en hoppa, gaan).

De CPU in een NAS is denk ik niet snel genoeg om een SSD echt ten volle te benutten, ook inderdaad vanwege latency. SSD over LAN is leuk, maar je verliest wel een hoop snelheid.

- SSD in de ESXi icm een 2,5Inch diskje waarbij een VM-host de SSD gepasstrought krijgt zodat er TRIM support kan zijn (op deze manier kan ik dan VM's via NFS op deze virtuele-host draaien, aangezien er binnen ESXi praktisch geen bottleneck is voor LAN-speed zou ik niet de 1Gbps bottleneck ervaren die ik via mijn LAN wel zou hebben). Nadeel is van deze setup dat je IOMMU of VT-D moet hebben, kortom, duurdere componenten.

Waar wil je de SSD naartoe passthroughen? Naar 1 VM? Dan hebben de rest van de VM's er weer geen lol van... En VT-d is alleen voor het doorgeven van controllers, niet voor SSD's zelf.

Kortom, ik denk middels de SSD performance te kunnen halen bij gelijktijdig actieve VM's (met weinig vertraging via RDP etc), alleen weet ik nog niet hoe (ik wil weinig geld uitgeven en weinig verbruik overhouden, dus mobo/cpu/mem/PSU is eigenlijk al wel de max).

Hebben jullie nog ideeen?
NFS als datastore icm Gbps-LAN, hoe performed dit (ervaringen)?
SSD onder ESXi, doen zonder TRIM support (die nieuwe SSD-cache feature, is dat misschien wat)?
overigens mik ik op een idle -verbruik < 30watt (net als de NAS nu al doet)

Ik ben benieuwd.

Ik zou gewoon een goede SSD kopen waarvan bekend is dat hij aggresieve garbage collection heeft.
De Crucial M500 of de oudere M4 hebben aggresieve Garbage Collection voor zover ik weet.

Ik draai hier thuis ESXi op een Samsung 830 256GB, en dat gaat al jaren goed, zonder enige vorm van slijtage.

om3ega schreef op woensdag 14 augustus 2013 @ 14:11:
Ik heb een aantal componenten samengesteld voor een ESXi server. Aanschaf zal waarschijnlijk binnen 1 maand geschieden.

Onder deze lijst een motivatie van mijn keuzes. Ik ben benieuwd naar jullie opmerkingen / verbeterpunten.

#	Product	Prijs	Subtotaal
1	Intel Core i5 3570S Tray	€ 188,80	€ 188,80
1	Intel Desktop Board DQ77KB	€ 127,-	€ 127,-
1	Western Digital Red WD30EFRX, 3TB	€ 116,99	€ 116,99
1	Lian Li PC-V354B	€ 142,60	€ 142,60
1	be quiet! Shadow Rock Top Flow SR1	€ 41,60	€ 41,60
2	Kingston ValueRAM KVR16S11/8	€ 54,94	€ 109,88
1	Samsung SH-224BB Zwart	€ 14,95	€ 14,95
Bekijk collectie Importeer producten		Totaal	€ 741,82

Processor
De Intel Core i5 3570S is een processor compatible met het DQ88KB moederbord. Meer TDP accepteerd het moederbord niet. Deze processor heeft alle virtualizatie truckjes aan boord.

Moederbord
Gewoon een mooi bordje. Externe power supply nodig (geen issue) , 2 Netwerk kaarten (1 x Netwerk , 1 x iSCSI) , zuinig ..

De tweede netwerkkaart op dat bord is *iets* minder snel dan de eerste, of dat komt omdat hij gedeeld is met Intel AMT weet ik niet, maar tests hier met iperf gaven 10-15% verschil in sommige gevallen. Niet dat het heel veel boeit, maar wees je er van bewust als je met iSCSI gaat rommelen

Harddisk
Deze disk komt niet in de server (deze zal helemaal disk-loos worden) , deze 3TB disk komt in mijn Synology 1512+ , waar ik nog 1 slot vrij heb. Hier ga ik een 500GB iSCSI lun maken voor de VM's. De Synology en de ESXi server zullen d.m.v. een crosscable met elkaar verbonden staan puur voor iSCSI verkeer.

Allemaal leuk, maar je writes zullen nog steeds bagger traag zijn zeer waarschijnlijk. Tenzij jouw NAS op een hele vieze manier aan Write caching doet zal je ESXi server persé synced writes willen doen, en het geheel zal dus niet snel zijn...

kast
Ik vermoed dat deze kast prima voldoet aan mijn wensen (filters, koeling, grote , looks e.t.c.)

koeling
Dit leek me een mooie stille practische koeling voor deze kast + processor. Maar ik ben niet echt thuis in deze materie

Geheugen
Het bordje ondersteunt max. 16GB (Genoeg voor mijn wensen) geheugen. Dus 2 x 8GB geheugen er in. Compatible volgens een site die buiten Intel om allemaal geheugen modules test. Dit is het snelste geheugen wat beschikbaar is voor dit moederbord.

DVD
Gewoon een goedkope DVD reader / writer puur voor practische doeleinden. Zal verder nauwelijks gebruikt worden.

Dat bord heeft Intel AMT, dus die heb je niet nodig, je kan remote ISO's mounten over het netwerk.

De server zal dus zonder disken zijn en opstarten van een USB Key. Al de storage zal via iSCSI en de NAS lopen. Een 1:1 koppeling tussen de NAS en de server (zonder switch er tussen)

Uiteindelijke doel : Wellicht komt er nog een Duel NIC Intel kaartje in en zal ik mijn router vervangen door een Linux setup , Asterisk server , en verder wat Windows 2008 en 2012 studeer mogelijkheden. Geen hele zware dingen.

Het uiteindelijke doel is wel dat de server 24h blijft draaien, maar een laag idle gebruik heeft. Bursten moet wel mogelijk zijn.

Klinkt verder prima, ik zou toch een lokale mSATA SSD er in zetten, dan kan je de VM waar je echt druk mee bezig bent daar op zetten, en zodra je hem even niet nodig hebt, verhuis je hem gewoon naar je NAS.

Ohja, de boxed koeler is stil zat naar mijn mening, dus zo'n extra koeler is overbodig

[ Voor 41% gewijzigd door FireDrunk op 14-08-2013 14:35 ]

[om3ega]

@Firedunk

Bedankt voor je reactie!

De synology NAS ondersteund "VM VAAI"

vStorage APIs for Array Integration is a feature introduced in ESXi/ESX 4.1 that provides hardware acceleration functionality. It enables your host to offload specific virtual machine and storage management operations to compliant storage hardware. With the storage hardware assistance, your host performs these operations faster and consumes less CPU, memory, and storage fabric bandwidth.

Ik hoop hiermee toch nog een goede performance te halen via ISCSI. Als in de praktijk blijkt dat de performance ver onder de maat is kan ik altijd nog overwegen om een local SSD te plaatsen zoals je voorstelde.

Verder zal die 10 / 15% performance verlies voor de MGT kant niet echt merkbaar zijn. Bedankt voor de tip, ik had hier nog niet van gehoord. Het mounten van ISO's a-la "dRAC / iLO" is ook gaaf, maar ik ga toch voor een local DVD storage, voor dat geld hoef ik het niet te laten.

[HyperBart]

FireDrunk schreef op woensdag 14 augustus 2013 @ 14:30:
[...]

ESXi 5.1 herkend wel echt SSD's (en noemt ze ook zo), maar of het ook TRIM doet weet ik niet zeker, ik verwacht het eerlijk gezegd wel.

ESXi ondersteunt GEEN trim, raar maar waar.

[ Voor 73% gewijzigd door HyperBart op 14-08-2013 17:09 ]

[FireDrunk]

HyperBart schreef op woensdag 14 augustus 2013 @ 17:08:
[...]

ESXi ondersteunt GEEN trim, raar maar waar.

Wat is het toch ook troep....

[FireDrunk]

om3ega schreef op woensdag 14 augustus 2013 @ 16:49:
@Firedunk

Bedankt voor je reactie!

De synology NAS ondersteund "VM VAAI"

vStorage APIs for Array Integration is a feature introduced in ESXi/ESX 4.1 that provides hardware acceleration functionality. It enables your host to offload specific virtual machine and storage management operations to compliant storage hardware. With the storage hardware assistance, your host performs these operations faster and consumes less CPU, memory, and storage fabric bandwidth.

Ik hoop hiermee toch nog een goede performance te halen via ISCSI. Als in de praktijk blijkt dat de performance ver onder de maat is kan ik altijd nog overwegen om een local SSD te plaatsen zoals je voorstelde.

Verder zal die 10 / 15% performance verlies voor de MGT kant niet echt merkbaar zijn. Bedankt voor de tip, ik had hier nog niet van gehoord. Het mounten van ISO's a-la "dRAC / iLO" is ook gaaf, maar ik ga toch voor een local DVD storage, voor dat geld hoef ik het niet te laten.

VM VAAI integratie betekend alleen maar dat je NAS een aantal iSCSI commando's ondersteund welke ervoor zorgen dat bijvoorbeeld eager zeroing door je NAS gedaan word ipv door je ESXi host... Verder scheelt het voor gewone performance (random iops) niets.

Zo'n DVD speler verbruikt vaak idle een paar watt... Daarom is het zonde. Je kan hem natuurlijk fysiek afkoppelen, en alleen aankoppelen als je hem nodig hebt, (doe ik ook).

[om3ega]

FireDrunk schreef op woensdag 14 augustus 2013 @ 17:57:
[...]

VM VAAI integratie betekend alleen maar dat je NAS een aantal iSCSI commando's ondersteund welke ervoor zorgen dat bijvoorbeeld eager zeroing door je NAS gedaan word ipv door je ESXi host... Verder scheelt het voor gewone performance (random iops) niets.

Zo'n DVD speler verbruikt vaak idle een paar watt... Daarom is het zonde. Je kan hem natuurlijk fysiek afkoppelen, en alleen aankoppelen als je hem nodig hebt, (doe ik ook).

Ok, thanks voor de info. Hoopte inderdaad wat meer IOPS te halen hiermee .. De DVD speler loskoppelen , prima tip ..

Synology geeft overigens zelf aan dat meerdere ISCSI paths best-practise is (via verschillende subnets) .. Dus dit zou ik ook nog kunnen proberen.

Bron

Maar misschien voor de beste performance, en uiteindelijk ook het laagste energie verbruik moet ik gewoon voor een SSD gaan voor de local datastore.

pricewatch: Samsung 840 EVO 250GB Deze bijvoorbeeld.

Dan komt de SATA-600 ook nog eens goed van pas.

[Deem007492]

Ik overweeg onderstaande aan te schaffen voor mijn 1e ESXI server. Hierbij ontvang ik graag enkele adviezen van de specialisten op dit forum.

Functies server:

• pfSense: router, firewall en openVPN
• Windows 7 of Windows 8 tbv crashplan backups, windows shares, prive gebruik (remote via werk laptop)
• 2e windows 7 voor testdoeleinden
• SBS 2011 standaard (backups testen)

Opslag. Ik wil niet al te veel belast worden met beheer en twijfel daardoor over het volgende:

• Raid 10: 4x 3TB, eenvoudig
• Raid-Z2: 6x 2TB (mbv Freenas, ZFSguru, napp-it All-In-One)

Vragen:

1. keuze voor windows 7 of 8? Met Win 8 ben ik niet bekend.
2. Opslag:
   • welke oplossing is de beste keuze, Raid10 of Raid-Z2?
   • Raid 10: kan ik deze via ESXI benaderen met de standaard M1015 firmware?
   • Welke software is eenvoudig in beheer? Freenas, ZFSguru of napp-it All-In-One?
3. Werkt het backuppen van Crashplan naar een network share goed met de mklink /d functie?
4. Onderstaande hardware oké of overkill?
   • Voor de VM opslag heb ik nog 2x 1TB disks beschikbaar voor Raid 1.
   • SSD is voor ZFS cache zil and L2ARC, noodzakelijk?

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 204,10	€ 204,10
1	Supermicro X9SCM-IIF	€ 192,39	€ 192,39
6	Western Digital Green WD20EARX, 2TB	€ 81,90	€ 491,40
1	Nexus Thrio 310 Silent Case	€ 39,40	€ 39,40
1	Intel Gigabit CT Desktop Adapter	€ 24,-	€ 24,-
1	Microsoft Windows 7 Professional SP1 (NL, OEM, 64-Bit)	€ 122,14	€ 122,14
2	Silverstone SST-CP06 4x SATA	€ 8,49	€ 16,98
2	Scythe Slip Stream SY1225SL12L, 120mm	€ 6,15	€ 12,30
1	Corsair XMS3 CMX32GX3M4A1600C11	€ 238,50	€ 238,50
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
1	Intel 320 80GB	€ 127,50	€ 127,50
Bekijk collectie Importeer producten		Totaal	€ 1.645,29

[gitaarwerk]

Deem007492 schreef op woensdag 14 augustus 2013 @ 22:00:
Ik overweeg onderstaande aan te schaffen voor mijn 1e ESXI server. Hierbij ontvang ik graag enkele adviezen van de specialisten op dit forum.

Functies server:

• pfSense: router, firewall en openVPN
• Windows 7 of Windows 8 tbv crashplan backups, windows shares, prive gebruik (remote via werk laptop)
• 2e windows 7 voor testdoeleinden
• SBS 2011 standaard (backups testen)

Opslag. Ik wil niet al te veel belast worden met beheer en twijfel daardoor over het volgende:

• Raid 10: 4x 3TB, eenvoudig
• Raid-Z2: 6x 2TB (mbv Freenas, ZFSguru, napp-it All-In-One)

Vragen:

1. keuze voor windows 7 of 8? Met Win 8 ben ik niet bekend.
2. Opslag:
   • welke oplossing is de beste keuze, Raid10 of Raid-Z2?
   • Raid 10: kan ik deze via ESXI benaderen met de standaard M1015 firmware?
   • Welke software is eenvoudig in beheer? Freenas, ZFSguru of napp-it All-In-One?
3. Werkt het backuppen van Crashplan naar een network share goed met de mklink /d functie?
4. Onderstaande hardware oké of overkill?
   • Voor de VM opslag heb ik nog 2x 1TB disks beschikbaar voor Raid 1.
   • SSD is voor ZFS cache zil and L2ARC, noodzakelijk?

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 204,10	€ 204,10
1	Supermicro X9SCM-IIF	€ 192,39	€ 192,39
6	Western Digital Green WD20EARX, 2TB	€ 81,90	€ 491,40
1	Nexus Thrio 310 Silent Case	€ 39,40	€ 39,40
1	Intel Gigabit CT Desktop Adapter	€ 24,-	€ 24,-
1	Microsoft Windows 7 Professional SP1 (NL, OEM, 64-Bit)	€ 122,14	€ 122,14
2	Silverstone SST-CP06 4x SATA	€ 8,49	€ 16,98
2	Scythe Slip Stream SY1225SL12L, 120mm	€ 6,15	€ 12,30
1	Corsair XMS3 CMX32GX3M4A1600C11	€ 238,50	€ 238,50
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
1	Intel 320 80GB	€ 127,50	€ 127,50
Bekijk collectie Importeer producten		Totaal	€ 1.645,29

Hoeveel netwerkaansluitingen heb je nodig? Nu heb je 4 aansluitingen waaronder 1 voor de IPMI is, 2 intels + een intel CT.

Ik heb deze combi ongeveer gehad. Doet idle met ongeveer zelfde specs zo'n 55W (4x 3TB schijven in zfs2, via freenas in esxi met m1015 passtrough, pfsense en nog een aantal vm's).

Ik heb zelf RED gekozen. Voglens mij scheelt het iets qua wattage per schijf. Even uit mijn hofod niet het prijsverschil. RED geeft me een toch beter gevoel (ja, niets onderbouwd dus, want TLER heb je eigenlijk dan niet echt nodig met zFS).

Voor 6 schijven zou ik zfs2 nemen,

Overigens, waarom niet 4x3 ? scheelt wat meer stroom


Doe me een lol, en kies ook gewoon voor ECC geheugen Een ding wat je niet moet vergeten met het bord.. je moet deze flashen.

Daarbij ook nog je miniSAS kabels niet vergeten.

Ik zou je windows voor shares niet eens gebruiken. Kan FreeNas allemaal prima. Ik heb overigens ook nog met openmediavault gespeeld, maar ind persoonlijk dat echt een stuk rommeliger dan FreeNas. Zit gewoon veel in, en werkt heel snel heel goed. Ook Pfsense erg over te spreken (vooral met DNS beheer erg fijn)

Je keis nu voor een intel 320. Stabiele dingen, maar wellicht is de Samsung 840 ook goed gewoon, en steek je dat geld weer in je zak voor een iets betere case. Fractal Design bijvoorbeeld. Heb je ook ruimte voor uitbereiding.

(kleine tip nog bij dat bord.. zet je watchdog uit, in ieder geval bij installatie )

verder op je vragen:

keuze voor windows 7 of 8? Met Win 8 ben ik niet bekend.
--> windows 8 is wat zuiniger en snappier. Zitten zeker wat voordelen aan. Interface is wel erg anders.

Opslag:
welke oplossing is de beste keuze, Raid10 of Raid-Z2?
--> Z2 is prima. ZFS is gewoon stuk netter en veiliger (zie meerdere topics) kost je wel geheugen. 32GB is niet overdreven (als je meer vm's wilt draaien dan alleen een fileserver en router/firewall)

Raid 10: kan ik deze via ESXI benaderen met de standaard M1015 firmware?
---> je kan een iSCSI/NFS shares maken en benaderen via FreeNas bijvoorbeeld. Wel je m1015 passthrough geven met VT-d.

Welke software is eenvoudig in beheer? Freenas, ZFSguru of napp-it All-In-One?
--> Ik ken alleen FreeNas van deze, die vond ik erg fijn.

Werkt het backuppen van Crashplan naar een network share goed met de mklink /d functie?
--> geen idee
Onderstaande hardware oké of overkill?
Voor de VM opslag heb ik nog 2x 1TB disks beschikbaar voor Raid 1.
SSD is voor ZFS cache zil and L2ARC, noodzakelijk?
--> SSD is niet noodzakelijk. Alleen als je veel bestanden continue aanroept is een L2ARC wel fijn. Soms kan je ZIL juist je boel onveiliger maken. Zijn veel discussies nog over . Ik heb destijds met een 120GB intel ssd een L2ARC gemaakt. Merkte zelf het verschil niet.. ;-) (kleine werkomgeving)
Misschien kun je beter wat VM's gewoon op de SSD zetten en daarvanaf laden. Snapshots via NFS/iSCSI naar je FreeNas sturen...en daar weer backuppen. Klaar .

Alles is intern dus zou snel moeten gaan.

Waarvoor heb je 3 netwerkaansluitingen nodig? Ga je scheiden met vLans / Lans, of apart iSCSI storage netwerk maken?

[ Voor 10% gewijzigd door gitaarwerk op 14-08-2013 23:37 ]

[FireDrunk]

Deem007492 schreef op woensdag 14 augustus 2013 @ 22:00:
Ik overweeg onderstaande aan te schaffen voor mijn 1e ESXI server. Hierbij ontvang ik graag enkele adviezen van de specialisten op dit forum.

Functies server:

• pfSense: router, firewall en openVPN
• Windows 7 of Windows 8 tbv crashplan backups, windows shares, prive gebruik (remote via werk laptop)
• 2e windows 7 voor testdoeleinden
• SBS 2011 standaard (backups testen)

Opslag. Ik wil niet al te veel belast worden met beheer en twijfel daardoor over het volgende:

• Raid 10: 4x 3TB, eenvoudig
• Raid-Z2: 6x 2TB (mbv Freenas, ZFSguru, napp-it All-In-One)

Vragen:
[list=1]
• keuze voor windows 7 of 8? Met Win 8 ben ik niet bekend.
• Opslag:
[list]
• welke oplossing is de beste keuze, Raid10 of Raid-Z2?

Dat ligt er 100% aan hoe je het wil gebruiken, RAID10 of beter gezegd, meerdere mirror VDEV's in ZFS termen, geven vaak iets betere performance (qua IOPS), RAIDZ2 is goedkoper omdat je minder overhead hebt.

• Raid 10: kan ik deze via ESXI benaderen met de standaard M1015 firmware?

Ik snap de vraag niet zo goed, ESXi benaderen doe je via een client? Niet via een controller?
Of bedoel je, kan ik een M1015 gebruiken onder ESXi met de standaard firmware? Dan is het antwoord Nee, je moet hem van nieuwe firmware voorzien.

• Welke software is eenvoudig in beheer? Freenas, ZFSguru of napp-it All-In-One?

Dat ligt aan je eisen. ZFSguru is heel makkelijk voor hetgeen het kan, maar alle dingen die het niet kan moeten via de command line. FreeNAS is ook heel makkelijk, maar daar kan je zelf weinig aan veranderen qua software/installatie. Nas4Free is ook prima, maar sommigen hebben iets meer moeite met die interface (hoewel ik hem persoonlijk prima vind), en NAS4Free heeft veel meer functionaliteit dan ZFSguru.
Napp-IT is voor Solaris, en dat is weer een hele andere tak van sport.

[/list]
• Werkt het backuppen van Crashplan naar een network share goed met de mklink /d functie?

Waarom wil je gebruik maken van mklink /d ? Crashplan kan gewoon naar netwerk shares backuppen, zijn zat tutorials voor.

• Onderstaande hardware oké of overkill?

Dat ligt er aan hoe zwaar de VM's gebruikt gaan worden, als jij de enige bent die de server gebruikt, zal het ding 99% van de tijd uit zijn neus staan te eten...

• Voor de VM opslag heb ik nog 2x 1TB disks beschikbaar voor Raid 1.
• SSD is voor ZFS cache zil and L2ARC, noodzakelijk?

[/list]

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 204,10	€ 204,10
1	Supermicro X9SCM-IIF	€ 192,39	€ 192,39
6	Western Digital Green WD20EARX, 2TB	€ 81,90	€ 491,40
1	Nexus Thrio 310 Silent Case	€ 39,40	€ 39,40
1	Intel Gigabit CT Desktop Adapter	€ 24,-	€ 24,-
1	Microsoft Windows 7 Professional SP1 (NL, OEM, 64-Bit)	€ 122,14	€ 122,14
2	Silverstone SST-CP06 4x SATA	€ 8,49	€ 16,98
2	Scythe Slip Stream SY1225SL12L, 120mm	€ 6,15	€ 12,30
1	Corsair XMS3 CMX32GX3M4A1600C11	€ 238,50	€ 238,50
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
1	Intel 320 80GB	€ 127,50	€ 127,50
Bekijk collectie Importeer producten		Totaal	€ 1.645,29

Een Intel 320 is een beetje oud, en je kan beter gaan voor een Crucial M500, is goedkoper en bied dezelfde zekerheid.

Ohja, en Gitaarwerk let wel goed op, ECC is niet alleen HEM een lol doen, maar eerder JEZELF.

Zonder ECC werkt jou setup namelijk niet, want dat moederbord slikt geen non-ECC geheugen icm een Xeon.

[gitaarwerk]

FireDrunk schreef op donderdag 15 augustus 2013 @ 09:13:
[...]

Ohja, en Gitaarwerk let wel goed op, ECC is niet alleen HEM een lol doen, maar eerder JEZELF.

Zonder ECC werkt jou setup namelijk niet, want dat moederbord slikt geen non-ECC geheugen icm een Xeon.

, ik heb niet zonder -ecc ram geprobeert (dus heb je er een goed punt mee), maar vind als je dan toch zo'n setup neemt en 24/7, dat ecc niet een overbodige luxe is. Zou een no-brainer moeten zijn

[FireDrunk]

Ach, ik geef er niet zo heel veel om... ECC is een leuk extratje voor servers, maar voor thuisbakjes die de hele dag idle staan erg duur.

[gitaarwerk]

FireDrunk schreef op donderdag 15 augustus 2013 @ 13:01:
Ach, ik geef er niet zo heel veel om... ECC is een leuk extratje voor servers, maar voor thuisbakjes die de hele dag idle staan erg duur.

Desijds voor weinig euro extra gekocht, dus valt mee. Misschien nu even andes

[Tsurany]

FireDrunk schreef op donderdag 15 augustus 2013 @ 13:01:
Ach, ik geef er niet zo heel veel om... ECC is een leuk extratje voor servers, maar voor thuisbakjes die de hele dag idle staan erg duur.

Erg duur als je het nieuw koopt, tweedehands is ECC geheugen vrij goedkoop omdat bijna niemand het wilt hebben.

[wopie]

[...]
Waar wil je de SSD naartoe passthroughen? Naar 1 VM? Dan hebben de rest van de VM's er weer geen lol van... En VT-d is alleen voor het doorgeven van controllers, niet voor SSD's zelf.

De gedachte was om inderdaad een controller toegang te geven tot de SSD zodat deze virtuele host TRIM support voor de SSD doet, deze kan dan bijvoorbeeld NFS of iSCSI storage (op SSD) aanbieden aan ESXi, hierop kunnen dan de overige hosts draaien (aangezien binnen ESXi er geen bottleneck is qua netwerk-speed, dit gaat zo snel als je vswitch kan processen. De VM die de storage zou aanbieden zou dan op de 2,5-inch disk komen te staan (aangezien de SSD niet beschikbaar kan zijn voordat deze geboot is).

Ik weet niet zeker of dit verhaal zal (kunnen) werken, maar het leek me een alternatief om op een zuinige manier toch ervoor te zorgen dat de SSD niet gemolesteerd wordt (TRIM schijnt nogal een performance-hit te geven als dit niet ondersteund kan worden).

Ik denk dat ik het er op gok en gewoon de SSD als datastore ga gebruiken, mochten er performance-issues komen dan kan ik te zijnertijd altijd nog zien hoe dit op te lossen.

Even wat anders, je schrijft dat een SSD in de Synology niet benut zou worden ivm trage processor. Het leek mij niet zozeer qua troughput een issue (iets waarbij de processor merkbaar een rol speelt), ik dacht de SSD met name qua IOPs zijn voordeel te laten doen. IOPs staan denk ik redelijk los van de CPU van een NAS? Aangezien het volgens mij disk-instructies zijn (weinig cpu nodig)?
Als ESXi via NFS niet zou performen, hoe kan het dan dat in bedrijven zoveel met centrale storage wordt gewerkt (nou weet ik ook wel dat de latency hier wel het nodige lager zal zijn ivm fiber-protocol of andere technieken), maar ik meen dat er de nodige oplossingen via ethernet (NFS/iSCSI) draaien (ook icm SLC SSD als caching, kortom IOPs halen). Waarom zou dit icm een Synology NAS niet performen (natuurlijk zal een local store hier sneller zijn)?

[EDIT]
Ik kwam hierdoor op het idee namelijk.

[EDIT2]
Nog wat info over IOPS en sizing van Synology-blog

[ Voor 5% gewijzigd door wopie op 15-08-2013 20:42 . Reden: Update ]

[FireDrunk]

wopie schreef op donderdag 15 augustus 2013 @ 20:28:
[...]


De gedachte was om inderdaad een controller toegang te geven tot de SSD zodat deze virtuele host TRIM support voor de SSD doet, deze kan dan bijvoorbeeld NFS of iSCSI storage (op SSD) aanbieden aan ESXi, hierop kunnen dan de overige hosts draaien (aangezien binnen ESXi er geen bottleneck is qua netwerk-speed, dit gaat zo snel als je vswitch kan processen. De VM die de storage zou aanbieden zou dan op de 2,5-inch disk komen te staan (aangezien de SSD niet beschikbaar kan zijn voordat deze geboot is).

Ik weet niet zeker of dit verhaal zal (kunnen) werken, maar het leek me een alternatief om op een zuinige manier toch ervoor te zorgen dat de SSD niet gemolesteerd wordt (TRIM schijnt nogal een performance-hit te geven als dit niet ondersteund kan worden).

Zoals ik al zei, valt dat wel mee, als je je SSD niet helemaal vol ramt, zul je het in de praktijk waarschijnlijk niet merken. In benches zal je het vast zien, maar daar hebben we nou eenmaal niks aan.

Ik denk dat ik het er op gok en gewoon de SSD als datastore ga gebruiken, mochten er performance-issues komen dan kan ik te zijnertijd altijd nog zien hoe dit op te lossen.

Precies, scheelt een hoop ellende, En je kan nog pro-actief een SSD kopen met agressieve garbage collection.

Even wat anders, je schrijft dat een SSD in de Synology niet benut zou worden ivm trage processor. Het leek mij niet zozeer qua troughput een issue (iets waarbij de processor merkbaar een rol speelt), ik dacht de SSD met name qua IOPs zijn voordeel te laten doen. IOPs staan denk ik redelijk los van de CPU van een NAS? Aangezien het volgens mij disk-instructies zijn (weinig cpu nodig)?

Zo'n Synology heeft een (iets) hogere latency dan een normale PC/desktop/server. Hierdoor worden alle IO's vertraagd. Hoeveel het precies uit maakt durf ik niet te zeggen, het is meer mijn educated guess.

Als ESXi via NFS niet zou performen, hoe kan het dan dat in bedrijven zoveel met centrale storage wordt gewerkt (nou weet ik ook wel dat de latency hier wel het nodige lager zal zijn ivm fiber-protocol of andere technieken), maar ik meen dat er de nodige oplossingen via ethernet (NFS/iSCSI) draaien (ook icm SLC SSD als caching, kortom IOPs halen). Waarom zou dit icm een Synology NAS niet performen (natuurlijk zal een local store hier sneller zijn)?

ESXi via NFS performt niet per definitie slecht, het performt slecht op de verkeerde hardware (zoals zoveel dingen). Een Synology is echt NIET te vergelijken met een NetApp waar belachelijk snel (en duur) NVRAM in zit... Dat performt gewoon als een dikke SSD.

Buiten dat zijn er voor de echt hoge performance doeleinden ook SAN's ipv NAS systemen. Dan heb je 4/8 of tegenwoordig zelfs 16Gb FiberChannel.

Dat performt nog vele malen sneller.

[EDIT]
Ik kwam hierdoor op het idee namelijk.

[EDIT2]
Nog wat info over IOPS en sizing van Synology-blog

[chiefmaster]

Beste MedeTweakers.
Ik ben op dit moment samen met een vriend aan het kijken voor een thuis vmware omgeving.
Ik wil op deze omgeving de volgende servers draaien.
4 windows servers.
1 linux server.

Momenteel zitten we te kijken naar de volgende basis opstelling (geheugen etc moet er nog bij).

#	Product	Prijs	Subtotaal
1	Intel Core i5 4570 Boxed	€ 173,80	€ 173,80
1	Asus H87-PRO	€ 96,-	€ 96,-
1	Intel Gigabit CT Desktop Adapter	€ 22,30	€ 22,30
Bekijk collectie Importeer producten		Totaal	€ 292,10

Ik vermoed deze opstelling gaat werken maar dat ik mogelijk problemen krijg met de netwerkkaart daarom zit ik al te kijken naar een aparte netwerk kaart.
Tevens verwacht ik dat VT-D geen problemen is.
Hebben jullie enig idee of ik nog dingen over het hoofd zie waar ik rekening mee moet houden ? (sorry hou me niet echt meer bezig met hardware tegenwoordig)
Of nog mooier heeft er iemand ervaring met dit moederbord ?

[FireDrunk]

ASUS staat er niet echt bekend om, om heel zuinig te zijn, dus ik zou even op internet zoeken naar ervaringen van andere mensen. Hoewel het verschil niet in de tientallen watt's zal zitten, kan het toch lucratief zijn om even rond te kijken.

[Deem007492]

Dank voor de uitgebreide adviezen! Ik heb de setup hierdoor enigszins aangepast.
Ik overweeg onderstaande aan te schaffen voor mijn 1e ESXI server. Hierbij ontvang ik graag enkele adviezen van de specialisten op dit forum.

Functies server:
- pfSense: router, firewall en openVPN
- Freenas: data opslag, docs, foto’s etc
- Windows 7 crashplan backups van docs, foto’s etc, prive gebruik (remote via werk laptop)
- 2e windows 7 voor testdoeleinden
- SBS 2011 standaard (backups testen)

Opslag:
- Data: Raid-Z2: 4x 3TB (Freenas)
- VM opslag heb ik nog 2 WD Green WD10EADS - 1TB disks (2009) beschikbaar voor Raid 1.
- SSD is voor ZFS cache zil and L2ARC, noodzakelijk? komt te vervallen.

Netwerkaansluitingen:
- pfSense: 1x WAN, 1xLAN/WAP, 1x GuestWlan
- IPMI 1x,

Vragen:
Motherboard, processer, geheugen.
- Gelet op de functies: Is een i5 ook afdoende? Zo ja, welke processor en motherboard wordt dan geadviseerd? USB dient te werken in windows 7 ivm oude infrarood ontvanger.
Opslag
- VM opslag heb ik nog 2 WD Green WD10EADS - 1TB disks (2009) beschikbaar voor Raid 1. Deze handhaven of wellicht vervangen is 2 SSD’s?
@gitaarwerk:
1) Misschien kun je beter wat VM's gewoon op de SSD zetten en daarvanaf laden.
>> Dit ga ik wellicht doen. Hoe backup ik eigenlijk die VM’s, via ghettoVCB?
2) Snapshots via NFS/iSCSI naar je FreeNas sturen...en daar weer backuppen. Klaar .
>> Dit begrijp ik niet. Kun jij dat nader toelichten svp.
@ FireDrunk:
1) Waarom wil je gebruik maken van mklink /d ? Crashplan kan gewoon naar netwerk shares backuppen, zijn zat tutorials voor.
>> Ik wil backuppen naar een netwerkshare. Is het creëren van een Virtual Hard Disk in windows 7 de oplossing? Indien ik gebruik maak van ISCSI (Freenas) en windows 7 is dit vermoedelijk niet meer noodzakelijk? Mijn doel is om Crashplan backups te maken van de sharedfiles binnen ons netwerk. Tevens ontvang ik crashplan backups van vrienden.

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 203,90	€ 203,90
1	Supermicro X9SCM-IIF	€ 199,65	€ 199,65
4	Western Digital Red WD30EFRX, 3TB	€ 116,99	€ 467,96
1	Fractal Design Define R4 Pearl Black	€ 84,90	€ 84,90
1	3Ware 3Ware Multi-lane SATA cable CBL-SFF8087OCF-05M	€ 17,20	€ 17,20
1	Intel Gigabit CT Desktop Adapter	€ 22,30	€ 22,30
1	Microsoft Windows 7 Professional SP1 (NL, OEM, 64-Bit)	€ 122,14	€ 122,14
1	Silverstone SST-CP06 4x SATA	€ 8,17	€ 8,17
1	Fractal Design Silent R2, 140mm	€ 12,60	€ 12,60
2	Kingston KVR1333D3E9SK2/16G	€ 142,50	€ 285,-
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
Bekijk collectie Importeer producten		Totaal	€ 1.600,40

[thesystem]

Ik ben van plan om een cluster te bouwen. Momenteel draai ik één host met hierin een Intel i3 540 (Clarkdale). De bedoeling is om, hier een host met Ivy Bridge of Haswell (i5 3330 of 4330) in een EVC cluster bij te plaatsen.

Ik zou graag gebruik maken van VT-d, vandaar de keuze voor de i5. Echter vraag ik mij af welke moederborden dit ondersteunen. In dit topic zie ik een hoop moederborden voorbij komen zoals de pricewatch: MSI B75MA-P45 of de pricewatch: Asrock H77 Pro4/MVP. Als ik deze chipsets echter opzoek op http://ark.intel.com dan staat daar dat deze chips geen VT-d ondersteunen. Alleen de Q77 chipset staat vermeld dat VT-d ondersteund wordt. Hoe kan ik dan zeker weten dat dit werkt?
Verder zou het ook het handigste zijn als de onboard NIC standaard werkt in ESXi. Welke NIC's staan er om bekend om wel (of juist niet) out-of-the-box te werken?

Om het zuinig te houden zou ik het handig vinden als een host wordt uitgezet als deze niet nodig is. Kan dit door middel van wake on lan in combinatie met het gebruik van Distributed Power Management in het cluster? Zo nee, werkt dit wel als ik een moederbord zou nemen met Intel vPro (AMT)?

Momenteel heb ik nog geen shared storage. Hebben jullie ervaring met het draaien van een VSA op beide hosts die zich vervolgens uitmirroren?

[FireDrunk]

Deem007492 schreef op zaterdag 17 augustus 2013 @ 09:50:
Dank voor de uitgebreide adviezen! Ik heb de setup hierdoor enigszins aangepast.
Ik overweeg onderstaande aan te schaffen voor mijn 1e ESXI server. Hierbij ontvang ik graag enkele adviezen van de specialisten op dit forum.

Functies server:
- pfSense: router, firewall en openVPN
- Freenas: data opslag, docs, foto’s etc
- Windows 7 crashplan backups van docs, foto’s etc, prive gebruik (remote via werk laptop)
- 2e windows 7 voor testdoeleinden
- SBS 2011 standaard (backups testen)

Opslag:
- Data: Raid-Z2: 4x 3TB (Freenas)
- VM opslag heb ik nog 2 WD Green WD10EADS - 1TB disks (2009) beschikbaar voor Raid 1.
- SSD is voor ZFS cache zil and L2ARC, noodzakelijk? komt te vervallen.

Netwerkaansluitingen:
- pfSense: 1x WAN, 1xLAN/WAP, 1x GuestWlan
- IPMI 1x,

Vragen:
Motherboard, processer, geheugen.
- Gelet op de functies: Is een i5 ook afdoende? Zo ja, welke processor en motherboard wordt dan geadviseerd? USB dient te werken in windows 7 ivm oude infrarood ontvanger.
Opslag
- VM opslag heb ik nog 2 WD Green WD10EADS - 1TB disks (2009) beschikbaar voor Raid 1. Deze handhaven of wellicht vervangen is 2 SSD’s?
@gitaarwerk:
1) Misschien kun je beter wat VM's gewoon op de SSD zetten en daarvanaf laden.
>> Dit ga ik wellicht doen. Hoe backup ik eigenlijk die VM’s, via ghettoVCB?
2) Snapshots via NFS/iSCSI naar je FreeNas sturen...en daar weer backuppen. Klaar .
>> Dit begrijp ik niet. Kun jij dat nader toelichten svp.
@ FireDrunk:
1) Waarom wil je gebruik maken van mklink /d ? Crashplan kan gewoon naar netwerk shares backuppen, zijn zat tutorials voor.
>> Ik wil backuppen naar een netwerkshare. Is het creëren van een Virtual Hard Disk in windows 7 de oplossing? Indien ik gebruik maak van ISCSI (Freenas) en windows 7 is dit vermoedelijk niet meer noodzakelijk? Mijn doel is om Crashplan backups te maken van de sharedfiles binnen ons netwerk. Tevens ontvang ik crashplan backups van vrienden.

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 203,90	€ 203,90
1	Supermicro X9SCM-IIF	€ 199,65	€ 199,65
4	Western Digital Red WD30EFRX, 3TB	€ 116,99	€ 467,96
1	Fractal Design Define R4 Pearl Black	€ 84,90	€ 84,90
1	3Ware 3Ware Multi-lane SATA cable CBL-SFF8087OCF-05M	€ 17,20	€ 17,20
1	Intel Gigabit CT Desktop Adapter	€ 22,30	€ 22,30
1	Microsoft Windows 7 Professional SP1 (NL, OEM, 64-Bit)	€ 122,14	€ 122,14
1	Silverstone SST-CP06 4x SATA	€ 8,17	€ 8,17
1	Fractal Design Silent R2, 140mm	€ 12,60	€ 12,60
2	Kingston KVR1333D3E9SK2/16G	€ 142,50	€ 285,-
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
Bekijk collectie Importeer producten		Totaal	€ 1.600,40

Hoe wil je de RAID1 voor de VM's doen? ESXi ondersteund de RAID functie van je moederbord niet, je moet die schijven via AHCI aansluiten en als losse datastores behandelen om ze te kunnen gebruiken.

Verder toffe setup!

[gitaarwerk]

Deem007492 schreef op zaterdag 17 augustus 2013 @ 09:50:
Vragen:
@gitaarwerk:
1) Misschien kun je beter wat VM's gewoon op de SSD zetten en daarvanaf laden.
>> Dit ga ik wellicht doen. Hoe backup ik eigenlijk die VM’s, via ghettoVCB?
2) Snapshots via NFS/iSCSI naar je FreeNas sturen...en daar weer backuppen. Klaar .
>> Dit begrijp ik niet. Kun jij dat nader toelichten svp.

Zowel snapshots als backup zou je automatisch kunnen laten doen. Ik ga niet wijzen, maar doe ik toch: iets met "veaam" . ghettoVCB ken ik niet, maar ziet eruit alsof dat ook prima is.

Om te zorgen dat je netwerk geen last krijgt van dit verkeer als je gaat backuppen kun je middels (afhankelijk heo je het inricht natuurlijk) een aparte vlan creeeren in ESXi. Dan wijs je een extra netwerkkaart toe aan FreeNas en een aparte netwerkkaart voor management geloof ik (ik heb zelf nog niet gespeeld hiermee, maar zoiets is mogelijk). In plaats van dat je dus je snapshots/backups maakt naar andere pc, doe je ze nu naar FreeNas. Dit betekent dat het heel snel gebeurd. Vanaf daar kun je deze weer rustig syncen, maar heb je ze ook veiliger staan onder ZFS.

Je zou ook nog eens je SSD kunnen zetten in FreeNas, en via iSCSI je VM's erop laten lopen. Ietjes trager, maar dan kun je TRIM gebruiken weer. De vraag is wel of je alles gecompliceerd wilt maken . Je zou namelijk dan nog steeds FreeNas ergens op moeten draaien, dus moet je alsnog een aparte schijf hebben .

Uiteindelijk om het simpel te houden. Ja, je kunt een windows draaien en daar met crashplan backups maken van je NAS. Dat is best aan te raden. Zou wel Windows 7 gebruiken ipv XP bijvoorbeeld. XP is wel kleiner, maar veel minder zuinig met resources waar Win7 erg goed in is. Je zou ook kunnen denken nog een Win8 of zelfs OSX (of gewoon LINUX oplossing,... nog beter.. ). Snapshots zou ik wel gewoon naar FreeNas laten sturen en wellicht ook nog een backup ervan laten maken. Dit verkeer zou je nog steds via apart vLAN/LAN connectie kunnen maken.

Ik heb nu overigens 6 FreeBS/Linux vm's draaien, en als ze allen aan het werk zijn (niet transcoden) scheelt het 1-2 Watt in power gebruik.

[FireDrunk]

Geen idee of deze ooit gepost is, maar een erg leerzame video over hoe ESXtop werkt.

YouTube: VMworld 2012: Session VSP1423 - ESXtop for Advanced Users

[Phyt_]

Beste,
Toch maar besloten om even te posten hier , lees al tijdje het topic door.
Nu wil ik zelf een esxi host hebben draaien thuis, voor wat te spelen met vm's. En wat simpele servertjes draaien oa. Teamspeak / CS:GO Dedicated server. (max 10 man private). downloads ofzo wie weet.

Na het heen en weer klikken naar alle configs van iedereen, heb ik voor onderstaande nu een wensenlijst gemaakt.


Ik zal eerst met 1 WD 2tb earx(heb ik nog over) gaan starten als datastore, mogelijk dat ik dit later uitbreid met een hardware raid controller.Voor iets meer failsafe.

Ik heb voor de G1610 gekozen, omdat deze goedkoop is en volgens mij genoeg cpu power heeft.
En ik hem altijd kan upgraden naar iX cpu.

Als ik het begrijp is dit 100% compatible met ESXi 5.1 ?
Of moet er nog een losse intel nic bij ?.

#	Product	Prijs	Subtotaal
1	Intel Celeron G1610 Boxed	€ 36,38	€ 36,38
1	ASRock B75 Pro3-M	€ 55,50	€ 55,50
1	Fractal Design Define R4 Pearl Black	€ 84,90	€ 84,90
1	Corsair CMV16GX3M2A1333C9	€ 109,90	€ 109,90
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
Bekijk collectie Importeer producten		Totaal	€ 344,68

[Tsurany]

Dat is inderdaad 100% compatibel. Ik heb hetzelfde moederbord en alles werkt out of the box, ook de onboard NIC werkt hier stabiel en zonder enige problemen.

[FireDrunk]

Heb je ook daadwerkelijke benchmarks gedaan? Want als dat bord zo goed werkt, ga ik niet meer voor de MSI B75MA-P45 die ik in mijn wenslijst heb

[Tsurany]

Ik heb benchmarks gedraaid om de netwerksnelheid te testen en daarin heb ik geen enkele problemen gemerkt. Ik heb enkel niks gedocumenteerd dus kan je helaas geen bewijzen overhandigen. Als je wilt kan ik vanavond wel wat benchmarks draaien, roep maar wat je wilt zien. Heb een Windows desktop beschikbaar om vanaf te testen.

[Phyt_]

Wow dat is snel Tsurany thanks.
Daarbij zit/zat ik te twijfelen, om bovenstaande in een kleine case te bouwen.
De Antec ISK300-150 case. ( al weet ik niet of die voeding dat trekt.)

En dan een later een synology NAS DS213+ (of 213j maar is een mindere krachtigere.) aan te schaffen en dan met iscsi luns aan te bieden.
Maar ik kon daar nietzoveel over vinden of dit goed werkt qua performance of lastig op te zetten is.
Wat dat voor mij als voordeel heeft is dat ik dit allemaal in de meterkast kan bouwen.
Nadeel is dan meer opstart kosten.

[ Voor 4% gewijzigd door Phyt_ op 19-08-2013 15:57 ]

[Tsurany]

Lastig op te zetten is het niet, ik heb iets soortgelijks al een keer opgesteld en het kleine beetje dat ik me er van herinner is dat het zeer eenvoudig was. Performance zou ik niet weten, was destijds met een zakelijke Synology en een vrij zwaar rack mounted model. Voor die paar VM's die er op draaien was het in ieder geval peanuts.