[Vmware] Advies Hardware

[Workaholic]

Ik hoop dat ik hierbij het juiste sub forum gebruik. Ik ben van mening dat mijn vraag hier beter past gezien de server gerelateerde toepassing.

Wij zijn aan het kijken naar twee nieuwe servers voor het implementeren van een vmware omgeving.

Om te beginnen met vmware server en in de toekomst over te stappen op een vmware esx omgeving met vmotion/loadbalancing etc.

Gezien de beperkte hardware die we hebben staan is het ons meer dan duidelijk dat we wat nieuws moeten aanschaffen.

Ik heb gister contact gehad met een Dell accountmanager en deze heeft mij het volgende geadviseerd.

code:

2x dell Poweredge 2950 (net nieuw!)

1x PE2950 III Quad-Core Xeon E5405 2.0GHz/2x6MB 1333FSB             
1x Riser with PCI Express Support (2x PCIe x8 slots; 1x PCIe x4 slot) 
1x 16GB 667MHz FBD (8x2GB dual rank DIMMs)                          
1x No second Processor option                                                          
3x 250GB SATA2 Universal (7,200 rpm) 3.5 inch Hard Drive         
1x PE2950 III - PERC 6/iR, Integrated Controller Card x6 backplane   
1x 8X IDE DVD-ROM Drive                                                          
1x PE2950 III - Redundant PSU No Power Cord                                       
1x Broadcom TCP/IP Offload Engine functionality (TOE) Not Enabled    
1x PE2950 III - C4,MSSR5, ADD IN PERC 5/I or Perc6/i,, m                  
1x 3Yr ProSupport for IT and Next Business Day On-Site Service

Ons netwerk is relatief klein en we hebben 30 gebruikers. We hebben uiteraard meer servers draaien en we zijn niet van plan om alles te virtualiseren. Zekere gezien het single point of failure principe.

Het voordeel is dat deze machine de ruimte heeft om te upgraden (meer disks/2nd cpu etc) :

De vmware sessies die we nu willen gaan draaien op deze machines hebben allemaal een relatief kleine load. Fileservices houden we gescheiden om i/o/netwerk problemen te voorkomen.

De volgende vm's wil ik er op gaan zetten :

DC (niet global catalog) met dns (geen dhcp), Exchange 2007 (met 30 users), linux proxy, externe dns via BIND/linux, win2k3 printserver, win2k3 vpn/remote accces server, server monitoringen (MoM).

Tweede server : SQL Databases, websites, sharepoint(testing), mysql en fail over/backup machine voor de eerste, dus bij uitval vm's aanzetten op de tweede machine. In de toekomst kunnen we gaan loadbalancen met ESX, maar dat is licentie technisch nog even te duur.

Mijn vragen aan jullie

- De servers hebben maar 7200rpm sata disks (vanwege beperkt budget, SAS schijven zijn 300 euro p.stuk). Dit lijkt mij een sterke bottleneck. Hij staat dan wel met 3 schijven in Raid 5.

Dell zegt met de vms en de users die wij hebben dat het prima moet lukken. Wat is jullie mening hierover? Is de investering van een raid 5 setup met Serial Atached Ssci/sata het geld waard? Of kunnen we dit beter in de toekomst doen?

- Moet ik deze servers nog uitrusten met extra Nic's? Standaard heeft hij er 2, en de clients zitten maar op 100mbit, servers 1gbit.

- Is het eventueel een optie/verstandig om de Vm's fysiek op een andere machine te zetten om zo de I/O te verplaatsen? Naar mijn idee een risico omdat ik dan afhankelijk ben van die ene machine. (een NAS/SAN oplossing is te duur voor ons).

- Als we beginnnen met Vmware server, is er geen load balancing of vmotion, kan ik deze vm's op een andere manier backuppen?
Snapshots is geen optie in de gratis versie, maar je kunt wel fysiek de vmx files kopieren naar de andere vmware server elke nacht?. Wel 25-50GB aan data.... of is shadow copy hierbij een optie?

Ik hoop dat jullie mij van wat advies kunnen voorzien, want het hele virtualisatie idee is voor mij behoorlijk nieuw, zeker in de productie.

[nicket84]

Ikzelf heb ook een 2950 als ESX server in een datacenter staan. Ik raad je zeker aan SAS 15K RPM schijven te nemen. Ze zijn een stuk duurder, maar zeker een aanrader! En icm je CPU zou ik 1000MHz geheugen nemen.

Voor redundantie zijn twee netwerkkaarten voldoende. Een tweede voeding is ook wel verstandig.

En wanneer je server op een grote afstand verwijderd is ( een datacenter bijv ) is het aan te raden er een DRAC (dell remote access card) kaart bij te bestellen. Dan kan je de server monitor overnemen, en alle hardware storingen per mail laten melden. En natuurlijk de server aan/uit zetten.

De VM's kan je het beste op een SAN/NAS zetten. Maar dan lopen de kosten idd hoog op. Ikzelf heb ze op zijn eigen HDD's gezet.

Je kan de standaard backup software natuurlijk binnen je VM omgevingen blijven gebruiken. Daarnaast zijn er enkele backup applicaties voor je VM omgevingen. Ik durf de namen zo niet op te noemen. Na een aantal tests gewoon de servers intern ge backuped

[ Voor 81% gewijzigd door nicket84 op 28-02-2008 07:22 ]

[Jazzy]

Als je geen geld hebt om te virtualiseren moet je het gewoon niet doen.

Naast memory en cpu is storage de belangrijkste factor voor je performance, neem dus minimaal SAS disks. Je hebt veel meer NICs nodig.

Wat compatibiliteit betreft moet je in eerste instantie natuurlijk niet hier zijn maar bij VMware:
http://www.vmware.com/resources/techresources/1032
http://www.vmware.com/resources/techresources/1033
http://www.vmware.com/resources/techresources/1034

Persoonlijk zou ik dit niet zelf gaan doen maar uitbesteden aan een partij die dit voor hun brood doen.

[nicket84]

Jazzy schreef op donderdag 28 februari 2008 @ 12:49:
Als je geen geld hebt om te virtualiseren moet je het gewoon niet doen.

Naast memory en cpu is storage de belangrijkste factor voor je performance, neem dus minimaal SAS disks. Je hebt veel meer NICs nodig.

Wat compatibiliteit betreft moet je in eerste instantie natuurlijk niet hier zijn maar bij VMware:
http://www.vmware.com/resources/techresources/1032
http://www.vmware.com/resources/techresources/1033
http://www.vmware.com/resources/techresources/1034

Persoonlijk zou ik dit niet zelf gaan doen maar uitbesteden aan een partij die dit voor hun brood doen.

2950 wordt volledig ondersteund. En meer nic's heeft weinig tot geen nut..

[Jazzy]

nicket84 schreef op donderdag 28 februari 2008 @ 13:10:
[...]

En meer nic's heeft weinig tot geen nut..

Daar gaan we dan... De eerste nic heb je nodig voor je management netwerk, een tweede heb je nodig voor je DMZ want die externe DNS-server zal vast niet in het LAN staan en voor je LAN/WAN wil je bij voorkeur 2 nics gebruiken om de load een beetje te verdelen. Dat zijn er dus al 4. Als je de VM's op termijn op een iSCSI NASje gaat zetten dan komt er nog een NIC bij voor iSCSI. Ook Vmotion doe je bij voorkeur op een apart netwerk en laat je niet over de andere NIC lopen.

Daarnaast zijn er enkele backup applicaties voor je VM omgevingen. Ik durf de namen zo niet op te noemen. Na een aantal tests gewoon de servers intern ge backuped

Wel voor ESX/VI3 maar niet voor VMware Server voor zover ik weet. Als ze er wel zijn dan hoor ik het graag, tot nu toe kun je VMware Server alleen maar goed snapshotten als je de VM's eerst down brengt.

[ Voor 7% gewijzigd door Jazzy op 28-02-2008 13:28 ]

[nicket84]

Jazzy schreef op donderdag 28 februari 2008 @ 13:27:
[...]
Daar gaan we dan... De eerste nic heb je nodig voor je management netwerk, een tweede heb je nodig voor je DMZ want die externe DNS-server zal vast niet in het LAN staan en voor je LAN/WAN wil je bij voorkeur 2 nics gebruiken om de load een beetje te verdelen. Dat zijn er dus al 4. Als je de VM's op termijn op een iSCSI NASje gaat zetten dan komt er nog een NIC bij voor iSCSI. Ook Vmotion doe je bij voorkeur op een apart netwerk en laat je niet over de andere NIC lopen.

Wanneer je iscsi gebruikt ok... Maar dat is hier niet het geval
[...]
Wel voor ESX/VI3 maar niet voor VMware Server voor zover ik weet. Als ze er wel zijn dan hoor ik het graag, tot nu toe kun je VMware Server alleen maar goed snapshotten als je de VM's eerst down brengt.
de applicaties die ik heb getest waren iig voor ESX

[Workaholic]

- Meerdere nics was in eerste instantie ook mijn vraag, maar omdat de vm's in bridged mode draaien pakt hij toch gewoon de gateway van de vmware server (host)?

- NAS Disks heb ik er financieel doorheen gekregen, dit zullen er 4 worden in Raid 5. Dus dat moet meer dan voldoende zijn.

- Ik wil beginnen met Vmware server, esx komt later als we volledig tevreden zijn met vmware en server virtualisatie.
Gezien de expertise hier, kan ik met ntbackup een draaiende machine backuppen dus fysiek de hele vm map met daarin de vm's? Zou dit veilig gaan?

Alle machines scheduled uit en aan zetten 's nachts lijkt me niet echt een goed plan.

Zijn er mensen hier die met vmware server een backup procedure hebben? Desnoods opensource of via een omweg?

[Jazzy]

Meerdere nics was in eerste instantie ook mijn vraag, maar omdat de vm's in bridged mode draaien pakt hij toch gewoon de gateway van de vmware server (host)?

Staat die DNS server die je wilt virtualiseren in je DMZ? Dan moet hij dus wel gekoppeld zijn aan een fysieke nic die je vervolgens aan je DMZ koppelt.

Gezien de expertise hier, kan ik met ntbackup een draaiende machine backuppen dus fysiek de hele vm map met daarin de vm's? Zou dit veilig gaan?

Nee, dat kan niet.

Alle machines scheduled uit en aan zetten 's nachts lijkt me niet echt een goed plan.

Je hoeft toch ook niet dagelijks een image te maken? In geval van sh1t kun je ook wel een image van een week oud pakken en vervolgens je normale backup er overheen restoren.

Zijn er mensen hier die met vmware server een backup procedure hebben? Desnoods opensource of via een omweg?

Google anders gewoon even, dit is echt een heel veel voorkomend probleem.

Zelf doe ik 1 keer per week een shutdown, kopiëer de directory met de VM, start de VM, comprimeer de gemaakte kopie en neem die vervolgens mee in de backup naar tape.

Maar zoals ik al zei, Google gewoon even en ontdek dit soort oplossingen:
Draadje over handig script
Versie 3.61
Downloaden

[ Voor 12% gewijzigd door Jazzy op 28-02-2008 16:54 ]

[elevator]

Zoals hier boven ook al gezegd - maar nog even ter herhaling. Je hebt het een aantal keer over ESX en VMotion enzo, houd er hierbij rekening mee dat je dan een SAN tussen je servers nodig hebt omdat het anders niet gaat werken.

Nu dus erg veel investeren in disken die je misschien over enkele weken niet zou kunnen hergebruiken is misschien zonde

[ZeRoC00L]

Audi-Addict schreef op donderdag 28 februari 2008 @ 16:19:
- Ik wil beginnen met Vmware server, esx komt later als we volledig tevreden zijn met vmware en server virtualisatie.
Gezien de expertise hier, kan ik met ntbackup een draaiende machine backuppen dus fysiek de hele vm map met daarin de vm's? Zou dit veilig gaan?

Nee, want de bestanden zijn 'in use' dus kan ntbackup ze niet backuppen.

Zijn er mensen hier die met vmware server een backup procedure hebben? Desnoods opensource of via een omweg?

edit: sorry, ik dacht dat het over esx ging.
Je kunt prima een online backup maken met VCB (vmware consolidated backup), je virtuele machine kan gewoon online blijven.

[ Voor 36% gewijzigd door ZeRoC00L op 28-02-2008 19:31 ]

[Workaholic]

Jazzy schreef op donderdag 28 februari 2008 @ 16:52:
[...]
Staat die DNS server die je wilt virtualiseren in je DMZ? Dan moet hij dus wel gekoppeld zijn aan een fysieke nic die je vervolgens aan je DMZ koppelt.

Ik begrijp je punt inderdaad. Het zou sowieso een DC + Interne dns zijn, de externe dns wil ik op een fysiek andere machine/vlan draaien. Dan zou ik met 2 netwerk kaarten voldoende hebben toch?

Je hoeft toch ook niet dagelijks een image te maken? In geval van sh1t kun je ook wel een image van een week oud pakken en vervolgens je normale backup er overheen restoren.

Dat is waar, dus jij zet je vm's 1x in de week uit en je maakt hier een back-up van? Zou pause ook kunnen werken, of zijn de bestanden dan gewoon vrolijk in use?

Bedankt voor de links, ik ga er even naar kijken.

edit: sorry, ik dacht dat het over esx ging.
Je kunt prima een online backup maken met VCB (vmware consolidated backup), je virtuele machine kan gewoon online blijven.

Begrijp ik het goed dat je met VCB wel live backups kunt maken van vmware server vm's? Dat zou natuurlijk heeeel mooi zijn. Ik ga hier nog even naar kijken.

[VisionMaster]

Audi-Addict schreef op vrijdag 29 februari 2008 @ 08:24:
[...]


Ik begrijp je punt inderdaad. Het zou sowieso een DC + Interne dns zijn, de externe dns wil ik op een fysiek andere machine/vlan draaien. Dan zou ik met 2 netwerk kaarten voldoende hebben toch?

[...]


Dat is waar, dus jij zet je vm's 1x in de week uit en je maakt hier een back-up van? Zou pause ook kunnen werken, of zijn de bestanden dan gewoon vrolijk in use?

Bedankt voor de links, ik ga er even naar kijken.


[...]


Begrijp ik het goed dat je met VCB wel live backups kunt maken van vmware server vm's? Dat zou natuurlijk heeeel mooi zijn. Ik ga hier nog even naar kijken.

Live backups van VMs gaat wel als je host een Linux of Unix systeem is. Maar, dat zijn geen veilige backups, omdat je file system in de virtuele omgeving nog gewoon in use is. Als je de VM aanzet, dan zal de Guest het ervaren als of je op een gegeven moment (het moment van de backup) de stekker uit de server hebt gerukt.

Als ik me niet vergis bedoelt Jazzy ook dat je het OS en de data gescheiden houdt. In dit geval dus naar je geplande NAS. Wat ik nog vaak zie (en voor de snelheid in de prototype omgeving zelf ook doe) is dat alle data nog in de VM staat. Als de disk of het file system rot gaat in die VM of op de Host (twee punten van falen), dan ben je het kwijt. Voor het serieuze werk is het altijd goed om je data op een dedicated storage oplossing te zetten.

[ZeRoC00L]

Audi-Addict schreef op vrijdag 29 februari 2008 @ 08:24:
Begrijp ik het goed dat je met VCB wel live backups kunt maken van vmware server vm's? Dat zou natuurlijk heeeel mooi zijn. Ik ga hier nog even naar kijken.

Ja, maar VCB kan alleen gebruikt worden bij ESX icm VC. Vandaar mijn edit.

[Jazzy]

Live backups van VMs gaat wel als je host een Linux of Unix systeem is. Maar, dat zijn geen veilige backups, omdat je file system in de virtuele omgeving nog gewoon in use is. Als je de VM aanzet, dan zal de Guest het ervaren als of je op een gegeven moment (het moment van de backup) de stekker uit de server hebt gerukt.

Dat kan op een Windows server met Ntbackup/VSS ook gewoon, met het zelfde nadeel natuurlijk.

Audi-Addict schreef op vrijdag 29 februari 2008 @ 08:24:
Dat is waar, dus jij zet je vm's 1x in de week uit en je maakt hier een back-up van? Zou pause ook kunnen werken, of zijn de bestanden dan gewoon vrolijk in use?

Je kunt ze wel suspenden maar dan kun je ze alleen restoren op de zelfde machine. Dat is niet ideaal dus.

[ Voor 35% gewijzigd door Jazzy op 29-02-2008 10:49 ]

[axis]

Ik zou toch echt met ESX Starter beginnen, voor die $999 per server vind ik dat persoonlijk geen geld. Je kunt er ook voor kiezen om de VC Foundation te kopen, krijg je 3 ESX Starter licenties en een VC licentie, voor maar $2500. En je kunt daarna makkelijk upgrade naar de full version door gewoon een nieuwe key in te kloppen.

Edit: nog een tussenopmerking.. Als host-OS wil je een door Dell supported OS gebruiken, waar je ook de OpenManage software op kunt installeren. Dat betekent dus dat je zult moeten kiezen uit Windows Server 2003, RHEL, SLES, of ESX als ik me niet vergis. Nu is Windows Server Std. volgens mij al $600 eenmalig, RHEL is volgens mij $350 per jaar, dan is ESX met $999 eenmalig nog niet eens zo duur

Bij Dell servers ALTIJD die DRAC nemen! Ik zou niet meer weten hoe het zonder zou moeten.. Ben nu ook as we speak even Win2003 aan het installeren op een machine in Amsterdam, terwijl ik met mijn badjas en een kop koffie aan de huiskamertafel in Tilburg zit. En het is ook handig om mails te krijgen als CPU's en memory modules failen, en dat voor 250 piek per server..

Sja, en duidelijk SAS schijven.. Ik heb een stuk of 10 esx machines, en ik loop telkens te vloeken dat die 15k SAS schijven zo langzaam zijn. Moet je voorstellen hoe langzaam SATA schijven zullen zijn. SATA schijven zijn normaal misschien wel ok, maar als je ze gaat delen met 5 virtual machines, zijn ze dus ook 5x zo traag

[ Voor 18% gewijzigd door axis op 01-03-2008 16:49 ]

[Zwelgje]

axis schreef op zaterdag 01 maart 2008 @ 10:04:
Ik zou toch echt met ESX Starter beginnen, voor die $999 per server vind ik dat persoonlijk geen geld. Je kunt er ook voor kiezen om de VC Foundation te kopen, krijg je 3 ESX Starter licenties en een VC licentie, voor maar $2500. En je kunt daarna makkelijk upgrade naar de full version door gewoon een nieuwe key in te kloppen.

Bij Dell servers ALTIJD die DRAC nemen! Ik zou niet meer weten hoe het zonder zou moeten.. Ben nu ook as we speak even Win2003 aan het installeren op een machine in Amsterdam, terwijl ik met mijn badjas en een kop koffie aan de huiskamertafel in Tilburg zit. En het is ook handig om mails te krijgen als CPU's en memory modules failen, en dat voor 250 piek per server..

Sja, en duidelijk SAS schijven.. Ik heb een stuk of 10 esx machines, en ik loop telkens te vloeken dat die 15k SAS schijven zo langzaam zijn. Geloof me, die SATA schijven zijn normaal misschien wel ok, maar als je ze gaat delen met 5 virtual machines, zijn ze dus ook 5x zo traag

ehm... SAS=Serial Attached Scsi...

als jouw system traag zijn ligt dat niet een die disken maar waarschijnlijk aan je raid config (toch geen raid5 mag ik hopen )

[VisionMaster]

Powershell schreef op zaterdag 01 maart 2008 @ 10:08:
[...]


ehm... SAS=Serial Attached Scsi...

als jouw system traag zijn ligt dat niet een die disken maar waarschijnlijk aan je raid config (toch geen raid5 mag ik hopen )

raid5 kan nog wel aardig performen als de hardware er naar is van het chassis waar de disken in zitten en als je voldoende disken in de config hebt zitten. Raid5 met 3 disken is qua performance (en veiligheid) nou niet echt ideaal.

Heb je er nou databases draaien op die slome 15k SAS disken? Wij hebben een aantal chassis van 16 en 24 disken met SATA disken erin. De SAS optie is overbodige luxe, omdat we vooral veel data in streams lezen van voor tot achter. De minimale extra performance per disk uit zich dan niet. Met SAS is random access (databases vooral) een grote MUST.

Wat betreft de DRAC, dat is een hele goede optie, zeker in data centers. Volgens mij kan je het later er nog prima bij bestellen, dus niet direct een MUST have. Als je al een remote console hebt van Dell, dan is de DRAC directer en beter, maar het zou anders wel dubbel zijn. En de DRAC en een remote console.

Een negatief ding voor de potentiele DRAC gebruikers is dat je alle features alleen kan gebruiken in Internet Explorer. Het gebruikt ActiveX om je de virtuele CD/DVD speler te laten werken via de DRAC. Handig om je eigen CD/DVD speler te gebruiken van je laptop of een ISO, maar als je een non-Windows omgeving bent, dan mag je zelf een VM opzetten op je eigen desktop/laptop om je DRAC functies niet de mist in te laten gaan. Dat had ook anders gekunt! Net als de Dell Remote console software met pijn cross-platform te noemen is. Het werkt enkelt op Windows en Linux.

[axis]

Powershell schreef op zaterdag 01 maart 2008 @ 10:08:
[...]
ehm... SAS=Serial Attached Scsi...

als jouw system traag zijn ligt dat niet een die disken maar waarschijnlijk aan je raid config (toch geen raid5 mag ik hopen )

Ik spendeer per jaar meerdere tonnen aan hardware, en ik doe dan ook mijn best om goede beslissingen te maken en ik ben redelijk op de hoogte van de wereld die storage heet.. Waaruit leid je af dat ik niet weet wat SAS is? Uit het feit dat ik de performance van SAS schijven met die van SATA schijven vergelijk?

En sommige systemen draaien op RAID5 arrays, sommige RAID10, en sommigen zelfs op stripes, is de afweging die we per project maken op basis van performance requirements, uptime behoeften en de behoefte om zo weinig mogelijk disk overhead te hebben..

En dan nog mag het altijd sneller

Tot nu toe altijd nog gespeeld met local storage though, 4GB FC SAN's liggen nog boven het budget, maar heb wel sinds deze week een MD3000i staan om mee te spelen, eerste budget-sannetje op proef

[Zwelgje]

axis schreef op zaterdag 01 maart 2008 @ 11:06:
[...]

Ik spendeer per jaar meerdere tonnen aan hardware, en ik doe dan ook mijn best om goede beslissingen te maken en ik ben redelijk op de hoogte van de wereld die storage heet.. Waaruit leid je af dat ik niet weet wat SAS is? Uit het feit dat ik de performance van SAS schijven met die van SATA schijven vergelijk?

uit je wazige zinsconstructie...


en ik loop telkens te vloeken dat die 15k SAS schijven zo langzaam zijn. Geloof me, die SATA schijven zijn normaal misschien wel ok, maar als

[axis]

Powershell schreef op zaterdag 01 maart 2008 @ 16:39:
[...]


uit je wazige zinsconstructie...


en ik loop telkens te vloeken dat die 15k SAS schijven zo langzaam zijn. Geloof me, die SATA schijven zijn normaal misschien wel ok, maar als

Nu zie ik het ook, scheven zinsconstructie inderdaad, je hebt gelijk..