VMware in MKB: 3 goede servers of 2 snellere

[Anoniem: 493486]

Binnen ons bedrijf zijn we bezig met een voorstel voor herinrichting van ons netwerk zowel in software alswel hardware. Over de softwarekant zijn we redelijk uit. Voor hardware kunnen we kiezen voor weer fysieke servers of een virtualisatie oplossing waarbij VMWare de beste papieren heeft (KVM als lowbudget alternatief)

Het 1e voorstel wat ik naar de directie wil doen is een Dell ps4100 SAN en daarbij 2 of 3 VMware servers met de VMware Essentials kit.
Een alternatief voorstel is 3 VMware servers met een stapeltje SAS schijven, maar qua totaalprijs scheelt dat nog niet eens zoveel tov de aparte SAN.
Het laatste alternatief is 6 fsyieke servers met een paar SAS schijven, al dan niet met een 7e gelijke server op reserve.
(in alle gevallen gaan nachtelijke backups gaan een aparte, grote NAS)

Wat ik echter niet duidelijk krijg is of ik in de eerste optie het beste voor 2 dikke servers kan kiezen of voor 3 'normaal dikke' servers, Dell heeft daar ook geen echt antwoord op.
Mijn overweging: met 2 servers kan er later nog een 3e bij onder de VMware essentials kit (met toekomstpad voor Essentials Plus kit of Acceleration kit) en het scheelt een licentie voor Veeam (nog aan te schaffen backuppakket). Qua aanschafkosten scheelt het net genoeg om interessant te kunnen zijn, zeker omdat het totaal aan hardware en licentiekosten toch al niet leuk is...
Maar bij storing van 1 server moet de andere server wel alle VMs kunnen draaien, ook als er in de nabije toekomst 1 of 2 VMs bij komen. Wanneer dat twijfelachtig wordt, dan moet er alsnog een 3e server bij komen, liefst een ongeveer gelijke als we al hebben wat dan dus weer een forse aanschafprijs heeft.

Hoe reëel is het dus om al onze VMs in geval van storing op 1 server te kunnen draaien? kan het, kan het nog net of is het echt te veel van het goede?

Er komen de volgende VM's op:
Windows 2008 R2 (AD)
Windows 2008 R2 (Exchange 2010 - 100 users)
Windows 2003 64bit (SQL en applicatieserver)
Windows 2008 R2 (lichte applicatieserver)
Windows 2008 (virtueel werkstation voor specifiek gebruik, hebben we nu ook al)
Ubuntu 12.04 (webserver)
CentOS 6.3 (VOIP)

In totaal 20 cores en 88 GB RAM
Ik zit te twijfelen tussen:
2x Dell R620 met 2x 8core 2,3 Ghz CPU en 128 GB RAM
3x Dell R420 met 2x 6core 2,3 Ghz CPU en 96 GB RAM

We hebben nu overigens nog 3 fysieke HP ML350 G6 servers met daarop SBS2008 (AD en Exchange), Windows 2003 64bit (SQL en applicatieserver) en Ubuntu 12.04 (webserver), deze servers zin 3 - 5 jaar oud.
Een meting liet zien dat we voor storage 750 IOPS nodig zijn op 95% percentiel en 1300 IOPS op 99% percentiel

[NeHoX]

Willen jullie de oude 3 ML350's nog inzetten? Of gaan deze eruit?

[TECHcrime]

Is het qua aanschaf en onderhoud niet goedkoper om dit te laten hosten? (miss een stomme vraag hoor?)

[Anoniem: 493486]

Met 3 - 5 jaar oude servers weet ik het zelf nog niet goed. Ze hebben niet veel geheugen dus voor virtualisatie... Nu ja misschien voor reserve ofzo.
Voor backups zijn we -bedenk ik me net- ook een Windows server nodig (fijn hoor, Veeam en Dell Appasure), die kunnen we virtualiseren of deze oudere servers voor gebruiken

@ TECHcrime
aanschafkosten en onderhoud(skosten) zijn niet de enige overwegingen

Neemt niet weg dat als het (duidelijk) goedkoper zou zijn zeker wel een overweging wordt. Maar dan ben je weer een dikke internetverbinding nodig

[ Voor 26% gewijzigd door Anoniem: 493486 op 12-03-2013 14:18 ]

[NeHoX]

ZOu voor de SQL en applicatie server paar SSD's in raid 5 knallen. ZIjn zat SSD's te vinden die je in brackets kan knallen en 5 jaar garantie hebben. Voorderest gewoon local storage gebruiken in mirror. En een dikke NAS erachter i.p.v. heel SAN voor de opslag. Local storage is altijd sneller.

Ik zou gaan voor meer Cores en meer ram op 2 machines. Neem goed in overweging wat snel moet zijn (SQL/Applicatie/WEB?) en wat enkel storage nodig heeft (Exchange, AD VOIP) .

[ Voor 5% gewijzigd door NeHoX op 12-03-2013 14:22 ]

[mhofstra]

Ik tel 7 VMs, zou op zich niet een probleem mogen zijn om die op 1 fysieke host met 2x 8 cores te moeten draaien:
- 2*8*HT=32vCPUs/7 = 4,57 vCPU/VM. Zou dus voldoende moeten zijn, meeste VMs kunnen al genoeg hebben aan 2 vCPU's of zelfs maar eentje.
- 128GB/7=18,28GB/VM. Exchange en SQL lusten wel flink wat RAM, overige VMs hebben waarschijnlijk aan 4GB al genoeg. Zou dus ook voldoende moeten zijn.

Nog een kostenvoordeel van 2 fysieke hosts tov 3 is dat je ook maar 2x een Windows Datecenter licentie hoeft aan te schaffen (als je tenminste onbeperkte virtualisation rights wilt).

Neem overigens wel de PS4100 met minimaal 10k schijven, server-VMs wil je niet op 7k2 draaien!

Nog wel een onderzoekspuntje: met hoeveel bandbreedte connect de server naar de storage?

[Question Mark]

NeHoX schreef op dinsdag 12 maart 2013 @ 14:21:
En een dikke NAS erachter i.p.v. heel SAN voor de opslag. Local storage is altijd sneller.

Lekker kort door de bocht weer... Waarom is local storage altijd sneller?

En verder.. Ik draai hier ongeveer 35 VM's per ESX Host (1x 6-core cpu en 128 GB memory), waarbij het een mix van verschillende types vm's zijn..

De cpu-load is gemiddeld 6000 Mhz van de in totaal 6x 3.332 Mhz beschikbaar (rond de 33 procent dus). Cpu load zal het probleem niet zijn. Zorg wel dat je voldoende memory hebt (logisch) en dat je storage oplossing voldoende IOPS kan leveren.

[ Voor 42% gewijzigd door Question Mark op 12-03-2013 16:35 ]

[Anoniem: 493486]

mhofstra schreef op dinsdag 12 maart 2013 @ 16:14:

We hebben inderdaad een PS4100 met 24x 300 GB SAS 10k geoffreerd gekregen en dat lijkt mij een goede middenweg tussen 15k maar duur en 7200 en langzaam. Met Raid 6 en 1 hotspare geeft dat 5859 GB aan opslagruimte waar we op dit moment zo'n 1700 GB in gebruik hebben.

De SAN zou dan met 2x 1gbit iSCSI aangesloten worden, we twijfelen nog tussen 1 storage-switch of 2

Voor de VMs heb ik eigenlijks in gedachten:

Windows 2008 R2 (AD) 4-core 16 GB RAM
Windows 2008 R2 (Exchange 2010 - 100 users) 4-core 32 GB RAM
Windows 2003 64bit (SQL en applicatieserver) 4-core 16 GB RAM
Windows 2008 R2 (lichte applicatieserver) 2-core 4 GB RAM
Windows 2008 (virtueel werkstation voor specifiek gebruik, hebben we nu ook al) 2-core 4 GB RAM
Ubuntu 12.04 (webserver) 2-core 8 GB RAM
CentOS 6.3 (VOIP) 2-core 8 GB RAM
eventueel ook nog: Backupserver (Veeam waarschijnlijk) 4-core 16 GB RAM

Geheugen doe ik liever geen over-commit, daar lees ik slechte verhalen over, qua cores kan dat wel. Wel lees ik dan wat verhalen dat je bij VMware juist HT moet uitschakelen en dus alleen fysieke cores moet rekenen? in mijn geval met de 2 zware servers dus 16 cores per server.

Over de Windows datacenter licentie: daar moet ik nog even wat rekenen. Qua adviesprijzen lijkt het erop dat je voor 1 datacenter license ongeveer 6,5 normal licenses hebt. In dat geval zijn we financeel beter uit met 7 normale licenties dan met 2 datacenter licenties.
Alhoewel ik wel iets lees over dat je maximaal 1x per 90 dagen een VM met standaard Windows licentie naar een andere fysieke server mag verplaatsen???? dat zou knap belachelijk zijn in een virtuele omgeving, zeker als ik storing heb en tijdelijk VMs even op een andere fsyieke host moeten draaien...?
Weet iemand hoe dat precies zit?

[_-= Erikje =-_]

Voip kan nog wel eens een uitdaging zijn qua timing in je VM maar meestal gaat het goed

[Question Mark]

Kijk even goed naar de sizing van je DC. 16GB memory en 4 cpu's is aardig ruim bemeten voor 100 users...

Capacity Planning for Active Directory Domain Services

[ExtremelyBroken]

Hyperthreading moet je aan laten [url="ttp://www.vmware.com/pdf/Perf_Best_Practices_vSphere5.1.pdf"]volgens VMware zelf[/url]. Geheugen overcommit is inderdaad geen goed idee, maar kijk sowieso naar of je zoveel geheugen nodig hebt in je VM, en of je werkelijk zoveel vcpu's nodig hebt in je VM's.

En verder wat al meer gezegd wordt: Zorg dat je storage voldoende performance heeft. CPU en geheugen zie ik meestal geen probleem zijn in de omgevingen die ik beheer, maar storage performance des te meer. I/O's is een ding, maar throughput ook niet vergeten.

Aangaande 2 of 3 hosts: Stomtoevallig had ik vandaag een setup met maar 2 hosts geimplementeerd, en VMware HA gaat piepen als je 1 van de 2 hosts in maintenance mode zet met Admission Control aan. Je VM's willen dan niet automatisch vMotionen naar de overgebleven host (oplossing is admission control uit zetten, maar dan niet ongelimiteerd vm's zitten bouwen). Ander voordeel van een 3 node cluster is dat je iets meer bandbreedte per host tot je beschikking hebt richting je storage.

[Anoniem: 39993]

Ik denk, dat je genoeg zou hebben aan 2 hosts met veel RAM en snelle shared storage (veel disk-IO's, throughput is wat minder belangrijk.)

RAM moet je gewoon niet over-committen, terwijl je dat bij CPU prima kunt doen over het algemeen.

KVM zou ik niet doen, tenzij Linux je echt goed ligt. Wij hebben op de zaak 1 zware KVM-host staan en het is echt heel andere koek dan VMware.

[Anoniem: 493486]

De link van ExtremelyBroken naar VMware's VSphere 5.1 best practices is inderdaad erg nuttig, bedankt daarvoor!

Ik zal bij Dell nog even navragen wat de verwachte IO in hun SAN precies is, maar het zou volgens mij ruim voldoende moeten zijn voor ons.

Als ik het goed begrijp dan zou ik alle VMs bij storing van 1 server dus al wel met de andere server met 2x hexacore makkelijk moeten kunnen draaien, zolang er maar voldoende geheugen in zit?

Voor HA is 3 servers beter kan ik mij voorstellen; met 2 servers heb je natuurlijk geen quorum wanneer er 1 server wegvalt. Dat geeft niets voor ons: HA licenties (bijvoorbeeld in Acceleration kit) zie ik voor ons nog als een upgrade in mogelijkheden en als er daarvoor een 3e server bij moet dan kan ik daar wel mee leven.

Overigens zie ik KVM virtualisatie zeker wel zitten, heb thuis ook 2 KVM servers in een clustertje. Echter KVM is toch nog wel een stuk minder efficiënt in het virtualiseren van windows servers en bied geen Fault Tolerance mogelijkheden en daarom kies ik in ons geval liever voor VMware, ook omdat de instap licenties niet veel kosten.

Heeft iemand nog wat meer inzicht in de eventuele licentie beperkingen voor Windows Server Standard in een virtuele omgeving? Of andere tips voor Windows licenties wanneer je een 6 windows server licenties nodig bent in je virtuele omgeving?

[Thijs B]

Voor die paar vm's zou je met hyper-v 2012 ook een eind komen, veeam voor backups is echt helemaal top heb het sinds kort in gebruik. Mijn inziens kan je in een kleine omgeving prima af met local storage zonder san mits in combinatie met de prima backup tools van veeam.

Uit mijn hoofd met de huidige ms licentie voorwaarden.
Een windows server standard geeft recht op 1x fysiek en 2x virtueel, die 2 virtuele machines horen bij elkaar, je mag ze niet verdelen over 2 hosts.

Zover ik heb gelezen geldt nog steeds dat je ze officieel 1x in de 90 dagen mag moven, zolang je licenties op orde zijn geloof ik niet dat ze daar bij een controlle een probleem van zullen maken.

In jouw situatie als je gebruik gaat maken van windows server standard zal je precies moeten bijhouden welke licenties op welke host draaien. Dat is een heel gedoe maar gezien het feit je maar 5 windows servers hebt ben je dan wel goedkoper uit. Mogelijk zelfs gewoon met een open license ipv gelijk een volume contract.
Wil je dat gezeur niet dan kom je toch weer op windows datacenter en zullen de licentie kosten een stuk hoger uitvallen.

Als het echt goedkoop moet zou je ook nog in overweging kunnen nemen of 2 servers met een datacenter server 2012 oem licentie een optie is.

[KerberosX]

Ik zou persoonlijk voor de 3x Dell R420 gaan:

• Netto meer CPU cycles en RAM (dus ruimte voor meer VM's in de toekomst zonder extra hardware investering)
• Meer ademruimte voor (on)geplande downtime van 1 host. Met de R420 kan je dan nog relaxed load-balancen tussen 2 nodes terwijl je met 1 R620 al tegen de limiet zit (ook al heb je je resources voor de VM's wel ruim bemeten, 16GB voor je DC?)

Verder zou ik wel aanraden om onmiddellijk voor de Essentials Plus kit te kiezen, anders heb je zelfs geen vMotion en zit je alsnog met downtime telkens je een VM naar een andere host wil verplaatsen.

Wat betreft de HP ML350 G6, die zou ik niet inzetten als ESXi hosts (gezien de leeftijd een ook de verschillen in CPU met de Dells). Tenzij in een aparte cluster voor bv een test-omgeving, maar dat kost je weer dure ESX licenties.

Ik zou eventueel voorstellen om 1x HP als fysieke DC in te zetten (is toch wel aan te raden om minstens 1 DC fysiek te houden). Verder 1x HP als management workstation (vSphere?) en 1x HP op reserve.

Hoe ga je trouwens vCenter draaien? Fysiek of virtueel? Ik vind dit niet direct terug in je uitleg.

Anoniem: 493486 schreef op woensdag 13 maart 2013 @ 16:41:
Voor HA is 3 servers beter kan ik mij voorstellen; met 2 servers heb je natuurlijk geen quorum wanneer er 1 server wegvalt. Dat geeft niets voor ons: HA licenties (bijvoorbeeld in Acceleration kit) zie ik voor ons nog als een upgrade in mogelijkheden en als er daarvoor een 3e server bij moet dan kan ik daar wel mee leven.

In principe kan je ook datastores bij inzetten voor de heartbeat. HA met 2 hosts is dus geen probleem.

[ Voor 19% gewijzigd door KerberosX op 13-03-2013 23:14 ]

[Question Mark]

KerberosX schreef op woensdag 13 maart 2013 @ 23:06:
Ik zou persoonlijk voor de 3x Dell R420 gaan:
[list]
• Netto meer CPU cycles en RAM (dus ruimte voor meer VM's in de toekomst zonder extra hardware investering)
• Meer ademruimte voor (on)geplande downtime van 1 host. Met de R420 kan je dan nog relaxed load-balancen tussen 2 nodes terwijl je met 1 R620 al tegen de limiet zit (ook al heb je je resources voor de VM's wel ruim bemeten, 16GB voor je DC?)
[/list

Het grote voordeel van virtualisatie is nu net de hardware onafhankelijkheid. Ik kan dynamisch meer capaciteit bijschakkelen op het moment dat dit noodzakelijk is. Ik zou dan ook kiezen voor twee servers, waarbij de totale load tijdens disaster of maintenance op 1 server kan draaien.

Zou er in de toekomst een uitbreiding van het aantal vm's komen, dan zet ik op dat moment toch een extra node in? Beetje zonde om hardware in te zetten die niet gebruikt wordt...

Overigens kwam er eerder in het topic wel een goed argument voorbij om wel voor meerdere nodes te kiezen. Dat was om de bandbreedte richting storage te vergroten... De controller op PS4100 SAN lijken twee gbit poorten te hebben. Ik denk dat TS wel even goed moet kijken of deze gebundeld kunnen worden (active/active) of enkel active/passive zijn. Dat kan aardig wat througput en performance schelen.

Eens met vmotion trouwens... Een absolute aanrader, dus kijk of dat binnen je budget past.

[ Voor 3% gewijzigd door Question Mark op 14-03-2013 09:23 ]

[KerberosX]

Question Mark schreef op donderdag 14 maart 2013 @ 09:22:
[...]

Het grote voordeel van virtualisatie is nu net de hardware onafhankelijkheid. Ik kan dynamisch meer capaciteit bijschakkelen op het moment dat dit noodzakelijk is. Ik zou dan ook kiezen voor twee servers, waarbij de totale load tijdens disaster of maintenance op 1 server kan draaien.

Volledige onafhankelijkheid niet, indien je CPU van een andere familie is, heb je een probleem met vMotion. Tenzij je EVC gaat toepassen of de guests telkens uitschakelt om naar een andere host te verhuizen.

[Question Mark]

Gewoon EVC default aanzetten dus... Dan is dat ook geen issue...

[ninjazx9r98]

Dat is te kort door de bocht, ook met EVC ben je niet volledig onafhankelijk.
http://kb.vmware.com/self...playKC&externalId=1003212

[Question Mark]

Waar doel je precies op? Met VCenter 5.1 is het enige wat niet kan, het mixen tussen intel en AMD in hetzelfde cluster, voor de rest werkt het gewoon... (of ik moet me echt vergissen)...

[ninjazx9r98]

Ik doel bijvoorbeeld op het volgende:

Hosts with Intel Penryn-E processors that are running virtual machines at the ESXi 5.0 compatibility level (hardware version 8 ) or higher cannot be added to Penryn EVC clusters. The ESXi 5.0 virtual machine compatibility level and higher compatibility levels expose the XSAVE feature to virtual machines running on Penryn-E hosts. The XSAVE feature is masked out in the Penryn EVC mode, causing a virtual machine feature incompatibility with these virtual machines.

Tevens zijn er applicaties die zich onvoorspelbaar kunnen gaan gedragen.
http://pubs.vmware.com/vs...67-8C07-693C6B40278A.html

EVC cannot prevent virtual machines from accessing hidden CPU features in all circumstances. Applications that do not follow CPU vendor recommended methods of feature detection might behave unexpectedly in an EVC environment. VMware EVC cannot be supported with ill-behaved applications that do not follow the CPU vendor recommendations. For more information about creating well-behaved applications, search the VMware Knowledge Base for the article

[Question Mark]

Thx voor je toelichting.

Ik moet zeggen dat ik in de praktijk nog nooit issue's tegengekomen ben met EVC, maar wel interessant om te weten dat er wel degelijk theoretische problemen kunnen voorkomen. (al vraag ik me af of dat met cpu-masking ook niet op te lossen is).

[DukeBox]

Anoniem: 493486 schreef op dinsdag 12 maart 2013 @ 17:55:
[...]
...Met Raid 6 en 1 hotspare geeft dat 5859 GB aan opslagruimte waar we op dit moment zo'n 1700 GB in gebruik hebben.

Als je de ruimte toch niet direct nodig hebt, zou ik met raid10 beginnen. Je kan altijd (online) migreren naar 6 (en 50: meer write io).

Anoniem: 39993 schreef op dinsdag 12 maart 2013 @ 21:04:
RAM moet je gewoon niet over-committen, terwijl je dat bij CPU prima kunt doen over het algemeen.

Ik denk dat vrijwel iedereen het daar mee eens is.. De meest ideale situatie is altijd n+1, dan kan je bij uitval van 1 host zonder enige impact verder draaien. Heb je een krap budget, dan kan je natuurlijk zorgen dat je middels over commit door kan draaien.
Het kan dan ook interesant zijn om SSD cache in je hosts te plaatsen en die als host cache in te stellen. Hierdoor is de impact bij over committing stukken lager. Ook zou je zelfs de default swap location daar kunnen zetten maar dan moet je wel rekening houden me dat vmotions langer kunnen duren bij vm's met veel geheugen.

Wat betreft je san switches, let erop dat de ene switch niet de andere is... Het beste is om ervoor te zorgen dat alles non blocking is. Oftewel, de maximum capaciteit van je EQL nooit overschreden wordt (pieken uitgesloten) door alle initiators bij elkaar.
In het geval van de P4100 kan je daar al snel tegenaan lopen (2Gbit totaal met 2/3 hosts á 2Gbit eraan). Daarom zal je al snel gebruik moeten maken van flow control en daarbij is portcache van belang, zeker als je ook jumbo frames gaat activeren.

Mogelijk kun je kijken naar de P4110 (10Gbit) dan kun je al snel wegkomen met eenvoudige switches zolang er maar een 10Gb module in kan. Wil je het helemaal Dell houden dan zou de PowerConnect 6224 een optie kunnen zijn (premier prijs ~ €1700 incl. 10Gb module en 2 DAC kabels). Deze kan je later altijd nog dubbel uitvoeren (stack) als failover.

NeHoX schreef op dinsdag 12 maart 2013 @ 14:21:
ZOu voor de SQL en applicatie server paar SSD's in raid 5 knallen. ZIjn zat SSD's te vinden die je in brackets kan knallen en 5 jaar garantie hebben. Voorderest gewoon local storage gebruiken in mirror. En een dikke NAS erachter i.p.v. heel SAN voor de opslag. Local storage is altijd sneller.

garantie != support
Met local storage is vmotion zonder VSA niet mogelijk. VSA heeft zo ook zijn limieten.
Daarnaast kost het je met VSA altijd de storage x aantal hosts.
Of een SSD NAS sneller is is ook maar betrekkelijk.. bijv. VAAI ondersteunig op een NAS is vaak veel minder (als het al aanwezig is) dan op SAN's.

[ Voor 92% gewijzigd door DukeBox op 15-03-2013 10:09 ]

[bigfoot1942]

Leuk topic; ik werk voor een Dell Partner en doe allerhande installaties door het land, met name EQL+virtualisatie (Hyper-V / VMWare).

Raid10 lijkt me een verstandig begin, je kan altijd later je raidlevel omzetten naar raid50 of raid6. Raid6 lijkt me overigens nogal vervelend qua schrijfsnelheid. Equallogic heeft er ook een goede whitepaper over, dit RAIDniveau wordt vooral gebruikt bij archiving en zie je met name bij Sata / nlsas disks.

Qua netwerk op de EQL (zag deze vraag voorbij komen) heb je 2x 1Gb actief en 2x 1Gb passief.


Met 2 hosts kan je gewoon een HA setup bouwen, het enige is dat je bij gepland onderhoud niet HA bent.
Neem een foundation licentie, dan kan je altijd nog met een host uitbreiden. (dit voordeel vervalt als je met 3 langzamere hosts begint.) Overigens vraag ik me af of je echt 128GB RAM nodig hebt voor alle vm's die je noemt. In theorie kan je gewoon beginnen met 96GB en tzt geheugen bijkopen (is dan waarschijnlijk goedkoper) maar of dat handig is moet je zelf inschatten.

Qua switches; PC6224 is niet langer aanbevolen, dit is nu de PC7024. Redundant uitgevoerd uiteraard (anders heeft een HA setup ook geen zin, wanneer je een SPOF inbouwd).
Duurdere switches (de Force10 serie) mag altijd, maar lijkt me hier absoluut niet nodig.

Backup: altijd hardware!
Kan je lekker volgooien met disks, heb je nog wat als je EQL in de fik vliegt. Tapes of iets wat je remote kan bewaren.

DukeBox schreef op vrijdag 15 maart 2013 @ 09:34:
[...]
Mogelijk kun je kijken naar de P4110 (10Gbit) dan kun je al snel wegkomen met eenvoudige switches zolang er maar een 10Gb module in kan. Wil je het helemaal Dell houden dan zou de PowerConnect 6224 een optie kunnen zijn (premier prijs ~ €1700 incl. 10Gb module en 2 DAC kabels). Deze kan je later altijd nog dubbel uitvoeren (stack) als failover.
[...]
garantie != support

Dat is _niet_supported_ door Dell / Equallogic. Verder kan je dikke problemen krijgen aangezien je een mixed environment hebt waarbij de EQL met > 1 Gb data naar je hosts probeert te sturen waarbij je performance volledig instort vanwege Retransmits of Flow Control waardoor je hele omgeving naar <1 gbit wordt gethrottled. Overigens is 2Gb in 99% van het gebruik geen bottleneck.

Verder, heb je nog iemand nodig met de nodige ervaring om t spulletje op een goede manier in te richten?
Ow wacht, dit is tweakers

[ Voor 25% gewijzigd door bigfoot1942 op 15-03-2013 15:09 ]

[DukeBox]

bigfoot1942 schreef op vrijdag 15 maart 2013 @ 14:59:
Dat is _niet_supported_ door Dell / Equallogic. Verder kan je dikke problemen krijgen aangezien je een mixed environment hebt waarbij de EQL met > 1 Gb data naar je hosts probeert te sturen waarbij je performance volledig instort vanwege Retransmits of Flow Control waardoor je hele omgeving naar <1 gbit wordt gethrottled.

Als het niet supported is dan moeten ze de documentatie die nu op de site staat aanpassen.

Hoe dan ook zijn ze hun hele switch HCL aan het aanpassen om hun force series meer te pushen. Waar voorheen ook gewoon 3rd party switches op stonden (én zelfs level 1 actief gesupport worden/werden) alsmede hun eigen 5xxx/6xxx reeks.

Flow control moet er júist voor zorgen dat niet je hele omgeving instort, deze zal dan alleen de 10Gb poort thrrotlen naar de maximale doorvoer (2Gbit per host) die op dat moment mogelijk is.
Ik heb diverse scenario's getest en dit is de meest budget vriendelijke zónder enige performance in te leveren. Middels een stack van 2 6224's heb je ook nog hardware failover bij een switch failure.

Overigens is 2Gb in 99% van het gebruik geen bottleneck.

Wel als je bijv. veel DRS doet op je VMware cluster.

[bigfoot1942]

DukeBox schreef op vrijdag 15 maart 2013 @ 15:44:
[...]

Als het niet supported is dan moeten ze de documentatie die nu op de site staat aanpassen.

Uit de EQL Knowledgebase:

INFO: Dell PC 6200 series switch SFP+ modules 10GBe

PowerConnect 6200 series and 10 Gigabit Ethernet

The PowerConnect 6200 series switches support up to four 10 Gigabit Ethernet uplink modules (optional) for connectivity directly to 10GE routers, servers, enterprise backbones and data centers.

"Uplink" ports on any switch, from any manufacturer, may NOT be used to connect to any EqualLogic array. End of discussion.

dus...

[quote]DukeBox schreef op vrijdag 15 maart 2013 @ 15:44:
[...]
Flow control moet er júist voor zorgen dat niet je hele omgeving instort, deze zal dan alleen de 10Gb poort thrrotlen naar de maximale doorvoer (2Gbit per host) die op dat moment mogelijk is.
/quote]
Helaas is Flow Control niet session aware, maar werkt deze op interface-niveau.
Been there, seen it, big shit.

[ Voor 4% gewijzigd door bigfoot1942 op 15-03-2013 15:56 ]

[DukeBox]

bigfoot1942 schreef op vrijdag 15 maart 2013 @ 15:55:
Uit de EQL Knowledgebase:

Precies, de 10Gb uplink module ja, niet de SFP+ interface module.

Flow Control zit op laag 4, transport. Idd niet session aware (is het nooit op osi 4) maar wel endpoint aware.. en dat is waar het hier om gaat. Zelfs Dell geeft aan dat het zo werkt: http://www.dell.com/downl...nce-with-PowerConnect.pdf

[ Voor 65% gewijzigd door DukeBox op 16-03-2013 13:16 ]

[Anoniem: 493486]

Thijs B schreef op woensdag 13 maart 2013 @ 22:07:
Uit mijn hoofd met de huidige ms licentie voorwaarden.
Een windows server standard geeft recht op 1x fysiek en 2x virtueel, die 2 virtuele machines horen bij elkaar, je mag ze niet verdelen over 2 hosts.

Zover ik heb gelezen geldt nog steeds dat je ze officieel 1x in de 90 dagen mag moven, zolang je licenties op orde zijn geloof ik niet dat ze daar bij een controlle een probleem van zullen maken.

In jouw situatie als je gebruik gaat maken van windows server standard zal je precies moeten bijhouden welke licenties op welke host draaien. Dat is een heel gedoe maar gezien het feit je maar 5 windows servers hebt ben je dan wel goedkoper uit. Mogelijk zelfs gewoon met een open license ipv gelijk een volume contract.
Wil je dat gezeur niet dan kom je toch weer op windows datacenter en zullen de licentie kosten een stuk hoger uitvallen.

Als het echt goedkoop moet zou je ook nog in overweging kunnen nemen of 2 servers met een datacenter server 2012 oem licentie een optie is.

Ik heb even wat rondgebeld met leveranciers en ook met Microsoft en wat je zegt klopt helaas. Als je 3 fysieke servers hebt en je zou bij uitval van 1 willekeurige server de (huidige) 5 windows VMs op de overige 2 servers willen draaien, dan moeten die servers dus 2 en 1 licentie Windows 2012 standaard licenties hebben. Ofwel in totaal moet je 5 Windows Server 2012 Standaard licenties aanschaffen. Overzichtelijk is dat niet echt, 2 licenties per server zou al ietsjes beter zijn, dan kun je ook gelijk groeien naar 8 Windows VMs.
Persoonlijk vind ik dit licentiebeleid totaal niet passen voor een virtuele omgeving, maar het is slikken of stikken begrijp ik (verkopers geven Microsoft de schuld, Microsoft Nederland schuift de piet door naar Microsoft USA).
Enige wat ik kan doen is zoveel mogelijk VMs naar Linux omzetten. Voor de mail is dat nog een keuze, voor AD eigenlijk al niet meer en voor de applicatieservers al helemaal niet...

Voor wat betreft de Dell SAN hebben we een erg goede deal begrijp ik al wel, normaal gesproken zijn dit soort SANs eerder 20/25k en nu een stukje meer dan 10k (ik voel me wel een klein beetje een vis die een lekkere worm ziet). Nadeel is dat het upgradepad qua kostenplaatje dus niet hetzelfde is als met de huidige unit.
Overigens heb ik begrepen dat deze Ps4100 in een configuratie van 2x raid 6 met global 1 hotspare ingericht wordt. De Equalogic software zou er dan vervolgens voor zorgen dat het dan als 1 geheel te gebruiken is. Plaats je er een 2e ps4100/ps6100 bij dan zorgt de Equalogic software ervoor dat alles nog steeds als 1 geheel aangeboden wordt? Wel heb je dan 4 uplinks (2 per unit) en veel meer spindels dus het zou goed moeten schalen volgens Dell.

Qua switches hebben we inderdaad 2x de Dell 7024 switches aangeboden gekregen van een anderhalf duizend euro. Echt uitleggen waarom een leuke HP Procurve 1910 gigabit switch (met flow control) van 250 euro niet voldoet konden ze niet, behalve dan dat "niet supported is" en dat deze switch veel beter is voor SAN verkeer

Nou ja, dat zullen we dan maar gewoon aannemen: san + switches zijn 1 totaalpakket baas

Wat is overigens niet helemaal snap: waarom raden mensen 3 nodes aan in verband met bandbreedte naar de SAN? De SAN heeft 2 gigabit uplinks en elke node heeft 2 gigabit naar dezelfde storage switches, dan kan elke server dus toch al het maximum van de SAN vragen en bieden 3 nodes geen voordeel wat dat betreft ten opzichte van 2 nodes?

Naar aanleiding van de mensen die local storage voorstellen heb ik dat ook eens nagerekend.
Zijn er mensen die opmerkingen hebben over onderstaande? advies?

local storage:
2x Dell 620 met 2x 6core Xeon, 128 GB RAM en 2x 800 GB SSD (dell ding, sata MLC) + 6x 900 GB 10k SAS
kosten ruwweg 20k +

local SSD + simpele NAS:
2x Dell 620 met 2x 6core Xeon, 128 GB RAM en 2x 800 GB SSD (dell ding, sata MLC)
1x Synology NAS RS2212RP+ met 10x WD RE4 1TB
(De SSDs zouden dan de VMs zelf bevatten + SQL en Exchange. De NAS is nodig voor alle andere data zoals userprofiles en documenten etc.)
kosten ruwweg 18k

niets local, alles op Dell SAN:
2x Dell 620 met 2x 6core Xeon, 128 GB RAM
Dell PS4100X met 24x 300 GB 10k SAS
kosten ruwweg 23k

Ik heb hier nergens licenties mee genomen, puur hardware.
De 2e oplossing is het goedkoopst, ook nog wanneer er een 3e server bij komt. We hebben al eenzelfde Synology (met 3 TB schijven) voor backup. Desnoods koop ik nog zo'n Synology op vooraad erbij voor 1700 euro.

Grote vraag is: hoe verhouden 2 van deze Dell MLC SSD's in raid 1 zich ten opzichte van de Dell SAN?
(doen de SSDs TRIM in Raid 1 op een Dell PERC H710 ?)

[DukeBox]

Anoniem: 493486 schreef op maandag 18 maart 2013 @ 11:12:
Overigens heb ik begrepen dat deze Ps4100 in een configuratie van 2x raid 6 met global 1 hotspare ingericht wordt.

Dan zou er raid60 gedaan worden.. dat lijkt me stug want dat kan de PS4100 niet zonder de (unsupported) tms vlag via de CLI aan te zetten. Global zijn er altijd 2 hotspares pér member (tenzij je weer via de CLI ervoor kiest om geen hotspares te doen) 1 hotspare is niet mogelijk.

Nogmaals, als je niet alle data nodig hebt, configureer hem gewoon als raid10 met 2 hotspares. Je kan later dan nog alle kanten op wanneer je meer ruimte nodig hebt.

Andersom (wanneer je bijv. meer write IO's nodig hebt) is dat niet online mogelijk zonder een member vacation en daarvoor heb je minimaal 2 members nodig en genoeg ruimte op de andere member(s).

Je zou ook nog 12x600GB kunnen nemen, qua IO's zal dat niet veel uitmaken omdat je toch maar 2Gbit connect maar dan ben je wel flexibeler: HDD's bijplaatsen voor IO's of storage (of een combi van). Er komen ook nog hybrid SSD upgrade kit's uit maar ik denk alleen voor de 6xxx series. Hoe dan ook is dit een non-customer applied upgrade (net als een PS4xxx naar PS6xxx of PS4100 naar PS4110 upgrade).

De Equalogic software zou er dan vervolgens voor zorgen dat het dan als 1 geheel te gebruiken is. Plaats je er een 2e ps4100/ps6100 bij dan zorgt de Equalogic software ervoor dat alles nog steeds als 1 geheel aangeboden wordt? Wel heb je dan 4 uplinks (2 per unit) en veel meer spindels dus het zou goed moeten schalen volgens Dell.

Zolang de units in 1 groep zitten en de storage pool op meerdere units bestaat, dan zal de de data en load (default) verdeeld worden over alle members met de betreffende pool. Het is ook niet zo dat wanneer je kiest voor raid10, beide units een mirror bevatten, een unit down is alles down.
meer members=meer spindles (IO's) + meer controllers (bandbreedte) dus in theorie klopt dat MAAR, dat gaat alleen op wanneer je alle members in 1 groep én 1 storage pool hebt én alle members met gelijk aantal én snelheid HDD's én RAID levels én aantal host connecties. Dus een hoop én's en dat is alleen nog maar de member instellingen, je kan ook op volume niveau e.e.a. instellen dat invloed heeft.
Ik kan je wel vertellen wat je kan verwachten per situatie maar om ze allemaal uit te schijven is me iets teveel werk.

n.b. In als alle members deel uitmaken van dezelfde storage poool kan je geen synchrone replicatie gebruiken. Split pool config wordt ook nog niet ondersteund maar dit komt volgens planning in FW6.2.5PR officieel beschikbaar. Op dit moment kan dat alleen nog (unsupported) via de CLI.

Qua switches hebben we inderdaad 2x de Dell 7024 switches aangeboden gekregen à 1500 euro. Echt uitleggen waarom een leuke HP Procurve 1910 gigabit switch (met flow control) van 250 euro niet voldoet konden ze niet, behalve dan dat "niet supported is" en dat deze switch veel beter is voor SAN verkeer

Die 1910's hebben een veel te kleine port-cache om jumbo frames met flow control goed te kunnen verwerken. Je kan soms nog wat performance winnen door de QoS queues van 5 naar 3 te brengen maar die optie heb je niet in de 1900 series. Bij HP is iSCSI pas vanaf de 3500yl zonder issues te doen.

Grote vraag is: hoe verhouden 2 van deze Dell MLC SSD's in raid 1 zich ten opzichte van de Dell SAN?
(doen de SSDs TRIM in Raid 1 op een Dell PERC H710 ?)

Beetje lastig te vergelijken.. qua IO's is het natuurlijk super snel. Je kan wel een zooi EQL's in 1 groep gooien maar met 2Gbit connectie zal dat eerder je limiet worden om het aantal IO's te halen.
De 710 doet geen TRIM (vrijwel geen enkele hardware raid doet dat).
Een vergelijkbare situatie heb ik ook live staan, 2 R810's met lokaal 2x256GB raid 1 op een H710. Dit hangt per host met 2x10Gb aan een 4x PS6110X

Als je wilt kan ik wel een SQLIO test doen op een PS4100X (24x 300 GB SAS 10k) en een local SSD (2x 265GB ?) array op een R710 met H710 (512MB?).. moet je me alleen aangeven wat voor raid array (5,6,10,50) voor de PS en H710, dan haal ik de onderdelen wel ff uit het lab.

edit:
Zat me toch een beetje te vervelen..

Public Publieke map

Als switch overigens een HP 5406zl v2 gebruikt.

[ Voor 23% gewijzigd door DukeBox op 18-03-2013 23:32 ]

[bigfoot1942]

DukeBox schreef op zaterdag 16 maart 2013 @ 12:48:
[...]

Precies, de 10Gb uplink module ja, niet de SFP+ interface module.

Flow Control zit op laag 4, transport. Idd niet session aware (is het nooit op osi 4) maar wel endpoint aware.. en dat is waar het hier om gaat. Zelfs Dell geeft aan dat het zo werkt: http://www.dell.com/downl...nce-with-PowerConnect.pdf

check, dus in het scenario dat je een leesactie doet, en je krijgt data aangeboden >1 Gb over 1 link richting je host, worden pauzeframes gestuurd naar 10Gb de switchpoort van de EQL. Hierdoor heb je niet 9Gbit over voor je andere VM's, deze zullen dus ook last hebben (=traagheid ondervinden) met leesacties.

Anoniem: 493486 schreef op maandag 18 maart 2013 @ 11:12:
[...]
De Equalogic software zou er dan vervolgens voor zorgen dat het dan als 1 geheel te gebruiken is. Plaats je er een 2e ps4100/ps6100 bij dan zorgt de Equalogic software ervoor dat alles nog steeds als 1 geheel aangeboden wordt? Wel heb je dan 4 uplinks (2 per unit) en veel meer spindels dus het zou goed moeten schalen volgens Dell.

Grote vraag is: hoe verhouden 2 van deze Dell MLC SSD's in raid 1 zich ten opzichte van de Dell SAN?
(doen de SSDs TRIM in Raid 1 op een Dell PERC H710 ?)

1 geheel, check.

Verder, vergeet niet dat een Equallogic nogal wat voordelen biedt qua schaalbaarheid (en uitbreiden zonder downtime zoals al aangegeven). Storage Offloading icm ESX is ook een van de voordelen.

Overigens kan ik je wel vertellen dat je niet in de buurt van SSD performance gaat komen. Aan de andere kant blijkt uit de performance meting dat jullie dat ook compleet niet nodig hebben

[DukeBox]

bigfoot1942 schreef op dinsdag 19 maart 2013 @ 16:58:
check, dus in het scenario dat je een leesactie doet, en je krijgt data aangeboden >1 Gb over 1 link richting je host, worden pauzeframes gestuurd naar 10Gb de switchpoort van de EQL. Hierdoor heb je niet 9Gbit over voor je andere VM's, deze zullen dus ook last hebben (=traagheid ondervinden) met leesacties.

Dat was wel een issue met mixed 100Mbit / 1Gbit omgevingen maar met 1Gbit en 10Gbit is dat niet echt meer van toepassing. De max(!) pause delay voor 10Gbit is 3,4ms en de switchport queues werken (standaard) middels fifo dus wordt data als een soort van multiplex verdeeld. Mocht er dus ergens een TX congestion zijn dan zal de EQL max 3,4ms wachten tussen het verzenden van alle andere gequeuede TX door.

[ Voor 212% gewijzigd door DukeBox op 20-03-2013 11:21 ]

[DukeBox]

toch nog ff gebruik maken van deze verkeerde edit/dubbelpost...
Even terug komend op flow control, zeker in omgevingen waar data nooit gepushed maar altijd gerequest wordt (block IO) vanuit de initiators is dit issue niet echt van toepassing. Immers, de initiators zullen pas weer een request doen als de data binnen is. Juist dat is dé reden dat de (port/queue) cache grootte op je switch zo belangrijk is. Zolang daar de gevraagde data in past dan zal er geen pause frame verzonden worden.
Het kan dus verstandig zijn de queue's aan te passen naar de hoeveelheid die nodig is. Bij een dedicated iSCSI switch het liefst 1 queue (al is meestal 2 het minimum).
n.b. De hoeveelheid data is overigens ook sterk afhankelijk of je disk aligned is of niet.

Het enige waar je soms op moet letten is bij bijv. replicatie. Wanneer data vanuit de target wordt geïnitieerd waarbij dat over een langzamere verbinding gaat/uitkomt dan de initiator interface. Dan kan het verstandig zijn om ergens tussen tussen beide EQL's flow control (Tx) uit te schakelen.

[ Voor 211% gewijzigd door DukeBox op 20-03-2013 15:43 . Reden: verkeerde edit ]

[bigfoot1942]

@DukeBox: Aangezien je wel klinkt als iemand met serieuze ervaring zal ik je toch ff leegpersen qua kennis, zeker interessant!

DukeBox schreef op maandag 18 maart 2013 @ 11:51:
[...]
[...]
meer members=meer spindles (IO's) + meer controllers (bandbreedte) dus in theorie klopt dat MAAR, dat gaat alleen op wanneer je alle members in 1 groep én 1 storage pool hebt én alle members met gelijk aantal én snelheid HDD's én RAID levels én aantal host connecties. Dus een hoop én's en dat is alleen nog maar de member instellingen, je kan ook op volume niveau e.e.a. instellen dat invloed heeft.
Ik kan je wel vertellen wat je kan verwachten per situatie maar om ze allemaal uit te schijven is me iets teveel werk.
[...]

Mixed pools performance loadbalancing wordt sinds FW 5.1 al gewoon ondersteund

DukeBox schreef op woensdag 20 maart 2013 @ 10:08:
[...]

Dat was wel een issue met mixed 100Mbit / 1Gbit omgevingen maar met 1Gbit en 10Gbit is dat niet echt meer van toepassing. De max(!) pause delay voor 10Gbit is 3,4ms en de switchport queues werken (standaard) middels fifo dus wordt data als een soort van multiplex verdeeld. Mocht er dus ergens een TX congestion zijn dan zal de EQL max 3,4ms wachten tussen het verzenden van alle andere gequeuede TX door.

Maar als 1 host op max snelheid data vraagt en de EQL zo proberen met 4Gbit te sturen dan maakt het toch niet uit dat een pauze frame slechts 3,4 ms wachttijd geeft, je pauzeframe-teller zal alleen aardig toeren maken en effectief kom je dan nog steeds uit op +- 1Gb. En als hij dan met 1Gb nog data naar een andere host probeerd te versturen zal (aangezien 80% van de data pauzeframes gaat genereren voor 75% 'delay') deze 1Gb ook gethrottled worden naar +- 400Mbit.
Beetje theoretisch (en daarmee relatief ver van de praktijk) maar ik heb een omgeving gezien met 10Gb Equallogics en een 20tal hosts. Effectief regende het pauzeframes richting de Equallogic en kwam de snelheid niet gek ver boven de 1Gb per 10Gb verbinding... Ik probeer daarvoor dan toch een sluitende verklaring te zoeken.

@TS: zijn er al ontwikkelingen? Waar gaat je voorkeur naar uit? Wat ga je doen met backup?

[Anoniem: 493486]

Voor backup ben ik er nog niet helemaal uit,er is er nog een 3e gegadigde bijgekomen: Nakivo.
Volgens mij is die naam nog helemaal nooit op dit forum voorbij gekomen, ik vond hem zelf ook enkel toevallig via wat googlen en zelfs dan nog is er niet heel veel over te vinden (nadeel).
Voordeel is dat die ook op een Linux server kan draaien en hij is een stuk goedkoper dan Veeam. Na wat testen lijkt hij het meeste van wat ik wil wel te kunnen.
Wel grappig daarbij is: ik vond (en vind nog steeds wel) hun documentatie tegenvallen en toen de installatie op Ubuntu failde zonder duidelijke logmeldingen heb ik een kritische melding gemaakt in hun contactformulier: een uur later had ik een medewerker van hun aan de telefoon die me een uitgebreide demo gaf. Versie 3 moet volgende week uitkomen en zal ik nog wat beter testen op Linux.

Voor nu denk ik wel dat Veeam wat meer zekerheid bied qua mogelijkheden en documentatie. Met Veeam Enterprise kun je zelfs ook individuele mails uit Exchange terugzetten wat niet met Nakivo kan (gewone files kun je wel individueel terugzetten). Veeam Standaard heb ik dus in mijn voorstel geschreven en het voorstel ligt nu bij mijn directeuren. Nakivo is goedkoper dus als ik het alsnog prettig vind werken dan kan ik die altijd nog voorstellen.

Voor wat betreft het virtualisatievoorstel zelf kwam ik op 6 opties uit welke ik allen kort heb beschreven. De 4 opties die ik afraad zijn:
- 6 fysieke servers + 1 reserve en geen virtualisatie (niet flexibel en lange recovertijden, wel goedkoopste licenties)
- 1 server met SSDs en veel lokale schijven en 5 jaar lang 2-uurs support contract ( maar weinig flexibel qua uitbreiding en datagrootte, ivm de laagste licentiekosten toch nog best serieuze kandidaat)
- 2 servers met SSDs en veel lokale schijven (bij storing duurt kopiëren van 2 TB aan VMs te lang)
- 2 servers met 2 SANS (replicatie) en VMware Acceleration kit (te duur, als we nu goed beginnen kan dit later altijd nog)

2 opties heb ik serieus uitgewerkt waarbij de 2e mijn voorkeur heeft:
- 2 servers met 2x 800 GB SSD en een Synology RS2212RP+ NAS met 10x 1 TB WD RE4 in Raid 6 (met 2 schijven op voorraad en we hebben al een gelijke Synology als backuptarget. De NAS + schijven kost € 2500 dus een 2e unit voor replicatie is eventueel ook nog te betalen)
- 2 servers zonder schijven en de Dell PS4100X SAN met 5 jaar 4-uurs supportcontract

Beide heb ik voorgesteld met de VMware Essentials kit omdat wij toch altijd on site zijn en een server ook in een paar minuten kunnen herstarten (+ eventuele kopieertijd wanneer we lokale SSDs gebruiken).
De kosten en voordelen van een upgrade naar Essentials Plus of Acceleration kit heb ik benoemd zodat de directie kan bepalen of ze dat willen. Een upgrade in VMware licentie kan echter de komende jaren ook altijd nog.

Voor windows licenties heb ik 2x Dell Windows server 2012 Datacenter voorgesteld. Die zijn dus gekoppeld aan de fysieke servers dus wanneer die vervangen worden over een 5 jaren dan zijn deze licenties weg, maar dat is denk ik te overzien. 2012 Standaard licenties binnen een Openlicense zouden we kunnen blijven gebruiken na 5 jaar, maar hoe lang willen we dan nog op Windows Server 2012 blijven zitten? We zouden minimaal 4 en in principe zelfs 6 Standard licenties moeten nemen (2 of 3 per server) en dan kan de Dell Datacenter editie financieel al uit en dan kunnen we onbeperkt Windows VMs aanmaken. (gedurende de 5 jaren dat we de servers hebben dan wel, stomme licentievoorwaarden )

Indien we voor VMware Essentials kit gaan komt de management- en backupserver fysiek op een oude HP ML350 (met een 2e en 3e op reserve). Gaan we voor VMWare HA dan kan de management- en backupserver virtueel, ook omdat de windows licenties dan "niets" kost.

Maar goed, voorstel ligt bij de directie en je kunt je voorstellen dat die daar wel even over moeten nadenken.
Dank aan eenieder die hier heeft meegedacht.

Mocht je de discussie over Dell SANs en switches etcetera willen voortzetten:ga vooral je gang.
Sterker nog: ik doe er een kleine duit bij

Ik zat namelijk een admin manual van de equallogics te lezen en dacht dat Dukebox gelijk had voor wat betreft haken en ogen aan mixen van verschillende snelheden schijven en raid configuraties bij eventuele nieuwe extra SANs etcetera terwijl de Dell mensen mij toch echt anders hadden verteld. Blijkt dat ik een manual had voor firmware versie 5 en bij firmware versie 5.1 is er het nodige veranderd zoals bigfoot1942 ook al aangeeft (Configuration Guide).
Nu is de scheiden van pools vooral een business aangelegenheid. Je kunt ze gebruiken om simpelweg te scheiden, waarbij je dan bijvoorbeeld verschillende snelheid of capaciteit kunt toewijzen aan een pool (tiered storage). Binnen een pool kunnen de arrays nu verschillende schijfsnelheden en raid configuraties hebben. De software zorgt er dan zelf voor dat de data die het snelst moet zijn op de snelste arrays geplaatst wordt en de langzamere data op de langzamere arrays. Ideaal

Daarnaast is nu ook de inrichting van de arrays me een beetje duidelijk. Als Dell voorstelt dat op basis van de meting een RAID 6 configuratie het best is, dan bedoelen ze 2 raid 6 configs in de array (1x 12 schijven en 1x 11 schijven) met in totaal 1 hotspare. Dat kost me dus 5 schijven in parity/hotspare.
Dit is dus geen RAID 60, er is geen stripe ofzo.
1 grote Raid 6 config aanmaken met 2 hotspares kan niet in deze nieuwe arrays wanneer het totaal aantal schijven 24 of hoger is...
(sterker nog: bij een array van 48 schijven met RAID 6 zijn 2 hotspares verplicht en krijg je dan 3 configs van 14 schijven + 1 config van 4 schijven waar bij elke config 2 disken gebruikt worden voor parity ofwel in totaal 10 schijven weg aan parity/hotspare )

[DukeBox]

bigfoot1942 schreef op donderdag 21 maart 2013 @ 11:38:
Mixed pools performance loadbalancing wordt sinds FW 5.1 al gewoon ondersteund

Nee, pool balancing/sharing zit er niet in. Een volume kan niet buiten de pool komen, de enige uitzondering is een syncrep maar dat is eigenlijk gewoon een realtime clone. Het enige dat in ontwikkeling is (samen met multiple pools) is dat replica's en templates straks in een andere storage pool geplaatst kunnen worden. Jij bedoeld mixed pool array's bijv. 1 array raid 10 en 1 raid 50 in dezelfde storage pool, ja dat klopt.

Maar als 1 host op max snelheid data vraagt en de EQL zo proberen met 4Gbit te sturen dan maakt het toch niet uit dat een pauze frame slechts 3,4 ms wachttijd geeft, je pauzeframe-teller zal alleen aardig toeren maken en effectief kom je dan nog steeds uit op +- 1Gb.

Dat is mij niet geheel duidelijk.. een host/initiator vraagt nooit data op een bepaalde snelheid.

Ieder iSCSI commando gaat als iSCSI PDU read/write request van/naar de initiator.
Het mooie is dat in de IO request van te voren bekend is hoeveel data er aan komt én er staat altijd maar een PDU open na de initiator en voor de target (oftewel, de ethernet laag). Delayed IO's staan altijd op de SCSI (kernel) laag in de buffer.

Een IO request kan in theorie bestaan uit de maximum data in/out PDU' van 16MByte. Deze is echter bij de Microsoft initiator (gelukkig) maar maximaal 256KByte. Deze zal worden verdeeld over meerdere TCP segmenten (1 read/write request van max 8Kbyte (meestal 186bytes), max 32 data PDU's en 1 read/write commit van max 8Kbyte (meestal 162bytes)).

Oftewel, er zal niet meer dan 272Kbyte aan data verzonden worden door de target voordat deze weer een nieuwe request krijgt. Uiteraard is er nog wat overhead omdat dit niet in de tcp window size past van 32768 Bytes dus laten we het afronden op 296KByte (overigens is dit vrijwel nooit meer dan 256Kbyte.

Even een hele simpele opzet waar flow control overal aanstaat en middels jumbo frames communiceerd met goede (!) switches met minimaal 512Kbyte port/queue cache.

Situatie: 2 initiators (host A en met ieder 1Gbit hangen via een 1/10Gbit switch aan een 10Gbit target.
- initiator A doet een IO request, 1G->10G, max 296Kbyte, geen probleem.
- initiator B doet tegelijk een IO request, 1G->10G, max 296Kbyte geen probleem.
- target data wordt verzonden 10G->1G naar initiator A en B tegelijk, de switch krijgt (max) 592KByte met 10Gbit (line speed) binnen, gooit 296Kbyte in de port-out buffer waar de 2 initiators aan hangen.
- De initiator krijg de 296Kbyte gewoon met 1Gbit (line speed) binnen..
Nergens congestion of port hammering wat een pause frame kan veroorzaken.

Wanneer kan dit dan fout gaan ? Als je meerdere targets (of actieve interfaces op je target) hebt.
Hoe los je dat op ? Simpel, RR MPIO, immers per path heb je port/queue cache op je switch.

En als hij dan met 1Gb nog data naar een andere host probeerd te versturen zal (aangezien 80% van de data pauzeframes gaat genereren voor 75% 'delay') deze 1Gb ook gethrottled worden naar +- 400Mbit.
Beetje theoretisch (en daarmee relatief ver van de praktijk) maar ik heb een omgeving gezien met 10Gb Equallogics en een 20tal hosts. Effectief regende het pauzeframes richting de Equallogic en kwam de snelheid niet gek ver boven de 1Gb per 10Gb verbinding... Ik probeer daarvoor dan toch een sluitende verklaring te zoeken.

Dan vraag ik me af wat voor switch.
Als ik het goed begrijp bedoel je dat er inter-host data over je iSCSI interface gaat ? Dát moet je ten alle tijden voorkomen want dat kan inderdaad problemen opleveren.
Áltijd dedicated (of converged met dedicated queues) iSCSI interfaces gebruiken.

[bigfoot1942]

296Kbyte zal inderdaad geen probleem zijn. Seriële IO ook niet aangezien EQL daarmee niet kan vlammen / bruut data gaan pompen. Wil je bruut data kunnen pompen (en dus je verbinding vol kunnen trekken), dan moet je met meerdere threads IO gaan vragen. Een bandbreedte-optimized IOmeter test moet je dus doen met 64 threads. Dit is niet puur hypothetisch, ook in een productiesituatie zal je databaseserver multithreaded IO requests doen.
Dan eindig je dus wel met buffers die vollopen (aangezien je data op de switch 10x zo snel ontvangt dan kan versturen, tenzij je dus 18944 Kbyte port-buffers hebt en max 64 threads...

[DukeBox]

Nee, nogmaals, er kan maar 1 PDU tegelijk verwerkt worden dus er is nooit meer dan 296Kbyte aan outstanding data.

[ Voor 4% gewijzigd door DukeBox op 22-03-2013 16:25 ]

[bigfoot1942]

DukeBox schreef op vrijdag 22 maart 2013 @ 16:25:
Nee, nogmaals, er kan maar 1 PDU tegelijk verwerkt worden dus er is nooit meer dan 296Kbyte aan outstanding data.

Als ik je goed begrijp zal je met een buffer van >= 296Kbyte per (edge)poort nooit pauze-frames kunnen zien? Wat is dan het nut van de (afmetingen van de) buffers van de Force10 S60 switches welke zo aanbevolen worden (1,25Gbyte shared, op een 44poort switch dus 29MByte per poort) als 1% daarvan je max ooit zou kunnen zijn?


Overigens, in die pauze-frame-genererende opstelling stond de 1Gbit switch achter een 10Gbit switch, dus het zou goed kunnen dat over die 10Gb ISL wel een 20tal pakketten parallel in de switchport buffer werd gezet (wat niet past en dus pauze-frames genereerd). Aan de andere kant was de ISL gewoon 10Gb dus zou die zijn buffer wel met 10Gb leeg kunnen gooien... Toch kwam de snelheid pauze-frame throttled effectief neer op 1Gb.
Voor jouw info, dedicated iSCSI, geen inter host en inter array data.

Zeker dank voor de uitleg, ik wil het gewoon graag begrijpen in plaats van blind aannemen
Die 1 uitstaande PDU heb ik inderdaad overheen gelezen...

[Wim-Bart]

Even een vraag tussendoor, waarom voor VMWare? Waarom niet Hyper-V 2012? Daarnaast zie ik je volgende VM lijstje:

• Windows 2008 R2 (AD) 4-core 16 GB RAM
• Windows 2008 R2 (Exchange 2010 - 100 users) 4-core 32 GB RAM
• Windows 2003 64bit (SQL en applicatieserver) 4-core 16 GB RAM
• Windows 2008 R2 (lichte applicatieserver) 2-core 4 GB RAM
• Windows 2008 (virtueel werkstation voor specifiek gebruik, hebben we nu ook al) 2-core 4 GB RAM
• Ubuntu 12.04 (webserver) 2-core 8 GB RAM
• CentOS 6.3 (VOIP) 2-core 8 GB RAM
• eventueel ook nog: Backupserver (Veeam waarschijnlijk) 4-core 16 GB RAM

Je spreekt zelf over 100 users ongeveer. Dus zou ik het persoonlijk als volgt maken:

• 2 x Domein controller Server 2012, met als voordeel dat je daar ook je DHCP mooi redundant kan regelen en bovendien, je bent al voorbereid op de toekomst. Beide DC's gewoon 2 cores, en maximaal 4 GB geheugen. Meer dan zat.
• 1 x Windows 2008 R2 (Exchange 2010 - 100 users) 4-core, 16GB als Mailbox,
• 1 x Windows 2008 R2 (Exchange 2010) 4-core, 4GB als CAS
• 1 x Windows 2003 64bit (SQL en applicatieserver) 4-core 16 GB RAM
• 1 x Windows 2008 R2 (lichte applicatieserver) 2-core 4 GB RAM
• 1 x Windows 2008 (virtueel werkstation voor specifiek gebruik, hebben we nu ook al) 2-core 4 GB RAM
• 1 x Ubuntu 12.04 (webserver) 2-core 8 GB RAM
• 1 x CentOS 6.3 (VOIP) 2-core 8 GB RAM
• 1 x eventueel ook nog: Backupserver (Veeam waarschijnlijk) 4-core 16 GB RAM

Met 3 Fysieke servers neem je 3 x een Server 2012 Datacenter licentie af (2 fysieke sockets per server) met SA, dan kan je gebruik maken van downgrade rechten (als je de licenties nog niet hebt).

Net zoals onder VMWare heb je nog een kleine extra server nodig (Virtual Center), welke je kan gebruiken om als "Beheer AD" voor je Windows 2012 Hyper-V cluster.

Het is maar een idee

[DukeBox]

bigfoot1942 schreef op vrijdag 22 maart 2013 @ 22:26:
Als ik je goed begrijp zal je met een buffer van >= 296Kbyte per (edge)poort nooit pauze-frames kunnen zien?

Ja, met het genoemde voorbeeld in het geval van een enkele target. Een PDU geld namelijk pér target.

Dus zelfs al heb je bijv. 4x een PS6000 met totaal 16x1Gbit, zal er altijd maar 1 openstaande PDU zijn per initiator en target.
Heb je meerdere targets, dan kan het dus verstandig zijn meerdere interfaces (aktief!) in de MPIO config op te nemen indien je portcache beperkt is.
Kortom, je zal op zoek moeten naar de verhouding van targets/interfaces/portcache

bigfoot1942 schreef op vrijdag 22 maart 2013 @ 22:26:
Overigens, in die pauze-frame-genererende opstelling stond de 1Gbit switch achter een 10Gbit switch...

Dat is vrijwel zeker de oorzaak, pauze frames gaan pér netwerk segment. In dit geval van een enkele 1Gbit uplink heb je maar 1 egress port queue, die van de 10Gbit switch. Als die beperkt is dan ga je daar snel tegenaan lopen.

Die 1 uitstaande PDU heb ik inderdaad overheen gelezen...

Het is ook best een hoop stof dat er bij komt kijken.. waar je vroeger mee weg kon komen als SAN specialist moet je nu ook nog netwerk specialist zijn.

Wim-Bart schreef op maandag 25 maart 2013 @ 02:45:
Even een vraag tussendoor, waarom voor VMWare? Waarom niet Hyper-V 2012?

Heb je met beiden als eens (intensief) gewerkt ? Ken niet veel mensen die die vraag zouden stellen namelijk als ze beide pakketten kennen (ervan uitgaande dat budget geen probleem is)

Met 3 Fysieke servers neem je 3 x een Server 2012 Datacenter licentie af (2 fysieke sockets per server) met SA, dan kan je gebruik maken van downgrade rechten (als je de licenties nog niet hebt).

Ja en nee.. vergeet niet dat je een licentie pér (gevulde) socket moet hebben. Dat datacenter alleen maar per 2 gaat als OEM en MVL even daargelaten.

[ Voor 54% gewijzigd door DukeBox op 25-03-2013 09:57 ]

[Question Mark]

Wim-Bart schreef op maandag 25 maart 2013 @ 02:45:
• 1 x Windows 2008 R2 (Exchange 2010 - 100 users) 4-core, 16GB als Mailbox,
• 1 x Windows 2008 R2 (Exchange 2010) 4-core, 4GB als CAS

Waarom een dedicated CAS server in dit geval? Toch weer een extra VM met licentiekosten....

[Powermage]

Omdat de licenties op processor niveau van de host gaan in die opzet, en dan boeit die guest licensing niet meer.

[Equator]

Maar het kost je wel een extra Exchange Server licentie.. De Windows licentie is inderdaad afgedicht middels je Enterprise/Datacenter licentie.

[Jazzy]

Plus dat het nergens voor nodig is. Is alleen maar lastiger om te beheren omdat je de ene aanpassing op die server moet doen maar het certificaat dan weer op de andere, etc. Idem voor patchen en dergelijke.

En als je dan toch bezig bent, zet de HT rol ook maar op die ene zelfde server want die heb je echt nodig.