Optimale indeling serverrack

[tERRiON]

We gaan hier op mijn werk de serverruimte op de kop zetten. Nu ben ik op zoek gegaan naar een "ideale indeling" van onze serverrack(s), met name van onze 18 virtualisatie-hosts. Dit zijn allemaal vergelijkbare 1U-servers a.k.a. pizzadozen. Dit zullen er op termijn ongetwijfeld meer worden, dus een beetje groeimogelijkheden zou handig zijn.

De serverruimte heeft geen gescheiden warmte/koude-zones. Koude lucht komt aan de voorzijde van de racks uit de vloer. Verder willen we naar een inrichting waarbij de netwerkswitches in een apart rack worden gehangen en via patchpanels en netwerkbekabeling aan de bovenzijde naar de verschillende racks worden geleid.

Wat we dus in het rack willen hebben:
1x UPS (2U)
1x KVM-Console
1x KVM-Switch
18x 1U-server (met 5 netwerkaansluitingen per server)
...x Blindpanels

Nu had ik zelf het volgende bedacht:
Voorzijde:
36-42: Blindpanel
[ ... ]
05: Server
04: Server
03: Blindpanel
01+02: UPS

Ergens in het midden de KVM-Console i.p.v. een blindpanel

Achterzijde:
37: KVM-Switch
38-42: Patchpanels (Patch 01 - 120)

Is dit een beetje logische indeling? Of zijn er andere "best practices" o.i.d.?

[tsjoender]

Leuke vraag. Ik kan me voorstellen dat persoonlijke voorkeur ook meespeelt in dit soort dingen. Inhoudelijk niet echt een antwoord, maar wel een paar vragen:

Je geeft aan KVM switches te willen gebruiken. Hebben die 1U servers geen iLO/DRAC of dergelijke oplossing? Daarmee kun je naast het console overnemen ook op afstand power cycles doen of hardware status uitlezen. Misschien iets om mee te nemen ter overweging.

Verder geef je aan dat je een 2U UPS gaat plaatsen. Heeft die wel voldoende vermogen om een rack vol 1U systemen te voeden als de stroom uitvalt? En vooral hoelang kan die die stroom dan leveren?

In de hoek van de serverruimte een grote UPS voor alle racks zou ook een optie kunnen zijn wellicht. Vraagt mogelijk wel een grotere investering en aanpassing van de stroom aansluitingen.

[CyBeR]

Waarom wil je je switches apart? Nu moet je naar elk rack 40+ kabels trekken ipv een paar uplinks.

[tERRiON]

@tsjoender:
De servers hebben wel iets als iLO maar we hebben geen licenties voor KVM over IP. Dus remote power cycles e.d. kunnen we wel, schermen overnemen dus niet...

Op dit moment hangt er al een 2U UPS onder. Maar nu je er over begint, we hebben inderdaad ook een 'centrale' UPS. Ik zal eens kijken hoe e.e.a. nou aangesloten is.

@Cyber:
Dit werd ons aangeraden door een netwerkleverancier waar we afgelopen week een demo van gehad hebben. Dit verband met koeling. Mijn eerste idee was om er een stel 48p-switches op te hangen net een paar glaslinks.

Maar in principe nog niets echt vast, dus ik sta open voor goede argumenten om zaken nog aan te passen.

[tsjoender]

Wat voor virtualisatie oplossing gebruiken jullie? VMware? Dan kun je de consoles ook zonder die licentie prima benaderen. Voor grafische GUI's zoals Windows of X dan zou zo'n licentie wel nodig zijn.

Per rack twee switches is wel aan te bevelen. Zo kun je redundante setups bouwen en maakt het het kabelmanagement eenvoudiger zoals CyBeR ook voorstelde. De relatie tussen koeling en de switches in een apart rack zie ik niet zo behalve dan misschien een spaghetti van netwerkkabels die de airflow in de weg zitten.

[CherandarGuard]

Je zou eens je ideeën in een planner kunnen gooien, dan heb je het iig gevisualiseerd.
Ik weet dat Dell er iig eentje heeft (uiteraard wel met Dell onderdelen, maar het gaat om het idee).
Je kan hem vinden op http://www.dell.com/html/...ck_advisor_new/index.html.

[CyBeR]

tERRiON schreef op vrijdag 09 december 2011 @ 11:34:

Dit werd ons aangeraden door een netwerkleverancier waar we afgelopen week een demo van gehad hebben. Dit verband met koeling. Mijn eerste idee was om er een stel 48p-switches op te hangen net een paar glaslinks.

Maar in principe nog niets echt vast, dus ik sta open voor goede argumenten om zaken nog aan te passen.

Wat zeiden ze daarover dan? Want switches hebben niet snel een effect op je koeling, tenzij je een een ontzettende cold-corridor setup hebt, of enorme switches. En in dat eerste geval heb je switches met een reversible airflow (back to front ipv andersom) zodat ze dezelfde richting op koelen als je servers maar toch achterin je rack kunnen hangen.

[My-life]

Wij hebben het net zo gedaan als jij voorsteld.

[tERRiON]

@Cuber:
Wat ze exact gezegd hebben, heb ik helaas niet helemaal kunnen volgen. Het gereutel ging vrij snel terwijl ik eigenlijk met andere dingen bezig was dan koeling. Maar je hebt gelijk dat standaard switches niet zoveel warmte genereren. Alleen van PoE-switches weet ik dat ze nog wel lekker warm kunnen worden, maar die gebruik je natuurlijk weer niet om je servers aan te hangen. ;-) (zou trouwens wel leuk zijn als dat zou kunnen, hahaha!)

@My-life:
Met patchpanels aan de achterkant en vele tientallen netwerkkabels naar een kast met switches? Of bovenin een paar switches en wat glazen touwtjes naar de rest van je computerpark?

[Rolfie]

Voordeel van een centrale switch kast is dat je gemakkelijker de servers over verschillende switches kan doen. Dus een A en B switch. Hierdoor kan je gemakkelijker je switchen benutten.
Bij de switchen in de racks zelf stoppen, dan moet je minimaal 2 switches plaatsen voor redundantie.

[tERRiON]

We hebben, gezien het aantal servers en aansluitingen per server, sowieso al tenminste 2 switches nodig. De 5 aansluitingen per server zijn als volgt berekend: 2x data + 2x storage + 1x "management", de iLO-achtige toepassing

[My-life]

tERRiON schreef op vrijdag 09 december 2011 @ 12:38:
@My-life:
Met patchpanels aan de achterkant en vele tientallen netwerkkabels naar een kast met switches? Of bovenin een paar switches en wat glazen touwtjes naar de rest van je computerpark?

Wij hebben de installateur de patchpanelen bovenin de racks laten plaatsen met netjes gebundelde kabels tussen de racks in, onder de vloer door naar het rack met de switches. Voordeel hiervan is dat je zelf kunt kiezen op welke switch je een server o.i.d. wilt aansluiten. Onze UPS zitten bijvoorbeeld op een 100Mb switch en de servers zijn elk op meerdere 1Gb switches aangesloten. Ook scheelt het een hop naar je core, maar daarvoor hebben we het niet alleen gedaan.

[DinX]

Hier gebruiken we ook een centrale switch. We hebben in totaal 8 racks en gebruiken een Cold Corridor opstelling hiervoor (van Minkels).

- 1 rack met de telefooncentrale
- 1 rack met de core switch (een Extrem Networks BlackDiamond met enkele blades)
- 1 rack dat een gigantisch patchpaneel is voor de andere racks + andere verdiepingen
- 1 rack met externe verbindingen (glasvezel naar Telenet, Belgacom,...)
- 4 server racks

Van in het rack met de patchpanelen gaan er naar alle overige racks 24/48 netwerkkabels. Die zijn dan weer afgemonteerd in een patchpaneeltje bovenin de racks aan de achterkant. Het voordeel is dat je voor een redundante oplossing niet 2 switchen per rack nodig hebt. Dat regel je dan gewoon in het "switch rack". Wij hebben zo 3 blades waarover we de servers verdelen. Als we switchen per rack zouden hebben dan zouden we al meteen aan 8 of 10 switchen komen.

We hebben hier trouwens geen UPS per rack, maar 2 grote, centrale UPSen, waar de hele serverroom op hangt. Elk rack heeft 2 PDU's die elk op 1 van die UPSen hangen.

Slechte pic van onze UPS-oplossing:



Een hele hoop batterijen dus die in serie/parallel verbonden zijn met 2 "controllers". Vanuit die "controllers" vertrekken er dus aparte circuits richting de serverroom.

Zo heb je in je rack dus enkel servers hangen en bekabeling. Geen aparte KVM per rack, geen aparte switchen per rack, geen aparte UPSen per rack

[ Voor 26% gewijzigd door DinX op 09-12-2011 14:00 ]

[My-life]

Leuke foto DinX, nog nooit zo'n UPS gezien.

[DinX]

My-life schreef op vrijdag 09 december 2011 @ 14:54:
Leuke foto DinX, nog nooit zo'n UPS gezien.

Zijn er 2 van deze

http://powerquality.eaton...direct=www.eaton.com/9390

[jimbo123]

DinX schreef op vrijdag 09 december 2011 @ 15:17:
[...]


Zijn er 2 van deze

http://powerquality.eaton...direct=www.eaton.com/9390

Heb je die dan uit elkaar gesloopt ofzo?
Ziet er toch heel anders uit zo een ding?

[Verwijderd]

My-life schreef op vrijdag 09 december 2011 @ 14:54:
Leuke foto DinX, nog nooit zo'n UPS gezien.

Hier is er nog een, van ons datacenter in Alblasserdam:


En in een datacenter met goede airflow en stroomvoorziening hoor je je rack wel redelijk vol te kunnen hangen met pizzadozen. Het argument om UPS'en laag te hangen is meestal het gewicht. Zo hoef je minder te tillen.

Het mooist is natuurlijk om helemaal geen UPS in je rack te hoeven hebben en gebruik te maken van de faciliteiten van het datacenter. Dubbele voedingen dus, en anders static transfer switches.

[ Voor 3% gewijzigd door Verwijderd op 10-12-2011 11:20 ]

[DinX]

jimbo123 schreef op zaterdag 10 december 2011 @ 11:06:
[...]


Heb je die dan uit elkaar gesloopt ofzo?
Ziet er toch heel anders uit zo een ding?

Zoek maar eens op Google images naar 80 kVa UPS. Dan zal je er zo meer te zien krijgen. Die UPS(en) houden het 8 uur vol met 4 volle racks erop Je spreekt hier niet meer over rustig je servers uit laten schakelen na 15 minuten maar over het de hele dag draaiende houden hiervan

Ik denk dat het in de praktijk ook gemakkelijker is qua onderhoud (gebeurt niet door ons). Ik denk dat het verschillende rijen van batterijen in serie zijn die elk parallel draaien. Je kan dan gewoon 1 rek batterijen vervangen zonder dat je UPS uit hoeft. Alleen je capaciteit zakt dan even.

In ons geval scheid je dan ook nog eens de facilitaire dingen van de servers. Wij hoeven ons als IT-dienst niet bezig te houden met de stroomvoorziening, dat doet de dienst facilitair beheer. Als er problemen zouden zijn met die UPS moeten er dus geen technische mannetjes in onze serverroom komen maar blijven die lekker in de kelder

De airco bevindt zich dan wel weer deels in de serverroom zelf.
Dat zijn van deze jongens:



Zo hebben we er 2 staan. Meestal draait er maar eentje. Moest die uitvallen (of tekortschieten) dan komt de andere in werking. Dit is dan in combinatie met een cold corridor (in ons geval meer een doos )

Werk

2 x 4 racks tegenover elkaar met een dak er bovenop en aan de 2 kanten een schuifdeur. Daarbinnen komt de koude lucht uit de vloer. Via de servers gaat hij dan gewoon aan de achterkant van de racks naar buiten (de ruimte rond de doos). De airco's ernaast zijn zuigen hem op, koelen hem af en blazen hem onder de vloer.

Op de 3de foto zien je trouwens het patchrack. Daarop komen alle patchpanelen van de andere racks, en verbindingen met de datalokalen op alle verdiepingen uit. Die zit dus van boven tot onder helemaal vol met patchpanelen en kabelmanagement. In het rack links ervan zitten dan dingen als onze BlackDiamond, Firewall, WiFi-controller,...

Hetzelfde doen we eigenlijk ook in de datalokalen op al de verdiepingen. Daar staan altijd 2 racks. 1 voor de patching en 1 voor actieve apparatuur. Dan blijft het er mooi zo uit zien (bij de oplevering toch ):

serverroom

[ Voor 59% gewijzigd door DinX op 10-12-2011 14:26 ]

[c0ne]

Mits een klant geen specifieke wensen heeft houden wij, als installateur, ook ongeveer dezelfde methode aan.
1 kast met werkplek-bekabeling en glas- of koperkoppelingen naar andere kasten of SER's. Als het mogelijk is komen daarbij ook de accesswitches. Telefonie, externe glasvezel, routers en coreswitches in een volgende kast en dan overige actieve apparatuur in een 3e.
In de kast met bekabeling komt, om de 2 panelen, een rangeerpaneel. Commscope/Systimax heeft daarvoor weer panelen met cablemanagment, dus dan kun je de hele kast volhangen met werkplek-bekabeling.

[ThomVis]

Om even terug on topic te komen, je voorgestelde indeling ziet er goed uit.
Je geeft aan dat de koude lucht aan de voorkant uit de vloer komt. De apparatuur die de meeste koeling nodig heeft hang je dan onderaan. De meeste 2U rack UPSen hebben geen front-to-back koeling ingebouwd omdat ze die niet nodig hebben en hebben dus weinig invloed op de luchtstroom. Je kan ervoor kiezen deze boven je servers te hangen, maar veel hoger als U18-20 (onderaan=U1) zou ik niet gaan. Eronder kan natuurlijk ook. (Een 2U UPS is wat, max 3000VA? En dat voor 18 virtualisatiehosts?)
KVM lades komen meestal U20-22 te hangen. De KVM switch kan je, als je een beetje kwaliteit 19" rack heb, 0U ophangen. Dat wil zeggen aan de zijkant aan de voor of achter "post" vast. Hou er wel rekening mee dat als je je rack verder volbouwt dat 0U oplossingen lastiger te bereiken zijn.
Netwerkbekabeling / switch in je rack zijn een beetje afhankelijk van de rest van de layout van het DC. Als er meer apparatuur komt is het misschien handiger om een centraal "netwerkrack" te bouwen, als het hierbij blijft kan je ze net zo goed in het rack zelf hangen.
Belangrijker is dat de bekabeling aan de achterkant van de servers goed wegwerkt zodat de airflow niet teveel beïnvloed wordt. En als je de keuze heb tussen kabels boven het rack langs, of onder de vloer door: Bovenlangs. Onder de vloer is een "cold air plenum" en vooral fiber optic kabels kunnen er minder goed tegen om in de wind te hangen. Goed vastmaken aan iets kan natuurlijk, maar bij wijzigingen hang je dus met je bakkes in de wind..... Plus dat je onder de vloer obstructies van de luchtstroom creëert . Met een paar kabels valt dat nog wel mee, maar bij bulk kan het wel verstorend werken.

[erwinb]

even een losse vraag,
waar staat de storage bij dit aantal servers?

[Ethirty]

Zoveel manieren zijn er toch niet om vrijwel identieke apparaten handig in een rack te hangen? Enige waar je wellicht rekening mee moet houden is de warmte ontwikkeling in je servers, zeker als de stroom van koele lucht niet optimaal is. Misschien per 5 servers 1U vrij houden voor stralingswarmte? Laatst wat 2U servers opgehangen in een kast met slechte airflow en daar is het wel de moeite waard om tussen elke server 1U vrij te houden.

De enige manier om het echt handiger te doen is om met blades te gaan werken, hoef je ook nog maar een handje vol kabels aan te sluiten. In een half rack prop je dan met gemak 30 servers en met 4 netwerk kabels ben je wel klaar (2 cross connects en 2 uplinks)

Verder kan je in Visio heel makkelijk racks met apparauur tekenen (zie Visiocafe voor veel stencils). Labeltjes erbij en je hebt gelijk weer wat nette documentatie over wat wat is

[ThomVis]

Ethirty schreef op zaterdag 10 december 2011 @ 19:21:
Misschien per 5 servers 1U vrij houden voor stralingswarmte?

Daar verschillen de meningen over. Elke ruimte die je tussen servers overlaat is stilstaande lucht die vanzelf opgewarmt word. Beter alle lucht in beweging houden en 1 grote ruimte overhouden waarbij de warmte door convectie afgevoerd kan worden.

[tERRiON]

@erwinb: Storage staat in de kast ernaast. Met 10GbE verbonden met de hosts

@Ethirty: Mijn voorkeur gaat ook uit naar blades. Efficiënter, blablabla.. Maar ja, het grote gros van deze servers zijn net een jaar oud ofzo. Ik denk niet dat ik het erdoor krijg om nu over te gaan op blades. (Hadden "ze" meteen al moeten doen. Ik werk hier net een paar maand )

@ThomVis: Daar zeg je inderdaad wat: Stilstaande lucht. Maar een heel rack vol plempen met servers is ook geen oplossing. Bij een eerdere opdrachtgever hadden ze dat wel gedaan met als gevolg dat een paar (altijd dezelfde) servers met regelmaat verhit raakten...

[Ethirty]

tERRiON schreef op dinsdag 13 december 2011 @ 08:48:
@ThomVis: Daar zeg je inderdaad wat: Stilstaande lucht. Maar een heel rack vol plempen met servers is ook geen oplossing. Bij een eerdere opdrachtgever hadden ze dat wel gedaan met als gevolg dat een paar (altijd dezelfde) servers met regelmaat verhit raakten...

Volgens de verwachting zouden servers in het midden van de stapel warmer worden dan die aan de uiteinden van de stapel. Indien je koeling goed op orde is en er goed koude lucht aangezogen kan worden, dan hoeft het geen probleem te zijn. Hooguit draaien de fans van de middelste servers dan wat harder.

Als jij die ervaring al hebt uit eerder werk, dan zou ik die zeker gebruiken in deze situatie.

[tERRiON]

Hmmm... Even een huishoudelijke mededeling tussendoor: Ik weet niet waar nou wat misgegaan is, maar ik zie ineens veel meer posts dan gisteren. Ik geloof dat ik vanavond alle posts nog maar eens door moet gaan lezen.

Even gauw e.e.a. doorgelezen...

Met een paar kabels valt dat nog wel mee, maar bij bulk kan het wel verstorend werken.

Ik durf niet eens een foto van onze "kelder" te posten. Ik heb het gevoel dat er wel een kilometer netwerkkabel ligt. En niet netjes gebundeld maar echt bergen. Dit is dus ook één van de punten waarom o.a. ik er sterk op aangedrongen heb om, ongeacht de keuze, overal te monteren behalve onder de vloer. Dat kwartje is nu gelukkig gevallen. Nu de overige kwartjes nog...

[ Voor 53% gewijzigd door tERRiON op 14-12-2011 16:29 ]

[ThomVis]

tERRiON schreef op dinsdag 13 december 2011 @ 08:48:
Maar een heel rack vol plempen met servers is ook geen oplossing.

Klopt, gewoon de bulk van de servers onderin houden, de lucht erboven kan eventueel door convectie het rack uit.

[WhizzCat]

ThomVis schreef op woensdag 14 december 2011 @ 20:27:
[...]

Klopt, gewoon de bulk van de servers onderin houden, de lucht erboven kan eventueel door convectie het rack uit.

Wat een flauwekul zeg. Natuurlijk moet je gewoon een heel rack vol servers kunnen plempen
Als je dat niet kan doen is er al iets grondig mis met je koelvoorziening. Wij hebben ook hele racks vol en dat gaat echt prima. Pizzadozen, DL380, Blades, you name it, we've got it. Als je koeling op orde hebt is daar niets mis mee. Lege rack ruimte is gewoon geld uitgeven aan iets waar je niets mee doet, zonde toch?

[tERRiON]

WhizzCat schreef op maandag 19 december 2011 @ 08:58:
... Als je dat niet kan doen is er al iets grondig mis met je koelvoorziening. ... Als je koeling op orde hebt is daar niets mis mee. ...

Dat is bij ons dus een punt, wij kunnen de serverruimte op zich wel koelen maar we hebben geen gescheiden hot/cold-zone, corridor of hoe je het ook maar noemen wilt. Verre van efficiënt, ik weet het. Mede daarom heb ik in mijn plannetje dus ruimte tussen de servers gelaten. Deels om te voorkomen dat servers elkaar lekker gaan opstoken, deels om te voorkomen dat een rek helemaal van boven tot beneden gevuld worden en zo dus een gigantische kachel wordt gecreëerd.

Maar zijn er bezwaren om de kast niet in te richten zoals ik die in mijn OP beschreven heb?

[ThomVis]

@WhizzCat: Wat jij flauwekul noemt is voor sommige mensen fact-of-live, gelimiteerd worden door cooling of power, of beide. En die zullen in hun niet zo ideale wereld het beste uit hun omgeving willen halen.
Plus dat als jouw omgeving bestaat uit 3 racks en 8 servers je niet zit te wachten op de opmerking dat een rack vol moet/kan. En de smiley op het einde gaat er niet bij helpen.

[WhizzCat]

ThomVis schreef op woensdag 21 december 2011 @ 09:05:
@WhizzCat: Wat jij flauwekul noemt is voor sommige mensen fact-of-live, gelimiteerd worden door cooling of power, of beide. En die zullen in hun niet zo ideale wereld het beste uit hun omgeving willen halen.
Plus dat als jouw omgeving bestaat uit 3 racks en 8 servers je niet zit te wachten op de opmerking dat een rack vol moet/kan. En de smiley op het einde gaat er niet bij helpen.

Mja, dat jij dat zo moet interpreteren vind ik een beetje jammer. Die smiley was juist bedoelt om even een toon te zetten die wat luchtiger is dan een standaard zakelijk toontje, daar zijn ze toch voor, of niet?

Nou ja, hoe dan ook. Als je koeling er niet op ingericht is kan dat inderdaad niet. Toch blijf ik bij mijn standpunt dat je de oorzaak van het probleem moet gaan oplossen/wegnemen en geen work arounds moet gaan verzinnen. Dus, koeling op orde maken als prio 1 (zou mijn advies zijn). Nu komt het volgende, zo te horen kunnen daar geen middelen voor vrijgemaakt worden. Dan is het denk ik een kwestie van trial/error om te kijken wat het best werkt.

De opstelling zoals in de OP zou dan best kunnen werken ja.

[PcDealer]

In plaats van 5x Gb touwtjes per server, kun je ook gaan kijken naar 2x 10Gb per server. Scheelt veel in bekabeling.

CherandarGuard schreef op vrijdag 09 december 2011 @ 11:43:
Je zou eens je ideeën in een planner kunnen gooien, dan heb je het iig gevisualiseerd.
Ik weet dat Dell er iig eentje heeft (uiteraard wel met Dell onderdelen, maar het gaat om het idee).
Je kan hem vinden op http://www.dell.com/html/...ck_advisor_new/index.html.

HP heeft ook zo'n tool:
http://h18000.www1.hp.com...nline/HPPowerAdvisor.html

[ Voor 68% gewijzigd door PcDealer op 22-12-2011 10:31 ]

[Ethirty]

@PcDealer: je houdt dan altijd nog 3 touwtjes (iLo). Daarnaast is 10Gb ook niet gratis, vooral aan de switch kant.

[Rolfie]

PcDealer schreef op donderdag 22 december 2011 @ 10:28:
In plaats van 5x Gb touwtjes per server, kun je ook gaan kijken naar 2x 10Gb per server. Scheelt veel in bekabeling.


[...]

HP heeft ook zo'n tool:
http://h18000.www1.hp.com...nline/HPPowerAdvisor.html

Een 48Ports 1GB switch kost geen drol. Een 24 ports 10GB port, en dan je netwerk adapters er nog eens bij.....

Dan is het in eens heel heel ander prijs verschil....

[PcDealer]

Ethirty schreef op donderdag 22 december 2011 @ 11:42:
@PcDealer: je houdt dan altijd nog 3 touwtjes (iLo). Daarnaast is 10Gb ook niet gratis, vooral aan de switch kant.

Het kan voor iets meer dan 10K per switch (24x SFP+). Een fatsoenlijke core switch is ook niet gratis..

Rolfie schreef op donderdag 22 december 2011 @ 12:41:
[...]

Een 48Ports 1GB switch kost geen drol. Een 24 ports 10GB port, en dan je netwerk adapters er nog eens bij.....

Dan is het in eens heel heel ander prijs verschil....

In virtualisatie projecten die ik zie, is van Gb naar 10Gb zo'n 10% hogere investering.

[Ethirty]

PcDealer schreef op donderdag 22 december 2011 @ 17:10:
Het kan voor iets meer dan 10K per switch (24x SFP+). Een fatsoenlijke core switch is ook niet gratis...

Exact, maar voor een bedrag van 2k koop je al een heel behoorlijke 48 poorts gigabit switch. En dan moeten bij jouw investering in geval van ts ook nog eens 36 nic's en sfp modules + bekabeling opgeteld worden. Lijkt me sterk dat je dat redt met "10% meer".

[PcDealer]

Ethirty schreef op donderdag 22 december 2011 @ 17:56:
[...]

Exact, maar voor een bedrag van 2k koop je al een heel behoorlijke 48 poorts gigabit switch. En dan moeten bij jouw investering in geval van ts ook nog eens 36 nic's en sfp+ modules + bekabeling opgeteld worden. Lijkt me sterk dat je dat redt met "10% meer".

Woopsie -> teruglees. Dacht dat het om 6 servers ging.

[tERRiON]

LOL! Als het om 6 servers zou gaan dan had ik geen enkel probleem. Die zou ik wel verantwoord in een 42U-kast kunnen plaatsen, denk ik.

5 NICs is om storage en netwerk gescheiden en redundant af te handelen. Daarom de keus voor 5 i.p.v. 3 NICs...

[Bl@ckbird]

Er zijn eigenlijk twee manieren om je rack in te delen.

Top-of-Rack (<-- Handige zoekterm om verder op te zoeken )
Hierbij heeft elk rack 2 switches bovenin het rack hangen. (4 switches als je ook Fibre Channel gebruikt als storage.) Elke switch heeft in ieder geval twee redundant uplinks naar twee datacenter core switches. Elke uplink kan bestaan uit meerdere gigabit links gebundelt in een etherchannel of twee 10GbE uplinks. Uplinks zijn meestal UTP bij gigabit of glasvezel bij 10GbE.

Voordeel is dat je vanuit de servers vrij korte kabels kan gebruiken die binnen één rack blijven. Een kabel erbij trekken blijft daardoor handelbaar. Een nadeel is dat je veel switches moet beheren. Een datacenter met 50 racks zijn 2x 50 = 100 + 2 core switches zijn 102 switches.

End-of-Row (<-- Handige zoekterm om verder op te zoeken )
Bij End-of-Row wordt er in het midden van een rij patchkasten, of aan het eind van een rij patchkasten, twee dikke modulaire switches neer gezet. (Denk Cisco Catalyst 4500, 6500) Voordeel is dat je veel minder switches hebt om te beheren. Nadeel is dat je de kabels van de servers van complete galerij patchkasten moet doorvoeren naar 2 switches. Daardoor wordt een kabeltje erbij trekken een redelijke onderneming.

Cisco heeft dan nog een hybride mode. Twee Nexus 5000 switches zijn dan de core switches. Hieraan gekoppeld zijn Nexus 2000 Fabric Extenders. Deze Nexus 2000 heeft geen inteligentie: je kan ze configureren vanuit de Nexus 5000. De Nexus 2000 is als een lijnkaart (van een modulaire switch) ten opzichte van de Nexus 5000. (Die ziet er ook uit in de CLI om het te configureren.) Je kan dan dus de voordelen van Top-of-Rack (korte, manageble kabels) en End-of-Row (eenvoudig te beheren) combineren. Je kan max. 24 Nexus 2000 Fabric Extenders op een Nexus 5000 aansluiten. Dat zijn 1152 gigabit lijntjes. Dit kan je beheren als 1 switch.

Met datacenters is het zaak om systematisch te werken en alles hetzelfde te houden. Daarnaast is het handig om een ontwerp te maken voor één POD. Een POD bestaat uit één of meer racks meet switches, servers, UPS, etc. Wil je meer servers, dan kan je eenvoudig er een POD bij plaatsen.

Een Catalyst 2960S / 3560X / 3750X heeft een buffer van 180kb per poort. Een datacenter switch zoals de 4900 of de Nexus serie heeft grotere buffers. (16 tot 17MB per switch. Natuurlijk staan niet alle 48 poorten te bufferen.) Daarnaast is de latency van deze switches lager. Jumboframes en grote buffers zijn vooral handig bij grote brokken dataverkeer zoals NFS en iSCSI.

Wat betreft 10GbE naar een server, zijn er verschillende dingen die spelen. Het je 2 Ethernet en 2 Fibre Channel switches per rack, dan je deze vervangen door 2 switches die 10 Gbps / Fibre Channel over ethernet (FCoE) doen. De FC switches heb je dan niet meer nodig. Daarnaast heb je minder gigabit ethernet en FC links per server nodig. Je kan dan ook kijken wat iemand kost die kabels trekt, labelt, interfaces beheerd, etc. Dit zijn meer operationele kosten.

Heb je servers die grote virtuele machines bevatten, dan gaat een vMotion / Storage vMotion met 10Gbps sneller dan met meerdere gigabit lijntjes. Netwerkverkeer verdeelt zich over verschillende gigabit lijntjes van een etherchannel, maar per TCP/IP sessie is het nog steeds een gigabit. Verder kan je storage verkeer (NFS/iSCSI) m.b.v. QoS voorrang geven boven normaal netwerkverkeer. Veel netwerkadapters ondersteunen iSCSI offloading. Dit scheelt weer CPU cycles op de virtualisatie hosts. Voor 10GbE naar de server ligt het er dus aan, hoe computing dense de server is en in hoeverre je storage en netwerkverkeer wil consolideren.

Bovenstaand verhaal is gebaseerd op Cisco, maar ook Brocade doet FCoE. Cisco heeft FabricPath, Juniper QFabric. Vaak zijn deze technieken gebaseerd dezelfde ideeën wat betreft datacenter consolidatie. De uitvoering is vaak anders.

[ThomVis]

Bl@ckbird schreef op zaterdag 24 december 2011 @ 21:19:
Er zijn eigenlijk twee manieren om je rack in te delen.
[...]
Bovenstaand verhaal is gebaseerd op Cisco

Dat Cisco ligt er wel erg dik op ja.
Dit verhaal gaat meer over netwerkindeling binnen medium/large datacenters, en ik heb het idee dat TS een paar racks voor 18 servers heeft staan, dus is een Cisco Catalyst 6500 in een End-of-Row opstelling een beetje overkill.

[Vicarious]

ThomVis schreef op woensdag 28 december 2011 @ 10:43:
[...]

Dat Cisco ligt er wel erg dik op ja.

Kom kom, daar staat ie om bekend. Verder is zijn post behoorlijk informatief met de zoektermen en bijbehorende uitleg.

[Bl@ckbird]

Ik doe niets anders... Zodra ik iets over HP of Juniper ga uitkramen, moet je gaan oppassen. Waarschijnlijk is het onzin. Ik werk er niet mee, dus ik kan er ook niets zinnigs over melden.

TS geeft aan dat de rack-indeling schaalbaar moet zijn. Maar ik weet niet wat de ambities van TS' bedrijf zijn. Waarschijnlijk is het een intern virtualisatie project, maar het kan ook zijn dat TS de ambitie heeft om de volgende Facebook te worden ofzo. Of dat het enkel om virtualisatie gaat, of dat het meer een interne cloud gebruikt wordt. Ga je virtuele desktops of servers op een cloud-achtige manier aanbieden, dan wordt automatisering van je netwerk belangrijker.

Mijn post probeer ik altijd wat breder te trekken, want ik ga er van uit dat users de search gebruiken.
Bovendien hou ik er niet van om dingen dubbel te doen

UPS-en zijn zware dingen en die zou ik lekker onderin het rack houden. De servers zou ik verdelen over het rack. Zo voorkom je hotspots en wordt de warmte gelijkmatiger verdeeld over het rack.

Verder moet je de koeling en stroomvoorziening in de gaten houden. Er worden vaak gewoon servers bij geplaatst terwijl de stroomvoorziening en koeling het niet meer aan kunnen.

[Vicarious]

Wat ik ook nog wel eens zie is dat alles qua stroom wordt volgeduwd, maar waar is dan je redundantie gebleven? Stel dat je 2 feeds van 32 Ampere hebt, dan is het niet handig om beide helemaal te vullen tot 30 Ampere. Als er dan namelijk 1 feed wegvalt kan de andere feed niet alles aan, aangezien alles dan op 1 voeding op de andere feed gaat draaien. Bij een feed van 32 Ampere wil je dus maximaal 15A gebruiken om redundant te blijven.

[Verwijderd]

Vicarious schreef op woensdag 28 december 2011 @ 18:09:
Wat ik ook nog wel eens zie is dat alles qua stroom wordt volgeduwd, maar waar is dan je redundantie gebleven? Stel dat je 2 feeds van 32 Ampere hebt, dan is het niet handig om beide helemaal te vullen tot 30 Ampere. Als er dan namelijk 1 feed wegvalt kan de andere feed niet alles aan, aangezien alles dan op 1 voeding op de andere feed gaat draaien. Bij een feed van 32 Ampere wil je dus maximaal 15A gebruiken om redundant te blijven.

Iets minder nog, maar je hebt min of meer gelijk. Als je het rack vol gaat stoppen moet je gewoon onder de limiet van 1 feed blijven. Wat natuurlijk wél de bedoeling is is dat servers aan beide feeds hangen en dan zorgen dat je totale vermogen onder het maximale vermogen van een enkele feed blijft. En daarbij moet je er rekening mee houden dat apparaten plots even wat meer kunnen gebruiken, bijvoorbeeld als iemand het nodig vindt servers te rebooten. Dat moet óók kunnen op een enkele feed. Dus als je meet, moet het continu afgenomen vermogen ruim onder de helft blijven om safe te zitten. En anders heb je gewoon extra feeds nodig. Ik zou aanraden maximaal ongeveer 12 ampere continu van de feed te vragen.

[ThomVis]

Helemaal eens. Wij hebben 2x 16A rack PDU met een display hangen, zodat "gebruikers" de loadverdeling zelf in de gaten kunnen houden (bij ons komen wel eens derden over de vloer om apparatuur te installeren). Bij 7 (ampere) in de display moeten ze stoppen.
Ook moet je rekening houden met hoe je afzekert. In onze centrale PDU waar de circuit breakers hangen gebruiken we C en K karakteristieken, in plaats van de standaard B karakteristiek. Dit betekend dat als je zware apparatuur in- of uitschakeld, de groep er niet meteen eruit schiet.

[Drunk3nD3m0n]

hmm deze server racks op een beurs gezien met het werk : http://www2.schneider-ele...om-solution-overview.page

man man man als we dit bij onze klanten konden plaatsen
maar tjah het prijskaartje is er ook