Complete server cold spare

[Freggel_United]

Onlangs ben ik bij een nieuwe baas begonnen, en ben bezig met het opzetten van het vernieuwen van de servers, met het oog op groei en redundancy naar de toekomst toe...

Mijn idee was om twee servers te draaien op twee locaties in het pand, verbonden via 10GB glas en gebruik te maken van Vmware Vsphere en VSA, om zo optimaal gebruik te maken van de storage in beide machines, en het dubbel uitvoeren van de hele handel geeft een stuk extra redundancy en load balancing (de machines zijn zo bemeten dat alles op één machine kan draaien, mocht dat nodig zijn). Of dit wel of geen juiste oplossing is staat nu even niet ter discussie, mijn baas kwam namelijk met het volgende idee:

"Als we nu eens twee servers aanschaffen, en er één in de doos laten zitten"... Dit omdat hij de ProSupport van Dell niet vertrouwd, slechte verhalen gehoord over onderdelen niet voorradig zijn, en dat je ondanks je 24x7x4h support twee weken moet wachten op een nieuw moederbord...

Wat hij dus voorsteld is om twee identieke machines aan te schaffen, en er één gewoon niet te gebruiken. Ik weet niet of het beroepsdeformatie is, maar ik krijg hier ontzettend jeuk van... Ik kan nergens op internet voorbeelden vinden van deze situatie, of mensen die hier ook over nagedacht hebben... Zijn er Tweakers met ervaring met een soortgelijk voorstel?

_{ps. We hebben het over Dell PowerEdge T620's a € 9000,- per stuk}

[ Voor 7% gewijzigd door Freggel_United op 14-05-2014 12:52 ]

[jadjong]

In jouw voorbeeld kan elke idioot met een iPad VM's verplaatsen naar een werkend stuk hardware en de hele toko draait weer. In zijn voorbeeld moet er iemand naar kantoor fietsen, dat ding uit doos halen, herconfigureren en vervolgens hopen dat de backup succesvol teruggezet wordt.

Hardware op de plank hebben liggen is leuk, maar dan moet er wel iemand aanwezig zijn die er bij ellende wat mee gaat doen.
Je zegt zelf dat de hardware in staat is om met halve bezetting door te gaan, dan is het toch niet erg om een week op een printplaat te wachten?

[Freggel_United]

jadjong schreef op woensdag 14 mei 2014 @ 13:00:
...
Je zegt zelf dat de hardware in staat is om met halve bezetting door te gaan, dan is het toch niet erg om een week op een printplaat te wachten?

Argumenten van de baas:

- Wat als ze allebei tegelijk kapot gaan?

[DarkSide]

Waar ga je die spare bewaren.
Hoe vaak ga je die testen. Wat is de garantie dat die werkt?
Wat als er brand is en ook je spare in vlammen opgaat?
Wat je je recoveryplan om die spare weer werkend te krijgen? Dat is niet uit de doos halen en aan zetten.

[JJ Le Funk]

die spare off site in sync houden met de primaire server, bijv. elke nacht bijwerken en dat ie verder uit staat zodat slijtage van een onderdeel uit dezelfde batch als de primaire server ver achter loopt.

[Twisted]

Schrijf voor beide situatien een disaster recovery plan. Dan zal heel snel duidelijk worden welke oplossing beter is.

Doe ook een risico analyse voor beide oplossingen. (Of een FMEA als je wat tijd hebt)

[Standeman]

MrJayMan schreef op woensdag 14 mei 2014 @ 13:42:
die spare off site in sync houden met de primaire server, bijv. elke nacht bijwerken en dat ie verder uit staat zodat slijtage van een onderdeel uit dezelfde batch als de primaire server ver achter loopt.

met ^^. Ik zou ook offsite een stukje rackspace regelen om hem daar in te hangen. Als het pand affikt heb je sowieso niets aan je spare die in de (afgebrande) kast ligt.

[PerfectPC]

Standeman schreef op woensdag 14 mei 2014 @ 14:24:
[...]
met ^^. Ik zou ook offsite een stukje rackspace regelen om hem daar in te hangen. Als het pand affikt heb je sowieso niets aan je spare die in de (afgebrande) kast ligt.

nu zijt ge er toch mee aan't lachen hé? hardware sparen door een server elke dag op te starten, te updaten en terug uit te schakelen...
Au fond is er geen verschil tussen een HD op de plank hebben liggen of een hele server. Al zijn deze opties meestal voorbehouden voor kritieke systemen zonder clustering of virtualisatie waarbij een repair time primeert en er resources beschikbaar zijn voro een restore.
Als je wel een virtualisatie laag hebt is het een pak minder vanzelfsprekend om met cold spares te werken, je kan dan nl geen gebruik maken van de snelle restore time uit je virtualisiatielaag.
maw: zeg tegen je baas dat zijn idee 10 jaar geleden ok was maar dat je nu liever een A/P VM vmware cluster draait.

[Dekaasboer]

Aha, argumenten van de baas. Daar is al aan af te lezen wat voor type het is. Ik heb in dit geval nog wat argumenten voor jou:

-Wat als je boel omvalt en je krijgt de server niet uit de doos?
-Het polystyreen in de doos tast over langere tijd de hardware coating aan.
-Je moet de doos met de server in de buurt hebben anders kan je hem er in geval van nood niet onder hangen. Weg is je geografische redundantie!
-Servers zonder failover buddy voelen zich sneller alleen en hebben een grotere kans op een burn-out.

Je kan bij deze baas wellicht ook nog voorstellen om deze hardware als desktop bij een medewerker neer te zetten (bij jou natuurlijk). Zodat je een dagelijkse controle hebt of de hardware nog functioneert..

[ Voor 16% gewijzigd door Dekaasboer op 14-05-2014 15:26 ]

[The Eagle]

Als je baas de service van Dell ProSupport niet vertrouwd, heeft ie twee opties:
1. Toch bij Dell afnemen en een SLA afsluiten die evt schade dekt. Kost een paar centen, maar dan heeft ie wel zekerheid - en wat dat betreft is alles te koop

2. Bij andere leveranciers gaan zoeken naar iets wat ie wel vertrouwt.

En optie 0. is uiteraard niets doen en het evt risico accepteren. Vraag hem ook vooral of een gut feeling afkopen hem 10k voor een server waard is

[CAPSLOCK2000]

Freggel_United schreef op woensdag 14 mei 2014 @ 13:36:
Argumenten van de baas:

- Wat als ze allebei tegelijk kapot gaan?

Dat kan maar is niet waarschijnlijk. Het kan ook zijn dat de server die nog in de doos zit stuk uit de fabriek is gekomen, dat er iets begint te roesten of dat condensators beginnen te lekken. Zolang het ding in de doos zit zul je dat niet weten. Dan kom je er pas achter als je het ding nodig hebt.

Daarnaast kost zo'n server inrichten tijd en als je het niet dagelijks doet kan dat best veel tijd zijn. Je kan niet even op je andere server spieken want die is stuk. Je moet maar hopen dat je op dat moment alle configuratiedetails nog weet, de juiste drivers & firmwares voor handen hebt, etc.

Het nadeel van twee machines draaien is geld. Als je maar 1 machine hebt dan heb je ook geen dure VMWare-licenties nodig, je spaart een bak stroom en je hebt een machine minder om te onderhouden. Of dat opweegt tegen incidentele downtime voor onderhoud of grote downtime bij uitval is een zakelijke beslissing die ik niet voor je kan maken.

[Question Mark]

Ik denk dat het verstandig is, om voordat allemaal technische oplossingen op tafel komen en er gesproken wordt over supportcontracten , eerst eens helder te krijgen welke eisen eigenlijk gesteld worden aan de omgeving... Als dat bekend is pas je de oplossing daar op aan.

Verder lees ik dat je servers van 9K per stuk besteld, da's redelijk aan de prijs. Zijn drie servers van 6K geen betere optie? Je vm-density neemt af, de impact bij uitval is dan veel minder, en er is een betere risico-spreiding. VMWare heeft hele intressnate licentievormen voor 3 hosts. Ik zou persoonlijk iets meer uitgeven aan (virtualisatie én backup) software en licenties, je hardware boeit nl. veel minder bij virtualisatie.

Vergis je overigens niet in de kosten voor die supportcontracten. Ze zijn gewoon schofterig duur.

CAPSLOCK2000 schreef op woensdag 14 mei 2014 @ 23:37:
[...]
Daarnaast kost zo'n server inrichten tijd en als je het niet dagelijks doet kan dat best veel tijd zijn. Je kan niet even op je andere server spieken want die is stuk. Je moet maar hopen dat je op dat moment alle configuratiedetails nog weet, de juiste drivers & firmwares voor handen hebt, etc.

Dat vind ik met virtualisatie nou niet echt een argument.... USB stick omprikken en klaar.

Desnoods doe je een herinstallatie (doorlooptijd een kwartier), de config is als het goed is gedocumenteerd. Binnen een uur kan die server draaien, en dan doe je het heel rustig aan...

But then again... de oplossing is afhankelijk van de exacte eisen en wensen. Ik lees tot nu toe alleen maar oplossingen, maar nog geen requirements.

[rdfeij]

Ook leuk als je er na 2 jaar in de doos zitten achter komt dat de BIOS batterij van je server leeg is... Zit je al in de stress door een noodsituatie, moet je ook nog je server op gaan lappen...

[Question Mark]

rdfeij schreef op woensdag 21 mei 2014 @ 12:09:
Ook leuk als je er na 2 jaar in de doos zitten achter komt dat de BIOS batterij van je server leeg is... Zit je al in de stress door een noodsituatie, moet je ook nog je server op gaan lappen...

Als van een Dell server via een supportcontract een moederbord vervangen wordt zul je ook wellicht bios instellingen moeten aanpassen. En zo zijn er nog wel veel meer dingen te verzinnen die fout kunnen gaan.

Daarom is testen van je disaster recovery plan ook zo vreselijk belangrijk.

[hans_lenze]

Laat ik nog een knuppel in het hoenderhok gooien:

Wat is er mis met Azure of Amazon om je VMs te draaien? Dan hoef je geen doos op de plank te houden.

[Freezerator]

hans_lenze schreef op woensdag 21 mei 2014 @ 20:01:
Laat ik nog een knuppel in het hoenderhok gooien:

Wat is er mis met Azure of Amazon om je VMs te draaien? Dan hoef je geen doos op de plank te houden.

Ik kan geen uitspraken doen over het type data dat ze hebben, maar bij ons zijn er bijvoorbeeld afspraken dat deze data inhouse moet blijven. Dat is de meestal de reden dat bedrijven toch voor de eigen omgeving kiezen. En ook als er een disaster is, heb je veel meer inzicht in de voortgang van de oplossing. (ook de cloud kan stuk)

[Powermage]

Freggel_United schreef op woensdag 14 mei 2014 @ 13:36:
[...]


Argumenten van de baas:

- Wat als ze allebei tegelijk kapot gaan?

Dan is vermoedelijk dankzij een hele grote brand je complete pand van A tot Z vergaan en mag je hopen dat je off-site backup strategie goed werkt?

[Eagle Creek]

The Eagle schreef op woensdag 14 mei 2014 @ 15:30:
Als je baas de service van Dell ProSupport niet vertrouwd, heeft ie twee opties:
1. Toch bij Dell afnemen en een SLA afsluiten die evt schade dekt. Kost een paar centen, maar dan heeft ie wel zekerheid - en wat dat betreft is alles te koop

2. Bij andere leveranciers gaan zoeken naar iets wat ie wel vertrouwt.

En optie 0. is uiteraard niets doen en het evt risico accepteren. Vraag hem ook vooral of een gut feeling afkopen hem 10k voor een server waard is

Sluit me hier volledig bij aan.

Een reguliere HDD op de plank hebben liggen om zelf binnen 10 minuten erin te kunnen schuiven, daar valt nog wat voor te zeggen. Een complete server aanschaffen en in de doos laten (en daarmee een sloot aan risico's open laten staan!) op basis van "niet vertrouwen van een dienst" is in mijn ogen niet efficiënt

Ook hierin geldt, angst is een slechte raadgever.

[DukeBox]

Laat hem anders eens advies inwinnen bij mensen die er (wél) verstand van hebben.

[Gomez12]

In wezen zijn dit soort ideeen leuk... Als je 100 servers hebt zodat als er iets aan een van die 100 servers stukgaat je alles op de plank hebt liggen.

Maar met 2 servers is het kapitaalvernietiging en zelfs in het beste geval heb je een drama restore traject, want toevallig is net je backup ook misgelopen, dus je mag er eerst fysiek heen gaan, dan mag je de boel uitpakken en aansluiten (hoeveel uur denk je dat dit al kost) maar daarna begint the fun part, je mag 4 uur gaan zitten wachten op een windows update die even alles van scratch gaat installeren, je mag alle software naar exact het patch-level van die andere server brengen (want uiteraard laat een nieuwere of een oudere update je hele server in elkaar storten, zal je altijd zien) en ondertussen kom je er nog even achter dat het ram van de server kapot is, dat was een leuke DOA geweest 2 jaar terug, maar nu heb je een probleem, of je hebt voor de gein in de oude server wat extra memory gepropt en je bent een jaar terug vergeten dat ook voor de spare server te bestellen (of je hebt het ergens anders hergebruikt).

In het beste geval (dus als je in 3 jaar geen ramp hebt) heb je na 3 jaar 100% van die server niet gebruikt maar wel betaald, als je dat wil kan je beter met dell gaan praten, die zijn best bereid om voor (bijv) 40% van de kosten een spare server bij hun op te slaan en dan heb je 60% kostenbesparing en je verliest er misschien een uurtje extra door.
Praktisch gezien zou ik gewoon zeggen : Schaf niet 2 van die bakbeesten aan, maar kijk of je niet 5 goedkopere kan inzetten zodat als er 2 tegelijkertijd stukgaan je alsnog 60% van je power hebt draaien, plus dat als je die kant opgaat dat je ook makkelijker kan schakelen.want ipv dat je over 1 jaar te weinig power hebt en dus opnieuw 2 bakbeesten moet aanschaffen kan je dan gewoon van 5 naar 7 gaan oid.

Plus dat ik dit er misschien 1 budgetronde doorkrijg (en dat is nog een misschien) maar bij de volgende budgetronde gaan er echt wel vragen komen over waarom ik 3 jaar lang 50% van het budget niet nuttig besteed heb en waarom ik het nu weer wil doen.

[Question Mark]

Gomez12 schreef op woensdag 21 mei 2014 @ 23:28:
In wezen zijn dit soort ideeen leuk... Als je 100 servers hebt zodat als er iets aan een van die 100 servers stukgaat je alles op de plank hebt liggen.

De TS virtualiseert. één server op de plank is voldoende voor 100 verschillende servers (even uitgaan van je voorbeeld). Het merk en type van de virtualisatie host boeit totaal niet dan... Mits voldoende cpu en memory.

Bij mij op het werk worden op virtualisatie-hosts om die reden ook geen supportcontracten meer afgesloten op hardware.

Wij hebben ongeveer 30 hosts staan, als er één uitvalt worden de vm's wel weer opgestart op een andere host. Qua capaciteit en performance merken we daar niks van... We hebben dan ook alle tijd om rustig een vervangende server te plaatsen (we hebben bewust een redelijke overcapaciteit).

Een HP support contract (4 jaar / 4 hr response) kost ongeveer 1.400 euro. Da's voor 30 hosts 42.000 euro. Een extra server op spare kost 5.000 euro... Dat lijkt mij niet zo'n lastige rekensom...

Wij hebben één applicatie draaien op een server die niet gevirtualiseerd kan worden. In de applicatie zelf zit ook geen enkele vorm van redudancy. Uiteraard zit daar wél een zeer uitgebreid supportcontract op. In dit geval een must in mijn ogen.

Wat ik dus even aan wil geven is dat de beste keuze per situatie verschillend kan zijn.

TS zal beide scenario's goed met elkaar moeten vergelijken (zeker financieel) om zijn keuze te kunenn maken. En neem ook even mijn optie mee om te gaan voor meerdere kleinere hosts in plaats van twee grote hosts.

Gomez12 schreef op woensdag 21 mei 2014 @ 23:28:
Praktisch gezien zou ik gewoon zeggen : Schaf niet 2 van die bakbeesten aan, maar kijk of je niet 5 goedkopere kan inzetten zodat als er 2 tegelijkertijd stukgaan je alsnog 60% van je power hebt draaien, plus dat als je die kant opgaat dat je ook makkelijker kan schakelen.want ipv dat je over 1 jaar te weinig power hebt en dus opnieuw 2 bakbeesten moet aanschaffen kan je dan gewoon van 5 naar 7 gaan oid.

+1

Twisted schreef op woensdag 14 mei 2014 @ 13:55:
Schrijf voor beide situatien een disaster recovery plan. Dan zal heel snel duidelijk worden welke oplossing beter is.

Doe ook een risico analyse voor beide oplossingen. (Of een FMEA als je wat tijd hebt)

^^ Helemaal eens...

[ Voor 11% gewijzigd door Question Mark op 22-05-2014 09:15 ]

[bigfoot1942]

Freggel_United schreef op woensdag 14 mei 2014 @ 13:36:
[...]
Argumenten van de baas:

- Wat als ze allebei tegelijk kapot gaan?

Als dubbel uitvoeren niet voldoet volgens de baas (ofwel je moet rekening houden met dubbele failures) dan wordt het een prijzig project, je zit dan al in dezelfde categorie als electrische systemen in vliegtuigen. Normale bedrijven willen gewone redundancy, dus bv dubbel uitgevoerde sanswitches (ik roep maar even wat).

Wellicht een leuk alternatief (prijstechnisch dan) is om Hyper-V replicatie te gebruiken. Je kan bv elke 5 minuten synchroniseren. Je hebt dan bv maximaal 5 minuten dataverlies maar je recovery gaan wel miljarden malen sneller dan met zo'n cold standby. (hyper-v replicatie is standaard server 2012 functionaliteit dus geen extra kosten zoals met een VSA)

Overigens vraag ik me af of zo'n cold standby uberhaupt zou werken. Als het moederbord stuk is, laat je het dan wel door Dell vervangen? Of ga je zelf knutselen en disks overzetten etc, of ga je gelijk de complete server inrichten? Wie doet de diagnose? Beetje erg slecht doordacht plan.

[ Voor 4% gewijzigd door bigfoot1942 op 31-05-2014 09:08 ]

[Tozz]

Wij doen ook aan cold-spare, omdat het in de praktijk het beste werkt. Daarbij moet ik wel zeggen dat wij enkele honderden machines beheren, en dat een cold-spare dus goedkoop is omdat de kosten verdeeld worden over al die machines. Heb je maar een handje vol, dan is het een dure hobby.

Support contracten werken in mijn ervaring inderdaad ook slecht. Je moet de 8x5 support of zelfs 24x7 support goed lezen. Vrijwel altijd het is een 8x5 of 24x7 response time. Dat betekent de tijd waarin ze op jouw storingsmelding _reageren_. Dat is heel wat anders dan wanneer je probleem is opgelost. Dat kan inderdaad best 2 weken duren als het onderdeel niet op voorraad is. Soms heb je dan recht op geld terug als het probleem niet binnen zoveel dagen is herstelt, maar daar heb je helemaal niets aan als je met een defecte server zit. Daarnaast is mijn ervaring met Dell support ook erg slecht. Bij Sun overigens niet anders, wij hebben met Sun voor 1 server 3x een monteur over de vloer gehad die eerst geheugen, daarna moederbord en uiteindelijk de CPU ging vervangen. Uiteindelijk dus ruim 1,5 week een machine die kuren vertoond.

De verhalen hierboven als "het piepschuim tast de server aan" vind ik vergezocht. Computers die al 10 jaar op zolder liggen doen het ook nog, dus een server in een doos zal het over 5 jaar ook nog wel doen. Daarnaast, allerlei hot-spare en failover oplossingen werken ook zelden vlekkeloos.

Onze ervaring is dat een cold-spare prima werkt. Ja er is dan enige downtime, maar die is beperkt. Failover oplossingen zijn vaak technisch complex, wat het beheer duur maakt maar vaak ook allerlei technische beperkingen oplegt. Daarnaast kunnen ook die failover oplossingen voor storingen zorgen.

Een cold-spare is een relatief goedkope en goed werkende oplossing, zeker als je 1 cold-spare kunt gebruiken voor een hele zwik servers.

[Gomez12]

@Tozz : Met 100'en servers is een cold-spare gewoon handig omdat je dan gelijk overal spare parts van hebt liggen (in je cold spare) en mocht er toch iets stukgegaan zijn in de cold spare dan kan je 1 van die 100'en servers opentrekken, daar een redundant onderdeel uittrekken en daarmee je cold spare weer aan de gang helpen.
Oftewel je cold spare is gelijk gewoon spare parts en je 100 servers bevatten weer spare parts voor je cold spare.

Echter werkt dat niet als je maar 1 live-server en 1 cold-spare hebt.

En dat een cold-spare stuk kan gaan als die stil staat kan jij vergezocht vinden, maar dat is net zoiets als zeggen dat het vergezocht is dat een live server stuk gaat (ik ken ook live servers die al 10 jaar draaien zonder hw-defecten)

[Freggel_United]

Uiteindelijk gaan er dus gewoon twee dozen draaien, 10 Gbit glas er tussen en VSA. Machine's zijn reeds besteld, maar kennelijk moet het bij Dell tegenwoordig 3 weken duren om een server in elkaar te flanzen.

[Question Mark]

En waarom is nu de keuze op twee grote servers gevallen, en bv niet vier kleinere?

(even gewoon uit nieuwsgierigheid hoor).

[CyBeR]

Gomez12 schreef op zaterdag 14 juni 2014 @ 11:39:
@Tozz : Met 100'en servers is een cold-spare gewoon handig omdat je dan gelijk overal spare parts van hebt liggen (in je cold spare) en mocht er toch iets stukgegaan zijn in de cold spare dan kan je 1 van die 100'en servers opentrekken, daar een redundant onderdeel uittrekken en daarmee je cold spare weer aan de gang helpen.
Oftewel je cold spare is gelijk gewoon spare parts en je 100 servers bevatten weer spare parts voor je cold spare.

Echter werkt dat niet als je maar 1 live-server en 1 cold-spare hebt.

En dat een cold-spare stuk kan gaan als die stil staat kan jij vergezocht vinden, maar dat is net zoiets als zeggen dat het vergezocht is dat een live server stuk gaat (ik ken ook live servers die al 10 jaar draaien zonder hw-defecten)

Alles kan stuk. Overigens kun je natuurlijk als je identieke cold-spare servers hebt liggen met onderdelen gaan zitten klooien maar sneller is 't typisch gezien om de hele machine om te ruilen en dan de kapotte server te fixen of vervangen afhankelijk van wat er mis is.

[Freggel_United]

Question Mark schreef op maandag 16 juni 2014 @ 13:13:
En waarom is nu de keuze op twee grote servers gevallen, en bv niet vier kleinere?

(even gewoon uit nieuwsgierigheid hoor).

Met vier servers kom je niet meer weg met een Essentials Plus licentie (max 3 hosts), en zou het qua licenties een stuk duurder worden...

[CAPSLOCK2000]

Gomez12 schreef op zaterdag 14 juni 2014 @ 11:39:
@Tozz : Met 100'en servers is een cold-spare gewoon handig omdat je dan gelijk overal spare parts van hebt liggen (in je cold spare) en mocht er toch iets stukgegaan zijn in de cold spare dan kan je 1 van die 100'en servers opentrekken, daar een redundant onderdeel uittrekken en daarmee je cold spare weer aan de gang helpen.
Oftewel je cold spare is gelijk gewoon spare parts en je 100 servers bevatten weer spare parts voor je cold spare.

Misschien een beetje off-topic maar waarom een werkende server offeren voor je cold spare? Het hele doel van zo'n cold spare is juist om onderelen te hebben voor je andere servers.

[Freggel_United]

CAPSLOCK2000 schreef op maandag 16 juni 2014 @ 18:33:
[...]


Misschien een beetje off-topic maar waarom een werkende server offeren voor je cold spare? Het hele doel van zo'n cold spare is juist om onderelen te hebben voor je andere servers.

Juistem... Die coldspare heb je om niet te hoeven wachten op onderdelen, die trek je uit de spare... Je hebt pas problemen als er meer van hetzelfde tegelijk kapot gaat...

[Paul]

Het verschil tussen 100 live servers en een spare, en 101 live servers, is dat je in het 2e geval altijd 100 servers hebt draaien en in beide gevallen een week een incomplete spare hebt. Ik zou een 'spare' ook gebruiken in productie, in normaal gebruik meer capaciteit en bij een storing ook...

Tegen de tijd dat je 100 servers hebt neem ik wel aan dat je behalve overcapaciteit (of een spare) je ook een paar voedingen en een stapeltje HDD's op reserve hebt De rest van de server gaat zelden kapot