Cluster?

[Verwijderd]

Wij zitten hier met een kwestie omtrent een nieuwe opzet qua serverpark. Wij zijn druk bezig een applicatie (gebouwbeheersysteem) te schrijven. Hierdoor zullen we op de hoofdlocatie 3 serversystemen nodig gaan hebben t.w.
- 1x SQL Database-server
- 1x Webserver
- 1x Applicatieserver
In dit nieuwe netwerk/domein zullen een zeer beperkt aantal (2 á 3 stuks) werkstations komen die via IE de applicatie zullen gaan raadplegen. Grotendeels zullen engineers van buiten via VPN dit raadplegen.

a) Nu is stabiliteit/betrouwbaarheid/max. uptime een must. We denken hierbij aan een spiegeling/cluster. Maakt het veel verschil uit bij de serversystemen of je gaat werken met x aantal hot pluggable hard disks (raid1-10) of bijv. een SAN?

b) Tevens hebben we een 2de vestiging welke dienst moet gaan doen als zijnde backup. Dus m.a.w. van iedere server een spiegeling van de hoofdlocatie. Hiervoor zijn natuurlijk meedere oplossinging (MS Clustering, Legato StandBy Server, etc), echter zijn wij benieuwd of jullie ervaring(en) hebben met een spiegelen van 2 locaties waarbij ook een SQL Database-server in voor komt. In ons geval liggen de locaties ook nog eens 10km uit elkaar. Een glasvezel tussen beide locaties is niet 1-2-3 geregeld. Belangrijk hierbij is natuurlijk de hoeveelheid dataverkeer tussen beide. Dit kunnen we nu nog niet echt zeggen gezien we nog aan het ontwikkelen zijn. De upload snelheid (1:1) zal vanaf de hoofdlocatie van essentieel belang zijn, maar waar moeten we minimaal aan denken (DSL, Leased Line, Straal)?

[elevator]

Je slaat een boel kreten uit die eigenlijk altijd wel gelden in een bedrijf. Bij de bakker om de hoek is "uptime" van zijn administratie systeem ook een "must". In jouw organisatie ook - en in elke organisatie is dat.

Ben eens iets concreter - wat is je budget, verwachtte database grootte, welke apparatuur hebben jullie nu al staan, e.d.

[Verwijderd]

elevator schreef op 14 juni 2004 @ 21:53:
Je slaat een boel kreten uit die eigenlijk altijd wel gelden in een bedrijf. Bij de bakker om de hoek is "uptime" van zijn administratie systeem ook een "must". In jouw organisatie ook - en in elke organisatie is dat.

Ben eens iets concreter - wat is je budget, verwachtte database grootte, welke apparatuur hebben jullie nu al staan, e.d.

Budget is op dit moment EUR 40.000, maar dit kan en mag omhoog bijgesteld worden. We zijn op dit moment in een verkennende fase betreft systeem(opzet)keuze. De verwachtte database grootte zal naar verwachting 1,2Gb zijn en dagelijks gaan groeien met een Mb of 50-70. Het is een geheel nieuwe situatie dus we hebben niets te maken met bestaande automatisering.

[elevator]

Niets te maken met bestaande automatisering lijkt me bijzonder vreemd tenzij je hiermee bedoelt dat je een hele infrastructuur moet gaan bouwen
Vermoedelijk is er toch een leverancier waarop gestandaardiseerd is en dergelijke ?
In ieder geval - een geclusterde configuratie overwegen is alleen zinvol als de hele rest (airco, stroom voorziening, network setup) al redelijk goed in orde is en daar hoor ik je niet over. Kunnen we er van uitgaan dat dat allemaal in orde is ?

Verder leert een simpel rekensommetje ons dat je na 3 jaar op 78 GB uit gaat komen:
(365 * 3) * 70 = 76650 + 1228 == 78.

Er van uitgaande dat je met een standaard shared storage oplossing zou werken in RAID1+0 zou je dus op (36x14) / 2 = 252 GB uitkomen wat in principe voldoende zou moeten zijn (2 x je DB past erop).

Persoonlijk zou ik als je dus enkel een DB van 78 GB wilt neerzetten niet voor een SAN gaan maar voor een standaard shared storage oplossing

Daarnaast - je hebt het over 1 webserver - ik ga er van uit dat je hier ook een load-balanced clusters van webservers bedoelt? Hoe ga je die loadbalancen?

Hetzelfde geld voor je applicatie server - is er over nagedacht hoe je dat gaat clusteren / load balancen?

Verder - 40,000 euro lijkt mij persoonlijk aan de lage kant als je hier tenminste een 4 tal servers voor moet kopen (applicatie, web, 2 x SQLserver) - aangezien je aan een SQLServer Enterprise licentie per CPU al grofweg 15,000 euro kwijt bent als het niet meer is

[ Voor 10% gewijzigd door elevator op 14-06-2004 22:10 ]

[Verwijderd]

Je hebt €40.000 voor zes servers met licenties, een huurlijn en de nodige netwerkapparatuur? Maar dat mag en kan bijgesteld worden Nogmaals: welk budget heb je?

En als je het hebt over een spiegeling; moet dat realtime? Eénmaal per dag? Eénmaal per week?

En verder:
- Hoeveel man zal remote gaan werken, hoeveel clients tegelijk?
- Heb je genoeg aan interne kennis, of moet er extern gezocht worden?
- Wat is maandelijks budget voor die replicatieverbinding?

[Verwijderd]

Jullie overspoelen ons gelijk met veel informatie wat ons zeker stof tot nadenken geeft op diverse gebied en daarom zijn jullie (kritische) opmerking/vragen meer dan welkom.

Ter verduidelijking hebben we absoluut niets te maken met een bestaande (automatiserings)situatie. Wat we op dit moment hebben zijn twee ruimtes met airco en stroomvoorziening en de gehele opzet is dus NIEUW.

Wat betreft de serversystemen willen we deze allen (indien mogelijk) spiegelen. Dus een juiste vraag van elevator is of de webserver geloadbalanced moet worden, is ja. Dit geldt ook voor de applicatieserver. Hoe? Die informatie proberen we bij elkaar te verkrijgen via o.a. jullie en diverse leveranciers zoals HP, Legato,etc.

Het budget is een issue. Zo waren wij er niet van op de hoogte dat je per cpu een SQL licenties nodig hebt. Dus dat zou betekenen als we de servers (hoofdlocatie en de backup locatie) Dual Processor uitvoeren we totaal 4 licenties nodig hebben?
Als wij dan vlug een rekensommetje maken wordt het huidige budget ver drievoudigd = EUR 120.000!!??

Het aantal systemen welke tegelijk zal gaan werken is 6 stuks een(vraag van JSS).

Duidelijk mag zijn dat kennis en kunde extern wordt binnen gehaald om genoemd vraagstuk rond te breien.

Uit de reactie van JSS begrijp ik ook dat een dikke verbinding nodig is welke sowieso 1:1 is. Uit ervaring weet ik dat een 2Mb 1:1 verbinding zo EUR 1.000 kost (als je het ermee red) bij onze groene rakkers van KPN.

[Brahiewahiewa]

Waar je bij clustering rekening mee moet houden is dat je de grootste kosten maakt op het gebied van beheer en onderhoud. Een cluster kan een uptime van 99.999% hebben, maar dat heeft een prijs; grofweg elke "9" die je er bij wilt veroorzaakt een verdubbeling van de prijs. Een goed beheerde stand-alone server haalt een up-time van 98%; da's op jaarbasis zo'n 7 dagen scheduled down time. Kijk eerst eens in hoeverre dat acceptabel is, voordat je enige tonnen gaat uitgeven aan iets waar niemand om verlegen zit.

[elevator]

Verwijderd schreef op 14 juni 2004 @ 22:44:
Ter verduidelijking hebben we absoluut niets te maken met een bestaande (automatiserings)situatie. Wat we op dit moment hebben zijn twee ruimtes met airco en stroomvoorziening en de gehele opzet is dus NIEUW.

Dus je gaat ook nog netwerk apparatuur (volledig redudant - neem ik aan?) neer moeten zetten? Verder - met alleen een SQLserver kom je er gok ik niet. Heb je geen domain controllers of een file en print server nodig?

Ik zou zeggen - begin eens met een inventaris wat je precies nodig hebt (het gene waar ik ook al naar hintte in mijn 1e reply - beschikbaarheid is namelijk voor iedereen en altijd van belang - pas als het kosten plaatje in beeld komt weet je hoe belangrijk het /echt/ is).

Zorg er verder voor dat als je toch besluit door te gaan met clustering en dergelijke, dat je ook realistisch naar het kosten punt kijkt.

Om in te haken bv. op jouw voorbeeld - een quad-CPU server kost al snel een 20,000 euro als je die volledig inricht ( dus met contract e.d.) - dan heb je nog geen shared storage, nog geen disken, nog geen backup materiaal en dergelijke.

Aangezien je het ook over mirroring hebt - zou je alle kosten die je maakt twee keer moeten maken (je moet toch ergens op mirorren uiteindelijk).

[ Voor 5% gewijzigd door elevator op 14-06-2004 23:19 ]

[ExcaliburDexter]

Waarom is het eigenlijk zo belangrijk om het over twee locaties te spreiden. Is het niet beter/goedkoper om alles servers/netwerk (inclusief wan verbinding) redundant uit te voeren. Hiermee bespaar je je een dure lijn en extra licentie kosten. Ook zou ik de servers goed uitzoeken, in het geval van een SQL server ben je goedkoper uit met een iets duurdere cpu dan met twee goedkopere processors.

Je moet de lijn tussen maximaal geoorloofde downtime en kosten vinden. 100% haal je nooit ga daar maar al vanuit. 99,9999% zou 30 seconden in een jaar zijn? 99,99% is 53 minuten? Is 53 minuten al teveel, of mag alles wel 53 minuten down zijn maar dan niet tijdens kantoor uren (geplaned onderhoud). Een hoge uptime ziet er wel leuk uit, maar is bijna nooit economisch verantwoord, soms is het gewoon beter om die extra dag downtijd te hebben, die dag dat mensen namelijk niet kunnen werken is goedkoper dan die extra ,9 %

[Goshimaplonker298]

Even als tip.

SQL in een Active/Passive cluster heeft alleen licenties nodig voor 1 node, de andere mag je zonder licentie gebruiken. Dit kan je vinden in de Product use rights van Microsoft.

[Equator]

Om in te haken bv. op jouw voorbeeld - een quad-CPU server kost al snel een 20,000 euro als je die volledig inricht ( dus met contract e.d.) - dan heb je nog geen shared storage, nog geen disken, nog geen backup materiaal en dergelijke.

Hij heeft het nooit over een quad CPU server gehad, maar over een cluster met 2 dual nodes.

KLein rekensommetje:
HP/Compaq DL380 Packaged CLuster (Met MSA500) 2 disken per node, 8 disken in MSA500 (RAID ADG) upgrade naar 2Gb RAM
Ongeveer: € 18.000,-
Deze DL380's zijn dan nog single CPU, maar kan je later upgraden.

Een eventuele redundancy kit: € 3.200,- (Bevat een extra MSA controller, 2 scsi controllers en 4port SCSI module)

Dan heb je 1 cluster draaien, zonder infrastructuur erachter (Netwerk welke je ook redundant zou willen hebben.)
Licenties ook nog: Windows Server 2003 Enterprise Edition en SQL server..

Ergo: Heel veel centjes

Als je een goede server neerzet, met genoeg power en netjes installeerd en beheerd kan je zoals eerder gemeld een prima uptime behalen.
Neem dan wel een merk met goede support (HP / DELL)
Vanwege schaalbaarheid zet je de database op 1 server, de applicatie op 1 sever en de webserver op de laatste. Kan je later altijd nog uit gaan breiden.
Als je niet veel gebruikers verwacht kan je met single CPU best uit de voeten. Upgraden kan altijd nog.

[elevator]

CyberJ schreef op 15 juni 2004 @ 08:02:
Hij heeft het nooit over een quad CPU server gehad, maar over een cluster met 2 dual nodes.

Je hebt gelijk - ik weet ook niet waar ik dat quad verhaal vandaan heb

Maar zelfs nu heb ik het idee dat je behoorlijk optimistisch rekent (of wij hebben zulke slechte prijzen ).

Een DL380 die af is (raid1 boot, dual cpu, OS lic, ilo, 6hr-to-fix e.d.) kom je al snel op 8000 euro per stuk uit.

Ik heb zo snel geen prijzen van een shared storage cabinet, maar als je rekent dat een 15k 36gb disk zo'n EUR 270 kost (x 8) zit je samen met de 2 servers alleen al op 18,000 euro. Dan heb je alleen nog geen shared storage cabinet.

Verder, voor een database systeem in clustering zou ik toch de voorkeur geven aan een RAID1+0 vs. een RAID5-ADG, en zet je in jouw setup je logs op dezelfde disken als je data wat ook geen ideale situatie is.

[Equator]

[hoopofftopic geneuzel]
Ik ben ook uitgegaan van een hele simpele oplossing. Qua performance is het aant e raden om je logfiles van SQl op een aparte disk te plaatsen ja, daar heb je gelijk in.

Een kale DL380 Packaged Cluster kost inkoop ongeveer: € 8000,-
Elke DL380 G3 daarin in uitgevoerd met 1 2,4Ghz Xeon & 512Mb
Als Shared storage heb je dan een MSA500. Max 14 Disken Raid levels, 1, 1+0, 5 & ADG
256Mb Cache in de MSA Controller (Single controller overigens)

Ideale situatie voor SQL Cluster:
2 Disken per Systeem in RAID 1 (2 x 36Gb)
2 Disken in RAID 1 in MSA500 (2 x 36Gb)
Zeg even 6 disken in ADG (6 x 36Gb) Overhead van 2, dus zo'n 120Gb Native
12 Disken in totaal: 12 x € 266,- = € 3192,-

Upgrade memory naar 1,5Gb per node: 2 x 1024Mb = € 710,-
Totaal aan hardware Ongeveer: € 12.000,-

Dan komt daar nog support bij.
HP ECP DL380 CLUSTER, 3JR 4 UUR ONSITE 24X7 = € 2.864,-
OS: 2 x Windows 2003 Ent Edition: 2 x € 2.879 = € 5.758,-
20 User CAL: € 680,-
Totaal: Software: € 9.300,-
================== +
Totaal: € 21.300,-
OPzich is dat nog optimistischer dan mijn eerste gedachte, maar wel realistisch.
Alleen SQL server is F*ckin' duur.
€ 19.954,- voor 1 CPU
Je bent voor 1 SQL Cluster dus al ongeveer € 40.000,- kwijt.

Uhh.. TopicStarter: Wat was je budget

[/hoopofftopic geneuzel]

Ik zou toch maar kijken naar een goed ingerichte server met een goed support contract. Tenzij het management echt een cluster wil, maar dan moeten ze de geldbuidel opentrekken.

Optie om naar MySQL op Linux te gaan ?? Is een stuk goedkoper..

[Verwijderd]

CyberJ schreef op 15 juni 2004 @ 11:46:
.......

Dan komt daar nog support bij.
HP ECP DL380 CLUSTER, 3JR 4 UUR ONSITE 24X7 = € 2.864,-
OS: 2 x Windows 2003 Ent Edition: 2 x € 2.879 = € 5.758,-
20 User CAL: € 680,-
Totaal: Software: € 9.300,-
================== +
Totaal: € 21.300,-
OPzich is dat nog optimistischer dan mijn eerste gedachte, maar wel realistisch.
Alleen SQL server is F*ckin' duur.
€ 19.954,- voor 1 CPU
Je bent voor 1 SQL Cluster dus al ongeveer € 40.000,- kwijt.

Uhh.. TopicStarter: Wat was je budget

[/hoopofftopic geneuzel]

Ik zou toch maar kijken naar een goed ingerichte server met een goed support contract. Tenzij het management echt een cluster wil, maar dan moeten ze de geldbuidel opentrekken.

Optie om naar MySQL op Linux te gaan ?? Is een stuk goedkoper..

Wederom iedereen dank voor deze uitgebreide reaties

Het is voor ons duidelijk dat en budgetje van EUR 40.000 in het niets valt bij het opzetten van een cluster/replicering. Zodoende, zoals al eerder door ons in het topic genoemd, zijn we druk in overleg met een externe partij met kennis en kunde om een passende aanbieding te krijgen welke aan onze behoeftes voldoet.

Er wordt dus nu ook een scenario gedraaid voor een redundante oplossing op de hoofdlocatie en op de back-up locatie een reserve-server welke kan dienen als uitwijkserver d.m.v. een tape of dergelijke terug te lezen. Dit scenario wordt dus nu uitgewerkt en jullie eventuele aanbevelingen zijn natuurlijk meer dan welkom.

De post die Brahiewahiewa plaatse aangaande iedere ,9 resulteert in een verubbeling van de prijs zijn wij het volledig mee eens. Wat Brahiewahiewa eigelijk zegt is dat je niet oneindig veel zekerheden kunt inbouwen.

Mochten wij aanvullende informatie/wijzigingen ontvangen van onze externe partij dat zullen wij dat zeker met jullie sharen.

[Verwijderd]

Voor het remote spiegelen: kijk eens naar Double-Take: dit kan ook overweg met SQL (zolang de standby enkel standby is en niet gebruikt wordt). Dit product kopieert enkel de veranderingen (delta's) naar de remote locatie en kan ertegen als de link een tijdje weg is tussen je locaties. Kan ook gescheduled worden (bv alleen 's nachts). In het product zit ook monitoring, deze kan alles overnemen wat er maar valt over te nemen (IP adressen, servernames, shares) en alles wat te scripten valt kan uitgevoerd worden (net start van SQL natuurlijk, maar ook DNS-updates enzo...)
Met deze oplossing kom ik uit op 6 servers met een goeie redundantie (RAID-5 voor SQL, RAID-1 voor Web en applicatie). Hoe die servers verder gedimensioneerd moeten worden hangt natuurlijk van de applicatie af.
Hier heb je ook geen SQL Enterprise voor nodig, een Standard volstaat.
Je budget voor servers en hardware zou dan toch moeten volstaan.
Vergeet niet goeie firewall rules aan te maken (met meerdere DMZ's) zodat je gebruikers nooit bij je DB kunnen komen!