Datastorage over meerdere datacenters

[fraaije]

Ik ben opzoek naar een datastorage systeem dat de data in twee datacenters gelijk houd.

Het is niet de bedoeling dat de data via syncen gelijk gehouden word, maar dat het echt als een enkel filesystem gezien word. Ik wil eigenlijk dat als bv in datacenter A een file lock word gedaan, dat deze dan ook gelijk in datacenter B gelockd is. Dat datacenter B dan niet meer kan schrijven in dit bestand.

Heeft iemand ervaringen met zulke systemen of weten jullie in welke richting in moet zoeken. Ik ben al aan het zoeken geweest in de richting van NetApp maar kon niet echt iets vinden.

[Cidolfas]

Dus je wilt op twee verschillende locaties je data synchroom houden middels een active-active oplossing?

Dat gaat een grote impact hebben op je performance denk ik. Maar het zal vast wel eens gedaan zijn.

[Verwijderd]

Waarom wil je dat? Uiteindelijk zal je met 1 datacenter vanaf locatie B net zoveel traffic genereren. Je kan wel een backup off-site maken, maar die hoeft helemaal nooit benaderd te worden (behalve voor recovery).

[MADG0BLIN]

Waarom wil je dit precies? Misschien wel handig om te weten zodat we iets meer kunnen kijken wat er past bij wat je zoekt.
Eerste wat me te binnen schoot is HP P4000, (Lefthand) maar ik weet niet of dit precies is wat je zoekt.

[fraaije]

@RoadRunner84
Het doel is loadbalancing/high availability, niet backupen. Ik was misschien niet helemaal duidelijk

We willen de storage in twee datacenters hebben omdat deze altijd beschikbaar moeten zijn (HA). Mocht er ooit een compleet datacenter uitvallen, dan moet al onze data ook direct beschikbaar zijn in het andere datacenter.

Daarnaast is het ook de bedoeling om de webapplicatie via round robin te loadbalancen over meerdere datacenters. Bestanden die gebruikers op een datastore in datacenter A hebben geupload, moeten direct beschikbaar zijn voor gebruikers die op datacenter B inloggen.

Hopelijk hebben jullie wat aan deze uitleg

[ Voor 11% gewijzigd door fraaije op 06-05-2010 17:18 ]

[swbr]

Volgens mij moet jij je vraag niet op een forum stellen, maar aan een goede storage consultant

[jvanhambelgium]

Je kan die replicatie doen ofwel op applicatie-level (vb rsync), filesystem-niveau (clustered filesystem) ofwel direct op SAN niveau natuurlijk.
replicatie op SAN niveau gaat je natuulijk wel klauwen geld kosten en niet altijd zonder problemen indien je een synchrone oplossing wilt (als de DC's teveel uit elkaar staan...) zal het eerder "near" synchroon worden of asynchroon natuurlijk ;-)
Dan spreken we nog niet over de kost (vb dark fiber) om de 2 DC's met elkaar te verbinden...

Ik weet niet wat je business case is, maar voor "de webapplicatie" lijkt het me wat overkill...
Je spreekt over gebruikers die bestandjes uploaden etc ... kan je mischien beter met "old skool" replicatie middelen doen, of DFS indien in een Windows omgeving werkt etc,etc.

[Remco]

Maar over wat voor data praat je ?
Files, of bijvoorbeeld Oracle data.
Als het alleen om db data gaat (SQL or Oracle) dan zijn er wat clustering mogelijkheden.

[MAX3400]

Ik zeg: bel een consultant...

Niet om het een of ander maar als je spreekt over loadbalancen en je gaat dan denken aan round-robin, dan ben je zo goed als verplicht om tussen de datacenters binnen hetzelfde subnet te hangen per VLAN. Daarbij spreken we blijkbaar dus ook over een enkelvoudig aanspreekbaar "volume" wat door alle servers tegelijk kan worden & moeten geraadpleegd.

En als je bij NetApp niks kon vinden, zoek nog maar eens goed want de 6000-serie kan in een metro-cluster worden gehangen maar afhankelijk van het aantal shelves, zal je ook nog eens diep in de buidel moeten tasten voor, zoals eerder gezegd, een fiber-verbinding tussen de datacenters.

[pascalw]

Je zou eens kunnen kijken naar DRBD. Heb het zelf nooit cross datacenter gebruikt, maar dat zou in principe geen belemmering moeten zijn. Dit doet in ieder geval precies wat je wilt, het is een soort van RAID 1 over het netwerk. Let wel dat je, welke aanpak je ook gebruikt een rappe verbinding (gigabit) nodig hebt tussen je 2 dc's.

Je zult dan overigens op je DRBD devices een clustered filesystem moeten leggen zoals bijvoorbeeld OCFS2 als je concurrent wil kunnen schrijven.

[ Voor 29% gewijzigd door pascalw op 06-05-2010 19:34 ]

[Verwijderd]

MAX3400 schreef op donderdag 06 mei 2010 @ 18:37:
Ik zeg: bel een consultant...

Niet om het een of ander maar als je spreekt over loadbalancen en je gaat dan denken aan round-robin, dan ben je zo goed als verplicht om tussen de datacenters binnen hetzelfde subnet te hangen per VLAN. Daarbij spreken we blijkbaar dus ook over een enkelvoudig aanspreekbaar "volume" wat door alle servers tegelijk kan worden & moeten geraadpleegd.

En als je bij NetApp niks kon vinden, zoek nog maar eens goed want de 6000-serie kan in een metro-cluster worden gehangen maar afhankelijk van het aantal shelves, zal je ook nog eens diep in de buidel moeten tasten voor, zoals eerder gezegd, een fiber-verbinding tussen de datacenters.

Nou een 3000 series kan ook al aardig wat en daarvoor heb je niet eens een fiber nodig, het ligt aan de hoeveelheid changes en een Netapp is vrij slim wat betreft syncen.

Verder zou ik eens goed kijken naar spec's, de collega's van Netapp, EMC hebben/hadden een limitatie in het aantal syncs.

Dit soort oplossingen kosten serieus geld en een consultant is opzich geen overbodige luxe, bedrijfsbezoekjes aan gebruikers overgens ook niet, consultants/verkopers "vergeten" soms dingen te vertellen.

[CyBeR]

Om hoeveel data gaat 't eigenlijk? Mischien kun je 't wel gewoon met glusterfs doen?

[PerfectPC]

Voor NetApp wil je Active/Active met Syncmirror.
http://media.netapp.com/documents/tr-3450.pdf

[ThomVis]

Compellent kan (bijna)out-of-the-box repliceren over datacenters.

[DGTL_Magician]

NetApp kan prima Active/Active doen met SyncMirror of Asynchroon met SnapMirror.

[CrankyGamerOG]

CyBeR schreef op donderdag 06 mei 2010 @ 19:52:
Om hoeveel data gaat 't eigenlijk? Mischien kun je 't wel gewoon met glusterfs doen?

Omg nee, Gluster is traag

Of heb jij er andere ervaringen mee?

[CyBeR]

CrankyGamerOG schreef op vrijdag 07 mei 2010 @ 09:27:
[...]

Omg nee, Gluster is traag

Of heb jij er andere ervaringen mee?

't is snel genoeg voor mij, maar dat ligt nogal aan de storage die je eronder hebt hangen.

[Wijnands]

fraaije schreef op donderdag 06 mei 2010 @ 17:14:
@RoadRunner84
Het doel is loadbalancing/high availability, niet backupen. Ik was misschien niet helemaal duidelijk

We willen de storage in twee datacenters hebben omdat deze altijd beschikbaar moeten zijn (HA). Mocht er ooit een compleet datacenter uitvallen, dan moet al onze data ook direct beschikbaar zijn in het andere datacenter.

Dat wordt niet goedkoop. Als je enig verlies kan accepteren kan het meteen een stuk goedkoper worden.

Daarnaast is het ook de bedoeling om de webapplicatie via round robin te loadbalancen over meerdere datacenters. Bestanden die gebruikers op een datastore in datacenter A hebben geupload, moeten direct beschikbaar zijn voor gebruikers die op datacenter B inloggen.

Hopelijk hebben jullie wat aan deze uitleg

Daar moet je applicatie wel geschikt voor zijn.

Hitachi Data systems is ook goed in dit soort zaken.

[TrailBlazer]

het kan inderdaad prima dat je SAN een synchronous write doet naar een storage systeem in een ander datacentre. Je DC moeten dan wel een beetje in de buurt van elkaar staan. Meer dan 50 kilometer fibre wil je niet hebben omdat de latencys dan een probleem gaan worden. Gewoon 2 NETAPP FAS 6040 kopen plus wat shelves en je bent de man. Je moet wel even je portomonee trekken want goedkoop is he tniet.

[Verwijderd]

hmm lomp ik wil niet weten wat de active/active licentie voor die fas 6040 kost ... zou toch maar een kleiner modelletje kiezen als het om niet zoveel data/servers gaat de 3000 series is aardig rap en nog betaalbaar tenzij je de gehele vloer van je datacenter wil syncen

[Archie_T]

Ik zou toch echt met wat mensen bellen, EMC, HP (Lefthand), NetApp en 3par zijn leveranciers die jou prima kunnen helpen en desnoods kunnen doorverwijzen naar een storage consultant. Dit soort oplossingen kan je niet even bouwen met wat hulp van tweakers.

[MAX3400]

Archie_T schreef op vrijdag 07 mei 2010 @ 21:06:
...Dit soort oplossingen kan je niet even bouwen met wat hulp van tweakers...

Praat voor jezelf; ik heb de blueprints nog liggen voor 2x 6080 in een metrocluster... Nadeel; iets met geheimhoudingsplicht...

[CrankyGamerOG]

TrailBlazer schreef op vrijdag 07 mei 2010 @ 09:54:
het kan inderdaad prima dat je SAN een synchronous write doet naar een storage systeem in een ander datacentre. Je DC moeten dan wel een beetje in de buurt van elkaar staan. Meer dan 50 kilometer fibre wil je niet hebben omdat de latencys dan een probleem gaan worden. Gewoon 2 NETAPP FAS 6040 kopen plus wat shelves en je bent de man. Je moet wel even je portomonee trekken want goedkoop is he tniet.

Laten wij dan net 2 dc's hebben die hemelsbreed 200m uit elkaar liggen (redundant fibres ofc)

[Gomez12]

Belangrijkste vraag lijkt mij : Wat is het max budget en wat zijn de maximale concessies die gedaan mogen worden.

Technisch is het 100% mogelijk om een file-lock ook te repliceren, maar of je echt blij wordt van dat je servers op 0,0000001% van hun capaciteit gaan functioneren.

Simpel gezegd, een file-lock op local system kost nul tijd. Op een remote system kost dit minimaal de ping-tijd x2 ( het local system moet wachten tot remote akkoord geeft )

Een ping van 0,000001ms is al killing als je 100% locks wilt repliceren. Je schakelt namelijk alle caching etc op dat moment uit omdat je remote te traag is.

Enige manier om het enigszins te krijgen is 100% dedicated lijn te laten leggen ( en dan weer niet verder dan x km anders nekt de lichtsnelheid je ) en concessies te doen aangaande hoever je wilt gaan.

Gelukkig hoeft het allemaal niet zo drastisch te gaan, er zijn genoeg systemen die bijna instantaan repliceren, maar 100% instantaan is gewoon niet te doen.

[Archie_T]

MAX3400 schreef op vrijdag 07 mei 2010 @ 21:27:
[...]

Praat voor jezelf; ik heb de blueprints nog liggen voor 2x 6080 in een metrocluster... Nadeel; iets met geheimhoudingsplicht...

Ik heb hier inderdaad ook genoeg designs liggen van verschillende storage mogelijkheden. Ik zeg alleen dat een posting op tweakers je niet verder helpt. Verdiep je in de materie, kijk wat mensen te bieden hebben. Vraag rond, als ik hier vraag wat de beste oplossing is komen er genoeg oplossing van mensen die zij gebruiken, alleen is dat misschien net niet genoeg performance of juist te duur voor de TS. Met alleen een posting: "Hallo, ik wil graag storage replicatie, wat moet ik kopen?" kom je niet verder. Het is afhankelijk van zoveel factoren
Nogmaals, technisch is het geen rocket science. Het is alleen een beetje afhankelijk van je "oude" omgeving. Even storage replicatie opzetten gaat gegarandeerd fout. Vandaar mijn advies. Ik noem expres niet 1 oplossing aangezien elk merk wel wat heeft waar je wat mee kan, maar het is afhankelijk van veel meer factoren.

Maar ok om de TS te beantwoorden:
HP Lefthand doet het.
Een Metro Cluster van Netapp kan het.
IBM N series (eigenlijk is dat een netapp) kan het.
IBM XiV is een leuke oplossing hiervoor.
EMC heeft mogelijkheden voor synchrone replicatie.
Denk je ook even aan je dark fibre en wat je met je huidige storage infra doet (migratie e.d.)?

Wat ik eigenlijk wil zeggen, geef eens meer info, hoe ziet het er nu uit? Wat is je netwerk infrastructuur? En het belangrijkste (zoals altijd) wat is je budget?

[TrailBlazer]

Verwijderd schreef op vrijdag 07 mei 2010 @ 20:55:
hmm lomp ik wil niet weten wat de active/active licentie voor die fas 6040 kost ... zou toch maar een kleiner modelletje kiezen als het om niet zoveel data/servers gaat de 3000 series is aardig rap en nog betaalbaar tenzij je de gehele vloer van je datacenter wil syncen

geen idee wij hebben alleen maar 6080 staan (stuk of 40 ofzo)
/pats mode

CrankyGamerOG schreef op vrijdag 07 mei 2010 @ 21:40:
[...]

Laten wij dan net 2 dc's hebben die hemelsbreed 200m uit elkaar liggen (redundant fibres ofc)

200 meter dat is de afstand tussen twee ruimtes in een van onze DC

/pats mode2

Gomez12 schreef op vrijdag 07 mei 2010 @ 21:47:
Belangrijkste vraag lijkt mij : Wat is het max budget en wat zijn de maximale concessies die gedaan mogen worden.

Technisch is het 100% mogelijk om een file-lock ook te repliceren, maar of je echt blij wordt van dat je servers op 0,0000001% van hun capaciteit gaan functioneren.

Simpel gezegd, een file-lock op local system kost nul tijd. Op een remote system kost dit minimaal de ping-tijd x2 ( het local system moet wachten tot remote akkoord geeft )

Een ping van 0,000001ms is al killing als je 100% locks wilt repliceren. Je schakelt namelijk alle caching etc op dat moment uit omdat je remote te traag is.

Enige manier om het enigszins te krijgen is 100% dedicated lijn te laten leggen ( en dan weer niet verder dan x km anders nekt de lichtsnelheid je ) en concessies te doen aangaande hoever je wilt gaan.

Gelukkig hoeft het allemaal niet zo drastisch te gaan, er zijn genoeg systemen die bijna instantaan repliceren, maar 100% instantaan is gewoon niet te doen.

een SAN maakt zich echt niet druk over file-locks en dergelijke. Het enige wat die doet is SCSI commands repliceren en naar de andere lokatie te sturen. De vraag is of je wil wachten op de acknoweldge van de remote storage back voordat de local storage back hem ook acked. Dan is de latency wel van belang.
Wij hebben het voor een erg grote lokatie draaien over een afstand van meer dan 10 kilometer en dat werkt prima.

[ Voor 6% gewijzigd door TrailBlazer op 07-05-2010 22:13 ]

[downtime]

De vraag is natuurlijk of dat soort oplossingen wel nodig zijn. De TS geeft geen noemenswaardige achtergrond informatie en het zou best eens kunnen dat zijn "probleem" veel simpeler en goedkoper zonder dure SAN-synchronisatie kan. Ik zou geneigd zijn om te denken dat je waarschijnlijk iets verkeerd gedaan hebt in het ontwerp van je applicaties of je infrastructuur als je perse zo'n oplossing nodig hebt.

[Gomez12]

TrailBlazer schreef op vrijdag 07 mei 2010 @ 22:11:
[...]
De vraag is of je wil wachten op de acknoweldge van de remote storage back voordat de local storage back hem ook acked. Dan is de latency wel van belang.

Zoals de TS het beschrijft ( file-locks repliceren ) is de ack wmb ook belangrijk, zonder ack heb je namelijk geen 100% garantie.

Dan zou er theoretisch op de remote server ook een losse write gestart kunnen worden ( hij wilde namelijk geen backup / fallback maar 100% active-active ), dit soort grappen zijn op FS-nivo zo op te lossen door de meeste software, maar als je echt 100% bitwise active-active wilt ( geen idee waarom, maar dit is hoe ik TS interpreteer ) dan heb je wel die ack nodig.

---

In praktijk ga ik er gewoon vanuit dat TS enkel wat termen gehoord heeft en dat hij denkt er met max 5.000 wel te zijn terwijl het voor hem waarschjnlijk simpelweg afdoende zal zijn om een simpele db-replicatie schema op te zetten ( anders zou hij wmb of meer info gegeven hebben of gewoon bij bestaande leveranciers geinformeerd hebben maar ok )

[ Voor 18% gewijzigd door Gomez12 op 07-05-2010 22:36 ]

[fre0n]

voor simpele/goedkope oplossingen zou je ook kunnen kijken naar open-e of openfiler/drdb. Replicatie van je data kan dan over 2 DC's weggezet worden (wel redundant vlannetje over 2 fibers, en dus ook eigen routing!).

Met VMware of Xen kun je dan op het clustertje connecten. De virtual machines kun je vervolgens ook in HA op 2 of meer nodes wegzetten.

[CrankyGamerOG]

TrailBlazer schreef op vrijdag 07 mei 2010 @ 22:11:
[...]


200 meter dat is de afstand tussen twee ruimtes in een van onze DC

/pats mode2

Wacht dan doe ik ook mee

De afstand tussen jouw 2 ruimtes in een van jullie dc's is de afstand die ik niet hoef te lopen in 1 dc
(inpandig )

/patsmodus uit

[Guru Evi]

Solaris heeft dit al een tijdje in hun geografische clusters zitten. Kan ook gratis met OpenSolaris.

[PcDealer]

StoneFly kan het.

Wat is de verbinding tussen de dc's? Is dat op eigen terrein of over publiek terrein?

[Jrz]

En weg is TS.. maar goed, dit ziet er weer uit als een typisch gevalletje overengineering, waarbij zowel TS als management niet weet wat er gaat gebeuren.

Blijkbaar gaat het er om dat de bestanden die zijn geupload, beschikbaar zijn in het andere DC.
Waar TS locking nou weer vandaan haalt zou ik niet weten.. Ik zou zeggen: neem lekker een S3 account of iets vergelijkbaars. Dan hoef je zelf niet te knutselen.

Overigens lijkt het mij waarschijnlijker dat je app of server eruit ligt, dan dat het "complete DC" eruit ligt.

Ik zou ook graag willen weten waarom iedereen toch denkt dat gluster traag is...

[ Voor 7% gewijzigd door Jrz op 24-05-2010 11:08 ]