Meerdere (3) Windows 2012 servers data synchronisatie

[sjender101]

Goedemiddag allemaal.

Ik ben op zoek naar een tool die 3 Windows 2012 servers synchroon kan houden qua data opslag.
Ik heb in 2008 R2 gewerkt met DFS-R maar ben daar totaal niet tevreden over.
Vaak na herstart van de server werkte de synchronisatie niet meer om hem vervolgens ook niet meer aan de praat te krijgen.

Het gaat om ongeveer 600Gb met heel veel losse bestanden (miljoenen).

Ik ben niet op zoek naar een sync tool die ik moet opstarten, want dat kan ik ook met robocopy oplossen.
Ik zoek een service welke meedraait en constant in de gaten houdt of er bestanden zijn aangepast/verwijderd/bijgeplaatst.

Het hoeft niet per se gratis te zijn, maar dat heeft uiteraard wel de voorkeur.

De meeste sync tools die ik vind moet je schedulen of zelf aanzetten, maar dat is dus niet de bedoeling, hij moet live syncen (zoals DFS-R zou moeten doen).

[Cyphax]

Ik heb goede ervaringen met DFS binnen een domein, maar ik merkte wel dat het pas echt goed ging lopen op het moment dat ie kleinere wijzigingen moest syncen. Als er veel data moest worden gesynct ging dat aanzienlijk minder vlot.

That said; misschien is DeltaCopy voor jou een werkbare oplossing. http://www.aboutmyip.com/AboutMyXApp/DeltaCopy.jsp
Een andere mogelijkheid, maar daar heb ik geen hands-on-ervaring mee, is Amanda: http://www.amanda.org/

[Question Mark]

Welk doel probeer je op te lossen, wat is de achterliggende gedachte hiervan?

Gaat het om een verhoging van beschikbaarheid van de data, of moet de data aanwezig zijn op geografisch verschillende lokaties (en zo ja, wat is de bandbreedte tussen deze lokaties).

Overigens, @work gebruiken we DFS-R om sommige shares te syncen tussen lokaties wereldwijd en eigenlijk werkt dat probleemloos.

En geef verder nog even aan, welke software je zelf al gevonden hebt en waarom deze niet voldoet. Een klein stukje eigen inzet is eigenlijk wel gewenst.

[ Voor 16% gewijzigd door Question Mark op 22-02-2013 13:42 ]

[StarWing]

kijk eens naar doubletake, of HP storage mirroring (dit is doubletake onder een andere naam)

[akimosan]

DFS-R werkt op zich prima, maar soms kan het zich eigenaardig gedragen. Zelf ben ik maanden bezig geweest om DFS-R werkend te krijgen met syncen over VPN waarbij DFS-R er vanzelf mee ophield en RPC fouten gaf.

Uiteindelijk bleek het instellen van de juiste MTU in Windows de oplossing te zijn, maar voordat ik daar achter was...

Anyway, DFS-R in Windows 2012 werkt wel als een tierelier.

Wat ik zelf ook een tijd heb gebruikt is BestSync van Risefly

Dat werkt bijzonder eenvoudig en kan mappen op verschillende wijze synchroon houden, ook via bijvoorbeeld FTP, indien het servers zijn die niet in hetzelfde domein zitten. De software kan draaien als een service

[sjender101]

Het doel is om 3 Windows 2012 webservers (NLB cluster) synchroon te houden. De webbestanden moeten op alle 3 de servers identiek zijn.

Het liefst gebruik ik DFS-R, maar ik vindt het lastig om hierop te vertrouwen vanwege mijn ervaringen in eerdere windows versies.

Denk jullie dat DFS-R in Windows 2012 geschikt is om een dergelijke hoeveelheid synchroon te houden? Ik heb 1Gbit LAN tot mijn beschikking voor de synchronisatie.

Zou dit out-of-the-box moeten werken, of moet ik voor dergelijke groottes aanpassingen maken?

[Question Mark]

sjender101 schreef op vrijdag 22 februari 2013 @ 14:49:
Denk jullie dat DFS-R in Windows 2012 geschikt is om een dergelijke hoeveelheid synchroon te houden? Ik heb 1Gbit LAN tot mijn beschikking voor de synchronisatie.

Hoeveel data praten we over, en hoeveel wordt er gemuteerd?

De grootste uitdaging zit hem natuurlijk in het simultaan muteren van dezelfde data op verschillene systemen..

[sjender101]

Het gaat om ongeveer 600Gb met heel veel losse bestanden (miljoenen).
Er wordt veel gemuteerd, het zijn ongeveer 5000 websites.
Denk aan FTP aanpassingen, logging binnen websites, etc.

Simultaan is mooi, maar als er 1 minuutje tussen zit is het ook geen groot probleem.

[Question Mark]

In Windows 2008 was DFS-R beperkt tot maximaal 8 miljoen bestanden per volume. Ik ken de limiet windows 2012 niet, maar da's wel iets om in de gaten te houden...

Met zoveel data en mutaties zou ik ook zeker kijken naar oplossingen om de data niet lokaal aan te bieden, maar via een shared (HA) storage oplossing. Wellicht een extra investering, maar het scheelt wel 3x 600 GB aan storage lokaal.

[sjender101]

We hebben nu juist externe storage, echter werkt dit niet snel genoeg.
We hebben veel performance issues met sites die veel IO nodig hebben, denk aan Joomla, DNN, etc.
Zodra we die sites lokaal (via c:\) draaien zijn ze een factor 3 sneller.

Ik zal ook eens kijken wat de limieten van DFS in 2012 zijn.

[Question Mark]

sjender101 schreef op vrijdag 22 februari 2013 @ 15:42:
We hebben nu juist externe storage, echter werkt dit niet snel genoeg.

En daar is het eigenlijke probleem waar je een oplossing voor zoekt dus....

Zou je dan niet beter die bottleneck willen onderzoeken? Voor hetzelfde geld is je hele probleem opgelost door het instellen van een andere verhouding read/write cache op deze storage (om maar iets te noemen)..

[sjender101]

De traagheid is 1 van de redenen dat we willen overstappen op lokale storage.
Een andere reden is dat een HA storage oplossing erg prijzig is.
We gebruiken nu 1 storage machine, bij uitval van die machine zijn de webservers ook waardeloos.
We willen dus ook van de single point of failure van de storage omgeving af.

[Razwer]

lokale storage zal je traagheid niet oplossen. Bedenk dat bovenop je huidige verkeer je nu ook nog eens een laag replication verkeer gaat proppen.
Als je het, los van de kosten, strak wilt regelen, dan zet je een clustered file server neer op basis van SMB3 met HA storage.
DFS-R (of welke andere file replication tool) is niet de meest handige oplossing in jouw situatie. Je wilt het liefst replication op block level hebben voor HA en dan blijft er weinig keuze over.
Iedereen wil voor een dubbeltje op de eerste rij, maar helaas is dat niet altijd mogelijk.

Uberhaupt als je 5000 websites draait wil je degelijke storage hebben, ook ivm responsetijd van de websites. Veel kan ge-cached worden, maar zal toch ooit initieel geladen moeten worden, en 600gb aan data kan je niet allemaal tegelijk cachen... Persoonlijk vind ik de keuze voor lokale storage een beetje lachwekkend, al kan ik begrip opbrengen voor de gedachte ivm frustraties uit het verleden. Door op de verkeerde zaken te bezuinigen bij storage kan je vaak in vervelende (trage en/of onstabiele) situaties terecht komen.

Bij mijn vorige werkgever werd er uit slechte ervaringen uit het verleden ook gekozen om puur alleen voor lokale storage te gaan. Dit bracht ook issues met zich mee bij gebruik van DFS-R, algehele performance, issues met storage controllers, slechte HA etc. etc.

Bij mijn huidige werkgever maken we gebruik van 3Par, wat qua performance goed werkt maar wat bugged is met Server 2012 (MS heeft vorige week een patch voor ons gemaakt om deze issue op te lossen omdat LUNs (zowel CSV en ook gewone volumes) offline werden gegooid bij teveel IO, we draaien mee in TAP voor VMM en Windows Server).

Ik raad sterk aan om te gaan voor een HA storage oplossing voor jouw situatie, al wil ik je wel mede delen dat het misschien niet altijd even goed kan gaan nog op Server 2012...

[akimosan]

DFS-R met RDC aan, is ook Block Based. Maar juist met heel veel kleine bestanden wordt het afgeraden omdat de kleine bestanden vaak net zo snel gerepliceerd zijn als dat het kost aan tijd en performance om hashing, vergelijking en blocks te versturen.

Voor de rest eens met bovenstaande: gebruik shared storage, dat schaalt ook een stuk beter

[Mentox]

Voor een klant die 16 miljoen bestanden heeft hebben we DFS geprobeerd maar het resultaat was:
1. DFS maakte heel veel IOs
2. Niet alle bestanden werden gekopieerd

We hebben toen gekeken naar DoubleTake en dit leek een goede oplossing maar de kosten waren vrij hoog. Uiteindelijk zijn we voor een SAN gegaan en dat werkt perfect. De SAN heeft het maximale aantal spindels maar we gingen voor kleinere schijven om de kosten te drukken.

[Turdie]

Ik zou naar een centrale SAN oplossing met mirroring kijken. EMC en Equallogic hebben opossingen op dat gebied. Ik werk zelf ook bij een bedrijf waar we echt grote websites met veel data en CMS-en hosten en de enige manier waarop we die I/O requirements kunnen invullen is een dedicated SAN met SAS disken.

[ Voor 46% gewijzigd door Turdie op 23-02-2013 19:01 ]