Grote storage syncen over WAN

[exia]

Goedendag,

Ik wil graag op 2 geografisch gescheiden locatie's storage in sync houden.
het betreft 10TB aan data, vooral filmpjes en documenten.

aan kant 1 ligt er een 100mbit glasvezel verbinding
aan de andere kant ligt een 50mbit verbinding.

een cloudstorage is niet wenselijk ivm vertrouwelijke informatie.

mijn eerste gedachte ging uit naar het volgende:
op beide locatie's een NAS plaatsen, QNAP of Synology, en deze in sync houden met RTRR of RSync.
echter is mijn ervaring met Rsync niet al te goed, vooral met time-outs.

heeft iemand van jullie nog ideeën hoe ik dit zo goed mogelijk kan oplossen?

Mijn dank is groot!

[ImmortalSoul]

Je zou naar BitTorrent Sync kunnen kijken.

[WardL]

Een opensource alternatief is syncthing

Heb al gelezen dat dit niet altijd performant zou zijn bij grote volumes, maar mijn eigen ervaring leert dat dit voornamelijk het geval is bij initiële sync.

[exia]

oplossing mag totaal zo'n 10K kosten, inclusief NAS

[ijdod]

Wordt de data ook op beide lokaties bewerkt?

[exia]

Ja, dus het moet een 2weg syncronisatie zijn, en niet een backup.
het kan zelfs voorkomen dat 1 bestand aan beide kanten geopent wordt, dit moet niet kunnen, want welk bestand wint dan bij een syncronisatie...

[HyperBart]

Jouw setup vraagt eigenlijk om een technologie die op file-level daarvoor geoptimaliseerd is. Een van de technologieën daarvoor is DFS en dan in het bijzonder DFS Replication:

MSDN: Overview of DFS Replication

Met bv. 2 commodity (Dell of HP of whatever) servers en voldoende storage kan je prima een setup opbouwen waarbij iedere server data actief kan hosten (writeable dus) en er wordt gerepliceerd. Als je er dan ook nog een namespace over zou gooien dan heb je één globale naam waarop je de replicerende fileservers kan raadplegen.

Enige nadeel is dat je een site to site VPN gaat moeten opzetten omdat de poorten die DFS gebruikt een van de meest aangevallen en onveilig verkeer is, DFS-verkeer zelf is dus niet versleuteld.

DFS heeft ook ingebouwde conflicthandling.

Even een bierviltje calcultatie; kan je volgens mij prima met 2 servers à 4K per stuk en een VPN oplossing van 2K prima weggeraken lijkt me...

Wat achtergrondinformatie:

http://www.kendalvandyke....-know-if-you-use-dfs.html

https://techstronghold.co...ks-can-i-use-it-as-backup

https://techstronghold.co...-site-in-active-directory

Hou je wel in acht dat DFS of eender welke synchronisatie of replicatiemechanisme GEEN (!) backup is?

[ Voor 40% gewijzigd door HyperBart op 25-01-2016 16:31 ]

[exia]

Site-to-Site VPN is inderdaad ook een optie, met aan elke kant een server.
kan een relatief budget server zijn met aan beide kanten een iSCSI storage, omdat lokale storage duur wordt met de hoeveelheid data.

Bedankt voor je info HyperBart, dit is zeker de moeite waard om in te duiken!

[HyperBart]

Hoe kom je er bij dat lokale storage duur wordt? En al helemaal als je je vergelijkt met iSCSI? ISCSI maakt het net duurder dan gewoon storage opkoppelen of disks in een server te schuiven...

Twee Dell r730xd aan beide kanten, vpn er tussen, dfs er op, klaar. Wat wil je er dan tussen steken van iscsi? Ik zie alleen maar meer complexiteit voor jouw beperkte usecase. Wel je AD sites goed scopen...

[exia]

we werken veel met HP Hardware met QNAP NAS'sen, een fatsoenlijke NAS met 10gbit glas naar een HP DL360 server. WD Red Pro schijven in de Qnap. en deze als iscsi volume in vmware koppelen.
Storage kost zo maar 2k, server optuigen, ook 2k, aan elke kant. is 8k totaal.

dat is onze gebruikelijke setup als er storage moet komen op 1 site, nu met 2 site's wordt het waarschijnlijk aan allebij de kanten hetzelfde, en dan in windows de DFS opzetten.

of heb je een beter idee?

[DXaroth]

Je hoeft het niet via een NAS te doen he, je kan het ook gewoon in het systeem zelf schoppen, dat scheelt al snel 1k (want je hebt maar 1x mobo/ram/cpu nodig)... zo'n 3k voor een systeem waar je 12TB in raid10 aan opslag hebt is zeker te doen.. dan heb je 4k over voor eventueel je infrastructuur (aparte vpn machine indien nodig?) en licenties.

[McKaamos]

Waarom niet dit:

2 van deze jongens:
pricewatch: HP Proliant ML10 v2 (814483-421)

Ieder voorzien van 6 stuks van deze disks:
pricewatch: WD Red SATA 6 Gb/s WD30EFRX, 3TB

Leuk RAID controllertje, voor het geval de onboard van die HP ML10 niet genoeg is:
pricewatch: Areca ARC-1213-4i (4-Port PCIe 2.0 Internal SAS/SATA RAID Control...
(en nog een paar SAS SFF8087 -> SATA splitterkabels erbij, maar dat mag je de kop niet kosten)
Met RAID5 kan je 4x3TB=12TB effectief gebruiken, 1 disk als parity en 1 hot-spare.
Of je vergeet de hot-spare en gaat mooi voor 15TB en wisselt de disk direct als dat nodig blijkt te zijn.

Als je 10Gbit nodig hebt, beide eentje van deze dikke netwerkkaartjes:
pricewatch: HP 10Gb 2-port 530SFP+

Ben je voor krap 1600 euro per stuk klaar met de hardware.

Moet er nog een Windows server license bij?
Ben je nog eens een 750 euro verder voor een Win Server2012 Standard x64 license.
pricewatch: Microsoft Windows Server 2012 Standard, WIN, x64, 1pk, DSP, OEI, ...

Voor VPN gebruik je SoftEther VPN, want het SEVPN protocol is in staat om volledige ethernet frames over de tunnel te mikken. Dus mooi 100% transparant voor je software. Die denken gewoon dat ze samen in dezelfde switch zitten geprikt.
Beide kanten stel je gewoon in als het eindpunt van een bridge.
Software is gratis, VPN is encrypted, en het protocol is prima in staat om 1Gbps+ over te lijn te rammen.

Dan wat al geroepen wordt over DFS.

Ben je in totaal ongeveer 2650 euro per machine kwijt.
Ex verzending natuurlijk, en eventuele randzaken zoals extra frutsels, stekkerblokje erbij, wat 10Gbps Cat7 kabels, etc etc.

Is een Linux oplossing een optie, dan kan je meteen die 750 euro Windows license schrappen en dan wordt het wel heel spotgoedkoop.
Softether draait ook op Linux, er zijn onder Linux ook wel synchonisatietools te vinden, dus hell, why not.
Ben zelf geen kenner in dat opzicht, maar er is vast wel iemand die daar wat meer over kan vertellen.

[ Voor 10% gewijzigd door McKaamos op 25-01-2016 21:36 ]