NAS HA via glas

[Chinco]

Ik zou graag naast mijn VMWare cluster met SAN een NAS opzetten voor archiefdata. Dit is goedkope bulk opslag voor zaken die niet of bijna niet teruggezocht worden maar wel bewaard moeten worden, bijvoorbeeld vanwege auditeisen.

Op het terrein hebben we meerdere gebouwen. Ik ben in de luxe positie dat we een grote serverruimte in het ene pand en een kleintje in het ander pand hebben. Alle patchkasten (en dus ook de serverruimtes) op het terrein zijn gekoppeld via glas. Tussen de twee serverruimtes liggen nog ongebruikte glasverbindingen.

Het doel met alle belangrijke opslag / servers is dat het bij het uitvallen van 1 van beide serverruimtes alles doorloopt met hooguit een onderbreking om opnieuw te starten (VMWare HA heeft dat, bijvoorbeeld)

Daarom wil ik graag twee NASsen, in beide panden 1, waarbij een soort van HA technologie ervoor zorgt dat op beide kanten dezelfde info staat.

Synology bied SHA aan en ook glasNIC's. Vorig jaar heb ik hier een budgetofferte van gekregen en die wil ik dit jaar in de aanbesteding laten vernieuwen. 1 van de aanbesteders meldt echter dat dit niet werkt.

Dieper spittend blijkt dat SHA van Synology alleen werkt via de koperverbindingen. De inbouw-NIC via glas kan daarvoor niet gebruikt worden.

Wat zoek ik:
- goedkope opslag (NAS segment)
- 12 GB netto opslag
- koppeling over de ongebruikte glaslijnen zonder het bestaande netwerk (de (cores)witches) te gebruiken
edit:
- rackmodel


Bingen (googlen) brengt me vooralsnog geen steek verder. Heeft iemand een idee of dit van de plank te leveren is van een andere leverancier? Iemand ervaring hiermee? Zelfbouw vind ik suboptimaal...

[Craven]

chinco schreef op woensdag 18 november 2015 @ 13:20:
Ik zou graag naast mijn VMWare cluster met SAN een NAS opzetten voor archiefdata. Dit is goedkope bulk opslag voor zaken die niet of bijna niet teruggezocht worden maar wel bewaard moeten worden, bijvoorbeeld vanwege auditeisen.
Knip!

Waarom wil je iets dat nauwelijks teruggezocht moet worden high available hebben? Als ik jou zo hoor zou ik 1 NAS inrichten met een goede offsite backup. Dat lijkt me interessanter dan zorgen dat het HA is.

[jvanhambelgium]

SFP+ Modules Avago AFBR-703SDZ MMF SFP+ Transceiver 
SFP+ Modules Avago AFCT-701SDZ SMF SFP+ Transceiver 
SFP+ Modules Finisar FTLX1471D3BCL SMF SFP+ Transceiver 
SFP+ Modules Finisar FTLX8571D3BCL MMF SFP+ Transceiver

Dus toch geschikt voor zowel MultiModeFiber als SingleModeFiber ?
Er is ook ondersteuning voor DirectAttach 2meter kabeltjes.

Wat voor glas heb je effectief liggen?

[Question Mark]

chinco schreef op woensdag 18 november 2015 @ 13:20:
Dit is goedkope bulk opslag voor zaken die niet of bijna niet teruggezocht worden maar wel bewaard moeten worden, bijvoorbeeld vanwege auditeisen.

Waarom heb je het over replicatie en HA technieken als je alleen maar data wilt lezen vanaf die NAS?

Er valt niet zoveel te repliceren als er toch geen data wijzigt....

[Chinco]

Er wordt dagelijks data toegevoegd van onder andere sterilisaties, röntgen, SCADA gegevens. Na verwerking wordt dat af en toe teruggelezen, vooral in de gevallen van een klantenklacht of een audit. Ook wil ik er bijvoorbeeld verwijderde VM's op gaan plaatsen om ze de (belastingtechnisch) wettelijke termijn van 7 (!) jaar te kunnen bewaren. (Ik weet het, dat is een discussie op zich.)

Een goede backup is aanwezig, maar wat mij betreft the last line of defense. Ik heb best een slecht gevoel bij mijn huidige 2 nasjes die inderdaad alleen gebackupt worden en verder alleen vertrouwen op RAID5. Gaat de controller of de NAS zelf stuk, sta je met je goede gedrag... Thuis heb ik 1 keer gehad dat m'n nas stuk ging, niet de schijf. Voor je dan weer in de lucht bent, ben je een hele poos verder. Als ik relatief met geringe kosten dat op kan lossen door de hardware redundant te maken, doe ik dat graag. Zo belangrijk is de data dan ook weer wel.

De SHA van Synology maakt het mogelijk om voor net boven de 5000 euro een compleet redundant systeem te hebben met 12 TB effectieve opslagruimte. Dát noem ik interessant. Helaas is dat de koper variant en een glasvariant schijnt er niet te zijn.

Ter vergelijking: een SAN met dezelfde opzet (twee locaties die spiegelen) van effectief 5,5 TB kost 4 keer zo veel. Een prijsverschil van factor 8, grofweg. Goede performance is voor een archief niet zo van belang, hooguit voor de backup.

Een oplossing zou kunnen zijn om twee switches te nemen aan beide kanten met een glasmodule erin. Met de huidige datagroei is zelfs 1 GB/s genoeg. Nadeel: rackruimte is nu al schaars aan de ene kant. Een rackmodel NAS dat direct over glas zou gaan zou mooier zijn. Die mag dan die extra prijs van de switches wel meer kosten.

Ik bedenk me net dat ik een setje switches heb staan aan beide kanten voor iSCSI tussen het SAN en de VMWare nodes.Die zijn tussen de twee gebouwen al met glas gekoppeld voor de replicatie van de Lefthands. Al heb ik er een slecht buikgevoel bij om daar ook het redundante verkeer voor een eventuele NAS oplossing overheen te gooien. Zou in principe met VLAN's moeten kunnen.

Ik moet even nakijken welk type glas er ligt, volgens mij OM3 Multi. Het ligt er al weer 5 jaar en daar kijk je never nooit weer naar om, als het eenmaal werkt.

De gelinkte modules kunnen in een NIC gestoken worden, maar dat is net het probleem: er is geen NAS met een glasNIC.

[_-= Erikje =-_]

dan rammel je die dingen toch in een mediaconverter? Laag 1 maakt voor die nas verder niet echt uit hoor

[|sWORDs|]

QNAP heeft wel ondersteuning voor glas NICs (die je er wel zelf in moet zetten). En je kunt data syncen, alleen voor zo ver ik weet niet life.

Edit: net gekeken er staat ook realtime bij.


Intel X520-SR2 (E10G42BFSR) Dual-port 10 Gigabit network adapter, short range optical cable
Emulex OCe11102-IM Dual port 10 Gigabit network adapter , short range optical cable
Emulex OCe11102-NM Dual port 10 Gigabit network adapter , short range optical cable

[ Voor 82% gewijzigd door |sWORDs| op 19-11-2015 08:30 ]

[paulhekje]

denk je ook aan split brain scenario? welke nas wordt door wie gebruikt als de verbinding weg valt?
2e nas mag niet zomaar automatisch actief worden.

[Chinco]

Split brain: het is een handmatige overschakeling, als ik het goed gelezen heb. Mag in dit scenario ook en zou goed moeten gaan.

Ik heb mijn gedachtenspinsel met de bestaande iSCSI-switches aan m'n leverancier gestuurd, die zoekt het voor me uit. Ik kom erop terug.

@|sWORDs|: zijn er ook rackmodellen (liefst 1U) met een glasNIC van QNAP? Voor zover ik kan zien passen de insteekkaarten alleen in de towers.

@_-= Erikje =-_: heb jij goede ervaringen met mediaconverters, dan? Ik namelijk niet zo.

[ Voor 10% gewijzigd door Chinco op 20-11-2015 21:22 ]

[ijdod]

chinco schreef op vrijdag 20 november 2015 @ 21:22:
@_-= Erikje =-_: heb jij goede ervaringen met mediaconverters, dan? Ik namelijk niet zo.

Ik heb prima ervaringen met mediaconverters, eigenlijk. Wij gebruiker er zakelijk een fors aantal Enige minpunten zijn de inherente nadelen van de formfactor en de doorgaans enkelvoudige voeding met een stekkertje wat makkelijk los kan komen. Daar zijn oplossingen voor. Ik zou in deze prijsklasse en dit scenario niet meer betalen voor een optic controller in het apparaat zelf, eerlijk gezegd.

[TrailBlazer]

Waarom niet in de cloud zetten bij amazon kost 12 tb 1800 dollar per jaar heb je wel wat kosten voor retrieval maar verder geen omkijken naar. Voor je long term archive van 7 jaar stop je het in glacier en dat is nog voordeliger.

[Osiris]

TrailBlazer schreef op zaterdag 21 november 2015 @ 09:53:
Waarom niet in de cloud zetten bij amazon kost 12 tb 1800 dollar per jaar heb je wel wat kosten voor retrieval maar verder geen omkijken naar. Voor je long term archive van 7 jaar stop je het in glacier en dat is nog voordeliger.

"sterilisaties, röntgen" klinkt haast medisch. Privacy wellicht? Liever niet in een cloud zou ik dan zeggen, laat staan buiten de grenzen en al helemaal niet in de VS.

[TrailBlazer]

Plaats je het encrypted in munchen of ierland. Als ik de TS zo lees is het sowieso geen enorme it toko en dan is uitbesteden niet zo'n gek idee.

[Osiris]

TrailBlazer schreef op zaterdag 21 november 2015 @ 12:21:
Plaats je het encrypted (…)

Ik neem aan dat je dat, in 't geval van medische gegevens, ook weer moet laten auditten en je 't niet zomaar d.m.v. een houtje-touwtje oplossing mag fixen

En uitbesteden inclusief encrypten van privacygevoelige medische gegevens lijkt me vast wel gepaard gaan met een bijbehorend prijskaartje?

[TrailBlazer]

Je kan bij amazon gewoon je eigen encryptie keys gebruiken. Met uitbesteden bedoel ik de opslag. Je kan gewoon dmv een API je bestanden heen en weer kopieren

[|sWORDs|]

chinco schreef op vrijdag 20 november 2015 @ 21:22:
@|sWORDs|: zijn er ook rackmodellen (liefst 1U) met een glasNIC van QNAP? Voor zover ik kan zien passen de insteekkaarten alleen in de towers.

Natuurlijk passen die in de rackmodellen, ook de 1U: https://www.qnap.com/i/nl....php?g_cat=11&II=157&hf=0
En daar waar de towers een bracket nodig hebben is dat bij de rackmodellen volgens mij niet zo.

[ Voor 11% gewijzigd door |sWORDs| op 21-11-2015 15:10 ]

[knutsel smurf]

Ben je zelf ook verantwoordelijk voor het volledige netwerk of alleen voor de storage? Mijn punt hierbij is dat om een 1 of andere reden de server boys, de storage jongens en de netwerk engineers nooit met elkaar praten.

Als je zelf ook voor alle andere onderdelen verantwoordelijk bent zou ik eens goed gaan nadenken over hoe je alles beheersbaar gaat houden. Zoals hier ook al wordt aan gegeven misschien is cloud wel een betere optie. Zomaar een NAS gaan aansluiten zonder goed te overleggen met de netwerk engineers lijkt me niet goed, en een goeie netwerk engineer weet voor jouw probleem een oplossing! En als er dus een investering nodig is in het netwerk omdat je glas nodig hebt dan kan hij je daar wellicht ook bij helpen.

anyhoe heb je een aantal opties:

1. Je stapt over op cloud of je neemt een Qnap die wel glas ondersteund
2. Je neemt een extra glasvezel paar die je op bestaande switches inplugt en creeer een VLAN voor de NAS specifiek, alleen zoals ik al zei praat even met je netwerk engineer
3. Je implementeerd een extra VLAN met QoS waardoor al het verkeer opde huidige omgeving niet in gevaar komt. En tegelijkertijd kan je een extra glasvezel paar pakken om bijvoorbeeld de bandbreedte te verhogen.eigenlijk het zelfde als hiervoor alleen je voegt een extra pad toe of trunk om meer bandbreedte te hebben
4. Je neemt media converters(ikzelf ben hier nooit zo`n fan van maar het werkt wel) en je houd alles lekker apart van elkaar
5. Je implementeerd een set goedkope switches met SFP's en je doet alles apart(zelfde als met de media converters)

Zelf zou ik zeggen nummer 3 en alles zo veel mogelijk op bestaande infrastructuur doen mist deze natuurlijk niet over belast is en het aan kan.

Maar beste zou zijn even overleggen met de netwerk engineer, heb je die niet of is dat een externe partij dan kunnen zij je het beste helpen.

[|sWORDs|]

knutsel smurf schreef op zaterdag 21 november 2015 @ 15:27:

Je implementeerd een extra VLAN met QoS waardoor al het verkeer opde huidige omgeving niet in gevaar komt. En tegelijkertijd kan je een extra glasvezel paar pakken om bijvoorbeeld de bandbreedte te verhogen.eigenlijk het zelfde als hiervoor alleen je voegt een extra pad toe of trunk om meer bandbreedte te hebben.

Een extra pad is prima, LACP trunking niet, aangezien er iSCSI gebruikt wordt. Daarnaast vraag ik me af of die Lefthands wel 20Gbit vullen, laat staan 40, dan is scheiden geen slecht idee als de lijnen er toch liggen, maar je hebt zeker een punt dat 20Gbit voor replicatie van een archief ook wel verspilling is.

Je ziet regelmatig dat iSCSI over een LACP trunk gaat, maar dat heeft er alleen mee te maken dat servers met 10Gbit vaak maar twee poorten hebben en er ook ander verkeer over gaat. iSCSI blijft dan altijd een enkel pad gebruiken en doet alleen een failover, voor iSCSI wil je eigenlijk MPIO gebruiken, maar mocht er maar 1 thread gebruikt worden voor replicatie dan maakt het ook niets uit.

[ Voor 37% gewijzigd door |sWORDs| op 21-11-2015 16:04 ]

[knutsel smurf]

|sWORDs| schreef op zaterdag 21 november 2015 @ 15:40:
[...]

Een extra pad is prima, LACP trunking niet, aangezien er iSCSI gebruikt wordt. Daarnaast vraag ik me af of die Lefthands wel 20Gbit vullen, laat staan 40, dan is scheiden geen slecht idee als de lijnen er toch liggen, maar je hebt zeker een punt dat 20Gbit voor replicatie van een archief ook wel verspilling is.

Je ziet regelmatig dat iSCSI over een LACP trunk gaat, maar dat heeft er alleen mee te maken dat servers met 10Gbit vaak maar twee poorten hebben en er ook ander verkeer over gaat. iSCSI blijft dan altijd een enkel pad gebruiken en doet alleen een failover, voor iSCSI wil je eigenlijk MPIO gebruiken, maar mocht er maar 1 thread gebruikt worden voor replicatie dan maakt het ook niets uit.

Het hangt totaal van de huidige netwerk structuur af misschien draait zijn core wel SPB? We weten het niet.

[BCC]

Osiris schreef op zaterdag 21 november 2015 @ 10:24:
[...]

"sterilisaties, röntgen" klinkt haast medisch. Privacy wellicht? Liever niet in een cloud zou ik dan zeggen, laat staan buiten de grenzen en al helemaal niet in de VS.

transip heeft 2TB voor 20 euro per maand. Maar zeker bulk storage zou ik offsite doen ivm brandgevaar. Maar daar is de TS volgens mij niet naar op zoek.

[ Voor 14% gewijzigd door BCC op 21-11-2015 21:32 ]

[JackBol]

Osiris schreef op zaterdag 21 november 2015 @ 12:23:
[...]

Ik neem aan dat je dat, in 't geval van medische gegevens, ook weer moet laten auditten en je 't niet zomaar d.m.v. een houtje-touwtje oplossing mag fixen

En uitbesteden inclusief encrypten van privacygevoelige medische gegevens lijkt me vast wel gepaard gaan met een bijbehorend prijskaartje?

Twee Synologies of QNAPs zijn in mijn ogen ook een houtje-touwtje oplossing....

[BCC]

JackBol schreef op zaterdag 21 november 2015 @ 21:57:
[...]


Twee Synologies of QNAPs zijn in mijn ogen ook een houtje-touwtje oplossing....

In mijn ogen dus ook: dubbele voeding? dubbel netwerk? ECC geheugen? Raid controllers met battery Back-up? Filesystem dat datacorruptie herkend? Data Snapshotting? Maar misschien ben ik wat te pessimistisch omdat ik al erg vaak bij klanten NASsen in de hoek ben tegengekomen met knipperende dode disk lampjes of randsomeware 😀 Uiteindelijk is het een combinatie van de eisen die je er zelf aan de dataretentie stelt en het geld dat je er voor over hebt.

Ik zou zelf eerder twee freebsd storage bakken met ZFS opzetten met freenas oid, op hardware die je nu ookal hebt in verband met reserve onderdelen. Dan wordt je glas ook een stuk eenvoudiger. Maar dat moet wel ondersteund worden door de it afdeling.

[ Voor 32% gewijzigd door BCC op 22-11-2015 14:23 ]

[|sWORDs|]

Bij QNAP:

dubbele voeding? Optioneel
dubbel netwerk? Check
ECC geheugen? Optioneel
Raid controllers met battery Back-up? Nee, SW RAID, maar wel UPS support.
Filesystem dat datacorruptie herkend? FS corruptie wel, bitrot niet.
Data Snapshotting? Check

[ Voor 9% gewijzigd door |sWORDs| op 22-11-2015 14:16 ]

[Question Mark]

Waarom zo moeilijk doen met twee nasjes, die data gaan repliceren?

Ik zou gewoon investeren in één fatsoenlijk systeem, met een goed onderhoudscontract en een goede backup. Dat lijkt me nuttiger dan twee nét niet oplossingen...

TS wil veel storage, HA uitgevoerd en goedkoop... En die combinatie bestaat eigenlijk niet.

TS: wat zijn vanuit de business nu eigenlijk de requirements mbt de beschikbaarheid?

chinco schreef op woensdag 18 november 2015 @ 13:20:
Het doel met alle belangrijke opslag / servers is dat het bij het uitvallen van 1 van beide serverruimtes alles doorloopt met hooguit een onderbreking om opnieuw te starten (VMWare HA heeft dat, bijvoorbeeld)

Ik intepreteer dit stuk even als dat het best even down mag zijn bij uitval van een apparaat. Hoe lang is dat dan precies? Hoeveel data mag verloren zijn bij uitval van een device?

[Verwijderd]

Maar zijn het nu bestanden die veilig bewaard moeten worden? Of alleen draaiende VMware-images?

[rc5proxy]

gewoon kiezen voor 1 solide server/nas met voldoende opslag voor de komende x jaar en een nette backup tape robot er aangekoppeld.

[TrailBlazer]

Tape robots bestaan die nog?

Lekker off site doen voor dit kleie beetje storage.

[Chinco]

Allemaal bedankt voor de input. Ik de replicatie inderdaad via de iSCSI-switches laten lopen. Dat moet met de huidige oplossing geen probleem zijn. Eventueel zijn er nog glasvezelpoorten over in de iSCSI-switches om de backbone te versnellen met bijvoorbeeld een dedicated lijn voor de NAS-oplossing.

(Meer) achtergrond:
Ik ben bezig om het VMWare cluster uit te breiden met meer geheugen en een extra (dubbele) SAN-module. Om de groeiende data iets in te perken, heb ik er voor gekozen om archiefdata op een NAS te plaatsen. Er is al een archief NAS aanwezig met een backup naar tape oplossing. En een autoloader, een taperobot in het klein.

En juist die NAS wilde ik een stukje extra zekerheid geven met een replicatie naar het andere pand. Dat lijkt nu te lukken via de iSCSI-switches.

Backup in de cloud is geen optie.

Nogmaals dank voor de input, ik ben een boel wijzer geworden.

[Verwijderd]

Mocht deze vraag ooit weer actueel worden, kijk eens naar "Ceph":
Wikipedia: Ceph (software)

Dit is een storage oplossing die je kunt installeren op en server en érg flexibel.

[Bastiaan V]

Verwijderd schreef op donderdag 26 november 2015 @ 09:03:
Mocht deze vraag ooit weer actueel worden, kijk eens naar "Ceph":
Wikipedia: Ceph (software)

Dit is een storage oplossing die je kunt installeren op minimaal 3 servers, maar aangeraden wordt minimaal 7 - 10 en érg flexibel.

Fixed that ;-).

Lijkt me kostbaar voor enkele TB's. Wij zetten ceph niet in voor <100 TB (netto)