NAS, iSCSI of fiber channel?

[Verwijderd]

Voor zakelijke omgeving hebben we groen licht om onze hardware uit te breiden. Hierbij twijfelen we over een opslagmedium voor grote hoeveelheden (bron) data. We zijn op zoek naar een goede opslag oplossing voor indexing software waarbij de data op drie verschillende locaties staat:

1.brondata (vele TB's)
2.index data
3.database: zowel Oracle als Postgresql

Huidige situatie:
Momenteel gebruiken we 6 dezelfde servers en 6 NASsen waarbij de data als volgt verdeel is

Server
cpu: i7
RAM: 24GB
Netwerk: 2x 1Gbit
Physicaldisk0: OS
Physicaldisk1 RAID0: database
Physicaldisk2: index data

NAS (bevat de brondata)
Merk/type: Thecus 8800pro
RAID5
Netwerk:2x1Gb:

In totaal gebruiker we zes servers en NASsen in 1 subnet, waarbij in principe elke server zijn eigen NAS heeft maar waarbij het wel mogelijk moet zijn dat alle servers alle NASsen (bron data) kunnen benaderen.

Wij vragen ons af wat de snelst een meest stabiele oplossing voor de opslag van de brondata en de beschikbaarheid daarvan; NAS, iSCSI of fiber channel, of een ander alternatief...? Er moet tussen effectief tussen de 12 en 16 TB kunnen worden opgeslagen op de storage.

Zelf hebben we onze ogen gericht op verschilllende HP enclosures in plaats van de NAS. Uiteraard zullen we leveranciers om advies vragen, maar we zijn zeker geinteresseerd in jullie visie.

[WhizzCat]

Hmm, ik denk dat je die leveranciers over kan slaan. Voor 6k krijg je nooit een fatsoenlijke oplossing voor zoveel data, no offense

-edit-

En vergeet je backup niet...

[ Voor 13% gewijzigd door WhizzCat op 26-01-2012 13:50 ]

[Gert]

Je bent je halve budget al kwijt aan HBA's en switches als je voor FC gaat dus dat lijkt me geen haalbare kaart.

[Verwijderd]

Ok, duidelijk dat we dat niet redden voor het budget dat ik noemde, dan even onafhankelijk van het budget...het budgetbedrag dan heb ik uit mijn initiele post dan ook verwijderd...

enuuhh idd niet onbelangrijk; backup2disk wort toegepast maar val ik jullie niet mee lastig.

[ Voor 21% gewijzigd door Verwijderd op 26-01-2012 14:21 ]

[WhizzCat]

Ok, dat mag ook

Het voordeel van iSCSI is dat je je huidige infra kan gebruiken van 't netwerk. Nadeel is dat je je huidige infra van je netwerk kan gebruiken. Qua geld bespaart 't, qua bandbreedte zou je het liefst een apart netwerk willen aanleggen om bandbreedte te kunnen garanderen. Dit gezegd hebbende, FC heeft sowieso aparte infra, maar is een stuk duurder dan een apart TCP netwerkje.

Als je wat goeie iSCSI offloading kaarten en aparte switches gebruikt ben je qua centen goedkoper uit dan FC en ik denk ongeveer net zo functioneel. Je kan ook sharen etc. zoals met FC. FC kan in zo'n relatief kleine omgeving lastig uit

-edit-

en backup naar disk is geen backup, maar dat terzijde

[ Voor 5% gewijzigd door WhizzCat op 26-01-2012 14:22 ]

[Femme]

Voordat je het over iscsi en fibre channel gaat hebben moet je eerst voor jezelf opmaken of een san wel is wat je nodig hebt. Je hebt nu een aparte nas per server waarvan de data toegankelijk moet zijn voor andere servers. In een san wordt storage gedeeld op blokniveau, dat wil zeggen je deelt volumes die als een block device (vergelijkbaar met een lokale harde schijf) op een client worden gemount. De client kan hier vervolgens een bestandssysteem op aanmaken. Als meerdere clients toegang willen hebben tot hetzelfde volume zullen deze clients een clusterbestandssysteem op het volume moeten draaien en onderling met elkaar moeten communiceren over wijzigingen in het bestandssysteem, anders draai je je bestandssysteem bij de eerste writes in de soep. Die verwacht namelijk niet dat er nog andere machines naar hetzelfde block device gaan schrijven.

Bij een nas wordt data gedeeld op bestandsniveau. Als meerdere systemen toegang moeten hebben tot dezelfde bestanden is het makkelijker om een nas te gebruiken.

Het is me niet duidelijk waarom jullie niet gewoon de opslag direct in de servers stoppen, dat presteert veel beter dan een nas.

[Venomize]

Volledig akkoord met wat Femme hierboven zegt.

Je kan ook nog opteren voor een extra fileserver, waarbij de SAN voor de storage zorgt. Op die manier zorgt de fileserver voor de bestandssharing naar je verschillende servers in plaats van de oude NAS.

Nog een optie is om de SAN de LUNs rechtstreeks te presenteren aan de servers, die dan deze schijf als opslagruimte gebruiken. Indien de andere servers hier ook toegang toe nodig hebben, kan je met behulp van SMB de schijven sharen per server, maar dit lijkt me een beetje omslachtig.

[jwpmzijl]

ik mis in het verhaal van TS hoe de huidige apparatuur belast wordt. En wat de bottleneck is. Die Thecus N8800 zijn namelijk geen gewone huis-tuin en keuken NAS'sen. Als ze een beetje goed geconfigureerd zijn dan kunnen ze behoorlijk presteren.

Het is een platgeslagen pad maar "meten is weten".

Zorg eerst dat je weet welke performance je op dit moment hebt. En belangrijker waar de bottleneck zit. Ik kan mij bijv. voorstellen dat als je dit alles op een 24 poort entrylevel gigabit switch hebt aangesloten dat die switch nu de bottleneck is.

Wellicht dat je op dit moment in de Thecus gebruik maakt van 5400 toeren HDD's. In dat geval kan dat een bottleneck zijn.

Ook kun je overwegen om tussen de server en de nassen 10Gb. ethernet point to point verbindingen aan te leggen daarmee kun een netwerk bottleneck oplossen. Ook niet goedkoop natuurlijk met 12x 10Gb. netwerkkaarten heb je het eerder genoemde budget ook verbruikt. En dan moet je kiezen voor de UTP varianten anders gaat het met bekabeling en receivers etc nog veel meer kosten.

En wat ook Femme aangeeft is de keuze voor externe storage wel handig.?
Je praat over vele Tb's maar het past nog in een 8 disk enclosure. Met de komst van 4 Tb. schijven is het wellicht ook met local storage op te lossen.

Ik weet het, meer vragen dan antwoorden! Maar als je de juiste vragen stelt krijg hopelijk ook de juiste antwoorden.

[DukeBox]

Probleem met bijna alle Thecus Pro series is dat wanneer hij uit cache begint te lopen maar de vraag naar write IO's aanblijft de performance zo ver inzakt dat een losse USB disk nog beter presteerd. Tijdelijke burst en voornamelijk reads is allemaal geen probleem en piekt ie prima.

[Verwijderd]

thans all for the input het wordt hierdoor allemaal al wat duidelijker..

@ Femme: de opslag stoppen we gedeeltelijk al lokaal in de applicatieserver. De index data en de Oracle database staan lokaal. De brondata moet echter beschikbaar zijn voor meerdere appl servers en dus liever niet geshared vanuit die server.

ok, ik begrijp dus dat SAN principe niet echt aan onze criteria voldoet

@jwpmzijl; de belasting is met name de dataverkeer tussen de huidige NAS tijdens het processen/indexen van de source data en daarna tijdens het analyseren daarvan.

De huidige zes servers en NAS opstellingen zijn verdeeld aangesloten op drie Catalyst Gb Switches. Dat is niet de bottleneck hebben we gemeten. Met de Thecus N8800pro ervaren we performance problemen. We hebben tevergeefs verschillende instellingen getuned. LIjkt erop alsof de Thecus niet tegen teveel connecties tegelijk kan. Eerst dachten we er aan om voor de volgende NASsen dan maar de Synlogy RS3411xs/RS3411RPxs te bestellen, maar we willen dus ook vaststellen of er alternatieven (iSCSI of SAN) aan onze criteria voldoen.

verder hebben we direct dual aansluiten van de NAS aan server ook overwogen, in dat geval moet er een eth kaart bij om aan het netwerk van andere servers te koppelen. deze optie staat nog open.

@ Dukebox, wellicht hebben wij dus last van dit probleem met onze Thecus.

voorlopig nog wikken en wegen, maar we komen er wel uit mijn voorkeur gaat op dit moment uit naar de genoemde Synology met extra 10 Gb netwerkkaarten point to point naar srvr en ander naar netwerk (evt dual).

[DJSnels]

QNAP levert ook goede NASsen als enterprise storage.
Kijk even op http://www.qnap.com/nl/Products.asp naar de bovenste categorie (High-End SMB) en vergelijk ze op http://www.qnap.com/image...rison/Comparison_NAS.html

deze high end apparaten zijn ook uit te breiden met 10Gb kaarten.

Let wel op dat de goedkopere QNAPs een no-go zijn, deze hebben simpelweg te weinig CPU power voor grote bandbreedtes.

[jwpmzijl]

Verwijderd schreef op vrijdag 27 januari 2012 @ 14:58:
@jwpmzijl; de belasting is met name de dataverkeer tussen de huidige NAS tijdens het processen/indexen van de source data en daarna tijdens het analyseren daarvan.

Als ik je goed begrijp is de bottleneck de beschikbare bandbreedte op het netwerk en niet de performance van de NASsen. M.a.w. de beide 1Gb. lijntjes van de servers zijn op piek momenten 100% bezet.

Als dit zo is dan komen er toch weer 2 vragen bij mij op:

• Benaderd de betreffende server op dat moment meerdere "NASsen"?

  ---

  
  In dit geval zou ik denken dat de performance van iedere afzonderlijke nas niet de bottleneck is maar dat er aan de serverkant te weinig bandbreedte is. Dit zou op te lossen zijn met extra of snellere netwerkkaarten in de server
• Benaderd de betreffende server op dat moment maar één NAS?

  ---

  In dit geval zou je zowel op de server als op de NAS extra bandbreedte moeten creëren. Dat zou dan waarschijnlijk het makkelijkste met 10Gbe kaarten te realiseren zijn. Daarbij moet je wel goed opletten of de kaart door de Thecus ondersteund wordt.

Maar goed bovenstaande geldt enkel als de Gb. lijntjes 100% dichtgetrokken worden. Overigens ga ik ervan uit dat je jumboframes al ingeschakeld hebt. Zo niet dan zou je daarmee ook een paar procent kunnen winnen. En het geheugen in de Thecus heb je ook al op het maximum gebracht?

[ Voor 9% gewijzigd door jwpmzijl op 29-01-2012 22:41 . Reden: typo's ]

[mangahuisman]

De data beschikbaar stellen via een fileserver?

Je moet toch even goed gaan kijken wat je nu aan het doen bent... en waar het probleem zit.

Blijft een beetje wazig verhaal.

[erwinb]

Als je gebruik wil gaan maken van een NAS of een SAN, dan moet je zeker ook even een blik werpen op NetApp. Deze systemen kunnen zowel NAS protocollen aan (CIFS/NFS) als SAN protocollen (iSCSI, FC, FCoE). Waarbij alle servers, indien gewenst, bij alle data kunnen.
Deze systemen zijn ook beschikbaar met 10GBit interfaces.

Nog een leuke optie, je geeft aan o.s. Oracle te gebruiken, Als je Oracle gebruikt in combinatie met een NetApp, dan kan je gebruik maken van direct NFS. Hiermee kan je Oracle direct via NFS met het NAS systeem laten comuniceren, waarbij de NFS stack van de host wordt over geslagen. Met Direct NFS hoef je je ook geen zorgen te maken over load balancing, dat doet Oracle zelf.

[Verwijderd]

Je kan natuurlijk ook op een SAN twee LUN's maken welke elk aan een eigen server worden "toegewezen" en d.m.v. DFS daar weer één share van maken. Of natuurlijk clustering zoals reeds is geopperd (http://technet.microsoft....rary/cc771509(WS.10).aspx)

Reken inderdaad op hogere kosten dan de eerder genoemde € 6000,-
6x € 500,- (HBA kaart per Server) + 2x € 2000,- (dubbel Switch t.b.v SAN) zit al op € 5000,- en dan heb je nog niet eens je Disk cabinet meegeteld (en reken maar dat die tegen die € 20.000,- zit: http://www.milesconsultin...logic-SAN-Price-List.aspx)

[SpamLame]

Je zo ook de cheap oplossing kunnen doen door niet nieuw te kopen.
md3000i voor 3k http://www.nowthatsit.nl/?c=487&i=13228