Fibre Channel - Hoe configureren?

[Verwijderd]

Hi,

Wij hebben een Fibre channel RAID 5 systeem staan van ca. 4,5 TB, verdeeld in 3 stukken van ca. 1,5 TB. Deze hangt momenteel, via 2 FC kanalen aan een (1) Machine, die de drives deelt over een koper) 1Gb netwerkje. Tot zover niets aan de hand.
Inmiddels hebben we verder ge-investeerd in een FC-switch, FC-kabeltjes en FC-NICs, en zijn we zover om meedere PCs aan de FC-switch te knopen, zonder dat die eerste PC zich ermee bemoeid.

Nu doet het volgende zich voor:

Zodra 'PC1' naar een van de arrays schrijft, zien de andere PCs de data niet. Vervolgens schrijft 'PC2' ook een stukje data, waarna de data die 'PC1' net geschreven is corrupt is geworden.

Wat doen we verkeerd? aka; wat snap ik niet?

[tsjoender]

Volgens mij veronderstel je dat de volumes meteen ook shares zijn en dat daarom alle aangesloten systemen bij die volumes kunnen en doorelkaar kunnen lezen en schrijven. Echter die volumes zijn geen shares. Dit gaat hooguit werken als je een cluster filesystem zou installeren welke ontworpen is om vanuit verschillende systemen benaderd te worden en waarbij via een netwerk laag filelocks en dergelijke doorgegeven worden (sterk vereenvoudigd uitgelegd).

Het idee van dit soort hardware is dat je volumes een op een toekent aan een host. In de switches kun je dan ook regelen dat de hosts elkaar ook niet "zien" en daarmee alleen maar het stukje storage "zien" (als SCSI disk) waar ze bij mogen.

[Verwijderd]

Daar waren we al een beetje bang voor, dat we het allemaal verkeerd aan het bedenken waren.

Dus: als ik alle 'drives' zou willen kunnen benaderen op alle PCs, moet ik via een server werken? Dat lijkt me een beetje zonde van de snelheid. Als voorbeeld: rechtstreeks HD video capturen met 'PC1' naar de array gaat prima, via alleen de switch, gaat het niet: te langzaam.
Of weet je toevallig een andere oplossing?

[TheBrain]

Dat het te langzaam zou zijn snap ik niet aangezien je de boel deelt op 1Gb koper en je met die FC-switch minimaal 2Gb FC verkeer zou moeten kunnen hebben.

Als je de data die op alle drives staat aan alle PC's ter beschikking wil zetten moet er een server voor (die je overigens kan uitrusten met bijvoorbeeld 2 FC HBA's voor een zo breed mogelijk datapad naar de disks).

Als ik even google op HD Video capturen naar een server kom ik wel op vrij specialistisch spul uit zoals http://www.visiblelight.com/mall/productview.aspx?pid=716.

[Keiichi]

Je gaat toch niet 1 volume 2x mounten

Meeste bestandssytemen ondersteunen dit niet echt.

Wellicht als je even op http://en.wikipedia.org/wiki/List_of_file_systems kijkt onder 'Shared disk file systems' dat je meer success gaat hebben wanneer je 1 van die toe gaat passen.

[ Voor 49% gewijzigd door Keiichi op 09-05-2007 16:23 ]

[Verwijderd]

TheBrain schreef op woensdag 09 mei 2007 @ 16:15:
Dat het te langzaam zou zijn snap ik niet aangezien je de boel deelt op 1Gb koper en je met die FC-switch minimaal 2Gb FC verkeer zou moeten kunnen hebben.

Als je de data die op alle drives staat aan alle PC's ter beschikking wil zetten moet er een server voor (die je overigens kan uitrusten met bijvoorbeeld 2 FC HBA's voor een zo breed mogelijk datapad naar de disks).

Als ik even google op HD Video capturen naar een server kom ik wel op vrij specialistisch spul uit zoals http://www.visiblelight.com/mall/productview.aspx?pid=716.

Alleen het capture gedeelte gaat te langzaam, over single channel. het delen van de files is natuurlijk net zo snel (langzaam). Ik denk dat we inderdaad uitkoment op een server. We hebben 4 FC kanalen tot onze beschikking, daar moeten we een heel eind mee komen.

Het gaat trouwens om deze:
http://www.infortrend.com/main/2_product/s16f_r1430.asp
Is een redelijk geavanceerd ding, maar nu nog 'even' uitvinden hoe mee om te gaan.

[Verwijderd]

Keiichi schreef op woensdag 09 mei 2007 @ 16:19:
Je gaat toch niet 1 volume 2x mounten

Als je het zo stelt:

[OlivierF]

Je zult dus inderdaad een server van het een of ander moeten gebruiken, die de disk gepresenteerd krijgt van de FC bak en die verder deelt (NFS/CIFS) met de rest van je servers/werkstations...

[ Voor 83% gewijzigd door OlivierF op 09-05-2007 21:42 ]

[jep]

Precies de fout die ik ook maakte met een SAN. Wat je denk ik nodig hebt is een NAS, daarmee kun je wel wat je wilt. Of inderdaad een cluster filesystem, maar kan duur zijn en daarvoor heb je in ieder geval veel overhead en een ingewikkelde cluster setup. Ik zou kijken of je 'm inderdaad met NFS/CIFS kunt laten werken.

[Keiichi]

De oplossing die sommige aandragen, om 1 server als NFS/CIFS te laten werken, lijkt me niet echt de bedoeling. De prestaties en functionaliteit van zo'n SAN schiet je dan eigenlijk voorbij.

Volumes maken is de oplossing. Of op z'n minst partities om het heel eenvoudig te houden

[OlivierF]

Keiichi schreef op donderdag 10 mei 2007 @ 09:23:
De oplossing die sommige aandragen, om 1 server als NFS/CIFS te laten werken, lijkt me niet echt de bedoeling. De prestaties en functionaliteit van zo'n SAN schiet je dan eigenlijk voorbij.

Volumes maken is de oplossing. Of op z'n minst partities om het heel eenvoudig te houden

Volumes is inderdaad wel het idee van een SAN, echter, hij wil met meerdere servers/werkstations bij het zelfde volume/zelfde data. De makkelijkste en meest logische oplossing is hiervoor toch echt NFS/CIFS.....

[jep]

Yup. Dat was ook waarmee ik destijds zat. 1 Super snel filesystem willen sharen. Met een netwerk share kan dat, met een gewoon filesystem niet.

[Keiichi]

jep schreef op donderdag 10 mei 2007 @ 10:11:
Yup. Dat was ook waarmee ik destijds zat. 1 Super snel filesystem willen sharen. Met een netwerk share kan dat, met een gewoon filesystem niet.

Maar werkt het dan nog wel super snel? Een network filesysteem vreet in principe bergen met CPU kracht. (verhoudingsgewijs tot een gewoon FS, zeker)

[OlivierF]

Keiichi schreef op donderdag 10 mei 2007 @ 11:52:
[...]


Maar werkt het dan nog wel super snel? Een network filesysteem vreet in principe bergen met CPU kracht. (verhoudingsgewijs tot een gewoon FS, zeker)

Klopt, je zult hier rekening mee moeten houden met de hardware van je fileserver. Je hebt geen andere keus dus wel voor deze oplossing moeten kiezen.

[Keiichi]

OlivierF schreef op donderdag 10 mei 2007 @ 13:35:
[...]

Klopt, je zult hier rekening mee moeten houden met de hardware van je fileserver. Je hebt geen andere keus dus wel voor deze oplossing moeten kiezen.

Er zijn filesystems waar je meerdere client tergelijk 1 volume kan laten mounten, zoals http://en.wikipedia.org/wiki/Global_File_System bijvoorbeeld.

[Verwijderd]

Je hebt gewoon een NAS nodig. Wanneer je uitgaat van een professioneel NAS (Netapp ( www.netapp.com oid) heb je dezelfde / betere prestaties dan een SAN zoals je zelf aan het bouwen bent.

[ Voor 11% gewijzigd door Verwijderd op 10-05-2007 14:37 ]

[OlivierF]

Verwijderd schreef op donderdag 10 mei 2007 @ 14:36:
Je hebt gewoon een NAS nodig. Wanneer je uitgaat van een professioneel NAS (Netapp ( www.netapp.com oid) heb je dezelfde / betere prestaties dan een SAN zoals je zelf aan het bouwen bent.

Kan ook inderdaad, hangt er nogal vanaf hoeveel clients er gebruik maken van zn NAS en hoeveel I/O ze hebben. Het is dan wel te hopen dat hij die NetApp NAS ook aan zn SAN kan hangen, anders kan hij dat SAN gewoon in de prullenbak flikkeren, zou een beetje zonde zijn nietwaar?

Ik denk dat je in dit geval het beste uit bent met een server die als NAS gaat dienen, aangesloten op je SAN. Dit vooral omdat je dus al een SAN hebt staan. Als je erg veel I/O hebt kun je gaan voor een professionelere oplossen (NetApp?, als die aan te sluiten is op SAN) lijkt mij...