iSCSI: een volume toevoegen voor meerdere hosts

[Jazzy]

Ik heb een Proliant Storage Server die voorzien is van Windows Storage Server 2003 SP1 en het iSCSI feature pack van HP. Daarnaast heb ik 3 hosts die voorzien zijn van de Microsoft iSCSI initiator.

Op de server zijn 9 LU's aangemaakt die elk zijn toegewezen aan slechts 1 host. Bij elke LU staat bij de permissions dus de NAS server zelf (read) en een andere host (read/write non-exclusive). Toen ik dit inrichtte werkte het prima, hoewel ik soms het idee had meerdere keren te moeten connecten/disconnecten voordat het volume zichtbaar werd op de server.

Nu is het zo dat ik een 10e LU wil maken op de iSCSI server die te beschrijven is voor alle 3 hosts en ook leesbaar voor de NAS server zelf. Ik krijg dit alleen niet voor elkaar. Nadat ik een nieuwe LU aanmaakte en de rechten voor de 3 hosts zet op read/write exlusive verscheen hij bij de 3e server, daar heb ik hem geformatteerd en gewoon basic disk gelaten. Alleen hij verschijnt niet op de andere hosts in disk management en ook niet op het NAS zelf.

Ik heb het idee dat ik iets verkeerd doe maar kom er met de documentatie van het iSCSI feature pack niet uit. Iemand een idee?

[Verwijderd]

Ik heb geen ervaring met Storage server maar doorgaans is het een heel slecht idee om meerdere server s tegelijk in een niet speciaal hiervoor geschikt filesysteem te laten schrijven. Ik denk dat HP je hiertegen probeert te beschermen.

[Jazzy]

Een slecht idee? Ik snap wat je hiermee bedoelt maar het gaat hier wel om een omgeving waarin dat moet kunnen. De techniek is er juist voor bedoeld om dit mogelijk te maken. Ik kan wel 100 hosts toegang geven tot de LU en kan daarbij kiezen tussen read/write exclusive en read/write non-exclusive.

Alleen biedt de documentatie me niet voldoende handvatten om dit goed in te regelen. Vandaar dat ik hier even om advies vraag, ik ben erg benieuwd hoe anderen dat doen.

[Verwijderd]

Misschien dat HP er een 'geheime' truc in heeft gestopt die dit mogelijk maakt (iets wat mij zou verbazen) maar op alle iSCSI spulletjes die ik tot nu toe heb gezien is het op zich geen enkel probleem om meerdere servers toegang te geven tot hetzelfde LUN. Het resultaat is natuurlijk wel dat je binnen een paar minuten een corrupte disk hebt omdat de servers echt niet van elkaar weten wie waar mag schrijven. Dat gaat normaal gesproken alleen goed als je een soort Shared disk file system gebruikt waarin een duidelijke vorm van locking is afgesproken (zoals VMWare VMFS, PolyServe of EMC Highroad, Veritas SF, etc).

Misschien doet de Storage server nog aan LUN masking waardoor je de LUN's niet op de andere servers ziet. Kwestie van het LUN masker aanpassen en dan zou je ze moeten zien. Vervolgens is het natuurlijk nog steeds een slecht idee om ze RW vanaf meerdere servers te benaderen tenzij je een shared filesystem gebruikt of een cluster disk maakt.

[Kokkers]

Reguliere filesystems (NTFS) gaan er vanuit dat ze exclusieve toegang hebben tot het aan hun toegewezen blockdevice. Een door NTFS gecached datablock expired bijvoorbeeld niet als een andere host onderliggende data veranderd. Er zijn simpelweg geen mechanismen ingebouwd voor locking en cache expires voor meerdere hosts. Data corruptie zal zeker weten optreden.
Daarnaast hebben sommige filesystems altijd write toegang nodig om een volume te kunnen mounten.

Als je op block-level meerdere hosts toegang wil geven tot een volume heb je daar een 'cluster aware' filesystem voor nodig. Dit is redelijk complex.

Hoe anderen dit doen? M.b.v. Network Attached Storage (sharing op file niveau i.p.v. blockniveau).
Via CIFS of NFS exporteer je vanaf een server files naar andere hosts.
Waarom mount je het iSCSI volume niet op je NAS server en geef je je overige hosts toegang via een share op je NAS server?

Wil je toch perse op blockniveau devices / volumes aanbieden aan meerdere hosts kijk dan eens naar MetaSAN voor NTFS/HFS.

Het RedHat Global filesystem is een redelijk toegankelijk cluster filesystem om te zien wat er allemaal bij komt kijken.

[ Voor 9% gewijzigd door Kokkers op 09-11-2007 18:00 ]

[Zoetjuh]

Bekend issue. Hier liep ik ook tegen aan toen ik met SAN oplossingen begon. Een NAS kan het hebben, maar een SAN standaard niet inderdaad (anthans, niet met FileSystems als NTFS).

In der tijd heb ik zelf gekeken naar PolyServe en Melio FS (van Sanbolic). Ik moet eerlijk zijn dat ik deze zaken niet verder heb bekenen / getest, maar een Clustered Filesystem is vermoedelijk wel de kant die je op moet gaan.

[Jazzy]

Kokkers schreef op vrijdag 09 november 2007 @ 17:52:
Hoe anderen dit doen? M.b.v. Network Attached Storage (sharing op file niveau i.p.v. blockniveau).
Via CIFS of NFS exporteer je vanaf een server files naar andere hosts.
Waarom mount je het iSCSI volume niet op je NAS server en geef je je overige hosts toegang via een share op je NAS server?

Soms kan het zo simpel zijn.

Bedankt voor de waardevolle info, allen.

[mangahuisman]

Jazzy schreef op zaterdag 10 november 2007 @ 16:17:
[...]
Soms kan het zo simpel zijn.

Bedankt voor de waardevolle info, allen.

Wat is dit nou de oplossing?

[Jazzy]

mangahuisman schreef op maandag 12 november 2007 @ 16:20:
[...]


Wat is dit nou de oplossing?

Kan het zijn dat er een 'dit' te veel staat in je vraag? De suggestie om een volume lokaal op het NAS te mounten en deze te sharen voor de andere hosts. Een prima werkbare work-around waar ik helemaal niet aan gedacht had.

[Verwijderd]

Dit is inderdaad een prima oplossing al gaat via een share een hoop snelheid verloren. Van de 70MB/s doorvoersnelheid die ik direct heb met een ISCSI verbinding hou ik via een share nog maar gemiddeld 20MB/s over.