ISCSI deamon leest config files niet

[Creep]

De volgende setup maakt het me al een tijdje moeilijk:
Een Dell MD3000i en een Dell Poweredge 1950 met Ubuntu.

De bedoeling is dat eth0 wordt gebruikt voor de webinterface van een jBoss applicatie en eth1 voor de ISCSI connectie.

Met iscsiadm kan ik een verbinding maken met de Dell MD3000i en krijg ik mijn disk gekoppeld.
# sudo iscsiadm --mode node --targetname iqn.1984-05.com.dell:powervault.md3000i.6002219000bf67d60000000049c64fd0 --portal=192.168.130.101:3260 -I iface1 -P 1 --login

Relevant deel van iscsi.conf
#*****************
# Startup settings
#*****************
# To request that the iscsi initd scripts startup a session set to "automatic".
node.startup = automatic
#
# To manually startup the session set to "manual". The default is manual.
node.startup = automatic

inhoud van node file:
node.name = iqn.1984-05.com.dell:powervault.md3000i.6002219000bf67d60000000049c64fd0
node.tpgt = 1
node.startup = automatic
iface.hwaddress = 00:22:19:56:14:97
iface.iscsi_ifacename = iface1
iface.net_ifacename = default
iface.transport_name = tcp
node.discovery_address = 192.168.130.101
node.discovery_port = 3260
node.discovery_type = send_targets
node.session.initial_cmdsn = 0
node.session.initial_login_retry_max = 8
node.session.cmds_max = 128
node.session.queue_depth = 32
node.session.auth.authmethod = None
node.session.timeo.replacement_timeout = 120
node.session.err_timeo.abort_timeout = 15
node.session.err_timeo.lu_reset_timeout = 20
node.session.err_timeo.host_reset_timeout = 60
node.session.iscsi.FastAbort = Yes
node.session.iscsi.InitialR2T = No
node.session.iscsi.ImmediateData = Yes
node.session.iscsi.FirstBurstLength = 262144
node.session.iscsi.MaxBurstLength = 16776192
node.session.iscsi.DefaultTime2Retain = 0
node.session.iscsi.DefaultTime2Wait = 2
node.session.iscsi.MaxConnections = 1
node.session.iscsi.MaxOutstandingR2T = 1
node.session.iscsi.ERL = 0
node.conn[0].address = 192.168.130.101
node.conn[0].port = 3260
node.conn[0].startup = automatic
node.conn[0].tcp.window_size = 524288
node.conn[0].tcp.type_of_service = 0
node.conn[0].timeo.logout_timeout = 15
node.conn[0].timeo.login_timeout = 15
node.conn[0].timeo.auth_timeout = 45
node.conn[0].timeo.noop_out_interval = 5
node.conn[0].timeo.noop_out_timeout = 5
node.conn[0].iscsi.MaxRecvDataSegmentLength = 131072
node.conn[0].iscsi.HeaderDigest = None
node.conn[0].iscsi.DataDigest = None
node.conn[0].iscsi.IFMarker = No
node.conn[0].iscsi.OFMarker = No

Het volgende probleem doet zich voor. Na een reboot logt de iscsi deamon niet automatisch aan en wordt er dus geen disk gekoppeld. Ook wanneer ik handmatig met het bovenstaande command een verbinding maak (wat helemaal goed gaat) en daarna de deamon herstart, logt deze niet meer automatisch in.
Wanneer ik dan weer handmatig met iscsiadm inlog, is mijn disk niet /dev/sdc maar /dev/sdd. Dit kan ook niet de bedoeling zijn.

Stukje log uit /var/log/messages:

kernel: [ 2937.588897] scsi3 : iSCSI Initiator over TCP/IP
kernel: [ 2937.874977] scsi 3:0:0:0: Direct-Access DELL MD3000i 0735 PQ: 1 ANSI: 5
kernel: [ 2937.875102] scsi 3:0:0:0: Attached scsi generic sg3 type 0
kernel: [ 2937.880971] scsi 3:0:0:1: Direct-Access DELL MD3000i 0735 PQ: 0 ANSI: 5
kernel: [ 2937.881118] sd 3:0:0:1: Attached scsi generic sg4 type 0
kernel: [ 2937.882762] scsi 3:0:0:31: Direct-Access DELL Universal Xport 0735 PQ: 0 ANSI: 5
kernel: [ 2937.882890] scsi 3:0:0:31: Attached scsi generic sg5 type 0
kernel: [ 2937.883009] sd 3:0:0:1: [sdc] 419430400 512-byte logical blocks: (214 GB/200 GiB)
kernel: [ 2937.890251] sd 3:0:0:1: [sdc] Write Protect is off
kernel: [ 2937.892052] sd 3:0:0:1: [sdc] Write cache: enabled, read cache: enabled, supports DPO and FUA
kernel: [ 2937.895115] sdc: sdc1
kernel: [ 2937.915222] sd 3:0:0:1: [sdc] Attached SCSI disk
kernel: [ 2938.384745] kjournald starting. Commit interval 5 seconds
kernel: [ 2938.384776] EXT3-fs warning: maximal mount count reached, running e2fsck is recommended
kernel: [ 2938.481744] EXT3 FS on sdc1, internal journal
kernel: [ 2938.481749] EXT3-fs: recovery complete.
kernel: [ 2938.481754] EXT3-fs: mounted filesystem with writeback data mode.

Ui de log blijkt dat het inloggen prima verloopt, het probleem zit 'm in de herstart van de daemon, denk ik.

Zie ik iets over het hoofd, of is dit een bug die ik nergens terug kan vinden?

Ik heb onder andere de volgende websites gebruikt:
http://www.howtoforge.com...9.04-initiator-and-target
http://www.cyberciti.biz/...tu-linux-iscsi-initiator/

[Snow_King]

Je hoeft in de iscsi.conf geen enkele aanpassing te maken, je moet alleen "node.conn[0].startup = automatic" aanpassen in /etc/iscsi/nodes/XX/XX/default

[Creep]

Snow_King schreef op vrijdag 26 maart 2010 @ 12:53:
Je hoeft in de iscsi.conf geen enkele aanpassing te maken, je moet alleen "node.conn\[0].startup = automatic" aanpassen in /etc/iscsi/nodes/XX/XX/default

In de startpost staat de inhoud van de nodefile. Hier in staat: node.conn[0].startup = automatic

Het vreemde is dat een restart van de daemon dit niet oppikt. Ook niet na een herinstallatie.

Ik heb ook een VmWare omgeving meteen server met ubuntu 9.10 en een Openfiler install. Hier werkt het perfect.

[Kees]

Het probleem waar jij tegenaanloopt is dat de configfile na een discovery in een directory geplaatst wordt die specifiek is voor die node. En als je dan later /etc/iscsi/iscsi.conf aanpast, dan geld dat niet voor die nodes. Wat jij moet doen is:

rm -r /etc/iscsi/nodes
rm -r /etc/iscsi/ifaces
rm -r /etc/iscsi/send_targets

pas de configfile in /etc/iscsi aan zodat deze de juiste waardes bevat en doe daarna een nieuwe discovery

iscsiadm --mode discovery --type sendtargets --portal 192.168.130.101

Vervolgens zal hij wel automatisch inloggen.

Een andere optie is de 4 'default' files in /etc/iscsi/nodes/$wwid/$ip aan te passen. Overigens heeft de md3000i 4 netwerkaarten. Het kan aan te raden zijn om op alle 4 in te loggen, en dan met behulp van multipath 1 virtuele disk aan het OS aan te bieden zodat hij automatisch een failover doet (althans; als je een md3000i met redundant controller hebt).

Een stukje voorbeeld multipath:

code:

defaults {
        udev_dir                /dev
        polling_interval        5
        user_friendly_names     yes
}
blacklist {
        devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
        devnode "^hd[a-z][[0-9]*]"
        devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]"
        devnode "^sda[0-9]*"
#onze sas disk heet sda, onze iscsi schijven krijgen sdb, sdc, sdd en sde
}

multipaths {
        multipath {
                wwid 36001ec9000d163110000067f484e260c
                alias webdata
        }
}

devices {
        device {
                vendor                  "DELL"
                product                 "MD3000i"
                hardware_handler        "1 rdac"
                path_grouping_policy    group_by_prio
                getuid_callout          "/lib/udev/scsi_id -g -u --device=/dev/%n"
                prio_callout            "/sbin/mpath_prio_rdac /dev/%n"
                path_checker            rdac
                failback                immediate
                no_path_retry           fail
        }
}

[Creep]

Ok, blijkbaar is het probleem het volgende:

het open-iscsi script in /etc/init.d verwijst in regel 80 naar:
ISCSI_TARGET_NB=$(cat /etc/iscsi/nodes/*/*/default 2>/dev/null| grep -c automatic)

Tijdens het iscsiadm -m discovery proces worden onder /etc/iscsi/nodes directories aangemaakt met de naam van de interface. Wanneer deze niet default heet, maar bijvoorbeeld iface1, werkt het hele script niet.

Oplossing voor mij is dus:
ISCSI_TARGET_NB=$(cat /etc/iscsi/nodes/*/*/iface* 2>/dev/null| grep -c automatic)

Maar het lijkt mij een vrij duidelijke bug in het pakket

[Kees]

Nee, is geen bug in het pakket. Op deze manier kun je diverse iscsi targets voorzien van verschillende configs. Tenzij ze de naam van 'default' naar 'iface' veranderd hebben, wat in mijn versie iig niet het geval is.

[ Voor 32% gewijzigd door Kees op 26-03-2010 14:39 ]

[Creep]

Dat moet je me toch even uitleggen.
Wanneer ik een discovery doe, krijg ik automatisch een iface1 of iface2 bestand onder /etc/iscsi/nodes/*/*/
Ik zou een default bestand verwachten, omdat het /etc/init.d/open-iscsi daar ook naar gezocht wordt.

Op zich is het ook logisch om meerdere interfaces te hebben voor bijv. multipath.

[Kees]

Bij mij krijg ik een structuur alla:

./initiatorname.iscsi
./ifaces
./nodes
./nodes/iqn.1984-05.com.dell:powervault.$wwid
./nodes/iqn.1984-05.com.dell:powervault.$wwid/$ip1/default
./nodes/iqn.1984-05.com.dell:powervault.$wwid/$ip2/default
./nodes/iqn.1984-05.com.dell:powervault.$wwid/$ip3/default
./nodes/iqn.1984-05.com.dell:powervault.$wwid/$ip4/default
./iscsid.conf
./send_targets
./send_targets/$portal
./send_targets/$portal/iqn.1984-05.com.dell:powervault.$wwid:$ip1,default
./send_targets/$portal/iqn.1984-05.com.dell:powervault.$wwid:$ip2,default
./send_targets/$portal/iqn.1984-05.com.dell:powervault.$wwid:$ip3,default
./send_targets/$portal/iqn.1984-05.com.dell:powervault.$wwid:$ip4,default
./send_targets/$portal/st_config

Met daarin dus inderdaad een /etc/iscsi/nodes/*/*/default file.