Linux: uniek hdd ID vinden

[Boudewijn]

Hoihoi

Ik heb een projectje waarbij ik workstations inspoel via pxe en puppet, waarbij het hele OS op een USB disk staat.
Deze disks worden allemaal op dezelfde pxe-client gemaakt, maar ik wil graag elk systeem een vast/bekend ID geven.... alleen de hele hdd wordt compleet overschreven bij reinstall. Ik heb dus geen uniek ding per installatie op de harde schijf na....

maw: ik moet iets met een hard-disk ID doen.

Nu had ik het plan om de disk-identifier te gebruiken die fdisk geeft, maar deze wordt bepaald door je MBR, en die wordt echt keihard overschreven bij een install (en ja dat is ook de bedoeling om virussen en rommel te voorkomen).

Weet iemand of je op een andere manier een hardware ID uit een USB disk kunt trekken?

[ Voor 4% gewijzigd door Boudewijn op 04-08-2012 01:23 ]

[terual]

Verandert het label bij reinstall? Ik dacht het UUID wel, beide zijn met `blkid` te bekijken.

[H!GHGuY]

Misschien kun je met "lsusb" iets vinden?

[MartinMeijerink]

Met hdparm kun je bijv. het serienummer van een schijf uitlezen, deze verandert dus nooit, ook niet als een schijf volledig wordt overschreven... Als je hier de md5sum van neemt heb je al een soort van UUID die voor deze schijf altijd hetzelfde blijft, dus zoiets:

code:

string=$(hdparm -iv /dev/sda|grep SerialNo=|md5sum)
UUID=${string:0:8}-${string:8:4}-${string:12:4}-${string:16:4}-${string:20:12}

In regel 1 doen we een md5 van het serienummer en in regel 2 maken we er door de streepjes op de juiste plek te zetten een echt UUID van...

[hcQd]

Niet bij alle sticks kun je het serienummer uitlezen met hdparm (iig niet bij twee Kingstons die ik hier heb liggen), sdparm -p sn zou altijd moeten werken.

[Boudewijn]

terual schreef op zaterdag 04 augustus 2012 @ 09:05:
Verandert het label bij reinstall? Ik dacht het UUID wel, beide zijn met `blkid` te bekijken.

Beide helaas.


Lsusb leek weinig soelaas te bieden, maar hdparm klinkt als jackpot.
Het zijn geen sticks maar 2.5" hdd's dus hdparm zou het gewoon moeten doe. Bedankt voor de tip!


Ik ga het maandag op het werk testen.

[ Voor 5% gewijzigd door Boudewijn op 05-08-2012 02:04 ]

[c-nan]

Waarom wil je perse de disk als identifier gebruiken? Overige hardware is toch ook uniek? Met lshw kom je een hele eind.

[Boudewijn]

Polat06 schreef op zondag 05 augustus 2012 @ 04:29:
Waarom wil je perse de disk als identifier gebruiken? Overige hardware is toch ook uniek? Met lshw kom je een hele eind.

Nee ik gebruik continu dezelfde machine om die images aan te maken. Staat ook in de topicstart.

[Boudewijn]

Hmmz dat valt dus toch nog tegen:

root@hostname:/# hdparm -iv /dev/sda               

/dev/sda:
 multcount     =  0 (off)
 readonly      =  0 (off)
 readahead     = 256 (on)
 geometry      = 38913/255/63, sectors = 625142448, start = 0
 HDIO_GET_IDENTITY failed: Invalid argument

Nou ja dat was al een beetje voorspeld hier en komt doordat je de ATA commando's niet over USB kunt sturen (als ik http://forum.wdlxtv.com/viewtopic.php?f=31&t=4464 mag geloven dan).

Ik heb daarom ook even sdparm gebruikt:

sdparm -av /dev/sda
    /dev/sda: Freecom   Mobile Drive XXS  
Read write error recovery [0x1] mode page [PS=0]:
  AWRE        0
  ARRE        0
  TB          0
  RC          0
  EER         0
  PER         0
  DTE         0
  DCR         0
  RRC         0
  COR_S       0
  HOC         0
  DSOC        0
  WRC         0
  RTL         0
>> Disconnect-reconnect (SPC + transports) mode page [0x2] not found
>> Format (SBC) mode page [0x3] not found
>> Rigid disk (SBC) mode page [0x4] not found
>> Verify error recovery (SBC) mode page [0x7] not found
>> Caching (SBC) mode page [0x8] not found
>> Control mode page [0xa] not found
>> Control extension mode subpage [0xa,0x1] not found
>> SAT pATA control mode subpage [0xa,0xf1] not found
>> Power condition - old version mode page [0xd] not found
>> XOR control (SBC) mode page [0x10] not found
>> Protocol specific logical unit mode page [0x18] not found
>> Protocol specific port mode page [0x19] not found
>> Power condition mode page [0x1a] not found
>> Informational exceptions control mode page [0x1c] not found
>> Background control (SBC) mode subpage [0x1c,0x1] not found

Hmmm ook geen bingo. Bah.


Zat zelf nog te denken aan het parsen van lsusb, en daar dan het device oppikken en het ID eruit trekken. Dat is een stuk complexer (je moet eea gaan parsen) en foutgevoeliger lijkt me. Bij /dev/sda kijken is wel lekker simpel .

Iemand nog een suggestie?

[magistus]

Misschien toch iets doen met de disk identifiers? Onderstaande de output van 2 willekeurige usb-sticks:

code:

mgs@lt:~$ sudo fdisk -l /dev/sdc

Disk /dev/sdc: 8089 MB, 8089763328 bytes
255 heads, 63 sectors/track, 983 cylinders, total 15800319 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0003bff6          <<<<<<<!!!!!!

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1              63    15791894     7895916    b  W95 FAT32
mgs@lt:~$ sudo fdisk -l /dev/sdd

Disk /dev/sdd: 8089 MB, 8089763328 bytes
249 heads, 62 sectors/track, 1023 cylinders, total 15800319 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x08040000          <<<<<<<!!!!!!

Mogelijk is deze tijdens of na de uitrol (met bijv. een expect-script aangetrapt vanuit puppet of mogelijk via ee een preseed/kickstart) via de expert modus te zetten?:

code:

mgs@lt:~$ sudo fdisk /dev/sdc

Command (m for help): m
Command action
   a   toggle a bootable flag
   b   edit bsd disklabel
   c   toggle the dos compatibility flag
   d   delete a partition
   l   list known partition types
   m   print this menu
   n   add a new partition
   o   create a new empty DOS partition table
   p   print the partition table
   q   quit without saving changes
   s   create a new empty Sun disklabel
   t   change a partition's system id
   u   change display/entry units
   v   verify the partition table
   w   write table to disk and exit
   x   extra functionality (experts only)

Command (m for help): x

Expert command (m for help): m
Command action
   b   move beginning of data in a partition
   c   change number of cylinders
   d   print the raw data in the partition table
   e   list extended partitions
   f   fix partition order
   g   create an IRIX (SGI) partition table
   h   change number of heads
   i   change the disk identifier          <<<<<<<!!!!!!
   m   print this menu
   p   print the partition table
   q   quit without saving changes
   r   return to main menu
   s   change number of sectors/track
   v   verify the partition table
   w   write table to disk and exit

Expert command (m for help):

Dus definieer een node in puppet en hang een specifieke identifier aan de hostname en zet deze tijdens de eerste run (start de uitrol met hostname=<hostname> in pxe-opdrachtregel)? Geen idee of het werkt en wat je er mee gaat slopen Zie trouwens ook http://www.johnkastler.ne...k-identifier-using-fdisk/. Je zou er ook voor kunnen opteren dat je de client uit een lijstje (vanaf een webserver bijv.) een vrije/zijn eigen identifier laat kiezen en deze laten terugmelden op de een of andere manier.

[Boudewijn]

Nou dat is op zich een mooie tactiek alleenzit je dan met een kip-en-ei issue.
De unieke hostname wordt juist gebruikt om bij Puppet aan te melden .

Het handmatig invoeren is niet echt een optie, de install is fully automated, en ik wil graag vantevoren de disks kunnen allowen op de puppet master, en dan is het belangrijk dat die hostnames dus goed vast liggen. (ik weet vantevoren welke disks we in huis hebben....).

Ik denk dat ik toch met lsusb wat ga bakken in een ruby scriptje ofzo.


Qua fdisk-diskidentifiers: het probleem is dat die door je MBR gegenereerd worden. Nieuwe install (met complete format) : nieuwe fdisk-diskidentifiers. Dat werkt dus helaas niet, kwam ik vrijdag ook pas achter .

[JaQ]

zoiets als scsi_id ? (ik vind ook een usb_id voor ubuntu )

[ Voor 45% gewijzigd door JaQ op 06-08-2012 13:47 ]

[terual]

Ik heb hier een USB stick op Bus 001 Device 007:

terual@terual:~$ lsusb -s 1:7
Bus 001 Device 007: ID 126f:1325 TwinMOS Mobile Disk

Is dit wat?

terual@terual:~$ sudo lsusb -s 1:7 -v | grep iSerial | awk '{ print $NF }'
FF0410180****

[Verwijderd]

Met crystaldiskinfo en tig andere tools kan ik -onder windows- het serienummer van de schijven bekijken. A la http://www.cyberciti.biz/...ide-harddisk-information/? (eerste google hit).

[ Voor 5% gewijzigd door Verwijderd op 06-08-2012 14:42 ]

[Boudewijn]

Ik ga inderdaad met lsusb aan de gang, maar wil wel even zeker weten dat ik de disk heb.
Zit dat atm dus nu te schrijven .

@darkstone: idd het zou niet moeilijk moeten zijn. sdparm en hdparm doen het dus niet altijd lekker bij USB hdd's (itt sticks en vaste schijven).
scsi_id is evt ook nog een optie, voor als lsusb faalt.

[BoAC]

Gebruik het volgende commando en je bent er denk ik:

code:

sudo smartctl -i /dev/sdb | grep "Serial Number"

Dit werkt natuurlijk niet bij usb-sticks

[ Voor 16% gewijzigd door BoAC op 06-08-2012 19:38 ]

[Boudewijn]

Die werkt inderdaad, maar is controller afhankelijk en je moet bij de -d optie dan de controller opgeven

usbcypress[,X], usbjmicron[,x][,N], usbsunplus,

Nu heb ik niet echt een beeld van of die jmicrons (de enige die ik hier heb liggen) de meest voorkomende controllers zijn. Nu heb ik disks hiermee, maar het zou best kunnen dat onze beheerders morgen een ander merk/model diskje aanschaffen.


Saillant detail, kan iemand mij deze verklaren?

 lsusb -v | grep iSeria | grep -v 000
can't get debug descriptor: Connection timed out
  iSerial                 0 
  iSerial                 0 
  iSerial                 0 
  iSerial                 5 C346282AA46F

 smartctl -i /dev/sda -d usbjmicron
smartctl 5.40 2010-07-12 r3124 [x86_64-unknown-linux-gnu] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Device Model:     SAMSUNG HM321HX
Serial Number:    C3462G82AA46OO
Firmware Version: 2AJ10001
User Capacity:    320,072,933,376 bytes
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   8
ATA Standard is:  ATA-8-ACS revision 6
Local Time is:    Tue Aug  7 13:01:23 2012 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled
Serienummers lijken sterk op elkaar maar zijn net anders. Apart....

[BoAC]

Vreemd, ik heb het getest met een harddisk die via een USB case aan mijn machine verbonden was zonder die -d parameter, daarbij een scsi device is toch uniek dus waarom het device meegeven?

[Boudewijn]

Nou ja hij doet het hier (debian stable) dus niet:

root@ehbi-0x00095d11:~# smartctl -i /dev/sda 
smartctl 5.40 2010-07-12 r3124 [x86_64-unknown-linux-gnu] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

/dev/sda: Unknown USB bridge [0x07ab:0xfc88 (0x101)]
Smartctl: please specify device type with the -d option.

Use smartctl -h to get a usage summary

root@ehbi-0x00095d11:~# 

[Tim]

En simpelweg via /dev ?

find /dev/disk/by-id -lname *sda | sort | head -n1

[ Voor 30% gewijzigd door Tim op 07-08-2012 17:19 ]

[H!GHGuY]

Boudewijn schreef op dinsdag 07 augustus 2012 @ 13:42:
Die werkt inderdaad, maar is controller afhankelijk en je moet bij de -d optie dan de controller opgeven

usbcypress[,X], usbjmicron[,x][,N], usbsunplus,

Nu heb ik niet echt een beeld van of die jmicrons (de enige die ik hier heb liggen) de meest voorkomende controllers zijn. Nu heb ik disks hiermee, maar het zou best kunnen dat onze beheerders morgen een ander merk/model diskje aanschaffen.

code:

TEST_TYPE=$(smartctl -d test)
case $TEST_TYPE in
  xxx)
    USE_TYPE="-d usbjmicron";;
  yyy|zzz)
    USE_TYPE="";;
  *)
     echo "Error unknown type"
     exit 1
esac

smartctl $USE_TYPE /dev/sda | ...

Er zijn niet zo'n groot aantal verschillende controllers mogelijk (de man page van smartctl lijst er maar een 8-tal op) en van de rest kan je maar hopen dat die het, met de versie van smartctl die je hebt, goed doen.

[Kappie]

Je kan toch ook het MAC-adres van de ethernet-/Wifikaart als unieke id gaan gebruiken?

[BoAC]

Kappie schreef op dinsdag 14 augustus 2012 @ 10:43:
Je kan toch ook het MAC-adres van de ethernet-/Wifikaart als unieke id gaan gebruiken?

Als ik het goed begrijp worden de disks op 1 en dezelfde machine aangemaakt. Een MAC-adres is dan nog niet bekend. Wel zou bij de eerste boot de unieke identificatie vast gelegd kunnen worden. Maar dat is misschien een aanpassing van de inrol-procedure.. :-)

[Boudewijn]

Inderdaad, en ik heb de keuze moeten maken om dan al up to date te zijn. De eerste boot gebeurt dus nog op de inspoelmachine.

Uiteindelijk is het een smartmontools-truc geworden in een script, en als dat niet werkt ga ik de usb-device tree uitlezen .
Zal eens kijken of ik het script hier mag delen .

Bedankt voor het meedenken!

[Thc_Nbl]

zet dit in /etc/udev/rules.d


# Start at sdb to avoid system harddrive.
KERNEL!="sd[b-z][0-9]", GOTO="media_by_label_auto_mount_end"

# Import FS infos
IMPORT{program}="/sbin/blkid -o udev -p %N"

# Get a label if present, otherwise specify one
ENV{ID_FS_LABEL}!="", ENV{dir_name}="%E{ID_FS_LABEL}"
ENV{ID_FS_LABEL}=="", ENV{dir_name}="usbhd-%k"

# Global mount options
ACTION=="add", ENV{mount_options}="relatime"
# Filesystem-specific mount options
ACTION=="add", ENV{ID_FS_TYPE}=="vfat|ntfs", ENV{mount_options}="$env{mount_options},utf8,gid=100,umask=002"

# Mount the device
ACTION=="add", RUN+="/bin/mkdir -p /media/%E{dir_name}", RUN+="/bin/mount -o $env{mount_options} /dev/%k /media/%E{dir_name}"

# Clean up after removal
ACTION=="remove", ENV{dir_name}!="", RUN+="/bin/umount -l /media/%E{dir_name}", RUN+="/bin/rmdir /media/%E{dir_name}"

# Exit
LABEL="media_by_label_auto_mount_end"

[Thc_Nbl]

en wat wel handig is,

met blkid krijg het het unike id van de schijf, dit is gebaseerd op de format.
Als je dus opnieuw formateerd krijg je een nieuwe UUID.

[Boudewijn]

Inderdaad, en dat wil ik dus niet .

Qua udev: zou dat al in de installatie-fase (dus tijdens de run van je installer!) van debian werken? Ik betwijfel het eerlijk gezegd.

[Rainmaker]

Late reactie, maar ik doe ook even een poging. Ik krijg met hdparm -I, dus; capital I netjes een WWN terug. Iedere disk die ik de afgelopen paar jaar gezien heb, had netjes een WWN, die precies gemaakt is om uniek te zijn:

code:

root@mylaptop:~# hdparm -I /dev/sda | grep WWN
Logical Unit WWN Device Identifier: 5000c50038a2015b
root@mylaptop:~# lsscsi --wwn
[0:0:0:0]    disk    0x5000c50038a2015b              /dev/sda 
[1:0:0:0]    cd/dvd                                  /dev/sr0

Ander uniek ding, wat ik regelmatig gebruikt heb bij dit soort situaties is het serienummer van het systeem. Haal je op met dmidecode:

code:

root@mylaptop:~# dmidecode -t System | grep Serial
    Serial Number: C9A03U1

En het kan nog unieker:

code:

root@mylaptop:~# dmidecode -t Baseboard | grep Serial
    Serial Number: /C9A03U1/CN1292839BJ7563/

offtopic:
Ook al zie ik de waarde niet van een Dell servicetag, om te voorkomen dat iedereen weet wat voor hardware ik heb en voor welk bedrijf ik werk, zijn de cijfertjes aangepast.

[Boudewijn]

Rainmaker schreef op zondag 19 augustus 2012 @ 02:48:
Late reactie, maar ik doe ook even een poging. Ik krijg met hdparm -I, dus; capital I netjes een WWN terug. Iedere disk die ik de afgelopen paar jaar gezien heb, had netjes een WWN, die precies gemaakt is om uniek te zijn:

code:

root@mylaptop:~# hdparm -I /dev/sda | grep WWN
Logical Unit WWN Device Identifier: 5000c50038a2015b
root@mylaptop:~# lsscsi --wwn
[0:0:0:0]    disk    0x5000c50038a2015b              /dev/sda 
[1:0:0:0]    cd/dvd                                  /dev/sr0

Die gaan we wel nog even aanpakken, maar werkt hdparm ook met usb disks/sticks (retorische vraag)? Morgen ff testen.

Ander uniek ding, wat ik regelmatig gebruikt heb bij dit soort situaties is het serienummer van het systeem. Haal je op met dmidecode:

code:

root@mylaptop:~# dmidecode -t System | grep Serial
    Serial Number: C9A03U1

En het kan nog unieker:

code:

root@mylaptop:~# dmidecode -t Baseboard | grep Serial
    Serial Number: /C9A03U1/CN1292839BJ7563/

offtopic:
Ook al zie ik de waarde niet van een Dell servicetag, om te voorkomen dat iedereen weet wat voor hardware ik heb en voor welk bedrijf ik werk, zijn de cijfertjes aangepast.

Gaat niet werken, zelfde systeem voo inspoelen . Alleen de disk wisselt.

[terror538]

Kan je niet gewoon on-boot op basis van het mac adres een unieke identifier maken?

[Boudewijn]

Lees aub de topicstart even: het is telkens dezelfde pc. Dus nee geen verschillend MAC adres.

[terror538]

Boudewijn schreef op woensdag 22 augustus 2012 @ 15:32:
Lees aub de topicstart even: het is telkens dezelfde pc. Dus nee geen verschillend MAC adres.

Ik bedoel dus een RC script wat iedere keer draait bij het booten, de eerste keer zal dus altijd hetzelfde zijn (word immers geladen op zelfde PC) maar zodra de schijf dan gaat naar de machine waar die moet eindigen wordt een nieuw ID gecreëerd.

[Boudewijn]

Ja maar dat wil ik niet; als de disk ingezet wordt in 'een andere pc dan de inspoelmachine' moet deze direct beschikbaar zijn. Dan ben je dus te laat als je nog moet gaan puppetten.

[Boudewijn]

Rainmaker schreef op zondag 19 augustus 2012 @ 02:48:
Late reactie, maar ik doe ook even een poging. Ik krijg met hdparm -I, dus; capital I netjes een WWN terug. Iedere disk die ik de afgelopen paar jaar gezien heb, had netjes een WWN, die precies gemaakt is om uniek te zijn:

code:

root@mylaptop:~# hdparm -I /dev/sda | grep WWN
Logical Unit WWN Device Identifier: 5000c50038a2015b
root@mylaptop:~# lsscsi --wwn
[0:0:0:0]    disk    0x5000c50038a2015b              /dev/sda 
[1:0:0:0]    cd/dvd                                  /dev/sr0

Mja dat werkt dan weer niet voor USB sticks...

code:

# hdparm -I /dev/sda | grep WWN
Logical Unit WWN Device Identifier: 5000c5003fce3dd0
# hdparm -I /dev/sdb | grep WWN
SG_IO: bad/missing sense data, sb[]:  70 00 05 00 00 00 00 0a 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
# fdisk -l
Disk /dev/sdb: 15.9 GB, 15879634944 bytes
64 heads, 32 sectors/track, 15144 cylinders, total 31014912 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000984c8

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1   *          32    31014911    15507440    c  W95 FAT32 (LBA)

Ander uniek ding, wat ik regelmatig gebruikt heb bij dit soort situaties is het serienummer van het systeem. Haal je op met dmidecode:

code:

root@mylaptop:~# dmidecode -t System | grep Serial
    Serial Number: C9A03U1

En het kan nog unieker:

code:

root@mylaptop:~# dmidecode -t Baseboard | grep Serial
    Serial Number: /C9A03U1/CN1292839BJ7563/

offtopic:
Ook al zie ik de waarde niet van een Dell servicetag, om te voorkomen dat iedereen weet wat voor hardware ik heb en voor welk bedrijf ik werk, zijn de cijfertjes aangepast.

Leuk plan maar ook daar heb ik geen disk-id maar een mobo id. Wat dus niet uniek is omdat ik alles inspoel met dezelfde bak.

[Thc_Nbl]

Hai,

Ik kwam deze site nog tegen, misschien staat hier nog wat tussen wat je kan gebruiken.

http://linuxconfig.org/how-to-retrieve-and-change-partitions-universally-unique-identifier-uuid-on-linux

Maar ik begrijp niet helemaal wat nu precies je probleem is, ik heb het hele verhaal nog eens gelezen maar ik begrijp je niet meer...

[Boudewijn]

Nou ik maak disks aan via pxeboot en puppet, met de volgende eisen:

- De hele installatie moet van alle disks op dezelfde pc kunnen.
- De disks draaien daarna in een ander systeem.
- De disks moeten uniek identificeerbaar zijn
- Bij voorkeur na een harde wipe hetzelfde ID.
- De IDs moeten vantevoren bekend kunnen zijn zodat ze aangemeld kunnen worden bij Puppet.


Maar goed, zoals ik al eerder hier meldde: ik heb zelf al wat gebrouwen ,.

[ Voor 18% gewijzigd door Boudewijn op 24-08-2012 12:53 ]