Proxmox mount LVM

[Jay-Connected]

Goededag,

Ik ben altijd heel erg huiverig om iets te posten op Tweakers.. Enerzijds omdat je eigenlijk alles op Google kunt vinden, en anderzijds omdat vaak de oplossing zo simpel is dat je je eigenlijk moet schamen.

Ik denk dat ik nu iets heb waarvoor ik mij niet hoef te schamen, en zodoende toch maar een topic open op Tweakers.

Nou.. here goes nothing:

Ik had een proxmox hypervisor die op een SD kaart stond.
De SD kaart is om een noodlottige reden overleden, en daarom moest ik dus een nieuwe installatie doen.

De nieuwe installatie is gedaan, echter zijn natuurlijk al mijn virtuele machines én LVM's niet meer gemount.

via lvdispay krijg ik dit antwoord:

code:

--- Logical volume ---
  LV Path                /dev/storage3/vm-102-disk-0
  LV Name                vm-102-disk-0
  VG Name                storage3
  LV UUID                ME521T-UbnM-gsmE-geLD-mGhe-ztZ8-NNz8fO
  LV Write Access        read/write
  LV Creation host, time pve, 2022-05-08 08:30:34 +0200
  LV Status              available
  # open                 0
  LV Size                40.00 GiB
  Current LE             10240
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     7168
  Block device           253:4
   
  --- Logical volume ---
  LV Path                /dev/storage3/vm-104-disk-0
  LV Name                vm-104-disk-0
  VG Name                storage3
  LV UUID                kbrN2H-cM30-G4YU-l0Le-MCjj-MFON-VM7loJ
  LV Write Access        read/write
  LV Creation host, time pve, 2022-05-08 08:47:43 +0200
  LV Status              available
  # open                 0
  LV Size                100.00 GiB
  Current LE             25600
  Segments               3
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     7168
  Block device           253:5
   
  --- Logical volume ---
  LV Path                /dev/storage3/vm-104-disk-1
  LV Name                vm-104-disk-1
  VG Name                storage3
  LV UUID                moEjpQ-WcYk-jaDG-dPlv-D5RE-mhjM-i2vC5A
  LV Write Access        read/write
  LV Creation host, time pve, 2022-05-09 18:55:43 +0200
  LV Status              available
  # open                 0
  LV Size                100.00 GiB
  Current LE             25600
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     7168
  Block device           253:7
   
  --- Logical volume ---
  LV Path                /dev/storage3/vm-100-disk-0
  LV Name                vm-100-disk-0
  VG Name                storage3
  LV UUID                0iwt1g-UJMH-A5M6-er3r-Ri1w-kLJg-4VV69k
  LV Write Access        read/write
  LV Creation host, time pve, 2022-05-15 13:13:00 +0200
  LV Status              available
  # open                 0
  LV Size                4.00 TiB
  Current LE             1048576
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     7168
  Block device           253:8
   
  --- Logical volume ---
  LV Path                /dev/storage2/vm-100-disk-0
  LV Name                vm-100-disk-0
  VG Name                storage2
  LV UUID                KJGfC0-IwlY-fovx-AWRZ-heAo-tXqn-6WlxZo
  LV Write Access        read/write
  LV Creation host, time pve, 2022-04-25 13:13:21 +0200
  LV Status              available
  # open                 4
  LV Size                10.00 TiB
  Current LE             2621440
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     7168
  Block device           253:6
   
  --- Logical volume ---
  LV Path                /dev/storage2/vm-103-disk-0
  LV Name                vm-103-disk-0
  VG Name                storage2
  LV UUID                XT5Ddv-8Gdy-5vD7-2NyY-6vxF-ykPb-0XAjqT
  LV Write Access        read/write
  LV Creation host, time pve, 2022-04-30 14:04:12 +0200
  LV Status              available
  # open                 0
  LV Size                32.00 GiB
  Current LE             8192
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     7168
  Block device           253:9
   
  --- Logical volume ---
  LV Path                /dev/storage2/vm-151-disk-0
  LV Name                vm-151-disk-0
  VG Name                storage2
  LV UUID                hn4wol-x9Qz-OmHH-gYPQ-yCH2-MuQN-3bZnRp
  LV Write Access        read/write
  LV Creation host, time pve, 2022-08-29 11:44:21 +0200
  LV Status              available
  # open                 0
  LV Size                40.00 GiB
  Current LE             10240
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     7168
  Block device           253:10
   
  --- Logical volume ---
  LV Path                /dev/pve/swap
  LV Name                swap
  VG Name                pve
  LV UUID                3M7Hff-LNV0-7wTS-Ych8-60U1-AT7e-hsCa53
  LV Write Access        read/write
  LV Creation host, time proxmox, 2023-01-14 13:19:35 +0100
  LV Status              available
  # open                 2
  LV Size                8.00 GiB
  Current LE             2048
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0
   
  --- Logical volume ---
  LV Path                /dev/pve/root
  LV Name                root
  VG Name                pve
  LV UUID                zLtEvx-lI3q-qTkC-TnQE-mo90-jMjs-eJKFpj
  LV Write Access        read/write
  LV Creation host, time proxmox, 2023-01-14 13:19:35 +0100
  LV Status              available
  # open                 1
  LV Size                96.00 GiB
  Current LE             24576
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:1
   
  --- Logical volume ---
  LV Name                data
  VG Name                pve
  LV UUID                Af9r0W-cAHE-cTgO-ZVIf-sIqF-EHlM-YnfRl1
  LV Write Access        read/write (activated read only)
  LV Creation host, time proxmox, 2023-01-14 13:19:49 +0100
  LV Pool metadata       data_tmeta
  LV Pool data           data_tdata
  LV Status              available
  # open                 0
  LV Size                2.76 TiB
  Allocated pool data    0.03%
  Allocated metadata     0.18%
  Current LE             724049
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:12
   
  --- Logical volume ---
  LV Path                /dev/pve/vm-100-disk-0
  LV Name                vm-100-disk-0
  VG Name                pve
  LV UUID                nu0hoU-kqYw-eWMf-A1Gu-HdPI-khzz-ylkrF0
  LV Write Access        read/write
  LV Creation host, time serv, 2023-01-14 18:52:49 +0100
  LV Pool name           data
  LV Status         
     available
  # open                 1
  LV Size                8.00 GiB
  Mapped size            11.39%
  Current LE             2048
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:13

Nou weet ik wel hoe je een normaal mount point moet maken en dat dan bijvoorbeeld in fstab zet, máár met Proxmox is dat heel anders.

Mijn concrete vragen:

1. Hoe krijg ik de VM's weer in het overzicht bij Proxmox
2. Hoe mount ik uiteindelijk de hele LVM én wat is de juiste locatie zodat Proxmox niet over de zuiger gaat

Overigens, voor het gezeik begint; ik heb niet nog een keer Proxmox geinstalleerd op een SD-kaartje máár gewoon deftig op een SSD'tje

Ik hoop dat jullie mij kunnen helpen.
Kuddos, eeuwige roem, en weet ik wat allemaal voor de oplossing!

[deHakkelaar]

Werkt Proxmox niet met config bestandjes voor de VM's?
Anders is het gewoon een config bestandje aanmaken met de juiste LV's erin en opstarten ... vermoed ik.
Voor m'n Xen hypervisor bv:

root@xen01:~# lvdisplay
[..]
  --- Logical volume ---
  LV Path                /dev/vg0/gam01.dehakkelaar.nl-swap
  LV Name                gam01.dehakkelaar.nl-swap
  VG Name                vg0
[..]
--- Logical volume ---
  LV Path                /dev/vg0/gam01.dehakkelaar.nl-root
  LV Name                gam01.dehakkelaar.nl-root
  VG Name                vg0
[..]
  --- Logical volume ---
  LV Path                /dev/vg0/gam01.dehakkelaar.nl-home
  LV Name                gam01.dehakkelaar.nl-home
  VG Name                vg0
[..]

root@xen01:~# cat /etc/xen/gam01.dehakkelaar.nl.cfg
[..]
vcpus       = '4'
cpus        = '1-7'
memory      = '4096'

#
#  Disk device(s).
#
root        = '/dev/xvda2 ro'
disk        = [
                  'phy:/dev/vg0/gam01.dehakkelaar.nl-root,xvda2,w',
                  'phy:/dev/vg0/gam01.dehakkelaar.nl-home,xvda3,w',
                  'phy:/dev/vg0/gam01.dehakkelaar.nl-swap,xvda1,w',
              ]
[..]

Als draait bij mij:

root@xen01:~# xm list -l gam01.dehakkelaar.nl
[..]
    (device
        (vbd
            (protocol x86_64-abi)
            (uuid XXXX)
            (bootable 1)
            (dev xvda2:disk)
            (uname phy:/dev/vg0/gam01.dehakkelaar.nl-root)
            (mode w)
            (backend 0)
            (VDI '')
        )
    )
    (device
        (vbd
            (protocol x86_64-abi)
            (uuid XXXX)
            (bootable 0)
            (dev xvda3:disk)
            (uname phy:/dev/vg0/gam01.dehakkelaar.nl-home)
            (mode w)
            (backend 0)
            (VDI '')
        )
    )
    (device
        (vbd
            (protocol x86_64-abi)
            (uuid XXXX)
            (bootable 0)
            (dev xvda1:disk)
            (uname phy:/dev/vg0/gam01.dehakkelaar.nl-swap)
            (mode w)
            (backend 0)
            (VDI '')
        )
    )
)

EDIT: Ik zou voorstellen maak een kleine test VM aan, kijk ofdat er ergens een config bestandje op popt en gebruik de syntax daarin als voorbeeld voor je eigen config bestandje met de juiste LV's.
Of RTFM

[Voor 33% gewijzigd door deHakkelaar op 17-01-2023 13:41. Reden: typo]

[Jay-Connected]

deHakkelaar schreef op maandag 16 januari 2023 @ 13:26:
Werkt Proxmox niet met config bestandjes voor de VM's?
Anders is het gewoon een config bestandje aanmaken met de juiste LV's erin en opstarten ... vermoed ik.
Voor m'n Xen hypervisor bv:

root@xen01:~# lvdisplay
[..]
  --- Logical volume ---
  LV Path                /dev/vg0/gam01.dehakkelaar.nl-swap
  LV Name                gam01.dehakkelaar.nl-swap
  VG Name                vg0
[..]
--- Logical volume ---
  LV Path                /dev/vg0/gam01.dehakkelaar.nl-root
  LV Name                gam01.dehakkelaar.nl-root
  VG Name                vg0
[..]
  --- Logical volume ---
  LV Path                /dev/vg0/gam01.dehakkelaar.nl-home
  LV Name                gam01.dehakkelaar.nl-home
  VG Name                vg0
[..]

root@xen01:~# cat /etc/xen/gam01.dehakkelaar.nl.cfg
[..]
vcpus       = '4'
cpus        = '1-7'
memory      = '4096'

#
#  Disk device(s).
#
root        = '/dev/xvda2 ro'
disk        = [
                  'phy:/dev/vg0/gam01.dehakkelaar.nl-root,xvda2,w',
                  'phy:/dev/vg0/gam01.dehakkelaar.nl-home,xvda3,w',
                  'phy:/dev/vg0/gam01.dehakkelaar.nl-swap,xvda1,w',
              ]
[..]

EDIT: Ik zou voorstellen maak een kleine test VM aan, kijk ofdat er ergens een config bestandje op popt en gebruik de sysntax daarin als voorbeeld voor je eigen config bestandje met de juiste LV's.
Of RTFM

Mjah.. de manual geeft niet echt een oplossing.
Ik kan geen LVM aanmaken om te kijken wat er dan gebeurd..
Gezien ik niet nog een disk pair over heb ofzo.

[deHakkelaar]

Jay-Connected schreef op maandag 16 januari 2023 @ 14:05:
Ik kan geen LVM aanmaken om te kijken wat er dan gebeurd..
Gezien ik niet nog een disk pair over heb ofzo.

Waarom niet?
Istie vol ofzo?

code:

vgdisplay

Prik anders een andere oplsag erbij (USB stick/drive etc);
creeer daar een VG (vgcreate);
en start creeer een test VM aldaar om te zien hoe zo'n config bestandje eruit ziet.
Meer details hier gevonden:
https://pve.proxmox.com/wiki/Manual:_qm.conf

Zo te zien dus in de /etc/pve/qemu-server/ folder maar zeker weten doe ik niet.

EDIT: Of wacht ff totdat iemand met meer Proxmox foo je een config voorbeeltje kan geven.

[Voor 9% gewijzigd door deHakkelaar op 16-01-2023 14:32]

[deHakkelaar]

@Jay-Connected , ik heb nog zwaar lopen wijzigen en toevoegen dus lees laatste berichtje nog maar een keer voor zekerheid!
Geloof dat klaar ben

[Jay-Connected]

@deHakkelaaroke, ik ga dit proberen.. Ik heb geen enkel idee wat de settings waren van al die VM's..
en de VM's zitten ook nog ergens opgeslagen in "storage2" en "storage3".
Ik zoek dus ook een manier om de oude vm's gewoon terug te vinden..

Echt heel kut dat die SD kaart kapot is, en nog stommer dat ik (uiteraard) geen backup heb van alles.. Want ja.. echte IT'ers maken geen backups.

[deHakkelaar]

Backups van een hypervisor prive doe ik ook niet aan.
Ik heb alles goed gedocumenteerd inclusief de config bestanden.
Dus neemt het opnieuw opzetten van de VMM niet zoveel tijd in beslag als deze onverwachts sterft.
Belangrijke data van de guests/unprivileged domains/VM's worden wel gebackupped en de VG's staan op een RAID6 array.

[Jay-Connected]

Even ervan uitgaande dat ik bovenstaande aan de praat krijg, heb ik dan nog een volgende issue:

De storage-pools hebben denk ik ook een configfile, zodat je in de webclient eenvoudig nieuwe vm's/containers kan aanmaken.. Die zijn nu dus ook allemaal weg

[deHakkelaar]

Ja ik denk ook dat het niet zo simpel is als dat ik laat voorkomen.
Je gebruikt neem ik aan een soort Proxmox GUI om ea te managen?
Dan zijn er niet alleen de config bestanden van de guests om rekening mee te houden maar ook die van idd storage pools etc.
Maar dit zullen vermoedelijk ook weer config bestandjes zijn die aan te passen zijn of opnieuw te creeeren.
Denk dat je beter even kunt wachten op iemand met meer Proxmox foo.

Ik draai namelijk geen GUI en maak de VG's en LV's zelf aan met het handje in de shell en prop deze zelf in VM config bestandjes etc.

[Jay-Connected]

ik ben al wel heel blij met je input.. ga iig nu even een vm opzetten en dan de configs ontleden.. Dan kan ik tenminste weer bij de data..

[brambo123]

Geen ervaring met LVM, wel met Proxmox.
Proxmox moet wel weten welke storage gebruikt mag worden, dus wellicht moet die gewoon even gekoppeld.
Komt je storage wel in dit overzicht terecht: ?

[Jay-Connected]

zeker..

Je kunt alleen niet echt iets mounten hier.

[Jay-Connected]

[brambo123]

Disk hoef je sowieso niet te mounten.
Proxmox moet alleen even weten welke VG gebruikt mag worden.
Moet waarschijnlijk even handmatig toegevoegd worden.
Waarschijnlijk moet je dit toevoegen aan /etc/pve/storage.cfg:

code:

lvm: storage2
    vgname storage2
    content images
    
lvm: storage3
    vgname storage3
    content images

[Jay-Connected]

brambo123 schreef op maandag 16 januari 2023 @ 15:23:
Disk hoef je sowieso niet te mounten.
Proxmox moet alleen even weten welke VG gebruikt mag worden.
Moet waarschijnlijk even handmatig toegevoegd worden.
Waarschijnlijk moet je dit toevoegen aan /etc/pve/storage.cfg:

code:

lvm: storage2
    vgname storage2
    content images
    
lvm: storage3
    vgname storage3
    content images

gedaan! nu heb ik storage2 terug, storage3 heeft nog een moeite

[deHakkelaar]

Jay-Connected schreef op maandag 16 januari 2023 @ 15:05:
Dan kan ik tenminste weer bij de data..

Een LV kun je gewoon mounten hoor voor inspectie (EDIT: doorgaans).
Bv over de /mnt folder mounten met:

code:

mount /dev/storage3/vm-102-disk-0 /mnt

Wel eerst controleren ofdat er niet al wat anders is gemount op /mnt met het findmnt commando!

Misschien dat het FS type niet meteen herkend wordt maar die kun je ook meegeven met het -t argument (zie: man mount).

Niet vergeten te unmounten als je klaar bent met:

code:

umount /mnt

[Voor 198% gewijzigd door deHakkelaar op 16-01-2023 15:37]

[brambo123]

Misschien extra enter tussen de 2 lvm's ?
Of misschien even storage3 weer weg, even herstarten, dan storage3 er weer in zetten.

deHakkelaar schreef op maandag 16 januari 2023 @ 15:29:
[...]

Een LV kun je gewoon mounten hoor voor inspectie.
Bv over de /mnt folder mounten met:

code:

mount /dev/storage3/vm-102-disk-0 /mnt

Misschien dat het FS type niet meteen herkend wordt maar die kun je ook meegeven met het -t argument (zie: man mount).

Niet vergeten te unmounten als je klaar bent met:

code:

umount /mnt

Inspecteren wat er allemaal gemount is met:

code:

findmnt

VG moet in Proxmox, dat is het belangrijkste, LV is voor later zorg.

[Jay-Connected]

nou.. even opnieuw starten.. (duurt zes duizend jaar... )
tot zo met de update!

[brambo123]

Alle vm's moeten sowieso even handmatig opnieuw aangemaakt worden aangezien de configuratie weg is.
Volgens mij kun je bij aanmaken niet aangeven dat je bestaande image wil gebruiken.
Wat ik dan doe is gewoon VM maken, met 0.001 GiB schijf in andere storage pool.
Dan komt er een configuratie bestand bij in /etc/pve/qemu-server/, bijvoorbeeld 102.conf
Die kun je dan handmatig even aanpassen.
Zal ergens iets van "scsi0: local-kvm:vm-102-disk-0,cache=....." zijn, dat pas je dan even aan naar "scsi0: storage3:vm-102-disk-0,cache=....."
Als er iets staat van ,size=1MB dan dat even weghalen, is namelijk niet nodig.

[Jay-Connected]

er is leven in de tent
nu kijken of ik nog ergens de settings van de oude VM terug vinden
inderdaad even wat nieuwe vm's aanmaken en stoeien maar.

[Voor 6% gewijzigd door Jay-Connected op 16-01-2023 15:49]

[Jay-Connected]

Jemig.. ik ben van radeloos naar hoopvol in 24 uur tijd

Wat relaxed!

Ik ga naar huis rijden, en snel door met de configs, zodat ik hier goed nieuws kan posten!

[Jay-Connected]

@brambo123 @deHakkelaar
Alles is weer online!
Beide; echt super bedankt!!

Waarschijnlijk had ik dit zoals ik schreef vast wel ergens kunnen vinden, maar als je niet weet waar je naar zoekt, kan dat echt héél erg vervelend zijn

[deHakkelaar]

Nu je weet hoe het moet, kun je gemakkelijk je LV's ook naar andere hypervisors migreren.
Als ze LVM ondersteunen.

[Jay-Connected]

deHakkelaar schreef op dinsdag 17 januari 2023 @ 15:24:
Nu je weet hoe het moet, kun je gemakkelijk je LV's ook naar andere hypervisors migreren.
Als ze LVM ondersteunen.

Ja dat is ook zo