Ganeti op ubuntu aan de praat krijgen

[Boudewijn]

Hoihoi


Ik heb wat problemen met het aan de praat krijgen van Ganeti, dit topic helpt hopelijk wat mensen om me even op de goede weg te krijgen. Het is een vrij uitgebreide post waarin ik vrij laat tot de probleemstelling kom, maar het voortraject lijkt me sowieso voor de vraag nuttige data maar zeker ook voor het nageslacht .


Situatie:

- intel i3, 8gb mem, ubuntu 12.04.
- aan de hand van deze post http://theengguy.blogspot...rking-in-ubuntu-1204.html heb ik GnuTLS vervangen.
- bridge hangt aan br0
- Geen Xen maar KVM
- (Nog) geen drdb enzo
- (Nog maar) een single node cluster


Waarom Ganeti? Ik wil graag toegang tot VMs kunnen delegeren aan 'fictieve' gebruikers (dit is mijn speelomgeving dus ik speel voor gebruikers ). Dit kan met virt-manager niet; dat is niet webbased en doet ook niet aan rechten op VM-niveau.
Alternatieven zijn oVirt en eucalyptus.


Hiermee heb ik mijn cluster aangemaakt:

code:

 gnt-cluster init --no-lvm-storage  --nic-parameters link=br0 --master-netdev br0 --enabled-hypervisors=kvm leiden-cluster.XXX.nl

Die hostname heb ik gekozen op een adres (192.168.1.50) dat ik gealiasd heb aan eth0, en dat ik nooit verder gebruik...

gnt-cluster info werkt prima:

code:

root@leiden:~# gnt-cluster info
Cluster name: leiden-cluster.XXX.nl
Cluster UUID: XXX
Creation time: 2012-09-14 19:50:13
Modification time: 2012-09-14 19:50:13
Master node: leiden.XXX.nl
Architecture (this node): 64bit (x86_64)
Tags: (none)
Default hypervisor: kvm
Enabled hypervisors: kvm
Hypervisor parameters:
  - kvm:
      acpi: True
      boot_order: disk
      cdrom2_image_path: 
      cdrom_disk_type: 
      cdrom_image_path: 
      disk_cache: default
      disk_type: paravirtual
      floppy_image_path: 
      initrd_path: 
      kernel_args: ro
      kernel_path: /boot/vmlinuz-2.6-kvmU
      kvm_flag: 
      mem_path: 
      migration_bandwidth: 32
      migration_downtime: 30
      migration_mode: live
      migration_port: 8102
      nic_type: paravirtual
      root_path: /dev/vda1
      security_domain: 
      security_model: none
      serial_console: True
      usb_mouse: 
      use_chroot: False
      use_localtime: False
      vhost_net: False
      vnc_bind_address: 
      vnc_password_file: 
      vnc_tls: False
      vnc_x509_path: 
      vnc_x509_verify: False
OS-specific hypervisor parameters:
OS parameters:
Hidden OSes: 
Blacklisted OSes: 
Cluster parameters:
  - candidate pool size: 10
  - master netdev: br0
  - lvm volume group: None
  - lvm reserved volumes: (none)
  - drbd usermode helper: /bin/true
  - file storage path: /srv/ganeti/file-storage
  - maintenance of node health: False
  - uid pool: 
  - default instance allocator: 
  - primary ip version: 4
  - preallocation wipe disks: False
  - OS search path: /srv/ganeti/os, /usr/local/lib/ganeti/os, /usr/lib/ganeti/os, /usr/share/ganeti/os
Default node parameters:
    oob_program: None
Default instance parameters:
  - default:
      auto_balance: True
      memory: 128
      vcpus: 1
Default nic parameters:
  - default:
      link: br0
      mode: bridged

De domeinnamen en een UID heb ik eruit geknipt, die zien er verder gewoon prima uit .

Nu zie ik ook netjes bij gnt-node list wat data:

code:

root@leiden:~# gnt-node list
Node                     DTotal DFree MTotal MNode MFree Pinst Sinst
leiden.XXX.nl      -     -   7.7G  3.1G  6.7G     0     0

In de verificatie van mijn clustertje loopt eea nog niet lekker:

code:

root@leiden:~# gnt-cluster verify
Sun Sep 16 14:19:03 2012 * Verifying global settings
Sun Sep 16 14:19:03 2012 * Gathering data (1 nodes)
Sun Sep 16 14:19:03 2012 * Gathering disk information (1 nodes)
Sun Sep 16 14:19:03 2012 * Verifying node status
Sun Sep 16 14:19:03 2012   - ERROR: node leiden.XXX.nl: hypervisor kvm parameter verify failure (source cluster): Parameter 'kernel_path' fails validation: not found or not a file (current value: '/boot/vmlinuz-2.6-kvmU')
Sun Sep 16 14:19:03 2012 * Verifying instance status
Sun Sep 16 14:19:03 2012 * Verifying orphan volumes
Sun Sep 16 14:19:03 2012 * Verifying orphan instances
Sun Sep 16 14:19:03 2012 * Verifying N+1 Memory redundancy
Sun Sep 16 14:19:03 2012 * Other Notes
Sun Sep 16 14:19:03 2012 * Hooks Results
root@leiden:~#

Dat is te fixen met:

code:

gnt-cluster modify -H kvm:kernel_path=/boot/vmlinuz-3.2.0-30-generic

Wel grappig dat een aantal van de hier (http://www.nico.schotteli...ual-machines-a-real-pain/) genoemde problemen mij ook wel bekend voorkomt .


Mooi zo, nu kunnen we een webinterface erop knallen en VMs aan gaan maken, zou je dan denken.

Vervolgens heb ik een rapi user aangemaakt en ganeti_webmgr aangemaakt en gestart.
Daarna in /etc/hosts een testvm.XXX.tld aangemaakt op 192.168.1.51... en ganeti_webmgr geopend en getracht hier een host voor aan te maken... dat gaan bijna goed:

code:

Instance Create
Could not add os for instance testvm.XXX.nl on node leiden.XXX.nl: OS create script failed (exited with exit code 1), last lines in the log file:

sfdisk: ERROR: sector 0 does not have an msdos signature
 /dev/loop0: unrecognized partition table type
Old situation:
No partitions found
New situation:
Units = cylinders of 8225280 bytes, blocks of 1024 bytes, counting from 0

   Device Boot Start     End   #cyls    #blocks   Id  System
/dev/loop0p1   *      0+   1043    1044-   8385929+  83  Linux
/dev/loop0p2          0       -       0          0    0  Empty
/dev/loop0p3          0       -       0          0    0  Empty
/dev/loop0p4          0       -       0          0    0  Empty
Successfully wrote the new partition table

Re-reading the partition table ...
BLKRRPART: Invalid argument

I: Retrieving Release
E: Failed getting release file http://ftp.us.debian.org/debian/dists/lenny/Release
* creating instance disks...
adding instance testvm.XXX.nl to cluster config
 - INFO: Waiting for instance testvm.XXX.nl to sync disks.
 - INFO: Instance testvm.XXX.nl's disks are in sync.
* running the instance OS create scripts...

Tsja en dan levert dit soort documentatie (https://code.osuosl.org/p...i/VirtualMachineTemplates) ook nog eens niet zoveel clues op.

Links via google die me richting een oplossing zouden moeten dirigeren:
https://code.osuosl.org/issues/9507

Ik zie het hier ook terug maar dat lijkt me een Xen ding:
http://groups.google.com/...2f66003e02?rnum=11&lnk=nl


Als ik trouwens met de hand ga kijken is de VM wel aangemaakt:

code:

root@leiden:/home/boudewijn/isos# gnt-instance list
Instance                 Hypervisor OS                  Primary_node             Status     Memory
testvm.XXX.nl kvm        debootstrap+default leiden.XXX.nl ADMIN_down      -

Als ik het vervolgens met de hand wil gaan doen krijg ik dit soort resultaten:

code:

root@leiden:/home/boudewijn/isos# gnt-instance add -t file -H kvm:initrd_path=/boot/initrd.img-3.2.0-30-generic -s 8G -B memory=256 -n leiden.XXX.nl  -o debootstrap+default testvm2.XXX.nl
kSun Sep 16 17:50:37 2012 * creating instance disks...
Sun Sep 16 17:50:37 2012 adding instance testvm2.XXX.nl to cluster config
Sun Sep 16 17:50:37 2012  - INFO: Waiting for instance testvm2.XXX.nl to sync disks.
Sun Sep 16 17:50:37 2012  - INFO: Instance testvm2.XXX.nl's disks are in sync.
Sun Sep 16 17:50:37 2012 * running the instance OS create scripts...
Failure: command execution error:
Could not add os for instance testvm2.XXX.nl on node leiden.XXX.nl: OS create script failed (exited with exit code 1), last lines in the log file:

sfdisk: ERROR: sector 0 does not have an msdos signature
 /dev/loop0: unrecognized partition table type
Old situation:
No partitions found
New situation:
Units = cylinders of 8225280 bytes, blocks of 1024 bytes, counting from 0

   Device Boot Start     End   #cyls    #blocks   Id  System
/dev/loop0p1   *      0+   1043    1044-   8385929+  83  Linux
/dev/loop0p2          0       -       0          0    0  Empty
/dev/loop0p3          0       -       0          0    0  Empty
/dev/loop0p4          0       -       0          0    0  Empty
Successfully wrote the new partition table

Re-reading the partition table ...
BLKRRPART: Invalid argument

I: Retrieving Release
E: Failed getting release file http://ftp.us.debian.org/debian/dists/lenny/Release

Verdorie, hetzelfde.

Kan iemand me vertellen wat hier fout gaat?

[lordgandalf]

denk dat het hier ergens mis gaat :

sfdisk: ERROR: sector 0 does not have an msdos signature
/dev/loop0: unrecognized partition table type

Hij lijkt geen msdos? partitie te kunnen vinden die hij schijnbaar verwacht ?
En daarna zegt ie dat ie geen partite table kan lezen omdat hij het type niet kent

[Boudewijn]

Ja daar gaat het mis ja... Maar waarom?

[Boudewijn]

Schopje .

[CAPSLOCK2000]

Hoe weet ganetti wat er precies moet gebeuren? Ik zie iets over VM-templates. Misschien moet je daar in aangeven dat de er eerst een partitietabel moet worden aangemaakt? Ik kan me wel iets voorstellen bij een "als ik het niet snap blijf ik er maar vanaf" beleid voor tools die direct naar je HD schrijven. Als test zou je kunnen proberen om zelf een partitietabel aan te maken op dat blockdevice.

[Boudewijn]

In principe zou het voldoende zijn als ganeti net als KVM een block device aanmaakt (ofwel een file) en meer niet. Ik kan in installtime met fdisk dat prima zelf regelen; de debian-installeer heeft daar geen moeite mee.

[Boudewijn]

Goed, dan gaan we idd even naar templates kijken. Een ranzige copy-paste:

code:

 Template : test-template
Description blah
Operating System    Default (debootstrap)
Autostart   
DNS Name Check  
Hardware
VCPUs   2
Memory  512 MiB
NIC type    paravirtual
Disk Template   
Disks
Disk    Type    Size
disk/0  paravirtual     8.00 GiB
Network Devices
Nic     Mac     IP  Mode    Link
nic0    None    None    bridged     br0
Hypervisor
Boot Order  cdrom
CDROM Image Path    /home/boudewijn/isos/debian-testing-amd64-CD-1.iso
Kernel Path 
Root Path   
Serial Console

Maar goed, ook als ik daar een nieuwe VM mee aanmaak die gewoon vanaf CD-rom moet booten krijg je dezelfde faal als hierboven.

[magistus]

Gaat dat ding niet mis op "Failed getting release file http://ftp.us.debian.org/debian/dists/lenny/Release" ? Dat ding bestaat in ieder geval niet, dus als je die nog kan uitsluiten scheelt dat op zijn minst een (voor mij als niet ganeti-kenner) verwarrende error