Proxmox + Ceph Single node cluster

[Ron]

Ik ben in mijn homelab bezig om een Proxmox/Ceph cluster te proberen.

Een snelle situatieschets:

• 1 server
• 24 x Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz (2 Sockets)
• 64 GB Ram
• 500GB boot ssd + lvm storage
• Proxmox VE hypervisor
• Ceph
• [list]
• 3 osd's van 1 TB
• 1 monitor
• 2 pools (cephfs_data + cephfs_metadata)
• 1 filesystem (cephfs)
• [/list]

Zodoende alles in elkaar gezet, nu kom ik op het puntje CephFS. voor een aantal projecten heb ik shared storage nodig. gezien de setup leek het mij logish om een CephFS pool te mounten aan twee van de virtuele machines Lxc Containers. Nu heb ik alle stapppen in de Ceph wiki doorlopen, maar waar in de wiki de uitkomst van ceph mds stat onderstaand is

code:

Root@Yggdrasil:~# ceph mds stat:
cephfs-1/1/1 up

kom ik uit op

code:

Root@Yggdrasil:~# ceph mds stat:
cephfs-0/0/1 up

wanneer ik handmatig de mfs wil starten blijft hij hangen op:

code:

root@Yggdrasil:/etc/pve# ceph-mds --cluster ceph -i mds -m Yggdrasil:6789 -f
starting mds.mds at -

waarna de container blijft hangen op:

code:

ceph-fuse[706]: starting ceph client
2017-12-29 23:14:49.369974 7f9e0b5ee6c0 -1 init, newargv = 0x55a20df4cb00 newargc=14

tot een timeout plaatsvind

Het resultaat is dus dat ik in mijn containers, het CephFs Filsystem niet aan de praat krijg. heeft iemand hier ervaring mee?


mijn ceph.conf

code:

[global]
         auth client required = cephx
         auth cluster required = cephx
         auth service required = cephx
         cluster network = 10.10.10.0/24
         fsid = e88ab795-a442-4b69-af41-20cb86111452
         keyring = /etc/pve/priv/$cluster.$name.keyring
         mon allow pool delete = true
         osd cruch chooseleaf type = 0
         osd journal size = 5120
         osd pool default min size = 1
         osd pool default size = 3
         public network = 10.10.10.0/24

[osd]
         keyring = /var/lib/ceph/osd/ceph-$id/keyring

[mon.Yggdrasil]
         host = Yggdrasil
         mon addr = 10.10.10.1:6789

[mds.mds]
         host= mds

[Hero of Time]

Ik heb geen ervaring met Ceph, maar je hebt in je config een host geconfigureerd. Is dat een hostnaam waar het naar kijkt, en zoja, is deze ook fatsoenlijk te resolven? Zou er geen fqdn moeten staan?

[Ron]

Hero of Time schreef op zaterdag 30 december 2017 @ 00:39:
Ik heb geen ervaring met Ceph, maar je hebt in je config een host geconfigureerd. Is dat een hostnaam waar het naar kijkt, en zoja, is deze ook fatsoenlijk te resolven? Zou er geen fqdn moeten staan?

Hmm, 't ziet er inderdaad uit dat er het e.e.a. fout gaat bij 't resolven



Zojuist mn dns aangepast en dat lijkt nu te kloppen

code:

root@Yggdrasil:/etc/pve# nslookup yggdrasil
Server:         192.168.1.42
Address:        192.168.1.42#53

Non-authoritative answer:
Name:   yggdrasil.rphilipsen.nl
Address: REDACTED

root@Yggdrasil:/etc/pve# nslookup yggdrasil
Server:         192.168.1.42
Address:       192.168.1.42#53
Address:       10.10.10.1

Name:   yggdrasil.rphilipsen.nl

al lijkt hij op m'n containers er anders over te denken

code:

root@Astrild:~# ping 10.10.10.1
PING 10.10.10.1 (10.10.10.1) 56(84) bytes of data.
64 bytes from 10.10.10.1: icmp_seq=9 ttl=64 time=0.073 ms
64 bytes from 10.10.10.1: icmp_seq=10 ttl=64 time=0.023 ms
64 bytes from 10.10.10.1: icmp_seq=11 ttl=64 time=0.027 ms
64 bytes from 10.10.10.1: icmp_seq=12 ttl=64 time=0.026 ms
64 bytes from 10.10.10.1: icmp_seq=13 ttl=64 time=0.027 ms
64 bytes from 10.10.10.1: icmp_seq=14 ttl=64 time=0.024 ms
64 bytes from 10.10.10.1: icmp_seq=15 ttl=64 time=0.046 ms
64 bytes from 10.10.10.1: icmp_seq=16 ttl=64 time=0.036 ms
^C
--- 10.10.10.1 ping statistics ---
16 packets transmitted, 8 received, 50% packet loss, time 15336ms
rtt min/avg/max/mdev = 0.023/0.035/0.073/0.016 ms
root@Astrild:~# ping Yggdrasil
PING Yggdrasil(2a02:58:82:4e00:dc8c:2dff:fe15:cba5 (2a02:58:82:4e00:dc8c:2dff:fe15:cba5)) 56 data bytes
From 2a02:58:82:4e00:98a7:a2ff:feee:7313 (2a02:58:82:4e00:98a7:a2ff:feee:7313) icmp_seq=1 Destination unreachable: Address unreachable
From 2a02:58:82:4e00:98a7:a2ff:feee:7313 (2a02:58:82:4e00:98a7:a2ff:feee:7313) icmp_seq=2 Destination unreachable: Address unreachable
From 2a02:58:82:4e00:98a7:a2ff:feee:7313 (2a02:58:82:4e00:98a7:a2ff:feee:7313) icmp_seq=3 Destination unreachable: Address unreachable
--- Yggdrasil ping statistics ---
10 packets transmitted, 0 received, +7 errors, 100% packet loss, time 9136ms

Zodra ik m'n ping op Ipv4 forceer doet hij 't dan weer wel

code:

PING yggdrasil.rphilipsen.nl (10.10.10.1) 56(84) bytes of data.
64 bytes from Yggdrasil.rphilipsen.nl (10.10.10.1): icmp_seq=1 ttl=64 time=0.034 ms
64 bytes from Yggdrasil.rphilipsen.nl (10.10.10.1): icmp_seq=2 ttl=64 time=0.052 ms
64 bytes from Yggdrasil.rphilipsen.nl (10.10.10.1): icmp_seq=3 ttl=64 time=0.051 ms
64 bytes from Yggdrasil.rphilipsen.nl (10.10.10.1): icmp_seq=4 ttl=64 time=0.032 ms
64 bytes from Yggdrasil.rphilipsen.nl (10.10.10.1): icmp_seq=5 ttl=64 time=0.024 ms
64 bytes from Yggdrasil.rphilipsen.nl (10.10.10.1): icmp_seq=6 ttl=64 time=0.034 ms
64 bytes from Yggdrasil.rphilipsen.nl (10.10.10.1): icmp_seq=7 ttl=64 time=0.029 ms
64 bytes from Yggdrasil.rphilipsen.nl (10.10.10.1): icmp_seq=8 ttl=64 time=0.043 ms

EDIT:

Dit lijkt het probleem niet opgelost te hebben helaas (viel te proberen).
hij lijkt nogsteeds te de monitor service niet te starten

code:

root@Yggdrasil:/etc/pve# sudo ceph-mds --cluster ceph -i mds -m Yggdrasil:6789 -f
starting mds.mds at -

[ Voor 19% gewijzigd door Ron op 30-12-2017 01:04 ]

[Hero of Time]

Omdat het nu via IPv6 wil werken en je Ceph cluster waarschijnlijk op IPv4 only draait. Haal Yggdrasil met IPv6 uit je DNS en/of schakel IPv6 uit in je container. Of zet in je config het IP adres van de master, ipv de hostnaam. Wat overigens wel een beetje verwarrend is, in je OP heb je 't eerst over VMs en daarna en nu weer over containers. Die twee zijn niet hetzelfde. Dus, wat is 't?

[ Voor 9% gewijzigd door Hero of Time op 30-12-2017 01:15 ]

[Ron]

Hero of Time schreef op zaterdag 30 december 2017 @ 01:14:
Omdat het nu via IPv6 wil werken en je Ceph cluster waarschijnlijk op IPv4 only draait. Haal Yggdrasil met IPv6 uit je DNS en/of schakel IPv6 uit in je container. Of zet in je config het IP adres van de master, ipv de hostnaam. Wat overigens wel een beetje verwarrend is, in je OP heb je 't eerst over VMs en daarna en nu weer over containers. Die twee zijn niet hetzelfde. Dus, wat is 't?

't Gaat in dit geval over containers, ik zal 't ook iets duidelijker in de TS neerzetten.



om Cephfs te installeren heb ik het volgende wiki article gevolgd: http://docs.ceph.com/docs/master/cephfs/createfs/


hoewel DNS het e.e.a kan verklaren aan connectivity issues heb ik nogsteeds het probleem op de server.
daar lijkt de metadata server (MDS) niet op te starten.

code:

root@Yggdrasil:/var/log/ceph# tail ceph-mds.mds.log
2017-12-30 02:23:15.467347 7faf456686c0  0 ceph version 12.2.2 (215dd7151453fae88e6f968c975b6ce309d42dcf) luminous (stable), process (unknown), pid 7453
2017-12-30 02:23:15.470666 7faf456686c0  0 pidfile_write: ignore empty --pid-file

EDIT:

het lijkt er op dat Ceph-mds blijft hangen op het aanmaken van het pidfile

code:

root@Yggdrasil:~# ceph-mds --cluster ceph -i mds -m localhost:6789 -f -d
2017-12-30 15:53:31.839618 7fa3052c46c0  0 ceph version 12.2.2 (215dd7151453fae88e6f968c975b6ce309d42dcf) luminous (stable), process (unknown), pid 24352
starting mds.mds at -
2017-12-30 15:53:31.843806 7fa3052c46c0  0 pidfile_write: ignore empty --pid-file

docs.Ceph.com zegt hier het volgende over:

pid file
Description: The file in which the mon, osd or mds will write its PID. For instance, /var/run/$cluster/$type.$id.pid will create /var/run/ceph/mon.a.pid for the mon with id a running in the ceph cluster. The pid file is removed when the daemon stops gracefully. If the process is not daemonized (i.e. runs with the -f or -d option), the pid file is not created.
Type: String
Required: No
Default: No

Permissions op dit pid file:

code:

root@Yggdrasil:/var/run/ceph# ls -l
total 0
srwxr-xr-x 1 ceph ceph 0 Dec 30 15:58 ceph-mds.mds.asok
srwxr-xr-x 1 ceph ceph 0 Dec 29 17:12 ceph-mgr.Yggdrasil.asok
srwxr-xr-x 1 ceph ceph 0 Dec 29 17:12 ceph-mon.Yggdrasil.asok
srwxr-xr-x 1 ceph ceph 0 Dec 29 17:12 ceph-osd.0.asok
srwxr-xr-x 1 ceph ceph 0 Dec 29 17:12 ceph-osd.1.asok
srwxr-xr-x 1 ceph ceph 0 Dec 29 17:12 ceph-osd.2.asok

[ Voor 56% gewijzigd door Ron op 30-12-2017 16:02 ]