Het grote Proxmox VE topic

[ShadyNetworker]

unezra schreef op maandag 19 november 2018 @ 06:47:
[...]
Je wil ruimte *reserveren*? Dan moet je met quota op je datasets gaan werken. Persoonlijk zou ik het niet doen, in een kleine omgeving is dat niet echt nuttig.

Die losse SSD, waarom zou je die ook niet voorzien van ZFS? Het heeft geen specifiek nut daar LVM op te gaan draaien, ZFS heeft dat wel. Houd je systeem lekker homogeen.

Wat ik vooral wil voorkomen is dat de hypervisor uitgroeit als een Godzilla en de hele pool opeetneemt.
Wat ZFS en SSD betreft, ik heb begrepen dat ZFS een redelijke aanslag pleegt op de NAND. De SSD in kwestie is een Samsung EVO 860.

Zou een een losse ZFS pool verstandiger zijn voor VM's dan een LVM?

[unezra]

ShadyNetworker schreef op maandag 19 november 2018 @ 17:52:
[...]
Wat ik vooral wil voorkomen is dat de hypervisor uitgroeit als een Godzilla en de hele pool opeetneemt.

Dat voorkom je primair door je vm's goed te plannen en niet lomp vm's toe blijft voegen zonder op te letten of je wel genoeg storage over houd.

Wat ZFS en SSD betreft, ik heb begrepen dat ZFS een redelijke aanslag pleegt op de NAND. De SSD in kwestie is een Samsung EVO 860.

Voor zover ik weet zou dat geen probleem mogen zijn. In fact, SSD's worden juist aangeraden voor caching. (Dat kan ook op gespecialiseerde kaarten maar die kosten je een arm, een been én een paar nieren. SSD's zijn in alle gevallen waarin je dat nodig hebt de betere oplossing.)

Zou een een losse ZFS pool verstandiger zijn voor VM's dan een LVM?

Zeker. Een ZFS pool met datasets is *veel* flexibeler dan LVM. Een quotum op een dataset is iets dat je live kunt aanpassen, met een logical volume is dat veel trickier.

Het is dat nog niet iedere Linux standaard ZFS ondersteund, anders had ik *al* mijn Linux machines op kantoor van ZFS voorzien en enkel nog met quota gewerkt waar nodig. (Ik moet op kantoor al tijden een lv met onderliggende disk vergroten, die klus heb ik al een keer beschreven en technisch zou het niet heel moeilijk moeten zijn, maar het is een proces dat gruwelijk fout kan gaan en waarbij je geen fouten mag maken.)

[dcm360]

unezra schreef op dinsdag 20 november 2018 @ 06:40:
[...]


Voor zover ik weet zou dat geen probleem mogen zijn. In fact, SSD's worden juist aangeraden voor caching. (Dat kan ook op gespecialiseerde kaarten maar die kosten je een arm, een been én een paar nieren. SSD's zijn in alle gevallen waarin je dat nodig hebt de betere oplossing.)

Dat is dus wel op voorwaarde dat je een SSD koopt die er geschikt voor is. Een EVO 860 gaat je een tijdje lang wel aardige performance geven, maar gaat na verloop van tijd waarschijnlijk problemen geven zodra de SSD aan garbage collection moet gaan doen terwijl je er net wat naar aan het schrijven bent. Zodra ZFS aan TRIM doet zie ik geen probleem meer om het ook op goedkope SSD's te gebruiken.

[crazymm]

Beste leden, ik heb Proxmox 5.2 (Debian Stretch) uiteindelijk geïnstalleerd, alleen heb ik amper netwerk kennis.
Ik heb gewoon een thuisnetwerk. Wat ik zou willen is dat de host benaderbaar is op 192.168.178.235
En dat ik een aantal VM's kan aanmaken die een IP adres vanaf 192.168.178.236 mag hebben.
Graag zou ik alle VM's van internet toegang voorzien en dat alle VM's gewoon in hetzelfde netwerk als iedereen is.

Proxmox is in ieder geval benaderbaar op 192.168.178.235

Dit zijn mijn instellingen van mijn Proxmox server:
/etc/network/interfaces

auto lo
iface lo inet loopback

allow-hotplug eno1

iface eno1 inet manual

auto vmbr0
iface vmbr0 inet static
address 192.168.178.235
netmask 255.255.255.0
gateway 192.168.178.1
bridge_ports eno1
bridge_stp off
bridge_fd 0

Weet iemand hier raad mee, ik heb het hard nodig voor virtualisatie?
Mijn eigen laptop heeft maar 4GB Ram en de Proxmox machine heeft 16GB.

[MewBie]

crazymm schreef op donderdag 29 november 2018 @ 18:28:
Beste leden, ik heb Proxmox 5.2 (Debian Stretch) uiteindelijk geïnstalleerd, alleen heb ik amper netwerk kennis.
Ik heb gewoon een thuisnetwerk. Wat ik zou willen is dat de host benaderbaar is op 192.168.178.235
En dat ik een aantal VM's kan aanmaken die een IP adres vanaf 192.168.178.236 mag hebben.
Graag zou ik alle VM's van internet toegang voorzien en dat alle VM's gewoon in hetzelfde netwerk als iedereen is.

Proxmox is in ieder geval benaderbaar op 192.168.178.235

Dit zijn mijn instellingen van mijn Proxmox server:
/etc/network/interfaces

auto lo
iface lo inet loopback

allow-hotplug eno1

iface eno1 inet manual

auto vmbr0
iface vmbr0 inet static
address 192.168.178.240
netmask 255.255.255.0
gateway 192.168.178.1
bridge_ports eno1
bridge_stp off
bridge_fd 0

Weet iemand hier raad mee, ik heb het hard nodig voor virtualisatie?
Mijn eigen laptop heeft maar 4GB Ram en de Proxmox machine heeft 16GB.

toon volledige bericht

Wat gebeurde er toen je een VM aanmaakte en een OS installeerde? Want wat jij wilt is gewoon standaard mogelijk zonder een instelling te veranderen.

[skdevil]

edit - gevonden

[ Voor 93% gewijzigd door skdevil op 30-11-2018 16:39 ]

[ocf81]

Na wat nadenken heb ik besloten dat ik Ceph ga uitproberen. Ik ga volgende maand voor de DBs in elke machine een NVME SSDs kopen. Hebben mensen die dit topic bijhouden nog nuttige inzichten over het gebruik van Ceph voor mijn use case?

Ik zit te denken aan het installeren van een PM981 van 256GB in elke node omdat deze stroomverliesbescherming heeft. Dat lijkt me voor de DB wel belangrijk. Ik heb werkelijk geen idee over de vereiste grootte van de DB, en afgezien van een algemene opmerking dat kleine clusters een DB van een paar GB hebben, kan ik er op de Ceph site weinig meer over vinden. Verder zie ik dat Ceph met 1GB aan RAM per 1TB aan OSD space ook best wat RAM lust, wat dan weer ten koste gaat van de beschikbare hoeveelheid RAM voor VMs. Dat zou dus neerkomen op 12 à 16 GB per node in mijn geval. (ik wil er nog 1 of 2 4TB schijven per node bij gooien, de redundancy van Ceph zou anders bar weinig ruimte overlaten)

Ik ben zeer benieuwd of iemand mij hier meer over kan vertellen.

[crazymm]

MewBie schreef op vrijdag 30 november 2018 @ 14:20:
[...]

Wat gebeurde er toen je een VM aanmaakte en een OS installeerde? Want wat jij wilt is gewoon standaard mogelijk zonder een instelling te veranderen.

Toen had de vm geen internet. Op een af andere manier nu wel. Het gekke is nu als ik de host met ping -t op 192.168.178.235 dat ik na een herstart van de wifi booster die met de lan kabel me host voorziet van netwerk en internet. Soms me host niet kan benaderen, dan verspringt de ip van die commando naar 192.168.178.11. Na een reboot van de host moet ik weer opnieuw pingen naar 192.168.178.235.

Daarnaast zit er een ssd van 120 gb voor de host die gelijk vol zit met Proxmox ? GB, Swap ? GB, vm van ongeveer 32 GB, totaal aantal isos 10 GB, is toch raar?

Stel alles werkt hoe maak ik een backup van de proxmost installatie en instellingen, zodat ik het weer op een andere disk de image kan kopieren voor het geval corrupt raakt?

[MewBie]

crazymm schreef op zaterdag 1 december 2018 @ 14:14:
[...]


Toen had de vm geen internet. Op een af andere manier nu wel. Het gekke is nu als ik de host met ping -t op 192.168.178.235 dat ik na een herstart van de wifi booster die met de lan kabel me host voorziet van netwerk en internet. Soms me host niet kan benaderen, dan verspringt de ip van die commando naar 192.168.178.11. Na een reboot van de host moet ik weer opnieuw pingen naar 192.168.178.235.

Daarnaast zit er een ssd van 120 gb voor de host die gelijk vol zit met Proxmox ? GB, Swap ? GB, vm van ongeveer 32 GB, totaal aantal isos 10 GB, is toch raar?

Stel alles werkt hoe maak ik een backup van de proxmost installatie en instellingen, zodat ik het weer op een andere disk de image kan kopieren voor het geval corrupt raakt?

Dat lijkt me eerder een probleem in je wifi setup, sluit je Proxmox systeem eens gewoon aan met een kabel en kijk of het probleem weg is.

Proxmox gebruikt standaard een static IP adres op netwerk bridge vmbr0.
VM's gebruiken ook standaard vmbr0 voor het netwerk.
OS van de VM stel je voor het netwerk in als dat je een normale pc zou doen.
Je VM heeft nu gewoon internet als Proxmox ook internet heeft.

Proxmox deelt bij installatie je SSD in in een paar verschillende "partities".
Voor mijn 240GB SSD:
- Local ~59GB
- Local-lvm ~156GB
- Swap 7GB

[crazymm]

MewBie schreef op zaterdag 1 december 2018 @ 17:38:
[...]
Dat lijkt me eerder een probleem in je wifi setup, sluit je Proxmox systeem eens gewoon aan met een kabel en kijk of het probleem weg is.

Proxmox gebruikt standaard een static IP adres op netwerk bridge vmbr0.
VM's gebruiken ook standaard vmbr0 voor het netwerk.
OS van de VM stel je voor het netwerk in als dat je een normale pc zou doen.
Je VM heeft nu gewoon internet als Proxmox ook internet heeft.

Proxmox deelt bij installatie je SSD in in een paar verschillende "partities".
Voor mijn 240GB SSD:
- Local ~59GB
- Local-lvm ~156GB
- Swap 7GB

De Wifi booster zit al in een lan poort die aan de Proxmox server, deze kan ik via mijn modem benaderen. Als ik via mijn telefoon verbinding maak met mijn wifi booster heb ik internet. Alleen Proxmox en de VM's niet en nu?

Hoe kan dat als ik ping -t naar de Proxmox doe en de booster uit en aan zet, de ip ondertussen verspringd?

Hoe maak ik een kloon die ik op een ander disk kan zetten, voor het geval hardware fouten komen? Ik had vroeger verschillende software geprobeerd voor Windows Machines, dat ging ook niet lekker. Ik miste vaak ik ook goede uitleg en instructies.

[MewBie]

crazymm schreef op zaterdag 1 december 2018 @ 21:15:
[...]
De Wifi booster zit al in een lan poort die aan de Proxmox server, deze kan ik via mijn modem benaderen. Als ik via mijn telefoon verbinding maak met mijn wifi booster heb ik internet. Alleen Proxmox en de VM's niet en nu?

Met de info die je tot nu toe gegeven hebt valt er geen touw aan vast te knopen.
Welke hardware gebruik je en hoe heb je alles aangesloten?

Hoe kan dat als ik ping -t naar de Proxmox doe en de booster uit en aan zet, de ip ondertussen verspringd?

Hangt er vanaf hoe je alles aangesloten hebt. Als je Proxmox meerdere NIC's heeft met verschillende IP's en je pingt op de hostname kan het gebeuren dat je onder sommige omstandigheden het andere IP terug krijgt.

[crazymm]

MewBie schreef op zaterdag 1 december 2018 @ 21:28:
[...]

Met de info die je tot nu toe gegeven hebt valt er geen touw aan vast te knopen.
Welke hardware gebruik je en hoe heb je alles aangesloten?


[...]

Hangt er vanaf hoe je alles aangesloten hebt. Als je Proxmox meerdere NIC's heeft met verschillende IP's en je pingt op de hostname kan het gebeuren dat je onder sommige omstandigheden het andere IP terug krijgt.

Laptop als Proxmox server, lan poort is aangesloten op een wifi booster die draadloos internet verbinding krijgt van de router. De booster bevat twee poorten 1 voor een router/modem en 1 voor een client. Dat is in dit geval de proxmox host.

Ik gebruik geen wifi op de server, omdat ik had gelezen dat dat niet goed samengaat met Proxmox, vandaar de lan poort die ik gebruik.

Mis ik nog verder nog iets?

[NaliXL]

Beste Proxmox experts, ik zit te spelen met het volgende idee, en ik vroeg mij af wat jullie idee hierover is.

Nu heb ik hier een paar zoons lopen, en zou het leuk vinden om af en toe eens een spelletje met ze te spelen, zonder dat ik daarbij mijn persoonlijke werkpaard hoef af te staan (lees: vingers op mijn scherm en een toetsenbord wat ik met aceton van mijn vingers af moet halen ). Het eenvoudigste zou natuurlijk zijn een console kopen, maar dan denkt de tweaker in mij: ik heb al een flinke steam library en er is veel leuks beschikbaar via steam. Daar moet toch een mouw aan te passen zijn?!

Huidige situatie
Ik heb hier een dell precision T3600 workstation staan (16gb intern, 128gb SSD + 2x 1TB HDD, nvidia gtx660) als mijn persoonlijke werkpaard. Momenteel is het een dual-boot setup van windows 10 en kubuntu.

De verbouw-plannen
Ik koop een tweede grafische kaart en een aantal gamepads voor aan mijn workstation. Vervolgens maak ik een goede backup van mijn huidige systeem, waarna ik Proxmox VE erop installeer en de schijven met ZFS formatteer. Daarna installeer ik de oude installaties/bestanden weer als client OS onder proxmox. Een P2V migratie dus.
Een derde VM wordt een SteamOS installatie.
Mijn eerste grafische kaart (nvidia) wijd ik d.m.v. pci passthrough geheel toe aan mijn eigen windows 10/kubuntu systeem. Dit zal, zelfs als VM, een dual-boot systeem moeten blijven, gezien geen twee VM's een PCI device kunnen delen bij mijn weten.
De tweede grafische kaart (nvidia) wijd ik op eenzelfde manier toe aan de SteamOS VM. Ook de gamepads worden toegewezen aan de SteamOS VM. De tweede grafische kaart wordt dan verbonden met onze woonkamer TV.

Mijn vragen aan jullie:

• Ik ga er vanuit dat ik, met passthrough aan, niet direct kan aanmelden op mijn proxmox systeem omdat ik daarvan geen beeld zal krijgen. Voor mijn idee zou ik dat kunnen oplossen door (a) vanuit het client os te beheren met SSH of de web-interface, of (b) datzelfde te doen vanaf een externe laptop of (c) in geval van nood gebruik te maken van een alternatieve GRUB entry die passthrough uitschakelt. Zien jullie problemen met deze aanpak?
• Weten jullie misschien een betere aanpak, zodat ik mijn kubuntu en windows 10 beide naar een afzonderlijke VM kan migreren, maar beide toch gebruik kan laten maken van hardware 3d accelleratie?
• Zie ik hier nog belangrijke dingen over het hoofd?

[dcm360]

Hoe ga je de invoerapparaten doorgeven aan de VM's? Ik heb dat in het verleden gedaan door de hele USB-controller aan een VM te knopen, en dat was dus alles of niets wat betreft de USB-poorten.
Daarnaast is het nog wel belangrijk om er zeker van te zijn dat de CPU en de GPU's pass-through ondersteunen. Niet alle CPU's kunnen dat, en ergens in mijn achterhoofd zit er iets dat zegt dat dat niet kan met consumentenkaarten van nVidia, maar laatste keer dat ik daar naar gekeken heb is ook weer jaren terug (naast dat ik dat zonder kaarten van nVidia ook verder niet volg).

[skdevil]

Ik ben bezig met een Promox HA cluster op te zetten. Lokaal heeft alles goed gedraaid nu heb ik 1 node verplaatst naar een andere locatie (paar meter verderop)
1 node staat nu in een ander netwerk waar 2 watchguards tussen zitten die een tunnel vormen.

Verkeer tussen alle nodes is mogelijk. Kan van de ene naar de andere via SSH.
De corosync bestanden zijn aangepast en opgepakt wanneer ik inlog. Ik krijg het echter met geen mogelijkheid voor elkaar om ze alle 3 in 1 overzicht te managen.
Via CURL de pagina ophalen via poort 8006 werkt ook dus een HTTPS verbinding is mogelijk.

Wanneer ik onder node 2 of 3 via GUI inlog zie ik node 1 offline staan,
Log ik onder node 1 in zie ik node 2 en 3 offline.
Melding is no route to host.

Heeft iemand wellicht een idee?

Edit:
Blijkbaar zat een deel van het probleem in de /etc/hosts file.
Deze heb ik aangepast en nu kan ik wel bij de andere nodes echter blijven ze een rood kruisje aangeven.

Aanpassingen aan de corosync file komen ook alleen terecht op node 2 en 3 van het cluster (node 1 op andere locatie pakt deze wijzigingen niet op)

[ Voor 17% gewijzigd door skdevil op 04-12-2018 10:45 ]

[ocf81]

@skdevil doet die tunnel ook IGMP broadcasts? Corosync gebruikt dat om te communiceren, geloof ik.

[edit] ik zie dat Proxmox VE 5.3 vandaag is uitgekomen: https://www.proxmox.com/e...s-releases/proxmox-ve-5-3

[ Voor 37% gewijzigd door ocf81 op 04-12-2018 12:05 ]

[skdevil]

ocf81 schreef op dinsdag 4 december 2018 @ 11:34:
@skdevil doet die tunnel ook IGMP broadcasts? Corosync gebruikt dat om te communiceren, geloof ik.

[edit] ik zie dat Proxmox VE 5.3 vandaag is uitgekomen: https://www.proxmox.com/e...s-releases/proxmox-ve-5-3

Tunnel doet inderdaad geen IGMP broadcasts vandaar dat ik unicast gebruik.
Heb de 2 locaties nu aan elkaar kunnen knopen, het probleem zat uiteindelijk in de corosync config.

[MewBie]

ocf81 schreef op dinsdag 4 december 2018 @ 11:34:
@skdevil doet die tunnel ook IGMP broadcasts? Corosync gebruikt dat om te communiceren, geloof ik.

[edit] ik zie dat Proxmox VE 5.3 vandaag is uitgekomen: https://www.proxmox.com/e...s-releases/proxmox-ve-5-3

Yes, nu met CephFS ingebakken.
* MewBie gaat er vanavond maar even mee spelen.

[ocf81]

Ik zou toch nog wat aandacht willen vragen voor mijn vraag van vorige week vrijdag. Heeft iemand tips over de inzet van Ceph in een cluster van 3 nodes, met 3 HDDs en 1 SSD per node? (ik ga er wat HDDs en SSDs bij plaatsen denk ik)

[MewBie]

ocf81 schreef op woensdag 5 december 2018 @ 16:13:
Ik zou toch nog wat aandacht willen vragen voor mijn vraag van vorige week vrijdag. Heeft iemand tips over de inzet van Ceph in een cluster van 3 nodes, met 3 HDDs en 1 SSD per node? (ik ga er wat HDDs en SSDs bij plaatsen denk ik)

Ik heb er niet echt ervaring mee, maar het grootste probleem dat ik zie is dat meerdere OSD's afhankelijk worden van 1 SSD.
Is de SSD dood verlies je alle OSD's die van die SSD gebruik maken.
Je maakt dus een extra single point of failure voor die node.

[Newjersey]

Ik heb besloten om mijn server (ML350G6 met 76GB ram) om te gaan zetten naar Proxmox. Op dit moment draai ik nog ESXi 6.0

Ik heb een 10 VM's die ik wil meenemen naar Proxmox. Hoe kan ik dit het beste aanpakken? Heeft iemand migratie tools om dit te doen, of zal ik toch elke vmdk moeten converten naar raw of qcow2?

[unezra]

Newjersey schreef op donderdag 6 december 2018 @ 10:08:
Ik heb besloten om mijn server (ML350G6 met 76GB ram) om te gaan zetten naar Proxmox. Op dit moment draai ik nog ESXi 6.0

Ik heb een 10 VM's die ik wil meenemen naar Proxmox. Hoe kan ik dit het beste aanpakken? Heeft iemand migratie tools om dit te doen, of zal ik toch elke vmdk moeten converten naar raw of qcow2?

Je kunt de vmdk doodleuk inladen in PVE. (En zelfs als zodanig gebruiken, conversie is niet nodig. Kan wel, vanuit PVE zelf.)

Alleen... Als je het op die manier doet, mis je wel de KVM optimalisaties (VirtIO, etc) en die schelen een paar slokken op een borrel aan snelheid.

https://pve.proxmox.com/wiki/Windows_VirtIO_Drivers

Ik weet even niet uit mijn hoofd of je de VirtIO drivers kunt laden, daarna VirtIO kunt aanzetten en of het dan werkt. Dat is iets dat je even moet uitzoeken. Met netwerk is het niet zo'n punt, daar kun je gewoon je vnic vervangen gaan maar als je hdd niet herkend word wegens VirtIO is het lastig draaien met je guest.

[Newjersey]

unezra schreef op donderdag 6 december 2018 @ 10:39:
[...]


Je kunt de vmdk doodleuk inladen in PVE. (En zelfs als zodanig gebruiken, conversie is niet nodig. Kan wel, vanuit PVE zelf.)

Alleen... Als je het op die manier doet, mis je wel de KVM optimalisaties (VirtIO, etc) en die schelen een paar slokken op een borrel aan snelheid.

https://pve.proxmox.com/wiki/Windows_VirtIO_Drivers

Ik weet even niet uit mijn hoofd of je de VirtIO drivers kunt laden, daarna VirtIO kunt aanzetten en of het dan werkt. Dat is iets dat je even moet uitzoeken. Met netwerk is het niet zo'n punt, daar kun je gewoon je vnic vervangen gaan maar als je hdd niet herkend word wegens VirtIO is het lastig draaien met je guest.

Thanks voor je antwoord! Ik denk dat ik rustig aan alles ga migreren naar qcow2 en later naar raw te zetten om in LVM te op te slaan. Heb reeds al 1 machine als test geconverteerd op mijn oude HP Microserver en het lijkt goed te gaan. Booten met IDE of SATA en daarna 1 disk van 1GB toevoegen als VirtIO. Daarna drivers installeren en daarna VM uitzetten. Daarna disk detachen en opnieuw attachen en VirtIO gebruiken. Werkt goed moet ik zeggen.
Nu alleen nog alles vanaf m'n vmfs naar lokale disk in m'n Microserver kopieren, vervolgens converteren, PVE installeren op m'n ML350 en alles terugkopieren. Daar gaat m'n weekend

[unezra]

@Newjersey Ik ben zelf een groot fan van qcow images op ZFS.
Juist PVE ondersteunt dat native en het scheelt een gruwelijke bak in snelheid én betrouwbaarheid van je data. Iets dat LVM beiden niet kan bieden. Daarbij is ZFS veel flexibeler.

Als het je lukt ook je OS disk te converten is dat helemaal mooi, daar haal je ook flink snelheidswinst uit. Zonder VirtIO is het trage meuk.

[Newjersey]

unezra schreef op donderdag 6 december 2018 @ 10:59:
@Newjersey Ik ben zelf een groot fan van qcow images op ZFS.
Juist PVE ondersteunt dat native en het scheelt een gruwelijke bak in snelheid én betrouwbaarheid van je data. Iets dat LVM beiden niet kan bieden. Daarbij is ZFS veel flexibeler.

Als het je lukt ook je OS disk te converten is dat helemaal mooi, daar haal je ook flink snelheidswinst uit. Zonder VirtIO is het trage meuk.

Ik denk niet dat ZFS een optie is voor mij. In mijn ML350 G6 zit een p410i controller met een hardware raid5 over 5 SAS disken heen. Volgensw mij ondersteund de p410i geen JBOD dus kan ik mijn disken niet direct persenteren aan proxmox. Daarnaast heb ik nog 1 4TB disk en 1 SSD van 1 TB in beschikbaar die ik in mijn server wil zetten. Dit zijn dus alleen single disken. Daarnaast vind ik ZFS echt teveel geheugen opeten, die geef ik liever aan m'n vm's

[unezra]

Newjersey schreef op donderdag 6 december 2018 @ 11:06:
[...]
Ik denk niet dat ZFS een optie is voor mij. In mijn ML350 G6 zit een p410i controller met een hardware raid5 over 5 SAS disken heen. Volgensw mij ondersteund de p410i geen JBOD dus kan ik mijn disken niet direct persenteren aan proxmox. Daarnaast heb ik nog 1 4TB disk en 1 SSD van 1 TB in beschikbaar die ik in mijn server wil zetten. Dit zijn dus alleen single disken. Daarnaast vind ik ZFS echt teveel geheugen opeten, die geef ik liever aan m'n vm's

*iewjakkiebah*
Waarom vervang je die P410 niet door een HBA? Dat kan *prima*.

Ik heb zelf (voor mijn, inmiddels stopgezette, stichting) een DL180G6 (P4500G2 LeftHand) gebruikt en daar de P410 uit getrokken en vervangen door een LSI SAS 9207-8i. Gaat als de brandweer. Sneller en betrouwbaarder.

ZFS vreet niet veel geheugen, ZFS *kan* veel geheugen vreten maar je hebt een buttload aan geheugen in die doos zitten. Geef daarvan 8G aan ZFS en je hebt nog kilotonnen over.

Die doos klinkt voor 10 vm's al sowieso flink overkill (en 200W steady is ehm, stevig), maar wil je daar het maximale uit halen, vervang je die P410, ga je over naar ZFS. De huidige hardware config is leuk, voor hoe servers 10 jaar geleden werden gebouwd. Tegenwoordig is hardware-RAID en zo'n P410 niet veel meer, terwijl de CPU's en je geheugen nog makkelijk 5 jaar mee kunnen zonder traag aan te voelen.

[Newjersey]

unezra schreef op donderdag 6 december 2018 @ 11:22:
[...]


*iewjakkiebah*
Waarom vervang je die P410 niet door een HBA? Dat kan *prima*.

Ik heb zelf (voor mijn, inmiddels stopgezette, stichting) een DL180G6 (P4500G2 LeftHand) gebruikt en daar de P410 uit getrokken en vervangen door een LSI SAS 9207-8i. Gaat als de brandweer. Sneller en betrouwbaarder.

ZFS vreet niet veel geheugen, ZFS *kan* veel geheugen vreten maar je hebt een buttload aan geheugen in die doos zitten. Geef daarvan 8G aan ZFS en je hebt nog kilotonnen over.

Die doos klinkt voor 10 vm's al sowieso flink overkill (en 200W steady is ehm, stevig), maar wil je daar het maximale uit halen, vervang je die P410, ga je over naar ZFS. De huidige hardware config is leuk, voor hoe servers 10 jaar geleden werden gebouwd. Tegenwoordig is hardware-RAID en zo'n P410 niet veel meer, terwijl de CPU's en je geheugen nog makkelijk 5 jaar mee kunnen zonder traag aan te voelen.

toon volledige bericht

Andere controller is geen optie, al genoeg geld uitgegeven voor dit jaar aan de disk + ssd. Ik kan de disken nog los in raid0 zetten en deze dan in ZFS zetten. Ga dat maar eens proberen. Kun je het geheugen wat ZFS gebruikt limiteren in PVE?

edit: die LSI controller is wel goedkoop te verkrijgen uit China: https://nl.aliexpress.com...i-SAS-HD/32950044119.html

Misschien nog een idee

[ Voor 8% gewijzigd door Newjersey op 06-12-2018 11:33 ]

[unezra]

Newjersey schreef op donderdag 6 december 2018 @ 11:32:
[...]
Andere controller is geen optie, al genoeg geld uitgegeven voor dit jaar aan de disk + ssd. Ik kan de disken nog los in raid0 zetten en deze dan in ZFS zetten. Ga dat maar eens proberen. Kun je het geheugen wat ZFS gebruikt limiteren in PVE?

2e hands zijn die dingen niet zo duur. Nieuw zijn ze prijzig, rond de €300, maar 2e hands moeten ze voor veel minder goed te krijgen zijn. Het hoeft ook niet zo'n ding te zijn, er zijn eenvoudiger controllers. (De reden dat ik specifiek dat ding noem is omdat ik 'm ken. Ding is niet meer te krijgen though, er zijn opvolgers.)

Fin, wellicht eens kijken op eBay of Marktplaats, met wat geluk heb je zo'n ding voor €100 te pakken en is het je dat alsnog waard.

En ja, je kunt de disks los in RAID0 zetten maar dat word héél sterk afgeraden. ZFS wil echt direct toegang tot je disks. HBA dus, geen RAID controller.

Geheugen gebruik van ZFS limiteren kan prima. Zie: https://pve.proxmox.com/w...x#_limit_zfs_memory_usage

Dat is vrij standaard. Zeker met heel grote hoeveelheden geheugen.

[Newjersey]

unezra schreef op donderdag 6 december 2018 @ 11:36:
[...]


2e hands zijn die dingen niet zo duur. Nieuw zijn ze prijzig, rond de €300, maar 2e hands moeten ze voor veel minder goed te krijgen zijn. Het hoeft ook niet zo'n ding te zijn, er zijn eenvoudiger controllers. (De reden dat ik specifiek dat ding noem is omdat ik 'm ken. Ding is niet meer te krijgen though, er zijn opvolgers.)

Fin, wellicht eens kijken op eBay of Marktplaats, met wat geluk heb je zo'n ding voor €100 te pakken en is het je dat alsnog waard.

En ja, je kunt de disks los in RAID0 zetten maar dat word héél sterk afgeraden. ZFS wil echt direct toegang tot je disks. HBA dus, geen RAID controller.

Geheugen gebruik van ZFS limiteren kan prima. Zie: https://pve.proxmox.com/w...x#_limit_zfs_memory_usage

Dat is vrij standaard. Zeker met heel grote hoeveelheden geheugen.

toon volledige bericht

Bedankt voor de tips. Heb je nog suggesties als het gaat om een HBA? Dan ga ik daar eens naar kijken

[unezra]

Newjersey schreef op donderdag 6 december 2018 @ 11:40:
[...]
Bedankt voor de tips. Heb je nog suggesties als het gaat om een HBA? Dan ga ik daar eens naar kijken

Niet specifiek. Basically iedere HBA met de juiste connectoren en zgn. IT firmware voldoet.

Ik weet ook niet meer precies hoe ik bij die LSI ben gekomen en heb gekozen voor specifiek dat model. Sure, IT firmware en de juiste connectoren, maar het hele proces daarheen ben ik vergeten. (Is ook alweer dik 3 jaar geleden.)

Wellicht dat anderen in dit topic daar nog wel specifieke ideeen over hebben.

Voor de stichting wilde ik in ieder geval niet te veel bezuinigen, bedoeling was om rond de 80 - 100 vm's op dat ding te gaan draaien. Eventueel met wat extra geheugen d'r in. Dan wil je wel een HBA die een beetje *oomph* heeft.

Beetje context, machine had (heeft, hij ligt naast me), deze specs:

• CPU: 2x Intel(R) Xeon(R) CPU E5620 @ 2.40GHz
• Memory : 96GByte DDR3 (maximaal 144GByte)
• Disk Controller: LSI SAS 9207-8i

VM's zouden wel relatief kleine vm's worden. Gemiddeld tussen de 1G en 2G geheugen en voornamelijk gebruikt als shell en webserver. Andere use-case dus dan jij mogelijk hebt met je machine.

[Newjersey]

unezra schreef op donderdag 6 december 2018 @ 11:45:
[...]


Niet specifiek. Basically iedere HBA met de juiste connectoren en zgn. IT firmware voldoet.

Ik weet ook niet meer precies hoe ik bij die LSI ben gekomen en heb gekozen voor specifiek dat model. Sure, IT firmware en de juiste connectoren, maar het hele proces daarheen ben ik vergeten. (Is ook alweer dik 3 jaar geleden.)

Wellicht dat anderen in dit topic daar nog wel specifieke ideeen over hebben.

Voor de stichting wilde ik in ieder geval niet te veel bezuinigen, bedoeling was om rond de 80 - 100 vm's op dat ding te gaan draaien. Eventueel met wat extra geheugen d'r in. Dan wil je wel een HBA die een beetje *oomph* heeft.

Beetje context, machine had (heeft, hij ligt naast me), deze specs:

• CPU: 2x Intel(R) Xeon(R) CPU E5620 @ 2.40GHz
• Memory : 96GByte DDR3 (maximaal 144GByte)
• Disk Controller: LSI SAS 9207-8i

VM's zouden wel relatief kleine vm's worden. Gemiddeld tussen de 1G en 2G geheugen en voornamelijk gebruikt als shell en webserver. Andere use-case dus dan jij mogelijk hebt met je machine.

toon volledige bericht

Ik heb een mooie HBA op marktplaats gevonden voor een leuke prijs. Vraag je alleen af of ik deze zo maar kan verbinden met een SAS backplane. Mijn SAS backplane is van HP en de controller is een IT mode geflashte controller van Dell H200. Volgens mij moet dit wel werken, maar kan er niks over vinden op google. Iemand hier ervaring mee?

[unezra]

Newjersey schreef op donderdag 6 december 2018 @ 14:23:
[...]
Ik heb een mooie HBA op marktplaats gevonden voor een leuke prijs. Vraag je alleen af of ik deze zo maar kan verbinden met een SAS backplane. Mijn SAS backplane is van HP en de controller is een IT mode geflashte controller van Dell H200. Volgens mij moet dit wel werken, maar kan er niks over vinden op google. Iemand hier ervaring mee?

Ja hoor.

Dat is precies wat ik heb gedaan met die LeftHand. (Die eigenlijk dus gewoon een DL180G6 is.)

P410 d'r uit gerukt, LSI d'r in, kabels omgeprikt, klaar. Die SAS backplane is gewoon maar een SAS backplane, maakt niet uit wat voor controller je d'r aan knutselt.

[Newjersey]

unezra schreef op donderdag 6 december 2018 @ 14:26:
[...]


Ja hoor.

Dat is precies wat ik heb gedaan met die LeftHand. (Die eigenlijk dus gewoon een DL180G6 is.)

P410 d'r uit gerukt, LSI d'r in, kabels omgeprikt, klaar. Die SAS backplane is gewoon maar een SAS backplane, maakt niet uit wat voor controller je d'r aan knutselt.

Top Volgens mij moet ik voor mijn SAS backplane alletwee de poorten gebruiken. 1 poort per 4 disken. Beetje jammer, aangezien ik de 2e poort wil gebruiken om 2 sata devices aan te sluiten. Nu heb ik een kapotte raid set op dit moment in de server zitten bestaande uit 2 x 300gb disken. Deze gaan er uit en dan sluit ik de backplane alleen met 1 kabel aan, waardoor ik 4 SAS disken beschikbaar heb. Dan kan ik poort b gebruiken voor mijn sata disken.

Ik denk maar dat ik de controller ga kopen

[A1AD]

Newjersey schreef op donderdag 6 december 2018 @ 11:32:
[...]
Ik kan de disken nog los in raid0 zetten en deze dan in ZFS zetten. Ga dat maar eens proberen.

sssssst, niet te luid, sews hoort het grote zfs topic jou...

[unezra]

Newjersey schreef op donderdag 6 december 2018 @ 14:31:
[...]
Top Volgens mij moet ik voor mijn SAS backplane alletwee de poorten gebruiken. 1 poort per 4 disken. Beetje jammer, aangezien ik de 2e poort wil gebruiken om 2 sata devices aan te sluiten. Nu heb ik een kapotte raid set op dit moment in de server zitten bestaande uit 2 x 300gb disken. Deze gaan er uit en dan sluit ik de backplane alleen met 1 kabel aan, waardoor ik 4 SAS disken beschikbaar heb. Dan kan ik poort b gebruiken voor mijn sata disken.

Hmmm, dat zou kunnen. Ik heb even in mijn P4500 gekeken en daar heeft de backplane maar 1 poort op 12 disks, dus vandaar dat dat probleem me niet bekend voor kwam en ik het ok niet heb gehad.

Maar, je kunt 8 disks in die machine kwijt. Kun je niet gewoon je SATA disks in caddy's duwen? Er zijn prachtige caddy's te koop waarmee je een 2,5" SATA disk om bouwt tot 3,5" SATA disk en die duw je zo zo'n slot in.

Ik denk maar dat ik de controller ga kopen

Ik denk dat het de moeite waard is.

A1AD schreef op donderdag 6 december 2018 @ 14:31:
[...]

sssssst, niet te luid, sews hoort het grote zfs topic jou...

Goede tip inderdaad, al gaat dit wel specifiek nog over PVE ivm ZFS en is er voor zover ik weet geen "PVE-met-ZFS" topic.

[A1AD]

unezra schreef op donderdag 6 december 2018 @ 14:37:
[...]
Goede tip inderdaad, al gaat dit wel specifiek nog over PVE ivm ZFS en is er voor zover ik weet geen "PVE-met-ZFS" topic.

Ik doelde meer op "ZFS op HW RAID0" (wat niets met PVE te maken heeft), als ze dat daar horen gaan er een paar (terecht) steigeren

[unezra]

A1AD schreef op donderdag 6 december 2018 @ 14:39:
[...]
Ik doelde meer op "ZFS op HW RAID0" (wat niets met PVE te maken heeft), als ze dat daar horen gaan er een paar (terecht) steigeren

Ah zo.
<understatement>Ja, dat is idd niet zo'n goed idee... </understatement>

[Newjersey]

unezra schreef op donderdag 6 december 2018 @ 14:37:
[...]


Hmmm, dat zou kunnen. Ik heb even in mijn P4500 gekeken en daar heeft de backplane maar 1 poort op 12 disks, dus vandaar dat dat probleem me niet bekend voor kwam en ik het ok niet heb gehad.

Maar, je kunt 8 disks in die machine kwijt. Kun je niet gewoon je SATA disks in caddy's duwen? Er zijn prachtige caddy's te koop waarmee je een 2,5" SATA disk om bouwt tot 3,5" SATA disk en die duw je zo zo'n slot in.


[...]


Ik denk dat het de moeite waard is.


[...]


Goede tip inderdaad, al gaat dit wel specifiek nog over PVE ivm ZFS en is er voor zover ik weet geen "PVE-met-ZFS" topic.

toon volledige bericht

Ik zal m'n server vanavond eens opentrekken. Kan vanuit ESX en ssacli niet echt zien of ie nou 1 of 2 sas poorten gebruikt. Ik hoop op maar 1, dan kan ik de tweede poort voor m'n sata disken gebruiken.

De 8 disks die ik in mijn machine kwijt kan zijn 2.5 inch disken. Ik heb nu nog 1x een 4TB disk (3,5 inch) en 1x een ssd (2,5 inch). Die SSD past wel in dat slot, maar de 3.5 inch gaat niet lukken denk ik . Ik heb nog een 5.25 inch naar 3.5 inch bracket ergens liggen, dus de 3.5 inch disk gaat inplaats van de cdrom speler, en de ssd leg ik wel ergens los in de kast

[unezra]

@Newjersey Oh, crap, sorry. Mijn domme fout. Ik heb een heel andere doos in gedachten.
3,5" gaat 'm idd niet worden. 2,5" SATA in een SAS slot werkt als een tierelier maar 3,5" in een 2,5" bay rammen kan alleen destructief en met een grote hamer.

[Newjersey]

unezra schreef op donderdag 6 december 2018 @ 14:49:
@Newjersey Oh, crap, sorry. Mijn domme fout. Ik heb een heel andere doos in gedachten.
3,5" gaat 'm idd niet worden. 2,5" SATA in een SAS slot werkt als een tierelier maar 3,5" in een 2,5" bay rammen kan alleen destructief en met een grote hamer.

Maakt niet uit Ik heb een IT Mode geflashte Dell Perc H200 gekocht. Deze is geflasht naar IT mode en is onder water een LSI SAS 9211-8i . Heeft 2 SAS poorten. Krijg hem als het goed is in het weekend binnen. Zorg ik dat ik voor die tijd alles op mijn tijdelijke proxmox machine heb staan, of ik kopieer alles even naar een externe schijf zodat ik de VMDK's los heb. Dan is proberen en kijken hoe dat gaat

[nero355]

Newjersey schreef op donderdag 6 december 2018 @ 15:12:
Ik heb een IT Mode geflashte Dell Perc H200 gekocht. Deze is geflasht naar IT mode en is onder water een LSI SAS 9211-8i.

Prima keuze, maar Dell meuk heeft wel één irritant nadeel : Je moet wat pinnen afplakken, voordat je de controller in een random moederbord zet!

Random voorbeeld : https://forums.unraid.net...indComment&comment=258522

[Newjersey]

nero355 schreef op donderdag 6 december 2018 @ 19:05:
[...]

Prima keuze, maar Dell meuk heeft wel één irritant nadeel : Je moet wat pinnen afplakken, voordat je de controller in een random moederbord zet!

Random voorbeeld : https://forums.unraid.net...indComment&comment=258522

Goed om te weten. Moet dat aan beide kanten gebeuren?

[nero355]

Newjersey schreef op donderdag 6 december 2018 @ 19:53:
Goed om te weten. Moet dat aan beide kanten gebeuren?

Lijkt erop dat het alleen de B5 en B6 pinnen zijn, maar ik zou zweren dat het bij mijn H200E A5 en B5 waren...

Zou het effe goed uitzoeken als je straks de controller gaat gebruiken!

Er kan niks stuk, maar het werkt dan gewoon niet en/of levert je een hoop errors op...

[Priyantha Bleeker]

ikke26 schreef op donderdag 20 oktober 2016 @ 14:18:
Aah mooi dat hier nu een zelfstandig topic voor is.

Eerst heb ik een tijdje Proxmox gebruikt op een dedicated server met daarop VM's met LUKS encryptie op het bestandssysteem. Het idee dat een willekeurige beheerder een schijf uit de server kan pakken en die zonder moeilijkheden uit zou kunnen lezen zat me namelijk niet lekker. Nu kon men alleen in het Proxmox systeem, maar niet in de data die op de VM's stond. Nadeel was ook dat LXC containers niet (eenvoudig) van encryptie konden worden voorzien.

Onlangs heb ik zelf een custom Proxmox VE systeem handmatig geïnstalleerd op een Kimsufi / Soyoustart / OVH dedicated server via het rescue systeem. Bij deze servers zit geen KVM over IP, tenzij tegen hoge kosten, maar ik vond een workaround voor dat eerste euvel.

Daarbij heb ik:
- soft RAID1 opgezet,
- het geheel van encryptie voorzien,
- naast publieke bridges een intern netwerk met port forwarding via de GUI opgezet
- en het mogelijk gemaakt om het root bestandssysteem (LUKS) vanaf afstand via SSH te unlocken bij boot.

Indien daar interesse in is zou ik binnenkort even een geanonimiseerde tutorial kunnen schrijven. Immers, ik moest voor mezelf toch al documenteren wat ik gedaan heb.

De afwijkende netwerk configuratie van OVH is namelijk ontzettend slecht gedocumenteerd en het opzetten leverde een behoorlijk aantal grijze haren op, totdat ik uiteindelijk uitvond hoe het wel werkt. Laat maar weten indien daar interesse voor is.

Het geheel draait nu al een paar maanden als een zonnetje, grootste bottleneck zijn toch de harddisks, aangezien ik daarvoor een paar jaar werkte met SSD's en wel verwend ben geraakt wat dat betreft. Het enige wat ik nog niet heb aangedurfd is het bestandssysteem overzetten naar thin-LVM op de productieserver maar op een testserver is dat al wel gelukt. Binnenkort moet ik maar eens tijd vinden om dat te regelen. Op dit moment kan ik namelijk geen snapshots maken van LXC containers, en moet ik KVM VM's in .qcow2 formaat opslaan in plaats van .raw om te kunnen snapshotten. In het LXC geval is dat hinderlijk omdat ik geen snapshots kan maken, in het KVM .qcow2 geval zorgt het bestandsformaat voor een performance impact van volgens Proxmox zo'n 10%.

Het geautomatiseerd backups en snapshots maken met e-mail notificatie via de GUI is ook echt een uitkomst. Wat ik nog mis is de mogelijkheid om backups met encryptie te maken, ik ben benieuwd of anderen er wel al in geslaagd zijn dat op te zetten. Het zou de mogelijkheid vrijmaken om ook op minder vertrouwde cloudopslag backups te plaatsen.

toon volledige bericht

@ikke26 het is een héle oude post
Maar ik was toch wel benieuwd of je die aantekeningen nog hebt hoe jij op OVH/SouYouStart dit aan de praat hebg gekregen

[Newjersey]

nero355 schreef op donderdag 6 december 2018 @ 20:03:
[...]

Lijkt erop dat het alleen de B5 en B6 pinnen zijn, maar ik zou zweren dat het bij mijn H200E A5 en B5 waren...

Zou het effe goed uitzoeken als je straks de controller gaat gebruiken!

Er kan niks stuk, maar het werkt dan gewoon niet en/of levert je een hoop errors op...

Ik heb vandaag alles overgezet en hoefde kaart niet te modificeren, het werkt allemaal top. Ik ben nu ook lid van de Proxmox familie

[Yarisken]

Draai nu ook al enkele weken proxmox op een intel nuc.
Werkt perfect. Enige probleem is dat ik via cobbler geen vm's kan kickstarten. Starten lukt wel maar krijg dan fouten en zit dan vast in een shell.
Voor de rest heel tevreden.

[FireDrunk]

@Yarisken Ook ik wilde (makkelijk) automatisch VM's aan kunnen maken op Proxmox.
Dus ik heb nu zelf een Salt module geschreven waar dat mee kan.

Werkt nog niet vlekkeloos, maar toch al enigzins prima. Maakt gebruik van de API om een VM aan te maken op basis van een eerder gemaakt image (Ubuntu Cloud image file downloaden en importeren, vrij basic).

De machine wordt gecloned, waarna er via Cloud-Init een config in gepropt wordt. Daarna boot de vm, en wacht de Salt module op een ssh verbinding, en gaat deze daarna bootstrappen met een Salt Minion.

Nog meer mensen die automatisch VM's aanmaken op Proxmox?

[iMars]

@unezra Bedankt voor het zetje (de laatste paar reacties in dit topic) Heb zojuist een LSI SAS 9207-8i op eBay gekocht

Ik had een P810 liggen, maar wilde toch wat anders dan raid5. Ik zit nu naar ZFS en Proxmox te kijken.

Ik heb hier 10x 4TB SAS liggen, waarvan ik er eigenlijk 8 wil gebruiken en 2 als spare wil behouden (qua storage meeeeeeeer dan ik nodig heb en een stukje extra veiligheid en toekomst)

In het kader van zuinigheid (ik zit nu in meerdere topics te neuzen: Het grote zuinige server topic - deel 2, Het grote ZFS topic, Het grote ESXi/vSphere Topic en dit topic) zoek ik nu nog een zuinig/efficient mobo + proc + ram. Maar ik denk dat ik die vraag beter in het zuinige server topic kan stellen.

[FireDrunk]

Had dat even gezegd, heb nog wel een M1015 liggen

[kuipje]

Heeft iemand ervaring met Proxmox in combinatie met een intel Pentium processor.
Voor het samenstellen van nieuwe hardware voor mijn Proxmox server vraag ik mij af of de 4 Threads (intel Pentium G5400) ook als cores getoond en gebruikt worden in Proxmox of dat ik beter een i3-8100 kan kiezen die 4 echte cores heeft maar meer energie verbruikt.

[ocf81]

Onder de kap maakt proxmox gebruik van KVM/QEMU. Ten aanzien van VMs wordt een draad als een core gezien voor KVM. Dat is overigens bij de meeste virtualisatiesoftware zo.

[ Voor 5% gewijzigd door ocf81 op 17-01-2019 12:08 ]

[WeaZuL]

unezra schreef op donderdag 6 december 2018 @ 11:22:
[...]


*iewjakkiebah*
Waarom vervang je die P410 niet door een HBA? Dat kan *prima*.

Ik heb zelf (voor mijn, inmiddels stopgezette, stichting) een DL180G6 (P4500G2 LeftHand) gebruikt en daar de P410 uit getrokken en vervangen door een LSI SAS 9207-8i. Gaat als de brandweer. Sneller en betrouwbaarder.

[...]

Hoe moet ik dat interpreteren? Kan je daar iets concreter over zijn? Ik heb nu ook een DL380G7 met een dergelijke P410i die ik inzet als labserver, vandaar.

[unezra]

WeaZuL schreef op donderdag 17 januari 2019 @ 15:41:
[...]
Hoe moet ik dat interpreteren? Kan je daar iets concreter over zijn? Ik heb nu ook een DL380G7 met een dergelijke P410i die ik inzet als labserver, vandaar.

Een HBA is een relatief domme kaart, minder intelligentie, dat maakt 'm sneller. (Niet per-se goedkoper trouwens. Genoemde LSI-SAS is ook een kaart van €250,-.) Belangrijk hierin is te werken met zgn. IT-mode firmware, waarbij iedere RAID functionaliteit, hoe rudimentair ook, niet bestaat. Zo'n kaart met die firmware doet niets anders dan data pompen van en naar je disks.

Daarbij wil ZFS *direct* toegang tot je schijven.

Zelf vind ik ZFS veruit te prefereren boven hardware-RAID. Zo'n P410 is relatief traag en ZFS is sneller en beter bestand tegen bitrot. Het kost wel wat geheugen, maar dat is te overzien. (Met 2-4G ben je echt al een heel eind.)

[WeaZuL]

unezra schreef op donderdag 17 januari 2019 @ 15:46:
[...]


Een HBA is een relatief domme kaart, minder intelligentie, dat maakt 'm sneller. (Niet per-se goedkoper trouwens. Genoemde LSI-SAS is ook een kaart van €250,-.) Belangrijk hierin is te werken met zgn. IT-mode firmware, waarbij iedere RAID functionaliteit, hoe rudimentair ook, niet bestaat. Zo'n kaart met die firmware doet niets anders dan data pompen van en naar je disks.

Daarbij wil ZFS *direct* toegang tot je schijven.

Zelf vind ik ZFS veruit te prefereren boven hardware-RAID. Zo'n P410 is relatief traag en ZFS is sneller en beter bestand tegen bitrot. Het kost wel wat geheugen, maar dat is te overzien. (Met 2-4G ben je echt al een heel eind.)

Okay, ben ik wel benieuwd hoeveel dat dan scheelt in snelheid. Een kennis was van mening dat ZFS helemaal niet zo "snel" is. Wellicht zijn er sinds dat meet moment wonderen verricht

[ocf81]

Nog een vraagje over Ceph. Weet iemand hoe erg het is om geen ECC te hebben? Ik zit er aan te denken om een paar 1U Ceph nodes te bouwen nu mijn RD650 overleden lijkt te zijn. (min of meer DoA, maar 2e hands dus geld weg )
Maar dan heb ik dus geen ECC. Gezien de verhalen over het relatief lage nut van ECC in de praktijk, vraag ik mij af of ik ermee weg kan komen dat ik geen ECC gebruik.

Als ik nu een paar J5005ITX bordjes met 16GiB RAM koop en deze in goedkope 1U LFF kastjes stop kan ik voor een gemiddelde van ca €300/node klaar zijn. (disks even niet meegerekend, die liggen al op de plank)
Als ik wel ECC nodig heb verdubbelen de kosten omdat ik dan moederborden moet kopen die drie keer zo duur zijn.

Your thoughts?

[MewBie]

ocf81 schreef op donderdag 17 januari 2019 @ 16:43:
Nog een vraagje over Ceph. Weet iemand hoe erg het is om geen ECC te hebben? Ik zit er aan te denken om een paar 1U Ceph nodes te bouwen nu mijn RD650 overleden lijkt te zijn. (min of meer DoA, maar 2e hands dus geld weg )
Maar dan heb ik dus geen ECC. Gezien de verhalen over het relatief lage nut van ECC in de praktijk, vraag ik mij af of ik ermee weg kan komen dat ik geen ECC gebruik.

Als ik nu een paar J5005ITX bordjes met 16GiB RAM koop en deze in goedkope 1U LFF kastjes stop kan ik voor een gemiddelde van ca €300/node klaar zijn. (disks even niet meegerekend, die liggen al op de plank)
Als ik wel ECC nodig heb verdubbelen de kosten omdat ik dan moederborden moet kopen die drie keer zo duur zijn.

Your thoughts?

Ik zit een beetje met hetzelfde dilemma voor het cluster dat ik op wil zetten...

Wat ik wel weet is dat je het Corosync en Ceph verkeer weg wilt houden van je gewone netwerk. Toen ik een virtueel test clustertje opzette lichtte mijn netwerk op vanwege al het verkeer tussen de nodes en delen van het verkeer gaat over je hele netwerk omdat het broadcasts zijn. Tevens is Corosync nogal gevoelig voor latency en gebruikt Ceph nogal wat bandbreedte, wat ook niet goed mixed met server-client verkeer.

Dus ja... is het het risico waard... ik heb tot nu toe in ieder geval weinig info gevonden over Proxmox clusters die op consumenten hardware met 1x 1Gb draaien...

[unezra]

WeaZuL schreef op donderdag 17 januari 2019 @ 16:26:
[...]
Okay, ben ik wel benieuwd hoeveel dat dan scheelt in snelheid. Een kennis was van mening dat ZFS helemaal niet zo "snel" is. Wellicht zijn er sinds dat meet moment wonderen verricht

Die mirrored stripes lijken mij toch juist WEL snel te zijn als ik de grafieken goed interpreteer?

Het is juist een van de kenmerken van ZFS dat het heel snel kan zijn, zeker als je gaat versnellen met caching op SSD of NVRAM.

https://pthree.org/2012/1...stable-replacement-cache/

Zo'n P410 is een drama. 10 jaar geleden best een leuke controller, anno 2019 bijna een relikwie.

[FireDrunk]

ocf81 schreef op donderdag 17 januari 2019 @ 16:43:
Nog een vraagje over Ceph. Weet iemand hoe erg het is om geen ECC te hebben? Ik zit er aan te denken om een paar 1U Ceph nodes te bouwen nu mijn RD650 overleden lijkt te zijn. (min of meer DoA, maar 2e hands dus geld weg )
Maar dan heb ik dus geen ECC. Gezien de verhalen over het relatief lage nut van ECC in de praktijk, vraag ik mij af of ik ermee weg kan komen dat ik geen ECC gebruik.

Als ik nu een paar J5005ITX bordjes met 16GiB RAM koop en deze in goedkope 1U LFF kastjes stop kan ik voor een gemiddelde van ca €300/node klaar zijn. (disks even niet meegerekend, die liggen al op de plank)
Als ik wel ECC nodig heb verdubbelen de kosten omdat ik dan moederborden moet kopen die drie keer zo duur zijn.

Your thoughts?

ECC is net zo belangrijk als de data die je op de storage zet.
Het is gewoon 1 op 1 evenredig.

[NaliXL]

Even geen update van mijn kant: het project om mijn thuis-PC te virtualiseren vooralsnog niet doorgezet, dat is voor later. @dcm360 ik dacht dat USB passthrough inmiddels al wat verder was, maar misschien heb ik het mis.

Maar nu mijn vraag: op de zaak draai ik een 3-tal servers met proxmox 4.4.1. De opslag voor (onder andere) de VM's gebeurt vanaf een tweetal separate servers, die momenteel glusterfs 3.8 draaien.

Nu wil ik graag sharding aanzetten op het volume waar de VM images op staan, om de heal snelheid te verbeteren. Onder ander om die reden wil ik graag mijn gluster servers een upgrade geven naar minimaal 3.12.

Echter, gezien proxmox 4.4.1 met glusterfs 3.5 client wordt geleverd, ben ik bang dat dit niet gaat werken, aangezien gluster 3.5 bij mijn weten nog geen sharding ondersteunt?

Dus kom ik bij het verhaal clients upgraden. Ook daar ben ik bang voor de nodige problemen. Proxmox 4.4.1 wordt standaard geleverd met glusterfs 3.5 clients. Om daar een goede upgrade van uit te voeren moet ik waarschijnlijk de repositories van Gluster zelf gebruiken, maar helaas zit debian Jessie ( 8 ), waarop proxmox 4.4.1 gebaseerd is, al niet meer in die repositories. Volgens mij houd ik dan twee opties over:

1. Gluster clients zelf compileren
2. Proxmox servers in hun geheel upgraden

Bij optie 1, als ik al door de dependency-hell weet te komen, zou dit geen compatibility problemen opleveren met de rest van het systeem, wat "gewend" is aan een gluster 3.5 geïnstalleerd?
Bij optie 2: dit is de best ondersteunde optie voor zover ik kan zien (is in ieder geval gedocumenteerd), maar ik vermoed dat ik nog steeds de gluster clients moet bijwerken vanaf de gluster repositories, want debian stretch heeft standaard gluster 3.8 aan boord. En als we toch bezig zijn wil ik wel dezelfde server als client versie hebben, om toekomstige compatibility issues uit te sluiten.

Mijn vraag dus: heeft iemand ervaring/tips betreffende de upgrade van proxmox en/of gluster client versie in proxmox? Iemand een dergelijke situatie al bij de hand gehad?

[ Voor 0% gewijzigd door NaliXL op 31-01-2019 12:08 . Reden: Versienummer werd onbedoeld een smiley ]

[steve2507]

FireDrunk schreef op donderdag 3 januari 2019 @ 08:22:
@Yarisken Ook ik wilde (makkelijk) automatisch VM's aan kunnen maken op Proxmox.
Dus ik heb nu zelf een Salt module geschreven waar dat mee kan.

Werkt nog niet vlekkeloos, maar toch al enigzins prima. Maakt gebruik van de API om een VM aan te maken op basis van een eerder gemaakt image (Ubuntu Cloud image file downloaden en importeren, vrij basic).

De machine wordt gecloned, waarna er via Cloud-Init een config in gepropt wordt. Daarna boot de vm, en wacht de Salt module op een ssh verbinding, en gaat deze daarna bootstrappen met een Salt Minion.

Nog meer mensen die automatisch VM's aanmaken op Proxmox?

Ik maak gebruik van xible om een clone van een template te maken voor automatisch testen van bepaalde zaken.
https://xible.io/nodes?search=proxmox

De proxmox nodepack voor xible ondersteund nog niet de gehele api van proxmox. Wellicht vul ik die nodepack nog eens aan.

[hbokh]

FireDrunk schreef op donderdag 3 januari 2019 @ 08:22:
Nog meer mensen die automatisch VM's aanmaken op Proxmox?

Ik heb wat geprobeerd op basis van een repo die ik op GitHub vond en gebruik maakt van "build-openstack-debian-image": https://github.com/hbokh/qm-build-debian-template

Met dat template (duurt op mijn PVE bijna 20 minuten om te builden... spinning disks van 7200RPM in RAID1) ga ik dan weer verder middels "Telmate/proxmox-api-go" en "Telmate/terraform-provider-proxmox".
Die Terraform-provider lijkt sinds eind vorig jaar iets beter te functioneren.
Uiteindelijk met een "terraform apply" binnen anderhalve minuut een nieuwe VM nu.

Ben overigens wel benieuwd naar die SaltStack-module van je!

[ Voor 4% gewijzigd door hbokh op 24-02-2019 15:13 . Reden: SaltStack ]

[Kaspers]

Ik was altijd in de veronderstelling dat in het geval van docker het de 'best practice' is om docker in een VM te draaien. Ook de proxmox wiki geeft hier duiding aan:

If you want to run micro-containers (with docker, rkt, …), it is best to run them inside a VM.

In de releasenotes van versie 5.3 valt mijn oog echter op het volgende:

Nesting for Containers (privileged & unprivileged containers): Allows running lxc, lxd or docker inside containers, also supports using AppArmor inside containers

Zorgt deze laatste ontwikkeling ervoor dat het juist een stuk veiliger wordt docker in een unprivileged container te draaien?

Ik heb het overigens getest op een fedora-29 template. Werkte prima, zonder verdere aanpassingen aan de lxc conf. Dit volstond:



+ het laden van de kernel modules binnen pve:

code:

modprobe aufs
modprobe overlay

Anders valt docker terug op de vfs storage driver. En dat werkt niet bepaald snel.

Edit:
Helaas ervaar ik nog wel wat problemen met de overlay2 storage driver, die toch wel geadviseerd wordt te gebruiken.
Bij het pullen van een image krijg ik de volgende melding:

code:

ERROR: failed to register layer: Error processing tar file(exit status 1): operation not permitted

Hier vind ik wat meer details:

This will be fixed by any release after December 18, 2017 of Moby via this merge. Will update again when fully incorporated into Docker.

If your container is unprivileged, this appears to be an issue with the overlay2 storage driver for Docker. This does not appear to be an issue with overlay (GitHub issue). So either utilize the overlay storage driver instead of overlay2, or make your container privileged.

Dat laatste is nou net niet de bedoeling, dan gaan we weer een stap terug. En de overlay (ipv overlay2) driver is tegenwoordig helaas depricated:

code:

WARNING: the overlay storage-driver is deprecated, and will be removed in a future release.

[ Voor 41% gewijzigd door Kaspers op 19-03-2019 22:49 ]

[FireDrunk]

Ik heb altijd gewoon Docker native op Proxmox gedraaid, waarom zou je het nog weer in een LXC container willen encapsuleren? Docker zelf heeft zoveel rechten nodig dat je er toch wel op moet vertrouwen.
Wil je Docker 'confinen' zijn de boundaries van een VM echt de enige fatsoenlijke optie.

Proberen Docker op te sluiten door het in LXC te draaien is mijns inziens schijnsecurity, en gaat het je echt niet verder helpen.

[Kaspers]

FireDrunk schreef op woensdag 20 maart 2019 @ 07:49:
Ik heb altijd gewoon Docker native op Proxmox gedraaid, waarom zou je het nog weer in een LXC container willen encapsuleren?

Eigenlijk is de grootste reden de backup feature van proxmox. Ik maak dagelijks backups van een VM waarin ik een aantal docker containers draai met home-automation tooling. Het is ontzettend handig om met een paar klikken terug te gaan naar een vorige situatie wanneer het spul weer eens niet meer werkt.

FireDrunk schreef op woensdag 20 maart 2019 @ 07:49:
Proberen Docker op te sluiten door het in LXC te draaien is mijns inziens schijnsecurity, en gaat het je echt niet verder helpen.

Daar denk je ook zo over bij unpriviliged LXC's?:

Unprivileged Containers

This kind of containers use a new kernel feature called user namespaces. The root UID 0 inside the container is mapped to an unprivileged user outside the container. This means that most security issues (container escape, resource abuse, …) in those containers will affect a random unprivileged user, and so would be a generic kernel security bug rather than an LXC issue. The LXC team thinks unprivileged containers are safe by design.
link

[Dutch2007]

Kaspers schreef op dinsdag 19 maart 2019 @ 20:05:
Ik was altijd in de veronderstelling dat in het geval van docker het de 'best practice' is om docker in een VM te draaien. Ook de proxmox wiki geeft hier duiding aan:


+ het laden van de kernel modules binnen pve:

code:

modprobe aufs
modprobe overlay

https://docs.docker.com/s...edriver/overlayfs-driver/

OverlayFS is supported if you meet the following prerequisites:

The overlay2 driver is supported on Docker CE, and Docker EE 17.06.02-ee5 and up, and is the recommended storage driver.
Version 4.0 or higher of the Linux kernel, or RHEL or CentOS using version 3.10.0-514 of the kernel or higher. If you use an older kernel, you need to use the overlay driver, which is not recommended.
The overlay and overlay2 drivers are supported on xfs backing filesystems, but only with d_type=true enabled.

Use xfs_info to verify that the ftype option is set to 1. To format an xfs filesystem correctly, use the flag -n ftype=1.

Warning: Running on XFS without d_type support now causes Docker to skip the attempt to use the overlay or overlay2 driver. Existing installs will continue to run, but produce an error. This is to allow users to migrate their data. In a future version, this will be a fatal error, which will prevent Docker from starting.

Die overlay2 zit echter niet in proxmox
Vergeet je overigens niet die modules ook in /etc/modules te zetten? anders zijn ze niet meer ingeladen na een reboot ;-)

# /etc/modules: kernel modules to load at boot time.
#
# This file contains the names of kernel modules that should be loaded
# at boot time, one per line. Lines beginning with "#" are ignored.

[Kek]

Ik heb een issue met mijn Proxmox Bak.

Host en drie VMs staan op een SSD van 250GB. er zit verder nog een ZFS mirror in van 2 rotationals.
De ZFS storage heeft geen caching op de SSD.

Als ik nu kijk naar de smart waarden van mijn SSD gaan deze heel raar hard voor de writes:

Data Units Written: 2,136,174 [1.09 TB]

Echter niet voor de reads:
Data Units Read: 177,238 [90.7 GB]

Een van de VM's heeft de ZFS mount van de HDDs gemount met 9p, hier worden backups naar gestuurd.

Ik dacht eerst dat de hoge writes door de 9p mount kwamen maar kan dit niet direct vinden..

Heeft iemand een idee waar deze hoge writes (zonder reads) vandaan komen of hoe ik kan achterhalen wat heir zo hard aan het schrijven op mijn ssd is..?

De VM's doen verder niet veel en idlen veelal met minimaal een write hier en daar...

Als ik door heb wel proces of welke VM de writes naar mijn SSD doen kan ik verder...

[MewBie]

Kek schreef op woensdag 20 maart 2019 @ 11:56:
Ik heb een issue met mijn Proxmox Bak.

Host en drie VMs staan op een SSD van 250GB. er zit verder nog een ZFS mirror in van 2 rotationals.
De ZFS storage heeft geen caching op de SSD.

Als ik nu kijk naar de smart waarden van mijn SSD gaan deze heel raar hard voor de writes:

Data Units Written: 2,136,174 [1.09 TB]

Echter niet voor de reads:
Data Units Read: 177,238 [90.7 GB]

Een van de VM's heeft de ZFS mount van de HDDs gemount met 9p, hier worden backups naar gestuurd.

Ik dacht eerst dat de hoge writes door de 9p mount kwamen maar kan dit niet direct vinden..

Heeft iemand een idee waar deze hoge writes (zonder reads) vandaan komen of hoe ik kan achterhalen wat heir zo hard aan het schrijven op mijn ssd is..?

De VM's doen verder niet veel en idlen veelal met minimaal een write hier en daar...

Als ik door heb wel proces of welke VM de writes naar mijn SSD doen kan ik verder...

toon volledige bericht

In hoeveel tijd is die 1TB bereikt?
En wat draai je in de VM's?

[Kek]

MewBie schreef op woensdag 20 maart 2019 @ 12:57:
[...]

In hoeveel tijd is die 1TB bereikt?
En wat draai je in de VM's?

die TB is binnen iets meer dan een maand gehaald.

De VM's draaien wat docker containers die momenteel nog weinig doen (home assistant, TimeMachine, portainer, zabbix proxy) allemaal in debian guests met latest kernels

[ Voor 5% gewijzigd door Kek op 20-03-2019 13:15 ]

[MewBie]

Kek schreef op woensdag 20 maart 2019 @ 13:11:
[...]


die TB is binnen iets meer dan een maand gehaald.

De VM's draaien wat docker containers die momenteel nog weinig doen (home assistant, TimeMachine, portainer, zabbix proxy)

Het is bekend dat Proxmox veel data schrijft naar de schijf waar het op geinstalleerd is.
1TB per maand is vrij normaal geloof ik.

Ik zal vanavond eens kijken wat mijn installatie doet.

[Kek]

MewBie schreef op woensdag 20 maart 2019 @ 13:25:
[...]

Het is bekend dat Proxmox veel data schrijft naar de schijf waar het op geinstalleerd is.
1TB per maand is vrij normaal geloof ik.

Ik zal vanavond eens kijken wat mijn installatie doet.

Dat is best veel. en het zijn ook echt alleen writes, er worden geen reads op uitgevoerd...
Kan jij zeggen welke informatie dan wordt geschreven? en is dit ook te tunen zodat het minder is.. (of veelal naar ram gaat..) ?

[dcm360]

Als ik me niet vergis zijn het de services pve-ha-lrm en pve-ha-crm die de grote hoeveelheid writes veroorzaken. Zo lang je maar een enkele host hebt kan je deze services uitschakelen zonder dat je er verder iets van merkt. Ik zou eens kunnen kijken hoeveel dat uitmaakt, op 3 servers heb ik dit trucje uitgehaald (ookal zitten daar SSD's in die tegen veel writes kunnen).

edit: Hm, 12.7TB binnen driekwart jaar is nog steeds niet weinig. Dit lijkt dus blijkbaar niet echt te werken.

[ Voor 13% gewijzigd door dcm360 op 20-03-2019 13:34 ]

[Kek]

dcm360 schreef op woensdag 20 maart 2019 @ 13:30:
Als ik me niet vergis zijn het de services pve-ha-lrm en pve-ha-crm die de grote hoeveelheid writes veroorzaken. Zo lang je maar een enkele host hebt kan je deze services uitschakelen zonder dat je er verder iets van merkt. Ik zou eens kunnen kijken hoeveel dat uitmaakt, op 3 servers heb ik dit trucje uitgehaald (ookal zitten daar SSD's in die tegen veel writes kunnen).

edit: Hm, 12.7TB binnen driekwart jaar is nog steeds niet weinig. Dit lijkt dus blijkbaar niet echt te werken.

Hoe zet ik pve-ha-lrm en pve-ha-crm uit?

[maomanna]

Ik heb in mijn proxmox een aantal harddrives (ZFS pools) staan, welke ik wil toevoegen aan een VM.
In die VM wil ik deze mounten en via smb/nfs sharen via het netwerk en deze shares beschikbaar stellen voor een andere VM's om hun downloads op kwijt te kunnen.

Nu is de eerste HD (scsi0) een 30gb partitie voor ubuntu, maar hoe krijg ik de volledige ZFS pool geladen en kan ik deze mounten?

Als ik de disk toevoeg via Harware -> add -> hard disk -> met size 20000gb, dan pakt hij 20000gb, terwijl de pool kleiner is.

Hebben jullie een idee?

[Kek]

maomanna schreef op woensdag 20 maart 2019 @ 14:03:
Ik heb in mijn proxmox een aantal harddrives (ZFS pools) staan, welke ik wil toevoegen aan een VM.
In die VM wil ik deze mounten en via smb/nfs sharen via het netwerk en deze shares beschikbaar stellen voor een andere VM's om hun downloads op kwijt te kunnen.

Nu is de eerste HD (scsi0) een 30gb partitie voor ubuntu, maar hoe krijg ik de volledige ZFS pool geladen en kan ik deze mounten?

Als ik de disk toevoeg via Harware -> add -> hard disk -> met size 20000gb, dan pakt hij 20000gb, terwijl de pool kleiner is.

Hebben jullie een idee?

Snap ik dat je een mountpoint van je host beschikbaar wilt maken in een VM? ik doe dan zelf met 9p (plan 9 FS)

[maomanna]

uitgevoerd en het koppelen gaat wel wat eenvoudiger.
Wat alleen vreemd is, is dat er geen files op de shares staan. Er is van de 17Tb nog maar 3Tb vrij.

De disks heb ik toegevoegd aan pve middels een zpool import -f poolnaam

code:

ZFS list

laat alles zien.
Het lijkt er alleen op dat het verder niet correct is.

code:

root@pve:~# zfs list
NAME                             USED  AVAIL  REFER  MOUNTPOINT
ZFSBulk                         11.7T  2.28T   887M  /ZFSBulk
ZFSBulk/Download                4.46T  2.28T  4.46T  /ZFSBulk/Download
ZFSBulk/Download/vm-100-disk-0  89.5K  2.28T  89.5K  -
ZFSBulk/Films                   2.78T  2.28T  2.78T  /ZFSBulk/Films
ZFSBulk/Films/vm-100-disk-0     89.5K  2.28T  89.5K  -
ZFSBulk/Series                  4.50T  2.28T  4.50T  /ZFSBulk/Series
ZFSBulk/share                    204K  2.28T   204K  /ZFSBulk/share
ZFSBulk/unifi                    141M  2.28T   141M  /ZFSBulk/unifi
ZFSweb2tb                       89.2G  1.67T  63.9G  /ZFSweb2tb
ZFSweb2tb/backups               25.3G  1.67T  25.3G  /ZFSweb2tb/backups
datapool                         724G   171G  7.51G  /datapool
datapool/data                    717G   171G   714G  /datapool/data
datapool/data/vm-100-disk-0     2.65G   171G  2.65G  -

De vm-100-disk-0 is dus gemount ipv de andere pools

[ Voor 67% gewijzigd door maomanna op 20-03-2019 14:32 ]

[dcm360]

Kek schreef op woensdag 20 maart 2019 @ 13:44:
[...]


Hoe zet ik pve-ha-lrm en pve-ha-crm uit?

Op de commandline met `systemctl disable <naam>`. Maar het lijkt niet echt te helpen bij mij (of ik was lui en heb ze pas pasgeleden uitgezet op dit systeem, kan ook nog). Op zijn minst heb ik nu wel ergens genoteerd staan met een datum wat de TBW tot zover is, dus nu kan ik eens achterhalen of ik nog steeds veel schrijf.

maomanna schreef op woensdag 20 maart 2019 @ 14:28:
uitgevoerd en het koppelen gaat wel wat eenvoudiger.
Wat alleen vreemd is, is dat er geen files op de shares staan. Er is van de 17Tb nog maar 3Tb vrij.

De disks heb ik toegevoegd aan pve middels een zpool import -f poolnaam

code:

ZFS list

laat alles zien.
Het lijkt er alleen op dat het verder niet correct is.

code:

root@pve:~# zfs list
NAME                             USED  AVAIL  REFER  MOUNTPOINT
ZFSBulk                         11.7T  2.28T   887M  /ZFSBulk
ZFSBulk/Download                4.46T  2.28T  4.46T  /ZFSBulk/Download
ZFSBulk/Download/vm-100-disk-0  89.5K  2.28T  89.5K  -
ZFSBulk/Films                   2.78T  2.28T  2.78T  /ZFSBulk/Films
ZFSBulk/Films/vm-100-disk-0     89.5K  2.28T  89.5K  -
ZFSBulk/Series                  4.50T  2.28T  4.50T  /ZFSBulk/Series
ZFSBulk/share                    204K  2.28T   204K  /ZFSBulk/share
ZFSBulk/unifi                    141M  2.28T   141M  /ZFSBulk/unifi
ZFSweb2tb                       89.2G  1.67T  63.9G  /ZFSweb2tb
ZFSweb2tb/backups               25.3G  1.67T  25.3G  /ZFSweb2tb/backups
datapool                         724G   171G  7.51G  /datapool
datapool/data                    717G   171G   714G  /datapool/data
datapool/data/vm-100-disk-0     2.65G   171G  2.65G  -

De vm-100-disk-0 is dus gemount ipv de andere pools

toon volledige bericht

Als ik mag gokken: je verwacht dat mountpoints ook meegenomen worden, maar dat is waarschijnlijk niet het geval. Dus als je een mountpoint /ZFSBulk doorgeeft, krijg je niet /ZFSBulk/share mee, want dat is een ander mountpoint.

[maomanna]

dcm360 schreef op woensdag 20 maart 2019 @ 15:55:
[...]

Op de commandline met `systemctl disable <naam>`. Maar het lijkt niet echt te helpen bij mij (of ik was lui en heb ze pas pasgeleden uitgezet op dit systeem, kan ook nog). Op zijn minst heb ik nu wel ergens genoteerd staan met een datum wat de TBW tot zover is, dus nu kan ik eens achterhalen of ik nog steeds veel schrijf.

[...]

Als ik mag gokken: je verwacht dat mountpoints ook meegenomen worden, maar dat is waarschijnlijk niet het geval. Dus als je een mountpoint /ZFSBulk doorgeeft, krijg je niet /ZFSBulk/share mee, want dat is een ander mountpoint.

Via Datacenter - Storage - add - ZFS heb ik alle mountpoints toegevoegd.
Verder in de kolom staat "Shared" No.

Moet ik die 9P voor elke mountpoint toevoegen?

Het is gelukt thanks!

[Kaspers]

Dutch2007 schreef op woensdag 20 maart 2019 @ 09:41:
Die overlay2 zit echter niet in proxmox

Ah, vandaar!
Overigens: ik heb tevens een test gedaan met een privileged container. Dit blijkt wel te werken:

code:

docker@domotics:/$ docker info
[..]
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true

Dus ik weet niet zeker of je stelling helemaal op gaat.

Dutch2007 schreef op woensdag 20 maart 2019 @ 09:41:
Vergeet je overigens niet die modules ook in /etc/modules te zetten? anders zijn ze niet meer ingeladen na een reboot ;-)

Dank , ik heb er aan gedacht, maar goed dat je me er even op wijst.

Ik heb mijn docker 'VM' inmiddels omgeca' naar een LXC omgeving.

Waar ik nog tegen aanliep was het doorlussen van USB devices. Dat gaat met een VM erg gemakkelijk via de GUI, via een LXC iets lastiger.

De meest simpele manier is:

code:

lxc-device -n 102 add /dev/ttyUSB0

Oftewel: voor CT 102, voeg device ttyUSB0 toe. Maar dit blijkt helaas niet persistent te zijn. Na een reboot van de CT mag je het weer runnen.

Dit toevoegen aan /etc/pve/lxc/xxx.conf blijkt voldoende:

code:

lxc.mount.entry: /dev/bus/usb/001 dev/bus/usb/001 none bind,optional,create=dir
lxc.mount.entry: /dev/ttyUSB0 dev/ttyUSB0  none bind,optional,create=file
lxc.mount.entry: /dev/ttyACM0 dev/ttyACM0  none bind,optional,create=file

Ik heb overigens al staan in de conf file:

code:

lxc.cgroup.devices.allow: a

Oftewel, alle devices van de host worden doorgegeven aan de LXC. Dat is nodig om uberhaupt docker werkend te krijgen. Losse devices doorgeven middels:

code:

lxc.cgroup.devices.allow = c 188 * rwm

is daardoor overbodig.

De winst: van een VM met een gemiddeld geheugengebruik tussen de 3-4GB en storage van +/- 50GB naar een container waarbij het geheugengebruik onder de gb blijft, en een bootdisksize van 8GB.

En ja, ik ben me van de 'risico's' van een privileged container bewust. Toch ben ik hier blijer mee.

[Dutch2007]

Kaspers schreef op woensdag 20 maart 2019 @ 16:20:
[...]


Ah, vandaar!
Overigens: ik heb tevens een test gedaan met een privileged container. Dit blijkt wel te werken:

code:

docker@domotics:/$ docker info
[..]
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true

Dus ik weet niet zeker of je stelling helemaal op gaat.

toon volledige bericht

root@unms:~# modprobe overlay2
modprobe: ERROR: ../libkmod/libkmod.c:586 kmod_search_moddep() could not open moddep file '/lib/modules/4.15.18-12-pve/modules.dep.bin'
modprobe: FATAL: Module overlay2 not found in directory /lib/modules/4.15.18-12-pve
root@unms:~#

[Kaspers]

Dutch2007 schreef op woensdag 20 maart 2019 @ 18:21:
root@unms:~# modprobe overlay2
modprobe: ERROR: ../libkmod/libkmod.c:586 kmod_search_moddep() could not open moddep file '/lib/modules/4.15.18-12-pve/modules.dep.bin'
modprobe: FATAL: Module overlay2 not found in directory /lib/modules/4.15.18-12-pve
root@unms:~#

Bijzonder dat docker toch in staat is de overlay2 driver te laden en te gebruiken, terwijl ik alleen de overlay kernel module heb ingeladen binnen proxmox.

[MewBie]

Kek schreef op woensdag 20 maart 2019 @ 13:29:
[...]


Dat is best veel. en het zijn ook echt alleen writes, er worden geen reads op uitgevoerd...
Kan jij zeggen welke informatie dan wordt geschreven? en is dit ook te tunen zodat het minder is.. (of veelal naar ram gaat..) ?

Ik heb even bij mijn Proxmox gekeken.
Power On Hours is 12102, Total LBA Written is 6511330419 (moet je vermenigvuldigen met de Sector Size in Bytes voor Total Bytes Written), wat ongeveer 3TB is.

VM's en containers zijn opgeslagen op HDD's welke Ceph draaien.

Edit:
Nieuwere Proxmox versie op mijn testbak geeft wat makkelijker te lezen data:
Power On Hours: 138
Data Units Written: 220,969 [113 GB]

[ Voor 16% gewijzigd door MewBie op 20-03-2019 22:00 ]

[maomanna]

Inmiddels is het doorzetten van 1 ZFS mount gelukt.
Als ik een tweede wil toevoegen blijft die leeg, terwijl de host wel een gevulde mount heeft.

code:

args: -fsdev local,security_model=passthrough,id=fsdev0,path=/ZFSBulk/ -device virtio-9p-pci,id=fs0,fsdev=fsdev0,mount_tag=ZFSBulk,bus=pci.0,addr=0x4
args: -fsdev local,security_model=passthrough,id=fsdev1,path=/datapool/data -device virtio=virtio-9p-pci,id=fs1,fsdev=fsdev1,mount_tag=datapool,bus=pci.0,addr=0x4

De host heeft de mogelijkheid om een lets encrypt cert te regelen, maar kan je die ook doorzetten naar je vm's? ook gewoon de mount delen en in de VM oppakken en evt omzetten naar een bruikbaar certificaat voor de applicatie?

[FireDrunk]

Bestaat /datapool al in de container?

Dat let's Encrypt certificaat is alleen voor de beheer GUI.

[maomanna]

ik heb /datapool toegevoegd in de /etc/fstab met dezelfde parameters als de andere 9p.

[FireDrunk]

Ik bedoel: Bestaat de map datapool al in de container waar je het naar toe mount.
Als die directory namelijk niet bestaat, kan de mount niet gemaakt worden.

[maomanna]

de map wordt automatisch gemaakt nadat ik die heb toegevoegd in fstab.

[skdevil]

Ik ben bezig met een cluster waarbij 1 server (hoofserver) in een DC staat en de andere 2 op een andere locatie.
Via tunnel communiceren ze met elkaar en zitten ze in een HA groep.

Wanneer de 2 servers uitvallen op locatie B gaan de VM's op locatie A uit.
Dit zal (denk ik) komen door quorum? Kan ik locatie A gewoon 2 i.p.v 1 vote geven om dit op te lossen?

[MewBie]

Nee, dan heb je kans op split brain als de netwerkverbinding weg valt.

[maomanna]

FireDrunk schreef op donderdag 21 maart 2019 @ 16:38:
Bestaat /datapool al in de container?

Dat let's Encrypt certificaat is alleen voor de beheer GUI.

Inmiddels een simpel scp script gemaakt die het ssl cert naar de VM's stuurt. De VM handelt het verder af naar de apps die het nodig hebben.

[skdevil]

MewBie schreef op vrijdag 22 maart 2019 @ 12:42:
Nee, dan heb je kans op split brain als de netwerkverbinding weg valt.

Zijn er andere opties? Het is niet echt acceptabel dat de hoofserver ermee stopt wanneer het backup deel down gaat.

[MewBie]

skdevil schreef op vrijdag 22 maart 2019 @ 21:13:
[...]


Zijn er andere opties? Het is niet echt acceptabel dat de hoofserver ermee stopt wanneer het backup deel down gaat.

Je beste kans is waarschijnlijk de Auto Tie Breaker functie en bijbehorende settings, eventueel in combinatie met Last Man Standing.

Maar dat zijn settings waar je je heel erg goed in moet inlezen en een goede analyse moet maken voor hoe je wilt dat je servers zich gedragen als er 1 of meerdere down gaan.
Je loopt het risico dat je de problemen alleen maar groter maakt en het zijn geen settings die in de Proxmox GUI beschikbaar zijn.

De beste oplossing is natuurlijk zorgen dat je hoofdservers normaal quorum hebben als het backup gedeelte down gaat.

[ Voor 8% gewijzigd door MewBie op 22-03-2019 22:40 ]

[skdevil]

MewBie schreef op vrijdag 22 maart 2019 @ 22:37:
[...]

Je beste kans is waarschijnlijk de Auto Tie Breaker functie en bijbehorende settings, eventueel in combinatie met Last Man Standing.

Maar dat zijn settings waar je je heel erg goed in moet inlezen en een goede analyse moet maken voor hoe je wilt dat je servers zich gedragen als er 1 of meerdere down gaan.
Je loopt het risico dat je de problemen alleen maar groter maakt en het zijn geen settings die in de Proxmox GUI beschikbaar zijn.

De beste oplossing is natuurlijk zorgen dat je hoofdservers normaal quorum hebben als het backup gedeelte down gaat.

Ik heb even zitten lezen maar dit gaat boven mijn kennis.
De hoofdserver is er maar 1. Is het een optie om binnen proxmox een vm met proxmox te draaien en deze in het cluster te gooien (dan hebben beide locaties 2 nodes) het is puur voor 1 VM welke naar de andere locatie gemigreerd moet worden wanneer locatie A down gaat.

[Dutch2007]

Weet iemand of d'r nog "leuke dingen' komen in proxmox VE 5.4?

Kwam dit tegen:

https://blog.swineson.me/...5-4-online-edit-hostname/

Proxmox VE 5.4 does not stop to modify the host name
Comment
Fix a broken Proxmox VE today. When you open the web management panel, the two nodes that were originally working on a single node are displayed, but the corosync is not running. Even more amazing is that one of the nodes shows the local storage pool, the other node shows the virtual machine of the machine, and various state APIs are good and bad. After checking, it was found that the host name of this machine was changed, but some settings of PVE were not synchronized, which caused various problems in the API. Here are the shortcomings of PVE: some places are over-designed (for example, using DNS queries to find all nodes), and some places are not considered (for example, the host name is not synchronized with the system), and there are few documents in some places.

After research, the single-node PVE modification host name is fairly simple, just need to synchronize the configuration files of several different places. As for the clustered PVE host, my suggestion is to be able to toss as little as possible, after all, the body is the most important.


Linux standard configuration
First modify /etc/hostname, which is the hostname setting location for all Linux systems.

Then, PVE requires that the host name resolved on the local machine can be resolved to the local network card IP other than 127.0.0.1 and ::1. So we need to modify /etc/hosts, delete the record of the original hostname, and add a new record:

192.0.2.2 new-hostname.example.org new-hostname
Proxmox Cluster file system
The PVE configuration file is stored on a file system mounted by FUSE. In a multi-node cluster, the contents of this file system are automatically synchronized between nodes. After changing the hostname, we need to let PVE find the corresponding configuration.

Remember to back up the entire nodes folder before the operation - this file system is in sync (even if your PVE is a single node), if there is an access violation during the move of the file, the file may be lost, you need to manually overwrite again .

First kill the file synchronization service and force local data to be the authority:

Systemctl stop pve-cluster
Pmxcfs --local
Then look at how the battle is:

Ls /etc/pve/nodes/
If you are lucky, there is only one folder with the same name as the old host. Then just copy (can't move) the file and delete the source file:

# make a backup!
Cp -r /etc/pve/nodes/old-hostname /tmp/old-hostname
# we use cp here since pmcxfs doesn't allow moving non-empty folder
Cp -r /etc/pve/nodes/old-hostname /etc/pve/nodes/new-hostname
Rm -r /etc/pve/nodes/old-hostname
If you are not lucky, there are already two folders named after the old host name and the new host name. Then you have to manually merge the files. I deleted the folder with the new host name as the name, and directly overwritten the folder with the old host name. It seems that nothing happened.

After determining that there is only one folder with the same name as the new host name under nodes, we need to update some soft links in this file system. These soft links are user-unwritable and are automatically configured when the file synchronization service starts. So we restart the file synchronization process directly:

Killall pmxcfs
Systemctl restart pve-cluster
RRDcache
Systemctl stop rrdcached
Cd /var/lib/rrdcached/db
Cd pve2-node
Rm new-hostname
Mv old-hostname new-hostname
Cd ../pve2-storage
Rm -rf new-hostname
Mv old-hostname new-hostname
Systemctl start rrdcached
There will be some log replay errors when restarting the service, because the file name has changed and can be ignored.

API server
The API and some reverse proxy depend on the hostname to find the corresponding host (even if your PVE is a single node), so we have to restart them and have them reload the correct configuration.

Systemctl restart pvedaemon
Systemctl restart pvestatd
It seems that some health check daemons do not update the data immediately and may have to wait for about five minutes.

Aftercare work
Pool configuration may be lost
User permissions may be lost
This entry was posted on March 24, 2019. Belongs to the Proxmox VE classification.

toon volledige bericht

[maomanna]

Kek schreef op woensdag 20 maart 2019 @ 14:13:
[...]


Snap ik dat je een mountpoint van je host beschikbaar wilt maken in een VM? ik doe dan zelf met 9p (plan 9 FS)

daar de passthrough van meerdere zpools niet lukte, heb ik de handleiding gevolgd van qemu. Alle zpools gemount in 1 map en die map als mountpoint benoemd.ook dat lukte niet. de foutmelding is /poolmount special mount does not exist

hoe krijg ik meerdere mounts door naar de vm's?
is opgelost.

[ Voor 7% gewijzigd door maomanna op 01-04-2019 13:48 ]

[Kaspers]

Beste geinig, dat zabbix. Je kunt leuke metrics uit proxmox en guests (lxc's in mijn geval) mee halen. Met grafana ziet t er ook wel netjes uit:

[Mayco]

Ik liep vandaag tegen het probleem dat als ik een TCP connectie van een LXC container of QEMU vm naar mijn proxmox host zelf open, dat deze na 30 seconden timeouten, ook al gaat er data over.

Hoe ik het reproduceer:

1. Op de proxmox host zelf inloggen en daar nc -l -p 9000 doen. Dit laat netcat luisteren op poort 9000.
2. Op een container of vm die op die proxmox host draait nc proxmox.local 9000 uitvoeren. Dit laat netcat connecteren naar poort 9000, zodat er een TCP connectie openstaat. (proxmox.local uiteraard vervangen door het IP van je proxmox server)
3. Text die je nu intypt in de terminal van de container, zal je (na een enter) zien verschijnen op de terminal van de proxmox host, maar na 30 seconden zie je niets meer verschijnen.

Vanaf een externe host blijft de sessie gewoon openstaan, alsook vanaf localhost. Ik kan het elke keer reproduceren, is dit bij jullie ook zo?

Ik kwam het tegen toen ik wou spelen met prometheus in een lxc en via node_extractor mijn proxmox host wou uitlezen, maar deze gaf vele timeouts.

[Aesculapius]

Kaspers schreef op woensdag 1 mei 2019 @ 00:19:
Beste geinig, dat zabbix. Je kunt leuke metrics uit proxmox en guests (lxc's in mijn geval) mee halen. Met grafana ziet t er ook wel netjes uit:

[Afbeelding]

[Afbeelding]

[Afbeelding]

Wow, nice! Kan je toelichten hoe je dit hebt gemaakt? Push je alle data naar een Influx-db o.i.d. of lees je met Grafana rechtstreeks Zabbix uit?

[Kaspers]

Aesculapius schreef op woensdag 1 mei 2019 @ 00:43:
Wow, nice! Kan je toelichten hoe je dit hebt gemaakt? Push je alle data naar een Influx-db o.i.d. of lees je met Grafana rechtstreeks Zabbix uit?

Ik lees Zabbix inderdaad middels een web-api uit met Grafana. Dat werkt vooralsnog prima. Ik heb zabbix draaien als docker container in een aparte LXC-guest. Ik had al een aantal LXC's met docker (nested, unprivileged, dat werkt voor mij prima), maar heb er bewust voor gekozen Zabbix in een aparte te draaien.

Op iedere LXC guest draait de standaard Zabbix agent. En in het geval van een LXC met docker, draait deze agent, die voorziet in het uitlezen van individuele docker containers.

Ik heb pve ongeveer zo ingedeeld:

code:

PVE Host
|__ "dns" (LXC met docker daemon, privileged, nested)
       |__ pi-hole
       |__ cloudflared (DoH)
|__ "docker" (LXC met docker daemon, privileged, nested)
       |__nodered
       |__dsmr+dsmrdb
       |__zigbee2mqtt
       |__grafana
       |__transip_dyndns
       |__traefik
       |__homeassistant
       |__mosquitto
       |__dockbix-agent
|__"plex" (LXC)
|__"nzbd" (LXC met sabnzbd)
|__"vpn" (LXC met wireguard, unprivileged)
|__"zabbix" (LXC met docker)
       |__zabbix-appliance
       |__zabbix-agent

[FireDrunk]

Dat kan je toch ook allemaal zien met netdata? Dan kan je met Prometheus het netdata endpoint weer uitlezen.

Een zabbix agent in je LXC containers is natuurlijk zwaar overkill... In principe zou je host agent dat prima moeten kunnen uitlezen, het is immers een 'container'.

[Kaspers]

FireDrunk schreef op woensdag 1 mei 2019 @ 10:29:
Dat kan je toch ook allemaal zien met netdata? Dan kan je met Prometheus het netdata endpoint weer uitlezen.

Geen ervaring met netdata, dus ik kan 't niet voor je bevestigen. Zelf tevreden gebruiker?
Kun je van de docker containers en lxc's de individuele (netwerk) loads ermee uitlezen, door de tool louter op de proxmox host te draaien?

Edit: ik het 't even geprobeerd. Leuke tools idd. Integratie met prometheus werkt idd soepel icm Grafana.
Als ik netdata op de pve host draai worden idd de LXC's gevonden:



Maar de invididuele docker containers helaas niet.
Ik heb vervolgens tevens een netdata service als docker container gedraaid binnen de docker LXC. De individuele netwerken van de docker containers kan ik nu ook monitoren. Individuele cpu load (nog) niet.

Jep, dit werkt idd ook prachtig. Dank @FireDrunk, heb alle rommel overgezet naar netdata en prometheus en de zabbix-agents opgeschoond.

[ Voor 86% gewijzigd door Kaspers op 03-05-2019 16:40 ]