Het grote Proxmox VE topic

[A1AD]

Dutch2007 schreef op zaterdag 24 maart 2018 @ 01:54:
[...]


Terwijl het niet zooooooo lastig is

1) download de template van distro die je wil (ik debian9/ubuntu16.04)
2) maak de LXC container aan
3) ga naar /etc/pve/nodes/"servernaam"/lxc (via bijv filezilla)
4) zet er 1 extra regel in

code:

mp0: /storage1,mp=/mnt/mp0

Dan maak je op de LXC container een koppeling tussen de LXC container en de PVE Host

@host /storage1 (mount locatie)
@LXC100 (standaard naam 1e LXC host) /mnt/mp0


Herhaal dit voor evt je download tool sabnzb/nzbget en je tooltjes zoals bijv sonarr/radarr and the likes and its working

oh well

Totaal ziet dat Conf file er dan als volgt uit

code:

arch: amd64
cores: 2
hostname: lxc-server-naam-eigen-voorkeur
memory: 1024
mp0: /storage1,mp=/mnt/mp0
net0: name=eth0,bridge=vmbr0,firewall=1,hwaddr=AA:BB:CC:DD:EE:FF,ip=dhcp,ip6=auto,type=veth
onboot: 1
ostype: ubuntu
rootfs: local-lvm:vm-100-disk-1,size=8G
swap: 512

Dat is toch wat hij zegt? Buiten dan dat hij een Samba turnkey gebruikt voor zijn lxc samba services te doen.

[ Voor 3% gewijzigd door A1AD op 24-03-2018 09:36 ]

[dcm360]

In aanvulling daarop, ik ben van mening dat het correct inregelen van file-sharing ook het lastigere deel is vergeleken met het opzetten van de omliggende container. Daarvoor is de Turnkey appliance een mogelijke oplossing die veel werk uit handen neemt en een veelgebruikt controlepaneel aanbiedt.

Zelf heb ik Samba ingericht met Yast, gekoppeld aan LDAP (ook ingericht met Yast). Dat levert mij vooral als voordeel op dat dezelfde accounts ook gebruikt kunnen worden voor de VPN, voor SSH en voor beheer van Proxmox. Sommige van mijn huisgenoten hebben (of voor degene met een eigen Proxmox-machine nu hadden) wat containers voor eigen doeleinden, en door middel van de LDAP-koppeling kunnen zij met hun eigen inloggegevens hun eigen container beheren in de webinterface van Proxmox.

ComTech schreef op vrijdag 23 maart 2018 @ 21:06:
Ik ben nu een weekje met proxmox aan het testen heb een nieuwe SSD erin gezet als bootdisk en er staan wat kleine VM's op.(ubuntu domoticz pi-hole owncloud/nextcloud.
Heb een 2 disk mirror zfs pool waar de grote opslag op staat, NAS functie d.m.v een turnkey file server wat overigens uitstekend werkt (tot nu toe )
Nu merk ik dat na een week de SSD smart value wearout al op 1% staat.
Is dit normaal of kan ik hier iets aan doen?

Voor het geval je ZFS op de SSD hebt, heb ik wel ervaring mee ja: dcm360 in "Het grote Proxmox VE topic"
Mogelijke oplossingen zijn pogen zoveel mogelijk het aantal writes te beperken, een SSD te gebruiken die beter tegen writes kan (onder de aanname dat je een goedkope consumenten-SSD hebt) of Proxmox niet op ZFS installeren.
Dat laatste werkt sowieso, de ondertussen vaker genoemde huisgenoot van mij heeft dat gedaan en heeft na een paar weken nog geen last van wearout (totaal iets van 40GB aan writes).
Ook kan ik bevestigen dat een betere SSD werkt, ik heb een paar maanden lang Proxmox gedraaid vanaf een Micron 5100 Max, en ook die gaf nog geen wearout aan.

[ Voor 45% gewijzigd door dcm360 op 24-03-2018 11:52 ]

[Mneder]

unezra schreef op vrijdag 23 maart 2018 @ 18:16:
[...]


SSD is geen noodzaak. Wat je kunt doen is een HP Microserver met 4 HDD's kopen, daarop PVE installeren met ZFS in een striped mirror (RAID-10 equivalent) en dan je NAS in een VM ergens op die disks. PVE staat dus op dezelfde disks als je vm's. Kan prima.

ZFS is wél heel leuk en interessant en zou ik zeker voor gaan. Zet dan wel 16G (Gen8) of 32G (Gen10) in je Microserver, zeker als je van plan bent meerdere vm's te installeren. Als je weinig vm's gaat draaien is 16G zat. (Ook in een Gen10.)

Ok bedankt. Dan ga ik de sprong maar wagen. Koop een Gen10 met 32G en set proxmox erop . Eerst ermee spelen en als ik voldoende kennis heb mijn huidige nas migreren.
Adviseer je de entry model (3216) of het top model (3421) van Gen10? Met andere woorden is de extra cpu het waard?

[unezra]

Mneder schreef op zaterdag 24 maart 2018 @ 12:40:
[...]
Ok bedankt. Dan ga ik de sprong maar wagen. Koop een Gen10 met 32G en set proxmox erop . Eerst ermee spelen en als ik voldoende kennis heb mijn huidige nas migreren.

Check sowieso ook dit topic:
Het grote HP Proliant Microserver topic

Adviseer je de entry model (3216) of het top model (3421) van Gen10? Met andere woorden is de extra cpu het waard?

Als geld het probleem niet is zou ik voor het topmodel gaan. De CPU van de Gen10 is namelijk (in tegenstelling tot de Gen8) niet vervangbaar. Juist als je 'm én als NAS én als hypervisor gaat gebruiken is extra CPU power niet erg.

Mocht je ooit gaan splitsen en een aparte NAS aanschaffen, kun je altijd nog bekijken of je dat ding in zet als NAS of als hypervisor. Hij is voor beiden geschikt.

Ik ben zelf juist aan het kijken naar een kleine hypervisor met de Gen8's die ik heb als NAS. Ik heb 3 van die dingen waarvan 1 als NAS dient en de andere 2 als geclusterde hypervisor maar dat kan efficiënter. Doosje waar ik naar kijk is deze:
pricewatch: Supermicro SuperServer SYS-E300-8D

Nadeel: De prijs.
Voordeel: Extreem kleine form-factor. Ik heb nog niets kunnen vinden dat zó klein is bij een gelijk aantal netwerkpoorten. (Ding heeft zelfs 10Ge poorten.)

Overigens kun je er nog voor kiezen Proxmox zelf op een SSD te zetten maar heel veel voordelen heeft het niet dus in de setup die jij gaat gebruiken zou ik d'r 4 HDD's in stoppen en die in een mirrored stripe (RAID10 equivalent) zetten. Nadeel daarvan is dat je letterlijk de helft van je storage kwijt bent, voordeel boven RAIDZ-1 (RAID-5 equivalent) is een (veel) hogere snelheid én onder optimale omstandigheden, je 2 disks kunt verliezen zonder verlies van je data. (Het moeten wel de juiste 2 disks zijn...)

Ik weet niet in hoeverre je bekend bent met de diverse RAID levels, maar kijk hier naar:
https://www.acnc.com/raid

Ga je met ZFS aan de slag, dan is RAID-10 grofweg vergelijkbaar met een striped mirror en RAID-5 met RAIDZ-1. (RAID-6 is vergelijkbaar met RAIDZ-2 maar niet nuttig bij een 4-disk configuratie. Je verliest namelijk net zo veel storage als bij een striped mirror, de helft, maar mist de performance van een striped mirror. Het énige voordeel is dat je 2 willekeurige disks kunt verliezen ipv 2 specifieke.)

[ComTech]

dcm360 schreef op zaterdag 24 maart 2018 @ 11:19:

[...]
Voor het geval je ZFS op de SSD hebt, heb ik wel ervaring mee ja: dcm360 in "Het grote Proxmox VE topic"
Mogelijke oplossingen zijn pogen zoveel mogelijk het aantal writes te beperken, een SSD te gebruiken die beter tegen writes kan (onder de aanname dat je een goedkope consumenten-SSD hebt) of Proxmox niet op ZFS installeren.
Dat laatste werkt sowieso, de ondertussen vaker genoemde huisgenoot van mij heeft dat gedaan en heeft na een paar weken nog geen last van wearout (totaal iets van 40GB aan writes).
Ook kan ik bevestigen dat een betere SSD werkt, ik heb een paar maanden lang Proxmox gedraaid vanaf een Micron 5100 Max, en ook die gaf nog geen wearout aan.

Ik heb geen zfs op de bootdisk maar gewoon ext4 en ondanks dat is hij naar een week al 1% wearout.
Het is een samsung 860evo (256Gig).
Ik heb geen M.2 slot op het moederbord anders had ik wel een nvme disk gekocht.

Ik ben nu bezig om de installatie over te zetten op een HD heb nog zat 2.5 inch schijfjes liggen.
Is het wel mogelijk om de ssd er ook bij te zetten voor eventueel een enkele virtuele machine voor wat meer snelheid of gaat ie dan ook snel achteruit?

[dcm360]

Hm, ik zou dan eerder advies geven om het aan te zien en te kijken of het snel blijft oplopen of dat het uiteindelijk mee blijkt te vallen, al is dit zo te zien mosterd na de maaltijd. Het is op zich niet raar dat je bij een nieuwe installatie aan het begin meer schrijft dan normaalgesproken,

[ComTech]

Iemand enig idee hoe ik email notificaties in proxmox aan de gang kan krijgen?
Ik heb wel het een en ander geprutst aan postfix maar eerlijk gezegd is mail en linux niet mijn ding en snap er nog steeds weinig van

code:

echo "test message" | mail -s "test subject"[e-mail]
pve postfix/pickup[12860]: 7CCC93603EB: uid=0 from=<root>
postfix/cleanup[16675]: 7CCC93603EB: message-id=<[e-mail]>
pve postfix/qmgr[12863]: 7CCC93603EB: from=<[e-mail]>, size=387, nrcpt=1 (queue active)
pve postfix/smtp[16677]: 7CCC93603EB: to=<[e-mail]>, relay=smtp.ziggo.nl[212.54.34.9]:587, delay=0.25, delays=0.08/0/0.15/0.02, dsn=2.0.0, status=sent (250 OK id=1f4pqB-0001qw-MA)
pve postfix/qmgr[12863]: 7CCC93603EB: removed

Allerlei tutorials gevonden om smtp in te stellen via gmail m'n eigen provider enz maar helaas het helpt niks.

[Mmore]

@ComTech https://www.reddit.com/r/...mox_email_alerts/dcfihdw/ werkt voor mij (via gmail).

[ Voor 8% gewijzigd door Mmore op 09-04-2018 00:22 ]

[Koffiebarbaar]

Hoe werkt de storage van de laatste Proxmox versies?

Ik probeer een machine van WMWare naar Proxmox te verhuizen en hoe je die disk image geconverteerd krijgt naar een format waar Proxmox wat mee kan kom ik wel uit, waar ik een beetje vastloop is hoe ik die disk in Proxmox krijg op een manier dat ik er wat mee kan.

In Proxmox 3 zijn de files gewoon allemaal mapjes en bestanden waar je wel wat mee kan ergens in /var/vz/images/<vmid> of iets in die hoek (pad uit mijn hoofd opgeschreven, ongetwijfeld niet helemaal juist) maar die mappen zijn hier leeg terwijl er op zeker wel machines op draaien. Dat gaat nu dus anders.
Dat gaat nu middels LVM had ik gelezen (althans dit is de default en heb een default install gedaan), hoe werkt dat als je buiten de GUI van PX iets wil doen? (zoals een KVM maken en koppelen aan een schijf die al bestaat, kwam er tot mijn verbazing achter dat hier niet gewoon mechanismen voor bestaan binnen px GUI)
Ik moet ongetwijfeld diezelfde storage zien te mounten ergens maar als ik er op zoek heb ik het gevoel dat ik de eerste ben die er wat mee wil op deze manier...

EDIT

Zo dus: (commando's spreken redelijk voor zich)

lvcreate -V 150G --thin -n bladiebla pve/data
mkfs.ext4 /dev/pve/bladiebla
mount /dev/pve/restore /mnt/bladiebla

Je kan met mount dus ook gewoon disks mounten van machines die je hebt gemaakt en daar in rommelen vanuit de host.

Conversie van VMWare disks:

qemu-img convert /mnt/restore/home/bladiebla-flat.vmdk -O raw /mnt/restore/home/bladiebla-flat.raw

Geconverteerde resultaat naar kvm (die je dus eerst moet maken maar niet starten):

dd if=bladiebla.raw of=/dev/<storage>/vm-<vmid>-disk-1

Naderhand die storage die je hebt aangemaakt unmounten en wegkieperen.

Jammer dat die instructies van Proxmox zelf niet helemaal volledig zijn... maar ze hebben het op die conversie pagina ook over windows xp en 2003. Wellicht heeft daar al even niemand meer naar gekeken.

[ Voor 45% gewijzigd door Koffiebarbaar op 17-04-2018 16:42 ]

[ComTech]

Mmore schreef op maandag 9 april 2018 @ 00:22:
@ComTech https://www.reddit.com/r/...mox_email_alerts/dcfihdw/ werkt voor mij (via gmail).

Vandaag maar weer eens ingedoken maar ik krijg het ook met deze info niet aan de gang...
Ik krijg deze error

code:

Apr 18 21:10:02 pve postfix/smtp[21743]: E1B1B3C0D63: SASL authentication failed; server smtp.gmail.com[74.125.143.109] said: 534-5.7.14 <https://accounts.google.com/signin/continue?sarp=1&scc=1&plt=AKgnsbuL?534-5.7.14 X40zz7ToIJTYSp75OG-R7Z41PeSIDDY
Apr 18 21:10:02 pve postfix/smtp[21743]: E1B1B3C0D63: SASL authentication failed; server smtp.gmail.com[74.125.143.108] said: 534-5.7.14 <https://accounts.google.com/signin/continue?sarp=1&scc=1&plt=AKgnsbtg
Apr 18 21:10:03 pve postfix/smtp[21743]: E1B1B3C0D63: to=<[e-mail]>, relay=none, delay=1057, delays=1056/0.01/0.76/0, dsn=4.4.1, status=deferred (connect to smtp.gmail.com[2a00:1450:4013:c07::6d]:587: Network is unreachable)

Wil jij misschien je postfix/main.cf file eens posten ? (uiteraard wel prive dingen weghalen)

Of heeft iemand anders nog tips?

[strandbal]

Het viel mij op dat Proxmox standaard niet zo energie efficient staat afgesteld (de cpu stond op "max performance" en schaalde niet). Kan ik me voorstellen voor productiesystemen, maar dit is mijn homeserver, een beetje besparing is meegenomen

Heb de boel nu op powersave gezet en de CPU schaalt. Ik merk in mijn VM's niet echt een verschil of rare problemen (ook niet met de klok etc). Zijn er nog meer dingen waar ik rekening mee moet houden nu ik dit heb gedaan?

[nike]

Eindelijk een nieuwe server gekocht. Een supermicro server met 4schijven in zfs. 64 gig geheugen.
Als os heb ik proxmox geinstalleerd met de nodige vms.

Al jaren had ik een kleine pc die deze taken deed maar had maar16gig waardoor ik vaak vast liep.
Hierin had ik ook pfsense draaien, echter als ik mijn verbinding vol trok kreeg ik daar toch last van.

Met de nieuwe xeon verwacht ik dat niet, maar wellicht toch handig om mijn Pfsense op een aparte pc te installeren?

Ik dacht zelf op de kleine pc hierop ook proxmox met 1x pfsense en mijn domotica.
De rest op server 2 met proxmox.

Lastig. Maar goed het oude pc trok maar 22 wat.

[Koffiebarbaar]

strandbal schreef op woensdag 18 april 2018 @ 21:26:
Het viel mij op dat Proxmox standaard niet zo energie efficient staat afgesteld (de cpu stond op "max performance" en schaalde niet). Kan ik me voorstellen voor productiesystemen, maar dit is mijn homeserver, een beetje besparing is meegenomen

Heb de boel nu op powersave gezet en de CPU schaalt. Ik merk in mijn VM's niet echt een verschil of rare problemen (ook niet met de klok etc). Zijn er nog meer dingen waar ik rekening mee moet houden nu ik dit heb gedaan?

Heb je toevallig ook getest of dit daadwerkelijk scheelt in wat er uit de muur getrokken wordt?
Dit soort opties vind ik altijd op papier heel geestig maar als er een bepaalde performance piek nodig is gaat die volgens mij gewoon gegeven worden en je overall systeembelasting lijkt me niet echt omlaag gaan. Toch wel benieuwd wat dat in de praktijk scheelt aan verstookte kwh.

[dcm360]

Met een Opteron 3365 scheelde het mij geloof ik 50W in idle. Dus afhankelijk van hoe veel jouw server idle is (en de hardware erin) kan het op jaarbasis toch wel wat opleveren

[Koffiebarbaar]

50 Watt is zeker noemenswaardig ja. Toch grappig dat het dan toch nog best zo'n hap is.

[strandbal]

Ik kan het niet staven (heb geen betrouwbare vermogensmeter in huis) maar ik merk 't al behoorlijk aan de temperatuur van mijn CPU, dus lijkt het me in ieder geval niet verwaarloosbaar

[SadisticPanda]

strandbal schreef op woensdag 18 april 2018 @ 21:26:
Het viel mij op dat Proxmox standaard niet zo energie efficient staat afgesteld (de cpu stond op "max performance" en schaalde niet). Kan ik me voorstellen voor productiesystemen, maar dit is mijn homeserver, een beetje besparing is meegenomen

Heb de boel nu op powersave gezet en de CPU schaalt. Ik merk in mijn VM's niet echt een verschil of rare problemen (ook niet met de klok etc). Zijn er nog meer dingen waar ik rekening mee moet houden nu ik dit heb gedaan?

Vraagje....hoe. Ik heb wat in proxmox zitten rondkijken maar zie nergens opties voor powersave.

[dcm360]

Dat zit inderdaad niet verstopt in de interface (zover ik weet). Met cpupower (apt-get install linux-cpupower) krijg je tools op de console die er informatie over kunnen geven en instellingen kunnen doen. Zoals wel vaker, heeft de wiki van Arch wel een mooi overzicht.

[strandbal]

Ik heb het inderdaad op deze manier gedaan:

https://wiki.archlinux.or...scaling#Scaling_governors

Ik heb een vrij "nieuwe" Intel CPU, dus ik kan alleen kiezen voor "performance" en "powersave". Hij stond standaard op de eerste.

[ Voor 4% gewijzigd door strandbal op 30-04-2018 19:22 ]

[dcm360]

Wat fijn, ProxMox kan zichzelf niet installeren met de combinatie ZFS op nvme. Binnenkort dan maar eens gaan uitvogelen of de route via Debian upgraden naar ProxMox wel wil werken met die combinatie. Heeft meteen als voordeel dat ik zelf mag gaan partitioneren, en het direct op de hardware kan als ik die binnen heb (ik was aan het pogen om een image te bouwen in Virtualbox, en die vervolgens te klonen naar het echte systeem).

[dcm360]

Na een avondje puzzelen is bovenstaande gelukt. Als basis heb ik deze handleiding gevolgd, maar dan uiteraard wel Debian Stretch geïnstalleerd en niet Jessie. Eigenlijk ben ik niet tegen problemen opgelopen, behalve dat de live-cd booten in UEFI-mode wel zo handig is als je een UEFI-systeem gaat installeren.

[unezra]

dcm360 schreef op maandag 30 april 2018 @ 22:33:
Wat fijn, ProxMox kan zichzelf niet installeren met de combinatie ZFS op nvme. Binnenkort dan maar eens gaan uitvogelen of de route via Debian upgraden naar ProxMox wel wil werken met die combinatie. Heeft meteen als voordeel dat ik zelf mag gaan partitioneren, en het direct op de hardware kan als ik die binnen heb (ik was aan het pogen om een image te bouwen in Virtualbox, en die vervolgens te klonen naar het echte systeem).

Heb je dat al eens in het Proxmox IRC kanaal nagevraagd?
freenode/##proxmox

[dcm360]

unezra schreef op woensdag 9 mei 2018 @ 17:33:
[...]


Heb je dat al eens in het Proxmox IRC kanaal nagevraagd?
freenode/##proxmox

Nee, maar wel op het forum van Proxmox exact hetzelfde probleem gezien zonder oplossing. Sowieso wou ik al een aangepaste partitie-layout, waardoor de keuze voor installeren op een Debian-installatie toch al meer voor de hand lag.

[unezra]

dcm360 schreef op woensdag 9 mei 2018 @ 17:38:
[...]

Nee, maar wel op het forum van Proxmox exact hetzelfde probleem gezien zonder oplossing. Sowieso wou ik al een aangepaste partitie-layout, waardoor de keuze voor installeren op een Debian-installatie toch al meer voor de hand lag.

Fair enough.

Ze kunnen in ##proxmox ook wat nukkig zijn moet ik zeggen. Het is een onofficieel support kanaal, maar ehm, er zitten wat mensen met gebruiksaanwijzing zeg maar.

[ComTech]

Ik heb eens eerder iets gepost over de wearout van m'n SSD (samsung 860 evo) die in 1 week 1% wearout had.
Nu heb ik een betere SSD geplaatst (Samsung NvMe) in de smartwaardes zie ik geen wearout maar wel enorm veel writes.
Dit kan toch ook niet goed zijn voor de levensduur.
148 Gb in 4 dagen dat is 37 Gb per dag.
Server staat meest van de tijd uit z'n neus te eten.
Draaien 3 lxc containers op (pi-hole turnkey fileserver en sabnzbd) en 3 vm's 2x ubuntu voor domoticz en owncloud en een xpenology vm).
Meeste vm's maken gebruik van de 4 disk zfs pool (raid 1-0).
Hoe kan de nvme disk dan zoveel data per dag schrijven?

code:

6-5-2018 16:51
----------------------------------------------------------------------------------------------------
Data Units Read:                    764,874 [391 GB]
Data Units Written:                 337,972 [173 GB]
----------------------------------------------------------------------------------------------------
10-05-2018 11:41
----------------------------------------------------------------------------------------------------
Data Units Read:                    787,511 [403 GB]
Data Units Written:                 627,979 [321 GB]

[MaXX99]

Ik ben zelf ook al een hele tijd aan het uitkijken naar een Proxmox setup.
Nu draai ik eigenlijk vrij veel op Docker op mijn Synology NAS, 2 standalone machines en enkele Pi's.
Mijn Synology begint wat op leeftijd te komen en mijn huidige cloud backup oplossing werd te duur, dus kijk ik eigenlijk een beetje uit naar mogelijkheden om alles onprem te houden (of eventuele naar backblaze)

Ik zou mijn Proxmox setup dus ook als NAS willen gebruiken ( Proxmox op een bare metal ZFS ofzo?).
Het gebruik hiervan zou als volgt zijn :

- Algemeen file serving + cloud sync
- Streaming & Transcoding (max 2 a 4 streams simultaan)
- Backup naar de Synology + evt. Cloud

Wat virtualisatie betreft had ik graag volgende dingen op deze machine gezet :

- PfSense op een 400 Mbps lijn + enkele VPN's (dus met AES)
- Een Domoticz/Openhab/Home Assistant installatie
- Een Linux/Windows VM voor fotobewerkingen op 24 MP RAW images(via RDP of X)
- Een Linux/Windows VM voor algemene office apps
- Enkele Docker containers of eventueel ook via KVM:

• 2 x Odoo
• Enkele MariaDB's en Postgresql's
• Asterisk
• Zonemider (8x 4 tot 12 MP beveiligingscamera's met beeldanalyse)

+ enkele testmachines en playgrounds

Enkele vereisten:

- rackmount
- future proof (voldoende expansieruimte voor RAM & Storage
- low power maar wel met voldoende punch

Ik had al gedacht aan volgende
- een Supermicro 4U 486 chassis (24 hotplug disks op een SAS2 backplane)
- een Denverton C3958/C3858 of Epyc 3000 of Threadripper CPU of ... ?
- ....

Ik ben nog ver van een finale setup uiteraard, maar ik worstel een beetje met de requirements. Enige hulp is dus meer dan welkom om me wat wegwijs te maken.

Thx!

[unezra]

@MaXX99 Wat is je budget, hoe veel storage moet er in?

Als je je NAS op dezelfde machine wil combineren zou ik een vm daar voor inzetten die als NAS dient voor je netwerk met daarop FreeNAS oid. Dus niet op de hypervisor zelf gaan klooien.

Oh, let er op dat je als je op ZFS draait, je een vdev niet kunt vergroten. Je kunt wel een extra vdev aanmaken én de disks in-place, zonder dataverlies, vervangen door grotere exemplaren.

https://pthree.org/2012/1...inistration-part-i-vdevs/

[ Voor 34% gewijzigd door unezra op 04-07-2018 14:07 ]

[MaXX99]

Budget dacht ik aan max 3K maar minder mag altijd uiteraard
Wat sorage betreft zou 10 Tb netto meer dan genoeg moeten zijn, weliswaar in een R6 of ZFS+2 of equivalente setup ...

De NAS had ik graag ook op de proxmox gezet ja. Maar de mogelijkheden hierrond zijn legio en de adviesen op het net spreken elkaar enorm tegen ....

[A1AD]

MaXX99 schreef op woensdag 4 juli 2018 @ 14:09:
De NAS had ik graag ook op de proxmox gezet ja. Maar de mogelijkheden hierrond zijn legio en de adviesen op het net spreken elkaar enorm tegen ....

Inderdaad! Ik ben voor ZFS op de host te beheren en een mount van de "NAS" dataset naar een LXC waar je dan SAMBA zijn ding laat doen.

Werkt al jaren perfect hier!

(toch zeker voor AIO home gebruik)

[ Voor 4% gewijzigd door A1AD op 04-07-2018 14:26 ]

[unezra]

MaXX99 schreef op woensdag 4 juli 2018 @ 14:09:
Budget dacht ik aan max 3K maar minder mag altijd uiteraard
Wat sorage betreft zou 10 Tb netto meer dan genoeg moeten zijn, weliswaar in een R6 of ZFS+2 of equivalente setup ...

De NAS had ik graag ook op de proxmox gezet ja. Maar de mogelijkheden hierrond zijn legio en de adviesen op het net spreken elkaar enorm tegen ....

Ik denk dat er 2 goede scenario's zijn:
- Losse NAS met daaraan een losse PVE hypervisor
- 1 doos, met PVE als hypervisor en een NAS vm d'r op

Qua RAIDlevel: Mirrored stripe.
Resilveren gaat dan het snelste en in een optimaal scenario kun je 2 disks verliezen, sowieso 1. Sneller dan RAIDZ-1 of RAIDZ-2. Wel verlies je 50% van je capaciteit.

Als ik zelf een nieuwe NAS in zou richten met meer dan 4 drivebays, zou ik gaan voor telkens sets van 4 disks en dan per 4 disks uitbreiden. Heb je geen aaneengesloten storage maar da's zelden écht nuttig. Hooguit leuk voor je e-penis. Met 2 arrays heb je effectief 4 disks die je optimaal kunt verliezen, 2 sowieso zolang het maar 1 disk per array is.

Zorg wel voor voldoende geheugen. 1G per netto T opslag is bullshit, dat is lang geleden door de ZFS developers ontkracht. Paar G en dat tunen is wel zinvol. Caching op SSD is leuk, maar start daar mee als de performance achter blijft. Je kunt altijd SSD's toevoegen.

A1AD schreef op woensdag 4 juli 2018 @ 14:25:
[...]


Inderdaad! Ik ben voor ZFS op de host te beheren en een mount van de "NAS" dataset naar een LXC waar je dan SAMBA zijn ding laat doen.

Werkt al jaren perfect hier!

(toch zeker voor AIO home gebruik)

Da's as such inderdaad ook nog een vrij nette oplossing.
Sowieso géén Samba op je hypervisor, die wil je schoon houden. Samba op een vm, met een directe mount van een dataset is wel vrij netjes. (Maar dat is default als je geen gebruik maakt van disk images, wat wel mijn persoonlijke voorkeur heeft.)

[ Voor 18% gewijzigd door unezra op 04-07-2018 14:27 ]

[A1AD]

unezra schreef op woensdag 4 juli 2018 @ 14:26:
[...]

Da's as such inderdaad ook nog een vrij nette oplossing.
Sowieso géén Samba op je hypervisor, die wil je schoon houden. Samba op een vm, met een directe mount van een dataset is wel vrij netjes. (Maar dat is default als je geen gebruik maakt van disk images, wat wel mijn persoonlijke voorkeur heeft.)

Ik vind doorgeven van disks/HBA's aan een KVM maar niets op een low power thuis servertje. Al om te beginnen zijn de mannen van FreeNAS er allergisch aan

[unezra]

A1AD schreef op woensdag 4 juli 2018 @ 14:36:
[...]
Ik vind doorgeven van disks/HBA's aan een KVM maar niets op een low power thuis servertje. Al om te beginnen zijn de mannen van FreeNAS er allergisch aan

Ik werk het liefst met disk images overal, gewoon qcow2. Maar het is wel foutgevoeliger en minder snel.

Op dit moment heb ik een losse NAS staan met FreeNAS en een PVE hypervisor. Beiden Microservers met 16G. Ik neig er naar dat ooit te consolideren en FreeNAS op een VM te zetten. Scheelt complexiteit. Snelheid heb ik toch niet écht nodig thuis. Het is wel minder flexibel.

[A1AD]

unezra schreef op woensdag 4 juli 2018 @ 14:40:
[...]

Ik neig er naar dat ooit te consolideren en FreeNAS op een VM te zetten. Scheelt complexiteit. Snelheid heb ik toch niet écht nodig thuis. Het is wel minder flexibel.

Ik heb een hele tijd een FreeNAS VM op ESXi gehad, HBA doorgegeven aan de VM zodat FreeNAS rechtstreeks aan de schijven kon. Ook nooit echt problemen mee gehad, maar dan heb je weer VT-d + extra HBA nodig voor de passthrough.
Baremetal ZFS op de Proxmox host en mounten naar een LXC is in mijn ogen de meest elegantste optie, snelheid/betrouwbaarheid en flexibiliteit En dit kan zonder VT-d (draai nu met een i3tje)

Ik mis wel de FreeNAS omgeving een beetje maar eens je SAMBA op punt staat is er geen omkijken meer aan.

unezra schreef op woensdag 4 juli 2018 @ 14:40:
[...]
Ik werk het liefst met disk images overal, gewoon qcow2. Maar het is wel foutgevoeliger en minder snel.

Buiten mijn NAS ZFS heb ik een extra SSD als datastore, dat hoeft dan geen ZFS te zijn (de backups gaan naar de ZFS dataset)

[ Voor 17% gewijzigd door A1AD op 04-07-2018 14:58 ]

[jinglewood]

Beste Proxmox experts/fanatiekelingen,

Door advies uit deze post ben ik hier terecht gekomen: ESXi FreeNAS all-in-one server

Op dit moment heb ik een zfs pool via FreeNAS. Omdat ik allerlei langdurige en uitgebreide data-migratie wil voorkomen is mijn vraag of ik deze pool simpelweg kan importeren binnen Proxmox?
Helaas ben ik nog een behoorlijk noob als het gaat om Proxmox (NB: geen hands-on ervaring) en ben ik niet verder gekomen dan globaal de handleiding doornemen.

Als ik zo op het internet rondkijk zijn er mensen die zeggen dat het een kwestie van export en import is, maar er zijn ook mensen die direct aangeven dat dit onmogelijk is vanwege verschil in feature flags en indien er sprake is van geli disk encryptie.
Mijn vragen zijn daarom als volgt:

1. Is het inderdaad een kwestie van export en import wanneer je overstapt van FreeNAS naar Proxmox?
2. Is een import ook mogelijk wanneer de disks initieel encrypted zijn?
3. Als er sprake is van een verschil in feature flags, is er dan iets te doen waardoor het alsnog te importeren is?

Algemenere vragen:
4. Moet je voor het aanmaken van VM's altijd eerst een zgn. cluster maken of kan je dat direct doen op een opslagmedium? Uit de handleiding leek het nu net alsof ik eerst een cluster moet maken voor al jouw machines, maar wellicht begrijp ik dat verkeerd.
5. Klopt het dat het aanmaken van CIFS/NFS shares in de nieuwste versie van Proxmox met een plugin heel snel geregeld kan worden? Zoja, is het dan ook heel makkelijk om samba conf files aan te passen zodat bv bepaalde files niet toegestaan worden enzo?

Ik hoor het graag.
Bedankt alvast!

[dcm360]

@jinglewood Zover ik kan vinden werkt geli niet op Linux, dus daarmee gaat een import van een zpool op geli niet lukken (want Linux ziet geen zpool).
Een cluster is niet nodig om VM's te kunnen draaien, wat je bedoelt met direct op een opslagmedium is mij dan weer niet helemaal duidelijk maar aan de hand van de vraagstelling vermoed ik dat wat jij wil kan. De genoemde plugin heb ik geen ervaring mee verder.

[jinglewood]

dcm360 schreef op donderdag 9 augustus 2018 @ 16:38:
@jinglewood Zover ik kan vinden werkt geli niet op Linux, dus daarmee gaat een import van een zpool op geli niet lukken (want Linux ziet geen zpool).
Een cluster is niet nodig om VM's te kunnen draaien, wat je bedoelt met direct op een opslagmedium is mij dan weer niet helemaal duidelijk maar aan de hand van de vraagstelling vermoed ik dat wat jij wil kan. De genoemde plugin heb ik geen ervaring mee verder.

Bedankt voor de reactie!
Is het echter wel mogelijk wanneer de disks niet encrypted zijn of loop ik dan alsnog tegen issues aan zoals ik in mijn vorige bericht noemde?

[dcm360]

Een echt sluitend antwoord daarop heb ik niet, maar op zich zou je het gewoon kunnen proberen. In het verleden heb ik wel eens zonder problemen schijven van een ZoL-installatie uitgelezen met ZFSguru en daarna weer gebruikt in een Linux-systeem, maar dat is wel de andere kant uit natuurlijk. Een live-cd zou op dit punt handig zijn, maar ik kan er zo snel geen vinden met zfs-ondersteuning zonder dat het er nog even bij geïnstalleerd moet worden (waarbij je richting moeite al heel hard richting gewoon maar Proxmox installeren gaat, dat is zo gedaan).

[jinglewood]

dcm360 schreef op donderdag 9 augustus 2018 @ 20:20:
Een echt sluitend antwoord daarop heb ik niet, maar op zich zou je het gewoon kunnen proberen. In het verleden heb ik wel eens zonder problemen schijven van een ZoL-installatie uitgelezen met ZFSguru en daarna weer gebruikt in een Linux-systeem, maar dat is wel de andere kant uit natuurlijk. Een live-cd zou op dit punt handig zijn, maar ik kan er zo snel geen vinden met zfs-ondersteuning zonder dat het er nog even bij geïnstalleerd moet worden (waarbij je richting moeite al heel hard richting gewoon maar Proxmox installeren gaat, dat is zo gedaan).

Geen probleem. Ik heb het idee dat inderdaad gewoon op een andere hd (buiten huidige OS disk) even proxmox moet installeren en daarna gewoon moet kijken of ik de 4 disk pool kan importeren. Zoniet, dan heb ik gewoon pech en moet ik toch een data migratie starten

[Edd]

@jinglewood Het ligt volgens mij aan de features die wel/niet beschikbaar zijn in FreeNas en Proxmox.
Ik kan mij herinneren dat ik zonder issues dit weleens gedaan heb.
Maar misschien is het handiger om hiervoor even in Het grote ZFS topic te struinen of je vraag daar te plaatsen als je uitsluitsel wil.
In feite draait Proxmox gewoonweg ZFS on Linux (ZoL).

Maar bij dit soort acties maak ik wel altijd een backup/kopie van de data. Dan weet ik zeker dat ik het nog ergens heb staan, mocht het mis gaan.

[26779]

Even een vraag (voor mijn gemoedsrust):
Op een basisschool heb ik een server draaien waar plain Ubuntu 14.04 met qemu-KVM op draait. Hierop 2 VM's.
Nu wil ik dezelfde hardware gaan gebruiken en Ubuntu met KVM vervangen voor ProxMox5.2 (vooral omdat Ubuntu 14.04 volgend jaar EOL wordt verklaard)
Mijn idee is:
Ik breng de VM's down
De images van /var/lib/libvirt/images kopieer naar een tijdelijke lokatie,
[paranoia mode] installeer proxmox 5.2 op een testmachine
kopieer de VM's naar de testmachine en test of ze draaien zoals op de Ubuntu KVM server
testmachine weer uitzetten[/paranoia mode]
ProxMox installeren op de server
De images terugkopieren naar de server op de lokatie voor de nieuwe images,
2 nieuwe VM's aanmaken met de images als Vdisk. vdisks die even groot zijn als de te 'oude' VM's
De qcow2 images mporteren via convert commando: qemu-img convert -O raw -p -n source.qcow2 rbd:vmpool/vm-101-disk-1 (gevonden via proxmox forum )
En in geval van ZFS op proxmox de qcow converteren naar raw, vervolgens de image via dd in de nieuwe VM zetten....

Ben ik er dan?

[ Voor 39% gewijzigd door 26779 op 10-08-2018 11:31 ]

[jinglewood]

Edd schreef op donderdag 9 augustus 2018 @ 22:35:
@jinglewood Het ligt volgens mij aan de features die wel/niet beschikbaar zijn in FreeNas en Proxmox.
Ik kan mij herinneren dat ik zonder issues dit weleens gedaan heb.
Maar misschien is het handiger om hiervoor even in Het grote ZFS topic te struinen of je vraag daar te plaatsen als je uitsluitsel wil.
In feite draait Proxmox gewoonweg ZFS on Linux (ZoL).

Maar bij dit soort acties maak ik wel altijd een backup/kopie van de data. Dan weet ik zeker dat ik het nog ergens heb staan, mocht het mis gaan.

Ik heb zojuist het geheel succesvol kunnen importeren. Ik snap echter niet hoe ik het voor elkaar kan krijgen om vanuit de GUI een share te maken zoals ik dat voorheen ook had met Samba/CIFS. Ik heb bv een zpool met de naam TheTank en een dataset Apps , ik zou die graag als CIFS share willen delen binnen mijn netwerk. Is daar geen makkelijke/snelle manier voor?

[MaXX99]

Mijn ProxMox setup begint op papier stilaan vorm te nemen en de eerste componenten zijn onderstussen reeds besteld. Er blijven echter nog enkele vraagtekens waar jullie mogelijk nog wat kunnen bijsturen indien nodig.

De basis gaat gevorm worden door een Dell PowerEdge T440 met volgende specs:
- CPU : Xeon Silver 4110
- RAM : DDR4 8Gb 2666 Mhz ECC Reg.
- Disk : 1* 1Tb SAS 7K200

Daar moeten uiteraard nog wat aanpassingen aan gebeuren om een ProxMox op te kunnen hosten.
De CPU is voldoende om mee te starten en kan in de toekomst naar een Dual CPU worden uitgebreid mocht dat nodig blijken.

Qua storage is er niet voldoende uiteraard.
Daarom heb ik reeds een Intel Optane 900P 280 Gb besteld om de ZIL en de SLOG op te zetten, samen met de swap en eventueel ook al boot disk te dienen. Voorlopig is er maar 1 exemplaar van maar mogelijk wordt deze in de toekomt verdubbeld voor mirror en stripe doeleinden.
Voor de mass storage dacht ik eerst een 4tal HGST HE10 SAS te zetten, maar de prijs van deze schijven is vrij hoog uiteraard. Bovendien zou il om mijn ZFS volume uit te breiden met extra schijven eerst alles moeten offloaden en een nieuwe array bouwen met 8 schijven.
Ik zou dus liever direct met 8 schijven aan de slag gaan. Qua verbruik zijn de WD RED nog steeds zeer goed. Mijn voorkeur gaat nu dan ook uit naar 8 x WD RED 4TB.
Ik twijfel wel nog een beetje of ik hier een RAIDZ2 van maak of een Striped mirror.
Bij een RAIDZ2 heb ik 5 data disks + 2 parity + 1 spare.
Bij een Striped Mirror zou ik 3 of 4 data disks hebben. In dat laatste geval echter zonder spares ....

Geheugen is uiteraard veel te weinig. Met 1 CPU heb ik 10 DIMM slots ter beschikking. Ik hoop echter nog steeds dat de DDR4 prijzen drastisch zullen zakken. Ik zou bijgevolg willen starten met 1 extra 32Gb DIMM (40 Gb Totaal) en pas later willen gebruik maken van dual Memory Channel door een extra 32Gb (of meerdere) bij te voegen en de 8Gb te dumpen.

Er moet uiteraard nog wat IO bij. Hier zou ik een Quad 1 GBps Intel based netwerkkaart willen toevoegen (het moeten intels zijn omdat ik een passthrough naar een pfsense VM zou doen en deze ondersteund het best Intel NICs). Welk kaartje zouden jullie aanraden ?

Zo dat is het zowat .... alle advies en opmerkingen uiteraard steeds welkom !

[MewBie]

Is er hier iemand die ook CephFS draaiend heeft op PVE?

Op het forum is aangegeven dat de officiele implementatie er aan komt (er is kennelijk iemand mee bezig, ETA onbekend) en ik heb het al een tijdje normaal draaiend op een gevirtualiseerd cluster om te testen en ga het dit weekend op mijn server instellen en in gebruik nemen als NAS (ik gebruik alleen maar linux dus gewoon een mount via FUSE).

[k_ers]

Iemand enig idee hoe ik mijn 2de lan op mijn ASRock H370M-ITX/ac aan krijg ?!

Wil graag pfense draaien alleen krijg het niet voor elkaar.
Heb in de bios gekeken en kom er niet uit

[ Voor 14% gewijzigd door k_ers op 27-08-2018 18:04 ]

[dcm360]

k_ers schreef op maandag 27 augustus 2018 @ 18:03:
Iemand enig idee hoe ik mijn 2de lan op mijn ASRock H370M-ITX/ac aan krijg ?!

Wil graag pfense draaien alleen krijg het niet voor elkaar.
Heb in de bios gekeken en kom er niet uit

Zit hier ook nog ergens Proxmox in het verhaal, en zo ja: hoe? Het is niet echt duidelijk wat jouw doel is (want het aan krijgen van een netwerkkaart is geen doel op zich gok ik zo).

[ Voor 14% gewijzigd door dcm360 op 27-08-2018 18:40 ]

[k_ers]

sorry,
ja heb proxmox draaien
Stukje bij beetje heb nu 2 VM draaien
1x ubuntu voor domoticz
1x XPenology
En nu zou ik graag pfsense op proxmox willen draaien, diversen handleiding gevolgd alleen zitten er 2 nic op mijn motherboard alleen als ik de stekker erin steek doet deze het niet ..
In de bios gekeken verschillende instellingen..
.

dcm360 schreef op maandag 27 augustus 2018 @ 18:39:
[...]

Zit hier ook nog ergens Proxmox in het verhaal, en zo ja: hoe? Het is niet echt duidelijk wat jouw doel is (want het aan krijgen van een netwerkkaart is geen doel op zich gok ik zo).

[dcm360]

Dat klopt, want met de standaardconfiguratie van Proxmox wordt alleen de netwerkkaart aangezet waarop o.a. de webinterface draait. Je moet dus of de kaart configureren aan een bridge, of de kaart met pass through aan de vm doorgeven.

[k_ers]

het zijn 2 nic die op het motherboard zit, dus wou 1 voor lan en 1 voor wan. wat is dan verstandig? zou je me een beetje op de goede kant kunnen wijzen.

dcm360 schreef op maandag 27 augustus 2018 @ 18:48:
Dat klopt, want met de standaardconfiguratie van Proxmox wordt alleen de netwerkkaart aangezet waarop o.a. de webinterface draait. Je moet dus of de kaart configureren aan een bridge, of de kaart met pass through aan de vm doorgeven.

[dcm360]

Het verstandigste is denk ik om op zoek te gaan naar een handleiding die uitlegt hoe je pfSense kan installeren op Proxmox. Ik heb er zo snel niet één bij de hand, maar even 'proxmox pfsense' intikken in jouw favoriete zoekmachine en je komt binnen de kortste keren een goede handleiding tegen. De handleiding hoeft niet per se over de meest recente Proxmox en pfSense te gaan, zo hard zijn die twee niet veranderd de laatste tijd.

[26779]

Basic proxmox instellingen. Ga naar de proxmox webinterface. Klik je PVE node aan. Vervolgens naar System / Network
Maak voor iedere interface die je ziet een bridge aan. Je kan vervolgens met deze bridgeinterfaces bij je VM's 1 of meerdere interfaces instellen.

[dcm360]

Behalve dat een bridge misschien niet de meest praktische oplossing is voor een netwerkkaart die WAN-verkeer moet afhandelen. Zelf heb ik de keuze gemaakt om de LAN-zijde met een bridge te doen (welke al aanwezig is), en bij de WAN-zijde de netwerkkaart zelf aan de VM te geven. Hiervoor moet echter wel de hardware geschikt zijn.

[26779]

OpenVSwitch geeft verder ook nog wat mogelijkheden als je wat flexibelere wilt zijn.

[Kaspers]

Met dank aan dit topic aan de slag gegaan met PVE. Heb nu PVE draaien op een SSD, met een 2e SSD als backup target. Op SSD1 draait een VM met daarin een aantal docker containers voor home automation (home-assisstant, mosquitto, node-red). Van de VM wordt dagelijks een backup gemaakt naar SSD1, en dagelijks een backup naar STACK, die ik middels webdav heb gemount binnen PVE middels de systemd mount service.

Nu komt ik de volgende blog post tegen: https://www.servethehome....tup-with-management-guis/

Hier wordt beschreven hoe docker te draaien op Promox zelf, ipv in een VM.
Welke voorkeur geniet te tweaker? Docker containers in een aparte VM? Of juist meteen onder de PVE host? (wat uiteraard enig geheugen bepaart).

[RobertMe]

Kaspers schreef op zaterdag 8 september 2018 @ 11:08:
Met dank aan dit topic aan de slag gegaan met PVE. Heb nu PVE draaien op een SSD, met een 2e SSD als backup target. Op SSD1 draait een VM met daarin een aantal docker containers voor home automation (home-assisstant, mosquitto, node-red). Van de VM wordt dagelijks een backup gemaakt naar SSD1, en dagelijks een backup naar STACK, die ik middels webdav heb gemount binnen PVE middels de systemd mount service.

Nu komt ik de volgende blog post tegen: https://www.servethehome....tup-with-management-guis/

Hier wordt beschreven hoe docker te draaien op Promox zelf, ipv in een VM.
Welke voorkeur geniet te tweaker? Docker containers in een aparte VM? Of juist meteen onder de PVE host? (wat uiteraard enig geheugen bepaart).

Van wat ik begrepen heb (en ben me nog in Proxmox aan het verdiepen):
Proxmox js een virtualisatie platform, en LXC containers zijn een vorm om een soort van VM te draaien waarbij je een volledig OS hebt waarin je allerlei software kunt draaien. Het is eigenlijk dus een VM, alleen dan zonder het 'virtual machine'.

Docker daarentegen heeft helemaal niks weg van een VM. Docker is puur bedoelt om 1 softwarepakket te draaien in een container die je eenvoudig kunt verspreiden. Docker voldoet daarmee dus niet aan het idee van een virtualisatie platform en wordt daardoor niet ondersteund door Proxmox.

Kijkende naar jouw situatie zou het v.z.i.w. logischer zijn om een VM/LXC container te hebben waarin je alle home automation software draait. En daarnaast kun je nog een andere VM/LXC container hebben die iets compleet anders doet (bv een webserver).

Als je Docker rechtstreeks op het OS wilt draaien biedt Proxmox dus geen voordeel, en kun je net zo goed een andere Linix distributie gebruiken.

[raven22]

Kaspers schreef op zaterdag 8 september 2018 @ 11:08:
..... en dagelijks een backup naar STACK, die ik middels webdav heb gemount binnen PVE middels de systemd mount service.

Kun je uitleggen hoe je de mount gedaan hebt, want dat is mij nooit gelukt. Tenminste niet om dit mounten automatisch te laten gebeuren, en ook support bij transip had daar zo geen oplossing voor.

[Kaspers]

raven22 schreef op zondag 9 september 2018 @ 13:10:
[...]


Kun je uitleggen hoe je de mount gedaan hebt, want dat is mij nooit gelukt. Tenminste niet om dit mounten automatisch te laten gebeuren, en ook support bij transip had daar zo geen oplossing voor.

Uiteraard. Ik gebruik hiervoor de systemd.mount service, middels een mount unit file. Maak hiervoor een file aan in /etc/systemd/system/ met daarbij als filename het pad waarop je het wilt mounten (met ".mount" als extentie), dus: /usr/bla = usr-bla.mount, /stack = stack.mount

Contents:

code:

[Unit]
Description=Mount WebDAV Service
After=network-online.target
Wants=network-online.target

[Mount]
What=https://urlnaarstackhost/remote.php/webdav/
Where=/stack
Options=defaults
Type=davfs
TimeoutSec=15

[Install]
WantedBy=multi-user.target

Reload de systemd daemon:

code:

# systemctl daemon-reload

test:

code:

# systemctl start stack.mount

start 'm met het systeem automatisch op:

code:

# systemctl enable stack.mount

check status:

code:

 systemctl status stack.mount

en check de logs met:

code:

journalctl -u stack.mount

Zorg er wel voor dat je je credentials in /etc/davfs2/secrets hebt staan.

code:

https://urlnaarstackhost.com/remote.php/webdav/ <gebruikersnaam> <wachtwoord>

[raven22]

Kaspers schreef op maandag 10 september 2018 @ 09:19:
[...]


Uiteraard. Ik gebruik hiervoor de systemd.mount service, middels een mount unit file. Maak hiervoor een file aan in /etc/systemd/system/ met daarbij als filename het pad waarop je het wilt mounten (met ".mount" als extentie), dus: /usr/bla = usr-bla.mount, /stack = stack.mount

Contents:

code:

[Unit]
Description=Mount WebDAV Service
After=network-online.target
Wants=network-online.target

[Mount]
What=https://urlnaarstackhost/remote.php/webdav/
Where=/stack
Options=defaults
Type=davfs
TimeoutSec=15

[Install]
WantedBy=multi-user.target

Reload de systemd daemon:

code:

# systemctl daemon-reload

test:

code:

# systemctl start stack.mount

start 'm met het systeem automatisch op:

code:

# systemctl enable stack.mount

check status:

code:

 systemctl status stack.mount

en check de logs met:

code:

journalctl -u stack.mount

Zorg er wel voor dat je je credentials in /etc/davfs2/secrets hebt staan.

code:

https://urlnaarstackhost.com/remote.php/webdav/ <gebruikersnaam> <wachtwoord>

Top, dank je, ik ga er mee aan de slag. Heb je het in een container of VM? Ik begrijp dat je dus geen fstab regel gebruikt?

[RobertMe]

raven22 schreef op maandag 10 september 2018 @ 09:31:
[...]


Top, dank je, ik ga er mee aan de slag. Heb je het in een container of VM? Ik begrijp dat je dus geen fstab regel gebruikt?

fstab is voor zover ik weet defacto vervangen door Systemd mounts.

[Kaspers]

RobertMe schreef op maandag 10 september 2018 @ 09:32:
[...]

fstab is voor zover ik weet defacto vervangen door Systemd mounts.

Exact, zie ook: https://wiki.archlinux.org/index.php/systemd#Mounting

[Yarisken]

thx man, mij is het ook nooit gelukt om het te vinden. Had het klaar in fstab maar dit was heel instabiel. Ik ga dit zeker is testen.

[cctl01]

Ik wil graag wat meningen over of en hoe ik mijn huidige storage situatie het beste in PVE aan zou pakken of waarom ik het in PVE anders aan zou moeten pakken als in mijn huidige ESXi setup.
De ESXi server draait als volgt:
-ESXi geinstalleerd op een usb stick (gelukkig hoeft ESXi niet zo vaak te updaten en te booten)
-Alle VM's ISO's etc op een NVME SSD
-De SATA controller via HW-Passtrough aan een ubuntu VM. Deze vm maakt van 2 schijven een ZFS mirror pool voor mijn foto's en nextcloud opslag. De rest van de schijven wordt middels mergerfs tot 1 grote schijf omgetoverd.
Deze beide volumes maak ik via NFS en SAMBA beschikbaar aan de andere VM's en systemen.

Omdat ik graag ten aller tijden bij falen van mijn server via een ander systeem bij mijn data wil kunnen houd ik er niet van dat de data in een disk image staat opgeslagen.
Bij mijn huidige setup kan ik de schijven in een ander systeem plaatsen en alles uitlezen.

2 vragen die direct uit bovenstaande voortvloeien
+TL;DR
Is het mogelijk om de data "raw" naar een ZFS pool in pve te schijven?
^zo ja> kan de zfs pool aan meerdere VM's tegelijk of is dat simpelweg waar NFS voor is uitgevonden?
De rest van mijn setup is voor zo ver ik de documentatie er op na sla wel mogelijk.

[unezra]

cctl01 schreef op woensdag 3 oktober 2018 @ 21:47:
Ik wil graag wat meningen over of en hoe ik mijn huidige storage situatie het beste in PVE aan zou pakken of waarom ik het in PVE anders aan zou moeten pakken als in mijn huidige ESXi setup.
De ESXi server draait als volgt:
-ESXi geinstalleerd op een usb stick (gelukkig hoeft ESXi niet zo vaak te updaten en te booten)
-Alle VM's ISO's etc op een NVME SSD
-De SATA controller via HW-Passtrough aan een ubuntu VM. Deze vm maakt van 2 schijven een ZFS mirror pool voor mijn foto's en nextcloud opslag. De rest van de schijven wordt middels mergerfs tot 1 grote schijf omgetoverd.
Deze beide volumes maak ik via NFS en SAMBA beschikbaar aan de andere VM's en systemen.

Omdat ik graag ten aller tijden bij falen van mijn server via een ander systeem bij mijn data wil kunnen houd ik er niet van dat de data in een disk image staat opgeslagen.
Bij mijn huidige setup kan ik de schijven in een ander systeem plaatsen en alles uitlezen.

2 vragen die direct uit bovenstaande voortvloeien
+TL;DR
Is het mogelijk om de data "raw" naar een ZFS pool in pve te schijven?
^zo ja> kan de zfs pool aan meerdere VM's tegelijk of is dat simpelweg waar NFS voor is uitgevonden?
De rest van mijn setup is voor zo ver ik de documentatie er op na sla wel mogelijk.

Images zijn stock qcow2 images (default), die kun je dus via een Linux systeem gewoon mounten.

Als het echt gaat om disaster recovery zou ik die weg kiezen, wél images en mounten als het mis gaat. Anders zou ik eerder kiezen voor een losse NAS waar alles op staat, waarbij de NAS je SMB/CIFS data bevat. (Vooralsnog heb ik dat hier op die manier draaien. FreeNAS NAS met daarop mijn SMB/CIFS data én images voor mijn vm's.)

[cctl01]

unezra schreef op donderdag 4 oktober 2018 @ 07:01:
[...]


Images zijn stock qcow2 images (default), die kun je dus via een Linux systeem gewoon mounten.

Oké, helder. Dit maakt het gebruik van mergerfs direct nutteloos cq onmogelijk.

Betekent mijnsinziens ook dat ik bij gebruik van zfs, in geval van recovery, 2 keer moet mounten, eerst de zfs pool, dan nog de images.

Dedicated nas oplossing snap ik maar dan heb ik minder voordeel van pve ten opzichte van ESXi (snapshot, live migration etc).

[RobertMe]

Ik heb zelf maar heel kort geëxperimenteerd met PVE. Maar je kunt ook ZFS op Proxmox zelf gebruiken. Op het moment dat je dan VMs gebruikt kun je daarvoor ZFS volumes gebruiken die rechtstreeks gemount kunnen worden. En als je LXC/containers gebruikt wordt het gewoon rechtstreeks een ZFS dataset die je dus ook rechtstreeks kunt mounten.

LXC containers werken dus sowieso met normale files/mappen die je ook zo kunt gebruiken zonder speciale dingen. Alleen KVM VMs zullen met een soort van virtuele HDD gebruiken. Maar in het geval dat PVE zelf op ZFS draait worden dat dus weer ZFS volumes en dus block devices die op ZFS staan, en die block devices kun je ook weer gewoon mounten.

[unezra]

cctl01 schreef op donderdag 4 oktober 2018 @ 08:28:
[...]

Oké, helder. Dit maakt het gebruik van mergerfs direct nutteloos cq onmogelijk.

Betekent mijnsinziens ook dat ik bij gebruik van zfs, in geval van recovery, 2 keer moet mounten, eerst de zfs pool, dan nog de images.

Dedicated nas oplossing snap ik maar dan heb ik minder voordeel van pve ten opzichte van ESXi (snapshot, live migration etc).

Huh? Met een NAS kun je *juist* live migration en snapshots doen met PVE.
Daar heeft PVE allerlei voordelen die ESXi niet heeft, tenzij je heel veel € neer gaat gooien bij VMWare.

Nu wil ik zelf ooit naar 1 enkele server, waar ik een FreeNAS instance als vm wil gaan draaien. (PVE op een ZFS onderlaag en daarop FreeNAS als vm.) Minder apparatuur, minder stroomverbruik, minder complexiteit.

Nu heb ik 2 hypervisors en een NAS. Wel heb ik mijn cluster ontmanteld omdat je met 2 servers geen quorum kunt hebben en ze dus altijd beiden aan moeten staan. Staat 1 van de 2 uit, blijven je vm's draaien maar kun je er verder weinig meer mee. (Geen vm's starten, stoppen, etc.) Omdat deze situatie tijdelijk is, heb ik 2 losse hypervisors die geen cluster vormen.

[cctl01]

unezra schreef op donderdag 4 oktober 2018 @ 09:24:
[...]


Huh? Met een NAS kun je *juist* live migration en snapshots doen met PVE.
Daar heeft PVE allerlei voordelen die ESXi niet heeft, tenzij je heel veel € neer gaat gooien bij VMWare.

Nu wil ik zelf ooit naar 1 enkele server, waar ik een FreeNAS instance als vm wil gaan draaien. (PVE op een ZFS onderlaag en daarop FreeNAS als vm.) Minder apparatuur, minder stroomverbruik, minder complexiteit.

Nu heb ik 2 hypervisors en een NAS. Wel heb ik mijn cluster ontmanteld omdat je met 2 servers geen quorum kunt hebben en ze dus altijd beiden aan moeten staan. Staat 1 van de 2 uit, blijven je vm's draaien maar kun je er verder weinig meer mee. (Geen vm's starten, stoppen, etc.) Omdat deze situatie tijdelijk is, heb ik 2 losse hypervisors die geen cluster vormen.

Je hebt helemaal gelijk, wat ik bedoelde te zeggen is dat in mijn huidige situatie ik die opties niet kan gebruiken op mijn storage vm (virtuele nas if you wish). Dat kan ik ook niet als ik een fysieke nas neer zet uiteraard. Ik heb het nu niet over het scenario dat er iets met de data gebeurt maar meer als er iets met de (virtuele) nas gebeurt. Als de boel niet meer opstart na een update kan ik nu een snapshot terug zetten. Ik heb op dit moment 2 hypervisors draaien maar 1 is in productie de andere is voor backup (kan pfsense en email overnemen) en om mee te expirimenteren. Vm's gesynchroniseerd houden met de gratis versie van esxi is nogal een smerig en omslachtig klusje. Ik voorzie daar voordeel in met PVE. Het lijkt er op dat we soortgelijke functionaliteit zoeken, daarom vind ik het nuttig te horen hoe andere dit oplossen.

[mdbraber]

Hoi! Ik wil graag de Encryption-at-Rest features gaan gebruiken van de nieuwe ZFSonLinux 0.8 (nu RC1). In plaats van FreeNAS als storage oplossing wil ik dus ook gewoon ZFSonLinux gebruiken (commandline is prima).

Vraag: kan ik ZFSonLinux beter native op de Proxmox host gebruiken of in een VM?

Het voordeel van een VM zou ik verwachten is het beter managen van toegewezen RAM en CPU en evt. het kunnen draaien van een andere kernel / ZFSonLinux versie. Het nadeel is echter dat het non-native is met mogelijke performance issues. Iemand daar toevallig ervaring mee?

[ Voor 12% gewijzigd door mdbraber op 16-10-2018 15:49 ]

[dcm360]

Ja, daar heb ik ervaring mee. Doe het vooral maar op de host, dat is wat betreft performance stukken beter dan in een VM. Ik zie ook niet heel erg het voordeel van het willen draaien van een andere kernel of ZFS-versie, aangezien Proxmox tegenwoordig best wel goed bijblijft bij nieuwere versies.

[mdbraber]

dcm360 schreef op dinsdag 16 oktober 2018 @ 16:00:
Ja, daar heb ik ervaring mee. Doe het vooral maar op de host, dat is wat betreft performance stukken beter dan in een VM. Ik zie ook niet heel erg het voordeel van het willen draaien van een andere kernel of ZFS-versie, aangezien Proxmox tegenwoordig best wel goed bijblijft bij nieuwere versies.

Thanks. Het gaat specifiek om de nieuwe versie zoals de 0.8-RC1 die dus Encryption-at-Rest ondersteunt. Dat gaat nog niet snel in Proxmox ondersteund worden (zeker niet zolang het nog maar een RC is). Dat zou ik dus wel willen gebruiken (hoeft niet in de Proxmox interface, ook gewoon onder water is prima, alhoewel de vraag is of dat gaat werken met bijv. het invoeren van passphrases etc.)

VRAAG: ik zit een beetje te twijfelen over een Hetzner server met 1x SSD of 2x SSD voor mn rpool. Het lijkt me redelijk obvious om mn rpool dagelijks te snapshotten en in het geval van een SSD failure deze terug te plaatsen. Zie ik iets over het hoofd of kan ik toch beter de mirrored SSD config nemen (vnml. gemak / continuity in het geval van failure)

[ Voor 18% gewijzigd door mdbraber op 16-10-2018 23:36 . Reden: vraag toegevoegd ]

[Kaspers]

Vanmiddag mijn systeem uitgereid met een extra SATA controller, op een PCIe X1 sleuf. Moederbord heeft een Braswell-soc, en die kan maar 2 SATA poorten aan, en heb wat behoefte aan meer storage.

Enfin, nu blijkt dat na een boot de netwerkinterface niet meer werkt. Ik kan niet naar de machine pingen, en pingen vanuit de proxmox shell naar mijn router geeft ook time-outs. Wanneer ik de SATA controller eruit haal is het probleem verholpen. Moederbord komt uit dit systeem: https://psref.lenovo.com/...Lenovo%20S200%20Tower.pdf Ledje op de NIC is wel actief.. iemand hier een verklaring voor?

[duiveltje666]

Kaspers schreef op vrijdag 26 oktober 2018 @ 19:30:
Vanmiddag mijn systeem uitgereid met een extra SATA controller, op een PCIe X1 sleuf. Moederbord heeft een Braswell-soc, en die kan maar 2 SATA poorten aan, en heb wat behoefte aan meer storage.

Enfin, nu blijkt dat na een boot de netwerkinterface niet meer werkt. Ik kan niet naar de machine pingen, en pingen vanuit de proxmox shell naar mijn router geeft ook time-outs. Wanneer ik de SATA controller eruit haal is het probleem verholpen. Moederbord komt uit dit systeem: https://psref.lenovo.com/...Lenovo%20S200%20Tower.pdf Ledje op de NIC is wel actief.. iemand hier een verklaring voor?

Krijgt dat ding wel een ip? Zit zelf te denken aan IRQ-conflict

[Kaspers]

IP adres is statisch. Kan 'm eventueel op DhCP zetten, maar denk niet dat hij iets toegewezen gaat krijgen. IRQ conflict klinkt idd plausibel! Zal die kaart er straks weer even insteken en kijken of ik in 't BIOS een ander IRQ kan toewijzen.

[Kaspers]

Opgelost:

Het insteken van de SATA controller zorgde ervoor dat de fysieke netwerk interface veranderde van enp2s0 naar enp3s0 (was snel te achterhalen met een 'ip link show').

Toen ik in /etc/network/interface de Proxmox bridge vervolgens aan deze NIC koppelde, was 't probleem verholpen .

[ocf81]

Ik heb een vraagje over het gebruik van OVS binnen PVE. Ik heb een OVS Bond en een bridge opgezet zodat ik mijn quad port NIC kan gebruiken voor de VMs die ik wil draaien. dat lijlkt te werken. Ik wil nu aan de slag met VLANs op mijn OVS switch. Weet iemand of je daar dan perse een intport voor moet gebruiken? In de voorbeelden wordt altijd een intport gebruikt lijkt het, maar ik kan verder niet heel veel vinden over de precieze functie van de intport in het OVS stelsel

[ Voor 20% gewijzigd door ocf81 op 30-10-2018 19:05 ]

[unezra]

ocf81 schreef op dinsdag 30 oktober 2018 @ 19:04:
Ik heb een vraagje over het gebruik van OVS binnen PVE. Ik heb een OVS Bond en een bridge opgezet zodat ik mijn quad port NIC kan gebruiken voor de VMs die ik wil draaien. dat lijlkt te werken. Ik wil nu aan de slag met VLANs op mijn OVS switch. Weet iemand of je daar dan perse een intport voor moet gebruiken? In de voorbeelden wordt altijd een intport gebruikt lijkt het, maar ik kan verder niet heel veel vinden over de precieze functie van de intport in het OVS stelsel

Specifieke reden dat je OVS gebruikt en geen std. Linux bonding?

[ocf81]

@unezra Omdat ik ergens gelezen/gezien had dat voor meerdere VLANs per bond het handig was om dan OVS te gebruiken.

[unezra]

ocf81 schreef op dinsdag 30 oktober 2018 @ 19:12:
@unezra Omdat ik ergens gelezen/gezien had dat voor meerdere VLANs per bond het handig was om dan OVS te gebruiken.

Volgens mij maakt het niet uit en is std. Linux bonding eenvoudiger. Ik heb wel eens gespeeld met OVS (kort), maar vond het ingewikkelder dan nodig voor wat ik er mee wil.

Dus ben ik uiteindelijk gewoon voor std. Linux bonding gegaan. Werkt ook, voldoet, minder dat mis kan gaan dan met OVS.

[ocf81]

Ondertussen weer een paar posts tegengekomen die er sterk op hinten da je bij een normale bond je per VLAN een vmbr aanmaakt, terwijl je met OVS per VLAN een intport aanmaakt. Ik dat dat eens uitproberen.

[wimjongil]

Kaspers schreef op maandag 10 september 2018 @ 09:19:
[...]


Uiteraard. Ik gebruik hiervoor de systemd.mount service, middels een mount unit file. Maak hiervoor een file aan in /etc/systemd/system/ met daarbij als filename het pad waarop je het wilt mounten (met ".mount" als extentie), dus: /usr/bla = usr-bla.mount, /stack = stack.mount

Contents:

code:

\[Unit]
Description=Mount WebDAV Service
After=network-online.target
Wants=network-online.target

\[Mount]
What=https://urlnaarstackhost/remote.php/webdav/
Where=/stack
Options=defaults
Type=davfs
TimeoutSec=15

\[Install]
WantedBy=multi-user.target

Reload de systemd daemon:

code:

# systemctl daemon-reload

test:

code:

# systemctl start stack.mount

start 'm met het systeem automatisch op:

code:

# systemctl enable stack.mount

check status:

code:

 systemctl status stack.mount

en check de logs met:

code:

journalctl -u stack.mount

Zorg er wel voor dat je je credentials in /etc/davfs2/secrets hebt staan.

code:

https://urlnaarstackhost.com/remote.php/webdav/ <gebruikersnaam> <wachtwoord>

Offtopic, maar ontzettend bedankt hiervoor! Na een paar uur aanklooien wordt m'n Stack eindelijk automagisch gemount.

Edit: en met de volgende aanpassing in /etc/systemd/system/xxx.mount heb ik ook write access:

code:

Options=users,rw,uid=1000,file_mode=0664,dir_mode=2775,grpid

[ Voor 6% gewijzigd door wimjongil op 04-11-2018 00:59 ]

[raven22]

wimjongil schreef op zaterdag 3 november 2018 @ 22:28:
[...]


Offtopic, maar ontzettend bedankt hiervoor! Na een paar uur aanklooien wordt m'n Stack eindelijk automagisch gemount.

Edit: en met de volgende aanpassing in /etc/systemd/system/xxx.mount heb ik ook write access:

code:

Options=users,rw,uid=1000,file_mode=0664,dir_mode=2775,grpid

Binnenkort ondersteunt stack ook SFTP. Heeft dat voordelen tov webdav, ivm mounten in proxmox, of in het algemeen?

[wimjongil]

raven22 schreef op zondag 4 november 2018 @ 08:50:
[...]


Binnenkort ondersteunt stack ook SFTP. Heeft dat voordelen tov webdav, ivm mounten in proxmox, of in het algemeen?

Ik denk dat ik niet de juiste persoon ben om dit aan te vragen.

[unezra]

ocf81 schreef op dinsdag 30 oktober 2018 @ 21:18:
Ondertussen weer een paar posts tegengekomen die er sterk op hinten da je bij een normale bond je per VLAN een vmbr aanmaakt, terwijl je met OVS per VLAN een intport aanmaakt. Ik dat dat eens uitproberen.

Het is een mogelijke oplossing, maar niet nodig.

Het is "mooi" omdat het binnen PVE inzichtelijk is, maar je kunt ook gewoon 1 vmbr vlan-aware maken en in je vm config aangeven welk vlan er aan een vnic hangt.

Persoonlijk heb ik met mijn stichting wel alles uit elkaar getrokken met vmbr's, puur vanwege het overzicht. Maar, het leverde ook iets van 10 vmbr's op.

Vooralsnog vind ik OVS te ingewikkeld voor eenvoudig gebruik.

[ocf81]

unezra schreef op zondag 4 november 2018 @ 19:07:
[...]


Het is een mogelijke oplossing, maar niet nodig.

Het is "mooi" omdat het binnen PVE inzichtelijk is, maar je kunt ook gewoon 1 vmbr vlan-aware maken en in je vm config aangeven welk vlan er aan een vnic hangt.

Persoonlijk heb ik met mijn stichting wel alles uit elkaar getrokken met vmbr's, puur vanwege het overzicht. Maar, het leverde ook iets van 10 vmbr's op.

Vooralsnog vind ik OVS te ingewikkeld voor eenvoudig gebruik.

Ik ben er deze week meer mee aan de slag gegaan, en ik het het werkend gekreken - kind of.
Ik had een OVS configuratie met bond draaien op mijn untagged lan. Ik had al het plan om een apart VLAN voor de proxmox host verkeer in te richten, dus dat was mijn volgende stap. Opgezocht hoe ik dat voor elkaar kon krijgen. Dat gepoogd maar verprutst. Kreeg problemen met booten. Waarschijnlijk heb ik corosync.conf iets niet goed ingesteld, maar ik kon ik niet terugvinden wat ik moest doen. Alles maar opnieuw geïnstalleerd op alle hosts en de configuratie weer op de OVS manier ingeregeld. Alles werkend op stand-alone hosts. Werkte prima, inclusief VLANs. Maar joinen van clusters was een hell en ging steeds fout. Omdat ik niet terug kon vinden hoe ik dan weer uit de cluster kon gaan heb ik alles maar weer opnieuw geïnstalleerd. Deze keer eerst de cluster opgezet met de default instellingen (in het juiste VLAN middels poort tagging op de switch) voordat ik weer met de netwerkinstellingen aan de slag ging. Op zich kreeg ik mijn OVS config aan de praat, maar cluster sync ging steeds op zijn bek om de een of andere reden. Een uur geleden toch maar een linux bond voor mijn management interface aangemaakt op het management VLAN en dat werkt wel.

Op zich is OVS leuk, en het in de GUI ook makkelijker in te stellen, maar goed werkend krijgen is wat anders
Ook wel een beetje teleurgesteld in de werking en instelbaarheid van clusters in Proxmox. Het zou fijn zijn als je hosts kan droppen in de GUI, voor het geval een machine overlijdt o.i.d. Dat zou dingen veel makkelijker maken.

[unezra]

ocf81 schreef op zondag 4 november 2018 @ 22:52:
[...]
Ik ben er deze week meer mee aan de slag gegaan, en ik het het werkend gekreken - kind of.
Ik had een OVS configuratie met bond draaien op mijn untagged lan. Ik had al het plan om een apart VLAN voor de proxmox host verkeer in te richten, dus dat was mijn volgende stap. Opgezocht hoe ik dat voor elkaar kon krijgen. Dat gepoogd maar verprutst. Kreeg problemen met booten. Waarschijnlijk heb ik corosync.conf iets niet goed ingesteld, maar ik kon ik niet terugvinden wat ik moest doen. Alles maar opnieuw geïnstalleerd op alle hosts en de configuratie weer op de OVS manier ingeregeld. Alles werkend op stand-alone hosts. Werkte prima, inclusief VLANs. Maar joinen van clusters was een hell en ging steeds fout. Omdat ik niet terug kon vinden hoe ik dan weer uit de cluster kon gaan heb ik alles maar weer opnieuw geïnstalleerd. Deze keer eerst de cluster opgezet met de default instellingen (in het juiste VLAN middels poort tagging op de switch) voordat ik weer met de netwerkinstellingen aan de slag ging. Op zich kreeg ik mijn OVS config aan de praat, maar cluster sync ging steeds op zijn bek om de een of andere reden. Een uur geleden toch maar een linux bond voor mijn management interface aangemaakt op het management VLAN en dat werkt wel.

Op zich is OVS leuk, en het in de GUI ook makkelijker in te stellen, maar goed werkend krijgen is wat anders
Ook wel een beetje teleurgesteld in de werking en instelbaarheid van clusters in Proxmox. Het zou fijn zijn als je hosts kan droppen in de GUI, voor het geval een machine overlijdt o.i.d. Dat zou dingen veel makkelijker maken.

PVE is duidelijk een work-in-progress. Er kan met de huidige versie via de GUI al veel meer dan pak 'm beet 3 of 4 jaar geleden.

Wat mij meer frustreert, is dat een PVE cluster uit 3 of meer nodes moet bestaan. Het kan niet uit 2 nodes. Daar zijn ook geen plannen voor. Als je er naar vraagt is het antwoord simpel "cluster moet uit 3 nodes bestaan vanwege split-brain situaties". Eh, ja, dat snap ik, maar VMWare kan het wél, LeftHand (storage stuff) kan het óók (met een vm op een hypervisor die als extra vote dient), etc. Ik vind het jammer dat ze daar zo stellig zijn, terwijl juist PVE iets is voor kleinere clusters.

Ik heb thuis mijn 2-node cluster daarom maar weer afgebroken. Ik draai nu 2 losse nodes, for the time beeing. Volgend jaar wil ik naar 1 enkel systeem toe. Dus storage + hypervisor op 1 doos, geen losse NAS meer. Minder stroom, minder complex. (Wel een zwaardere node.)

Aan de andere kant, ze zetten vind ik een heel leuk product neer dat veel te weinig aandacht krijgt en veel te onbekend is. KVM/LXC als onderlaag met een fatsoenlijke web-GUI dat eenvoudig te beheren en op te zetten is, is vrij uniek.

[mdbraber]

unezra schreef op maandag 5 november 2018 @ 06:40:
[...]
Wat mij meer frustreert, is dat een PVE cluster uit 3 of meer nodes moet bestaan. Het kan niet uit 2 nodes. Daar zijn ook geen plannen voor. Als je er naar vraagt is het antwoord simpel "cluster moet uit 3 nodes bestaan vanwege split-brain situaties". Eh, ja, dat snap ik, maar VMWare kan het wél, LeftHand (storage stuff) kan het óók (met een vm op een hypervisor die als extra vote dient), etc. Ik vind het jammer dat ze daar zo stellig zijn, terwijl juist PVE iets is voor kleinere clusters.

Ik heb thuis mijn 2-node cluster daarom maar weer afgebroken. Ik draai nu 2 losse nodes, for the time beeing. Volgend jaar wil ik naar 1 enkel systeem toe. Dus storage + hypervisor op 1 doos, geen losse NAS meer. Minder stroom, minder complex. (Wel een zwaardere node.)

Ik heb nooit gekeken naar clustering, maar ik lees wel dat je 'gewoon' een Raspberry Pi kan gebruiken om aan je quorum te komen: https://pve.proxmox.com/wiki/Raspberry_Pi_as_third_node

[unezra]

mdbraber schreef op maandag 5 november 2018 @ 09:10:
[...]
Ik heb nooit gekeken naar clustering, maar ik lees wel dat je 'gewoon' een Raspberry Pi kan gebruiken om aan je quorum te komen: https://pve.proxmox.com/wiki/Raspberry_Pi_as_third_node

Klopt. Dat is de poor man's solution inderdaad. Alleen krijg je dan eigenlijk een compleet volwaardige PVE installatie, niet enkel een quorum-node.

[MewBie]

PVE kan ook gewoon in een 2node cluster draaien hoor, Corosync heeft daar instellingen voor. Ze willen daar alleen geen ondersteuning voor inbouwen en geven.

[ocf81]

Vraagje:
Ik zit momenteel te kijken op welke manier ik de het beste de extra disks die ik in een van mijn nodes heb zitten als shared storage kan inregelen. Ik heb me een beetje verkeken hoe makkelijk of moeilijk dit voor mij als leek is in te regelen in proxmox. (het zal ook wel weer eens niet ) De documentatie op de proxmox wiki is nog al to the point, waardoor ik daar ook niet zo veel wijzer van wordt.

Situatie:
Ik heb 3 hosts in een cluster draaien. Ik heb in een van deze hosts naast de installatie SSD ook nog 6 4TB schijven en een 250GB SSD. In december ga ik een nieuwe kast aanschaffen met 24 hotswap bays en dan koop ik er denk ik ook een paar schijven bij.

Ik heb me wat proberen in te lezen in iSCSI. Ik heb er 0 ervaring mee tot dus ver, dus ik verslik me een beetje in de materie.
Vanuit proxmox lijkt de boodschap te zijn dat Ceph de toekomst heeft. Ceph lijkt me kick-ass, maar ik lees toch ook wel wat spookverhalen hier en daar over falende clusters. Als ik (bonded) 10GbE op ga takelen en een bult SSDs koop zou Ceph ook op kleinere clusters moeten kunnen draaien, zo heb ik begrepen. Het kost wel een bult geld om dat op te takelen, en dan wil ik toch liever dat het werkt. Uiteindelijk doe ik dit om de toepassingen die ik ermee thuis kan hosten, in plaats van €400/m te betalen voor een aantal machines bij een provider in een DC. De aanschafprijs van de machines heb ik er in een jaar of wat uit op deze manier.
Momenteel heb ik door omstandigheden even een paar weken tamelijk veel tijd, dus nu kan ik het wel allemaal opzetten. Na het opstellen wil ik er eigenlijk niet zo veel omkijken naar hebben.

De toepassingen die ik draai of van plan ben te draaien zijn:
VMs:

• DCS:World (werkt nu lokaal van SSD)
• Arma3 server (werkt nu lokaal van SSD)
• Arma 3 devstraat (Gitlab + jenkins + docker + arma server 1 of 2 VMs)
• NAS VM (ca 4TB usable space voor de opslag van files, straks ook nog wat ruimte voor de opslag van AD user profielen)
• 2 VMs voor DBs. (een voor mijzelf en een voor mijn clan - sommige mods en missies gebruiken databases om zaken persistent serverside op te slaan.)

Qua containers ben ik vooralsnog van plan om alleen docker dingen te draaien (in een aparte VM), straks wellicht ook LXC based templates. Ik moet mij daar nog in inlezen.

Voor het snel opstellen van extra servers is het handig als ik een VM image kan klonen en kan aanvullen met wat extra content op een extra volume.
Een 10GbE netwerk staat wel in de planning, maar pas voor eind 2019 (moet er even voor sparen, er moet ook geleefd worden )

N.B. Het plan was origineel om een ZFS stripe of mirrors van te maken met op de SSD een SLOG partitie en een L2ARC partitie en dan dit op de een of andere manier te delen, maar dat lijkt achteraf een beetje naïef?

[MewBie]

ocf81 schreef op vrijdag 9 november 2018 @ 18:31:
Vraagje:
Ik zit momenteel te kijken op welke manier ik de het beste de extra disks die ik in een van mijn nodes heb zitten als shared storage kan inregelen. Ik heb me een beetje verkeken hoe makkelijk of moeilijk dit voor mij als leek is in te regelen in proxmox. (het zal ook wel weer eens niet ) De documentatie op de proxmox wiki is nog al to the point, waardoor ik daar ook niet zo veel wijzer van wordt.

Situatie:
Ik heb 3 hosts in een cluster draaien. Ik heb in een van deze hosts naast de installatie SSD ook nog 6 4TB schijven en een 250GB SSD. In december ga ik een nieuwe kast aanschaffen met 24 hotswap bays en dan koop ik er denk ik ook een paar schijven bij.

Ik heb me wat proberen in te lezen in iSCSI. Ik heb er 0 ervaring mee tot dus ver, dus ik verslik me een beetje in de materie.
Vanuit proxmox lijkt de boodschap te zijn dat Ceph de toekomst heeft. Ceph lijkt me kick-ass, maar ik lees toch ook wel wat spookverhalen hier en daar over falende clusters. Als ik (bonded) 10GbE op ga takelen en een bult SSDs koop zou Ceph ook op kleinere clusters moeten kunnen draaien, zo heb ik begrepen. Het kost wel een bult geld om dat op te takelen, en dan wil ik toch liever dat het werkt. Uiteindelijk doe ik dit om de toepassingen die ik ermee thuis kan hosten, in plaats van €400/m te betalen voor een aantal machines bij een provider in een DC. De aanschafprijs van de machines heb ik er in een jaar of wat uit op deze manier.
Momenteel heb ik door omstandigheden even een paar weken tamelijk veel tijd, dus nu kan ik het wel allemaal opzetten. Na het opstellen wil ik er eigenlijk niet zo veel omkijken naar hebben.

De toepassingen die ik draai of van plan ben te draaien zijn:
VMs:

• DCS:World (werkt nu lokaal van SSD)
• Arma3 server (werkt nu lokaal van SSD)
• Arma 3 devstraat (Gitlab + jenkins + docker + arma server 1 of 2 VMs)
• NAS VM (ca 4TB usable space voor de opslag van files, straks ook nog wat ruimte voor de opslag van AD user profielen)
• 2 VMs voor DBs. (een voor mijzelf en een voor mijn clan - sommige mods en missies gebruiken databases om zaken persistent serverside op te slaan.)

Qua containers ben ik vooralsnog van plan om alleen docker dingen te draaien (in een aparte VM), straks wellicht ook LXC based templates. Ik moet mij daar nog in inlezen.

Voor het snel opstellen van extra servers is het handig als ik een VM image kan klonen en kan aanvullen met wat extra content op een extra volume.
Een 10GbE netwerk staat wel in de planning, maar pas voor eind 2019 (moet er even voor sparen, er moet ook geleefd worden )

N.B. Het plan was origineel om een ZFS stripe of mirrors van te maken met op de SSD een SLOG partitie en een L2ARC partitie en dan dit op de een of andere manier te delen, maar dat lijkt achteraf een beetje naïef?

Ceph heeft zo z'n voordelen inderdaad, maar al je harde schijven in 1 chassis stoppen is nogal contraproductief. De "ultieme Ceph node" heeft namelijk maar 1 OSD.
Je huidige situatie met 3 nodes waarbij 1 node alle harde schijven heeft is dus minder geschikt voor Ceph, met 3 nodes en 6 HDD's ben je het beste af met 2 HDD's per node voor Ceph.

Ceph instellen in Proxmox is echt kinderspel. 2 CLI commando's ofzo en de rest kan via de GUI.
Je moet alleen wel je hardeschijven verdeeld hebben over je nodes, en niet alles in 1 node zoals jij hebt, want de standaard instelling is dat de data verspreid wordt over de nodes.
Ikzelf draai momenteel 1 Ceph node met HDD's en dat vereist wat meer handmatig instellen en is niet al te best voor de prestaties.

10Gb is ook niet onmiddelijk nodig, als je je 1Gb verbinding regelmatig vol pompt wordt het tijd om te kijken naar 10Gb, LACP verbinding tussen je server en je switch kan eventueel wat adem ruimte geven als je die mogelijkheid hebt.

[unezra]

MewBie schreef op maandag 5 november 2018 @ 11:11:
PVE kan ook gewoon in een 2node cluster draaien hoor, Corosync heeft daar instellingen voor. Ze willen daar alleen geen ondersteuning voor inbouwen en geven.

Heb je wel eens geprobeerd in het PVE IRC kanaal en/of op de PVE FB groep te vragen *hoe* je een 2-node cluster kunt bouwen?

Probeer eens. Trek wel een kogelwerend vest aan én bescherm je edele delen...

[MewBie]

unezra schreef op zaterdag 10 november 2018 @ 08:21:
[...]


Heb je wel eens geprobeerd in het PVE IRC kanaal en/of op de PVE FB groep te vragen *hoe* je een 2-node cluster kunt bouwen?

Probeer eens. Trek wel een kogelwerend vest aan én bescherm je edele delen...

Heb ik wel eens gedaan ja.
Ik begrijp waarom ze er geen ondersteuning voor in willen bouwen in de GUI, maar ze doen er wel erg spastisch over. Zat use cases te bedenken waar 2 nodes nuttig kan zijn.

Voor de geinteresseerden:
Je hoeft alleen maar 'two node: 1' toe te voegen aan de configuratie met eventueel de auto tie breaker geconfigureerd.

[EricVdb500]

Heeft er hier iemand proxmox 5 draaien op een AsRock C2750D4I ?

Mvg,
Eric

[26779]

Niet op een eend ergelijke mini ITX. Ik heb voor iets meer spierballen gekozen:
https://www.supermicro.co...eon/d/X10SDV-4C-TLN2F.cfm
Draait inmiddels een jaartje naar alle tevredenheid.

[mdbraber]

@robb_nl uit nieuwsgierigheid: heb je ook (energie)verbruikscijfers van dat bordje?

[26779]

yup.... met 1x 60GB SSD + 1 x 250GB HDD + 2 x 2TB HDD + 2 x 8TB HDD, 16 GB ECC geheugen zit ik op een gemiddeld verbruik van 65W. Ik heb recentelijk die 2 x 8TB erbij geplaatst. Daarvoor zat ik net onder de 50W gemiddeld.
Ik heb er permanent 5 VM's en 1 CT op aanstaan. en periodiek tot 10+ VM's als ik aan het testen ben.

[ShadyNetworker]

Heuj, Proxmox topic!
Dus, ik ben compleet nieuw als het gaat om Proxmox, en homelab, en homeservers etc.

Momenteel heb ik 1x 250G SSD en 2x 1TB HDD in de servert zitten.
Alles is via SATA aangesloten.

Nu wil ik Proxmox op de HDDs installeren, en wel in een software RAID1 opstelling, maar dit schijnt niet te kunnen vanuit de installer.
Is er tegenwoordig een makkelijke manier om dit voor elkaar te krijgen?
De SSD wil ik voor VM's gebruiken. De rest van de HDD space wil ik voor minder belangrijke VM's gebruiken.

Waarom geen ZFS? Van een vriend heb ik begrepen dat ZFS onder linux brakke performance heeft.
Hij kwam ook met deze link http://www.helpadmin.pro/how-to/how-to-proxmox/44/ maar dat ziet er complex uit.

Kan het eenvoudiger? Op/aanmerkingen zijn welkom!

[unezra]

ShadyNetworker schreef op zondag 18 november 2018 @ 15:49:
Waarom geen ZFS? Van een vriend heb ik begrepen dat ZFS onder linux brakke performance heeft.

Right.
ZFS onder Linux performt *prima*.

Ik heb ooit wat eenvoudige benchmarks gedaan, het resultaat staat hier op slide 65:
https://anmd.org/files/20...-2016-choices-choices.pdf

Die hele presentatie gaat onder andere over PVE. Wel in 2016, inmiddels zijn er nieuwe features, etc.
(De link is overigens geen verkapte reklame voor de stichting, de stichting is niet meer actief. De slides zijn wél onderdeel van mijn persoonlijk CV.)

[ShadyNetworker]

Thanks!
Na wat herkabelen etc is het gelukt om Proxmox aan de praat te krijgen zoals ik voor ogen had:

Enkele vragen:
-Kan ik het systeem zonder downtime aan de host updaten/upgraden? Zoja, wat is de best practice hiervoor?
-Naast het draaiende roest waar proxmox nu op staat in ZFS(RAID1), zou ik graag de rest van de ruimte willen reserveren voor VM's, hoe doe ik dat?
-Is het nodig om de ruimte voor het Proxmox OS zelf in te perken en zoja hoe doe ik dat?
-Ik heb nog een losse SSD die ik voor belangrijke VM's wil gebruiken, hoe maak ik deze beschikbaar binnen Proxmox? Zelf denk ik aan LVM. pvcreate, vgcreate en via de GUI toevoegen lijkt te werken

[ Voor 6% gewijzigd door ShadyNetworker op 18-11-2018 23:25 . Reden: voortgang, jeuj ]

[Mars Warrior]

Draaiend roest

[unezra]

ShadyNetworker schreef op zondag 18 november 2018 @ 23:09:
Thanks!
Na wat herkabelen etc is het gelukt om Proxmox aan de praat te krijgen zoals ik voor ogen had:

Enkele vragen:
-Kan ik het systeem zonder downtime aan de host updaten/upgraden? Zoja, wat is de best practice hiervoor?

Nee en dat is ook heel erg onverstandig. In principe kun je best na iedere grote systeemwijziging, het hele systeem rebooten om te kijken of alles het nog doet. (Reboot-proof is.) Gaat het mis, weet je in de regel nog wat je hebt gedaan. Doe je dat 1x per jaar, mis je niet alleen kritieke kernel upgrades, maar loop je een grotere kans dat het mis gaat bij een ongecontroleerde (of gecontroleerde) boot dan als als je dat consequent na iedere upgrade doet.

Note: Op kantoor rebooten we *alles* na iedere systeemupgrade. In de regel doen we dat maandelijks, omdat we dat maandelijks doen kunnen we het een keer een maandje over slaan. (Bijvoorbeeld wegens vakantie, ziekte, etc.)

-Naast het draaiende roest waar proxmox nu op staat in ZFS(RAID1), zou ik graag de rest van de ruimte willen reserveren voor VM's, hoe doe ik dat?
-Is het nodig om de ruimte voor het Proxmox OS zelf in te perken en zoja hoe doe ik dat?
-Ik heb nog een losse SSD die ik voor belangrijke VM's wil gebruiken, hoe maak ik deze beschikbaar binnen Proxmox? Zelf denk ik aan LVM. pvcreate, vgcreate en via de GUI toevoegen lijkt te werken

Je wil ruimte *reserveren*? Dan moet je met quota op je datasets gaan werken. Persoonlijk zou ik het niet doen, in een kleine omgeving is dat niet echt nuttig.

Die losse SSD, waarom zou je die ook niet voorzien van ZFS? Het heeft geen specifiek nut daar LVM op te gaan draaien, ZFS heeft dat wel. Houd je systeem lekker homogeen.

[ Voor 6% gewijzigd door unezra op 19-11-2018 06:48 ]