Het grote Proxmox VE topic

[Vaevictis_]

Ik wil mijn ds920+ met 3x3TB en losse thin client met core i5 gaan vervangen door een kleine server waarop truenas en wat containers komen te draaien. Momenteel gebruik ik proxmox 8 op de thin client naar alle tevredenheid.

Ik draai home assistant, frigate en wil ook llm gaan draaien dat gaat niet lekker op een laptop.

Alleen de cpu van de nas en 12Gb Ram is wel krap. Ik zoek wel een compacte server die in de meterkast past.

Hoop dat jullie een suggestie qua hardware kunnen doen ik ben niet meer op de hoogte wat er tegenwoordig hiervoor te koop is? Voorkeur voor een kant en klaar apparaat evt met uitbreiden van wat geheugen geen zelf bouw omdat ik ook voor mijn werk ga gebruiken.

[ Voor 10% gewijzigd door Vaevictis_ op 26-01-2024 15:58 ]

[_Eend_]

@Vaevictis_ Ik heb zelf Proxmox op onderstaand bakkie draaien:

#	Category	Product	Prijs	Subtotaal
2	Geheugen intern	Crucial CT16G4SFD8266	€ 84,95	€ 169,90
1	Solid state drives	Samsung PM893 960GB	€ 144,35	€ 144,35
1	Pc's	HP ProDesk 400 G3 desktop mini pc	€ 0,-	€ 0,-
			Totaal	€ 314,25

Dat voldoet voor mij prima, en omdat het een refurbished ding was, kost het niet veel. De SSD is nu net zo duur

[John245]

Ik draai het op dit bakkie en dat voldoet ook na de laatste geheugen upgrade.

[Vaevictis_]

Ik ben eruit het gaat een HP EliteDesk 705 G5 SFF RYZEN 5 PRO 3400G worden met 64Gb RAM. Ik zit alleen met storage want een PCIE x16 riser card met 4x M2 drives gaat niet werken omdat de bios geen bifurrification support heeft. Ik zoek dus nog een externe enclosure voor SSD's en of HDD's.

Wie heeft iets goed?

[jaapsander]

Ik kan wat advies gebruiken als Promox beginneling. Hopelijk kunnen jullie me helpen:

Usecase Homelab servertje met:
- Home Assistant
- Zigbee2Mqtt als addon
- NAS functionaliteit
- 1 x 5TB 2.5" HDD als SMB share
- Plex/Jellyfin server met GPU passthrough
- PiHole / Adguard home

Dit draait allemaal op een HP prodesk 400 G5 2e hands miniPC tje met een i5 9500T heb proxmox 7.4 draaien en idle doet dit ongeveer 2W zonder iets geïnstalleerd (gek genoeg deed proxmox 8.1 6W idle en kwam ik niet verder dan C3 als C-state...)

Tot nu toe nog niet heel veel spannends. Waar ik alleen nog mee aan het puzzelen ben is de storage van media en hoe dit in te richten. Wat is hierbij de best practice?

Qua functionaliteit moet de NAS functie dus de inhoud van de 2.5" drive kunen delen binnen mijn LAN. Plex moet bij deze mediafiles kunnen.
Nu zijn er volgens mij meerdere manieren om dit te kunnen doen.
2.5" drive mounten in proxmox host en doorzetten naar NAS LXC container en naar Plex LXC container (bindmount?)
2.5" drive mounten in proxmox host, smb installeren op proxmox host en bestanden beschikbaar maken over LAN. In plex container SMB share mounten
NAS VM inzetten en 2.5" drive passthrough naar NAS VM en bestanden beschikbaar maken over LAN, In plex container SMB share mounten

Wat zou de beste manier zijn?

[Airw0lf]

jaapsander schreef op maandag 5 februari 2024 @ 13:47:
Ik kan wat advies gebruiken als Promox beginneling. Hopelijk kunnen jullie me helpen:

Usecase Homelab servertje met:
- Home Assistant
- Zigbee2Mqtt als addon
- NAS functionaliteit
- 1 x 5TB 2.5" HDD als SMB share
- Plex/Jellyfin server met GPU passthrough
- PiHole / Adguard home

Dit draait allemaal op een HP prodesk 400 G5 2e hands miniPC tje met een i5 9500T heb proxmox 7.4 draaien en idle doet dit ongeveer 2W zonder iets geïnstalleerd (gek genoeg deed proxmox 8.1 6W idle en kwam ik niet verder dan C3 als C-state...)

Tot nu toe nog niet heel veel spannends. Waar ik alleen nog mee aan het puzzelen ben is de storage van media en hoe dit in te richten. Wat is hierbij de best practice?

Qua functionaliteit moet de NAS functie dus de inhoud van de 2.5" drive kunen delen binnen mijn LAN. Plex moet bij deze mediafiles kunnen.
Nu zijn er volgens mij meerdere manieren om dit te kunnen doen.
2.5" drive mounten in proxmox host en doorzetten naar NAS LXC container en naar Plex LXC container (bindmount?)
2.5" drive mounten in proxmox host, smb installeren op proxmox host en bestanden beschikbaar maken over LAN. In plex container SMB share mounten
NAS VM inzetten en 2.5" drive passthrough naar NAS VM en bestanden beschikbaar maken over LAN, In plex container SMB share mounten

Wat zou de beste manier zijn?

Mijn 0,100 Euro:
Een tweede drive, hier alle Proxmox en LXC/VM meuk op zetten en van booten
En dan de NAS-VM optie.

[jaapsander]

Airw0lf schreef op maandag 5 februari 2024 @ 14:37:
[...]

Mijn 0,100 Euro:
Een tweede drive, hier alle Proxmox en LXC/VM meuk op zetten en van booten
En dan de NAS-VM optie.

Thanks! Ja, vergeten te vertellen, die HP prodesk heeft ook gewoon een 256GN NVME SSD waarvan geboot wordt. Die 5TB HDD is daarbovenop

Is er ook een performance nadeel wanneer je gaat VM --> SMB --> Netwerk --> LXC container ?

[ Voor 11% gewijzigd door jaapsander op 05-02-2024 15:39 ]

[Airw0lf]

jaapsander schreef op maandag 5 februari 2024 @ 15:38:
[...]


Thanks! Ja, vergeten te vertellen, die HP prodesk heeft ook gewoon een 256GN NVME SSD waarvan geboot wordt. Die 5TB HDD is daarbovenop

Is er ook een performance nadeel wanneer je gaat VM --> SMB --> Netwerk --> LXC container ?

Een VM en een LXC container...
Met het idee om vanuit een LXC container een SMB share aan te spreken?
En beiden op dezelfde Proxmox host?

[ Voor 25% gewijzigd door Airw0lf op 05-02-2024 16:03 ]

[jaapsander]

Airw0lf schreef op maandag 5 februari 2024 @ 15:54:
[...]

Een VM en een LXC container...
Geen idee wat je voor ogen hebt. Normaliter is het een VM *of* een LXC container - niet beiden... of is het idee om vanuit een LXC container een SMB share aan te spreken?

Yes, dat is het idee. Ik heb een NAS VM die media serveert naar de LAN (via SMB). Op de proxmox host draait ook een Plex/Jellyfin LXC container die diezelfde media moet kunnen benaderen.

[orvintax]

jaapsander schreef op maandag 5 februari 2024 @ 13:47:
Ik kan wat advies gebruiken als Promox beginneling. Hopelijk kunnen jullie me helpen:

Usecase Homelab servertje met:
- Home Assistant
- Zigbee2Mqtt als addon
- NAS functionaliteit
- 1 x 5TB 2.5" HDD als SMB share
- Plex/Jellyfin server met GPU passthrough
- PiHole / Adguard home

Dit draait allemaal op een HP prodesk 400 G5 2e hands miniPC tje met een i5 9500T heb proxmox 7.4 draaien en idle doet dit ongeveer 2W zonder iets geïnstalleerd (gek genoeg deed proxmox 8.1 6W idle en kwam ik niet verder dan C3 als C-state...)

Tot nu toe nog niet heel veel spannends. Waar ik alleen nog mee aan het puzzelen ben is de storage van media en hoe dit in te richten. Wat is hierbij de best practice?

Qua functionaliteit moet de NAS functie dus de inhoud van de 2.5" drive kunen delen binnen mijn LAN. Plex moet bij deze mediafiles kunnen.
Nu zijn er volgens mij meerdere manieren om dit te kunnen doen.
2.5" drive mounten in proxmox host en doorzetten naar NAS LXC container en naar Plex LXC container (bindmount?)
2.5" drive mounten in proxmox host, smb installeren op proxmox host en bestanden beschikbaar maken over LAN. In plex container SMB share mounten
NAS VM inzetten en 2.5" drive passthrough naar NAS VM en bestanden beschikbaar maken over LAN, In plex container SMB share mounten

Wat zou de beste manier zijn?

Hoeveel RAM heb je beschikbaar? Als dat eventueel schaars is dan heeft dat naar mijn mening wel invloed of het wel verstandig is om een aparte VM te pakken.

Ik zou sowieso geen SMB of whatever direct installeren in Proxmox. Het is een specifiek OS dat dient als hypervisor, dan is het naar mijn mening, alhoewel mogelijk, niet verstandig om daar file sharing functionliteit aan toe te voegen (lees: in hacken).

Ik zou zelf gaan voor de LXC container. Waarom kies je voor SMB? NFS werkt makkelijker voor Linux machines.

[jaapsander]

orvintax schreef op dinsdag 6 februari 2024 @ 11:36:
[...]

Hoeveel RAM heb je beschikbaar? Als dat eventueel schaars is dan heeft dat naar mijn mening wel invloed of het wel verstandig is om een aparte VM te pakken.

Ik zou sowieso geen SMB of whatever direct installeren in Proxmox. Het is een specifiek OS dat dient als hypervisor, dan is het naar mijn mening, alhoewel mogelijk, niet verstandig om daar file sharing functionliteit aan toe te voegen (lees: in hacken).

Ik zou zelf gaan voor de LXC container. Waarom kies je voor SMB? NFS werkt makkelijker voor Linux machines.

8GB op dit moment, zou ergens nog wel een extra 8GB weg kunnen scharrelen. Mijn voorkeur heeft ook LXC containers, zo min mogelijk overhead en invloed op Idle verbruik.
Goed punt over NFS, ik zit nu op het spoor van SMB puur omdat ik daar ervaring mee heb. Ik zal eens inlezen over NFS.

[Airw0lf]

jaapsander schreef op woensdag 7 februari 2024 @ 10:34:
[...]


8GB op dit moment, zou ergens nog wel een extra 8GB weg kunnen scharrelen. Mijn voorkeur heeft ook LXC containers, zo min mogelijk overhead en invloed op Idle verbruik.
Goed punt over NFS, ik zit nu op het spoor van SMB puur omdat ik daar ervaring mee heb. Ik zal eens inlezen over NFS.

Inzake geheugen en VM's
Je zou eens moeten kijken wat er feitelijk gebruikt wordt als je ballooning uit zet.
Met ballooning uit voor alle VM's hoeft Proxmox het geheugengebruik niet meer te monitoren.
Dit omdat dan alle gespecificeerde geheugen bij het opstarten gealloceerd wordt.

Bij LXC containers speelt dit niet - het mechanisme is niet uit te schakelen.

Ter overweging (SMB versus NFS):
Proxmox installeert standaard de SMB client - die "overhead" heb je toch al.
Hiermee kun je via SMB naar een NAS toe om backups te maken.

Ik zou van Proxmox geen SMB server maken - die functie kan je beter bij een LXC of VM neerleggen.

Voor zover ik weet ondersteund een LXC container ook de passthrough modus.
Dus een LXC container met OMV en een dedicated SATA controller met disken zou moeten kunnen werken in passthrough mode. Via OMV kun je dan kiezen: NFS, SMB of sftp (of combinaties daarvan).

[ Voor 25% gewijzigd door Airw0lf op 07-02-2024 11:07 ]

[orvintax]

Airw0lf schreef op woensdag 7 februari 2024 @ 10:52:
[...]
Ter overweging (SMB versus NFS):
Proxmox installeert standaard de SMB client - die "overhead" heb je toch al.

Dat argument kun je ook omdraaien, de NFS client is er ook al.
Persoonlijk zie ik niet in waarom je een Windows protocol zou gebruiken voor het communiceren tussen twee Linux machines. NFS ondersteuning in Linux is stukken beter dan SMB.

[Airw0lf]

orvintax schreef op woensdag 7 februari 2024 @ 12:40:
[...]

Dat argument kun je ook omdraaien, de NFS client is er ook al.
Persoonlijk zie ik niet in waarom je een Windows protocol zou gebruiken voor het communiceren tussen twee Linux machines. NFS ondersteuning in Linux is stukken beter dan SMB.

Ja - klopt - maar in het oorspronkelijke bericht was sprake van een NAS-functie.
Dan is de link naar SMB snel gelegd - zeker als er ook Windows apparaten in het spel zitten.

Los van SMB of NFS:
Het delen van bestanden zou ik niet direct op Proxmox draaien - maar altijd via een LXC of een VM.

[dcm360]

orvintax schreef op woensdag 7 februari 2024 @ 12:40:
[...]

Dat argument kun je ook omdraaien, de NFS client is er ook al.
Persoonlijk zie ik niet in waarom je een Windows protocol zou gebruiken voor het communiceren tussen twee Linux machines. NFS ondersteuning in Linux is stukken beter dan SMB.

Ik zie niet in waarom je een protocol zou afserveren op de afkomst. Bij mijn vorige migratie van een Proxmox-machine bleek SMB verrassend eenvoudig en capabel om snel even een mount van de backup-dir van de oude host op de nieuwe host in te stellen.

[orvintax]

dcm360 schreef op woensdag 7 februari 2024 @ 14:03:
[...]

Ik zie niet in waarom je een protocol zou afserveren op de afkomst. Bij mijn vorige migratie van een Proxmox-machine bleek SMB verrassend eenvoudig en capabel om snel even een mount van de backup-dir van de oude host op de nieuwe host in te stellen.

Ik zet het protocol op zich niet aan de kant. Maar wel voor de usecase tussen Linux systemen.

Maar als er een Windows machine in het spel is veranderd dat de zaak waarschijnlijk.

[dcm360]

Tja, prima, mijn ervaring met Samba tussen Linux-systemen is echter gewoon prima. Het bestaat onderhand ook al ruim 30 jaar, dus als het nog matig zou werken zou het wel een beetje treurig zijn.

[jaapsander]

orvintax schreef op woensdag 7 februari 2024 @ 17:46:
[...]

Ik zet het protocol op zich niet aan de kant. Maar wel voor de usecase tussen Linux systemen.

Maar als er een Windows machine in het spel is veranderd dat de zaak waarschijnlijk.

Er is inderdaad een Windows machine in het spel, sterker nog, meerdere

(2 Debian machines, 1 als homeserver met de functies uit m'n bovenste post en 1 als backup server (oude pc die 1x per week data van de homeserver back-upt) voor de rest alleen maar Windows en Android)

[nero355]

jaapsander schreef op woensdag 7 februari 2024 @ 19:29:
... voor de rest alleen maar Windows en Android...

Dan wordt het tijd om daar wat aan te doen!


/Flauw

[gastje01]

orvintax schreef op dinsdag 6 februari 2024 @ 11:36:
[...]

Hoeveel RAM heb je beschikbaar? Als dat eventueel schaars is dan heeft dat naar mijn mening wel invloed of het wel verstandig is om een aparte VM te pakken.

Ik zou sowieso geen SMB of whatever direct installeren in Proxmox. Het is een specifiek OS dat dient als hypervisor, dan is het naar mijn mening, alhoewel mogelijk, niet verstandig om daar file sharing functionliteit aan toe te voegen (lees: in hacken).

Ik zou zelf gaan voor de LXC container. Waarom kies je voor SMB? NFS werkt makkelijker voor Linux machines.

Voor enterprise kan ik je volgen, maar voor thuis op een home-servetje, waarom zou je dit niet doen?

Ik heb dit namelijk zelf naar volle tevredenheid draaien, SMB share (windows clients en media player) direct vanaf de host waarbij ik enkel de HDD deel. In de LXC containers heb ik een mount point aangemaakt naar deze disk om aan diezelfde media mappen te kunnen. Draait lekker zuinig en tot nu toe super stabiel. Een extra LXC/VM voegt toch alleen onnodige overhead toe?

[orvintax]

gastje01 schreef op woensdag 7 februari 2024 @ 22:34:
[...]

Voor enterprise kan ik je volgen, maar voor thuis op een home-servetje, waarom zou je dit niet doen?

Omdat dit simpelweg niet de bedoeling is. Proxmox is een hypervisor OS. Dat je er een NAS server in kunt hacken wilt niet zeggen dat dit verstandig is. Dit is niet ondersteund door Proxmox dus wie weet wat er kan gebeuren.

Of het makkelijker is ligt denk ik van persoon tot persoon. Ik vind het fijner en betrouwbaarder als alles afgescheiden is.

Een extra LXC/VM voegt toch alleen onnodige overhead toe?

De overhead van een VM ben ik het in dit geval mee eens. Maar dat van een LXC is zo goed als altijd verwaarloosbaar. Ook hier.

[powerboat]

gastje01 schreef op woensdag 7 februari 2024 @ 22:34:
[...]

Voor enterprise kan ik je volgen, maar voor thuis op een home-servetje, waarom zou je dit niet doen?

Ik heb dit namelijk zelf naar volle tevredenheid draaien, SMB share (windows clients en media player) direct vanaf de host waarbij ik enkel de HDD deel. In de LXC containers heb ik een mount point aangemaakt naar deze disk om aan diezelfde media mappen te kunnen. Draait lekker zuinig en tot nu toe super stabiel. Een extra LXC/VM voegt toch alleen onnodige overhead toe?

Ik ben ook van mening dat je de producten moet gebruiken waarvoor ze bedoeld zijn, anders heb je kans dat je dingen een stuk hacked. Vooral na een update/upgrade . tenzij je niets anders te doen hebt

Extra vm'tje of lxc'tje is op zich niet verkeerd .

[GoBieN-Be]

En eventueel kan je in die VM/LXC kiezen voor een oplossing met een mooie (web)UI om de shares & toegang te managen.

[gastje01]

De reden dat ik dit heb gedaan was vooral energieverbruik minimaliseren door zo dicht mogelijk bij het OS te blijven en geen 'onnodige' lagen aan te brengen. Het is inderdaad een beetje hobby, dus geen enorme ramp als het omvalt (al draait t al 2 jaar super stabiel en zuinig). In productie zou ik dit nooit gebruiken, maar daar is die laatste Watt ook niet zo interessant.

Overhead van een LXC valt inderdaad wel mee, maar is altijd meer dan een SMB.conf aanpassen.

[jaapsander]

nero355 schreef op woensdag 7 februari 2024 @ 21:34:
[...]

Dan wordt het tijd om daar wat aan te doen!

/Flauw

Ben ik druk mee bezig! Mijn fileservers waren tot nu toe altijd Windows machines, dus ik ben op de goede weg 😉

Corporate Windows laptops kom ik helaas niet van af. En Android blijf ook leuker om me te prutsen dan Apple

Vooralsnog heb ik het zo ingericht:
Opslag HDD gemount in proxmox en de afzonderlijke containers toegang gegeven tot gemounte opslag (mountpoint ingesteld per container)

Container met CasaOS om Netwerk shares op te zetten en jellyfin en plex te draaien. Eerst een beetje prutsen welke software mijn voorkeur heeft en dan uiteindelijk alles netjes in een afzonderlijke LXC container.

Als laatste homeassistant in een VM zodra ik de tijd heb om een homeassistant installatie op een Odroid N2+ over te zetten zonder te veel downtime.

[ Voor 39% gewijzigd door jaapsander op 08-02-2024 18:41 ]

[nero355]

jaapsander schreef op donderdag 8 februari 2024 @ 18:33:
Ben ik druk mee bezig! Mijn fileservers waren tot nu toe altijd Windows machines, dus ik ben op de goede weg 😉

En Android blijf ook leuker om me te prutsen dan Apple

Android zonder Android is NOG LEUKER !!!

[hans_lenze]

jaapsander schreef op donderdag 8 februari 2024 @ 18:33:
[...]

[knip]
Vooralsnog heb ik het zo ingericht:
Opslag HDD gemount in proxmox en de afzonderlijke containers toegang gegeven tot gemounte opslag (mountpoint ingesteld per container)

Container met CasaOS om Netwerk shares op te zetten en jellyfin en plex te draaien. Eerst een beetje prutsen welke software mijn voorkeur heeft en dan uiteindelijk alles netjes in een afzonderlijke LXC container.

Als laatste homeassistant in een VM zodra ik de tijd heb om een homeassistant installatie op een Odroid N2+ over te zetten zonder te veel downtime.

Misschien de verkeerde vraag in dit topic maar ik vraag me af waarom Proxmox er onder zit. Waarom geen CasaOS met je shares op de hardware zelf en docker containertjes met de rest daar bovenop?

[jaapsander]

hans_lenze schreef op vrijdag 9 februari 2024 @ 11:47:
[...]

Misschien de verkeerde vraag in dit topic maar ik vraag me af waarom Proxmox er onder zit. Waarom geen CasaOS met je shares op de hardware zelf en docker containertjes met de rest daar bovenop?

Goede vraag, is ook een hele tijd iets geweest waarover ik heb getwijfeld en eerlijk gezegd nog geen definitief antwoord op heb. De grootste reden waarom ik voor proxmox heb gekozen is de mogelijkheid om een volledige Home Assistant install (HAOS) in een VM te kunnen draaien.

Het gebruiken van bijv CasaOS en dan HA in een container draaien is zeker mogelijk, maar je hebt dan niet de mogelijkheid om add-ons te draaien. Aangezien ik graag een draaiende HAOS installatie wil migreren naar een proxmox HAOS VM (zou moeten kunnen) leek me dit de weg van de minste weerstand (en downtime).

Daarnaast leek het me zeker leuk om eens een keer met virtualisatie te spelen (relatief onbekend terrein voor mij). En spreekt het relatief makkelijk maken van complete backups en restoren van VM's me ook wel aan.

[hans_lenze]

jaapsander schreef op vrijdag 9 februari 2024 @ 14:48:
[...]
[knip]
Daarnaast leek het me zeker leuk om eens een keer met virtualisatie te spelen (relatief onbekend terrein voor mij). En spreekt het relatief makkelijk maken van complete backups en restoren van VM's me ook wel aan.

Speeltuin. Check

[MakhouT]

Yo experts! Ik zit met een situatie en vroeg me af of wat ik in gedachten heb mogelijk is.
Ik ben een web app aan het ontwikkelen, waarbij de code in azure devops zit.
Nu zou ik het enorm cool vinden om met proxmox een omgeving te hebben waarbij ik telkens ik een PR maak een feature environment opstart. Omdat ik de kosten op azure wil beperken (lees: niet betalen) dacht ik mijn machine zou dit ook moeten kunnen. Zou dit mogelijk zijn en hoe?

[RudolfR]

@MakhouT

Je kunt de agent software installeren en die koppelen aan je organisatie/project.
Zon agent krijgt dan taken uitgedeeld uit een (deploy) pipeline.
De software is beschikbaar voor diverse OSen.

[Airw0lf]

MakhouT schreef op vrijdag 9 februari 2024 @ 22:59:
Yo experts! Ik zit met een situatie en vroeg me af of wat ik in gedachten heb mogelijk is.
Ik ben een web app aan het ontwikkelen, waarbij de code in azure devops zit.
Nu zou ik het enorm cool vinden om met proxmox een omgeving te hebben waarbij ik telkens ik een PR maak een feature environment opstart. Omdat ik de kosten op azure wil beperken (lees: niet betalen) dacht ik mijn machine zou dit ook moeten kunnen. Zou dit mogelijk zijn en hoe?

Yo @MakhouT - ik ben geen ontwikkelaar en weet niet wat je precies voor elkaar wil krijgen.
Laat staan waarom dat met Proxmox zou moeten (versus Docker containers op bijvoorbeeld Debian)?

Kortom - wat meer text-en-uitleg zou mij wel helpen...

[dcm360]

Mijn Gitlab pipelines draai ik in Docker, want daar integreert het mooi mee. Datzelfde geldt vermoedelijk ook voor andere oplossingen: runners voor Docker (die zelf containers kunnen opzetten en aan elkaar kunnen knopen waar nodig) zijn best gebruikelijk. Ik heb ook nog een eigen runner geschreven die op basis van webhooks integreert met Gitlab, maar die is in de meeste gevallen eigenlijk nodeloos complex en is ook zeer beperkt (ten opzichte van standaardoplossingen).

Docker heb ik dan wel weer netjes draaien in een LXC-container op Proxmox overigens

[MakhouT]

Airw0lf schreef op vrijdag 9 februari 2024 @ 23:27:
[...]


Yo @MakhouT - ik ben geen ontwikkelaar en weet niet wat je precies voor elkaar wil krijgen.
Laat staan waarom dat met Proxmox zou moeten (versus Docker containers op bijvoorbeeld Debian)?

Kortom - wat meer text-en-uitleg zou mij wel helpen...

De reden van proxmox is omdat ik dit al aan het draaien ben op mijn NUC
Dus ik zou een VM/container willen maken (welke os etc maakt mij niet direct uit)
Maar ik zou dus bij elke pull request een omgeving willen opstarten met de wijzigingen die ik heb gedaan die ik direct kan bekijken (door mijzelf of door iemand anders die mijn PR aan het reviewen is.)
Stel dat ik een achtergrondkleur heb gewijzigd, dan zou ik een url willen hebben waarbij ik de webapp in actie kan zien om te verifieren dat de achtergrond kleur is veranderd. Dan pas zou ik mijn PR willen mergen en master deployen.
Is dit al wat duidelijker?

[MakhouT]

dcm360 schreef op zaterdag 10 februari 2024 @ 12:17:
Mijn Gitlab pipelines draai ik in Docker, want daar integreert het mooi mee. Datzelfde geldt vermoedelijk ook voor andere oplossingen: runners voor Docker (die zelf containers kunnen opzetten en aan elkaar kunnen knopen waar nodig) zijn best gebruikelijk. Ik heb ook nog een eigen runner geschreven die op basis van webhooks integreert met Gitlab, maar die is in de meeste gevallen eigenlijk nodeloos complex en is ook zeer beperkt (ten opzichte van standaardoplossingen).

Docker heb ik dan wel weer netjes draaien in een LXC-container op Proxmox overigens

Dit klinkt al dichtbij wat ik wil bereiken, dus het is wel mogelijk
Nu nog gewoon weten hoe en wat!

[Airw0lf]

MakhouT schreef op zaterdag 10 februari 2024 @ 15:56:
[...]


De reden van proxmox is omdat ik dit al aan het draaien ben op mijn NUC
Dus ik zou een VM/container willen maken (welke os etc maakt mij niet direct uit)
Maar ik zou dus bij elke pull request een omgeving willen opstarten met de wijzigingen die ik heb gedaan die ik direct kan bekijken (door mijzelf of door iemand anders die mijn PR aan het reviewen is.)
Stel dat ik een achtergrondkleur heb gewijzigd, dan zou ik een url willen hebben waarbij ik de webapp in actie kan zien om te verifieren dat de achtergrond kleur is veranderd. Dan pas zou ik mijn PR willen mergen en master deployen.
Is dit al wat duidelijker?

Klinkt als een of meer LXC containers en daarbinnen twee of meer Docker containers.

En voor zover handig en nog niet op een andere manier geregeld:
Eventueel aangevuld met een Interne proxy server zodat je meerdere versies (elk een Docker container) in de lucht kunt hebben met voor elk een vaste URL.

[lasharor]

Ik heb al enkele jaren proxmox draaien op verschillende systemen die ik als NAS gebruik, ik gebruik nu voornamelijk:

* N5105 Topton router
* 3x 2TB SSD (2x NVME+1x SATA)
* 2x 10TB HDD

De 2 NVME SSD's en 10TB HDD's heb ik doorgezet naar een OMV VM en daar vervolgens een MERGERFS + Snapraid aangemaakt waarbij 1x de 10TB HDD als parity drive is ingesteld.

Maar, ivm de beperkte resources loop ik heel erg tegen de beperkingen aan van dit systeem onder load (draai ook nog PFsense + docker + HA etc). Zeker wanneer het systeem backups gaat doen of bijvoorbeeld een download start.

Anyways, ik heb een nieuw systeeem besteld waar ik eigenlijk alles wil overzetten. Ik weet echter niet zo goed wat ik nu het beste met de storage kan doen. Overzetten naar het nieuwe systeem en een backup terugzetten van de OMV VM is het makkelijkste. Dan behoud ik al mijn data en instellingen.

Ik zie nog 2 andere opties:

* ZFS pool aanmaken met bindmounts naar de containers. Dit lijkt in het algemeen de geadviseerde route maar, ik heb verschillende type schijven met verschillende groottes. Ik begrijp dat dit niet ideaal is.
* Overschakelen naar Truenas omdat ik dan begrijp dat ik 1 van de SSD's zou kunnen inzetten als een cache. Wat denk ik wel een interessante usecase is.

Bij behoud van OMV en Truenas zie ik als nadeel nog dat ik schijven over NFS moet delen met de host. Mijn ervaring tot nu toe is niet altijd positief. Dit zorgt voor extra verkeer via Pfsense en werkt niet goed als de OMV VM even de NFS shares niet aanbied. Die komen bij herstel dan niet meer automatisch terug in Proxmox.

Heeft iemand advies?

[orvintax]

lasharor schreef op vrijdag 16 februari 2024 @ 09:11:
Ik heb al enkele jaren proxmox draaien op verschillende systemen die ik als NAS gebruik, ik gebruik nu voornamelijk:

* N5105 Topton router
* 3x 2TB SSD (2x NVME+1x SATA)
* 2x 10TB HDD

De 2 NVME SSD's en 10TB HDD's heb ik doorgezet naar een OMV VM en daar vervolgens een MERGERFS + Snapraid aangemaakt waarbij 1x de 10TB HDD als parity drive is ingesteld.

Maar, ivm de beperkte resources loop ik heel erg tegen de beperkingen aan van dit systeem onder load (draai ook nog PFsense + docker + HA etc). Zeker wanneer het systeem backups gaat doen of bijvoorbeeld een download start.

Anyways, ik heb een nieuw systeeem besteld waar ik eigenlijk alles wil overzetten. Ik weet echter niet zo goed wat ik nu het beste met de storage kan doen. Overzetten naar het nieuwe systeem en een backup terugzetten van de OMV VM is het makkelijkste. Dan behoud ik al mijn data en instellingen.

Ik zie nog 2 andere opties:

* ZFS pool aanmaken met bindmounts naar de containers. Dit lijkt in het algemeen de geadviseerde route maar, ik heb verschillende type schijven met verschillende groottes. Ik begrijp dat dit niet ideaal is.
* Overschakelen naar Truenas omdat ik dan begrijp dat ik 1 van de SSD's zou kunnen inzetten als een cache. Wat denk ik wel een interessante usecase is.

Bij behoud van OMV en Truenas zie ik als nadeel nog dat ik schijven over NFS moet delen met de host. Mijn ervaring tot nu toe is niet altijd positief. Dit zorgt voor extra verkeer via Pfsense en werkt niet goed als de OMV VM even de NFS shares niet aanbied. Die komen bij herstel dan niet meer automatisch terug in Proxmox.

Heeft iemand advies?

Ik ben persoonlijk niet bekend met de soort OMV setup die jij hebt. Maar ik zou zelf twee ZFS RAID1 pools maken met enerzijds de twee NVME SSDs en de twee HDDs. Dan kun je die SSD pool gebruiken voor dingen zoals containers, vms en eigenlijk alles waar je iets aan snelheid hebt (random I/O). En die HDD pool voor bulk storage (sequentiele I/O)

Ik vermoed dat die SSDs die je hebt niet interessant gaan zijn voor ZFS caching. Ik zou dat soort geadvanceerde ZFS zaken achterwege lagen tenzij je weet wat je doet.

[Rozz]

Hoi allemaal,
Nu ESXi-Free er mee gaat ophouden ben ik naar Proxmox aan het kijken, erg interessant allemaal.
Op dit moment heb ik 2 ESXi`s draaien op consumers spul. (niet ideaal weet ik)

ESXi-I
Asus mobo
i9-10900
96GB
1x Samsung 870-evo SSD 250GB (ESXi boot)
1x Viper VPN100 NVME 2TB
1x Samsung 970-evo-plus NVME 1TB
Meerdere NICs (10GB en 1GB`s)

ESXi-II
Asus mobo
AMD Ryzen 9 7945
128GB
1x Samsung 870-evo SSD 100GB (ESXi boot)
1x Samsung 980-pro NVME 1TG
1x Samsung 980-pro NVME 2TB
Meerdere NICs (10GB en 1GB`s)

Via iSCSI gekoppeld aan mn Syno voor ISO opslag, backups gaan via Syno "Active Backup for Business"


Inmiddels Proxmox als VM draaien om dingen uit te proberen/uitzoeken en PBS draait op mn Syno (in VMM) en die gaat dan de backups van alles gaat verzorgen (via NFS en niet via iSCSI)

Mijn idee en vraag:
Ik wil op een gegeven moment overstappen naar Proxmox, daarvoor wil ik de 2 boot SSD`s gewoon blijven gebruiken voor Proxmox PVE OS. (LVM + EXT4)
Via NFS hou ik alle ISO`s op mn Syno en de 2 NVME`s (per node) ga ik gebruiken voor VM opslag, maar de vraag is maak ik per node 1 volume group die dan dus bestaat uit 2 verschillende merken/groottes NVME`s? geeft dit problemen? of blijf ik ze als 2 aparte opslag gebruiken? (in VG of los, allemaal LVM-Thin iig)
Ikzelf zie nog geen toegevoegde waarde voor ZFS? zie ik iets verkeerd?

Iemand tips en/of opmerkingen?

[powerboat]

Rozz schreef op zaterdag 17 februari 2024 @ 12:32:
Hoi allemaal,
Nu ESXi-Free er mee gaat ophouden ben ik naar Proxmox aan het kijken, erg interessant allemaal.
Op dit moment heb ik 2 ESXi`s draaien op consumers spul. (niet ideaal weet ik)

ESXi-I
Asus mobo
i9-10900
96GB
1x Samsung 870-evo SSD 250GB (ESXi boot)
1x Viper VPN100 NVME 2TB
1x Samsung 970-evo-plus NVME 1TB
Meerdere NICs (10GB en 1GB`s)

ESXi-II
Asus mobo
AMD Ryzen 9 7945
128GB
1x Samsung 870-evo SSD 100GB (ESXi boot)
1x Samsung 980-pro NVME 1TG
1x Samsung 980-pro NVME 2TB
Meerdere NICs (10GB en 1GB`s)

Via iSCSI gekoppeld aan mn Syno voor ISO opslag, backups gaan via Syno "Active Backup for Business"


Inmiddels Proxmox als VM draaien om dingen uit te proberen/uitzoeken en PBS draait op mn Syno (in VMM) en die gaat dan de backups van alles gaat verzorgen (via NFS en niet via iSCSI)

Mijn idee en vraag:
Ik wil op een gegeven moment overstappen naar Proxmox, daarvoor wil ik de 2 boot SSD`s gewoon blijven gebruiken voor Proxmox PVE OS. (LVM + EXT4)
Via NFS hou ik alle ISO`s op mn Syno en de 2 NVME`s (per node) ga ik gebruiken voor VM opslag, maar de vraag is maak ik per node 1 volume group die dan dus bestaat uit 2 verschillende merken/groottes NVME`s? geeft dit problemen? of blijf ik ze als 2 aparte opslag gebruiken? (in VG of los, allemaal LVM-Thin iig)
Ikzelf zie nog geen toegevoegde waarde voor ZFS? zie ik iets verkeerd?

Iemand tips en/of opmerkingen?

Ik zou ze lekker apart houden en niet een grote volume group van maken vanwege complexiteit.

ZFS zou ik alleen doen op het moment dat je een vorm van RAID-Z gaat gebruiken.

Overigens leuk spul heb je kun je mooi in een cluster zetten i.c.m. live migration.

[Rozz]

powerboat schreef op zaterdag 17 februari 2024 @ 16:52:
[...]
Ik zou ze lekker apart houden en niet een grote volume group van maken vanwege complexiteit.
ZFS zou ik alleen doen op het moment dat je een vorm van RAID-Z gaat gebruiken.
Overigens leuk spul heb je kun je mooi in een cluster zetten i.c.m. live migration.

Top, dank je voor je antwoord, alles apart houden voor het gemak, heb ik nu tenslotte ook, ben ook best wel tevreden met de componenten al is het consumer spul.
Ja cluster ga ik straks mee klooten, handig dat ik meerdere proxmoxxen kan maken in esxi en van alles en nog wat kan gaan uitproberen.

[John245]

Rozz schreef op zaterdag 17 februari 2024 @ 19:36:
[...]


Top, dank je voor je antwoord, alles apart houden voor het gemak, heb ik nu tenslotte ook, ben ook best wel tevreden met de componenten al is het consumer spul.
Ja cluster ga ik straks mee klooten, handig dat ik meerdere proxmoxxen kan maken in esxi en van alles en nog wat kan gaan uitproberen.

Wees er op bedacht dat je voor een HA cluster minimaal drie (3) Nodes nodig heb.

Verder is het verstandig dat iedere Node dezefde hardware heeft. Anders is er een kans dat het niet werkt in geval van een fail over.

[Polyphemus]

Heb nou weer iets vreemds... Heb vanochtend geupgrade naar de laatste kernel die bij Proxmox zit (paar dagen oud, 6.5.13). Sinds die tijd gebruiken een heleboel VMs en containers opeens bijna 100% CPU, waardoor de gemiddelde belasting van mijn server (Ryzen 5 5600G) van 20% naar 80% continu is gestegen.

Keer ik terug naar kernel 6.5.11, dan is het probleem weg...

Alle VMs en containers zijn ook up to date.

[John245]

Polyphemus schreef op zaterdag 17 februari 2024 @ 19:57:
Heb nou weer iets vreemds... Heb vanochtend geupgrade naar de laatste kernel die bij Proxmox zit (paar dagen oud, 6.5.13). Sinds die tijd gebruiken een heleboel VMs en containers opeens bijna 100% CPU, waardoor de gemiddelde belasting van mijn server (Ryzen 5 5600G) van 20% naar 80% continu is gestegen.

Keer ik terug naar kernel 6.5.11, dan is het probleem weg...

Alle VMs en containers zijn ook up to date.

6.5.13 is nog niet beschikbaar in de Enterprise versie. Als ik jou was zou ik de bug melden bij Proxmox.

[Airw0lf]

Polyphemus schreef op zaterdag 17 februari 2024 @ 19:57:
Heb nou weer iets vreemds... Heb vanochtend geupgrade naar de laatste kernel die bij Proxmox zit (paar dagen oud, 6.5.13). Sinds die tijd gebruiken een heleboel VMs en containers opeens bijna 100% CPU, waardoor de gemiddelde belasting van mijn server (Ryzen 5 5600G) van 20% naar 80% continu is gestegen.

Keer ik terug naar kernel 6.5.11, dan is het probleem weg...

Alle VMs en containers zijn ook up to date.

Mmm - waarom zou je een Kernal upgrade apart doen?
Normaliter wordt dit geregeld binnen de reguliere Proxmox updates?!

Ik heb afgelopen nacht om 1:00 uur een Proxmox update/upgrade gedaan.
De kernal is bij mij 6.5.11 (gedateerd van 30-1-2024). De Proxmox versie is 8.1.4.
Ik maak gebruik van de "non-production ready repository".

[ Voor 4% gewijzigd door Airw0lf op 17-02-2024 20:29 ]

[Polyphemus]

Airw0lf schreef op zaterdag 17 februari 2024 @ 20:25:
[...]


Mmm - waarom zou je een Kernal upgrade apart doen?
Normaliter wordt dit geregeld binnen de reguliere Proxmox updates?!

Ik heb afgelopen nacht om 1:00 uur een Proxmox update/upgrade gedaan.
De kernal is bij mij 6.5.11 (gedateerd van 30-1-2024). De Proxmox versie is 8.1.4.
Ik maak gebruik van de "non-production ready repository".

Nou, ik heb niets apart gedaan, ik heb gewoon een apt update en apt dist-upgrade gedaan. Sorry voor de verwarring

Ik gebruik de test-repo zie ik

[ Voor 3% gewijzigd door Polyphemus op 17-02-2024 20:37 ]

[powerboat]

Rozz schreef op zaterdag 17 februari 2024 @ 19:36:
[...]


Top, dank je voor je antwoord, alles apart houden voor het gemak, heb ik nu tenslotte ook, ben ook best wel tevreden met de componenten al is het consumer spul.
Ja cluster ga ik straks mee klooten, handig dat ik meerdere proxmoxxen kan maken in esxi en van alles en nog wat kan gaan uitproberen.

Je kan ook live migration doen zonder shared storage, duurt dan alleen iets langer.

[powerboat]

John245 schreef op zaterdag 17 februari 2024 @ 19:49:
[...]

Wees er op bedacht dat je voor een HA cluster minimaal drie (3) Nodes nodig heb.

Verder is het verstandig dat iedere Node dezefde hardware heeft. Anders is er een kans dat het niet werkt in geval van een fail over.

Voor een HA cluster heb je gelijk, maar voor non-HA kun je alsnog een (2-node) cluster maken en live-migration toepassen zowel met als zonder shared storage.

[powerboat]

Gisteren op de zaak nieuw speelgoed binnen gekregen om 2 nieuwe Truenas Scale als shared storage te bouwen. 2*DL380G10, 2 Intel xeon gold, 128GB DDR4, 4*25GBit/s nics, 3x480GB, 8* 7,68TB NVME.

Ga terug migreren van CEPH naar shared storage vanwege de eenvoud en wat andere voordelen .

[John245]

powerboat schreef op zaterdag 17 februari 2024 @ 21:04:
[...]


Voor een HA cluster heb je gelijk, maar voor non-HA kun je alsnog een (2-node) cluster maken en live-migration toepassen zowel met als zonder shared storage.

Top. Ik heb geen glazen bol vandaar de waarschuwing voor HA cluster.

Persoonlijk draai ik PBS onder PVE, werkt ook heel prettig.

[John245]

powerboat schreef op zaterdag 17 februari 2024 @ 21:11:
Gisteren op de zaak nieuw speelgoed binnen gekregen om 2 nieuwe Truenas Scale als shared storage te bouwen. 2*DL380G10, 2 Intel xeon gold, 128GB DDR4, 4*25GBit/s nics, 3x480GB, 8* 7,68TB NVME.

Ga terug migreren van CEPH naar shared storage vanwege de eenvoud en wat andere voordelen .

Leuk speelgoed.

Zou je de andere voordelen willen toelichten?

[powerboat]

John245 schreef op zaterdag 17 februari 2024 @ 21:13:
[...]

Leuk speelgoed.

Zou je de andere voordelen willen toelichten?

Periodiek snapshots op storage niveau (elk uur, elke dag, elke week) en deze door syncen naar de tweede nas in pull mode.

[powerboat]

John245 schreef op zaterdag 17 februari 2024 @ 21:11:
[...]

Top. Ik heb geen glazen bol vandaar de waarschuwing voor HA cluster.

Persoonlijk draai ik PBS onder PVE, werkt ook heel prettig.

Ja dat PBS is ook echt goudwaard, heb deze dedicated draaien met een offsite variant (in pull mode) .

[Airw0lf]

@powerboat - maar the-proof-in-the-pudding...
Al eens een restore getest?

[powerboat]

Airw0lf schreef op zaterdag 17 februari 2024 @ 21:56:
@powerboat - maar the-proof-in-the-pudding...
Al eens een restore getest?

Doe dagelijks file restore en wekelijks willekeurig vm terugzetten en op werking testen

[Airw0lf]

powerboat schreef op zaterdag 17 februari 2024 @ 22:08:
[...]


Doe dagelijks file restore en wekelijks willekeurig vm terugzetten en op werking testen

Blijft over de ultieme test:
Alles weggooien en van scratch opbouwen...;-)

[powerboat]

Airw0lf schreef op zaterdag 17 februari 2024 @ 22:16:
[...]


Blijft over de ultieme test:
Alles weggooien en van scratch opbouwen...;-)

Uiteraard

[John245]

Airw0lf schreef op zaterdag 17 februari 2024 @ 21:56:
@powerboat - maar the-proof-in-the-pudding...
Al eens een restore getest?

Test ieder half jaar een restore.

[John245]

Airw0lf schreef op zaterdag 17 februari 2024 @ 22:16:
[...]


Blijft over de ultieme test:
Alles weggooien en van scratch opbouwen...;-)

Heb een paar maanden geleden een Node van scratch opgebouwd. Is zo gebeurd. Kwam er achter dat ik een heel klein deel niet gedocumenteerd had.

[ Voor 10% gewijzigd door John245 op 18-02-2024 08:20 ]

[dcm360]

powerboat schreef op zaterdag 17 februari 2024 @ 21:00:
[...]


Je kan ook live migration doen zonder shared storage, duurt dan alleen iets langer.

In combinatie met periodieke replication valt het ook dan best nog wel mee, tenzij je in het replicatie-interval net veel naar een disk geschreven hebt. Zodra je een migratie doet is Proxmox ook handig genoeg om de replicatie van richting te wisselen.

[nero355]

Rozz schreef op zaterdag 17 februari 2024 @ 12:32:
Nu ESXi-Free er mee gaat ophouden ben ik naar Proxmox aan het kijken, erg interessant allemaal.

Welkom in het land van de vrijheid

Op dit moment heb ik 2 ESXi`s draaien op consumers spul. (niet ideaal weet ik)

IMHO is het allemaal geen ramp, maar ik zou wel de gebruikte SSD's goed in de gaten houden :

1x Samsung 870-evo SSD 250GB (ESXi boot)
1x Viper VPN100 NVME 2TB
1x Samsung 970-evo-plus NVME 1TB

1x Samsung 870-evo SSD 100GB (ESXi boot)
1x Samsung 980-pro NVME 1TG
1x Samsung 980-pro NVME 2TB

Daarvan zijn er al genoeg gesneuveld in dit topic ondertussen!

Inmiddels Proxmox als VM draaien om dingen uit te proberen/uitzoeken en PBS draait op mn Syno (in VMM) en die gaat dan de backups van alles gaat verzorgen (via NFS en niet via iSCSI)

Fun Fact :

Je kan Proxmox ook onder Proxmox in een VM draaien om dingen te testen!

[orvintax]

John245 schreef op zaterdag 17 februari 2024 @ 19:49:
[...]
Verder is het verstandig dat iedere Node dezefde hardware heeft. Anders is er een kans dat het niet werkt in geval van een fail over.

Zolang die niet met de CPU settings gaat spelen zou dat toch goed moeten komen in zijn geval?

[Rozz]

nero355 schreef op maandag 19 februari 2024 @ 18:21:
[...]
Welkom in het land van de vrijheid
[...]
IMHO is het allemaal geen ramp, maar ik zou wel de gebruikte SSD's goed in de gaten houden :
[...]
Daarvan zijn er al genoeg gesneuveld in dit topic ondertussen!
[...]
Fun Fact :
Je kan Proxmox ook onder Proxmox in een VM draaien om dingen te testen!

Thanks, ja ik moet zeggen het is even heel anders dan ESXi maar je kan echt een hoop instellen.
Ik draai inderdaad al 2 proxmoxxen, 1tje baremetal op simpel oud pctje en 1x in VM om alles uit te testen.
smartctl is inderdaad wel handig om in de gaten te houden...voorals nog geen problemen...
Ben er nog niet uit of ik ZFS ga/wil gebruiken, heb jij enig advies? anders gaat het LVM-thin worden denk ik.

[John245]

orvintax schreef op dinsdag 20 februari 2024 @ 09:26:
[...]

Zolang die niet met de CPU settings gaat spelen zou dat toch goed moeten komen in zijn geval?

Ja zo te zien wel.

[nero355]

Rozz schreef op dinsdag 20 februari 2024 @ 10:48:
Ben er nog niet uit of ik ZFS ga/wil gebruiken, heb jij enig advies?

anders gaat het LVM-thin worden denk ik.

Ik ben de verkeerde persoon om dat aan te vragen eerlijk gezegd, want ik zou over het algemeen alles onder OpenZFS doen op een paar uitzonderingen na :
- Op het moment dat je alle SSD's/HDD's als losse opslag gebruikt in een Thuis Server/NAS.
- Losse Clients in de vorm van een Laptop of Intel NUCje of zo waar vaak maar 1 SSD/HDD in aanwezig is.
- Uiteraard dingen als microSD/CF/enz. kaartjes waarbij het apparaat waar je ze in propt vaak bepaalt wat je gaat gebruiken...

In die gevallen zou ik het gewoon bij EXT4 of eventueel XFS houden

Zodra je zegt van "Ik wil 2 HDD's mirroren" dan zou ik al meteen naar OpenZFS grijpen!

[RobertMe]

nero355 schreef op dinsdag 20 februari 2024 @ 15:18:
- Op het moment dat je alle SSD's/HDD's als losse opslag gebruikt in een Thuis Server/NAS.
- Losse Clients in de vorm van een Laptop of Intel NUCje of zo waar vaak maar 1 SSD/HDD in aanwezig is.

offtopic:
En ook daar heeft ZFS legio voordelen. Integrity checks door checksumming en scrubs. Backups middels send & receive. Quoates en/of reservations om te voorkomen dat een HDD volledig volloopt met falend OS als gevolg door een immer groeiende temp / downloads / ... map.

[powerboat]

Rozz schreef op dinsdag 20 februari 2024 @ 10:48:
[...]


Thanks, ja ik moet zeggen het is even heel anders dan ESXi maar je kan echt een hoop instellen.
Ik draai inderdaad al 2 proxmoxxen, 1tje baremetal op simpel oud pctje en 1x in VM om alles uit te testen.
smartctl is inderdaad wel handig om in de gaten te houden...voorals nog geen problemen...
Ben er nog niet uit of ik ZFS ga/wil gebruiken, heb jij enig advies? anders gaat het LVM-thin worden denk ik.

Ik zou in jouw geval voor lekker voor EXT4 / XFS kiezen tenzij zoals Nero ook al aangeeft je een mirror wilt bouwen. ZFS kost je ook meteen de helft van het geheugen (is omlaag te tunen).

[nero355]

RobertMe schreef op dinsdag 20 februari 2024 @ 15:29:
En ook daar heeft ZFS legio voordelen.

Opzich wel, maar het hoeft niet van mij

Integrity checks door checksumming en scrubs.

Vind ik dus meer iets voor RAID1/Mirroring setups op zijn minst...

Backups middels send & receive.

OK, dat kan handig zijn

Quoates en/of reservations om te voorkomen dat een HDD volledig volloopt met falend OS als gevolg door een immer groeiende temp / downloads / ... map.

Daar heeft bijvoorbeeld EXT4 al standaard een 5% reservatie voor en bij de meeste grote OpenZFS opstellingen wordt die reservatie ook vaak teruggebracht naar 1% via dit commando :
- Dadona in "Het grote ZFS topic"
- Het grote ZFS topic

powerboat schreef op dinsdag 20 februari 2024 @ 15:38:
ZFS kost je ook meteen de helft van het geheugen (is omlaag te tunen).

Staat ook ergens in het ZFS Topic als het goed is

[ Voor 11% gewijzigd door nero355 op 20-02-2024 15:41 ]

[RobertMe]

nero355 schreef op dinsdag 20 februari 2024 @ 15:39:
[...]

Vind ik dus meer iets voor RAID1/Mirroring setups op zijn minst...

Want op bv een laptop doet data integriteit er niet toe?

[...]

Daar heeft bijvoorbeeld EXT4 al standaard een 5% reservatie voor en bij de meeste grote OpenZFS opstellingen wordt die reservatie ook vaak teruggebracht naar 1% via dit commando :
- Dadona in "Het grote ZFS topic"
- Het grote ZFS topic

Dat is uiteraard niet wat ik bedoel. Ik kan nu gewoon op een pool bv een backupa dataset maken en 500GB reserveren. Dan weet ik dus 100% zeker dat er minimaal 500GB beschikbaar is. Als de dataset dan 100GB gebruikt "kan ik nog even vooruit". Staat er een andere dataset naast met bv media (of Linux ISOs ) dan kan die dus niet ervoor zorgen dat er geen ruimte meer is voor de backups.
En anderzijds is het ook super eenvoudig om een quota op set media dataset te zetten om uberhaupt te voorkomen dat die extreem groot wordt.

En ja, dat kun je vast ook regelen met losse partities. Maar dan mag je dus ook partities gaan resizen als je een andere indeling wilt hebben. En dat resizen AFAIK dan ook nog zonder de startsector van eender welke partitie aan te passen (geen idee of LVM daar slimmer mee om gaat?). En uiteraard moet je naast het resizen van de partities vooraf ook nog het filesystem krimpen of achteraf het filesystem vergroten. Veel meer werk dus dan een sudo zfs set quota 2TB tank/media om maar eens een voorbeeld te noemen.

En ik vraag mij af hoe het vrijhouden van ruimte bij bv ext helpt bij een volle partitie. Want die vrijgehouden ruimte kun je waarschijnlijk nog steeds niet claimen als de boel echt vol is, zonder "hacks" (booten van live USB of zo). Ik heb in ieder geval al eens gehad dat puur het starten van de shell (bash/zsh) errors gaf omdat de HDD vol was en bv het aanmaken van benodigde temp files faalde.

[orvintax]

RobertMe schreef op dinsdag 20 februari 2024 @ 15:59:
[...]

Want op bv een laptop doet data integriteit er niet toe?

Jawel, maar de integriteit die ZFS bied is wel een stuk lager met een single disk setup. Zover ik weet kan hij dan wel aangeven dat er iets mis gaat, maar kan hij niks zelf fixen.

[RobertMe]

orvintax schreef op woensdag 21 februari 2024 @ 13:10:
[...]

Jawel, maar de integriteit die ZFS bied is wel een stuk lager met een single disk setup. Zover ik weet kan hij dan wel aangeven dat er iets mis gaat, maar kan hij niks zelf fixen.

Ligt dat niet ook een beetje aan de setup? ZFS kun je ook instellen om elke file 2, 3, X keer op te slaan. Als je dan een corrupte file hebt kan die nog altijd herstellen uit een kopie.
Daarnaast is het detecteren van de corruptie natuurlijk ook belangrijk. Een silent corruption die je lekker elke keer backupt en uiteindelijk de niet corrupte file uit de backup verdwijnt schiet je ook niks mee op. (Bv dus "bewaar 1 week een backup van elke dag", als een file dan stilletjes corrupt raakt ben je na een week ook de backup kwijt).

[nero355]

RobertMe schreef op woensdag 21 februari 2024 @ 13:16:
Ligt dat niet ook een beetje aan de setup?

ZFS kun je ook instellen om elke file 2, 3, X keer op te slaan.
Als je dan een corrupte file hebt kan die nog altijd herstellen uit een kopie.

Dan prop ik liever een extra SSD in de Hotswap Storage Bay van mijn Laptop om vervolgens een Mirrored Setup te draaien, want de Optical Drive gebruik ik over het algemeen toch niet

[remcoXP]

Ik heb een https://www.asrockind.com/en-gb/NUC-1135G7 met proxmox maar twee dingen waar ik mee zit:
een kleine ssd schijf met een bad sector. deze wil ik vervangen door een grotere.
Als ik de schijf vervang en hierop weer proxmox installeer, kan ik dan de
vm's en containers die op de andere ssd (1Tb) staan weer gewoon gebruiken of moet hier iets speciaals voor gedaan worden?

ik heb ook een home assistant vm i440fx die ik niet veranderd krijg naar q35. dit wil ik omdat ik een jellyfin addon draai die ik hw acceleration wil geven voor het transcoden.
hiervoor heb ik mogelijk twee oplossingen:
- nieuwe vm waarin ik de home assistant backup terugzet.
- jellyfin als container

doordat de schijf nu wat te klein ik kan ik geen drivers meer installeren. meerdere problemen tegelijk dus, maar omdat andere mensen ook mijn jellyfin gebruiken en home assistant mijn hele huis bedient wil ik de downtime minimaliseren.

mijn plan is:
- bios updaten, controleren of de videokaart goed is ingesteld en mmo uitstaat (gelezen dat dit nodig is)
- schijf vervangen
- proxmox installeren en de vm's die op de andere schijf staan weer gebruiken.
- videocard in grub zetten
- alles werkend hebben en dan de keuze maken voor nieuwe vm of een losse jellyfin.. dat laatste ben ik nog niet uit en hopelijk hebben jullie ideeën?

[Airw0lf]

remcoXP schreef op donderdag 22 februari 2024 @ 06:07:
Ik heb een https://www.asrockind.com/en-gb/NUC-1135G7 met proxmox maar twee dingen waar ik mee zit:
een kleine ssd schijf met een bad sector. deze wil ik vervangen door een grotere.
Als ik de schijf vervang en hierop weer proxmox installeer, kan ik dan de
vm's en containers die op de andere ssd (1Tb) staan weer gewoon gebruiken of moet hier iets speciaals voor gedaan worden?

ik heb ook een home assistant vm i440fx die ik niet veranderd krijg naar q35. dit wil ik omdat ik een jellyfin addon draai die ik hw acceleration wil geven voor het transcoden.
hiervoor heb ik mogelijk twee oplossingen:
- nieuwe vm waarin ik de home assistant backup terugzet.
- jellyfin als container

doordat de schijf nu wat te klein ik kan ik geen drivers meer installeren. meerdere problemen tegelijk dus, maar omdat andere mensen ook mijn jellyfin gebruiken en home assistant mijn hele huis bedient wil ik de downtime minimaliseren.

mijn plan is:
- bios updaten, controleren of de videokaart goed is ingesteld en mmo uitstaat (gelezen dat dit nodig is)
- schijf vervangen
- proxmox installeren en de vm's die op de andere schijf staan weer gebruiken.
- videocard in grub zetten
- alles werkend hebben en dan de keuze maken voor nieuwe vm of een losse jellyfin.. dat laatste ben ik nog niet uit en hopelijk hebben jullie ideeën?

Als ik het zo lees heb je 2 disken: een bootdisk met OS/Proxmox en een met de VM's en bijbehorende gegevens - er is geen 3-de (of meer) met gegevensbestanden zoals bijvoorbeeld databases of films?

Als deze interpretatie klopt, dan klinkt het vervangen van die bootdisk als een CloneZilla klusje:
(0) - de Proxmox en VM-settings uit /etc/pve veiligstellen
(1) - externe USB aansluiten die groot genoeg is om een image op te slaan
(2) - booten vanaf een USB-stick met CloneZilla.
(3) - image maken naar de externe USB
(4) - afsluiten en disk vervangen
(5) - idem als (2)
(6) - image terug zetten
(7) - afsluiten, USB-disken verwijderen en hestart

Nu zou gestart moeten worden vanaf de nieuwe disk; inclusief alle VM's.

De nieuwe disk moet minstens even groot zijn als het origineel - anders gaat het terugzetten niet werken.

Wel nog een paar vragen (ter meerdere-lering-ende-vermaak van mezelf ):
(a) - Wat bedoel je precies met de passage "videocard in grub zetten"? Wat doet dat?
(b) - Waarom moet mmo (of is het iommu?) uit staan?
(c) - Over welke vorm van acceleratie heb je het precies met de inzet van Q35?

Mijn 0,100 Euro inzake (c):
Voor zover ik weet doet Q35 niks anders dan aan het OS rapporteren dat er een PCI-e bus in zit.
Met een 440-chipset krijgt het OS een PCI bus te zien - maar die draait wel op PCI-e snelheid.
Dus of je er echt wat aan gaat hebben...

Als je gebruik wil maken van specifieke hardware versnellingsfuncties van de CPU, dan moet de VM zijn CPU type op host gezet worden - deze instelling is er niet bij LXC containers.
Afhankelijk van de hoeveelheid beschikbaar en benodigd geheugen balooning eventueel uitschakelen zodat Proxmox het geheugen niet hoeft te trimmen.

[powerboat]

remcoXP schreef op donderdag 22 februari 2024 @ 06:07:
Ik heb een https://www.asrockind.com/en-gb/NUC-1135G7 met proxmox maar twee dingen waar ik mee zit:
een kleine ssd schijf met een bad sector. deze wil ik vervangen door een grotere.
Als ik de schijf vervang en hierop weer proxmox installeer, kan ik dan de
vm's en containers die op de andere ssd (1Tb) staan weer gewoon gebruiken of moet hier iets speciaals voor gedaan worden?

ik heb ook een home assistant vm i440fx die ik niet veranderd krijg naar q35. dit wil ik omdat ik een jellyfin addon draai die ik hw acceleration wil geven voor het transcoden.
hiervoor heb ik mogelijk twee oplossingen:
- nieuwe vm waarin ik de home assistant backup terugzet.
- jellyfin als container

doordat de schijf nu wat te klein ik kan ik geen drivers meer installeren. meerdere problemen tegelijk dus, maar omdat andere mensen ook mijn jellyfin gebruiken en home assistant mijn hele huis bedient wil ik de downtime minimaliseren.

mijn plan is:
- bios updaten, controleren of de videokaart goed is ingesteld en mmo uitstaat (gelezen dat dit nodig is)
- schijf vervangen
- proxmox installeren en de vm's die op de andere schijf staan weer gebruiken.
- videocard in grub zetten
- alles werkend hebben en dan de keuze maken voor nieuwe vm of een losse jellyfin.. dat laatste ben ik nog niet uit en hopelijk hebben jullie ideeën?

Optie 1 is het makkelijkste, back-up maken, opnieuw installeren en weer terugzetten.
Optie 2 is de configuraties kopiëren, installeren en weer terugzetten.
Optie 3 is een cluster maken , machines (live) migreren, oude machine uit het cluster halen en opnieuw toevoegen wanneer deze is ge-update (dit is uiteraard de mooiste en duurste oplossing met de minste downtime ).

Ik vind overigens dat optie 2 best wel gedoe is en prefereer optie 3 als geld geen issue is .

Wat betreft je home assistent, als je hem probeert om te zetten van chipset krijg je dan een melding?

Ik neem aan dat je bij Jellyfinn dat je GPU passthrough wilt toepassen en de GPU via Grub wilt blacklisten.
Dat is opzicht wel te doen, weet alleen niet of dat blacklisten nog nodig is. Ik heb Jellyfin ook in een VM draaien maar doe zelf geen transcoding, de afspeel hardware is inmiddels snel zat om dat zelf te doen.

[Rozz]

Om mijzelf te quoten en terugkoppeling van jullie kenners wil ik onderstaande doen.

Op beide (nu ESXi bakken) Proxmox als baremetal installeren op de aparte SSD, dit in EXT4
Daarna op beide proxmox bakken de 2 NVME`s apart als VM opslag in LVM-Thin.

De 10GBE nics (vmbr0) als managment houden en de andere NICS worden al door mn switch voorzien van vlan en dus hoeft Proxmox daar niets mee te doen, kan ik bij VM installeren gewoon kiezen welke vmbr1-3 naar gelang de vlan die ik wil gebruiken.

Backup en/of snapshots gaan via PBS naar de Syno via NFS.
ISO opslag en templates via NFS ook op de Syno.

Bij installeren VM`s (voornamelijk Windows 11) de volgende instellingen: Balloning uit, CPU type op Host, bij Disks: Discard en SSD emulation aanvinken, NUMA aan.

Mis ik iets of moet ik nog iets verder uitzoeken wat beter/sneller/stabieler is?

Volgende vraag
Ik heb nu op een oud pctje Proxmox als baremetal om te testen, daar kan ik heel makkelijk een Win VM installeren, maar op een ESXi bak waar Proxmox als VM draait lukt het me niet om netwerk/internet aan de gang te krijgen bij installeren van Win VM, ook niet als ik de 2 virtio drivers eerst installeer, wat doe ik fout?
Ik heb in Proxmox alle linux bridges als dhcp ingesteld en krijg ook allemaal ip adressen, maar geen internet toegang in de Win VM op Proxmox VM jaja, VM in een VM

Rozz schreef op zaterdag 17 februari 2024 @ 12:32:
Hoi allemaal,
Nu ESXi-Free er mee gaat ophouden ben ik naar Proxmox aan het kijken, erg interessant allemaal.
Op dit moment heb ik 2 ESXi`s draaien op consumers spul. (niet ideaal weet ik)

ESXi-I
Asus mobo
i9-10900
96GB
1x Samsung 870-evo SSD 250GB (ESXi boot)
1x Viper VPN100 NVME 2TB
1x Samsung 970-evo-plus NVME 1TB
Meerdere NICs (10GB en 1GB`s)

ESXi-II
Asus mobo
AMD Ryzen 9 7945
128GB
1x Samsung 870-evo SSD 100GB (ESXi boot)
1x Samsung 980-pro NVME 1TG
1x Samsung 980-pro NVME 2TB
Meerdere NICs (10GB en 1GB`s)

[GoBieN-Be]

Networking en specifiek VLAN's is wel net iets anders dan hoe we het gewoon zijn met ESXi. Even een goede tutorial zoeken.

[powerboat]

GoBieN-Be schreef op donderdag 22 februari 2024 @ 20:01:
Networking en specifiek VLAN's is wel net iets anders dan hoe we het gewoon zijn met ESXi. Even een goede tutorial zoeken.

Opzich niet spannend, je kan het doen op nic van de vm zelf of een aparte bridge maken per vlan.

Je zou dat ook nog kunnen doen met openvswitch., maar daar weet ik niet zoveel van.

[remcoXP]

Dank voor je uitgebreide antwoord. je aanname klopt inderdaad
clonezilla stick heb ik geprobeerd te maken en usb naar fata kabels gekocht maar via mijn laptop ging dat niet goed stick boot niet, clonezilla gaf een fout. wellicht via de nuc zelf wel (dat zou ik dan moeten testen)

Ik heb een aantal tutorials gevonden over het gebruiken van hardware acceleration aan een container of een vm, die beginnen bijna allemaal met commands toevoegen aan grub.
diezelfde tutorials vermelden soms ook dat iommu (je hebt gelijk) moet uitstaan in de bios en aan in andere zaken (maar voor mij is het echter abracadabra)
ik heb het over igpu transcoding en dan voor jellyfin. (YouTube: iGPU Transcoding In Proxmox with Jellyfin Media Center!)


nogmaals bedankt voor je antwoord!

Airw0lf schreef op donderdag 22 februari 2024 @ 08:01:
[...]


Als ik het zo lees heb je 2 disken: een bootdisk met OS/Proxmox en een met de VM's en bijbehorende gegevens - er is geen 3-de (of meer) met gegevensbestanden zoals bijvoorbeeld databases of films?

Als deze interpretatie klopt, dan klinkt het vervangen van die bootdisk als een CloneZilla klusje:
(0) - de Proxmox en VM-settings uit /etc/pve veiligstellen
(1) - externe USB aansluiten die groot genoeg is om een image op te slaan
(2) - booten vanaf een USB-stick met CloneZilla.
(3) - image maken naar de externe USB
(4) - afsluiten en disk vervangen
(5) - idem als (2)
(6) - image terug zetten
(7) - afsluiten, USB-disken verwijderen en hestart

Nu zou gestart moeten worden vanaf de nieuwe disk; inclusief alle VM's.

De nieuwe disk moet minstens even groot zijn als het origineel - anders gaat het terugzetten niet werken.

Wel nog een paar vragen (ter meerdere-lering-ende-vermaak van mezelf ):
(a) - Wat bedoel je precies met de passage "videocard in grub zetten"? Wat doet dat?
(b) - Waarom moet mmo (of is het iommu?) uit staan?
(c) - Over welke vorm van acceleratie heb je het precies met de inzet van Q35?

Mijn 0,100 Euro inzake (c):
Voor zover ik weet doet Q35 niks anders dan aan het OS rapporteren dat er een PCI-e bus in zit.
Met een 440-chipset krijgt het OS een PCI bus te zien - maar die draait wel op PCI-e snelheid.
Dus of je er echt wat aan gaat hebben...

Als je gebruik wil maken van specifieke hardware versnellingsfuncties van de CPU, dan moet de VM zijn CPU type op host gezet worden - deze instelling is er niet bij LXC containers.
Afhankelijk van de hoeveelheid beschikbaar en benodigd geheugen balooning eventueel uitschakelen zodat Proxmox het geheugen niet hoeft te trimmen.

[DethStryke]

Ik heb een HP Proliant DL380p Gen 8 server. Daarop draait een Windows server op, nu een 2019. De server zelf was altijd stil, stiller dan m'n desktop, dus geen klachten van.

Deze week ProxmoxVE geinstalleerd, en compleet idle draaien de fans redelijk luid.
Nog mensen hier met een DL380p G8 die hiervoor een oplossing zouden weten?
Het moet *iets* in het OS zijn, want nu bij wijze van test opnieuw een Windows server op geinstalleerd, en draait weer stil.Google maakt me hier niet wijzer trouwens.

[_Eend_]

@DethStryke Heb je deze link al gezien? https://serverfault.com/q...erning-fan-speed-in-linux

IN het kort: het lijkt mij een configuratie ding, waarvoor je een aantal HP tools kunt gebruiken. Al weet ik niet of die voor Debian (en dus PVE) beschikbaar zijn. Ik heb zelf geen ervaring met dat soort serieuze hardware

[maxxie85]

DethStryke schreef op zaterdag 24 februari 2024 @ 21:47:
Ik heb een HP Proliant DL380p Gen 8 server. Daarop draait een Windows server op, nu een 2019. De server zelf was altijd stil, stiller dan m'n desktop, dus geen klachten van.

Deze week ProxmoxVE geinstalleerd, en compleet idle draaien de fans redelijk luid.
Nog mensen hier met een DL380p G8 die hiervoor een oplossing zouden weten?
Het moet *iets* in het OS zijn, want nu bij wijze van test opnieuw een Windows server op geinstalleerd, en draait weer stil.Google maakt me hier niet wijzer trouwens.

Je hebt de HP SDR repository. Daarin kan je CLI tools downloaden waar je met de specifieke hardware kan praten. Zoals de raid controller. Gebruik ik om de drives te monitoren.

https://downloads.linux.hpe.com/SDR/project/mcp/

[Zwelgje]

DethStryke schreef op zaterdag 24 februari 2024 @ 21:47:
Ik heb een HP Proliant DL380p Gen 8 server. Daarop draait een Windows server op, nu een 2019. De server zelf was altijd stil, stiller dan m'n desktop, dus geen klachten van.

Deze week ProxmoxVE geinstalleerd, en compleet idle draaien de fans redelijk luid.
Nog mensen hier met een DL380p G8 die hiervoor een oplossing zouden weten?
Het moet *iets* in het OS zijn, want nu bij wijze van test opnieuw een Windows server op geinstalleerd, en draait weer stil.Google maakt me hier niet wijzer trouwens.

cup governor lager zetten?

https://community.home-as...-lower-power-usage/323731

normaal staat ie op high performance (wat je logischerwijs ook wilt maar niet in alle situaties)

[Beekforel]

Sinds afgelopen weekend ben ik overgestapt op Proxmox voor mijn thuisomgeving. Ik had een Ubuntu machine met wat dockers, maar wilde graag wat meer flexibiliteit en ach hobby is ook leuk.

Ik gebruik de Console / shell van mijn LXC containers relatief veel, maar wanneer ik van machine 1 naar machine 2 klik en weer terug is de console van machine 1 gereset. Is er een mogelijkheid om deze persistent te maken?

[dcm360]

@Beekforel Met de 'Console'-knop rechtbovenin als je een container geselecteerd hebt open je de console in een los venster. Dubbelklikken op de container in het menu links doet dat ook.

[DethStryke]

maxxie85 schreef op zondag 25 februari 2024 @ 10:56:
[...]


Je hebt de HP SDR repository. Daarin kan je CLI tools downloaden waar je met de specifieke hardware kan praten. Zoals de raid controller. Gebruik ik om de drives te monitoren.

https://downloads.linux.hpe.com/SDR/project/mcp/

Deze had ik inderdaad gezien, maar hier loop ik tegen verschillende issues aan.
de "apt-key add" is deprecated, dus die .pub keys importeren gaan niet op deze manier. Nu ken ik te weinig van linux af om deze correct er in te krijgen. Ik heb nu via wget ... | gpg --dearmor | tee .. ze wel opgeslagen in /usr/share/ringkeys maar weet niet of dat correct of voldoende is.

Vervolgens lukt het me ook niet om de repo correct toe te voegen (again, niet veel linux kennis). Ik heb onder sources.list.d een bijkomende file hpe.sources gemaakt waar ik dan de repo toevoeg, maar ook hierop krijg ik fouten. Mogelijk doe ik dit ook verkeerd. Hier heb ik ook al de non-free toegevoegd, maar daar leek geen Release file te staan in de eerste plaats.

# HP Management Component Pack
Types: deb
URIs: https://downloads.linux.h...n/dists/bookworm/current/
Suites: bookworm
Components: main
Signed-By: /usr/share/keyrings/hpPublicKey2048.gpg /usr/share/keyrings/hpPublicKey2048_key1.gpg /usr/share/keyrings/hpePublicKey2048_key1.gpg
Enabled: true

De foutmelding in PVE: E: The repository 'https://downloads.linux.hpe.com/SDR/repo/mcp/debian/dists/bookworm/current bookworm Release' does not have a Release file.

Het beek uiteindelijk eenvoudiger dan hierboven.

Eerst de keys installeren:
curl -sS https://downloads.linux.hpe.com/SDR/hpPublicKey2048.pub | gpg --dearmor > /etc/apt/trusted.gpg.d/hpPublicKey2048.gpg
curl -sS https://downloads.linux.hpe.com/SDR/hpPublicKey2048_key1.pub | gpg --dearmor > /etc/apt/trusted.gpg.d/hpPublicKey2048_key1.gpg
curl -sS https://downloads.linux.h...hpePublicKey2048_key1.pub | gpg --dearmor > /etc/apt/trusted.gpg.d/hpePublicKey2048_key1.gpg

Vervolgens de algemen sources.list aanpassen, en volgende toevoegen.
# HP Management Repository
#deb http://downloads.linux.hpe.com/SDR/repo/mcp bookworm/current non-free
deb http://downloads.linux.hpe.com/SDR/repo/mcp bionic/10.80 non-free

Ik ben niet zeker welke dist-versie ik moest nemen, want bookworm bevatte enkel de versie 12.80 en current. Maar voor de Gen 8 moest ik hp-ams hebben, en die zit enkel in versies 10.xx.
Dat deel is dus in orde, en ik zie ook in ILO dat Agentless Management Service nu "OK" geeft.

Maar langs de andere kant is mijn probleem van fans nog niet opgelost

[ Voor 25% gewijzigd door DethStryke op 27-02-2024 22:37 . Reden: Correctere info ]

[DethStryke]

Zwelgje schreef op maandag 26 februari 2024 @ 07:16:
[...]


cup governor lager zetten?

https://community.home-as...-lower-power-usage/323731

normaal staat ie op high performance (wat je logischerwijs ook wilt maar niet in alle situaties)

Heb dit aangepast, zonder effect. Ook via ILO heb ik dit aangepast trouwens, rechtstreeks op de HW zelf dus. Betwijfel of het echt met power te maken had.

De installatie van Proxmox doet nu nog niets, buiten het host OS. De vroegere Windows server had wel enkele VM's dus eigenlijk meer werk/meer power nodig.

Juist daarom zocht ik hier naar mensen met dezelfde server HW en dus waarsch dezelfde issues

[maxxie85]

DethStryke schreef op dinsdag 27 februari 2024 @ 15:50:
[...]


Ik ben niet zeker welke dist-versie ik moest nemen, want bookworm bevatte enkel de versie 12.80 en current. Maar voor de Gen 8 moest ik hp-ams hebben, en die zit enkel in versies 10.xx.
Dat deel is dus in orde, en ik zie ook in ILO dat Agentless Management Service nu "OK" geeft.

Maar langs de andere kant is mijn probleem van fans nog niet opgelost

Ja dat is natuurlijk lastig, ik zelf gebruik de bookworm repository, omdat proxmox 8 daar ook op gebaseerd is. Zelf heb ik alleen de ssacli geïnstalleerd. Ik doe niet zo veel met ILO.

Wat betreft fans, Misschien heb je iets in je BIOS verkeerd ingesteld. Ik weet het niet zeker, maar ik dacht altijd iets te zien tijdens boot dat de power control door het OS gedaan wordt. Al weet ik ook weer niet of dat met de fans te maken.

Bij mijn G8 strijgt hij altijd op tijden Post en zodra proxmox start worden ze stiller.

[Airw0lf]

Veel van dat soort servers hebben de bios ingesteld staan op max performance.
Pas als het OS powermanagement overneemt wordt het anders.
Bij de Dell R-serie en Supermicro was dat in ieder geval (ook) zo.

Ik heb van die dingen de bios settings aangepast naar "balanced" (o.i.d.).
En de CPU governer bij de boot via een cron job op power savings.

Is nu een stuk rustiger en scheelt ook stroomverbruik.

[ Voor 7% gewijzigd door Airw0lf op 28-02-2024 08:18 ]

[DethStryke]

Ik heb al met power settings in BIOS gespeeld, zowel op "OS Managed", "Dynamic Power" als "Low Power" maar dit geeft geen verschil. De CPU Governor staat ook op "ondemand" (ook cron job aangemaakt, had ik niet gedaan eerst)
Ook met "powersave" geen verschil (Available: conservative ondemand userspace powersave performance schedutil)

Het is ook niet dat het echt extreem luid is (zoals tijdens boot), gewoon merkbaar verschil met Windows Server. Bij Windows is de server zo stil als wanneer je in BIOS staat.

Veel met ILO doe ik zelf ook niet, gebruik het nu gewoon om te debuggen waar het probleem juist zou kunnen zitten Hier alvast de screenshots van ILO






Eentje is out of the box, andere is met aanpassingen naar OS Control / ondemand (zonder echte load).
Ik ga nogmaals even "snel" switchen naar WinServer, om daar ook even screenshot van te nemen.

Update:
Ik moest zelfs Windows niet te installeren, zelfs in WinPE (de installer) merk ik een verschil.

[ Voor 12% gewijzigd door DethStryke op 28-02-2024 10:05 . Reden: update info win server ]

[maxxie85]

DethStryke schreef op woensdag 28 februari 2024 @ 09:56:
Ik heb al met power settings in BIOS gespeeld, zowel op "OS Managed", "Dynamic Power" als "Low Power" maar dit geeft geen verschil. De CPU Governor staat ook op "ondemand" (ook cron job aangemaakt, had ik niet gedaan eerst)
Ook met "powersave" geen verschil (Available: conservative ondemand userspace powersave performance schedutil)

Het is ook niet dat het echt extreem luid is (zoals tijdens boot), gewoon merkbaar verschil met Windows Server. Bij Windows is de server zo stil als wanneer je in BIOS staat.

Veel met ILO doe ik zelf ook niet, gebruik het nu gewoon om te debuggen waar het probleem juist zou kunnen zitten Hier alvast de screenshots van ILO


[Afbeelding]

[Afbeelding]

Eentje is out of the box, andere is met aanpassingen naar OS Control / ondemand (zonder echte load).
Ik ga nogmaals even "snel" switchen naar WinServer, om daar ook even screenshot van te nemen.

Update:
Ik moest zelfs Windows niet te installeren, zelfs in WinPE (de installer) merk ik een verschil.
[Afbeelding]

Misschien is dit wat voor je https://github.com/kendallgoto/ilo4_unlock
Vond ik op deze reddit thread https://www.reddit.com/r/...d_access_to_fan_controls/

Edit: of dit https://serverfault.com/q...erning-fan-speed-in-linux
Ik weet het ook niet helemaal

[ Voor 3% gewijzigd door maxxie85 op 28-02-2024 10:16 ]

[powerboat]

Airw0lf schreef op woensdag 28 februari 2024 @ 08:17:
Veel van dat soort servers hebben de bios ingesteld staan op max performance.
Pas als het OS powermanagement overneemt wordt het anders.
Bij de Dell R-serie en Supermicro was dat in ieder geval (ook) zo.

Ik heb van die dingen de bios settings aangepast naar "balanced" (o.i.d.).
En de CPU governer bij de boot via een cron job op power savings.

Is nu een stuk rustiger en scheelt ook stroomverbruik.

Let wel op! als je hem op balanced zet en je hebt daar Windows VM's op draaien dat ie niet maximaal presteert.

[DethStryke]

maxxie85 schreef op woensdag 28 februari 2024 @ 10:14:
[...]


Misschien is dit wat voor je https://github.com/kendallgoto/ilo4_unlock
Vond ik op deze reddit thread https://www.reddit.com/r/...d_access_to_fan_controls/

Edit: of dit https://serverfault.com/q...erning-fan-speed-in-linux
Ik weet het ook niet helemaal

Die had ik idd ook al bekeken. Maar custom firmware waar herhaaldelijk "at your own risk" etc bijstaat, probeer ik wel te vermijden. Ook sta ik al op firmware v2.78 i.p.v. de vereiste v2.77.
Het issue zit volgens mij ook ergens in (de bootloader van) debian zelf want geen issues onder Windows.

Oh well, misschien ga ik dan toch maar terug naar Windows Server op dit moment, en herbekijk ik ProxmoxVE wel opnieuw als deze server de geest zou geven of wanneer de server niet meer op m'n thuiswerkplek staat en geluid dan iets minder een issue is.

In ieder geval bedankt om mee te kijken.

[Zwelgje]

powerboat schreef op woensdag 28 februari 2024 @ 10:15:
[...]


Let wel op! als je hem op balanced zet en je hebt daar Windows VM's op draaien dat ie niet maximaal presteert.

dat is ook het idee van energiebesparende/stille server willen hebben

maar je hebt een punt, gaat het je om de performance dan moet je dit niet doen

[ge-flopt]

@DethStryke kan het zijn dat er een kaart in zit die niet een officiele HP kaart is? Ik heb namelijk ook dat de CPU/case fan hard gaat sinds dat ik een controller kaart voor een externe harddisk caddy erin heb zitten.
Ik heb het opgelost door een aangepaste ILO te installeren. Door deze aanpassing kun je met de hand (of een script) de fan speed van de 6 fans (4 interne en 2 in de voeding) aanpassen.

https://www.reddit.com/r/...ntrolling_hp_server_fans/

[DethStryke]

ge-flopt schreef op woensdag 28 februari 2024 @ 11:14:
@DethStryke kan het zijn dat er een kaart in zit die niet een officiele HP kaart is? Ik heb namelijk ook dat de CPU/case fan hard gaat sinds dat ik een controller kaart voor een externe harddisk caddy erin heb zitten.
Ik heb het opgelost door een aangepaste ILO te installeren. Door deze aanpassing kun je met de hand (of een script) de fan speed van de 6 fans (4 interne en 2 in de voeding) aanpassen.

https://www.reddit.com/r/...ntrolling_hp_server_fans/

Alles is origineel HP. Had er inderdaad ook al vaker over gelezen dat dit issues kon geven, voornamelijk bij de disks, maar ook daar alles HP SAS disks.
Ik was nog wel van plan een GPU toe te voegen, maar zelfs zonder draait die dus luider.
Misschien dat ik later nog ga beslissen om toch die custom ILO firmware te installeren, maar zal voorlopig terug een Hyper-V server worden vrees ik

[rsvmark]

Even checken bij de kennisdragers

Ik ben redelijk nieuw binnen Proxmox. Heb al eens eerder Proxmox op een nuc gedraaid met daarin Home assistant maar heb later toch Home assistant rechtstreeks op de nuc gezet omdat Proxmox verder geen toegevoegde waarde voor mij had (draaide verder prima ).

Nu draait hier echter 24/7:
- Intel nuc met een i5-4250U (4e generatie) die vanwege frigate (2x 4k camera's) toch aardig zijn best moet doen. (10-30W)
- Synology DS 412+ die continue 30-50W staat te verstoken terwijl ik eigenlijk alleen maar af en toe media er vanaf stream.

En neemt de home assistant hobby steeds serieuzere vormen aan

Ik heb daarom inmiddels (ook voor de fun) een HP elitedesk 800 G6 (i5 10500T en 32gb geheugen) aangeschaft en wil er het volgende mee gaan doen:
- Home assistant als VM (draait al)
- Zigbee2mqtt en broker in een LXC (draait al)
- Frigate
- NAS functionaliteit
- In de toekomst mogelijk mijn fritzbox de deur uit en de HP als modem/router inzetten (de HP heeft nu een 1gb aansluiting een een 2.5gb is onderweg).

Ik heb de hardware nu zo bedacht:
1 256gb nvme puur voor Proxmox
1 2TB nvme voor VM/LXC en mogelijk opslag camara beelden.
1 2TB 2.5 hd (seagate barracuda) gaat er vanavond in..
Wifi Blutooth M.2 kaart vervangen door een coral edge tpu (nog niet werkend).

Nu eindelijk de vragen:
Het idee is om de seagate als NAS opslag te gebruiken. Welke software raden jullie aan als VM of LXC?
Had ik achteraf beter de hd als bootschijf kunnen gebruiken en een 2tb nvme erbij gezet als nas?

Andere tips als het gaat om de gekozen hardware in combinatie met mijn gebruik?

[RudolfR]

@rsvmark

Ik heb de 2,5" HDD in de nuc via het netwerk (cifs/samba) gedeeld met behulp van turnkey-fs LXC om er gebruik van te kunnen maken in een VM die wat dockers draait.
(Daarnaast ook een VM met HA OS, maar die maakt geen gebruik van de shares, kan natuurlijk wel)
Zie mijn post hier.

Een snelle disk, of veel ruimte voor Proxmox lijkt me niet nodig. Voor je guests is dat natuurlijk anders.

[ Voor 12% gewijzigd door RudolfR op 28-02-2024 15:16 ]

[DethStryke]

rsvmark schreef op woensdag 28 februari 2024 @ 14:47:

Nu eindelijk de vragen:
Het idee is om de seagate als NAS opslag te gebruiken. Welke software raden jullie aan als VM of LXC?
Had ik achteraf beter de hd als bootschijf kunnen gebruiken en een 2tb nvme erbij gezet als nas?

Andere tips als het gaat om de gekozen hardware in combinatie met mijn gebruik?

Ik beschouw mezelf niet meteen als kennisdrager, maar kan wel een mogelijk bepalende vraag bij stellen om je 2e vraag te kunnen beantwoorden: waarvoor ga je de NAS gebruiken? Als het bij "af en toe streamen" blijft, zou ik de HDD houden voor je (relatief statische) data en VM backups, en je NVME gebruiken om zowel van te booten als je VM's op te zetten.
Als je echter intensief zou lezen/schrijven naar de NAS, zou de keuze lastiger zijn.

Zelf had ik soortgelijk idee voor mijn server, waarbij ik dan openmediavault zou draaien als VM (was er nog niet uit of nu best LXC of VM), en de volledige data disk mee te geven aan OMV, en dan van hieruit de SMB shares te maken.

[rsvmark]

Ja zo heb ik het nu ook bedacht en ga zo rustig verder.
Die openmediavault heb ik eerder voorbij zien komen dus ga op mijn gemak gewoon wat proberen.