Het grote Proxmox VE topic

[ocaj]

Ik heb deze 2 regels er staan:

code:

smtp_sasl_security_options = noanonymous, noplaintext
smtp_sasl_tls_security_options =

Ik dacht dat de eerste bedoeld was voor verbindingen zonder TLS en de tweede voor met TLS. Beetje dubbelop misschien omdat ik ook "smtp_sasl_auth_enable = yes" heb gezet zou die eerste nooit gebruikt moeten worden lijkt me?

Maar ook als ik de eerste leeg laat verandert er niets. Omdat misschien de = zonder iets erachter nog vreemd is heb ik ook nog geprobeerd om "noanonymous" bij de smtp_sasl_tls_security_options te zetten, maar verandert allemaal niets.

[mdcobra]

Ik heb wat problemen met de debian-9-turnkey containers, deze krijgen geen DNS naam in mijn DHCP server, mijn pihole DHCP server geeft hem wel een IP met de naam unknown. In resolv.conf staat netjes het juiste IP.
Proxmox zelf en een normale VM zijn wel netjes op DNS naam beschikbaar. Iemand een idee wat dit zou kunnen zijn?

[XiMMiX]

ocaj schreef op vrijdag 10 januari 2020 @ 16:59:
Ik heb deze 2 regels er staan:

code:

smtp_sasl_security_options = noanonymous, noplaintext
smtp_sasl_tls_security_options =

Ik dacht dat de eerste bedoeld was voor verbindingen zonder TLS en de tweede voor met TLS. Beetje dubbelop misschien omdat ik ook "smtp_sasl_auth_enable = yes" heb gezet zou die eerste nooit gebruikt moeten worden lijkt me?

Maar ook als ik de eerste leeg laat verandert er niets. Omdat misschien de = zonder iets erachter nog vreemd is heb ik ook nog geprobeerd om "noanonymous" bij de smtp_sasl_tls_security_options te zetten, maar verandert allemaal niets.

Je hebt gelijk, ik heb helemaal over smtp_sasl_tls_security_options heen gelezen. Helaas heb ik geen verdere ideeën waar het probleem zou kunnen zitten. Anders dan misschien eens postconf te draaien en te kijken of de sasl opties overeenkomen met wat je in de config file denkt op te geven.

[rayplum]

Ik probeer Proxmox installeren vanaf USB. Er is een menu "Welcome to Proxmox Virtual Environment" waar ik selecteer "Install Proxmox VE". Daarna komt wat text maar dan plotseling een reboot. Wat kan ik doen om de installatie verder zetten?

[sk1nny666]

rayplum schreef op woensdag 22 januari 2020 @ 09:30:
Ik probeer Proxmox installeren vanaf USB. Er is een menu "Welcome to Proxmox Virtual Environment" waar ik selecteer "Install Proxmox VE". Daarna komt wat text maar dan plotseling een reboot. Wat kan ik doen om de installatie verder zetten?
[Afbeelding]

boot je in EFI mode?
zo ja in legacy mode proberen, of andersom.

had ook al wat problemen met 1 van de 2.

[rayplum]

nee, ik boot in UEFI, ook de secure booting optie uitgezet.

[sk1nny666]

rayplum schreef op woensdag 22 januari 2020 @ 10:58:
nee, ik boot in UEFI, ook de secure booting optie uitgezet.

dan even kijken of die wel wil booten in legacy mode.

[A1AD]

Ter info: Als je wil gebruik maken van native encryption op de rpool moet je wel UEFI booten

[rayplum]

Dit betreft Fujitsu D3644-B1 met 1.6 BIOS. Ik heb de optie "Secure Boot Control" op "disabled" (Secure Boot - not active).
In de manual zie ik dat deze optie "Specifies whether booting of unsigned boot loaders/UEFI OpROMs is permitted."
Disabled: All boot loaders / OpROMs (Legacy / UEFI) can be executed.
Enabled: Only booting of signed boot loaders/UEFI OpROMs is permitted.
1) Heb ik iets vergeten of moet ik iets anders controleren?
2) In de BIOS Boot Menu -> Boot option, zie ik alleen de USB drive, maar geen SSD of HDD die wel in de Advanced setting verschijnen. Moet ik wel de SSD of HDD als een boot optie zien?

[ocaj]

XiMMiX schreef op zondag 12 januari 2020 @ 15:03:
[...]


Je hebt gelijk, ik heb helemaal over smtp_sasl_tls_security_options heen gelezen. Helaas heb ik geen verdere ideeën waar het probleem zou kunnen zitten. Anders dan misschien eens postconf te draaien en te kijken of de sasl opties overeenkomen met wat je in de config file denkt op te geven.

Even een weekje laten rusten en inmiddels ben ik er uit!
Het blijkt dat Proxmox standaard niet "libsasl2-modules" geïnstalleerd heeft en dat is de library die de cyrus-plain auth sasl-functie bevat.

Een simpele "apt install libsasl2-modules" lost dat probleem op en daarna werkt het relayen van mail gewoon.
(nou ja, ik moest ook nog de myhostname nog aanpassen aan mijn externe naam ipv mijn locale naam, omdat er vanaf het domein .fritz.box geen mail verstuurd mag worden)

Bedankt voor het meedenken!

[ocaj]

Ik kwam van de week nog ergens achter t.a.v. stroomverbruik.

Proxmox staat standaard zo ingesteld dat alle CPU's + cores op maximale snelheid lopen. Prima voor een zakelijke omgeving of waar systemen zwaar belast worden, maar voor thuisgebruik en duurzaamheid misschien niet de beste strategie. Als een CPU/core idle is, dan mag hij best even wat stapjes terugdoen.

In de GUI van proxmox kun je dat niet instellen, maar je kunt de huidige instelling bekijken in /sys/devices/system/cpu/cpuX/cpufreq/scaling_governor (waarbij X in mijn geval 0-3 is, maar afhankelijk van aantal cpu's/cores).
Default staat dat op "performance".
Ik heb hem nu op "conservative" gezet (kun je simpelweg middels een echo naar die lokatie doen). Ik merk geen enkel verschil qua performance.

Als je effect wil zien, dan kun je dat monitoren met:

code:

 watch -d -n 1 cat /sys/devices/system/cpu/cpufreq/policy?/scaling_cur_freq 

In mijn geval zaten bij "performance' continu 2 cores (van een 1,8Ghz AMD X3418) boven de 3Ghz en de andere 2 schommelden er net iets onder. Maximale boost-snelheid dus.
Met conservative zitten er meestal 3 cores rond de 1,3Ghz, de ondergrens volgens /proc/cpuinfo, (en 1 core op 3Ghz, maar dat komt natuurlijk ook door de meting zelf...).

Qua temperatuur scheelt het al aardig en qua stroomverbruik dus ook en waarschijnlijk ook qua levensduur van de apparatuur. Mooi meegenomen als je server 24/7 aanstaat.

[dcm360]

Even terug ging de discussie hier over geschikte SSD's, en uit mijn rijtje won de Intel P4510, maar op prijs en mogelijkheid tot aansluiten is het wat minder een winnaar. Nu kwam ik net de Micron 7300 tegen, en deze SSD richt zich op de budgetmarkt voor server-workloads. Hiermee lijkt het me een interessante serie voor de mensen hier.

[ocf81]

dcm360 schreef op zondag 26 januari 2020 @ 15:48:
Even terug ging de discussie hier over geschikte SSD's, en uit mijn rijtje won de Intel P4510, maar op prijs en mogelijkheid tot aansluiten is het wat minder een winnaar. Nu kwam ik net de Micron 7300 tegen, en deze SSD richt zich op de budgetmarkt voor server-workloads. Hiermee lijkt het me een interessante serie voor de mensen hier.

Op zich een aardige drive. Wel jammer dat de schrijfprestaties wat achter blijven.

[MvL]

Ik zou graag Plex die in een LXC container gaat draait op een aparte ssd willen installeren. Kan dit via datacenter --> storage --> directory en deze directory mounten naar de ssd of zijn er andere manieren?

[Kek]

ocaj schreef op zondag 26 januari 2020 @ 08:26:
Ik kwam van de week nog ergens achter t.a.v. stroomverbruik.

Proxmox staat standaard zo ingesteld dat alle CPU's + cores op maximale snelheid lopen. Prima voor een zakelijke omgeving of waar systemen zwaar belast worden, maar voor thuisgebruik en duurzaamheid misschien niet de beste strategie. Als een CPU/core idle is, dan mag hij best even wat stapjes terugdoen.

In de GUI van proxmox kun je dat niet instellen, maar je kunt de huidige instelling bekijken in /sys/devices/system/cpu/cpuX/cpufreq/scaling_governor (waarbij X in mijn geval 0-3 is, maar afhankelijk van aantal cpu's/cores).
Default staat dat op "performance".
Ik heb hem nu op "conservative" gezet (kun je simpelweg middels een echo naar die lokatie doen). Ik merk geen enkel verschil qua performance.

Als je effect wil zien, dan kun je dat monitoren met:

code:

 watch -d -n 1 cat /sys/devices/system/cpu/cpufreq/policy?/scaling_cur_freq 

In mijn geval zaten bij "performance' continu 2 cores (van een 1,8Ghz AMD X3418) boven de 3Ghz en de andere 2 schommelden er net iets onder. Maximale boost-snelheid dus.
Met conservative zitten er meestal 3 cores rond de 1,3Ghz, de ondergrens volgens /proc/cpuinfo, (en 1 core op 3Ghz, maar dat komt natuurlijk ook door de meting zelf...).

Qua temperatuur scheelt het al aardig en qua stroomverbruik dus ook en waarschijnlijk ook qua levensduur van de apparatuur. Mooi meegenomen als je server 24/7 aanstaat.

Dank hiervoor, Ik ben wat verder gaan zoeken en vond dit nog op het proxmox forum hierover: https://forum.proxmox.com...energy.27510/#post-213063

Bij mij zijn er overigens maar twee opties, Performace of Powersave... Zo te zien hebben nieuwere CPU's minder opties omdat P-states beter zijn.. Dus ik laat het lekker op Performance..

[ Voor 5% gewijzigd door Kek op 27-01-2020 19:07 ]

[unezra]

MvL schreef op maandag 27 januari 2020 @ 18:31:
Ik zou graag Plex die in een LXC container gaat draait op een aparte ssd willen installeren. Kan dit via datacenter --> storage --> directory en deze directory mounten naar de ssd of zijn er andere manieren?

Ja, kan.
Je wil de hele Plex LXC container daar op draaien?

Weet even uit mijn hoofd niet of je via de PVE GUI dat ding beschikbaar kunt maken en mounten, volgens mij wel.

Hoe dan ook, als je het gemound krijgt kun je een dir toevoegen en aangeven dat daarin LXC geplaatst mág worden, op dat moment kun je er een LXC in deployen.

[MvL]

unezra schreef op maandag 27 januari 2020 @ 19:04:
[...]


Ja, kan.
Je wil de hele Plex LXC container daar op draaien?

Weet even uit mijn hoofd niet of je via de PVE GUI dat ding beschikbaar kunt maken en mounten, volgens mij wel.

Hoe dan ook, als je het gemound krijgt kun je een dir toevoegen en aangeven dat daarin LXC geplaatst mág worden, op dat moment kun je er een LXC in deployen.

Top, ik ga hiermee aan de slag bedankt voor je input!

[ocaj]

Kek schreef op maandag 27 januari 2020 @ 19:00:
[...]


Dank hiervoor, Ik ben wat verder gaan zoeken en vond dit nog op het proxmox forum hierover: https://forum.proxmox.com...energy.27510/#post-213063

Bij mij zijn er overigens maar twee opties, Performace of Powersave... Zo te zien hebben nieuwere CPU's minder opties omdat P-states beter zijn.. Dus ik laat het lekker op Performance..

Interessant! Als ik bij mijn AMD kies voor "powersave", dan blijven alle 4 cores op de minimum frequentie draaien en schalen ze ook niet op als het systeem belast wordt.
En omgekeerd: "performance" draait bij mij altijd op maximum en schaalt nooit af.

Maar bij jouw Intel schaalt "performance" dus wel netjes af als het systeem idle/rustig is?

[dcm360]

Ook op AMD-systemen zou dat gewoon moeten werken, ik heb het tot zover op al mijn systemen werkend gezien.

[ocaj]

O, maar het werkt prima bij mij. Maar wat dus wel anders is, is dat bij @Kek er maar 2 opties zijn en bij mijn AMD (Opteron X3418) heb ik deze hele lijst aan mogelijkheden in /sys/devices/system/cpu/cpu0/cpufreq/scaling_available_governors staan:
conservative ondemand userspace powersave performance schedutil

Ik heb hem nu op "conservative" staan en dat werkt prima.
Wat ik opvallend vind is dat "performance" bij Kek's Intel dus iets heel anders betekent dan performance op mijn AMD.....

[MvL]

Ik heb begrepen dat hier verschillende mensen hun netwerkpoorten bridgen en deze doorgeven aan de vm. Ik moet hiermee aan de slag om te kijken of ik hiermee tevreden ben.

Heeft iemand ervaring met het doorgeven van een netwerk kaart aan de VM dus passthrough. Ik heb totaal geen ervaring met het doorgeven van hardware aan een vm. Je hebt hier IOMMU voor nodig begreep ik. Dit ging toen over een AMD setup. Heet dit ook zo op een Intel platform? Ik heb een wat oudere intel gebaseerde server waar op ik kan testen. Ik wil in de toekomst overstappen op AMD Ryzen. Ik had een mining setup (3900X) maar ben hiermee gestopt. Ik heb alleen de cpu nog en wil een ASRock Rack X470D4U kopen in de komende maanden.

[dcm360]

Bij AMD heet het AMD-Vi en bij Intel heet het VT-d. In theorie zou het met de laatste Proxmox moeten werken op dat moederbord, de problemen die ik had (met nvme-SSD's) zouden opgelost moeten zijn in de nieuwere kernels.

[MvL]

dcm360 schreef op donderdag 30 januari 2020 @ 17:18:
Bij AMD heet het AMD-Vi en bij Intel heet het VT-d. In theorie zou het met de laatste Proxmox moeten werken op dat moederbord, de problemen die ik had (met nvme-SSD's) zouden opgelost moeten zijn in de nieuwere kernels.

Dank voor het antwoord.

Ah AMD-Vi. Intel wist ik. Ik heb nog nooit een AMD systeem gehad buiten de miner die ik heel kort gebruikt heb.

Toch maar de server even uit het rack halen en in mijn hobbykamer plaatsen om het één en ander uit te proberen.

[MvL]

Ben meteen maar aan het hobby-en gegaan.

Als ik check:

root@pve-1:~# dmesg | grep -e DMAR -e IOMMU -e VT-d
[ 0.011400] ACPI: DMAR 0x00000000798A68D0 0000C4 (v01 SUPERM SMCI--MB 00000001 INTL 20091013)
[ 0.479177] DMAR: IOMMU enabled
[ 0.924972] DMAR: Host address width 46
[ 0.925040] DMAR: DRHD base: 0x000000fbffc000 flags: 0x1
[ 0.925118] DMAR: dmar0: reg_base_addr fbffc000 ver 1:0 cap d2078c106f0466 ecap f020de
[ 0.926310] DMAR: RMRR base: 0x0000007ba59000 end: 0x0000007ba68fff
[ 0.926384] DMAR: ATSR flags: 0x0
[ 0.926454] DMAR: RHSA base: 0x000000fbffc000 proximity domain: 0x0
[ 0.926528] DMAR-IR: IOAPIC id 1 under DRHD base 0xfbffc000 IOMMU 0
[ 0.926601] DMAR-IR: IOAPIC id 2 under DRHD base 0xfbffc000 IOMMU 0
[ 0.926674] DMAR-IR: HPET id 0 under DRHD base 0xfbffc000
[ 0.926745] DMAR-IR: x2apic is disabled because BIOS sets x2apic opt out bit.
[ 0.926745] DMAR-IR: Use 'intremap=no_x2apic_optout' to override the BIOS setting.
[ 0.927225] DMAR-IR: Enabled IRQ remapping in xapic mode
[ 2.096676] DMAR: dmar0: Using Queued invalidation
[ 2.128907] DMAR: Intel(R) Virtualization Technology for Directed I/O

Tot zover ziet het er volgens mij goed uit!

Sorry, ik had even de laatste post moeten updaten.

[GoVegan]

_JGC_ schreef op donderdag 22 augustus 2019 @ 12:19:
@unezra ik verkoop MKB eigenlijk alleen nog maar proxmox met ZFS. Voor de prijs van een RAID controller en BBU kan je heel wat geheugen kopen om als ARC te gebruiken.

als ik zfs in proxmox wil, kan ik dit dan alleen via commandline instellen of is er imiddels ook een webgui voor? (of op komst)?

[_JGC_]

GoVegan schreef op maandag 10 februari 2020 @ 13:33:
[...]


als ik zfs in proxmox wil, kan ik dit dan alleen via commandline instellen of is er imiddels ook een webgui voor? (of op komst)?

Je kunt gewoon tijdens de installatie van Proxmox je machine op ZFS installeren, draait je hele systeem op ZFS ipv lvm/ext4.

Een lopende server aanpassen naar ZFS zal wel wat meer werk zijn vermoed ik.

[netiul]

In september vorige jaar de componenten van een zuinige server besteld. Nu eindelijk pas een beetje tijd om hem softwarematig in te gaan richten.

Qua storage heb ik 2 x 4 TB uit pricewatch: Seagate Expansion Portable 4TB Zwart en 1 x pricewatch: Intel 660p 1TB.

Er is een hoop te vinden op internet over storage configuratie in Proxmox. Uiteindelijk is dit het plan: de spinners puur voor data opslag gebruiken in een ZFS RAID 1 config.
Extra pricewatch: Intel 660p 1TB besteld om die ook in een ZFS RAID 1 te draaien (extra nvme m.b.v.pricewatch: Icy Box PCIe card with M.2 M-Key socket for one M.2 NVMe SSD).
Op de SSD config komt dan Proxmox te staan + de VM's.

Zijn hier nog bezwaren bij te bedenken of zijn er betere opties qua performance?

[unezra]

@netiul Hangt een beetje van je workload af of dat nuttig is of niet. Zelf heb ik 4x 5T in RAIDZ-1 draaien waarop de meeste van mijn vm's staan. Een paar, en een paar containers, heb ik op de root SSD's staan. (PVE zelf draait op 2x 256G SSD.)

NVMe is voor een PVE doos meestal niet nodig. SATA-600 is prima.

De vraag is dus, wat je er mee gaat doen of het nut heeft of niet.

[dcm360]

Als je de ruimte en het budget hebt (hoewel, nvme SSD's hebben tov SATA niet echt een meerprijs meer) kan ik alleen maar aanraden om VM's en containers van nvme SSD's te draaien. Als je dat eenmaal gedaan hebt, dan voelen SATA-SSD's (en zeker harddisks) als technologie van gisteren.

Waar je wel op moet letten is de levensduur, dat gaat met een 660P en het draaien van VM's un combinatie met Promox waarschijnlijk tegenvallen.

[ocf81]

Daarnaast heb je ook nog het probleem dat het aantal NVMe aansluitingen op je moederbord beperkt is en dat lang niet alle moederborden PCIe bifurication ondersteunen.

Zijn er eigenlijk backplanes te krijgen die PCIe 3.0 x4 voor 3½" formaat doorsturen? Wellicht een interessante upgrade voor mijn kasten.

[ Voor 31% gewijzigd door ocf81 op 13-02-2020 21:20 ]

[dcm360]

Eerste hit via Google: pricewatch: Icy Dock ToughArmor MB699VP-B, bijvoorbeeld gecombineerd met dit kaartje van Supermicro en nog wat kabels erbij. Niet per se een goedkope oplossing helaas, maar het lijkt mij ook dat de markt ervoor niet echt groot is. Thuis heb ik mijn u.2-ssd gewoon ergens los in de kast liggen, en voor een paar servers die ik zakelijk beheer was de pricewatch: Supermicro CSE-113MFAC2-341CB de oplossing (met de variant met 2 poorten van het eerdergenoemde insteekkaartje).

Wat betreft het aantal aansluitingen is 2 denk ik altijd wel haalbaar (1 native op het moederbord en 1 met een enkelvoudig kaartje in een PCIe-slot). Ook lijkt bifurcation in het wat hogere mainstream-segment wat minder zeldzaam te worden.

[ocf81]

dcm360 schreef op donderdag 13 februari 2020 @ 21:24:
Eerste hit via Google: pricewatch: Icy Dock ToughArmor MB699VP-B, bijvoorbeeld gecombineerd met dit kaartje van Supermicro en nog wat kabels erbij. Niet per se een goedkope oplossing helaas, maar het lijkt mij ook dat de markt ervoor niet echt groot is. Thuis heb ik mijn u.2-ssd gewoon ergens los in de kast liggen, en voor een paar servers die ik zakelijk beheer was de pricewatch: Supermicro CSE-113MFAC2-341CB de oplossing (met de variant met 2 poorten van het eerdergenoemde insteekkaartje).

Wat betreft het aantal aansluitingen is 2 denk ik altijd wel haalbaar (1 native op het moederbord en 1 met een enkelvoudig kaartje in een PCIe-slot). Ook lijkt bifurcation in het wat hogere mainstream-segment wat minder zeldzaam te worden.

Sorry als mijn edit jouw reply gekruisd heeft. Ik bedoelde eigenlijk een upgrade voor mijn 4U storage kast met LFF hotswap bays.
Op zich is het zeker interessant om te zien dat er ook SFF kastjes zijn met NVMe hotswap bays waar je niet direct failliet van gaat. Ook de Icy Dock is wel een interessant product. Die zal ik in de gaten houden

[dcm360]

ocf81 schreef op donderdag 13 februari 2020 @ 21:31:
[...]

Sorry als mijn edit jouw reply gekruisd heeft. Ik bedoelde eigenlijk een upgrade voor mijn 4U storage kast met LFF hotswap bays.
Op zich is het zeker interessant om te zien dat er ook SFF kastjes zijn met NVMe hotswap bays waar je niet direct failliet van gaat. Ook de Icy Dock is wel een interessant product. Die zal ik in de gaten houden

Die heb ik inderdaad net gemist vrees ik, geen probleem Als ik maar zo af en toe een reden heb om door leuke hardware heen te bladeren
Maar u.2 in 3.5" is zover ik weet niet een ding. Vanuit de markt is er meer vraag naar drives kleiner dan 2.5", al heb ik dat zelf nog nooit in het wild weten te spotten (maar het bestaat wel).

[ocf81]

dcm360 schreef op donderdag 13 februari 2020 @ 20:20:
Als je de ruimte en het budget hebt (hoewel, nvme SSD's hebben tov SATA niet echt een meerprijs meer) kan ik alleen maar aanraden om VM's en containers van nvme SSD's te draaien. Als je dat eenmaal gedaan hebt, dan voelen SATA-SSD's (en zeker harddisks) als technologie van gisteren.

Waar je wel op moet letten is de levensduur, dat gaat met een 660P en het draaien van VM's un combinatie met Promox waarschijnlijk tegenvallen.

Om hier nog even vanuit een meer voor dit topic relevante hoek op terug te komen: Ik gebruik meerdere SATA schijven en SSDs in een ZFS bak om de images te hosten. Mijn bottleneck is nu mijn netwerk, niet de schijven.

[zx9r_mario]

ocf81 schreef op vrijdag 14 februari 2020 @ 15:20:
[...]


Om hier nog even vanuit een meer voor dit topic relevante hoek op terug te komen: Ik gebruik meerdere SATA schijven en SSDs in een ZFS bak om de images te hosten. Mijn bottleneck is nu mijn netwerk, niet de schijven.

Overstappen naar 10Gbit? Op Ebay zijn er genoeg betaalbare 10GBe PCI kaartjes & DAC kabels te koop en voor de switch heeft Mikrotik een paar mooie exemplaren.

[ocf81]

zx9r_mario schreef op maandag 17 februari 2020 @ 21:29:
[...]


Overstappen naar 10Gbit? Op Ebay zijn er genoeg betaalbare 10GBe PCI kaartjes & DAC kabels te koop en voor de switch heeft Mikrotik een paar mooie exemplaren.

Als je 8 schijven en een paar SSDs in RAID 10 hebt ga je zelfs dat wel voltrekken. (ben al over op 10GbE)

[Rednas_N]

Ik heb sinds een paar dagen Proxmox geïnstalleerd op mijn server. Ik heb een SSD van 250GB, tijdens de installatie heb ik aangegeven dat de partitie van Proxmox een grootte heeft van 20GB. Van de resterende ruimte heb ik een nieuwe EXT4 partitie gemaakt t.b.v. VM's en storage. Hiervan heb ik een directory gemaakt.

Op deze directory heb ik FreeNAS (25GB) geïnstalleerd. Verder heb ik twee 4TB WD-Red schijven toegewezen aan FreeNAS. Tijdens het configureren van FreeNAS werd mij gevraagd een pool aan te maken t.b.v jails en plugins. Hiervoor kan ik niet de boot pool gebruiken en ik wil hiervoor ook niet de WD-Red schijven gebruiken.

Wat ik graag zou willen is een (virtuele?) disk toevoegen in Proxmox en deze mounten op FreeNAS. Deze disk wil ik graag toevoegen op de EXT4 partitie (directory) die ik aangemaakt heb. Het is me alleen nog niet helemaal duidelijk hoe ik dit kan realiseren.

Klopt het dat ik hiervoor LVM moet gebruiken en een Volume Group moet aanmaken op de EXT4 partitie/directory? In principe is het niet erg als ik FreeNAS opnieuw moet installeren, er staat nog geen data op en de configuratie aanpassingen die ik heb gedaan zijn minimaal.

Edit:
Uiteindelijk opgelost met behulp van LVM. Ik heb uiteindelijk gebruik gemaakt van LVM-Thin pools.

[ Voor 4% gewijzigd door Rednas_N op 27-02-2020 06:14 ]

[unezra]

Ik probeer de waardes voor zfs_arc_min en zfs_arc_max op een recente (6.1-7) machine omlaag te krijgen. Er zit maar 8G RAM in een kleine mSATA SSD.

Het belachelijke is dat wat ik ook probeer, het niet werkt.

Met de hand:

[root@vonhaus:~]# echo "536870912" > /sys/module/zfs/parameters/zfs_arc_min
[root@vonhaus:~]# echo "1073741824" > /sys/module/zfs/parameters/zfs_arc_max
[root@vonhaus:~]# echo 2 > /proc/sys/vm/drop_caches
[root@vonhaus:~]# arc_summary | grep -A3 'ARC size'
ARC size (current): 5.8 % 227.2 MiB
Target size (adaptive): 100.0 % 3.8 GiB
Min size (hard limit): 6.2 % 245.5 MiB
Max size (high water): 16:1 3.8 GiB
[root@vonhaus:~]#

Mijn zfs.conf lijkt goed te staan:

[root@vonhaus:~]# cat /etc/modprobe.d/zfs.conf
options zfs zfs_arc_min=536870912
options zfs zfs_arc_max=1073741824

[root@vonhaus:~]# update-initramfs -u
update-initramfs: Generating /boot/initrd.img-5.3.18-2-pve
Running hook script 'zz-pve-efiboot'..
Re-executing '/etc/kernel/postinst.d/zz-pve-efiboot' in new private mount namespace..

Ik zie het even niet meer.

Omdat het systeem relatief weinig RAM heeft én niet meer dan een 128G SSD, wil ik de ARC size terug brengen naar 265M min en 1G max. Kan altijd omhoog maar op deze manier hou ik nog wat ruimte over voor het OS en de vm's.

[A1AD]

unezra schreef op maandag 2 maart 2020 @ 19:58:
Ik probeer de waardes voor zfs_arc_min en zfs_arc_max op een recente (6.1-7) machine omlaag te krijgen. Er zit maar 8G RAM in een kleine mSATA SSD.

Het belachelijke is dat wat ik ook probeer, het niet werkt.

Met de hand:

[...]


Mijn zfs.conf lijkt goed te staan:

[...]


Ik zie het even niet meer.

Omdat het systeem relatief weinig RAM heeft én niet meer dan een 128G SSD, wil ik de ARC size terug brengen naar 265M min en 1G max. Kan altijd omhoog maar op deze manier hou ik nog wat ruimte over voor het OS en de vm's.

Domme vraag wellicht maar heb je al eens herstart

Meer heb ik niet moeten aanpassen:

root@pve:~# cat /sys/module/zfs/parameters/zfs_arc_min
0
root@pve:~# cat /sys/module/zfs/parameters/zfs_arc_max
4299967296

root@pve:~# arc_summary | grep -A3 'ARC size'
ARC size (current): 99.0 % 4.0 GiB
Target size (adaptive): 100.0 % 4.0 GiB
Min size (hard limit): 24.4 % 1001.5 MiB
Max size (high water): 4:1 4.0 GiB

[ Voor 27% gewijzigd door A1AD op 03-03-2020 16:06 ]

[ocaj]

unezra schreef op maandag 2 maart 2020 @ 19:58:
Ik probeer de waardes voor zfs_arc_min en zfs_arc_max op een recente (6.1-7) machine omlaag te krijgen. Er zit maar 8G RAM in een kleine mSATA SSD.


Ik zie het even niet meer.

Omdat het systeem relatief weinig RAM heeft én niet meer dan een 128G SSD, wil ik de ARC size terug brengen naar 265M min en 1G max. Kan altijd omhoog maar op deze manier hou ik nog wat ruimte over voor het OS en de vm's.

Zie enkele van de commentaren op: https://serverfault.com/q...-honoured-on-zfs-on-linux

Het lijkt erop dat de ARC niet direct vrijgemaakt wordt. Eenvoudige optie zou zijn om te rebooten of de pool te exporteren en opnieuw te importeren. Alternatief kun je via:

code:

echo 3 > /proc/sys/vm/drop_caches

de cache handmatig flushen. Daarna zou hij niet meer boven je ingestelde maximum uit moeten komen.

[unezra]

A1AD schreef op dinsdag 3 maart 2020 @ 16:03:
[...]


Domme vraag wellicht maar heb je al eens herstart

Meer heb ik niet moeten aanpassen:

[...]

Jup. Meerdere malen herstart.

ocaj schreef op dinsdag 3 maart 2020 @ 22:44:
[...]


Zie enkele van de commentaren op: https://serverfault.com/q...-honoured-on-zfs-on-linux

Het lijkt erop dat de ARC niet direct vrijgemaakt wordt. Eenvoudige optie zou zijn om te rebooten of de pool te exporteren en opnieuw te importeren. Alternatief kun je via:

code:

echo 3 > /proc/sys/vm/drop_caches

de cache handmatig flushen. Daarna zou hij niet meer boven je ingestelde maximum uit moeten komen.

Dat hielp bizar genoeg dus ook niet.

[A1AD]

unezra schreef op dinsdag 3 maart 2020 @ 23:34:
[...]


Jup. Meerdere malen herstart.


[...]


Dat hielp bizar genoeg dus ook niet.

Ik roep maar wat: misschien zit er een onderste limiet op de ARC cache?

[ocaj]

Ik heb nu sinds een maand of 2 een proxmox-server draaien met 5 containers (lxc, geen vm) en heb af en toe gezien dat één of meer containers hun connectiviteit verloren. Niet meer te benaderen via het netwerk.
Vandaag lag dus weer alles plat en heb ik iets uitgebreider kunnen onderzoeken dan simpelweg de container herstarten.

De host-machine zelf heeft geen problemen, dus als ik via de host-machine dan de container benader (pct enter 10x) dan kom ik erachter dat de container zijn ipv4-adres kwijt is. (ipv6 overigens geen enkel probleem)

Als ik kijk naar wat er draait binnen de container dan valt op dat in de containers zonder connectiviteit de dhclient niet meer draait. Die moet toch permanent draaien als je dhcp draait?

Mijn fritz-box is DHCP-server in mijn thuisnetwerk en staat standaard op een lease-time van 10 dagen. Het lijkt erop dat er bij de eerste renew (ongeveer de helft van die 10 dagen) iets misgaat.

Logging geeft geen enkele hint of aanwijzing.

Containers zijn gemaakt op basis van het debian10-template.

Iemand dit ooit eerder gezien? En vooral: is er een oplossing?
Tips waar ik nog kan zoeken waarom dit gebeurt?

Als tijdelijke "oplossing" heb ik nu de lease-time even op een jaar gezet (zo heel dynamisch is mijn thuis-netwerk nou ook weer niet, dus opraken zullen ze niet zomaar doen).
Alternatief kan ik nog alles statisch configureren, maar dat vind ik qua beheer onhandig.

[CurlyMo]

Een migratie van ESXi naar Proxmox gaat voorspoedig. Al mijn oude VM's draaien nu in LXC container behalve één: Mailcow. Voor wie het niet kent. Mailcow is een mailserver gebouwd op een verzameling docker containers.

Mailcow draait nu in een KVM op Debian 10. Mijn /var/lib/docker/volumes folder waar de Mailcow specifieke data staat wordt gemount vanaf een NFS share, zodat ik dat makkelijker kan backuppen. Dat werkt op zich prima, maar Mailcow vraagt een shitload aan geheugen. Dat is met KVM minder zuinig dan met LXC. Daarnaast wil ik graag alles in LXC containers zetten wanneer KVM niet strikt noodzakelijk is. En nu draait het op Debian en Proxmox is net zo goed Debian.

Dus naar LXC. In precies dezelfde setup (door een rsync van de KVM root naar de LXC root) werkt dit bijna perfect, met uitzondering van één probleem.

Ik mount mijn data folder opnieuw aan /var/lib/docker/volumes, maar zodra docker nu start, mount(?) hij een eigen folder, unmount(?) hij mijn folder of nog iets anders waardoor mijn mailcow specifieke data niet meer beschikbaar is. Zodra ik docker weer stop is mijn share en dus de data weer terug onder /var/lib/docker/volumes. Ongewenst dus. Ik zie alleen niet waar die 'mount' van docker vandaan komt, want het kale commando mount laat niet zien dat docker iets op dat pad aan het doen is. Dit gebeurt ongeacht of ik nu mount via NFS of via LXC mountpoints.

Iemand een idee hoe ik dit oplos? Oftewel, hoe vertel ik docker dat hij mijn /var/lib/docker/volumes met rust laat zoals dat binnen mijn KVM installatie wel gebeurt?

---

Ik heb nu een volgend rc.local gemaakt, wat ook werkt, maar een beetje een smerige oplossing is.

Bash:

while [ $(pgrep dockerd | wc -l) -eq 0 ]; do
        sleep 1;
done
sleep 5;
docker ps | grep -q mailcow || /usr/local/bin/docker-compose down
mount | grep -q /var/lib/docker/volumes || mount --bind /data /var/lib/docker/volumes
cd /opt/mailcow-dockerized
/usr/local/bin/docker-compose up -d

[ Voor 11% gewijzigd door CurlyMo op 10-03-2020 22:05 ]

[powerboat]

Ik heb dadelijk 3 nodes beschikbaar om een cluster te maken met ieder 3x4TB SSD.

Ik wil met CEPH de cluster redundant uitvoeren, echter kom er niet helemaal uit wat een veilige oplossing is.

Iemand die hier ervaring mee heeft ?

[ Voor 9% gewijzigd door powerboat op 11-03-2020 19:30 ]

[ocf81]

@powerboat Ik ben na het opzetten van een ZFS NAS toch weer aan het nadenken over Ceph, dus ik ben benieuwd wat jouw ervaring is.

[powerboat]

ocf81 schreef op woensdag 11 maart 2020 @ 21:11:
@powerboat Ik ben na het opzetten van een ZFS NAS toch weer aan het nadenken over Ceph, dus ik ben benieuwd wat jouw ervaring is.

Momenteel heb ik als poc een 3 node cluster met 1x 1TB nvme ssd draaien. Dit draait natuurlijk super maar is van verre ideaal aangezien ik momenteel maar 1 van de 3tb kan gebruiken.

Kapot hebben ik het nog niet gekregen, maar dit lijkt me bijlange na niet goed geconfigureerd.

Zal mijn bevindingen de komende tijd wel op dit forum plaatsen.

[mdbraber]

Ik heb OPNsense op Proxmox draaien. Om gebruik te maken van AES-NI heb ik als CPU type 'SandyBridge' ingesteld. Maakt het verschil voor CPU usage (overhead?) of ik een CPU type als SandyBridge selecteer ipv 'host' (ik heb een i3-8100). Of zou dat allebei even efficient moeten zijn? Ik heb nml. het idee dat OPNsense 'veel' (10-13%) CPU gebruikt, maar misschien komt dat gewoon omdat ik een permanente OpenVPN verbinding heb openstaan?

[ocf81]

mdbraber schreef op donderdag 12 maart 2020 @ 12:25:
Ik heb OPNsense op Proxmox draaien. Om gebruik te maken van AES-NI heb ik als CPU type 'SandyBridge' ingesteld. Maakt het verschil voor CPU usage (overhead?) of ik een CPU type als SandyBridge selecteer ipv 'host' (ik heb een i3-8100). Of zou dat allebei even efficient moeten zijn? Ik heb nml. het idee dat OPNsense 'veel' (10-13%) CPU gebruikt, maar misschien komt dat gewoon omdat ik een permanente OpenVPN verbinding heb openstaan?

Ik zou het gewoon benchmarken. Het omzetten van het CPU type kan en na een reboot is het dan effectief.

[zekerpixels]

Ik ben de afgelopen dagen Proxmox aan het uitproberen, wat toe nu toe goed bevalt. Nu is het de bedoeling het op de juiste manier op te zetten, maar ik ben er nog niet uit wat nou het beste is om te doen. Met wat rondzoeken kom ik vaak tegen dat het handig is een losse drive te gebruiken voor de pve en vms, zodat proxmox evt opnieuw te installeren/updaten met behoud van de vms.

Ik heb nu een 120gb SSD voor proxmox voor proxmox en een paar isos en een 250gb voor de vms, moet nog wel kijken hoe ik hier goede backups van kan maken. Voor de vms iniedergeval FreenNAS met PCI passtrough, Plex (moet nog proberen of ik een lcx aan de gang krijg), Ubuntu (desktop of server) en nog een vm waar ik nog niet over uit ben.

Ik had evt in gedachte om van beide een raid 1 te maken of is het beter proxmox op 2 hdds raid1 te zetten. (evt heb ik hier binnenkort 2 1tb wd red voor beschikbaar), ik leest wat over overleiden van de ssds door veel kleine schrijfacties, maar daartegenover ook veel goede berichten met de goedkoopste ssds welke te vinden waren.

Wat is een nou handige drive configuratie voor de pve en vms? (geen nvme) of is iets anders aan te bevelen.

[ Voor 46% gewijzigd door zekerpixels op 17-03-2020 12:57 ]

[CurlyMo]

Wat ik heb gedaan is proxmox met een ZFS-on-Root op een 16GB SSD partitie zetten. De rest van de SSD heb ik in gebruik als ZFS data pool voor VM's. Zo scheid ik de proxmox installatie van de VM's. De daadwerkelijke data staat dan nog weer op een aparte pool van HDD's. De HDD's draaien in RAIDZ2 en de SSD in een RAID1.

FreeNAS en consorten gebruik ik niet meer. De pools draaien gewoon in Proxmox en de mappen worden doorgegeven naar een (unpriviliged) LXC container waar ze middels Samba en NFS beschikbaar worden gemaakt voor elders. Dat beschermt weer iets meer voor geadvanceerde cryptolockers.

[zekerpixels]

@CurlyMo, dat is misschien wel een goede optie, want dat bespaard weer twee sata aansluitingen en ruimte. Ik ga het eens uitproberen om dat voor elkaar te krijgen en hoeveel ruimte ik hier eigenlijk nodig heb.

[CurlyMo]

zekerpixels schreef op dinsdag 17 maart 2020 @ 17:08:
@CurlyMo, dat is misschien wel een goede optie, want dat bespaard weer twee sata aansluitingen en ruimte. Ik ga het eens uitproberen om dat voor elkaar te krijgen en hoeveel ruimte ik hier eigenlijk nodig heb.

Ik zeg meerdere dingen, of vind je alles wat ik zeg goede opties

[A1AD]

CurlyMo schreef op dinsdag 17 maart 2020 @ 09:42:
Wat ik heb gedaan is proxmox met een ZFS-on-Root op een 16GB SSD partitie zetten. De rest van de SSD heb ik in gebruik als ZFS data pool voor VM's. Zo scheid ik de proxmox installatie van de VM's. De daadwerkelijke data staat dan nog weer op een aparte pool van HDD's. De HDD's draaien in RAIDZ2 en de SSD in een RAID1.

FreeNAS en consorten gebruik ik niet meer. De pools draaien gewoon in Proxmox en de mappen worden doorgegeven naar een (unpriviliged) LXC container waar ze middels Samba en NFS beschikbaar worden gemaakt voor elders. Dat beschermt weer iets meer voor geadvanceerde cryptolockers.

Heb je eens zin om samen te vatten hoe je een unpriviliged LXC werkende krijgt wanneer je verschillende ACL groepen per folder gebruikt samen met Samba. Ik vind de uitleg op de proxmox site echt niet duidelijk mbt die UID mapping.

[zekerpixels]

@CurlyMo, grapjas.
Wat betreft partities op de ssd lijkt mij wel handig. Eerst had ik het idee dit niet te doen, maar proxmox maakt deze zelf al aan bij de installatie. Hierbij ben er nog niet uit hoe ik de grote van deze partities een beetje kan verschuiven. Dus op de 240gb ssd, staat standaard 56gb voor root en 140gb voor vm.
Door pools in proxmox zelf en een lxc voor het hiervan bereikbaar maken op het netwerk, word het zover mogelijk op de voorgrond beschikbaar gemaakt ipv genest in een vms en plugins. Tot nu toe vind ik FreeNAS hier wel intuitiever voor werken, alleen krijg ik daar de vm niet aan de gang.

Ik ben wat verschillende dingen aan het proberen, voordat ik het zo ga configureren als ik wil hebben en/of voor mij het meest gebruiksvriendelijk is. Het is wel behoorlijk wat zoekwerk voor sommige dingen uit te voeren die, naar mijn mening veel makkelijker zouden moeten kunnen. (ik hen er niet bekend mee, dus daar zal het wel door komen)
Bijvoorbeeld wat ik nu nog niet van elkaar heb gekregen, ik heb een zfs disk, kan ik gebruiken enz. Nu wil ik deze verwijderen, dus destroy pool, fdsik d en w. De disk is nu weer beschikbaar voor een nieuw volume mee te maken, maar de pool die ik weg wil hebben is nog zichtbaar in het lijstje onder de node, hoe krijg ik dit weg of wat had de juiste manier moeten zijn om dit te doen?

[CurlyMo]

@A1AD

code:

# cat /etc/subuid:
root:5000:3
root:100000:65536

code:

# cat /etc/subgid:
root:5000:1
root:100000:65536

code:

# zfs list -o name
data/users
data/users/gebruiker1
data/users/gebruiker2

code:

# cat /etc/pve/lxc/107.conf
mp0: /data/users,mp=/data/users
mp1: /data/users/gebruiker1,mp=/data/users/gebruiker1
mp2: /data/users/gebruiker2,mp=/data/users/gebruiker2
[...]
unprivileged: 1
lxc.idmap: u 0 100000 5000
lxc.idmap: g 0 100000 5000
lxc.idmap: u 5000 5000 1
lxc.idmap: u 5001 5001 1
lxc.idmap: u 5002 5002 1
lxc.idmap: g 5000 5000 1
lxc.idmap: u 5003 105003 60533
lxc.idmap: g 5001 105001 60535

code:

# getfacl /data/users/gebruiker1
getfacl: Removing leading '/' from absolute path names
# file: data/users/gebruiker1
# owner: gebruiker1
# group: users
user::rwx
group::---
other::---
default:user::rwx
default:user:gebruiker1:rwx
default:group::---
default:group:users:rwx
default:mask::rwx
default:other::---

code:

# zfs get acltype data/users/gebruiker1
NAME                PROPERTY  VALUE     SOURCE
data/users/gebruiker1 acltype   posixacl  inherited from data/users

Binnen mijn LXC container:

code:

# grep gebruiker /etc/passwd
gebruiker1:x:5001:5000::/home/gebruiker1:/bin/sh
gebruiker2:x:5002:5000::/home/gebruiker2:/bin/sh
gebruiker3:x:5000:5000::/home/gebruiker3:/bin/sh

code:

# grep users /etc/group
users:x:5000:

code:

# ls -Aln /data/users/
total 35
drwx------+  6  5002  5000 11 Feb 28 14:15 gebruiker2
drwx--x--x  12 65534 65534 13 Mar 10 21:00 mail
drwx------+  7  5001  5000 16 Mar 16 09:41 gebruiker1
drwxr-xr-x   4 65534 65534  4 Oct  7 19:01 recycle
drwxrwx---+  7  5001  5000  7 Mar  7 11:01 shared
drwxr-xr-x   4 65534 65534  4 Jan 31 22:02 snapshots

zekerpixels schreef op woensdag 18 maart 2020 @ 12:53:
Eerst had ik het idee dit niet te doen, maar proxmox maakt deze zelf al aan bij de installatie.

Niet helemaal. Proxmox gebruikt standaard gewoon de hele schijf voor zijn root en VM's als onderdeel van de root.

code:

# zfs list -r rpool
rpool                           3.51G  11.0G      104K  /rpool
rpool/ROOT                      3.50G  11.0G       96K  /rpool/ROOT
rpool/ROOT/pve-1                3.50G  11.0G     2.69G  /
rpool/data                        96K  11.0G       96K  /rpool/data

Alle VM's worden dan onder rpool/data geplaatst. Dat wilde ik niet.

Ik bedoel dus dit:

code:

# fdisk -l /dev/sda
Disk /dev/sda: 238.5 GiB, 256060514304 bytes, 500118192 sectors
Disk model: M4-CT256M4SSD2
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: CC59E6F2-67CD-4B8E-8B6C-790A7DFB49A5

Device        Start       End   Sectors   Size Type
/dev/sda1        34      2047      2014  1007K BIOS boot
/dev/sda2      2048   1050623   1048576   512M EFI System
/dev/sda3   1050624  33554432  32503809  15.5G Solaris /usr & Apple ZFS
/dev/sda4  33556480 495953919 462397440 220.5G Solaris /usr & Apple ZFS

code:

# zpool status
  pool: data
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
        still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
        the pool may no longer be accessible by software that does not support
        the features. See zpool-features(5) for details.
  scan: scrub repaired 0B in 0 days 00:11:13 with 0 errors on Thu Mar 12 03:11:14 2020
config:

        NAME                                               STATE     READ WRITE CKSUM
        data                                               ONLINE       0     0     0
          mirror-0                                         ONLINE       0     0     0
            wwn-0x5002303100145bfc                         ONLINE       0     0     0
            ata-M4-CT256M4SSD2_000000001202032D1B98-part4  ONLINE       0     0     0

errors: No known data errors

  pool: rpool
 state: ONLINE
  scan: scrub repaired 0B in 0 days 00:00:10 with 0 errors on Thu Mar 12 08:58:23 2020
config:

        NAME                                               STATE     READ WRITE CKSUM
        rpool                                              ONLINE       0     0     0
          mirror-0                                         ONLINE       0     0     0
            ata-M4-CT256M4SSD2_000000001202032D1B98-part3  ONLINE       0     0     0
            ata-PLEXTOR_PX-256M5M_P02405103196-part3       ONLINE       0     0     0

errors: No known data errors

Ondanks de disk-id die anders zijn gaat het beide keren over dezelfde SSDs.

code:

# zfs list -r data/vm
data/vm                        28.2G  75.9G      124K  /data/vm
data/vm/subvol-101-disk-0       651M  7.45G      561M  /data/vm/subvol-101-disk-0
data/vm/subvol-102-disk-0      4.62G  16.2G     3.81G  /data/vm/subvol-102-disk-0
data/vm/subvol-103-disk-0       712M  3.50G      516M  /data/vm/subvol-103-disk-0
data/vm/subvol-104-disk-0      3.79G  75.9G     3.16G  /data/vm/subvol-104-disk-0
data/vm/subvol-105-disk-0       967M  7.35G      662M  /data/vm/subvol-105-disk-0
data/vm/subvol-106-disk-0      1.23G  7.20G      823M  /data/vm/subvol-106-disk-0
data/vm/subvol-107-disk-0       679M  3.48G      534M  /data/vm/subvol-107-disk-0
data/vm/subvol-108-disk-0       489M   569M      455M  /data/vm/subvol-108-disk-0
data/vm/subvol-109-disk-0       523M   568M      456M  /data/vm/subvol-109-disk-0
data/vm/vm-100-disk-0          14.6G  75.9G     11.1G  -

code:

# cat /etc/pve/storage.cfg
dir: local
        path /var/lib/vz
        content iso,vztmpl,backup

zfspool: local-zfs
        pool data/vm
        content images,rootdir
        mountpoint /data/vm
        sparse 1

---

Andere vraag. Hebben mensen een verklaring voor dit.

Proxmox omgeving:

code:

root@pve:/# speedtest-cli
Retrieving speedtest.net configuration...
Testing from KPN (xx.xx.xxx.xx)...
Retrieving speedtest.net server list...
Selecting best server based on ping...
Hosted by YISP B.V. (Haarlem) [10.83 km]: 5.032 ms
Testing download speed................................................................................
Download: 92.94 Mbit/s
Testing upload speed......................................................................................................
Upload: 4.01 Mbit/s

Binnen een van mijn LXC containers:

code:

root@foo:/home/curlymo# speedtest-cli
Retrieving speedtest.net configuration...
Testing from KPN (xx.xx.xxx.xxx)...
Retrieving speedtest.net server list...
Selecting best server based on ping...
Hosted by XS4ALL Internet BV (Amsterdam) [23.08 km]: 7.781 ms
Testing download speed..........................................................                                     ......................
Download: 92.13 Mbit/s
Testing upload speed............................................................                                     ....................................
Upload: 94.00 Mbit/s

Voor wie last heeft van corona, het verschil zit in de upload snelheid.

[ Voor 10% gewijzigd door CurlyMo op 19-03-2020 20:38 ]

[DaRoot]

ik wil mijn huidige server gaan ombouwen, en meer geschikt maken voor Proxmox.
Ik draai nu op een Asrock B75 Pro3-M met een Celeron G1610 en 10GB RAM.
CPU wordt vervangen door een i5-3470s, en geheugen wordt 16 GB.
Verder heb ik 2x 3TB HDD en 2x 180GB Intel 520SSD klaarliggen.

Mijn eerste idee is de SSD's gebruiken voor Proxmox en de VM's zelf, en de data op de HDD's.
ik heb evt nog een Kingston 60GB SSD beschikbaar om als bootschijf o.i.d. te laten fungeren.

Ik wil er graag ook Docker containers op kunnen draaien, die wereld ben ik nu beetje aan het ontdekken, op een Pi3.
Verder in VM of Docker vorm:
- Nextcloud
- SMB Filesharing (FreeNAS?)
- downloads: Torrents en usenet
- Wireguard
- PiHole
- Domoticz
- Unifi controller
- Duplicati (backups vanaf mijn vaders huis naar hier en vice versa)
- Traefik voor het extern netjes bereikbaar maken van verschillende services
- webserver LAMP voor administratiepakket, iTop
- Misschien nog mailserver

Verder heb ik thuis alle switches met VLAN ondersteuning, welke ik nog niet gebruik, maar dat ben ik ook van plan. Ik wil bijv. de Unifi controller voor de AP's een eigen VLAN geven, evenals IoT voor bijv. Domoticz.

Is het verstandig om nog een extra LAN kaart naast de onboard toe te voegen?

Ik hou het voorlopig bij 1 Proxmox Node.
Backups wil waarschijnlijk op een NAS gaan regelen, maar daar ben ik nog niet helemaal over uit.

Wat is wijsheid om te doen qua indeling met de SSD's en HDD's? ZFS of LVM gebruiken?

[mdbraber]

@DaRoot ik heb ongeveer eenzelfde setup qua wat je draait. Ik draai 2 Debian VMs: één met OPNsense als router en één met Debian Linux met daarop alle Dockers.

Je hebt niet over of je de setup wilt gebruiken als router. Maar als dat zo is, dan is een extra netwerkkaart (voor WAN) wel heel makkelijk. Je kan ook een configuratie met één fysieke interface maken, maar het vergt iets meer werkt, en bij hoge bandbreedtes in/out heb je daar iets meer performance verlies van.

Qua indeling SSD en en HDD zou ik het doen zoals je zelf al voorstelt: VMs op SSD en meer long-term data op HDD. Wat ik wel kan aanraden als je een VM met Dockers hebt is de /var/lib/docker folder bijv. een eigen (virtuele) disk te geven. Zo kan je namelijk veel kleinere backups maken, door die disk niet mee te nemen. Je kan backups van je VMs op de HDD maken bijv.

Qua filesystem ben ik groot van ZFS vanwege de dynamische structuur (je hoeft niet zelf groottes etc. van datasets aan te passen). Ook native encryption (at rest) vind ik een grote plus, evenals de mogelijkheid om snapshots te maken.

Over de Unifi controller: ik heb ook verschillende SSIDs met verschillende VLANs. Ik zet de Unifi controller overigens verder weer uit om energie te besparen en met 1 AP (zoals ik heb) biedt de controller na 1x instellen geen toegevoegde waarde. FreeNAS zou ik zelf niet doen, aangezien 'native ZFS' (on Linux) prima werkt en FreeNAS een extra VM vraagt op FreeBSD wat niet per se zuinig is. Maar als het hele verbruikt etc je weinig uitmaakt kan je het zeker doen.

Hier nog een algemene goede uitleg/aanpak als je met de Dockers die jij noemt (oa Traefik, downloads etc) aan de slag wilt: https://geek-cookbook.funkypenguin.co.nz. Veel succes!

[DaRoot]

mdbraber schreef op dinsdag 24 maart 2020 @ 15:36:
@DaRoot ik heb ongeveer eenzelfde setup qua wat je draait. Ik draai 2 Debian VMs: één met OPNsense als router en één met Debian Linux met daarop alle Dockers.

Je hebt niet over of je de setup wilt gebruiken als router. Maar als dat zo is, dan is een extra netwerkkaart (voor WAN) wel heel makkelijk. Je kan ook een configuratie met één fysieke interface maken, maar het vergt iets meer werkt, en bij hoge bandbreedtes in/out heb je daar iets meer performance verlies van.

Qua indeling SSD en en HDD zou ik het doen zoals je zelf al voorstelt: VMs op SSD en meer long-term data op HDD. Wat ik wel kan aanraden als je een VM met Dockers hebt is de /var/lib/docker folder bijv. een eigen (virtuele) disk te geven. Zo kan je namelijk veel kleinere backups maken, door die disk niet mee te nemen. Je kan backups van je VMs op de HDD maken bijv.

Qua filesystem ben ik groot van ZFS vanwege de dynamische structuur (je hoeft niet zelf groottes etc. van datasets aan te passen). Ook native encryption (at rest) vind ik een grote plus, evenals de mogelijkheid om snapshots te maken.

Over de Unifi controller: ik heb ook verschillende SSIDs met verschillende VLANs. Ik zet de Unifi controller overigens verder weer uit om energie te besparen en met 1 AP (zoals ik heb) biedt de controller na 1x instellen geen toegevoegde waarde. FreeNAS zou ik zelf niet doen, aangezien 'native ZFS' (on Linux) prima werkt en FreeNAS een extra VM vraagt op FreeBSD wat niet per se zuinig is. Maar als het hele verbruikt etc je weinig uitmaakt kan je het zeker doen.

Hier nog een algemene goede uitleg/aanpak als je met de Dockers die jij noemt (oa Traefik, downloads etc) aan de slag wilt: https://geek-cookbook.funkypenguin.co.nz. Veel succes!

Dank voor je antwoord.
Ik wil het nog niet meteen gaan gebruiken als router, ik heb nog een USG liggen van Ubiquiti die ook nog in het netwerk opgenomen moet worden. Maar goed, een extra LAN kaart is ook zo toegevoegd indien nodig.

Afhankelijk van hoe groot de backups zijn wil ik ze evt zelfs offsite parkeren (lees: server van mijn vader 30km verderop), maar daar gat ik nog wel wat op bedenken. Van een aantal containers zijn voor mij voornamelijk de config files en evt database vooral van belang, niet zozeer een complete backup.

Qua unifi: ik heb nu de controller ook permanent draaien op een Pi, samen met PiHole in docker vorm.

Qua FreeNAS: het hoeft echt niet perse FreeNAS te worden, ik heb nu gewoon een eigen smb.conf op mijn ubuntu server staan en via Samba dus de boel geshared. Het zou mooi zijn als het iets mooier te beheren is met een webgui, heb me er nog niet in verdiept of daar ook Docker containers voor zijn.

Het cookbook van Funky Penguin ken ik toevallig! dat gaat ook wel een beetje mijn leidraad worden.

Vwb SSD's en HDD's: maak je met ZFS een soort van RAID 0 voor de VM's? zodat ik 2x 180GB beschikbaar heb?

[CurlyMo]

DaRoot schreef op dinsdag 24 maart 2020 @ 16:05:
[...]
Qua FreeNAS: het hoeft echt niet perse FreeNAS te worden, ik heb nu gewoon een eigen smb.conf op mijn ubuntu server staan en via Samba dus de boel geshared. Het zou mooi zijn als het iets mooier te beheren is met een webgui, heb me er nog niet in verdiept of daar ook Docker containers voor zijn.

Hoe vaak veranderd zo'n samba configuratie nou echt? Ik heb ook gewoon een Debian LXC die mijn shares afhandelt. Daar ga ik geen enorme webGUI voor aan slingeren, alleen maar zonde van de resources.

[DaRoot]

CurlyMo schreef op dinsdag 24 maart 2020 @ 17:22:
[...]

Hoe vaak veranderd zo'n samba configuratie nou echt? Ik heb ook gewoon een Debian LXC die mijn shares afhandelt. Daar ga ik geen enorme webGUI voor aan slingeren, alleen maar zonde van de resources.

Klopt helemaal hoor.. Maar kan er ondertussen wel wat ervaring mee opdoen, alternatief bijv. OpenMediaVault?
FreeNAS in een verleden ooit eens mee gewerkt, OMV nog nooit.

[CurlyMo]

DaRoot schreef op dinsdag 24 maart 2020 @ 17:39:
[...]

Klopt helemaal hoor.. Maar kan er ondertussen wel wat ervaring mee opdoen, alternatief bijv. OpenMediaVault?
FreeNAS in een verleden ooit eens mee gewerkt, OMV nog nooit.

OMV zou je nog in een LXC container kunnen draaien want Debian. FreeNAS niet, want FreeBSD. Die laatste gebruikt dus veel meer resources voor hetzelfde doel.

[RobertMe]

CurlyMo schreef op dinsdag 24 maart 2020 @ 17:50:
[...]

OMV zou je nog in een LXC container kunnen draaien want Debian. FreeNAS niet, want FreeBSD. Die laatste gebruikt dus veel meer resources voor hetzelfde doel.

Ik meen dat hier (of in ieder geval op forum hier) eens is langs gekomen dat OMV niet zou willen in LXC. Wil toegang hebben tot ruwe disks.

[unezra]

DaRoot schreef op dinsdag 24 maart 2020 @ 16:05:
[...]

Dank voor je antwoord.
Ik wil het nog niet meteen gaan gebruiken als router, ik heb nog een USG liggen van Ubiquiti die ook nog in het netwerk opgenomen moet worden. Maar goed, een extra LAN kaart is ook zo toegevoegd indien nodig.

Afhankelijk van hoe groot de backups zijn wil ik ze evt zelfs offsite parkeren (lees: server van mijn vader 30km verderop), maar daar gat ik nog wel wat op bedenken. Van een aantal containers zijn voor mij voornamelijk de config files en evt database vooral van belang, niet zozeer een complete backup.

Dat kun je ook vrij charmant oplossen met Sanoid/Syncoid:
https://github.com/jimsalterjrs/sanoid

Enige dat je aan de andere kant nodig hebt is een machine met ZFS maar dat kan wel een compleet anders gespecte server zijn. Zelf heb ik op die manier sinds een tijdje alles gebackupt naar een losse machine buiten de deur. (In het datacenter.)

Die machine is *ook* een PVE machine, maar met andere specs dan thuis. (Lees: Veel lichter.) Disk configuratie is afwijkend. Je repliceert de datasets dus dat kan. Tegelijkertijd backup ik die machine weer naar huis, dus alle data die ik heb staat met enige vertraging, op 2 fysiek gescheiden locaties.

Qua FreeNAS: het hoeft echt niet perse FreeNAS te worden, ik heb nu gewoon een eigen smb.conf op mijn ubuntu server staan en via Samba dus de boel geshared. Het zou mooi zijn als het iets mooier te beheren is met een webgui, heb me er nog niet in verdiept of daar ook Docker containers voor zijn.

FreeNAS als vm zou ik afraden. Kost te veel resources. Ik meen dat het minimaal 8G RAM eist. Voegt ook niet zo veel toe.
Ik heb nu OMV in een vm draaien, maar weet nog steeds niet of ik dat geen overkill vind. Het werkt prima, maar vind de onderliggende NFS mounts niet heel lekker dus het kan zijn dat ik daar alsnog een keer vanaf stap en gewoon een LXC containertje maak met handmatig geconfigureerde samba, of zelfs samba op de hypervisor ga draaien. (Al vind ik dat laatste een minder prettig idee. Hypervisor wil ik liefst zo puur mogelijk houden, op dingen als sanoid/syncoid na die alleen mogelijk zijn vanaf de hypervisor.)

Vwb SSD's en HDD's: maak je met ZFS een soort van RAID 0 voor de VM's? zodat ik 2x 180GB beschikbaar heb?

Dan zou ik grotere SSD's kopen.
Een stripe vergroot ook de kans op totaal dataverlies. Ik zou ze eerder in mirror draaien.

[CurlyMo]

RobertMe schreef op dinsdag 24 maart 2020 @ 17:56:
[...]

Ik meen dat hier (of in ieder geval op forum hier) eens is langs gekomen dat OMV niet zou willen in LXC. Wil toegang hebben tot ruwe disks.

Is dat niet afhankelijk van welke verantwoordelijkheid je aan OMV geeft? Ik verwacht (= aanname) namelijk dat je ook gewoon enkel Samba via OMV moet kunnen regelen.

[HaTe]

Ik ben van plan om mijn Microserver opnieuw in te richten, aangezien de 2 huidige HDD's naar mijn gevoel aan vervanging toe zijn. Ik heb ruimte tekort en ze zitten op 29k en 41k draaiuren (WD RED 3TB). Momenteel draai ik voornamelijk Xpenology en met deze disks als pass through. Daarbij heb ik een kleine 30GB SSD waarop proxmox draait en een andere kleine Debian VM, aangezien ik dit nergens anders kwijt kan.

Nu heb ik 4x 4TB WD RED's gekocht om de 2 oude schijven te vervangen. Het eerste idee is om als ZFS raidz1 in te stellen. Nu kom ik er achter dat dit niet helemaal optimaal is voor snelheid. Dit heb ik even snel getest en haal zo'n 57MB/s write als ik wat upload via WinSCP op de zpool. Echter, bij raidz2 haal ik dezelfde snelheid. Naar mijn idee te langzaam!

Ik wil de basis graag eerst goed hebben voordat ik mijn 6TB aan data hier naartoe schrijf.

Wat kunnen jullie mij aanraden? Ik maak me ook zorgen om dat ik slechts 8GB RAM heb nu. Kan dit uitbreiden naar 16GB. Misschien is ZFS helemaal niet verstandig in deze setup?

[CurlyMo]

8GB en ZFS gaat meer dan prima.

[unezra]

HaTe schreef op vrijdag 27 maart 2020 @ 19:18:
Ik ben van plan om mijn Microserver opnieuw in te richten, aangezien de 2 huidige HDD's naar mijn gevoel aan vervanging toe zijn. Ik heb ruimte tekort en ze zitten op 29k en 41k draaiuren (WD RED 3TB). Momenteel draai ik voornamelijk Xpenology en met deze disks als pass through. Daarbij heb ik een kleine 30GB SSD waarop proxmox draait en een andere kleine Debian VM, aangezien ik dit nergens anders kwijt kan.

Nu heb ik 4x 4TB WD RED's gekocht om de 2 oude schijven te vervangen. Het eerste idee is om als ZFS raidz1 in te stellen. Nu kom ik er achter dat dit niet helemaal optimaal is voor snelheid. Dit heb ik even snel getest en haal zo'n 57MB/s write als ik wat upload via WinSCP op de zpool. Echter, bij raidz2 haal ik dezelfde snelheid. Naar mijn idee te langzaam!

Ik wil de basis graag eerst goed hebben voordat ik mijn 6TB aan data hier naartoe schrijf.

Wat kunnen jullie mij aanraden? Ik maak me ook zorgen om dat ik slechts 8GB RAM heb nu. Kan dit uitbreiden naar 16GB. Misschien is ZFS helemaal niet verstandig in deze setup?

RAIDZ-2 moet je niet willen. Dat kost je 2 disks.
RAIDZ-1 is prima, verlies je maar 1 disk mee.

8G is ook prima voor ZFS, dat gaat echt de bottleneck niet zijn. Alleen, hou er rekening mee dat ZFS pas écht snel word, als je zijn cache raakt. Bij een enkele leesactie ga je geen bijzondere snelheden merken, maar lees je een bestand 2x achter elkaar (of vaker) en zit het in die tijd nog in zijn cache, dán heb je opeens ook snelheidsvoordeel van ZFS.

ZFS moet je alleen niet enkel aan beginnen vanwege de snelheid, maar juist ook vanwege het gebruiksgemak en dataintegriteit / bitrot bescherming.

Gebruiksgemak zit 'm in dingen als datasets, zeg maar quota done right, en mogelijkheden om complete datasets te snapshotten én te repliceren naar een andere machine, waardoor je relatief eenvoudig backups kunt maken. (Ook met PVE. PVE is onder water debian met een gemodificeerde Ubuntu kernel, dus je hebt alle standaard tooling tot je beschikking.)

[CurlyMo]

unezra schreef op vrijdag 27 maart 2020 @ 19:45:
[...]


RAIDZ-2 moet je niet willen. Dat kost je 2 disks.
RAIDZ-1 is prima, verlies je maar 1 disk mee.

Ik ga draai liever geen RAIDZ-1 op grote disks. Dan liever een mirror t.b.v. makkelijke uitbreiding of RAIDZ2.

[unezra]

CurlyMo schreef op vrijdag 27 maart 2020 @ 19:48:
[...]
Ik ga draai liever RAIDZ-1 op grote disks. Dan liever een mirror t.b.v. makkelijke uitbreiding of RAIDZ2.

Sowieso vind ik RAIDZ-2 weinig toevoegen met kleine arrays. (Lees: minder dan 10 disks) Je verliest een volle disk extra. Kun je beter voor goede backups zorgen. (Goede backups zijn sowieso een goed idee en goed te doen met ZFS dankzij zfs-send en zfs-receive.)

Ook heb ik een tijd geleden begrepen dat RAIDZ-1 in situaties sneller kan zijn dan een mirrored stripe, terwijl je meer netto capaciteit over houd.

Toen heb ik de keuze gemaakt bij 4 disks voor RAIDZ-1 te gaan en niet voor een mirrored stripe, wat ik eerst van plan was. Blij mee, levert me flink wat extra ruimte op.

[CurlyMo]

unezra schreef op vrijdag 27 maart 2020 @ 19:51:
[...]
Sowieso vind ik RAIDZ-2 weinig toevoegen met kleine arrays. (Lees: minder dan 10 disks) Je verliest een volle disk extra. Kun je beter voor goede backups zorgen. (Goede backups zijn sowieso een goed idee en goed te doen met ZFS dankzij zfs-send en zfs-receive.)

Klopt, daarom heb ik óók twee offsite backups RAIDZ2 geeft het gemak dat je 2 willekeurige schijven kan missen.

Ook heb ik een tijd geleden begrepen dat RAIDZ-1 in situaties sneller kan zijn dan een mirrored stripe, terwijl je meer netto capaciteit over houd.

Dat lijkt me vrij sterk om hoe RAIDZ werkt.

[HaTe]

Oke jullie staan nog niet zo negatief tegenover RaidZ1 in mijn setup. Dat had ik net geprobeerd. Dan ga ik nog even de performance impact inventariseren.

Daarnaast was het mij niet helemaal duidelijk wat een goede "plek" is voor je VM disks. Ik had een zpool aangemaakt: /bays/vmdata
Vervolgens kan ik bij de VM een disk toevoegen: SATA, /bays/vmdata, met een bepaalde grootte. Format staat vast op raw. Cache: no cache. Discard wil ik aanzetten ipv thin provisioning.

Is dit ook wat gebruikelijk is om te doen in een dergelijke configuratie? Kan dit beter?

[CurlyMo]

HaTe schreef op vrijdag 27 maart 2020 @ 22:58:
Oke jullie staan nog niet zo negatief tegenover RaidZ1 in mijn setup. Dat had ik net geprobeerd. Dan ga ik nog even de performance impact inventariseren.

Daarnaast was het mij niet helemaal duidelijk wat een goede "plek" is voor je VM disks. Ik had een zpool aangemaakt: /bays/vmdata
Vervolgens kan ik bij de VM een disk toevoegen: SATA, /bays/vmdata, met een bepaalde grootte. Format staat vast op raw. Cache: no cache. Discard wil ik aanzetten ipv thin provisioning.

Is dit ook wat gebruikelijk is om te doen in een dergelijke configuratie? Kan dit beter?

Waarom gebruik je je zfs pool niet als proxmox zfs storage? Dan worden je VM's op zvol gezet.
https://forum.proxmox.com/threads/zfs-zvol-or-files.33653/

[HaTe]

CurlyMo schreef op vrijdag 27 maart 2020 @ 23:04:
[...]

Waarom gebruik je je zfs pool niet als proxmox zfs storage? Dan worden je VM's op zvol gezet.
https://forum.proxmox.com/threads/zfs-zvol-or-files.33653/

Ik heb dit ook voorbij zien komen inderdaad, maar ik kan niet vinden hoe ik dit instel..
Of gaat dit automagisch als ik proxmox op ZFS installeer?

[CurlyMo]

HaTe schreef op vrijdag 27 maart 2020 @ 23:10:
[...]

Ik heb dit ook voorbij zien komen inderdaad, maar ik kan niet vinden hoe ik dit instel..
Of gaat dit automagisch als ik proxmox op ZFS installeer?

Als je niet een aparte pool pakt voor je vm storage wel ja.

Hoe je dat veranderd staat een paar post boven je.

[HaTe]

CurlyMo schreef op vrijdag 27 maart 2020 @ 23:11:
[...]

Als je niet een aparte pool pakt voor je vm storage wel ja.

Hoe je dat veranderd staat een paar post boven je.

Ik weet niet helemaal wat jij nou allemaal hebt. Ik heb je post gezien maar snap niet wat er gebeurd. Ik krijg nu dit als ik een disk aanmaak op de pool:

code:

root@pve:~# zfs list bays -r
NAME                 USED  AVAIL     REFER  MOUNTPOINT
bays                 692K  10.2T      140K  /bays
bays/vm-100-disk-0  81.4K  10.2T     81.4K  -

Wat jij hebt is dat de grootte niet max is, zoals in mijn geval 10.2T? Waarom is dat niet wenselijk en hoe krijg ik het anders?

Ook mijn storage.cfg is niet zo erg anders:

code:

dir: local
    path /var/lib/vz
    content backup,vztmpl,iso

lvmthin: local-lvm
    thinpool data
    vgname pve
    content rootdir,images

zfspool: bays
    pool bays
    blocksize 32k
    content images,rootdir
    sparse 1

dir: iso
    path /bays/iso
    content backup,snippets,vztmpl,iso
    maxfiles 5
    shared 0

[ Voor 20% gewijzigd door HaTe op 28-03-2020 21:18 ]

[CurlyMo]

HaTe schreef op zaterdag 28 maart 2020 @ 21:12:
[...]

Ik weet niet helemaal wat jij nou allemaal hebt. Ik heb je post gezien maar snap niet wat er gebeurd.

Je suggereerde dat je je VM's en LXC containers in bestanden aan het opslaan was i.p.v. zvols en zfs folders. Zoals je het nu laat zien lijkt het inderdaad het wel goed te gaan.

Die quota zijn zachte quota's geen harde:

root@pve:/# zfs get all data/vm/subvol-101-disk-0 | grep quota
data/vm/subvol-101-disk-0  quota                 none                         default
data/vm/subvol-101-disk-0  refquota              8G                           local

De eerste doet de harde quota.

# grep disk /etc/pve/lxc/101.conf
rootfs: local-zfs:subvol-101-disk-0,size=8G

Hier staat die ook nog eens.

[HaTe]

CurlyMo schreef op dinsdag 7 april 2020 @ 23:27:
@HaTe Plaats in het proxmox topic eens de config van je container: /etc/pve/lxc/1XX.conf met op de XX even het juiste nummer.

Geen LXC containers, maar VM's. De 100.conf is Xpenelogy DSM:

code:

args: -netdev type=tap,id=net0,ifname=tap100i0 -device e1000e,mac=E6:66:08:41:7B:E4,netdev=net0,bus=pci.0,addr=0x12,id=net0,bootindex=300 -netdev type=tap,id=net1,ifname=tap100i1 -device e1000e,mac=E6:66:08:41:7B:E5,netdev=net1,bus=pci.0,addr=0x13,id=net1,bootindex=301
balloon: 0
boot: cdn
bootdisk: sata0
cores: 6
ide2: none,media=cdrom
memory: 2048
name: XpenologyDSM
numa: 0
onboot: 1
ostype: l26
sata0: local-zfs:vm-100-disk-0,size=52M
sata1: local-zfs:vm-100-disk-1,backup=0,discard=on,size=9000G
scsihw: virtio-scsi-pci
serial0: socket
smbios1: uuid=e5f1edb1-dbaf-4566-ab3e-5fb8e09c9ed7
sockets: 1
vmgenid: 1def4bd5-80bb-452e-8deb-805719908086

101.conf is Debian met docker, waar TVheadend op draait:

code:

balloon: 512
boot: cdn
bootdisk: sata0
cores: 2
ide2: none,media=cdrom
memory: 3072
name: Debian
net0: virtio=E2:8D:D1:74:3D:3E,bridge=vmbr0
numa: 0
onboot: 1
ostype: l26
sata0: local-zfs:vm-101-disk-0,discard=on,size=16G
scsihw: virtio-scsi-pci
smbios1: uuid=4e4be971-e689-4ba5-9546-495a19664100
sockets: 1
virtio0: local-zfs:vm-101-disk-1,backup=0,discard=on,iothread=1,size=600G
vmgenid: e753ac80-bbba-4ae5-8f62-d1db68d5d82e

Heb nu net de virtio vervangen door:

code:

scsi0: local-zfs:vm-101-disk-1,discard=on,iothread=1,size=600G

En volblocksize op 128k gezet.

dcm360 schreef op dinsdag 7 april 2020 @ 23:13:
Los hiervan is mijn ervaring dat tvheadend (met tv-tuner) werkend te krijgen is in een LXC-container, en dat dat stabieler is dan in een VM. Daar kan ik op verzoek nog wel wat meer over vertellen (in het Proxmox-topic dan, hier gaat dat off-topic).

Zou hier graag meer over weten

[ Voor 15% gewijzigd door HaTe op 08-04-2020 20:50 ]

[CurlyMo]

HaTe schreef op woensdag 8 april 2020 @ 20:44:
[...]
Heb nu net de virtio vervangen door:

code:

scsi0: local-zfs:vm-101-disk-1,discard=on,iothread=1,size=600G

En volblocksize op 128k gezet.

Veranderde dat iets?

[HaTe]

CurlyMo schreef op woensdag 8 april 2020 @ 21:35:
[...]

Veranderde dat iets?

Ja, fstrim werkt en de verhouding van logicalused/used is nu ongeveer 1.10x. Dus 10% compressie. Maybe is een nog hogere volblocksize nog beter.. Hij voert nu na het verwijderen van een opname fstrim uit.
Probleem blijft nog wel bestaand met timeshift data. Ik heb het liefst dat hij dan elk uur fstrim uitvoert om de data niet te groot te laten worden. Ik wacht nog even af wat @dcm360 voor een config voor tvheadend heeft

Nu moet ik alleen de DSM zvol nog wijzigen van 8k naar 32, 64 of 128k. Dat gaat zo te zien nog niet zo makkelijk. Hebben jullie hier tips voor?

De meest veilige manier is volgens mij een nieuw volume aanmaken met volblocksize=32k, die mounten in DSM, dan in DSM data kopieren.. Bij voorkeur laat ik dan de programma's draaien op volume1 met blocksize 8k, en de data op volume2 met blocksize=32k (of meer). Scheelt mij ook heel wat gedoe met het weer draaiende krijgen van docker apps en anders DSM apps..

Een andere optie is dit: https://sites.google.com/...-it-sparse-and-compressed

Wat denken jullie daar van?

[ Voor 12% gewijzigd door HaTe op 08-04-2020 21:41 ]

[dcm360]

Het interessante deel aan mijn config is vooral de dvb-tuner werkend krijgen in een LXC-container, nu zag ik in jouw config niet iets staan dat daar op lijkt, dus misschien is mijn config op dat punt niet relevant. Wat wel gunstig is, is dat timeshifting in mijn container naar een ZFS dataset gaat in plaats van naar een ZVOL, dus issues met diskruimte die niet teruggegeven wordt heb ik niet. Ik moet wel nog een beetje uitzoeken wat ik precies gedaan heb overigens, dus de config + uitleg komt dit weekend ergens, dan heb ik tijd genoeg

[HaTe]

dcm360 schreef op woensdag 8 april 2020 @ 23:06:
Het interessante deel aan mijn config is vooral de dvb-tuner werkend krijgen in een LXC-container, nu zag ik in jouw config niet iets staan dat daar op lijkt, dus misschien is mijn config op dat punt niet relevant. Wat wel gunstig is, is dat timeshifting in mijn container naar een ZFS dataset gaat in plaats van naar een ZVOL, dus issues met diskruimte die niet teruggegeven wordt heb ik niet. Ik moet wel nog een beetje uitzoeken wat ik precies gedaan heb overigens, dus de config + uitleg komt dit weekend ergens, dan heb ik tijd genoeg

Ik gebruik inderdaad IPTV, dus geen fysieke tuner

Ik wacht het af! Bedankt

[CurlyMo]

Wat is jullie mening over het volgende. Ik zou graag Proxmox willen installeren op een VPS. Nu creëer ik daarmee een Hypervisor in een Hypervisor. Als ik echter alleen maar gebruik maak van LXC containers en een intern netwerk met statische ip adressen, dan zou dat toch niks uit moeten maken?

[Verwijderd]

Ben momenteel aan het kijken om mijn homelab (in delen) te upgraden.

Heb zitten kijken naar de Supermicro AS-5019D-FTN4. Met een AMD EPYC 3251.
Alleen weet ik nog niet of ik de storage voor VM's en LXC container local te doen met ZFS of via het netwerk met iSCSI.

Heb een paar setups bij elkaar geklikt, Supermicro staat niet in de pricewatch dus die met je er even bij denken. SSD voor de opslag heb ik nog liggen.

10Gb;

#	Category	Product	Prijs	Subtotaal
2	Netwerkadapters	Intel Ethernet Converged Network Adapter X710-DA2	€ 270,-	€ 540,-
1	Netwerk switches	Ubiquiti UniFi Switch 16-poorts 10Gbit	€ 566,-	€ 566,-
1	Modems en routers	Ubiquiti UniFi Dream Machine Pro	€ 439,90	€ 439,90
1	Netwerkopslag	Synology RS1219+	€ 1.078,99	€ 1.078,99
Bekijk collectie Importeer producten			Totaal	€ 2.624,89

Local storage;

#	Category	Product	Prijs	Subtotaal
1	Netwerk switches	Ubiquiti UniFi 16-Port PoE Gen2	€ 348,33	€ 348,33
1	Modems en routers	Ubiquiti UniFi Dream Machine Pro	€ 439,90	€ 439,90
1	Netwerkopslag	Synology RackStation RS819	€ 613,99	€ 613,99
Bekijk collectie Importeer producten			Totaal	€ 1.402,22

4x1gb LACP;

#	Category	Product	Prijs	Subtotaal
1	Netwerk switches	Ubiquiti UniFi 16-Port PoE Gen2	€ 348,33	€ 348,33
1	Modems en routers	Ubiquiti UniFi Dream Machine Pro	€ 439,90	€ 439,90
1	Netwerkopslag	Synology RS1219+	€ 1.078,99	€ 1.078,99
Bekijk collectie Importeer producten			Totaal	€ 1.867,22

De 10gb versie is de duurste maar het meeste toekomst bestendig. Gezien het in delen gaat kan ik steeds 1 onderdeel doen. Sommige spullen zijn misschien ook nog wel te vinden voor een leuke prijs op Ebay of V&A.
Alleen misschien een beetje overkill.
Het zal in het begin gaan om een vm voor Plex, downloaden en een LXC voor Unifi Controller en PiHole.Later zal er nog het een en andere bij komen.

Heb ook nog even gekeken naar zelfbouw, maar gezien het ruimte gebrek wordt dat lastig.

[CurlyMo]

@Verwijderd Het meest toekomstbestendig is 10Gb apparaten te kopen op het moment dat 10Gb courant is geworden. Dan zijn ze zowel betaalbaarder als zuiniger. Enige wat er nu moet zijn is geschikte bekabeling, maar dat red je al met CAT 5e over korte afstanden.

[Verwijderd]

@CurlyMo De US-16-XG heeft voornamelijk SFP poorten, had zitten kijken naar DAC kabels of gewoon een gbic met fiber.

[CurlyMo]

Verwijderd schreef op woensdag 15 april 2020 @ 18:40:
@CurlyMo De US-16-XG heeft voornamelijk SFP poorten, had zitten kijken naar DAC kabels of gewoon een gbic met fiber.

Wat wil je daarmee dan aangeven?

[Verwijderd]

CurlyMo schreef op woensdag 15 april 2020 @ 19:24:
[...]

Wat wil je daarmee dan aangeven?

Niks, alleen dat UTP niet de slimste keuze is gezien de switch

[CurlyMo]

Verwijderd schreef op woensdag 15 april 2020 @ 19:33:
[...]


Niks, alleen dat UTP niet de slimste keuze is gezien de switch

Of de switch gezien de UTP

[Verwijderd]

CurlyMo schreef op woensdag 15 april 2020 @ 19:43:
[...]

Of de switch gezien de UTP

Haha true 😉

[olson]

Sinds een tijdje heb ik het volgende probleem:

Proxmox v6.x en een HPE microserver gen8 waarbij bay2 steeds write errors geeft in ZFS.
Eerst dacht ik nog dat een disk kapot was, maar elke disk (HDD of SSD) heeft na een aantal uur een paar write errors waardoor ZFS de pool of single disk als degraded ziet.
zfs clear pool helpt voor een paar uur. Daarna weer write errors.

Connector bekeken.Ziet er allemaal goed uit. Disk in EXT3 of EXT4 lijkt geen problemen te geven.
Iemand enig idee wat hier aan de hand kan zijn?

[ocf81]

olson schreef op zondag 19 april 2020 @ 19:31:
Sinds een tijdje heb ik het volgende probleem:

Proxmox v6.x en een HPE microserver gen8 waarbij bay2 steeds write errors geeft in ZFS.
Eerst dacht ik nog dat een disk kapot was, maar elke disk (HDD of SSD) heeft na een aantal uur een paar write errors waardoor ZFS de pool of single disk als degraded ziet.
zfs clear pool helpt voor een paar uur. Daarna weer write errors.

Connector bekeken.Ziet er allemaal goed uit. Disk in EXT3 of EXT4 lijkt geen problemen te geven.
Iemand enig idee wat hier aan de hand kan zijn?

Dit klinkt meer als een HW fout dan een proxmox fout.
Het is jammer dat er niet zoiets is als een MemTest86 voor dit soort problemen. Wellicht kan je booten van een USB stick en dan een fio test uit voeren voor een paar uur om Proxmox uit te sluiten?

Ik heb te weinig verstand van logging, maar ik denk dat dit wellicht vraagt om een uitgebreide log analyse.

[ Voor 5% gewijzigd door ocf81 op 21-04-2020 12:38 ]

[powerboat]

Ik heb proxmox in productie op de zaak draaien op basis van full vm's.

Zijn er ook mensen hier die LXC containers hebben draaien in productie ?

[CurlyMo]

powerboat schreef op dinsdag 21 april 2020 @ 16:07:
Ik heb proxmox in productie op de zaak draaien op basis van full vm's.

Zijn er ook mensen hier die LXC containers hebben draaien in productie ?

Wat is productie? Al mijn mail draait in een LXC container. Ik heb ook wel een backup server draaien, maar die is alleen voor nood.

[dcm360]

Ik host zelf wat dingetjes (niet alleen privé), en ook bij de webwinkel waar ik werk gebruik ik Proxmox. Waar mogelijk zit alles in LXC-containers, want VM's schalen minder goed.

[powerboat]

CurlyMo schreef op dinsdag 21 april 2020 @ 16:53:
[...]

Wat is productie? Al mijn mail draait in een LXC container. Ik heb ook wel een backup server draaien, maar die is alleen voor nood.

Productie/Live omgeving in een 4node cluster opstelling waar alle productie gerelateerde systemen op draaien.

Niet een ontwikkel, test of acceptatie.

[CurlyMo]

powerboat schreef op dinsdag 21 april 2020 @ 17:52:
[...]


Productie/Live omgeving in een 4node cluster opstelling waar alle productie gerelateerde systemen op draaien.

Niet een ontwikkel, test of acceptatie.

Op die manier niet nee.

[dcm360]

Daar heb ik ook geen omgeving voor met een schaal dat ik een cluster draai voor enkel productie-gerelateerde systemen. Het enige schaalprobleem dat ik nu heb is dat ik iets meer ram had moeten plaatsen, maar dat valt te verhelpen zonder dat ik meer servers of meer afscheiding nodig heb,

[powerboat]

dcm360 schreef op dinsdag 21 april 2020 @ 18:22:
Daar heb ik ook geen omgeving voor met een schaal dat ik een cluster draai voor enkel productie-gerelateerde systemen. Het enige schaalprobleem dat ik nu heb is dat ik iets meer ram had moeten plaatsen, maar dat valt te verhelpen zonder dat ik meer servers of meer afscheiding nodig heb,

Agree! LXC containers zijn efficienter, althans dat ervaar ik ook in mijn thuis omgeving. Echter twijfel ik om dit in productie te gaan gebruiken.

Geheugen, cpu en storage (SSD) geen probleem hier

[powerboat]

CurlyMo schreef op dinsdag 21 april 2020 @ 18:13:
[...]

Op die manier niet nee.

Jammer