Het grote Proxmox VE topic

[rachez]

unezra schreef op dinsdag 4 juli 2017 @ 23:19:
Yay!
Komende week / volgende week eens mee spelen en eens zien of het mogelijk is een 2-node cluster zonder centrale storage op te bouwen.

Ben je hier al wat verder mee gekomen?

Mijn ervaringen hiermee: Ik zou graag een 2-node cluster maken om een server uit een cluster te kunnen halen voor onderhoud en om te spelen natuurlijk. HA heb ik op zich niet nodig.

Daarom als test op 2 verschillende servers proxmox geinstalleerd en op elk een vm aangemaakt met een proxmox node erop en daarmee een cluster gemaakt. Op zich werkt dit wel voor wat ik wil: je kunt zonder problemen een vm offine migreren naar de andere node. Probleem is echter dat als je een node uitzet (wat ik wil ivm stroomgebruik) je de andere node niet meer volledig kunt gebruiken:de vm's daarop blijven wel draaien maar je kunt ze niet gewoon managen (starten/stoppen enz.) Pas als je de 2de cluster node weer aanzet werken die basic handelingen.

Nu kan ik wel een derde cluternode gevirtualiseerd aanmaken ivm quorum maar dat is me teveel 'gerommel'.

[unezra]

rachez schreef op dinsdag 11 juli 2017 @ 15:20:
[...]

Ben je hier al wat verder mee gekomen?

Nope. Ik heb net 2 weken vakantie gehad (vorige week woensdag weer begonnen) en de servers liggen helaas nog vrijwel onaangeroerd op mijn bureau. (Ik heb ze in elkaar geschroefd en aangezet, dat was het wel.) Ben op dit moment vooral bezig wat puntjes op de i te zetten wat betreft het complete project, beetje grip te krijgen d'r op, de nodige zaken te bestellen, tekeningen te maken, ontwerpen te bedenken, etc.

Zat wel te bedenken dat ik dit topic weer wat nieuw leven in moest blazen want ik kom dicht in de buurt van het punt van dat ik er echt mee aan de slag moet. (Wil ook, mijn vingers *jeuken* om een OS op die kisten te slingeren.)

Mijn ervaringen hiermee: Ik zou graag een 2-node cluster maken om een server uit een cluster te kunnen halen voor onderhoud en om te spelen natuurlijk. HA heb ik op zich niet nodig.

Daarom als test op 2 verschillende servers proxmox geinstalleerd en op elk een vm aangemaakt met een proxmox node erop en daarmee een cluster gemaakt. Op zich werkt dit wel voor wat ik wil: je kunt zonder problemen een vm offine migreren naar de andere node. Probleem is echter dat als je een node uitzet (wat ik wil ivm stroomgebruik) je de andere node niet meer volledig kunt gebruiken:de vm's daarop blijven wel draaien maar je kunt ze niet gewoon managen (starten/stoppen enz.) Pas als je de 2de cluster node weer aanzet werken die basic handelingen.

Nu kan ik wel een derde cluternode gevirtualiseerd aanmaken ivm quorum maar dat is me teveel 'gerommel'.

Ja, ik zit dus ook te twijfelen tussen 2 scenario's.

Het ene scenario is een 3e quorum node te bouwen op basis van eenvoudige hardware (of een oude DL300 series van de plank te trekken).

Het andere is een 2-node cluster te bouwen zonder HA, dus zonder automatische failover en alle HA taken domweg op applicatieniveau te beleggen. (Dus dubbel uitvoeren van bijvoorbeeld mijn DHCP en DNS servers.)

Wat een tussenscenario is, is de nieuwe storage synchronisatie feature die in Proxmox 5 zit ingebouwd te gebruiken om de data te synchroniseren, maar alleen een handmatige failover toe te staan. Die feature ziet er *erg* tof uit. Nog niet mee gespeeld (binnenkort thuis eens even een clustertje bouwen met wat oude Optiplexen en zien hoe dat functioneert) maar het is iig veelbelovend.

Ik ben er dus nog niet over uit.

Zit ook met een budgettair probleem, omdat ik er in mijn oneindige wijsheid *kuch* vanuit was gegaan dat een 2-node HA cluster wel zou functioneren (dat doet het immers op ESXi met vCenter ook), heb ik nooit gedacht aan een 3-node HA cluster. Met die 2 nodes ben ik al over mijn budget heen gegaan, ik durf niet goed nog eens 1500 EUR uit te geven aan een 3e node.

Dus ALS ik het doe met 3 nodes, is het op basis van een DL300 series server of het meest eenvoudige en goedkope doosje dat enkel als quorom doos dienst doet.

Nog ideeen voor een zo goedkoop mogelijk quorum servertje dat past in een 19" enclosure?

[Compizfox]

rachez schreef op dinsdag 11 juli 2017 @ 15:20:
[...]

Ben je hier al wat verder mee gekomen?

Mijn ervaringen hiermee: Ik zou graag een 2-node cluster maken om een server uit een cluster te kunnen halen voor onderhoud en om te spelen natuurlijk. HA heb ik op zich niet nodig.

Ik heb dit laatst ook opgezet. Lijkt prima te werken.

Upgrade naar Proxmox 5 ging prima. Nadat beide nodes op Proxmox 5 zaten heb ik replicatie aangezet voor alle VMs, en nu worden de VMs gerepliceerd op beide nodes.

Daarom als test op 2 verschillende servers proxmox geinstalleerd en op elk een vm aangemaakt met een proxmox node erop en daarmee een cluster gemaakt. Op zich werkt dit wel voor wat ik wil: je kunt zonder problemen een vm offine migreren naar de andere node. Probleem is echter dat als je een node uitzet (wat ik wil ivm stroomgebruik) je de andere node niet meer volledig kunt gebruiken:de vm's daarop blijven wel draaien maar je kunt ze niet gewoon managen (starten/stoppen enz.) Pas als je de 2de cluster node weer aanzet werken die basic handelingen.

Nu kan ik wel een derde cluternode gevirtualiseerd aanmaken ivm quorum maar dat is me teveel 'gerommel'.

Weet je zeker dat je een cluster hebt opgezet en geen HA? Ik heb nog niet geprobeerd om een node uit te zetten maar zover ik begreep zou, als je alleen een cluster hebt, elke node nog steeds volledig bruikbaar moeten zijn als de andere toevallig uitstaat.

Voor HA zijn de eisen inderdaad wat pittiger; je moet minimaal 3 nodes hebben voor quorum, redundante (centrale) storage, redundant netwerk, enz.

Let wel, als je van plan bent om in een cluster één van de nodes uit te zetten i.v.m. stroombesparing, dat je dan niet veel hebt aan replicatie. Replicatie werkt natuurlijk niet als de boel uit staat.

---

unezra schreef op dinsdag 11 juli 2017 @ 15:30:
Wat een tussenscenario is, is de nieuwe storage synchronisatie feature die in Proxmox 5 zit ingebouwd te gebruiken om de data te synchroniseren, maar alleen een handmatige failover toe te staan. Die feature ziet er *erg* tof uit. Nog niet mee gespeeld (binnenkort thuis eens even een clustertje bouwen met wat oude Optiplexen en zien hoe dat functioneert) maar het is iig veelbelovend.

Dat heet replicatie en dat is dus wat ik nu gebruik.

[ Voor 39% gewijzigd door Compizfox op 11-07-2017 15:38 ]

[rachez]

unezra schreef op dinsdag 11 juli 2017 @ 15:30:
[...]


Nog ideeen voor een zo goedkoop mogelijk quorum servertje dat past in een 19" enclosure?

Haha, mooie post, maar nee, niet echt een id. Ik draai de boel op 2 intel nuc-jes. Maar als je toch al een derde node neerzet om je quorum te halen en niet om HA zaken te kunnen overnemen, kan je dan niet kijken naar de expected votes, zoals bv hier: https://forum.proxmox.com/threads/cluster-and-quorum.7786/
(Ik ga hier nog eens mee testen, misschien voldoet mijn 2-node cluster dan toch..)

[rachez]

Compizfox schreef op dinsdag 11 juli 2017 @ 15:32:
[...]

Weet je zeker dat je een cluster hebt opgezet en geen HA? Ik heb nog niet geprobeerd om een node uit te zetten maar zover ik begreep zou, als je alleen een cluster hebt, elke node nog steeds volledig bruikbaar moeten zijn als de andere toevallig uitstaat.

Volgens mij toch wel, maar is al wel even geleden, zal nog eens kijken als ik terug ben van vakantie. Tnx for the feedback!

[unezra]

rachez schreef op woensdag 12 juli 2017 @ 19:57:
[...]


Haha, mooie post, maar nee, niet echt een id. Ik draai de boel op 2 intel nuc-jes. Maar als je toch al een derde node neerzet om je quorum te halen en niet om HA zaken te kunnen overnemen, kan je dan niet kijken naar de expected votes, zoals bv hier: https://forum.proxmox.com/threads/cluster-and-quorum.7786/
(Ik ga hier nog eens mee testen, misschien voldoet mijn 2-node cluster dan toch..)

Expected votes is een slecht idee. Die quorum disk klinkt logischer, maar helaas staat daar net niet hoe je dat zou moeten implementeren. Dat kan ik nog wel eens in de Proxmox FB groep gooien.

Ik weet het ook absoluut nog niet. Het meest eenvoudige is gewoon een full-fledged 3e node aanschaffen maar dat wil ik niet. Het hele idee was juist om met 2 servers een HA setup te bouwen, anders kan ik net zo goed vCenter gaan draaien op die dingen. In fact, da's volgens mij goedkoper. (Maar ook minder flexibel, want geen storage synchronisatie.)

Een Intel NUC in mijn serverruimte vind ik dan weer niet zo'n fijn idee en die dingen zijn ook niet _echt_ goedkoop. Plus die losse externe voeding vind ik altijd een beetje iffy.

Lastige puzzel, die ik als het even kan wel voor 1 augustus opgelost wil hebben zodat ik in test kan met de setup. (Geheel is onderdeel van een project dat begin december voltooid moet zijn, maar waar best nog wat uitdagingen in gaan zitten.)

...
...
...

Crap.
Ik plaats die link in de PVE FB groep en dit is de reactie:

Dennis Busch Unfortunately the thread is from 2011. For a time there is now corosync 2 used in proxmox. And if nothing has changed there is no possibility to use a quorum device on corosync 2.

Da's mooi bagger dus. Een quorum disk is dus _niet_ mogelijk met PVE 5.

Dan hou ik effectief echt maar de 3 opties over die ik daar noem:

• Getting a full-fledged 3rd node
• Getting a 3rd quorum node
• Making a 2-node cluster with true HA (auto-failover) on the application level

Lastig, lastig...

[ Voor 17% gewijzigd door unezra op 13-07-2017 08:37 ]

[Verwijderd]

Ik heb net nieuwe hardware binnen (op het geheugen na, die verwacht ik komende week) om een proxmox server op te zetten.
Met een Xeon D1521 en 16GB geheugen op een Supermicro mITX MoBo, 1 x SSD 60GB, 1 x HDD 250GB en 2 x HDD 2TB.
Mijn idee is om proxmox op de 250GB HDD te installeren. de 60GB SSD als Cache voor ZFS te gebruiken en de 2 HDD 2TB in ZFS mirrored vdev te plaatsen.
Op het MoBo heb ik 2 x 10GBASE-T interfaces.
Ik ga dit topic nog uitgebreid doornemen, maar zou graag commentaar krijgen op mijn voorgenomen setup.
Zijn er instellingen waar ik rekening mee zou moeten houden?
Ik ben goed bekend met KVM en VirtualBox. Echter totaal onbekend met proxmox. Ik heb vanmiddag proxmox 5 in VB geinstalleerd. Ik ben nog lang niet zo ver dat het allemaal met een paar klikken geregeld is (wat bij VB wel het geval is)
Er zijn in de startpost wel diverse links naar info gepost, maar proxmox5 is nog erg vers. Hoe kan ik het best mijn basis opzetten? Denk aan ISO directory/partitie?

[unezra]

Verwijderd schreef op zaterdag 15 juli 2017 @ 21:54:
Ik heb net nieuwe hardware binnen (op het geheugen na, die verwacht ik komende week) om een proxmox server op te zetten.
Met een Xeon D1521 en 16GB geheugen op een Supermicro mITX MoBo, 1 x SSD 60GB, 1 x HDD 250GB en 2 x HDD 2TB.
Mijn idee is om proxmox op de 250GB HDD te installeren. de 60GB SSD als Cache voor ZFS te gebruiken en de 2 HDD 2TB in ZFS mirrored vdev te plaatsen.

Ik zou ZFS caching niet meteen inzetten. Kijk eerst of je zonder caching voldoende performance haalt. (Grote kans van wel, omdat met 16G, ZFS read-caching al in geheugen doet.)

Qua caching, write-caching wil je niet op 1 disk. Officieel heb je voor read- en write caching 3 of 4 SSD's nodig. 1 of 2 voor read, 2 voor write. Het kan ook op 2, met 2 partities. Waarbij je je partities voor read cache in stripe zet, die voor write in mirror.

Op het MoBo heb ik 2 x 10GBASE-T interfaces.
Ik ga dit topic nog uitgebreid doornemen, maar zou graag commentaar krijgen op mijn voorgenomen setup.
Zijn er instellingen waar ik rekening mee zou moeten houden?

Zie boven.

Ik ben goed bekend met KVM en VirtualBox. Echter totaal onbekend met proxmox. Ik heb vanmiddag proxmox 5 in VB geinstalleerd. Ik ben nog lang niet zo ver dat het allemaal met een paar klikken geregeld is (wat bij VB wel het geval is)
Er zijn in de startpost wel diverse links naar info gepost, maar proxmox5 is nog erg vers. Hoe kan ik het best mijn basis opzetten? Denk aan ISO directory/partitie?

Een van de dingen die ik erg fijn vind, is gebruik maken van qcow2 images en dus wel ZFS als onderlaag, maar daar binnen een directory waar mijn vm's in draaien. Sowieso alles (ook eventuele Windows guests), paravirtualiseren.

Ik heb wel wat overwegingen in een presentatie gezet:
https://anmd.org/files/ta...-2016-choices-choices.pdf

Vanaf slide 9 gaat het over virtualisatie in het algemeen, verderop over Proxmox specifiek.

[unezra]

unezra schreef op woensdag 31 mei 2017 @ 20:55:
Call me stupid, maar vandaag dankzij een scherpe observatie in het Proxmox IRC kanaal (##proxmox op FreeNode) realiseerde ik me dat een HA cluster altijd uit 3 nodes of meer bestaat want quorum.

Staat weinig over beschreven in de Proxmox cluster documentatie (https://pve.proxmox.com/wiki/Cluster_Manager) dus op de eoa manier ben ik er vanuit gegaan dat een HA cluster met 2 nodes prima kan.

Zijn er mensen met ervaring met 2-node en 3-node HA clusters en is het eventueel verantwoord / acceptabel om een 3e cluster node puur voor quorum op te tuigen die verder eigenlijk te licht is serieus taken over te nemen van andere nodes?

Dus een soort van weight te geven waarbij de 3e node enkel dient om een split-brain situatie te voorkomen maar geen vm's kan en mag overnemen of slechts een zeer beperkte subset?

Andere vraag, wanneer ik gebruik wil maken van GlusterFS en dus geen centrale storage (want SPOF), is er dan ook een manier te verzinnen? (GlusterFS kan en mag over meerdere nodes maar als ik een minimale 3e node wil toevoegen, zou ik die ook liefst zonder serieuze storage willen uitrusten.)

Ik quote mezelf even omdat dit wat context geeft over de puzzel die ik nog steeds aan het oplossen ben, maar waarbij ik bizar genoeg *terug* lijk te komen op mijn oorspronkelijke oplossing op basis van GlusterFS.

Nog steeds wil ik een 2-node HA cluster bouwen, zonder centrale storage. (Centrale storage heeft ook weer een nadeel, namelijk dat je die als je het goed doet OOK HA moet uitvoeren en dus nog veel hogere kosten hebt.)

Ik heb hier, in ##proxmox (IRC, Freenode) en in de Proxmox VE Facebook groep en met anderen daar al even flink over gebrainstormd en wat ik wil, kan niet tenzij ik (fors) extra hardware ga aanschaffen. (Either een volledige 3e PVE node, of even worse, 2 of 3 HA storagenodes en een 3e PVE node.)

DE grote beperking van een 2-node cluster is zoals ik het nu begrijp, quorum. Daar heb je een oneven aantal voor nodig. Dus minimaal 3 nodes, waarbij de 3e node in principe een quorum-only node mag zijn, maar nergens staat dan weer hoe je dat moet bewerkstelligen. (Al word er wel gepraat over een 2.5 node cluster.)

Ik heb moeite met die 3e node en vraag me dus sterk af of ik daar de concessie wel moet doen.

Het oorspronkelijke plan, met wat toevoegingen, is dit:

• 2-node HA PVE cluster (op basis van 2 DL20's met ieder 2 SATA disks)
• ZFS mirror voor het OS en de GlusterFS "bricks"
• GlusterFS (GlusterFS "brick" in een ZFS dataset)
• Mogelijk gescheiden netwerk interfaces voor replicatie, al dan niet direct verbonden (zonder switch, al heeft dat als nadeel dat ik alleen op OS level de throughput kan monitoren)
• Zo veel mogelijk HA zaken op applicatieniveau doen. (Dus dubbele nameserver, DHCP, etc) waardoor de afhankelijk van het cluster a-such beperkt is

Documentatie die ik heb gevonden:
GlusterFS in een groot cluster met de brick in een dataset - http://45drives.blogspot....to-clustering-how-to.html
ZFS & GlusterFS storage - https://www.jamescoyle.ne...glusterfs-network-storage
GlusterFS quick start guide - http://gluster.readthedoc...terfs-a-quick-start-guide
PVE GlusterFS docu - https://pve.proxmox.com/wiki/Storage:_GlusterFS
PVE Cluster docu - https://pve.proxmox.com/wiki/Cluster_Manager

Als ik het goed zie, zijn daar eigenlijk maar 2 grote beperkingen:

• Bij een faillure moet GlusterFS zijn *complete* zgn. "brick" resynchen, dat kost tijd
• Er is handmatig ingrijpen nodig als 1 node uit valt EN ik op dat moment op de nog levende node vm's wil starten, stoppen, etc. (aanpassen van de expected votes naar 1, of juist de quorum weight naar 2)

Wel heb ik begrepen dat een vm in principe aan een node te pinnen is (preferred hypervisor), eigenlijk zoals dat met ESX ook kan.

Zie ik hier iets over het hoofd, of is dit inderdaad een goed bruikbare oplossing, uitgaande van een 2-node cluster, waarbij zo veel mogelijk HA is uitgevoerd.

Zijn er mensen die hier ervaring mee hebben, wat do's en dont's, etc?

Last but not least, de oplossing moet dus stabiel genoeg zijn om een bedrijf te gebruiken. Dat is ook waar ik dit in eerste instantie ga gebruiken maar grote kans dat ik thuis ooit een vergelijkbare setup ga bouwen. Thuis heb ik alleen centrale storage, in het plan dat ik op kantoor ga uitvoeren bewust niet omdat ik dan mijn storage weer HA moet uitvoeren. (Thuis is voorlopig 1 niet-HA storagenode met backups voldoende.)

[Compizfox]

Wat is dan eigenlijk precies het probleem met dat quorum?

Ik heb namelijk precies zo'n setup staan: een simpele cluster van 2 nodes, geen HA, geen centrale storage, wel replicatie (van Proxmox 5).

Als ik het goed begrijp worden de VM-images nu gerepliceerd van de ene naar de andere node. Ik heb me er niet ontzettend in verdiept maar volgens mij zou dat moeten werken toch? Als een node plat gaat zouden de images van die VM op de andere node moeten staan zodat je ze daar weer kunt opstarten.

Volgens de Proxmox-wiki gelden die strengere eisen (minimaal 3 nodes, etc) alleen voor HA?

[ Voor 11% gewijzigd door Compizfox op 19-07-2017 21:25 ]

[unezra]

@Compizfox Het probleem met quorum in een 2-node cluster is dat als 1 van de 2 nodes down is, je op de andere geen vm's kunt starten, stoppen, aanmaken, wijzigen, etc.

Ze blijven doordraaien (ze gaan niet down), maar dat is het dan ook wel.

De enige manier om bij een 2-node cluster in geval van 1 node down te zorgen dat je er nog iets mee kunt, is de expected votes op 1 zetten. Dan accepteert het een cluster met 1 actieve node en kun je er wel weer dingen mee.

Ik heb de setup nog niet gebouwd, de hardware is binnen maar ik ben nog bezig met onderzoek naar hoe ik het precies op ga zetten voordat ik de OS install ga doen. Bedoeling is inderdaad dat ik de data tussen de 2 nodes ga repliceren en zo veel mogelijk HA bewerkstellig.

Meest logische lijkt om de replicatie met GlusterFS te doen (dat is near-realtime, in tegenstelling tot de nieuwe replicatie feature die op zijn best een granularity / sync time van 1 minuut heeft) en zo veel mogelijk zaken op applicatie niveau HA te maken. (Ofwel, dingen als DHCP en DNS dubbel uit te voeren waarbij standaard iedere hypervisor 1 DHCP en DNS server heeft, die in geval van een node down situatie, op 1 hypervisor kunnen draaien maar standaard verdeeld zijn over 2.)

Die 3-node eis is er dus ook voor een niet-HA cluster. Het werkt, maar in geval van node down moet je handmatig ingrijpen wil je meer doen dan alleen de draaiende vm's door laten draaien.

[YAR]

@unezra niet lachen, maar heb je dit gelezen :https://pve.proxmox.com/wiki/Rasberry_pi_as_third_node

Geloof niet dat ik een Pi zou nemen, maar het idee lijkt mij wel ok

[unezra]

YAR schreef op donderdag 20 juli 2017 @ 08:33:
@unezra niet lachen, maar heb je dit gelezen :https://pve.proxmox.com/wiki/Rasberry_pi_as_third_node

Geloof niet dat ik een Pi zou nemen, maar het idee lijkt mij wel ok

Ik heb er over na zitten denken. Die specifieke wiki pagina kende ik niet, maar de suggestie is eerder gegeven.

Voor thuis lijkt het me al niet een heel fijne setup, maar is het bruikbaar. (Al vind ik het wat naar alleen een corosync node op te zetten die verder geen onderdeel van het cluster is. Hoewel het as-such wel zou moeten werken.)

Probleem is dat het 2-node cluster, niet thuis moet draaien maar op kantoor en dan is het al eng om daar Proxmox voor in te gaan zetten in plaats van VMWare's ESXi met vCenter en de hele santekraam.
Effectief is straks de complete verbinding van het kantoor met de buitenwereld afhankelijk van dat cluster. (Het gaat onder andere intern DHCP en DNS draaien. Routering / firewalling word door andere apparatuur gedaan. Wel wil ik er nog intern wat monitoring en documentatie op zetten.)

Juist in zo'n setup, is een corosync-only node denk ik wat te experimenteel. (Zou ik zoiets toch willen, dan niet op een raspi maar op een minimale x86 server. Al heb ik nog niet echt iets kunnen vinden dat x86, 19" en betaalbaar is.)

[ipsec]

unezra schreef op donderdag 20 juli 2017 @ 08:38:
[...]


Ik heb er over na zitten denken. Die specifieke wiki pagina kende ik niet, maar de suggestie is eerder gegeven.

Voor thuis lijkt het me al niet een heel fijne setup, maar is het bruikbaar. (Al vind ik het wat naar alleen een corosync node op te zetten die verder geen onderdeel van het cluster is. Hoewel het as-such wel zou moeten werken.)

Probleem is dat het 2-node cluster, niet thuis moet draaien maar op kantoor en dan is het al eng om daar Proxmox voor in te gaan zetten in plaats van VMWare's ESXi met vCenter en de hele santekraam.
Effectief is straks de complete verbinding van het kantoor met de buitenwereld afhankelijk van dat cluster. (Het gaat onder andere intern DHCP en DNS draaien. Routering / firewalling word door andere apparatuur gedaan. Wel wil ik er nog intern wat monitoring en documentatie op zetten.)

Juist in zo'n setup, is een corosync-only node denk ik wat te experimenteel. (Zou ik zoiets toch willen, dan niet op een raspi maar op een minimale x86 server. Al heb ik nog niet echt iets kunnen vinden dat x86, 19" en betaalbaar is.)

Is dit niet wat dan?
pricewatch: Supermicro SuperServer 5018A-FTN4

Ik gebruik ze vooral om als pfSense doos in te zetten bij klanten, maar voor jouw doel zou het ook moeten voldoen.

[unezra]

SuperKevin schreef op vrijdag 21 juli 2017 @ 11:23:
[...]


Is dit niet wat dan?
pricewatch: Supermicro SuperServer 5018A-FTN4

Ik gebruik ze vooral om als pfSense doos in te zetten bij klanten, maar voor jouw doel zou het ook moeten voldoen.

Dan eerder deze:
pricewatch: Supermicro SuperServer SYS-E300-8D

Heeft leukere specs.

[ipsec]

unezra schreef op vrijdag 21 juli 2017 @ 11:39:
[...]


Dan eerder deze:
pricewatch: Supermicro SuperServer SYS-E300-8D

Heeft leukere specs.

Geen 19" is in veel van mijn omgevingen al een no-go ;-)

[unezra]

SuperKevin schreef op vrijdag 21 juli 2017 @ 11:41:
[...]


Geen 19" is in veel van mijn omgevingen al een no-go ;-)

Ik vraag me af of er geen rackmount kit te vinden is voor dat beestje. De specs zijn iig vrij heftig.
Daarbij, niet alles is er in 19" of het is meteen schreeuwend duur dus consessies heb je altijd wel.
(Wij hebben bijvoorbeeld een module van Ricoh voor het versturen van de printerstanden en een USB Anywhere module. Die eerste is er waarschijnlijk niet in 19", die 2e wel maar is dan dusdanig duur dat het niet interessant is als je maar 1 of 2 USB sticks nodig hebt.)

Maar goed, ik probeer ook zo veel mogelijk 19" aan te schaffen.

Die SuperMicro die ik noemde zou vooral voor thuis zijn. Als ik op kantoor een extra node wil hebben in dat cluster, kan ik net zo goed een 3e DL20 kopen.

[ipsec]

unezra schreef op vrijdag 21 juli 2017 @ 18:38:
[...]


Ik vraag me af of er geen rackmount kit te vinden is voor dat beestje. De specs zijn iig vrij heftig.
Daarbij, niet alles is er in 19" of het is meteen schreeuwend duur dus consessies heb je altijd wel.
(Wij hebben bijvoorbeeld een module van Ricoh voor het versturen van de printerstanden en een USB Anywhere module. Die eerste is er waarschijnlijk niet in 19", die 2e wel maar is dan dusdanig duur dat het niet interessant is als je maar 1 of 2 USB sticks nodig hebt.)

Maar goed, ik probeer ook zo veel mogelijk 19" aan te schaffen.

Die SuperMicro die ik noemde zou vooral voor thuis zijn. Als ik op kantoor een extra node wil hebben in dat cluster, kan ik net zo goed een 3e DL20 kopen.

Op de parts list staat wel een 19" conversie kit maar dan ben je waarschijnlijk gelijk weer 100 euro verder.

En voor een enkele toepassing, dus niet als "serieuze" hypervisor, lijkt het mij overkill om gelijk een Xeon D op te hangen. Correct me if I am wrong uiteraard.

[Compizfox]

unezra schreef op donderdag 20 juli 2017 @ 07:36:
@Compizfox Het probleem met quorum in een 2-node cluster is dat als 1 van de 2 nodes down is, je op de andere geen vm's kunt starten, stoppen, aanmaken, wijzigen, etc.

Ze blijven doordraaien (ze gaan niet down), maar dat is het dan ook wel.

De enige manier om bij een 2-node cluster in geval van 1 node down te zorgen dat je er nog iets mee kunt, is de expected votes op 1 zetten. Dan accepteert het een cluster met 1 actieve node en kun je er wel weer dingen mee.

OK, dat is wel vaag dan. Dat staat zover ik weet nergens vermeld op de Proxmox-wiki, en dat maakt een 2-node cluster best wel onhandig.

Zijn er nog nadelen aan het aanpassen van de expected votes?

[dcm360]

Het staat hier toch echt als eerste op de wiki: https://pve.proxmox.com/wiki/High_Availability#_requirements

Wat alleen een beetje onhandig is, is dat unezra vergeet te vermelden in zijn post dat het om een ha-cluster gaat. Om een cluster zonder ha op te zetten, geldt deze eis niet omdat er geen quorum nodig is.

[Compizfox]

dcm360 schreef op zaterdag 22 juli 2017 @ 15:14:
Het staat hier toch echt als eerste op de wiki: https://pve.proxmox.com/wiki/High_Availability#_requirements

Wat alleen een beetje onhandig is, is dat unezra vergeet te vermelden in zijn post dat het om een ha-cluster gaat. Om een cluster zonder ha op te zetten, geldt deze eis niet omdat er geen quorum nodig is.

Nou, dat dacht ik dus ook. Deze eisen staan inderdaad duidelijk beschreven voor HA, maar niet voor een cluster zonder HA.

Maar volgens @unezra geldt dat gedoe met quorum dus ook voor een cluster zonder HA.

[unezra]

dcm360 schreef op zaterdag 22 juli 2017 @ 15:14:
Het staat hier toch echt als eerste op de wiki: https://pve.proxmox.com/wiki/High_Availability#_requirements

Wat alleen een beetje onhandig is, is dat unezra vergeet te vermelden in zijn post dat het om een ha-cluster gaat. Om een cluster zonder ha op te zetten, geldt deze eis niet omdat er geen quorum nodig is.

Het cluster start niet op met 1 node, tenzij je de expected votes op 1 zet of het aantal votes van 1 van de 2 nodes op 2..

Dat is de crux.

Dus of je moet die workaround toe passen, of je zit met vm's die wel door draaien, maar waar je verder niets mee kunt (starten, stoppen, etc) tot je 2e node weer in de lucht is.

[kooimens]

Ik moet zeggen dat ik inmiddels toch wel erg enthousiast ben geworden wat betreft Proxmox. Draai nu nog ESXI, maar de volledig open source structuur, de 10x betere html5 interface van Proxmox en uiteraard de mogelijkheid van ZFS en LXC containers zijn zeer indrukwekkend. Na het doorlezen van dit topic en verschillende topics op het Proxmox forum zit ik nog met twee belangrijke vragen/twijfels waar ik nog niet helemaal uit kom.

Disks/storage
Ik heb tot m'n beschikking 2x 3TB HDD, 2x SSD 240 GB, en 1x SSD 128 gb. Het liefste wil ik gelijk alles in mirror ZFS plaatsen. Dit zou betekenen 1 pool ZFS mirror 3 TB en 1 pool ZFS mirror 240 GB. De resterende SSD wil ik dan achter houden om later eventueel als cache in te zetten. Echter, het voordeel van ESXI vind ik persoonlijk dat als ik wat verkloot op de hypervisor OS zelf ik dit vrij gemakkelijk kon herstellen, omdat het OS altijd op een aparte storage (USB) staat. Nieuw OS, usb erin VM's importen en klaar. Deze setup wil ik eigenlijk behouden als ik switch naar Proxmox. Als ik dan een keer wat breek in de host OS kan ik vrij eenvoudig alles weer in de lucht krijgen door simpel weg een schone Proxmox te installeren, ZFS pools importeren en vervolgens de VMs en contrainers importeren. Nu lees ik overal dat, door de vele log schrijf acties, het niet verstandig is om Proxmox vanaf USB te draaien.
Wat nu als ik de 240gb SSDs (voordat ik ZFS installeer) voorzie van ieder een tweetal partities? Dus 1 van zeg ongeveer 40 gb en 1 van 200 gb. Vervolgens de 2x 40 gb in ZFS raid 1 en na installeren van proxmox ook de 2x 200 gb in ZFS mirror. Uiteindelijk krijg ik zo dus 3 pools (inclusief de HDD pool). Is dit uberhaupt mogelijk? En zien jullie risico's / haken en ogen die ik over het hoofd zie?

Netwerk
Ik heb momenteel ESXI zo ingesteld:
LAN-netwerk issue (ESXI, http VM's op VLAN?)
In de host zitten dus twee netwerk interfaces die ik eigenlijk in een bond wil plaatsen met load balancing en fail over gecombineerd. "Echter" link aggregation wil ik eigenlijk voorkomen. Omdat ik de snelheid ten eerste niet nodig denk te hebben en omdat het verplaatsen van de server naar een andere omgeving (lees, ander huis, achter een andere router) gemakkelijker wordt. M'n huidige switch ondersteunt overigs wel link aggregation (mochten er mensen zijn die mij op andere gedachten kunnen brengen). Na dit gelezen te hebben:
https://pve.proxmox.com/wiki/Network_Configuration neig ik naar een Linux bond met Adaptive load balancing (balance-alb). Is de beste optie gezien mijn eisen en wensen? En zijn er meer mensen die een soortgelijke netwerk setup hebben draaien?

Pfsense
De huidige Pfsense VM verzorgt momenteel alleen als firewall voor het aparte subnet. Kan ik met Proxmox de inzet van een Pfsense niet voorkomen? Met andere worden kan ik de ingebouwde firewall en netwerk mogelijkheden van Proxmox zelf benutten (met bijvoorbeeld VLANs?) om bepaalde VMs in het afgeschermd subnet (met internet access) te plaatsen zonder dat deze kunnen "praten" met andere apparaten op de LAN?

Een hoop vragen, maar ik hoop dat het een en ander opgehelderd kan worden

Alvast bedankt!

[dcm360]

Ik ga alleen even in op het stukje over storage, en dan met name over het gebruik van de SSD's. Als je denkt met vooraf partitioneren en daarna de installer uitvoeren er te komen, kom je bedrogen uit. De installer laat je alleen schrijven kiezen, en partitioneert deze zelf (en eist voor een ZFS mirror n schijven van dezelfde grootte, met n > 1). De workarround die ik hiervoor gebruikt heb (ik had en verschillende groottes en wou andere partities hebben), is de installatie uitvoeren in VirtualBox op schijven met een capaciteit van 40GB (even jouw getal overgenomen) en na de installatie deze schijven gekloond naar de echte schijven (en de partities er aan toegevoegd).

Verder nog de vrijblijvende waarschuwing dat als jouw SSD's goedkope consumenten-SSD's zijn, deze er van uit gaan dat het OS en filesystem TRIM ondersteunen om de prestaties op peil te houden. ZFS op Linux doet dat niet, dus verwacht prestatieterugloop (tenzij je server-grade SSD's hebt, dan heb ik niets gezegd). Ter indicatie: 1 van mijn SSD's (Crucial M500) uit een mirror in een Proxmox machine zat bijna door z'n TBW heen in een paar jaar tijd en had een schrijfsnelheid van 11MB/s over, af en toe gecombineerd met access-times waardoor een HDD ineens snel lijkt.

[A1AD]

dcm360 schreef op dinsdag 25 juli 2017 @ 00:34:
Ik ga alleen even in op het stukje over storage, en dan met name over het gebruik van de SSD's. Als je denkt met vooraf partitioneren en daarna de installer uitvoeren er te komen, kom je bedrogen uit. De installer laat je alleen schrijven kiezen, en partitioneert deze zelf (en eist voor een ZFS mirror n schijven van dezelfde grootte, met n > 1). De workarround die ik hiervoor gebruikt heb (ik had en verschillende groottes en wou andere partities hebben), is de installatie uitvoeren in VirtualBox op schijven met een capaciteit van 40GB (even jouw getal overgenomen) en na de installatie deze schijven gekloond naar de echte schijven (en de partities er aan toegevoegd).

Of je installeerd eerst een kale debian met de partities zoals jij wil en er dan achteraf de proxmox repo's aan toevoegen.

[kooimens]

dcm360 schreef op dinsdag 25 juli 2017 @ 00:34:
...

Bedankt voor je reactie! De informatie wat betreft TRIM is inderdaad wel handig. Één van de twee 240 gb SSDs is ook bij mij een crucial (mx 100 in mijn geval) dus dan moet ik die maar verkopen en voor Intel of Samsung SSDs (bijvoorbeeld 2x deze pricewatch: Samsung 850 EVO 250GB aanschaffen aangezien deze out of the box TRIM ondersteunen.

A1AD schreef op dinsdag 25 juli 2017 @ 07:28:
[...]
Of je installeerd eerst een kale debian met de partities zoals jij wil en er dan achteraf de proxmox repo's aan toevoegen.

Hoe wil je dit precies doen? Je hebt dan toch de ZFS tools nodig bij de installatie van debian om deze gelijk in een raid 1 opstelling te krijgen?

[A1AD]

kooimens schreef op dinsdag 25 juli 2017 @ 20:05:
[...]
Hoe wil je dit precies doen? Je hebt dan toch de ZFS tools nodig bij de installatie van debian om deze gelijk in een raid 1 opstelling te krijgen?

Google is je vriend (query: debian root on zfs)

[Compizfox]

kooimens schreef op dinsdag 25 juli 2017 @ 20:05:
[...]
Hoe wil je dit precies doen? Je hebt dan toch de ZFS tools nodig bij de installatie van debian om deze gelijk in een raid 1 opstelling te krijgen?

Debian heeft dat toch ook sinds Jessie? Of ben ik nu in de war met btrfs?

[dcm360]

kooimens schreef op dinsdag 25 juli 2017 @ 20:05:
[...]


Bedankt voor je reactie! De informatie wat betreft TRIM is inderdaad wel handig. Één van de twee 240 gb SSDs is ook bij mij een crucial (mx 100 in mijn geval) dus dan moet ik die maar verkopen en voor Intel of Samsung SSDs (bijvoorbeeld 2x deze pricewatch: Samsung 850 EVO 250GB aanschaffen aangezien deze out of the box TRIM ondersteunen.

Ik denk dat je het anders hebt opgepakt dan ik bedoelde. ZFS (op Linux) doet niet aan TRIM, ongeacht welke SSD je kiest. De MX100 doet het waarschijnlijk niet significant slechter dan de Samsung, mijn inschatting is misschien zelfs iets beter (maar dat is op n=1 ervaring met niet precies dezelfde schijven). Een Samsung 850 is in ieder geval geen server-grade-SSD die wel gebouwd worden om zonder TRIM te werken.

Compizfox schreef op dinsdag 25 juli 2017 @ 21:09:
[...]

Debian heeft dat toch ook sinds Jessie? Of ben ik nu in de war met btrfs?

Het zit in de repo's, maar daarmee wordt het nog niet magisch beschikbaar in de installer. BTRFS is wat dat betreft ook wel eenvoudiger van opzet dan ZFS, aangezien de eerste ingebakken zit in de kernel.

[ Voor 17% gewijzigd door dcm360 op 25-07-2017 21:39 ]

[Compizfox]

dcm360 schreef op dinsdag 25 juli 2017 @ 21:36:
[...]
Het zit in de repo's, maar daarmee wordt het nog niet magisch beschikbaar in de installer. BTRFS is wat dat betreft ook wel eenvoudiger van opzet dan ZFS, aangezien de eerste ingebakken zit in de kernel.

Dat begrijp ik wel. Ik was in de war met btrfs denk ik, dat zit wel in de installer van Debian.

[belrpr]

Iemand die deze config kan doen werken:
Ik heb dus een server met 4 netwerk poorten.
Aangesloten op een switch waar deze 4 poorten in een trunk (LACP) zitten en 3 vlans hebben:
1 LAN (Untagged)
2 INTERNET (Tagged)
3 DMZ (Tagged)

Nu probeer ik dus met OVS bridge & bond het volgende te bekomen.
Een manier zodat elke virtuele machine toevoeg aan de bridge en vlan kan meegeven op de adapter van de vm zelf.
Proxmox interface moet alleen vanop de lan beschikbaar zijn op het adres 10.10.0.11/24

Deze config /etc/network/interfaces

allow-vmbr0 bond0
iface bond0 inet manual
ovs_bridge vmbr0
ovs_type OVSBond
ovs_bonds enp1s0f0 enp1s0f1 enp131s0f0 enp131s0f1
ovs_options bond_mode=balance-tcp lacp=active other_config:lacp-time=fast

# Bridge for our bond and vlan virtual interfaces (our VMs will
# also attach to this bridge)
auto vmbr0
allow-ovs vmbr0
iface vmbr0 inet manual
ovs_type OVSBridge
ovs_ports bond0 vlan1 vlan2 vlan3

# Proxmox web
allow-vmbr0 vlan1
iface vlan1 inet static
ovs_type OVSIntPort
ovs_bridge vmbr0
ovs_options tag=1
ovs_extra set interface ${IFACE} external-ids:iface-id=$(hostname -s)-${IFACE}-vif
address 10.10.0.11
netmask 255.255.0.0
gateway 10.10.5.1

Ben wat ten einde raad dus elk hulp is zeer geapprecieerd!

[MewBie]

belrpr schreef op dinsdag 8 augustus 2017 @ 20:08:
Iemand die deze config kan doen werken:
Ik heb dus een server met 4 netwerk poorten.
Aangesloten op een switch waar deze 4 poorten in een trunk (LACP) zitten en 3 vlans hebben:
1 LAN (Untagged)
2 INTERNET (Tagged)
3 DMZ (Tagged)

Nu probeer ik dus met OVS bridge & bond het volgende te bekomen.
Een manier zodat elke virtuele machine toevoeg aan de bridge en vlan kan meegeven op de adapter van de vm zelf.
Proxmox interface moet alleen vanop de lan beschikbaar zijn op het adres 10.10.0.11/24

Deze config /etc/network/interfaces

[...]


Ben wat ten einde raad dus elk hulp is zeer geapprecieerd!

Quote van de Proxmox wiki:

Overview
Open vSwitch and Linux bonding and bridging or vlans MUST NOT be mixed. For instance, do not attempt to add a vlan to an OVS Bond, or add a Linux Bond to an OVSBridge or vice-versa. Open vSwitch is specifically tailored to function within virtualized environments, there is no reason to use the native linux functionality.

Al leggen ze even later wel uit hoe je ze kan combineren.
https://pve.proxmox.com/wiki/Open_vSwitch

Mijn proxmox bak heeft 1 nic, dus kan je helaas niet verder helpen op het moment, je config ziet er hetzelde uit als op de wiki.
Wat gebeurt er als je vlan2 en vlan3 verwijderd? misschien dat ie daar over valt?

[ Voor 12% gewijzigd door MewBie op 08-08-2017 22:34 ]

[belrpr]

Uiteindelijk een werkende oplossing gevonden.
Probleem met mijn 1810 switch is dat er steeds een untagged poort moet zijn. Je kan niet alleen tagged poorten hebben waardoor mijn vlan1 untagged was.

Dus deze regel is belangrijk:
ovs_options bond_mode=balance-tcp vlan_mode=native-untagged lacp=active tag=1

# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage part of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

iface enp1s0f0 inet manual

iface enp131s0f0 inet manual

iface enp131s0f1 inet manual

iface enp1s0f1 inet manual

# Bond enp1s0f0,enp1s0f1, enp131s0f0 and enp131s0f1 together
allow-vmbr0 bond0
iface bond0 inet manual
ovs_bonds enp1s0f0 enp1s0f1 enp131s0f0 enp131s0f1
ovs_type OVSBond
ovs_bridge vmbr0
ovs_options bond_mode=balance-tcp vlan_mode=native-untagged lacp=active tag=1 other_config:lacp-time=fast

# Bridge for our bond and vlan virtual interfaces (our VMs will also attach to this bridge)
auto vmbr0
allow-ovs vmbr0
iface vmbr0 inet manual
ovs_type OVSBridge
ovs_ports bond0 vlan1 vlan2 vlan3

allow-vmbr0 vlan1
iface vlan1 inet static
address 10.10.0.11
netmask 255.255.0.0
gateway 10.10.5.1
ovs_type OVSIntPort
ovs_bridge vmbr0
ovs_options tag=1
ovs_extra set interface ${IFACE} external-ids:iface-id=$(hostname -s)-${IFACE}-vif

allow-vmbr0 vlan2
iface vlan2 inet manual
ovs_type OVSIntPort
ovs_bridge vmbr0
ovs_options tag=2
ovs_extra set interface ${IFACE} external-ids:iface-id=$(hostname -s)-${IFACE}-vif

allow-vmbr0 vlan3
iface vlan3 inet static
address 172.15.6.1
netmask 255.255.0.0
ovs_type OVSIntPort
ovs_bridge vmbr0
ovs_options tag=3
ovs_extra set interface ${IFACE} external-ids:iface-id=$(hostname -s)-${IFACE}-vif

Iemand een goed artikel om problemen met rechten op bind mounts te voorkomen?

[dkong]

Ik heb ook een vraag over Proxmox in combinatie met SSD's. Ik heb laatst al eens als test Proxmox geïnstalleerd op mijn oude ML110 G7 die momenteel stil staat. Het OS kwam terecht op een oudere Kingston 128 GB SSD. Na een dag passief draaien (zelfs nog geen VM's aangemaakt) zag ik dat de health van de SSD terug begon te lopen. Na het lezen van wat posts op het forum van Proxmox kwam ik erachter dat de eigenschappen van Proxmox, in ieder geval sinds versie 4, je SSD snel om zeep kunnen helpen als het geen enterprise SSD is.

Ik gebruik al jaren ESXi geïnstalleerd op een USB-stick en wat consumenten-SSD's als datastore (Samsung Pro edities) zonder problemen. Ik wil mijn testserver graag gaan gebruiken voor wat test met proxmox en daar bovenop nested nog twee of drie proxmox VM's. Het doel is om dingen als DRBD en Ceph te testen, zonder al te serieuze workloads. Nu ben ik van plan om hier een Samsung PM863a 240GB voor aan te schaffen, die dat waarschijnlijk wel trekt. Ik ben niet van plan om heftige workloads bovenop deze nested constructie te plaatsen, alleen wat strict noodzakelijk is om het infrastructuur-gedeelte te leren en testen.

Ik wil graag over van ESXi naar Proxmox voor mijn andere server als mijn tests bevallen. Is het mogelijk om voor het OS zelf een enterprise class SSD te gebruiken en voor het equivalent van datastores in ESXi (nog geen idee hoe ik dat moet zien in Proxmox-land) meer betaalbare SSD's? Dan denk ik bijvoorbeeld aan een Samsung 960 Pro. Het doel is dan natuurljk om de goedkopere SSD heel te houden omdat het OS er niet op staat. Zou zoiets mogelijk zijn, of ben ik alsnog de sjaak met mijn goedkope SSD omdat de toegevoegde filesystems uiteindelijk gewoon onder de root FS van het OS worden gemount of zoiets?

Wie kan er hier wat perspectief op geven? Ik zou erg dankbaar zijn en zal mijn ervaringen ook hier delen in de toekomst.

-edit 20170914-
Ik heb de vraag ook op het forum van Proxmox gesteld en daar zijn al best een paar nuttige antwoorden uitgekomen. Een en ander is me nog niet volledig duidelijk en ik moet ook eens wat testen, maar ik zal tzt hier nog een samenvatting en conclusie plaatsen.

[ Voor 12% gewijzigd door dkong op 14-08-2017 15:55 ]

[rachez]

Ik gebruik nu ook een consumer ssd icm proxmox, een samsung 850 evo ssd, maar het is me niet helemaal duidelijk hoe je het beste kan bepalen of de health ervan snel achteruitgaat.

smartctl -a /dev/sda geeft eigenlijk maar 2 waardes terug die ermee te maken hebben (zo te zien):
Total_LBAs_Written count. Deze loopt gestaag op met 1 GB per 3 uur.
Wear_Leveling_Count deze staat nu op 11. maar ik kan niet vinden of die waarde betrouwbaar is voor samsung drives. Veel forumpost lijken te gaan over Intel drives, waarbij andere waardes worden getoond.

Het lijkt daarom dat alleen de samsung magician tooling eigenlijk goed uitslag kan geven, maar die werkt alleen onder windows voor consumer ssd's.

Hoe bepaal jij de health van je ssd onder linux?

[UUDIBUUDI]

dkong schreef op zondag 13 augustus 2017 @ 14:35:
Ik heb de vraag ook op het forum van Proxmox gesteld en daar zijn al best een paar nuttige antwoorden uitgekomen. Een en ander is me nog niet volledig duidelijk en ik moet ook eens wat testen, maar ik zal tzt hier nog een samenvatting en conclusie plaatsen.

In één van je posts daar verwijs je naar dit topic, waar een staff member aangeeft dat je high availability (ha) kan uitschakelen om pve-ha-lrm/pve-ha-crm uit te schakelen (welke, als ik goed gelezen heb, de bron van de writes zouden moeten zijn). Dat zou dan kennelijk kunnen via ha-manager set <service> --state <started|stopped|disabled>.

Ik begin binnenkort met een proxmox bakje en was van plan een 850 Evo te plunderen uit mijn in onbruik geraakte desktop. Een dergelijke hoeveelheid writes is voor mij dan ook een showstopper (verbaas me ook dat dit standaard zo werkt). Zal alleen wel na de vakantie worden voordat ik zelf iets kan testen.

[rachez]

Ze zijn door Samsung getest tot 600TB writes.
Ook Hardwareinfo heeft wel eens een test van de voorloper samsung 840 evo gedaan en kwamen tot > 600TB uit, dus persoonlijk maak ik me daarover niet veel zorgen.

[UUDIBUUDI]

Ze adverteren hier met 300TBW voor de 2TB 2,5 inch variant. De 250GB variant staat op 75TBW. Met 1GB elke 3 uur zit je dan op bijna 3TB/jaar. Dat klinkt alsnog niet heel eng, maar na 5 jaar dan 20% van je TBW voor nop verstookt hebben.. hmm. Snap overigens wel dat ze zich bij proxmox daar niet zo druk over maken.

[unezra]

Misschien leuk voor de lezers van dit topic:
In de C'T van oktober 2017 (nu in de bus / in de winkel) staat een artikel over Proxmox.

Het is maar 2 pagina's dus voor de meesten van jullie zal het grootste deel dat er staat al bekend / gesneden koek zijn maar toch leuk om te lezen.

https://www.ct.nl/

[savale]

Ik had toevallig ineens een ongebruikt ryzen systeem ter beschikking, dus ben gaan kijken of ik dit als server setup kon gebruiken ter vervangen van een oud i5 beeste (ubuntu server installatie met een virtualbox omgeving)
Dankzij google, zo in aanraking gekomen met proxmox. Uiteindelijk is dit de setup geworden:

hardware:
- Ryzen 1700 @ 3600 Mhz (beetje undervolted), SMT uit
- 4x8gb Corsair 3200mhz ram (werkt enkel op 2667 Mhz helaas)
- asrock b350 deluxe
- seasonic 400 watt platinum fanless
- msi gt710 2gb videokaart (geen idee of proxmox zonder GPU werkt eigenlijk met desktop guests?)
- samsung 960 evo 500Gb m2 sata ssd
- 5x 8gb wd red's (waarvan 4 in raid10 near layout)

Ervaring:
Wat werkt proxmox toch lekker simpel. Uiteraard ook lekker veel CPU / RAM ter beschikking,
Het is niet de meest zuinige setup: De disks laat ik ook niet naar standby gaan. Idle zit het systeem al net boven de 50watt.
Het systeem draait wel echt super smooth, enkel random read / write op de raid10 data disken is niet zo heel rap, dus ik probeer ze echt vooral voor data te gebruiken.

Er draaien inmiddels 5 guests op:
1x ubuntu 18.04 van alles wat / download server
3x xubuntu desktop OS-en
1x windows 10 desktop OS,

[ Voor 31% gewijzigd door savale op 05-09-2017 16:37 ]

[duiveltje666]

savale schreef op dinsdag 5 september 2017 @ 15:20:
Ik had toevallig ineens een ongebruikt ryzen systeem ter beschikking, dus ben gaan kijken of ik dit als server setup kon gebruiken ter vervangen van een oud i5 beeste (ubuntu server installatie met een virtualbox omgeving)
Dankzij google, zo in aanraking gekomen met proxmox. Uiteindelijk is dit de setup geworden:

hardware:
- Ryzen 1700 @ 3600 Mhz (beetje undervolted), SMT uit
- 4x8gb Corsair 3200mhz ram (werkt enkel op 2667 Mhz helaas)
- asrock b350 deluxe
- seasonic 400 watt platinum fanless
- msi gt710 2gb videokaart (geen idee of proxmox zonder GPU werkt eigenlijk met desktop guests?)
- samsung 960 evo 500Gb m2 sata ssd
- 5x 8gb wd red's (waarvan 4 in raid10 near layout)

Ervaring:
Wat werkt proxmox toch lekker simpel. Uiteraard ook lekker veel CPU / RAM ter beschikking,
Het is niet de meest zuinige setup: De disks laat ik ook niet naar standby gaan. Idle zit het systeem al net boven de 50watt.
Het systeem draait wel echt super smooth, enkel random read / write op de raid10 data disken is niet zo heel rap, dus ik probeer ze echt vooral voor data te gebruiken.

Er draaien inmiddels 5 guests op:
1x ubuntu 18.04 van alles wat / download server
3x xubuntu desktop OS-en
1x windows 10 desktop OS,

Gefeli! Draai je ook ZFS of?

[savale]

duiveltje666 schreef op zaterdag 9 september 2017 @ 00:40:
[...]

Gefeli! Draai je ook ZFS of?

Nee maar moet ook bekennen dat ik dat weinig van weet en wat eventuele voordelen zijn. Het is nu een raid10 Mdadm software raid en dat als lvm container

[M-Opensource]

Hi all, ik heb dit topic vanavond ontdekt en gelijk gebookmarked, leuk dat er mensen met Proxmox bezig zijn. Dit kan een flink verhaal gaan worden, ik ben enthousiast geworden haha

Sinds een aantal weken speel ik met het idee om thuis een homelab neer te zetten. Om verschillende redenen;
- ik run een prive VPS (web/mail/domain-server, teamspeak, van alles) bij een hostingbedrijf, ik wil van die maandelijkse kosten af. VPS kan naar het homelab. Bovendien, met investering in een homelab heb ik die abo kosten er binnen 2 jaar uit.

- Ik werk in de technische consultancy, IBM software. En wij ontwikkelen en testen veel zaken in VMware omgevingen. De hele mikmak; databases, JAAS middleware, ECM en big data oplossingen.

- Voortbordurend op vorige, demo omgevingen snel opzetten voor klanten, bij de klant met VPN over 4G naar thuis surfen en een vloeiend systeem demonstreren.

Door de jaren heen heb ik wat kennis opgedaan over ESXi, VSphere en Workstation, dus het concept is mij niet vreemd.
Tijdens researchen naar hardware voor ESXi kwam ik dus Proxmox tegen, en ik ben helemaal verkocht. Gratis, groter bereik qua hardware, open source, etc...

Nu heb ik nog redelijk wat goede onderdelen liggen, heb alleen Mobo, CPU en RAM nodig. Het hoeft qua processorkracht niet extreem te performen, de VMs staan niet constant te stampen, maar ik wil er wel graag veel kunnen draaien en op momenten flink wat cores kunnen besteden aan 1 bak voor een project.

Ik dacht het volgende lijstje:

#	Product	Prijs	Subtotaal
1	AMD Ryzen 7 1700 Boxed Wraith Spire koeler	€ 300,-	€ 300,-
1	MSI B350 PC Mate	€ 82,95	€ 82,95
1	Corsair Vengeance LPX CMK32GX4M2B3000C15	€ 276,95	€ 276,95
		Totaal	€ 659,90

Maar ik heb een klein dilemma. Voor de bootschijf heb ik meerdere schijven liggen (geen SSD!), dat is gecovered. Voor de storage van de VMs heb ik mijn Synology 412+ in gedachten. Daar is ruimte zat, maar ik kan met google-fu niet echt duidelijke ervaringen vinden van mensen die VMs op een Syno draaien over NFS.
Zat mensen die er naar backuppen, maar niet op draaien.

Zijn er hier Tweakers die draaien vanaf een consumenten NAS of die er wellicht iets nuttigs over kunnen roepen?

Keep in mind, de VMs hoeven allesbehalve snel op te starten, mag gerust wat minuten in beslag nemen. Ze zijn vaak vooral groot qua RAM verbruik, als ze eenmaal online zijn dan is de belasting aanzienlijk laag.

Als via NFS niet te doen zou zijn, dan investeer ik wat geld in een paar goede lokale disks. Als het wel te doen is, dan besteedt ik dat geld om m'n RAM te verdubbelen naar 64GB.
Niet dat 64GB echt nodig is, maar fijn is het wel want dat verbreedt m'n mogelijkheden aanzienlijk met bijvoorbeeld WebSphere AS clusters.

Enfin, ik draaf door, dit is leuke materie... Alvast dank


(edit) er is zelfs een degelijke Android app... I love Proxmox already.

[MewBie]

VM's kun je draaien vanaf de local-lvm als je zou willen, in feite je boot schijf.
Verder kun je in de Storage tab onder Datacenter ook NFS, GlusterFS, ZFS, RDB (Ceph) en wat anderen toevoegen. Kwestie van de juiste settings kiezen en je kan je VM's er op opslaan. Hoe snel dat gaat zal afhangen van je netwerk en NAS.
Kwestie van testen of je NAS het trekt.

[squaddie]

M-Opensource schreef op woensdag 13 september 2017 @ 23:00:
Maar ik heb een klein dilemma. Voor de bootschijf heb ik meerdere schijven liggen (geen SSD!), dat is gecovered. Voor de storage van de VMs heb ik mijn Synology 412+ in gedachten. Daar is ruimte zat, maar ik kan met google-fu niet echt duidelijke ervaringen vinden van mensen die VMs op een Syno draaien over NFS.
Zat mensen die er naar backuppen, maar niet op draaien.

Zijn er hier Tweakers die draaien vanaf een consumenten NAS of die er wellicht iets nuttigs over kunnen roepen?

Keep in mind, de VMs hoeven allesbehalve snel op te starten, mag gerust wat minuten in beslag nemen. Ze zijn vaak vooral groot qua RAM verbruik, als ze eenmaal online zijn dan is de belasting aanzienlijk laag.

Als via NFS niet te doen zou zijn, dan investeer ik wat geld in een paar goede lokale disks. Als het wel te doen is, dan besteedt ik dat geld om m'n RAM te verdubbelen naar 64GB.
Niet dat 64GB echt nodig is, maar fijn is het wel want dat verbreedt m'n mogelijkheden aanzienlijk met bijvoorbeeld WebSphere AS clusters.

Ik heb in het verleden esxi host in combinatie met 4 bay Qnap nas gebruikt, maar de performance was in mijn geval uitermate beroerd, maar goed 4 x 5400 rpm disks in raid 5 is niet bepaald een brilliante combinatie om een acceptabele random read/write performance te halen. Ander nadeeltje was dat de nas en de disks 24/7 actief bleven en dus meer stroom gingen gebruiken en ben ik overgegaan op een lokale disk in esxi host en een dagelijkse backup naar de nas.

Dus mocht je overwegen je nas in te zetten zou ik adviseren 7200 rpm disks in raid 1 of raid 10 te gebruiken.

[M-Opensource]

@MewBie en @squaddie, dank voor jullie antwoord

Inmiddels heb ik wat veranderingen in m'n plan, ik kreeg het aanbod om van een vriend 3 degelijke Samsung schijven van 1,5 TB voor een zacht prijsje over te nemen, dus ik ga voor lokale storage! En gebruik m'n Synology als backup en software repository.

De bootdisk wordt een aparte schijf, en daarnaast dus 3x 1,5 TB voor vm's/containers/docker.

Het is mij echter nog niet helder hoe ik die 3x1,5 TB het beste kan benutten, voor raid10 heb ik een even aantal schijven nodig, dus dat valt af helaas.

Is het slim deze 3 in een RAIDZ (ZFS raid5-achtig) opstelling te gooien?

[squaddie]

Zakelijk is mijn standaard antwoord bij virtualisatie in combinatie met normale harde schijven is gebruik raid 10 omdat het zonder dure controllers of ssd caching goed presteert en als een schijf stuk gaat gaan de prestaties niet zo hard achteruit als bij parity raid. Voor parity raid heb je of een deftige controllers met cache nodig of caching SSDs gebruiken bij ZFS om te voorkomen dat performance hard daalt als de belasting hoger wordt.

Ik heb niet alle parameters en kan dan ook niet een goed advies geven, echter gebaseerd op eigen kennis en ervaring zou ik geen raid z gaan gebruiken. Niettemin zou kunnen testen of het voor jouw situatie acceptabele performance heeft.

[Compizfox]

squaddie schreef op vrijdag 15 september 2017 @ 19:27:
Voor parity raid heb je of een deftige controllers met cache nodig of caching SSDs gebruiken bij ZFS om te voorkomen dat performance hard daalt als de belasting hoger wordt.

Ik heb niet alle parameters en kan dan ook niet een goed advies geven, echter gebaseerd op eigen kennis en ervaring zou ik geen raid z gaan gebruiken. Niettemin zou kunnen testen of het voor jouw situatie acceptabele performance heeft.

RAID-Z draait prima zonder caching SSDs. De mogelijkheid om caching SSDs (L2ARC) in te zetten bij ZFS is natuurlijk heel cool, maar zeker niet verplicht en staat bovendien helemaal los van wat voor soort vdevs je gebruikt (mirror/stripe/RAID-Z).

@M-Opensource Als je drie identieke disks hebt (en het daarbij wilt laten) lijkt RAID-Z1 mij de voor de hand liggende oplossing.

[ Voor 7% gewijzigd door Compizfox op 15-09-2017 19:52 ]

[Verwijderd]

Ik heb vandaag Proxmox geïnstalleerd op een NUC die nog had liggen. Gewoon te mee te spelen .
Nu heb ik een LXC container aangemaakt voor Sonarr, maar deze moet toegang hebben tot de NFS share waar de bestanden op staan. Ik las dat daarvoor een bindmount nodig is. Alleen als ik de Share mount in Proxmox, maakt deze standaard een map images aan. Eigenlijk wil ik niet dat er mappen worden aangemaakt door Promox. Ik heb alle opties van Content geprobeerd zonder het gewenste resultaat.

Is het mogelijk om de share te mounten zonder dat er mappen worden aangemaakt door Proxmox?

EDIT: of is het misschien beter om de Share direct in de lxc te mounten. Aangezien de share door meerder containers word gebruikt heb ik liever dat Proxmox deze doorgeeft.

[ Voor 18% gewijzigd door Verwijderd op 16-09-2017 18:04 ]

[MewBie]

De dingen die je aan Storage toevoegt zijn niet bedoeld om als folder door te geven aan een container of vm. Deze zijn bedoeld om VM/LXC's disks en ISO's voor VM's/LXC's op te slaan.

Gewoon de NFS mounten in de LXC.

[Verwijderd]

Oké, Moet er ergens nog wat worden aangepast in de config van de LXC? Ik krijg de share niet gemount.

mount.nfs: access denied by server while mounting 192.168.0.57:/volume1/Tv-Shows
of
mount: 192.168.0.57:/volume1/Tv-Shows is write-protected, mounting read-only
mount: cannot mount 192.168.0.57:/volume1/Tv-Shows read-only

Terwijl de share wel werkt op andere systemen.

[rachez]

NFS permissions wel goed staan op de server die je shares aanbiedt?
Ik moet daar mijn clients opgeven die mogen connecten.

[Verwijderd]

Ja, ik heb gewoon 192.168.0.0/24 toegang gegeven. Bij andere systemen in het zelfde netwerk werkt het wel gewoon.
https://imgur.com/a/WJRq6

[ Voor 14% gewijzigd door Verwijderd op 16-09-2017 19:29 ]

[A1AD]

Verwijderd schreef op zaterdag 16 september 2017 @ 19:28:
Ja, ik heb gewoon 192.168.0.0/24 toegang gegeven. Bij andere systemen in het zelfde netwerk werkt het wel gewoon.
https://imgur.com/a/WJRq6

Ben je hier iets mee?

[Verwijderd]

A1AD schreef op zaterdag 16 september 2017 @ 20:23:
[...]


Ben je hier iets mee?

Ha, dit was ik net aan het uitproberen. Maar helaas.
ik heb het geprobeerd met unprivileged aan en uit, en krijg dan verschillende meldingen terug.

aan: root@test:~# mount 192.168.0.57:/volume1/Tv-Shows /mnt/tv/
mount: 192.168.0.57:/volume1/Tv-Shows is write-protected, mounting read-only
mount: cannot mount 192.168.0.57:/volume1/Tv-Shows read-only

uit: root@Sonarr:~# mount 192.168.0.57:/volume1/Tv-Shows /mnt/Tv-Shows/
mount.nfs: access denied by server while mounting 192.168.0.57:/volume1/Tv-Shows

[WeaZuL]

Iemand een idee hoe je de Proxmox pvetest repo meeneemt in de UnattendedUpgrades? Als ik unattended-upgrades handmatig uitvoer geeft hij aan dat er geen updates beschikbaar zijn:

bilaap@pve:~# unattended-upgrades -d
Initial blacklisted packages: 
Initial whitelisted packages: 
Starting unattended upgrades script
Allowed origins are: ['o=Debian,n=stretch', 'o=Debian,n=stretch-updates', 'o=Debian,n=stretch-proposed-updates', 'o=Debian,n=stretch,l=Debian-Security', 'origin=Debian,codename=stretch,label=Debian-Security']
Checking: lxc-pve ([<Origin component:'pvetest' archive:'stable' origin:'Proxmox' label:'Proxmox Debian repository' site:'download.proxmox.com' isTrusted:True>])
Checking: proxmox-ve ([<Origin component:'pvetest' archive:'stable' origin:'Proxmox' label:'Proxmox Debian repository' site:'download.proxmox.com' isTrusted:True>])
Checking: pve-kernel-4.10.17-3-pve ([<Origin component:'pvetest' archive:'stable' origin:'Proxmox' label:'Proxmox Debian repository' site:'download.proxmox.com' isTrusted:True>])
pkgs that look like they should be upgraded: 
Fetched 0 B in 0s (0 B/s)                                                                               
fetch.run() result: 0
blacklist: []
whitelist: []
No packages found that can be upgraded unattended and no pending auto-removals

Echter als ik via apt-get naar updates zoek staan er updates klaar echter wel enkel van de ProxMox repo. Kan niet goed vinden hoe dat juist in te stellen:

bilaap@pve:~# apt-get update && apt-get -y upgrade && apt-get -y dist-upgrade && apt-get -y autoremove && apt-get -y autoclean
Ign:1 http://ftp.nl.debian.org/debian stretch InRelease
Get:2 http://security.debian.org stretch/updates InRelease [62.9 kB]       
Get:3 http://security.debian.org stretch/updates/main amd64 Packages [174 kB]                 
Get:4 http://security.debian.org stretch/updates/main Translation-en [80.5 kB]                          
Hit:5 http://download.proxmox.com/debian stretch InRelease                                              
Get:6 http://ftp.nl.debian.org/debian stretch-updates InRelease [91.0 kB]                               
Hit:7 http://ftp.nl.debian.org/debian stretch Release                                                   
Fetched 408 kB in 7s (57.8 kB/s)                                                                        
Reading package lists... Done
Reading package lists... Done
Building dependency tree       
Reading state information... Done
Calculating upgrade... Done
The following packages will be upgraded:
  libperl5.24 lxc-pve perl perl-base perl-modules-5.24 proxmox-ve pve-kernel-4.10.17-3-pve
7 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.
Need to get 56.7 MB of archives.
After this operation, 0 B of additional disk space will be used.
Get:1 http://security.debian.org stretch/updates/main amd64 libperl5.24 amd64 5.24.1-3+deb9u2 [3,538 kB]
Get:2 http://download.proxmox.com/debian stretch/pvetest amd64 lxc-pve amd64 2.1.0-2 [900 kB]
Get:3 http://download.proxmox.com/debian stretch/pvetest amd64 pve-kernel-4.10.17-3-pve amd64 4.10.17-23 [48.0 MB]
Get:4 http://security.debian.org stretch/updates/main amd64 perl amd64 5.24.1-3+deb9u2 [218 kB]
Get:5 http://security.debian.org stretch/updates/main amd64 perl-base amd64 5.24.1-3+deb9u2 [1,344 kB]
Get:6 http://security.debian.org stretch/updates/main amd64 perl-modules-5.24 all 5.24.1-3+deb9u2 [2,724 kB]
Get:7 http://download.proxmox.com/debian stretch/pvetest amd64 proxmox-ve all 5.0-23 [5,110 B]          
Fetched 56.7 MB in 13s (4,208 kB/s)                                                                     
apt-listchanges: Reading changelogs...
(Reading database ... 77861 files and directories currently installed.)
Preparing to unpack .../libperl5.24_5.24.1-3+deb9u2_amd64.deb ...
Unpacking libperl5.24:amd64 (5.24.1-3+deb9u2) over (5.24.1-3+deb9u1) ...
Preparing to unpack .../perl_5.24.1-3+deb9u2_amd64.deb ...
Unpacking perl (5.24.1-3+deb9u2) over (5.24.1-3+deb9u1) ...
Preparing to unpack .../perl-base_5.24.1-3+deb9u2_amd64.deb ...
Unpacking perl-base (5.24.1-3+deb9u2) over (5.24.1-3+deb9u1) ...
Setting up perl-base (5.24.1-3+deb9u2) ...
(Reading database ... 77861 files and directories currently installed.)
Preparing to unpack .../perl-modules-5.24_5.24.1-3+deb9u2_all.deb ...
Unpacking perl-modules-5.24 (5.24.1-3+deb9u2) over (5.24.1-3+deb9u1) ...
Preparing to unpack .../lxc-pve_2.1.0-2_amd64.deb ...
Unpacking lxc-pve (2.1.0-2) over (2.1.0-1) ...
Preparing to unpack .../pve-kernel-4.10.17-3-pve_4.10.17-23_amd64.deb ...
Unpacking pve-kernel-4.10.17-3-pve (4.10.17-23) over (4.10.17-22) ...
Preparing to unpack .../proxmox-ve_5.0-23_all.deb ...
Unpacking proxmox-ve (5.0-23) over (5.0-22) ...
Setting up lxc-pve (2.1.0-2) ...
Setting up perl-modules-5.24 (5.24.1-3+deb9u2) ...
Setting up libperl5.24:amd64 (5.24.1-3+deb9u2) ...
Setting up pve-kernel-4.10.17-3-pve (4.10.17-23) ...
Examining /etc/kernel/postinst.d.
run-parts: executing /etc/kernel/postinst.d/apt-auto-removal 4.10.17-3-pve /boot/vmlinuz-4.10.17-3-pve
run-parts: executing /etc/kernel/postinst.d/initramfs-tools 4.10.17-3-pve /boot/vmlinuz-4.10.17-3-pve
update-initramfs: Generating /boot/initrd.img-4.10.17-3-pve
run-parts: executing /etc/kernel/postinst.d/unattended-upgrades 4.10.17-3-pve /boot/vmlinuz-4.10.17-3-pve
run-parts: executing /etc/kernel/postinst.d/zz-update-grub 4.10.17-3-pve /boot/vmlinuz-4.10.17-3-pve
Generating grub configuration file ...
Found linux image: .................
done
Setting up proxmox-ve (5.0-23) ...
Setting up perl (5.24.1-3+deb9u2) ...
Processing triggers for libc-bin (2.24-11+deb9u1) ...
Processing triggers for man-db (2.7.6.1-2) ...
Reading package lists... Done
Building dependency tree       
Reading state information... Done
Calculating upgrade... Done
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.
Reading package lists... Done
Building dependency tree       
Reading state information... Done
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.
Reading package lists... Done
Building dependency tree       
Reading state information... Done

[Verwijderd]

Na een tijd te hebben gespeeld met Proxmox op een oude nuc, zit ik te kijken naar een definitieve server. Zodat ik alles wat op mijn nas draait daaraf kan halen, en kan bouwen in LXC containers.
Gezien ik niet veel ruimte ben ik aan het kijken een kleine "server"

Wat gaat er op draaien:

• Plex Media Server (Geen Transcoding)
• Sonarr
• Radarr
• Transmission
• Autosub
• Grafana
• InfluxDB
• Telegraf
• PiHole
• Unifi Controller

En waarschijnlijk in de toekomst nog meer. Bovenstaande gaat allemaal in LXC containers draaien.

Hopelijk kunnen jullie mij helpen met kiezen tussen de twee opties welke ik heb bedacht.

#	Product	Prijs	Subtotaal
1	Intel NUC NUC7i5BNK	€ 336,-	€ 336,-
2	Crucial CT16G4SFD8213	€ 130,75	€ 261,50
1	WD Blue SSD M.2 (TLC) 250GB	€ 93,50	€ 93,50
Bekijk collectie Importeer producten		Totaal	€ 691,-

-----

#	Product	Prijs	Subtotaal
1	Intel Core i5-7500 Boxed	€ 184,95	€ 184,95
1	Shuttle XPC slim DH110	€ 207,50	€ 207,50
2	Crucial CT204864BF160B	€ 154,28	€ 308,56
1	Samsung 850 EVO mSATA 120GB	€ 84,99	€ 84,99
Bekijk collectie Importeer producten		Totaal	€ 786,-

Ik ben benieuwd naar jullie bevinden en andere suggesties zijn altijd welkom!

[squaddie]

De NUC zal waarschijnlijk iets minder stroom nodig is hebben en je kan bijna niet compacter als een NUC, je zou de NUC7i5BNH versie kunnen overwegen dan kan je nu een M2 ssd gebruiken en later eventueel nog uitbreiden met een sata ssd als je meer opslag nodig hebt.

De DH110 met die i5 cpu is een stuk krachtiger en heeft dual nic en mogelijkheid voor een tweede SSD, zaken die wellicht voor nu niet direct interessant, maar wellicht voor de toekomst wel. De hamvraag is uiteraard is dat grofweg 100 euro extra waard, die kan ik niet beantwoorden. Kijk nog wel even naar die msata SSD, prijs per GB is die nogal ongunstig in vergelijking met de SSD die je bij de NUC hebt geselecteerd.

[Verwijderd]

squaddie schreef op woensdag 27 september 2017 @ 22:54:
De NUC zal waarschijnlijk iets minder stroom nodig is hebben en je kan bijna niet compacter als een NUC, je zou de NUC7i5BNH versie kunnen overwegen dan kan je nu een M2 ssd gebruiken en later eventueel nog uitbreiden met een sata ssd als je meer opslag nodig hebt.

De NUC7i5BNH is dan inderdaad een beter optie. Stel dat ik ooit een tweede koop om een cluster te maken. Zouden beide "extra" disken dan een ceph cluster kunnen vormen. Of heb ik dat verkeerd begrepen.

De DH110 met die i5 cpu is een stuk krachtiger en heeft dual nic en mogelijkheid voor een tweede SSD, zaken die wellicht voor nu niet direct interessant, maar wellicht voor de toekomst wel. De hamvraag is uiteraard is dat grofweg 100 euro extra waard, die kan ik niet beantwoorden. Kijk nog wel even naar die msata SSD, prijs per GB is die nogal ongunstig in vergelijking met de SSD die je bij de NUC hebt geselecteerd.

Wat betreft die SSD helaas moet er een mSata in plaats van een M2.
Wat meer toekomst gericht is mij wel wat waard. Zeker de dual nic voor Plex heeft zijn voordelen.
Maar het formaat en de prijs van de NUC heeft ook zeker zijn voordelen.

Toch ben ook benieuwd wat jullie zouden kiezen. Een van deze twee of misschien iets heel anders.

[squaddie]

Verwijderd schreef op donderdag 28 september 2017 @ 20:26:
[...]


De NUC7i5BNH is dan inderdaad een beter optie. Stel dat ik ooit een tweede koop om een cluster te maken. Zouden beide "extra" disken dan een ceph cluster kunnen vormen. Of heb ik dat verkeerd begrepen.

Officieel is een Ceph cluster minimaal 3 nodes, maar inderdaad de extra disks kunnen ingezet worden voor Ceph storage.

Wat betreft die SSD helaas moet er een mSata in plaats van een M2.
Wat meer toekomst gericht is mij wel wat waard. Zeker de dual nic voor Plex heeft zijn voordelen.
Maar het formaat en de prijs van de NUC heeft ook zeker zijn voordelen.

Zeker weten? De Shuttle website zegt:
M.2-2260 BM Slot
The M.2 2260 BM slot provides the following interfaces:
- PCI-Express v2.0 X4
- SATA v3.0 (6 Gbps)
It supports M.2 cards with a width of 22 mm
and a length of 42 or 60 mm (type 2242, 2260).
Cards with 80mm length (2280) are not supported.
Supports M.2 SSD cards with PCIe or SATA interface.

Drive connectors
1x Serial-ATA III, 6 Gb/s (600 MB/s) bandwidth

Toch ben ook benieuwd wat jullie zouden kiezen. Een van deze twee of misschien iets heel anders.

In de categorie compacte systemen zou ik persoonlijk eerder voor de Shuttle kiezen dan voor de NUC, vier cores geeft wat meer speelruimte, maar goed ik hobby af en toe met applicaties die redelijk cpu intensief kunnen zijn.

[MewBie]

squaddie schreef op donderdag 28 september 2017 @ 21:37:
[...]

Officieel is een Ceph cluster minimaal 3 nodes, maar inderdaad de extra disks kunnen ingezet worden voor Ceph storage.

Minimaal 3 nodes inderdaad vanwege quorum, het is echter ook gewoon mogelijk om een 1 node "cluster" te maken zonder veel problemen.

2 nodes levert echter mogelijk problemen op met het quorum. Zet je het verwachte aantal votes op 2 dan stopt je complete cluster met werken zodra er iets mis gaat met 1 van de nodes of het netwerk. Zet je het verwachte aantal votes op 1 dan riskeer je dat beiden vinden dat ze nog steeds quorum hebben als er iets mis gaat, wat mogelijk flinke problemen oplevert als alles weer online komt.

Voor 3 nodes wordt ook vaak aangeraden om voor het Ceph verkeer een soort van ring netwerk aan te leggen waarbij elke node direct verbonden is met beide andere nodes. Op deze manier voorkom je problemen met een enkele netwerk switch waardoor de communicatie tussen de nodes in een klap weg valt.

[rachez]

Verwijderd schreef op woensdag 27 september 2017 @ 20:11:
Ik ben benieuwd naar jullie bevinden en andere suggesties zijn altijd welkom!

Ik heb dezelfde nuc.
Je lijstje zal daar makkelijk op kunnen draaien. Zelf heb ik ook een stuk of 9 vm's met vergelijkbare software draaien en daar kan nog een stuk meer bij . Enige uitzondering is de plex media server, geen idee wat je daarvoor nodig hebt.

[Verwijderd]

rachez schreef op zaterdag 30 september 2017 @ 17:57:
[...]


Ik heb dezelfde nuc.
Je lijstje zal daar makkelijk op kunnen draaien. Zelf heb ik ook een stuk of 9 vm's met vergelijkbare software draaien en daar kan nog een stuk meer bij . Enige uitzondering is de plex media server, geen idee wat je daarvoor nodig hebt.

Gezien ik geen transcoding heb verwacht ik niet al te veel, behalve netwerkverkeer. Het draait nu ook vanaf een Synology DS1515+ zonder problemen.

[Mmore]

Ik kom ergens totaal niet uit, hopelijk heeft iemand hier een oplossing
Proxmox host heeft 2 netwerk kabels in, eentje die gewoon op de router uitkomt op het 192.168.x.x subnet, aangesloten op eth0 en via vmbr0 op alle hosts. Geen enkel probleem, elke VM geef ik een statisch ip adres op binnen het subnet maar buiten de DHCP range.

Dat werkt helemaal super, alle guest machines hebben volledig toegang en goed snel. Waar het mis gaat is de 2e kabel: die is rechtstreeks aangesloten op een Synology NAS. Aan beide kanten is dit een 10 GbE netwerk kaart, de Intel X540-T1. De interface op de host is eth2. Via vmbr1 heb ik deze aan een LCX gekoppeld. Synology NAS handmatig 10.0.0.10 gegeven, Proxmox 10.0.0.20 en de guest 10.0.0.21. Nu kan de guest prima verbinden met de NAS, maar de host niet.

Als ik op de host bijvoorbeeld een ping doe naar 10.0.0.10 dan werkt dat niet. Als ik echter een ping doe via de bridge op de host, via ping -i vmbr1 10.0.0.10, dan krijg ik wel reactie. Het verwijderen van de vmbr1 zorgt ervoor dat de host weer verbinding kan maken met de NAS, maar de guest machine heeft dan geen bridge meer. Wat gaat hier mis?

Voorbeeld & ifconfig: https://pastebin.com/raw/Lgd4y0em

alles verwijderd, opnieuw toegevoegd, zelfde probleem. Nog een keer alles verwijderd en dit keer een OVS bridge gebruikt in plaats van een Linux bridge, daar lukt het wel mee, zowel op de LXC als de hostmachine. We gaan verder experimenteren...

[ Voor 9% gewijzigd door Mmore op 16-10-2017 08:47 ]

[MewBie]

Eth2 hetzelfde instellen als eth0, dus zonder ip adres.

En je had een dubbel ip adres op vmbr1 en je nas.

[ Voor 32% gewijzigd door MewBie op 16-10-2017 08:50 ]

[olson]

A1AD schreef op woensdag 30 november 2016 @ 10:26:

> zpool create -o ashift=12 bds raidz2 /dev/disk-by/id/disk1 /dev/disk-by/id/disk2 ...

Aanmaken dataset:
> zfs create bds/NAS/Media/Pictures

Plex LXC
--------------
nano /etc/pve/lxc/vmid.conf (vmid = ID van je lxc container)
en toevoegen:
mp0: /bds/NAS/Media/Fotos,mp=/mnt/NAS/Media/Fotos
Nu hebben de LXC's toegang tot de foto folder op /mnt/NAS/Media/Fotos

Er is een geheel nieuwe wereld voor me open gegaan...
Fantastich!

[FREAKJAM]

En versie 5.1 is uitgebracht! Binnenkort toch eens proberen, mijn huidige zpool is 95% vol en moet iets aan mijn setup doen.

Dit is de kans lijkt me om het product eens te proberen. (Draai nu VMWare).

[unezra]

FREAKJAM schreef op woensdag 25 oktober 2017 @ 07:31:
En versie 5.1 is uitgebracht! Binnenkort toch eens proberen, mijn huidige zpool is 95% vol en moet iets aan mijn setup doen.

Dit is de kans lijkt me om het product eens te proberen. (Draai nu VMWare).

Jup! Ik zag het ook op FB voorbij komen.
Moet er nu eindelijk eens mee aan de slag. Project op werk waar ik PVE voor wil gaan inzetten.

Zit alleen nog hard te puzzelen hoe ik dat het beste kan aanvliegen qua 2-node cluster mét data synchronisatie maar zonder het risico op split-brain te lopen én zonder een 3e node aan te schaffen.

Blijf dat wat nasty vinden, prima een sync te kunnen doen tussen 2 systemen maar voor volledige HA op PVE niveau minimaal met 3 nodes moeten werken.

[MewBie]

http://manpages.ubuntu.co...ty/man5/votequorum.5.html

Je zou eens met die settings kunnen spelen en kijken of het werkt in PVE.

Als je de nodes direct aan elkaar verbind, dus zonder switch dan zouden de volgende settings vrij ver moeten komen.
Two_node: 1
Wait_for_all: 1
Auto_tie_breaker: 1

[ Voor 37% gewijzigd door MewBie op 25-10-2017 09:50 ]

[unezra]

MewBie schreef op woensdag 25 oktober 2017 @ 09:45:
http://manpages.ubuntu.co...ty/man5/votequorum.5.html

Je zou eens met die settings kunnen spelen en kijken of het werkt in PVE.

Hmm, dat is een goede.
Idealiter zou je een soort virtuele 3e vote willen hebben.

Ik weet dat HP met zijn LeftHands dat op kan lossen door een 3e quorum node te maken. Da's gewoon een VM die maar 1 taak heeft: quorum vote geven.

Zoiets zou ik ook nog met PVE kunnen doen, maar dan heb je nog steeds 3 machines en heb je 2 van de 3 nodig. (Dus als vm op 1 machine lijkt me niet echt een goede optie en nogal foutgevoelig.)

Het suffe is dat bijvoorbeeld NetApp het niet nodig heeft. Daar stop je 2 controllers in 1 systeem en *dataaaa* volwaardig failover cluster. Ik weet dat ook VMWare d'r geen problemen mee heeft. Ook daar kun je gewoon een 2-node cluster bouwen en dat werkt. Helaas zijn ze bij Proxmox nog niet zo ver. (En als je op IRC en FB vraagt, vinden ze de vraag niet *echt* leuk zeg maar. Wat nogal apart is. PVE word verkocht als goedkope oplossing maar als je dan voor cluster meteen 3 nodes nodig hebt is het meteen geen heel goedkope oplossing meer.)

[MewBie]

Ja, PVE zou een ideale oplossing zijn voor een boel mensen als ze hun scope iets zouden verbreden en bepaalde dingen in de GUI integreren i.p.v. via de CLI.

Zo moeilijk kan het niet zijn om een initialize cluster functie toe te voegen en de corosync.conf automatisch aan te passen aan de hand van wat keuze knopjes. Gooi CephFS er bij in en je kan de meeste situaties aan die voorkomen bij thuisgebruikers en kleine en middelgrote bedrijven.

[ Voor 48% gewijzigd door MewBie op 25-10-2017 09:57 ]

[A1AD]

Het was toch ooit officieel ondersteund? (versie 3?) Maar met een bepaalde update van een bepaald software deel niet meer? Herinner me iets vaags

Quotes van het forum:

But in Proxmox 3.x we were able to also create a two node cluster. This is not supported anymore in Proxmox 4.x?

qdisk support is dropped in corosync 2. I guess because it makes more problems than it solves.

Bron

FREAKJAM schreef op woensdag 25 oktober 2017 @ 07:31:
En versie 5.1 is uitgebracht!

Dus we hebben nu native ZFS encryption?? (ZFS 0.7.2)
edit: Het meeste wat ik terug vind is dat het momenteel nog op eigen risico is

[ Voor 44% gewijzigd door A1AD op 25-10-2017 12:45 ]

[olson]

Sinds 5.1 upgrade kan ik alleen maar het local data volume selecteren voor NIEUWE kvm en containers

andere 2 datastores werken prima, maar komen niet meer in de dropdown box voor...
volumes zijn enabled voor de juiste inhoud.

Iemand enig idee waar te troubleshooten?

[MewBie]

A1AD schreef op woensdag 25 oktober 2017 @ 10:41:
Het was toch ooit officieel ondersteund? (versie 3?) Maar met een bepaalde update van een bepaald software deel niet meer? Herinner me iets vaags

Quotes van het forum:

But in Proxmox 3.x we were able to also create a two node cluster. This is not supported anymore in Proxmox 4.x?

qdisk support is dropped in corosync 2. I guess because it makes more problems than it solves.

Bron

Voor corosync 2.0 was er inderdaad ondersteuning voor een qdisk, wat in feite een 3de node is zonder resources.
In corosync 2.0 is votequorum geintroduceerd als vervanging voor o.a. qdisk. Je kan het waarschijnlijk gewoon handmatig instellen in de corosync.conf, maar ondersteuning vanuit PVE hoef je niet te verwachten.

[olson]

Iemand enig idee hoe ik dit oplos in een LXC CentOS7 container?

SABnzbd was started with encoding ANSI_X3.4-1968, this should be UTF-8

Localectl geeft een timeout / werkt gewoon niet.
In een KVM nooit problemen gehad met CentOS in PROXMOX

>locale
geeft alles in POSIX aan.

[raven22]

olson schreef op zaterdag 28 oktober 2017 @ 14:22:
Iemand enig idee hoe ik dit oplos in een LXC CentOS7 container?

SABnzbd was started with encoding ANSI_X3.4-1968, this should be UTF-8

Localectl geeft een timeout / werkt gewoon niet.
In een KVM nooit problemen gehad met CentOS in PROXMOX

>locale
geeft alles in POSIX aan.

sorry, geen oplossing, maar in een container onder debian zelfde melding

[olson]

raven22 schreef op zaterdag 28 oktober 2017 @ 17:37:
[...]


sorry, geen oplossing, maar in een container onder debian zelfde melding

onder debian:
sudo dpkg-reconfigure locales

[unezra]

MewBie schreef op woensdag 25 oktober 2017 @ 22:36:
[...]

Voor corosync 2.0 was er inderdaad ondersteuning voor een qdisk, wat in feite een 3de node is zonder resources.
In corosync 2.0 is votequorum geintroduceerd als vervanging voor o.a. qdisk. Je kan het waarschijnlijk gewoon handmatig instellen in de corosync.conf, maar ondersteuning vanuit PVE hoef je niet te verwachten.

Dat dus. Ik ben een gróót voorstander van PVE en vind het een serieus mooi project/product. Maar het niet ondersteunen van een 2-node cluster terwijl nota-bene VMWare dat *wel* doet en de bijna vijandige houding als je d'r naar vraagt binnen de PVE community valt me heel erg tegen.

Juist een oplossing die gepresenteerd word als goedkope OSS oplossing als je niet per-se VMWare of XenServer *nodig* hebt, hoort vind ik goede ondersteuning voor een 2-node cluster, met en zonder centrale storage, te hebben.

Zonder centrale storage werkt, maar dus weer niet in een HA setup zonder 3e node.

Zelfs de situatie met een soort van quorum-only node word niet ondersteund. (Dat zou nog een goede oplossing zijn, mits je die quorum-only node op dezelfde hardware kunt draaien.)

[raven22]

olson schreef op zaterdag 28 oktober 2017 @ 17:39:
[...]


onder debian:
sudo dpkg-reconfigure locales

Top!

[A1AD]

A1AD schreef op woensdag 25 oktober 2017 @ 10:41:
Dus we hebben nu native ZFS encryption?? (ZFS 0.7.2)

We zitten momenteel op v0.7.3-1 maar nog geen encryptie in deze versie. "invalid feature 'encryption'

Ik kan niet wachten om er mee te spelen Het ziet er veelbelovend uit

[unezra]

Heeft een van jullie wel eens meegemaakt dat een van je cluster members opeens niet meer wil opstarten en je op een grub rescue prompt gooit met de mededeling "unknown filesystem"?

Ik weet werkelijk niet *wat* hier de oorzaak van is en hoe het ontstaan is. Gisteren heb ik het 2x op rij gehad. Het gaat nu nog om test vandaar dat het nog niet productieverstorend is en ik dingen kan doen die ik in PRD niet zou kunnen doen. Deze nodes zijn wel preprod, dus exact deze nodes wil ik as-is productie gaan inzetten op zeer korte termijn. (2 weken en 1 dag)

Eerst node 2, die na lang googlen toch maar hersteld door 'm domweg opnieuw te installeren. Netwerk config overgezet (dat was het belangrijkste en lastigste omdat ik dingen met vlans en meerdere vmbr's wil). Werkt. Testen. Paar reboots. *BAM* Node 1 naar de grond. Zelfde shit. Niet op te lossen.

Node 1 dus ook maar geherinstalleerd en beiden draaien nu weer. Ben nu verder met het werkelijk optuigen van de inhoud van die dingen.

Het is op dit moment nog wel een 2-node cluster maar zonder HA, er komt een 3e quorum node bij. HA faciliteiten ga ik nog in gang zetten, mogelijk met de nieuwe replicatie feature die er in deze versie zit.

Vind het totaal bizar dat ik opeens echt keihard op een grub rescue prompt gegooid word en daar niet uit kom zonder herinstallatie, waarna alles weer als een zonnetje draait. (Hardware faillure lijkt me dus uitgesloten.)

[olson]

Gisteren ontdekt dat een Debian9 kvm in idle mode tussen 7 en 9% idle cpu trekt in proxmox 5.1 zelf
In de kvm kan ik niks speciaals vinden met top.

In perf top zie ik dit...

Samples: 715 of event 'cpu-clock', Event count (approx.): 55426657
Overhead Shared Object Symbol
15.86% [kernel] [k] _raw_spin_unlock_irqrestore
9.35% [kernel] [k] sys_imageblit
3.64% [kernel] [k] finish_task_switch
3.45% libslang.so.2.3.1 [.] SLsmg_write_chars
3.20% [kernel] [k] kallsyms_expand_symbol.constprop.1
2.20% [kernel] [k] run_timer_softirq
1.95% [kernel] [k] string
1.84% libpthread-2.24.so [.] __pthread_rwlock_rdlock
1.63% libslang.so.2.3.1 [.] SLtt_smart_puts


Iemand enig idee waar dit vandaan komt? / of dit normaal is / er tweaks nodig zijn?

edit: uitzetten van : Use tablet for pointer lijkt enorm te helpen

[ Voor 3% gewijzigd door olson op 12-11-2017 11:47 ]

[A1AD]

unezra schreef op vrijdag 10 november 2017 @ 10:41:
Heeft een van jullie wel eens meegemaakt dat een van je cluster members opeens niet meer wil opstarten en je op een grub rescue prompt gooit met de mededeling "unknown filesystem"?

Ik weet werkelijk niet *wat* hier de oorzaak van is en hoe het ontstaan is. Gisteren heb ik het 2x op rij gehad. Het gaat nu nog om test vandaar dat het nog niet productieverstorend is en ik dingen kan doen die ik in PRD niet zou kunnen doen. Deze nodes zijn wel preprod, dus exact deze nodes wil ik as-is productie gaan inzetten op zeer korte termijn. (2 weken en 1 dag)

Eerst node 2, die na lang googlen toch maar hersteld door 'm domweg opnieuw te installeren. Netwerk config overgezet (dat was het belangrijkste en lastigste omdat ik dingen met vlans en meerdere vmbr's wil). Werkt. Testen. Paar reboots. *BAM* Node 1 naar de grond. Zelfde shit. Niet op te lossen.

Node 1 dus ook maar geherinstalleerd en beiden draaien nu weer. Ben nu verder met het werkelijk optuigen van de inhoud van die dingen.

Het is op dit moment nog wel een 2-node cluster maar zonder HA, er komt een 3e quorum node bij. HA faciliteiten ga ik nog in gang zetten, mogelijk met de nieuwe replicatie feature die er in deze versie zit.

Vind het totaal bizar dat ik opeens echt keihard op een grub rescue prompt gegooid word en daar niet uit kom zonder herinstallatie, waarna alles weer als een zonnetje draait. (Hardware faillure lijkt me dus uitgesloten.)

Dat is niet iets dat je wil hebben .
Heb je het ook gepost op het forum van proxmox zelf?

Zijn je OS disks wel ok? Smartctl test gedaan?

[unezra]

A1AD schreef op zondag 12 november 2017 @ 12:18:
[...]
Dat is niet iets dat je wil hebben .
Heb je het ook gepost op het forum van proxmox zelf?

Nog niet. Wel in het IRC kanaal gegooid maar daar kwam niet echt een oplossing uit.

Ik moet nog even nadenken welk account ik ga gebruiken voor het forum omdat ik op 2 plekken (voor mijn stichting en voor mijn werk) gelicenseerde servers heb. (Stichting is sponsored community, kantoor is community. Dat word hopelijk volgend jaar een reguliere licentie maar daar moet ik eerst nog geld voor vinden.)

Zijn je OS disks wel ok? Smartctl test gedaan?

SMART waardes zijn keurig, na herinstallatie werkt het ook prima. Tot nu toe.
Ik twijfel bijna of het niet toch is mis gegaan toen ik per ongeluk de 2e node verkeerd aan het cluster toe voegde, weer handmatig verwijderde en toen opnieuw toevoegde.

100% zeker is dat alleen niet en juist dit zou niet kapot mogen gaan als je cluster config vernaggeld raakt. Dat kan je halve cluster slopen maar niet dit.

Het debiele is, eerst ging node B. Die geherinstalleerd, toen ging node A. Inmiddels draaien ze beiden met een verse installatie. (Wel met de laatste no-subscription updates er bij, daar zou het ook nog aan kunnen liggen. Dat het een bug was in de versie die op de ISO stond.)

[A1AD]

unezra schreef op zondag 12 november 2017 @ 12:29:
[...]


Nog niet. Wel in het IRC kanaal gegooid maar daar kwam niet echt een oplossing uit.

Ik moet nog even nadenken welk account ik ga gebruiken voor het forum omdat ik op 2 plekken (voor mijn stichting en voor mijn werk) gelicenseerde servers heb. (Stichting is sponsored community, kantoor is community. Dat word hopelijk volgend jaar een reguliere licentie maar daar moet ik eerst nog geld voor vinden.)


[...]


SMART waardes zijn keurig, na herinstallatie werkt het ook prima. Tot nu toe.
Ik twijfel bijna of het niet toch is mis gegaan toen ik per ongeluk de 2e node verkeerd aan het cluster toe voegde, weer handmatig verwijderde en toen opnieuw toevoegde.

100% zeker is dat alleen niet en juist dit zou niet kapot mogen gaan als je cluster config vernaggeld raakt. Dat kan je halve cluster slopen maar niet dit.

Het debiele is, eerst ging node B. Die geherinstalleerd, toen ging node A. Inmiddels draaien ze beiden met een verse installatie. (Wel met de laatste no-subscription updates er bij, daar zou het ook nog aan kunnen liggen. Dat het een bug was in de versie die op de ISO stond.)

Zou je het niet proberen te repliceren nu je toch nog in test fase zit?

Het is toch best iets nasty.

[unezra]

A1AD schreef op zondag 12 november 2017 @ 13:32:
[...]
Zou je het niet proberen te repliceren nu je toch nog in test fase zit?

Het is toch best iets nasty.

Ik heb het in zoverre geprobeerd te reproduceren door de hele setup opnieuw op te bouwen, wat dingen te veranderen, -tig keer te rebooten, etc.

Als ik zou weten wat werkelijk de mogelijke oorzaak zou kunnen zijn zou ik dat proberen na te spelen maar er zijn zo veel mogelijkheden dat dat lastig word. Daarbij zit ik behoorlijk in tijdnood. Dit ding *moet* vrijdag over 2 weken 100% draaien en gaat vanaf die zaterdag/zondag in productie.

Ik heb nog 8 werkdagen en dit is niet het enige dat in die 8 dagen nog moet gebeuren. In tegendeel.
(Dus buikpijn alom. Zo'n heftige crash op zo'n ongelukkig moment, dat ook nog eens niet te herstelen is anders dan met een herinstallatie, is niet goed voor je hoofd.)

[A1AD]

unezra schreef op zondag 12 november 2017 @ 13:36:
[...]


Ik heb het in zoverre geprobeerd te reproduceren door de hele setup opnieuw op te bouwen, wat dingen te veranderen, -tig keer te rebooten, etc.

Als ik zou weten wat werkelijk de mogelijke oorzaak zou kunnen zijn zou ik dat proberen na te spelen maar er zijn zo veel mogelijkheden dat dat lastig word. Daarbij zit ik behoorlijk in tijdnood. Dit ding *moet* vrijdag over 2 weken 100% draaien en gaat vanaf die zaterdag/zondag in productie.

Ik heb nog 8 werkdagen en dit is niet het enige dat in die 8 dagen nog moet gebeuren. In tegendeel.
(Dus buikpijn alom. Zo'n heftige crash op zo'n ongelukkig moment, dat ook nog eens niet te herstelen is anders dan met een herinstallatie, is niet goed voor je hoofd.)

Good luck!

[unezra]

A1AD schreef op zondag 12 november 2017 @ 15:05:
[...]
Good luck!

Thnx. Ga ik nodig hebben.
Ik vind Proxmox echt nog steeds een heerlijk platform en het is een leuk project waar ik mee bezig ben, maar dit soort shit is best eng, zeker op zo'n moment.

BTW zitten hier nog meer mensen in het onofficiële Proxmox IRC kanaal?

##proxmox op FreeNode
https://irc-source.com/channel/freenode/%23%23proxmox

In case yes: Ik hang daar rond als "Harmen"

[Aherin]

Yup, al een poosje ;-)

[Aherin]

Het lukt me met geen mogelijkheid om ESET's ERA server werkend te krijgen

[unezra]

Ik moet zeggen dat ik toch eens serieus wil gaan kijken of het niet mogelijk is een deel van de productie op kantoor om te gooien van VMWare naar PVE. Dat gaat wel wat voeten in de aarde hebben, we hebben wat applicaties waarbij de leverancier alleen ESXi ondersteunt en mogelijk gebruiken we wat mechanismen waarbij het echt niet handig is om van iets anders dan ESXi gebruik te maken.

Die applicatie leveranciers zijn nog niet het grootste probleem. Daar zouden we nog tegen kunnen zeggen "wij beheren de onderliggende infa, jij krijgt een VM en wat wij daar onder doen is onze zaak, niet die van jou", maar als we echt specifieke ESXi dingen nodig hebben word dat lastiger.

Kostentechnisch kan het wel heel interessant zijn. PVE ontwikkeld hard en ik kan me voorstellen dat het over 1-2 jaar zo ver is dat ik het aan durf productie daar op over te zetten. (Wellicht dat we namelijk wat consessies kunnen doen op gebied van functionaliteit, als dat tot uitdrukking komt in de kostprijs.)

Zeker iets om over na te denken. Het eerste PVE cluster gaat iig heel binnenkort productie draaien. (Al is dat een 2-node + quorum node cluster zonder centrale storage en zonder storage replication.) Ben heel benieuwd hoe dat gaat bevallen.

Ben ook aan het nadenken om ooit serieus te kijken naar ZFS-based storage in plaats van NetApp. Ook daar, vanwege de kosten. (Maar ook omdat ZFS serieus voordelen heeft boven NetApp. Al heeft NetApp weer features die al die OSS en ZFS based storage systemen niet hebben. Het is niet zo'n heel makkelijke keuze.)

Maar goed, ook daar, iets om de komende maanden eens voorzichtig naar te kijken en te zien wat de mogelijkheden werkelijk zijn.

(Hoop wel dat de toon in het IRC kanaal op termijn wat verbeterd. Ik weet dat het het onofficiële kanaal is en dat daar in principe geen PVE crew zit, maar de sfeer is soms ronduit naargeestig. Typisch "I know it all, you don't know shit" mentaliteit waar ik echt een pesthekel aan heb. Niet van iedereen maar er zitten wat mensen tussen die niet echt ehm, reklame zijn voor PVE en de PVE community.)

[ Voor 10% gewijzigd door unezra op 18-11-2017 10:24 ]

[Aherin]

Daar loop ik ook wel eens tegenaan ja, meestal lurk ik dan ook maar gewoon :-)

[zx9r_mario]

Ik gebruik Proxmox als sinds versie 1 met OpenVZ toen. Tegenwoordig is het allemaal KVM. Het nieuwste project is Proxmox 5 testen met Ceph en 10Gbit

[zx9r_mario]

unezra schreef op zaterdag 18 november 2017 @ 10:23:
Ben ook aan het nadenken om ooit serieus te kijken naar ZFS-based storage in plaats van NetApp. Ook daar, vanwege de kosten. (Maar ook omdat ZFS serieus voordelen heeft boven NetApp. Al heeft NetApp weer features die al die OSS en ZFS based storage systemen niet hebben. Het is niet zo'n heel makkelijke keuze.)

Ik gebruik nu een half jaar FreeNAS met ZFS raid10 in het DC en het werkt als een speer. FreeNAS kun je op een USB stick installeren, ik heb er zelf 2 in mirror staan.

[A1AD]

zx9r_mario schreef op maandag 20 november 2017 @ 20:51:
[...]

Ik gebruik nu een half jaar FreeNAS met ZFS raid10 in het DC en het werkt als een speer. FreeNAS kun je op een USB stick installeren, ik heb er zelf 2 in mirror staan.

Na 6 sticks te verslijten heb ik 2 kleine SSD's toegevoegd in mirror voor het OS

[Sr_Ogel]

Wellicht handig voor andere ProxMox gebruikers. ik heb geen subscription om te kunnen updaten moet de package repository anders worden ingesteld.

https://pve.proxmox.com/w...o_subscription_repository

In bovenstaande wiki lees je welke repository je moet toevoegen.

[ Voor 4% gewijzigd door Sr_Ogel op 09-12-2017 15:46 ]

[unezra]

zx9r_mario schreef op maandag 20 november 2017 @ 20:51:
[...]


Ik gebruik nu een half jaar FreeNAS met ZFS raid10 in het DC en het werkt als een speer. FreeNAS kun je op een USB stick installeren, ik heb er zelf 2 in mirror staan.

USB stick is hier laatst vrolijk overleden. Zit nu een USB SSD in. Heb ik net even wat meer vertrouwen in. (En ik had nog wel een USB stick met een extreem hoog aantal read/write cycles en MTBF. Maar helaas...)

[Mars Warrior]

Ik heb nog nooit wat met ProxMox gedaan, maar kwam deze post in het zuinige server topic tegen, waar een ProxMox systeem op een 7.5W idle uitkomt. Dat zijn leuke waardes!

Zelf zit ik te kijken naar het omzetten van een bestaande Win10 server met een 7TB hybrid cloud/local pool (StableBit DrivePool, CloudDrive & Scanner) opslag naar een ProxMox omgeving met 1x Win10 (met die 7TB opslag) en 2xUbuntu en Docker.

De fysieke schijven moeten aan de Win10 VM worden doorgezet. Ik heb begrepen dat dit met VirtIO geen enkel probleem is. Dat zou betekenen dat ik mijn huidige setup met StableBit kan handhaven: daar kan ik namelijk geen vergelijkbare Linux oplossing voor vinden.
Verder nog wat Ubuntu VM's en Docker, die voor zover ik kan nagaan al helemaal geen probleem zijn om die op ProxMox te draaien.

Wat me alleen niet duidelijk wordt is hoe picky ProxMox is met hardware, of is dat simpelweg afhankelijk van de ondersteuning die Debian heeft voor de hardware?

[dcm360]

De kernel van Proxmox is gebaseerd op de kernel van Ubuntu, dus ik zou eerder naar Ubuntu dan naar Debian kijken voor ondersteunde hardware. In de praktijk komt het er wel op neer dat je wel vrij bijzondere of nieuwe hardware moet hebben voordat het niet werkt.

[Mars Warrior]

dcm360 schreef op dinsdag 12 december 2017 @ 15:35:
De kernel van Proxmox is gebaseerd op de kernel van Ubuntu, dus ik zou eerder naar Ubuntu dan naar Debian kijken voor ondersteunde hardware. In de praktijk komt het er wel op neer dat je wel vrij bijzondere of nieuwe hardware moet hebben voordat het niet werkt.

Aha. Dat is helemaal mooi dat het Ubuntu is onderhuids. Ubuntu draait ook vlekkeloos op de goedkoopste NUC en verbruikt nog geen 6W. Leuk om daarop eerst eens uit te proberen.

Rest van mijn hardware is spul van een paar jaar oud, dus dat zou helemaal geen probleem zijn om daarop ProxMox te installeren.

Ik neem aan dat USB harde schijven ook volledig zijn door te zetten naar een VM?