HA Cluster

[Blokker_1999]

Ik heb mezelf tot doel gesteld om mijn huidige netwerkomgeving iets minder storingsgevoelig te maken en wil hiervoor een HA setup opzetten waarbij de services op het netwerk in VMs gestart worden. Gaat de machine dan uit moeten de VMs onmiddelijk herstart kunnen worden op mijn tweede server (heb op dit moment slechts 2 fysieke machines ter beschikking).

Maar nu loop ik al direct tegen mijn eerste probleem aan: wat is een goede manier om mijn data op beide systemen gelijk te houden? Gebruik ik hiervoor drbd of zijn er betere alternatieven? Iemand die een goede suggestie heeft van waar ik het best kan beginnen?

[FireDrunk]

Lezen... Heel veel lezen.... Lees je in over redundante storage oplossingen. DRBD is een optie, maar is bij split brain wat lastig..

Je kan een SAN thuis maken, maar dat blijft altijd een SPOF...

Als je een echt redundant netwerk wil met HA storage, moet je eigenlijk 3 machines hebben, waarvan 1 witness is voor 2 storage machines.

Maar goed, dat kost centjes

Kan je in plaats van je interne netwerk HA maken, niet juist aan de complexiteit knutselen zodat er minder kans is dat het faalt?

Zo heb ik hier als regel: Ik wil niet dat mijn server (met alle geknutsel) ervoor kan zorgen dat ik (of mijn vriendin) niet meer kan internetten... Die afhankelijkheid blijf ik gewoon vasthouden...

Scheelt een hoop gezever.

[CAPSLOCK2000]

Als je geen shared storage hebt dan is DRBD waarschijnlijk de beste keuze.

Voor kleine virtualisatie-clusters vind ik Ganeti erg fijn. Dat is een enigzins minimalistische virtualisatie omgeving. Veel meer dan SSH heb je niet nodig.

Thuis heb ik het anders opgelost, ik heb mijn belangrijkste VMs dubbel uitgevoerd en gebruik corosync+pacemaker om IP-adressen en diensten te migreren als er iets stuk gaat. Het is dan wel makkelijk als je iets als Puppet gebruikt om je systemen te beheren zodat ze mooi gelijk blijven.

[Bigs]

Om wat voor services en wat voor data gaat het? Zoals hierboven al geschetst zijn er twee opties: gedeelde storage of diensten op twee plekken laten draaien in een actief/passief opstelling.

[Blokker_1999]

FireDrunk schreef op donderdag 18 december 2014 @ 15:49:
Lezen... Heel veel lezen.... Lees je in over redundante storage oplossingen. DRBD is een optie, maar is bij split brain wat lastig..

Je kan een SAN thuis maken, maar dat blijft altijd een SPOF...

Als je een echt redundant netwerk wil met HA storage, moet je eigenlijk 3 machines hebben, waarvan 1 witness is voor 2 storage machines.

Maar goed, dat kost centjes

Kan je in plaats van je interne netwerk HA maken, niet juist aan de complexiteit knutselen zodat er minder kans is dat het faalt?

Zo heb ik hier als regel: Ik wil niet dat mijn server (met alle geknutsel) ervoor kan zorgen dat ik (of mijn vriendin) niet meer kan internetten... Die afhankelijkheid blijf ik gewoon vasthouden...

Scheelt een hoop gezever.

Lezen en onderzoeken en uitproberen is wat ik nu al aan het doen ben. Een derde, eenvoudige machine, kan natuurlijk altijd geregeld worden. Grote kosten maken is evenwel niet mogelijk. Maar de complexiteit verlagen is moeilijk als er maar 1 server draait waarop alle diensten vandaag zitten en je net wil voorkomen dat de uitval ervoor zorgt dat je clients niet meer bij hun bestanden kunnen of niet langer op het domein kunnen aanloggen (waar ook hun roaming home en profile folders staan).

CAPSLOCK2000 schreef op donderdag 18 december 2014 @ 21:01:
Als je geen shared storage hebt dan is DRBD waarschijnlijk de beste keuze.

Voor kleine virtualisatie-clusters vind ik Ganeti erg fijn. Dat is een enigzins minimalistische virtualisatie omgeving. Veel meer dan SSH heb je niet nodig.

Thuis heb ik het anders opgelost, ik heb mijn belangrijkste VMs dubbel uitgevoerd en gebruik corosync+pacemaker om IP-adressen en diensten te migreren als er iets stuk gaat. Het is dan wel makkelijk als je iets als Puppet gebruikt om je systemen te beheren zodat ze mooi gelijk blijven.

Shared storage is inderdaad, spijtig genoeg, niet aanwezig op dit moment maar hoop ik over enkele jaren wel te realiseren. Tot dan moeten we natuurlijk verder met wat we wel hebben en waar we wel nog wat geld aan kunnen spenderen . Corosync en Ganeti was ik nog niet tegengekomen. Zullen we dit weekend ook eens bekijken wat dat is.

Bigs schreef op donderdag 18 december 2014 @ 21:07:
Om wat voor services en wat voor data gaat het? Zoals hierboven al geschetst zijn er twee opties: gedeelde storage of diensten op twee plekken laten draaien in een actief/passief opstelling.

Het gaat vandaag om 1 enkele server (waarbij ik een failure dus snel bij wil kunnen opvangen met een tweede machine) die vandaag een hele hoop rollen vervult waaronder Samba4 als AD DC en file sharing naar windows clients, webserver, databaseserver, sms gateway, ... . Er gebeurd van alle belangrijke data (filestorage en databases) wel dagelijks een off-site backup naar een NAS systeem, maar die kan natuurlijk niet inspringen wanneer de server uitvalt.

De situatie op zich is nog het best te omschrijven als een KMO waarbij we op enkele jaren tijd van een zo goed als onbestaande IT infrastructuur naar een relatief uitgebreide infrastructuur willen evolueren. Er was al jaren een wildgroei aan PCs en de netwerkinfrastructuur daartussen was eerst onbestaande en is daarna redelijk organisch gegroeid. Over 2 a 3 jaar zal het mogelijk zijn om heel de infrastructuur eens goed onder handen te nemen met een goed budget wanneer we van gebouw verhuizen en er ook geld voor onze interne IT kan voorzien worden. Tot dan blijft het roeien met de riemen die we hebben en de onkosten van aankopen beperkt houden. Maar tegen die tijd moeten we uiteraard wel weten waar we naartoe willen gaan en ondertussen moeten we de huidige infrastructuur ook beter beveiligen tegen problemen.

[gekkie]

Glusterfs of CEPH als clusterfs?

[CAPSLOCK2000]

Het nadeel van die oplossing is dat je er aparte hardware voor nodig hebt, je wil het niet draaien op de machines waar de services ook draaien. Als je wat hardware over hebt is dat een prachtige oplossing.

Voor de duidelijkheid, corosync/pacemaker zorgt alleen voor het failover deel. Als er data synchroon moet worden gehouden tussen services moet je dat op een andere manier regelen. Vaak wordt DRBD gecombineerd met corosync/pacemaker. DRBD zorgt voor de data, en corosync bepaald wie de master is waar de diensten draaien.

[DSK]

Indien interesse, recent heb ik ook zitten spelen met Corosync, Pacemaker en DRBD.
Heb één en ander uitgeschreven op mijn blog hierover:
Building a high-available failover cluster with Pacemaker, Corosync & PCS
Use DRBD in a cluster with Corosync and Pacemaker

[Blokker_1999]

wel, ben vandaag begonnen met een gevirtualiseerde testopstelling van corosync, pacemaker en drbd. Vreemd genoeg gaan de meeste websites er van uit dat je dit op RH/CentOS doet terwijl ik zelf al jaren een Debian gebruiker ben. Maar zo leer je ook weer eens de verschillen tussen die 2 . Misschien wanneer ik ze in het echt opzet toch maar voor CentOS gaan daar ik dat OS ook weer beter wil leren kennen.

[CAPSLOCK2000]

Ik gebruik die tools al jarenlang op Debian, de verschillen met RedHat zijn over het algemeen verwaaarloosbaar. RH heeft deze tools ook gebruikt in haar eigen HA-oplossingen en heeft er daarom goed voor gezorgd. Dat zie je terug in de documentatie.

[DSK]

Voor mij is de reden voor het kiezen van CentOS voor de post simpelweg omdat we op het werk CentOS/RHEL gebruiken. Maar zoals CPASLOCK2000 aanhaalt zijn de verschillen te verwaarlozen.

[Beuker]

Als ik het goed begrijp wil je het volgende: Je hebt twee machines. Op deze machines moet iets komen wat op elk systeem de zelfde data bevat. Daarnaast wil je VM's kunnen maken die automatisch opgestart worden als 1 node faalt.

Als ik nu iets op zou moeten zetten zou ik Ceph gebruiken als storage gebruiken.

Hier kun je lezen hoe het werkt met kvm: http://ceph.com/docs/next/rbd/libvirt/
of hier: http://blog.bob.sh/2012/0...e-kvm-virtualisation.html

Maar in mijn ogen heb je dan niet het stukje opgelost dat een VM automatisch op een andere node opgestart word.

Ik denk dat ik op dit moment oVirt.org zou gebruiken als Virtualisatie Platform. Een uitdaging is wel hoe je de ovirt manager op NFS storage (of iscsi als je de nieuwe versie gebruikt) krijgt als je de hosted engine manier gebruikt.

Het zal wel even veel lees werk zijn en je er in verdiepen, maar ik denk dat dit wel iets is waar je iets mee kunt.

[CAPSLOCK2000]

Als je oVirt doet dan is glusterfs de aangewezen storage oplossing. Maar zowel glusterfs als ceph hebben het nadeel dat je aparte storage-nodes nodig hebt. Als je maar twee fysieke machines hebt, zoals TS, dan heb je er niks aan. Voor dit soort oplossingen wil je drie of meer dedicated storage-nodes hebben.

[Beuker]

Dat is dus niet helemaal waar. Ik heb al eens een setup gebouwd met glusterfs en ovirt op de zelfde machines. Werkte perfect. Ceph kun je ook prima gebruiken als je het bijvoorbeeld ontsluit via iSCSI. Ja alles blijft op de zelfde machine, maar dit kun je wel werkend krijgen.

Uiteindelijk blijft wel de vraag of die handig is om alles op de zelfde twee machines te draaien, want snel zal het nooit worden. Als dat geen punt is dan veel plezier met installeren! :-)

[u_nix_we_all]

Wij doen dit op basis van KVM op beide machines en de storage met DRBD gerepliceerd. Heartbeat zorgt voor de cluster-failover van de VM's indien nodig.
Als je zorgt dat elke VM een eigen DRBD-set heeft, kun je zo de load (VM's) ook verdelen tussen de 2 machines.

[Blokker_1999]

Ik denk inderdaad niet dat je aparte storage nodes nodig hebt met glusterfs. Heb vandaag men eerste testopstelling voor storage afgewerkt met drbd en corosync. Load balancing op zich is niet noodzakelijk daar het aantal clients dat een dienst nodig zal hebben altijd beperkt zal blijven. Het bljft een bedrijfsnetwerk uiteindelijk. Het doel hier is simpelweg om te kunnen blijven doorwerken in het (onwaarschijnlijke?) geval de machine hardwarematig uitvalt.

[Bigs]

Hoe voorkom je bij drbd met 2 nodes split brain situaties? Ik zou altijd minimaal 3 nodes gebruiken voor een cluster. Je kunt dan ook kijken naar Proxmox + Ceph, dat is eenvoudig uit te rollen (dmv de pveceph tool van Proxmox) en presteert prima.

[u_nix_we_all]

Als je zorgt voor een apart netwerk (crosscable) voor heartbeat signaal, is die kans niet zo heel groot. Gewoon zorgen dat er geen single point of failure in zit, dus niet alles via 1 switch doen bijv. En niet alle netwerk op 1 chipset/controller, maar aparte controllers. Evt. kun je een extra seriele link aansluiten voor heartbeatsignaal.

[init6]

CAPSLOCK2000 schreef op woensdag 24 december 2014 @ 15:07:
Als je oVirt doet dan is glusterfs de aangewezen storage oplossing. Maar zowel glusterfs als ceph hebben het nadeel dat je aparte storage-nodes nodig hebt. Als je maar twee fysieke machines hebt, zoals TS, dan heb je er niks aan. Voor dit soort oplossingen wil je drie of meer dedicated storage-nodes hebben.

Over het algemeen worden Ceph omgevingen wel dedicated opgezet omdat dit "de beste performance" zou bieden. Of dit waar is en of je met cgroups en met pinning/NUMA al genoeg winst haalt qua performance is mij niet bekend, ik heb enkel gekeken naar dedicated ceph clusters waarbij er een dedicated SSD gebruikt word voor de journal om de maximale performance uit een cluster te halen... Dit soort systemen performen per definitie het beste als je veel nodes hebt om tegenaan te praten. Glusterfs daarin tegen heb ik wel eens mee gewerkt in een dual node setup, split brains komen geregeld voor als je niet al te snugger met het systeem omgaat.

Waarom niet werken met LVM's en dagelijks een snapshot maken? Zelf ben ik niet zo'n enorme fan van HA omgevingen, ik heb er veel mee gewerkt en vind het zonde om in een thuis situatie een systeem idle te hebben draaien. Zelf kijk ik liever naar load balanced opstellingen. Daagt mij persoonlijk meer uit om reversed proxy's, HA proxy of andere sytemen te gebruiken. Ik zou ook eens kijken of het werken met containers niet een alternatief is.

[CAPSLOCK2000]

Beuker schreef op woensdag 24 december 2014 @ 16:05:
Dat is dus niet helemaal waar. Ik heb al eens een setup gebouwd met glusterfs en ovirt op de zelfde machines. Werkte perfect. Ceph kun je ook prima gebruiken als je het bijvoorbeeld ontsluit via iSCSI. Ja alles blijft op de zelfde machine, maar dit kun je wel werkend krijgen.

Uiteindelijk blijft wel de vraag of die handig is om alles op de zelfde twee machines te draaien, want snel zal het nooit worden. Als dat geen punt is dan veel plezier met installeren! :-)

Ceph op dezelfde machines wordt door de makers hard ontraden. Het werkt wel maar er schijnen bugs in de kernelmodule te zitten waar je dan mee te maken krijgt. Misschien dat het veilig kan als je het niet via de kernel draait. Glusterfs en ovirt heb ik ooit voorgesteld maar toen gaf RedHat aan dat we dat niet op dezelfde machines mochten doen. Ik wil niet uitsluiten dat dit vooral om licenties ging en technische gezien wel gewerkt zou hebben.

[Verwijderd]

Bigs schreef op woensdag 24 december 2014 @ 20:37:
Hoe voorkom je bij drbd met 2 nodes split brain situaties?

Fencing, alhoewel dat een compleet nieuwe set aan problemen kan introduceren.

[ninjazx9r98]

u_nix_we_all schreef op woensdag 24 december 2014 @ 21:43:
Als je zorgt voor een apart netwerk (crosscable) voor heartbeat signaal, is die kans niet zo heel groot. Gewoon zorgen dat er geen single point of failure in zit, dus niet alles via 1 switch doen bijv. En niet alle netwerk op 1 chipset/controller, maar aparte controllers. Evt. kun je een extra seriele link aansluiten voor heartbeatsignaal.

Heartbeat doe je bij voorkeur juist niet via een cross cable maar altijd via een switch. Grootste nadeel/gevaar van een cross cable is dat de link down gaat op beide nodes als er wat aan de hand is.

[Beuker]

CAPSLOCK2000 schreef op woensdag 24 december 2014 @ 23:13:
[...]


Ceph op dezelfde machines wordt door de makers hard ontraden. Het werkt wel maar er schijnen bugs in de kernelmodule te zitten waar je dan mee te maken krijgt. Misschien dat het veilig kan als je het niet via de kernel draait. Glusterfs en ovirt heb ik ooit voorgesteld maar toen gaf RedHat aan dat we dat niet op dezelfde machines mochten doen. Ik wil niet uitsluiten dat dit vooral om licenties ging en technische gezien wel gewerkt zou hebben.

Ik begreep van de originele post dat dit om een thuis setup ging. Ik zou dit ook zeker niet in productie draaien. Der zijn inderdaad genoeg kernel bugs. Laatst weer eentje tegen gekomen in 3.10+ in combinatie met een heavy load ceph cluster. Helaas terug naar een 2.6.32 kernel.

Dat RedHat het niet wil is omdat ze er geen support op leveren. De subscriptions verbied het je niet, maar het eerste wat RedHat bij een call zal zeggen is haal die twee uit elkaar.

Maar goed als oVirt of RHEV nog steeds wil concurreren met VMWare moeten ze iets gaan doen met de disken die in hypervisors zitten en dan ga je dus aan dit soort constructies denken.

[Blokker_1999]

Ik ben thuis aan het experimenteren, uiteindelijk moet dit wel in productie komen op het bedrijf. En mijn grootste probleem is het op dit moment beperkte budget. Thuis kan HA mij eigenlijk niets schelen maar ik wil vooral niet dat als het misloopt de hele IT bij ons komt stil te liggen en dat als ik dan eindelijk eens enkele dagen vrij heb dat ik dan weer telefoon krijg omdat het net dan misloopt.

[Bigs]

Blokker_1999 schreef op donderdag 25 december 2014 @ 21:24:
Ik ben thuis aan het experimenteren, uiteindelijk moet dit wel in productie komen op het bedrijf. En mijn grootste probleem is het op dit moment beperkte budget. Thuis kan HA mij eigenlijk niets schelen maar ik wil vooral niet dat als het misloopt de hele IT bij ons komt stil te liggen en dat als ik dan eindelijk eens enkele dagen vrij heb dat ik dan weer telefoon krijg omdat het net dan misloopt.

Heb je op je bedrijf wel meer budget? Meestal kies ik voor zakelijk gebruik toch wat robuustere oplossingen dan voor thuisgebruik. VMWare heeft bijvoorbeeld een licentiepakket (Essentials Plus pack) voor drie servers waarmee je voor weinig geld een zeer robuust HA cluster op kunt zetten. Dat is zakelijk over het algemeen wel te verantwoorden. Een houtje-touwtje oplossing voor HA zal je uiteindelijk meer hoofdpijn dan voordelen bezorgen.

[Blokker_1999]

Neen, het is net daar dat ik de komende jaren amper budget heb. Ik moet me nog zien te redden tot we richting onze nieuwbouw gaan trekken en ik waarschijnlijk wel een budget kan krijgen om heel de backend te vernieuwen. Tot dan word het hoofdzakelijk roeien met de riemen die ik heb en enkele beperkte aankopen, maar zeker geen (tien)duizenden euros aan hardware en licenties op dit moment. Indien mogelijk zal er dan inderdaad naar eeen VMWare oplossing gekeken worden omdat deze niet alleen HA bied, maar ook nog eens Fault Tolerant kan opgezet worden.

En ja, zelf een oplossing zoeken zal me wat hoofdpijn bezorgen, maar daar leert een mens ook weer van bij en doe ik ook weer ervaring op.

[chaoscontrol]

Helemaal eens met Bigs. Met VMware kun je dit met een 1000 euro essentials licentie helemaal opzetten. Omdat het ook nog eens goed gedocumenteerd, enorm makkelijk en veel gebruikt is ben je met opzetten en onderhouden waarschijnlijk ook nog eens minder tijd kwijt (wat ook allemaal geld is voor jouw werkgever).

Ook kun je met VMware DSA met 2 machines met local storage goed uit de voeten. (Al is dat volgens mij wel depricated.)

[Beuker]

Ik zou dan ook zeker even naar https://www.proxmox.com/ kijken. Storage kun je op verschillende manieren oplossen en nog gratis ook en HA kun je er ook mee regelen.

[CAPSLOCK2000]

Proxmox en VMWare zijn mooie en behoorlijke complete oplossingen maar in quick & dirty scenario's geef ik de voorkeur aan ganeti. Zeker als je nog geen ervaring hebt maar wel een degelijke kennis van Linux hebt dan is ganeti heel simpel om mee te beginnen. Als je meer voor de lange termijn gaat dan is het investeren in een uitgebreider product (zoals VMWare) waarschijnlijk de betere keuze.

[raymondw]

Leuke discussie
Ben zelf bezig geweest met een budget (vooral qua stroom) oplossing
Werk bij een groot bedrijf en mijn thuis oplossing was ook nogal GROOT (E5-2600/4600)

Mijn doel was Opensource virtualisatie, minder stroom verbruik, zelfbouw hw en vooral performance.

Wensen

• Live migrate storage
• Live migrate compute
• Thin provisioning storage
• Offload mogelijkheid naar een cloud provider
• Niet afhankelijk van flash of andere OS gebonden software voor management
• snapshots
• performance

Oplossing die inmiddels een jaar goed werkt
Compute
- 2x i3 35w (Asrock B85m Pro4)
- 16GB/16GB SSD/1Gb/10Gb/PicoPSU

NFS Storage
- 1x i3 55w (Asrock B85m Pro4)
- 8GB/16GB SSD/1Gb/10Gb/Seasonic PSU
- RAID controller + RAID5 SAS

1Gb LAN via switch en 10Gb storage via DAC
Storage en 1 compute op een UPS (toegevoegd na een incident)

Alles op basis van CentOS 6.x en Ovirt 3.5, verbruik <120w (gemeten voor de UPS)
15 VM's (Zimbra,zenoss,pfsense carp, enz), 1 VDI en veel losse meuk VM's om dingen te testen (php,ceph,gluster, storage spaces,w2012,openstack enz)

Ik had mijzelf er geen budget voor gegeven, maar less is more

Is het DE beste oplossing? Nee, zeker niet.
Maar als je uitgaat van ease of use en gemak in beheer dan is dit voor mij een acceptabele tussenweg.
Heb een disaster recovery getest op een andere hw set en op het copieren van veel data na is core functionaliteit binnen 2 uurtjes weer oke. (backup staat off-home)

Wat zou ik anders doen?

• Voor de compute nodes heb ik Apevia Xqpack cubes besteld, dat is niet handig... ziet er wel mooi uit
• Dikke SATA disken ipv snelle SAS
• Andere RAID controller ivm spindown(=stroomverbruik)
• Budget aanhouden

Het is voor mij een WIP en er zijn veel andere dingen die meespelen, maar misschien levert het je een richting op waarin je kan denken.
Ben erg nieuwsgierig naar je keuzes en de uiteindelijke oplossing.

[Blokker_1999]

btw Chaos, kan je mij eens uitleggen hoe je aan die 1000 euro komt? vSphere essentials zit aan de helft van die prijs maar bevat geen HA, daarvoor moet je bij de essentials plus zijn die direct weer boven de 3000 euro gaat. In mijn geval zou een vSphere standaard met 2 licenties nog mogelijk zijn en dan spreken we over iets meer dan €2200. (ja, ik ben de vmware oplossing ook aan het bekijken, maar dat is dan weer iets moeilijker virtueel uit te testen, en zoveel performante hardware heb ik hier nu ook weer niet staan).

En dan lees ik hier ook nog eens dat om in ESXi 5 gebruik te kunnen maken van HA je ook nog eens een vCenter moet hebben. Dat is weeral +€6000 . Het werkt zonder vCenter, maar voor het aanpassen van de config van de cluster zou je blijkbaar vCenter moeten hebben, wat niet vreemd is wanneer je bedenkt dat de vSphere client alleen maar kan connecteren met ofwel een host, ofwel een vCenter server.

[ Voor 27% gewijzigd door Blokker_1999 op 29-12-2014 16:34 ]

[chaoscontrol]

Het is even geleden dat ik VMware heb aangeschaft (Hyper-V ) maar toentertijd (ESX 4.5 o.i.d.) zat er gewoon vCenter bij het essentials plus pakket en dat was toen nog niet zo duur. Als mijn vakantie voorbij is kijk ik graag even hoe duur het toen was.

_{En vCenter kan gewoon een VM zijn op je cluster al is dat misschien niet wat je wilt.}

[ Voor 16% gewijzigd door chaoscontrol op 29-12-2014 17:50 ]

[Blokker_1999]

vCenter zit inderdaad bij Essentials. Bijkomend, heb nog even verder zitten graven heeft HA ook een shared storage oplossing nodig en zit deze ook niet in het vSphere pakket. Je kan opteren voor VMware virtual SAN, maar daar vind ik niet direct een prijs voor terug, en zelfs dan heb ik nog geen idee of je deze kan draaien op een ESXi host. Het lijkt er meer en meer op dat VMware het op korte termijn echt niet zal kunnen halen zonder grotere investeringen te doen, en dat budget krijg ik voorlopig niet los. Tot dan kan ik wel al leren mbv mijn academische licentie.

[chaoscontrol]

Toen had je nog VMware VSA waarmee je je data gemirrored op beide nodes had staan. Ik weet dat dit nu deprecated is maar misschien is er een opvolger welke hetzelfde kan?

[Blokker_1999]

Dat noemt vsan en maakt onderdeel uit van vSphere. Maar ... dit vereist dan weer wel een minimum van 3 nodes, terwijl ik er op dit moment slechts 2 voorzien heb. Bijkomend heeft elke node minstens 1 SSD en 1 HDD nodig. De SSD als cache en de HDD voor storage, en dan heb je nog bijkomende opslag ruimte nodig voor ESXi op te zetten aangezien zowel SSD als HDD voor niets gebruikt mogen worden. En geen idee of ik een bijkomende node nog verkocht krijg... We gaan nu al van 1 fysiek systeem naar 2 terwijl de ene, oudere al krachtig genoeg is om de taken uit te voeren, maar geen enkele failover mogelijkheid heeft buiten de schijven die in RAID1 staan.

[CAPSLOCK2000]

raymondw schreef op maandag 29 december 2014 @ 10:36:
1Gb LAN via switch en 10Gb storage via DAC

Volgens mij heb je twee machines. Wat voor DAC heb je en hoe heb je het op beide machines aangesloten?
Een doos schijven en twee eSata kabels?

PS. Ik neem aan dat je 10TB bedoelt.

[Blokker_1999]

Ben trouwens nog iets tegengekomen dat ik ook zeker eens een kans ga geven: LCMC . Een applicatie geschreven in java voor het beheren van linux clusters. Als gebruiker krijg je een GUI en in de achtergrond maakt het systeem volop gebruik van andere projecten zoals corosync en drbd waarbij het de configuratie dus vereenvoudigd.

[CAPSLOCK2000]

Dat is een leuke applicatie, die maakt het beheer van corosync + drbd erg eenvoudig. Dat is mooi want het is best een pittig onderwerp met veel componenten die samen moeten werken. Mijn cluster werkt bijna probleemloos. Bijna, want de GUI gaat er van uit dat clusters uit twee machines bestaan. Ik heb mijn derde machine in de config opgenomen en dat werkt min of meer, de derde machine wordt niet getekend maar dat is voor de meeste taken geen probleem.

[raymondw]

CAPSLOCK2000 schreef op dinsdag 30 december 2014 @ 14:43:
Volgens mij heb je twee machines. Wat voor DAC heb je en hoe heb je het op beide machines aangesloten?
Een doos schijven en twee eSata kabels?

PS. Ik neem aan dat je 10TB bedoelt.

Nope, ik bedoel echt 10Gb
Compute nodes 1 en 2 zijn via DAC aangesloten op nfs-storage 1 en soms 2 : http://www.boxfire.com/ciscosfpcables.html
Mijn kabels komen van Ebay btw
Qua TB is het 4,8 netto

Deze eerste setup draait via DNS naming.
Ben nu aan het kijken om eea via een software switch te laten lopen op de NFS kant, scheelt hoofdpijn.

Disk performance is rond de 700MB read en write IN een VM. Getest met verschillende 8GB files in 1 folder.
Wat voor mijn thuis opzet meeeeer dan voldoende is
Wil best meer info geven, maar misschien moeten we dan ff een ander draadje starten.

[CAPSLOCK2000]

Tnx voor de verheldering. Mijn suffe kop las "10 gigabyte DAS" maar dat staat er helemaal niet

[Blokker_1999]

raymondw, van mij mag je die hier gerust posten hoor. Ben eigenlijk wel benieuwd naar de details van je setup. Ik heb dit draadje uiteindelijk gestart om informatie te vinden en bij te leren over clustering.

[Blokker_1999]

Chaos, ondertussen een offerte binnengekregen voor vSphere Essentials Plus en 1 jaar ondersteuning. Dit komt op ongeveer €3700. Tel daarbij dat ik dan nog extra kosten moet maken voor de shared storage en mijn onmiddelijke chef vind het al niet meer zo interessant. Ik hoop evenwel dat wanneer ik binnen enkele jaren een nieuwe cluster van de grond op moet bouwen dat ik vSphere wel mee kan nemen in mijn budget (heb ik ook direct een kostenpost die potentieel terug geschrapt kan worden als het niet goed komt )

Het zal dus een cluster worden met vermoedelijk corosync, pacemaker, drbd en kvm.

[CAPSLOCK2000]

Ik zou je nog een keer willen aanraden om naar Ganeti te kijken. Dat doet alles wat je nodig hebt op een eenvoudige manier. Je moet wel thuis zijn op de commandline, de (web)GUI is een beetje een gedachte achteraf.
Het kan zo'n beetje alles wat je van een virtualisatieomgeving nodig hebt. Het is wel enorm light-weight, maar dat vind ik zelf juist een voordeel. Als je een beetje bedreven bent met Linux, en dat ben jij volgens mij, dan heb je het op een middagje geinstalleerd.

In een notendop:
- installeer de packages voor kvm, lvm, drbd, ssh & ganeti
- configureer je netwerk en lvm
- draai ganeti init <cluster-naam>
- draai ganeti add <hostname> voor iedere node
Klaar, je kan nu je eerste VM aanmaken.

[ Voor 19% gewijzigd door CAPSLOCK2000 op 11-01-2015 17:32 ]

[Blokker_1999]

Ik ben uiteindelijk inderdaad met ganeti aan de slag gegaan. Heb al enkele problemen overwonnen, maar zit nu nog met het probleem dat ganeti mijn config file voor debootstrap negeert. Zowel /etc/ganeti/instance-debootstrap/variants/default.conf als /etc/defaults/ganeti-instance-debootstrap worden genegeerd.

--edit--

en natuurlijk kom je dan ineens op het probleem: aangezien de conf verschillend was op beide nodes werd deze gewoon genegeerd. Op naar het volgende probleem: ontbrekende debs in mijn repo.

[ Voor 24% gewijzigd door Blokker_1999 op 17-02-2015 15:05 ]

[CAPSLOCK2000]

Mooi om te horen dat je op weg bent. Zelf maak ik geen gebruik van de debootstrap-installer maar boot ik de ISO van onze custom-installer. Als je "gewoon" Debian of Ubuntu draait is debootstrap waarschijnlijk de beste aanpak.

Toevallig is mijn cluster vorige week flink door de mangel gehaald door een stroomstoring, netwerkonderhoud een volgelopen disk en tegelijk een defecte disk. Daarna moesten we een beetje helpen om de boel weer op de rails te krijgen maar de VM's hebben er niks van gemerkt, en daar gaat het uiteindelijk om. Erg prettig voor mij is dat een collega zonder ervaring met Ganeti direct kon inspringen omdat ik er zelf niet was.

De geleerde les: monitor de vrije ruimte in je storage (LVM in mijn geval). Ik keek alleen naar de vrije ruimte in de filesystems en had er niet aan gedacht dat Ganeti zelf LV's aanmaakt bij verhuizingen.

[Blokker_1999]

Ja, ik draai gewoon debian, en omdat ik op ons intern netwerk geen internet heb, sync ik om de twee weken met een draagbare harde schijf een lokale apt mirror (daarom dat die config zo belangrijk was).

Ben het zelf ook aan het opzetten met LVM+DR:BD, is wel knap om zien dat deze dan netjes de volumes gaat aanmaken en direct in sync brengen over de twee nodes.

Vlak voor het einde van mijn dagtaak gezien dat mijn eerste instance klaar was voor op te starten (en nog snel even geboot), kan ik de komende dagen nog wat verder testen met o.a. eens een live migratie uit te voeren alsook de offline migratie en alle andere leuke dingen waarvoor je een cluster neer zet.

Het enige wat ik nog niet ben tegengekomen is het automatisch herstarten van een VM op de tweede node wanneer de eerste node neergaat.

[CAPSLOCK2000]

Daar is ganeti-watcher voor. Het zou kunnen dat de versie van Ganeti in Debian dat script nog niet heeft of een oudere versie heeft die daar nog niet geschikt voor is.

[Blokker_1999]

Heb op dit moment 2.12 draaien (loop dus slechts 0.0.1 versie achter). Eens wat documentatie van zoeken.