Tijdelijke HA internetconnectiviteit

[Tha Render_2]

Ik heb nood aan een oplossing, om mijn evenementen van tijdelijk/betrouwbaar internet te voorzien. Huren wil ik liever niet meer doen, met de prijs van het 2x te huren kan ik het materiaal zelf kopen. IT-kennis is er voldoende en het lijkt me ook een leuk project.

Doel is, om op elk evenement, internet te hebben die een zo groot mogelijke uptime heeft. Dit internet dient NIET voor de bezoekers, enkel crew en toestellen zoals betaalterminals. Snelheid/capaciteit is bijgevolg niet zo heel belangrijk.

Alles start natuurlijk met de provider, daar kan ik uiteraard niets aan veranderen, maar tot nu toe steeds een goede breedband connectie ter beschikking gekregen.

Ik heb nood aan: DHCP & DNS-server. Nogmaals, uptime is belangrijkste.

DHCP & DNS instellingen wijzigen kan vaak standaard niet omdat ik ofwel geen toegang heb tot de router van de provider of er enkel een modem is.

Alles wil ik graag in een 19" flightcase installeren, zodat het vlot te vervoeren valt. Ik denk nodig te hebben:

- 1x 19" UPS (voor in geval van stroomuitval & stroombeveiliging)
- 1x 19" power distribution
- 2x 19" HA router (met DUAL wan mogelijkheid)
- 2x 19" gigabit switch
- 1x 4G modem

De High Availability mag gerust manueel zijn, er is altijd permanentie, als het automatisch kan voor dezelfde prijs, kan dat uiteraard ook. Ik kijk naar een HA opzet, omdat als de router defect is .. ik geen kant uit kan. Een 4G modem als 2de WAN om een defect aan de modem te kunnen overbruggen.

Voorstelling zou dan zoiets zijn:



En met die HA router, zit ik wat vast.. 2x gigabit switch is eenvoudig, valt de ene switch uit, prik ik gewoon alles in de andere. Maar als je gaat kijken naar firewall cluster, kom je toch al vaak bij de duurdere zaken uit.

Ik ben fan van Ubiquiti materiaal en heb er ervaring mee. De unifi reeks zelf heeft security gateways, maar deze kunnen niet in HA gekoppeld worden (of toch niet zonder omwegen zoals 2 aparte sites aanmaken, json bestanden gaan aanpassen, etc...). Hun Edgemax routers hebben dan weer wel een soort van HA mogelijkheid: https://help.ubnt.com/hc/...Redundancy-Protocol-VRRP-

De config zal niet gesynced worden bij VRRP, maar dat is geen vereiste voor mij. Als er iets wijzigt, kan ik het gerust op beide toestellen doen.

Maar de management software is niet dezelfde dan bij de Unifi toestellen, en moet op een VM gedraaid worden, niet mogelijk dus. De Edgemax routers kunnen wel zelfstandig gemanaged worden via CLI of GUI.

Ik heb ook al eens gekeken naar pfsense, je komt dan iets duurder uit maar het is een meer 'pro' oplossing, volledig HA waardoor ook de config gesynced wordt, maar iets ingewikkelder: https://store.netgate.com/pfSense/XG-7100-HA.aspx

Het pfsense toestel is eigenlijk te zwaar voor mijn noden, maar het is het 'goedkoopste' 19" model.

Iemand nog ideeën of ervaringen?

[canonball]

Tha Render_2 schreef op zondag 14 april 2019 @ 10:21:
De High Availability mag gerust manueel zijn, er is altijd permanentie, als het automatisch kan voor dezelfde prijs, kan dat uiteraard ook. Ik kijk naar een HA opzet, omdat als de router defect is .. ik geen kant uit kan. Een 4G modem als 2de WAN om een defect aan de modem te kunnen overbruggen.

als het ook manueel mag zijn, waarom dan niet 2x een los netwerk. Zelfde ip-reeks reeks, maar in elke een aparte router en switch met een aparte dhcp reeks. 1 set aansluiten op de UPS, de andere niet (ook een ups kan stuk gaan).
Als 1 netwerk uitvalt, gewoon de clients van dat netwerk verbinden met het overgebleven netwerk.

2x een los netwerk ipv 1x een HA netwerk lost heel veel mogelijke problemen op.

[Vorkie]

PFSense hoef je niet perse op dat apparaat te zetten hoor, kan je zelf ook samenstellen.

Bijvoorbeeld 2 van deze.
https://nl.aliexpress.com...NICs-COM/32920921042.html

Sync interfaces kan je zelf aanwijzen.

Zorg dat 4G modem en ISP op beide firewalls binnenkomen, anders mis je HA.

En ja, je vraagt 19", maar ik denk dat 2 van deze plus een eigen gemaakt 19" plaatje nog steeds goedkoper is

[ Voor 13% gewijzigd door Vorkie op 14-04-2019 10:42 ]

[The_Admin]

Palo Alto firewall, twee uplinks en isp failover obv policy based forwarding. Ding doet ook dhcp en we zouden bijna vergeten dat het je verbinding beveiligd, misschien ook niet overbodig gezien betaalverkeer (dat zou je bv ook middels QoS weer prio kunnen geven).

Daarnaast kan je nog denken aan iets als SSL VPN zodat eventueel op afstand ook het netwerk te gebruiken is (handig voor management of troubleshooting)

[Aikon]

Tha Render_2 schreef op zondag 14 april 2019 @ 10:21:
Ik heb nood aan een oplossing, om mijn evenementen van tijdelijk/betrouwbaar internet te voorzien. Huren wil ik liever niet meer doen, met de prijs van het 2x te huren kan ik het materiaal zelf kopen. IT-kennis is er voldoende en het lijkt me ook een leuk project.

Maar betaal je daar ook voor garanties en schadeloosstelling zoals bij niet functioneren van je PIN-apparaten?

[Tha Render_2]

Bedankt voor de reacties, ik bekijk ze later in detail!

Aikon schreef op zondag 14 april 2019 @ 10:52:
[...]

Maar betaal je daar ook voor garanties en schadeloosstelling zoals bij niet functioneren van je PIN-apparaten?

De PIN-apparaten etc worden allemaal geleverd & beheerd door een firma, daar hoef ik niets voor te doen, zij hebben enkel internet nodig die .. liefst 100% uptime heeft

Ik kan ze gewoon de UTP kabel geven die vanuit de modem komt en we zien wel waar het ons brengt, in het beste geval geen problemen, maar dat risico kan ik niet nemen. Als het internet eruit ligt, komen er dus geen centjes binnen Vandaar wil ik elk scenario gecovered zien:

- Uitval modem -> swap naar 4G
- Uitval router -> swap naar 2de router
- Uitval switch -> swap naar 2de switch
- UPS voor stroombeveiliging

[scenix_]

met PFSense heb je alles wat je nodig hebt. Bau zelf 2 router met de aansluitingen die je nodig hebt en zet ze in HA. dan elke Hardware Appliance een been aan elke Switch en je hebt best goede Redundancy. Dan heb je alleen voor de LTE Verbindung een router nodig die 2 LAN Ports heeft en voor je DSL ook. Je zou het dan door een dubbel NAT kunnen laten lopen of misschien de PFSense laten verbinden door een modem in Bridge. Voor alle situaties kan je de konfiguratie vooraf veranderen. Dat is echt easy!

Edit: als de klant geen router heeft met 2 LAN poortjes, zou je ook zelf een kleine switch kunnen neerzetten natuurlijk.

[ Voor 10% gewijzigd door scenix_ op 14-04-2019 11:04 ]

[MewBie]

Tha Render_2 schreef op zondag 14 april 2019 @ 11:00:
Bedankt voor de reacties, ik bekijk ze later in detail!


[...]


De PIN-apparaten etc worden allemaal geleverd & beheerd door een firma, daar hoef ik niets voor te doen, zij hebben enkel internet nodig die .. liefst 100% uptime heeft

Ik kan ze gewoon de UTP kabel geven die vanuit de modem komt en we zien wel waar het ons brengt, in het beste geval geen problemen, maar dat risico kan ik niet nemen. Als het internet eruit ligt, komen er dus geen centjes binnen Vandaar wil ik elk scenario gecovered zien:

- Uitval modem -> swap naar 4G
- Uitval router -> swap naar 2de router
- Uitval switch -> swap naar 2de switch
- UPS voor stroombeveiliging

Je vergeet een 2de UPS voor het geval de eerste kapot is.

En zorg dat je UPSen een batterij hebben die groot genoeg is voor de duur van het evenement want je kan een langdurige stroomstoring hebben. Of neem een generator mee.

[gastje01]

Wij hebben voor dit soort evenementen altijd een aantal GPRS pin automaten achter de hand, deel via t vaste net/WiFi en deel GPRS. Is dat geen oplossing?

[Verwijderd]

Ik begrijp eigenlijk niet waarom je stuk zit. Alle kabeltjes van de ene switch naar de andere omprikken is meer werk dan alle kabeltjes van het ene een routertje naar het andere omprikken.

Je zou daar wel graag iets willen waar je bijvoorbeeld de hele config in een bestandje kan krijgen om 'm van de ene naar de andere te verschepen. Met een Unix-achtige (waar linux zonder systemd nog wel onder valt) kun je alle configuratiebestandjes samenpakken en overhevelen met een klein shell script.

Is je IT-kennis voldoende om zelf iets te bouwen of ben je afhankelijk van appliances die je in een rack kan hangen en dan wat klikken op een webinterface? Kun je zelf wat bouwen dan kun je bijvoorbeeld isc-dhcp en bind van stal halen. Maar met een openwrt met toegang tot de dnsmasq-configuratie of een custom pfsense install kom je ook al een eind. psfense is inderdaad vooral een stuk software, ook al kun je voorgeinstalleerde pfsense-appliances kopen.

Qua UPS lijkt het me verstandig als je kijkt naar zoveel mogelijk apparaten die op 12VDC draaien, zodat je twee omzetstappen (12VDC->220VAC in de UPS en dan 220VAC->12VDC in je apparaten) kan vermijden. (Zie ook: picopsu.) Dan zou je kunnen kijken maar de aloude soekris of iets vergelijkbaars en dan twee stuks in een 1U behuizing stoppen. Kun je zelfs nog een een-of-ander schakelaar ertussen monteren.

Dan iets van een laad-controller (nouja, twee, redundancy!), wellicht een idee om bij een camping- of botenwinkel te gaan kijken wat ze te bieden hebben. En hoe ga je kijken of alles nog naar behoren werkt, of wil je bij calamiteiten willekeurig dingen gaan in- en uitschakelen in de hoop dat het weer gaat werken?

[Operations]

Niet om het een of ander hoor, maar wel is gedacht aan een pin apparaat op 4G? Zijn ook gewoon te krijgen bij CCV.

[Tha Render_2]

Bedankt voor alle reacties, ik bekijk ze de komende dagen in detail!

Ter info, het zijn niet enkel pin apparaten hoor, het is een volledig cashless systeem, bezoekers die hun bandjes opladen, cashless betalen aan togen, etc ..

Ik lees hier leuke voorstellen, ik ga ze de komende dagen uitwerken, maar één waarvoor ik de leverancier van dat cashless systeem ga contacteren is DHCP. Als ik een niet synced HA systeem implementeer, dan zullen de DHCP leases verloren gaan bij een swap. Als die toestellen dan na een tijdje een nieuwe lease aanvragen, bestaat het risico dat ze een adres krijgen dat al in gebruik is, omdat hij de leases niet kan controleren. Weet niet hoe die toestellen daarmee overweg gaan, maar een punt om in het achterhoofd te houden denk ik.

Er was ook de vraag of ik genoeg kennis heb om een eigen systeem te bouwen i.p.v. appliances te gebruiken, het antwoord is ja, maar ik wil graag de permanentie laten uitvoeren door andere medewerkers, die ook wel IT kennis hebben, maar misschien niet op hetzelfde niveau, en dan zijn appliances, of een basic pfsense setup eenvoudiger.

[DJSnels]

Kun je geen Draytek routers gebruiken? Deze kun je ook in HA opstelling plaatsen en hebben 4G ondersteuning ingebouwd. 2x een 2926 bijvoorbeeld, dan ben je voor 450,- klaar qua routers.
Edit: en hier kun je ook 19” kits bij kopen.

[ Voor 11% gewijzigd door DJSnels op 14-04-2019 13:04 ]

[Bl@ckbird]

Hoeveel bandbreedte moet de firewall aan kunnen? Hoeveel concurrent users / devices gaat het? Heb je wat meer cijfers wat betreft sizing?

[Verwijderd]

Tha Render_2 schreef op zondag 14 april 2019 @ 12:58:
Ter info, het zijn niet enkel pin apparaten hoor, het is een volledig cashless systeem, bezoekers die hun bandjes opladen, cashless betalen aan togen, etc ..

Persoonlijk betaal ik alleen cash, ever, dus ik hoop maar dat dat geen buitensluiting betekent.

Als ik een niet synced HA systeem implementeer, dan zullen de DHCP leases verloren gaan bij een swap. Als die toestellen dan na een tijdje een nieuwe lease aanvragen, bestaat het risico dat ze een adres krijgen dat al in gebruik is, omdat hij de leases niet kan controleren. Weet niet hoe die toestellen daarmee overweg gaan, maar een punt om in het achterhoofd te houden denk ik.

Daar zijn verschillende truuks voor. De server eerst laten pingen naar een adres voordat'ie het uitdeelt is er een. Elke server een eigen adrespoel geven een ander. Of je doet full-blown fail-over zodat beide servers precies alle leases kennen.

Dan wil je ook iets met fail-over op je gateway want dan staan in principe beide apparaten altijd aan. Of je moet router en dhcp splitten, maar da's weer twee apparaten extra. Ook routerfunctie overpakken kan op verschillende manieren. Om dat dan ook nog eens robuust op port failure te krijgen is nog interessant om op te zetten, maar het kan wel. Twee routertjes die allebei aan beide kanten in elke switch zitten met failover link aggregation, een ISL, en zo verder. Als je met VLANs gaat werken moet je even goed weten hoe (R)STP zich daarbij gedraagt.

NAT is ook nog even een puntje, maar ik denk dat ik die state gewoon in de vast- danwel mobiele CPE laat zitten. Dan met static routing*, proxy-ARP, of als bridge, de "routers" het ene of het andere modem laten kiezen. Moet je je uplink omschakelen verandert je externe adres toch wel. Als dat betekent dat er dan verbindingen opnieuw opgebouwd moeten worden, mischien is dat wel naar de terminals te signaleren. Nergens voor nodig de statustabel te wissen alleen omdat je routerjes stuivertje wisselen. Maar dat goed opzetten is wel even nadenkwerk. DHCP wil je de CPEs IIG niet laten doen.

Dynamic routing zou mooi zijn, zelfs RIP(v2) al helemaal prima, maar de vraag is of de CPE dat snapt. De CPEs zijn kennelijk variabel?

Er was ook de vraag of ik genoeg kennis heb om een eigen systeem te bouwen i.p.v. appliances te gebruiken, het antwoord is ja, maar ik wil graag de permanentie laten uitvoeren door andere medewerkers, die ook wel IT kennis hebben, maar misschien niet op hetzelfde niveau, en dan zijn appliances, of een basic pfsense setup eenvoudiger.

Ik denk dat als je serieus synced HA wil je alles netjes moet documenteren en minstens een tweede iemand helemaal up-to-speed krijgen. Er moet iemand kunnen troubleshooten als je onder een bus belandt.

De vraag is natuurlijk "wat als het niet meer werkt?", en of je dat met appliances of met een zelfgebouwd iets beter kan overdragen. Is het beter dat iemand een schakelaar omgooit en dan alle apparaten langsgaat om ze opnieuw op te starten, of dat het meestal naadloos overpakt als er iets misgaat maar als het echt heel erg misgaat dat er dan iemand een dik handboek bij moet pakken en even heel hard moet nadenken wat nu dan weer? Dat zal ook aan het opleidingsniveau van de man on the spot liggen. Dat managen is dan weer minder technisch.

[PcDealer]

Weet je dat je de 4G, router en switch ook in 1 appliance kunt krijgen en dan x2 voor HA?