Kan een MOD de titel van dit topic veranderen naar Event Network & Linux Router , met ingang van deze post wordt het originele onderwerp een beetje op de achtergrond geschoven.
Ik moet inderdaad toegeven dat mijn startpost een beetje vaag van omzet was. De insteek in eerste instantie was puur om advies te krijgen over een 'self build router' maar toch ga ik wat dieper in op deze problemen omdat ik een kans zie sommige zaken duidelijk te krijgen voor mezelf.
Excuseer mij voor soms wat slechte analyze of een tekort aan duidelijke kennis, ik ben zelf een Netwerk student maar heb nog vrij weinig ervaring. Voor mij is dit een kans om weer wat te leren.
Hopelijk heeft iemand zin om het verhaal te lezen, het is namelijk redelijk lang.
_________________________________________________
Het evenement is een game evenement, waar voornamelijk gebruik gemaakt wordt van Xbox 360 consoles en het spel dat voornamelijk wordt gespeeld via de internetverbinding is Call of Duty: Modern Warfare 3. Ik wil nog een baseline creëren wat een enkele Xbox Live sessie in combinatie met MW3 aan data consumeert, dat is al een test die ik voorafgaande het aankomende evenement wil uitvinden.
De netwerktopologie was voor zover ik weet als volgt:
Een gemiddelde netwerktopologie tijdens onze vorige edities, de zwarte 'kastjes' zijn consoles/xboxen.
Deze topologie heb ik getekend en ik heb een zo'n compleet mogelijk beeld proberen te scheppen. Dit wil niet zeggen dat wij alles in beheer hebben of zelfs ontworpen. Vaker moesten we een 'vieze oplossing' gebruiken om zaken te laten functioneren, los van ontwerp of best practices door beperkingen in hardware, gebouw of voorbereiding. Ik ga in de komende alinea's in op de netwerkstructuur zoals boven is getekend.
Het gebouw waar wij gebruik van maken wordt op netwerkgebied nog gebruikt voor andere zaken, voor zover ik weet worden er nog zaken gehost (websites volgens mij). Wij krijgen als onderdeel van het netwerk van het gebouw een public ip toegeleverd via een geknepen kabel (10mbit down) tot onze beschikking.
Tijdens een evenement zijn er drie facetten die internet nodig hebben
- Live Stream
- Console Event/Toernooi
- Pers, deelnemers en toeschouwers
Tijdens onze toernooien wordt een externe partij ingehuurd om de live stream te regelen, deze partij is ook eigenaar van het gebouw waar het evenement in gehouden wordt dus ze 'regelen hun netwerkverbinding zelf' en wij zijn hier dan ook nooit over verantwoordelijk geweest. Wij beheerde alleen het netwerk, aangesloten op de kabel die ons was aangeleverd. Dit netwerk begint vanaf R1 (zie topologie). Om toch een compleet beeld te geven heb ik Live Stream, R3 en het netwerk van het gebouw, waar wij geen beheer of zelfs inzicht in hadden.
Console Toernooi/Event
Dit onderdeel heeft voor ons de hoogste prioriteit, zonder verbinding naar de consoles worden er geen wedstrijden gespeeld, zonder wedstrijden geen toernooi. De verbinding wordt aangeleverd via de switchpane van R1, dit zijn in totaal 4 poorten, één poort is gereserveerd voor de AP dus er blijven drie poorten over, hiermee moeten wij minstens 4 stations aansluiten. Één station bestaat uit een tafel met 8 consoles en monitoren erop (aangezien de meeste spellen 4 vs. 4 gespeeld worden betekend dit 8 endpoints) een station wordt gebruikt voor 1 wedstrijd. Door een maximaal van 8 beschikbare poorten per switch moeten wij 2 switches per station inzetten.
De manier hoe een station is verbonden.
In totaal gaat het dus om minstens 32 aansluitingen, die kan oplopen tot 50 of zelfs 100 in de toekomst. Op het gebied van netwerkgebruik zal dit 'per device' denk ik meevallen. Ik wil hier nog een baseline van maken door de toekomstige linux router in te zetten terwijl ik zelf voor een bepaalde tijd zal spelen. Het zou leuk zijn om te kijken hoeveel TCP/UDP sessies opgezet worden of zelfs NAT sessies. Vooral met betrekking tot NAT ben ik benieuwd in hoeverre dit impact heeft op performance/resources van de router. Er is een youtube video te vinden waar iemand dit al test, deze is hier te zien:
YouTube: Gaming Bandwidth Usage and MW3 - Monitored by Pepwave Routing Hardware Dit is echter met PSN, voor ons is Xbox Live belangrijker om cijfers voor te hebben. Wat wel te zien is waar ik overeenkomsten verwacht is hoger (4mbit top) datagebruik bij het inloggen, valideren van het profiel en het opstarten van het spel. Dit zullen echter pieken zijn.
Pers, deelnemers & toeschouwers
Dit netwerk, ook wel een 'gratis/public' netwerk willen we aanleveren in de vorm van een draadloos netwerk. Het is de bedoeling dat iedereen aanwezig gewoon een toegang tot het internet heeft. In totaal kunnen er tussen de 80 à 180 mensen aanwezig zijn op een van onze evenementen alhoewel ervaring leert dat lang niet iedereen gebruik maakt van een het wifi netwerk. Op basis van uitgegeven DHCP leases kan ik conluderen dat we gemiddeld zo'n 20 a 30 waaarvan >85% telefoons zijn. De pers heeft een aparte tafel waar ze gebruik kunnen maken van het netwerk, dit zijn dan ook voornamelijk de mensen met laptops. Vanuit ons perspectief is het zeer handig om deze groep mensen internet toegang te geven, zei geven ons toernooi exposure die ten goede komt van onze naam en/of het aantal live stream kijkers. De pers heeft voor ons prioriteit boven deelnemers en toeschouwers aangezien zij voornamelijk zijn gericht op het creëren van exposure en vaak bekende figuren binnen het wereldje zijn en zodanig een grotere fanbase hebben in vergelijking met de gemiddelde speler of toeschouwer.
Door bepaalde problemen met het draadloze netwerk is het lastig om een (constant stabiele) verbinding te garanderen, vandaar dat wij voor de pers in het verleden de uitzondering gemaakt hebben om ze aan te sluiten op het bedraade netwerk, ze hebben een eigen switch (S1) die via het console netwerk loopt. Door de kamerindeling in combinatie met een tekort aan kabels waren wij genoodzaakt deze verbindingen via het 'console' netwerk te laten lopen, in plaats van S1 te verbinden met onze AP/Switch R2.
In het geval van een stabiel werkend draadloos netwerk verwacht ik dat deze groepering een groter dataverbruik zal hebben dan het consoles netwerk. De telefoons zullen naar verwachting vooral gebruik maken van web browsing, (waaronder) twitter en facebook of vergelijkbare apps. Ik heb hier nog geen onderzoek naar gedaan en door een tekort aan monitoring heb ik geen baseline of cijfers om vanuit te kunnen gaan.
Live Stream
De live stream is belangrijk voor de exposure van het toernooi, exposure waar het business plan op berust. De uptime van de live stream is bijna net zo belangrijk als de wedstrijden zelf. Tot nu toe is deze nooit onder ons beheer of verantwoordelijkheid gevallen alhoewel dit wel zal gebeuren op het moment dat wij van locatie veranderen, iets wat een heel reëel scenario is vanwege onze groei. Op dat moment zullen we hier dus rekening mee houden dus is het verstandig om ons hier nu al op voor te bereiden.
De Livestream wordt vrijwel altijd via Twitch (=http://www.twitch.tv/) gehost, Twitch is een onderdeel van Justin.TV en is een 'HUB' voor heel veel live streams. Voor zover ik kon achterhalen was dit het plaatje dat illustreerd hoe dit werkt:
Simpelweg komt dit neer op een hoge upload, dit brengt ons bij het netwerkgebruik. Momenteel organiseren wij onze evenementen verspreid en doen we slechts 1 game tegelijk. Dit door een aantal beperkingen in onze resources. Mochten wij in de toekomst meerdere spellen simultaan gaan organiseren en zullen we hier dus ook meerder live streams voor moeten faciliteren om onze exposure minstens op hetzelfde niveau te hebben (Binnen de game wereld zijn de mensen die naar zulke uitzendingen kijken volledig gefocussed op 1 spel, een FIFA speler zal niet zo snel naar een Call of Duty uitzending kijken).
Ik heb deze partij gevraagd in welke bitrate
Wikipedia: Bit rate zij streamen, deze staat in verhouding met het aantal mbits aan upload vereist, dit maal het aantal uitzendingen is de totale hoeveelheid die zei nodig hebben. Als ik mij dit goed herinner was de bitrate die zij voor één live stream gebruiken 7500. Het komt neer op het broadcasten van een '720+ kwaliteit' (deze benaming hanteert Twitch), voor zover ik weet dus 1080p. Deze cijfers vond ik ter ondersteuning op het net:
480p (720x480) : 750-1000kbps
720p (1280x720) : 1500-3000kbps
1080p (1920x1080) : 3000-5000kbps+
Een bitrate van 7500 lijkt erg hoog maar kan dus zeker kloppen, hoe dit in verhouding staat met een concrete upload weet ik niet geheel, door een gebrek aan monitoring en beheer tijdens vorige edities. Wel zou het mogelijk kunnen zijn dat er in de toekomst 5 streams gelijktijdig worden gebroadcast, allen van gelijkwaardige kwaliteit.
Problemen
Wireless
Ons wireless netwerk heeft nooit erg soepel gelopen. Zoals al eerder gepost wordt er een TP-LINK WR1043ND (R2) gebruikt die geconfigureerd wordt als Access Point (DHCP uit) en wordt aangesloten aan R1 via een switchpoort.
Probleem vanuit gebruikersperspectief:
Gebruiker maakt verbinding met het netwerk, Windows geeft aan succesvol verbonden te zijn met alle balkjes vol maar op het moment dat hij bijvoorbeeld gaat surfen moet hij minutenlang wachten tot google.nl geladen is, als dit überhaupt al gebeurt.
Probleem vanaf technisch aspect en gepoogde troubleshooting:
We hebben de situatie proberen te analyseren maar nooit heel succesvol. We hebben de verbinding getest tijdens en vooraf het evenement. Het verschil tussen beide momentopnames uit zich in een betere testresultaten vooraf het toernooi. (Een test bestaat uit een simpele speedtest.net, ondanks er bij deze test onbeheersbare factoren zijn die invloed op het resultaat hebben, is de test wel nuttig geweest, mocht iemand een beter idee hebben dan hoor ik het graag). Er zijn een aantal mogelijke factoren die het resultaat tijdens het toernooi beïnvloeden, alhoewel ik door ervaring of gebrek aan metingen niet weet in hoeverre deze invloed hebben: Walky Talkies,
draadloze controllers en [url=http://tweakers.net/pricewatch/292603/plantronics-gamecom-x95-wireless-gaming-headset-xbox-360-xbox-360.html#tab:info]draadloze headsets, ook zijn er veel mensen aanwezig, met vrijwel alle een mobiele telefoon. Onze
AP is geen dual band AP en opereert dus op 2.4 Ghz dus dat kan wellicht voor problemen zorgen.
Nu is het niet zo dat deze onwerkzame situaties zich alleen voordoen tijdens het evenement, ook vooraf de start ervan ervaren we eigenaardigheden, zo lijkt het alsof de AP het signaal gewoon 'afknijpt'. Een keer kan ik mij herinneren een speedtest gedaan te hebben waarbij ik een 5x zo'n lage wireless throughput had in vergelijking met wired, ontzettend vreemd dus. Hard- en/of Software problemen wellicht? Firmware upgrades gedaan en mee naar huis genomen voor een uitgebreide test (met exact dezelfde instellingen als onze laatste editie, waar wij ook problemen met het WiFi netwerk hadden) waaruit ik speedtest resultaten haalde die 40+ mbit zijn en vrijwel exact gelijk zijn aan de resultaten behaald via een ethernet kabel.
Zou het dan toch aan de radio liggen? Ik heb helaas geen spectrum analyser om de radio in kaart te brengen, ik weet dat er prijzige zijn maar ik ben niet op de hoogte van bepaalde freeware of alternatieven, iemand een idee wellicht? Als ik op mijn eigen kennis beroep kan ik alleen denken aan standaard zaken; configuratie, afstand tot AP, grote objecten, muren en andere apparaten waaronder een hoop die op de 2.4 frequentie opereren en hier heb ik vrijwel overal naar gekeken (behalve de laatste) zonder resultaat.
Storingen
Ons bedraad netwerk werkt meestal vlekkeloos alhoewel we hier ook wel eens wat storingen mee hebben ondervonden en dan is het wederom niet fijn troubleshooten, mensen met een Xbox 360 weten dat wellicht, dit apparaat is niet uitgebreid zijn zijn troubleshooting en geeft vaak onzinnige 'error's aan, die vaak iets te maken hebben met DNS, meestal het niet kunnen contacteren van de DNS servers. Het is dan vaker een beter alternatief om het bedraade netwerk middels een laptop te troubleshooten.
Onze laatste editie was er sprake van algemene storing, het toernooi was ver gevorderd, wedstrijden waren gestart en mensen waren volledig geconcentreerd in het spel tot ze uit de game disconnecte en niet meer konden inloggen op Xbox Live. Dit kon een tijd lang aanhouden en vrijwel iedereen had er last van, enorm vervelend aangezien dit zowel je planning als je imago schaadt. Deze storing heeft zich voorgedaan rond 5 uur in de middag en ongeveer 2 uur lang geduurd, gek genoeg waren er vergelijkbare klachten de dag ervoor rond dezelfde tijd alhoewel de storingen op de tweede dag een stuk erger waren en voor meer hinder zorgden, zelfs de Live Stream konden geen stabiele verbinding meer krijgen met Twitch, terwijl de Live Stream niet binnen ons beheer zat. Wij poogde het probleem te troubleshooten binnen alles wat in onze macht lag maar aangezien ik geen zicht had op de performance van onze router of de openstaande sessies, kon ik daar weinig over vertellen. Zo heb ik factoren proberen te isoleren, waaronder alle kabels op R1 uitgetrokken behalve de aller belangrijkste wedstrijd op dat moment maar dit mocht niet baten, de problemen hielden aan en we zaten met onze handen in het haar.
De beheerder van het gebouw had ondertussen contact met zijn netwerkbeheerder, die op afstand poogde het probleem op te lossen, hij gaf aan dat er pieken van 45mbit gemeten werden op de routerpoort waar wij aan verbonden waren (Ik concludeer hieruit dat dit R3 is). Verder kon hij niet vertellen of dit up of down was of verdere details. De beheerder wees naar ons als organisatie als schuldige van het probleem, terwijl wij al veel edities in het pand gedraaid hebben, nooit vergelijkbare problemen ondervonden, op dat moment maar met een beperkt aantal endpoints verbonden waren terwijl de problemen aanhielden.
Een toeschouwer benaderde ons en bood aan om te helpen, hij gaf aan dat het programma PingPlotter (pingtesten op hops van een tracert) inzicht kon geven in de situatie, wij dit programma geïnstalleerd en hieruit kwam de volgende resultaten:
Pingplotter resultaten.
Hierop is te zien dat er vanaf de tweede hop al regelmatig problemen zijn en volgens onze topologie is dit R3. Deze conclusie heeft de toeshouwer getrokken en is samen met de beheerder van het pand de kabel tussen de eerste en de tweede hop gaan volgen en kwam uit bij een probleem met de kabel die duidelijk schade had opgelopen door waarschijnlijk geklemd te zitten tussen een deur. Nadat wij gebruik gingen maken van een andere kabel waren de problemen weg. Alhoewel wij nog steeds niet overtuigd zijn van het feit dat de kapotte kabel de oorzaak was, aangezien de live stream problemen ondervond, wij de dag ervoor vergelijkbare problemen ondervonden die zichzelf ook verbeterde. Het blijft een vreemde situatie en door slechte monitoring en inzicht in onze eigen spullen en het netwerk/de spullen in het bovenliggende netwerk konden wij vrij slecht het probleem troubleshooten om het te verbeteren of om het volgende keer te voorkomen.
Verder liet ik weten dat er binnen de community DDOSen met enige regelmaat voorkomt, dit was tijdens de storing ook een mogelijke oorzaak, alhoewel me dat vreemd lijkt. Sowieso kon het niet vanuit de zaal komen, de enige laptops/pc's in gebruik waren pers gerelateerd die wij ontkoppeld hebben. Een aanval van buiten lijkt mij ook vreemd, aangezien de systeembeheerder die telefonisch met de gebouwbeheerder sprak, zei dat het om pieken ging, een DDOS aanval lijkt mij een aanhoudende stroom, of zijn aanvallen als een TCP flood wel terug te zien in pieken, die vervolgens weer actief worden nadat de TCP timeout beëindigd is?
Conclusie
Het komt er dus op neer dat we netwerk technisch een werkend netwerk willen hebben voor een situatie waarin we verhuizen naar een andere locatie, waarbij meerdere spellen gespeeld zullen worden, meerdere live streams gebroadcast en meer mensen aanwezig zijn die gebruik kunnen maken van een werkend wifi netwerk. Hiervoor zullen wij een netwerkdesign nodig hebben. Hiervoor dacht ik ook deze Linux router in te kunnen zetten op de plek waar wij 'internet binnen krijgen'/de plek van R1 in de topologie op de oude locatie. Mijn vraag is, ondanks ik nog geen idee heb over een conrete baseline aan dataverbruik, is de Linux router hier een goede oplossing voor?
Zoja; hoe moet ik deze dan gaan inrichten, natuurlijk speelt het OS/distro een rol, hierop hebben jullie al antwoord gegeven, bedankt daarvoor. Nu ik wat meer achtergrondinformatie gegeven heb, kunnen jullie mij hopelijk wat beter adviseren over de inrichting van deze router. Hoe zouden jullie een design voor deze omgeving benaderen. Moet ik hier denken aan een fully switched of een routed netwerk moet zijn weet ik niet, moet ik met VLANs werken op het moment dat ik voor een fully switched netwerk ga, wat zijn wellicht. Hoe zouden jullie de firewall inrichten etc.?
- Wat is op het gebied van belasting de handigste DNS implementatie? Publieke DNS (8.8.8.8 of 8.8.4.4 bijvoorbeeld) of de aangeleverde?
- Vaak treed een Xbox NAT probleem op, wat zou hier de beste oplossing zijn als belasting op de router en security wordt meegenomen; UPNP aanzetten of poorten open zetten? Het gaat hierbij volgens xbox.com om de poorten: Port 88 (UDP) Port 3074 (UDP and TCP) Port 53 (UDP and TCP) Port 80 (TCP)
- Heeft iemand nog een goed alternatief om de Radio te testen/Spectrum Analyser?
- Heeft iemand verder nog een idee betreffende onze problemen Wifi en/of de storing tijdens onze laatste editie?
- Op basis van ervaring, zou iemand een verwacht dataverbruik kunnen inschatten?
- Ik ga van het dataverbruik (sowieso xbox verbruik) nog een baseline maken, iemand advies hoe dit het beste gedaan kan worden? Ik denk eerlijk gezegd simpelweg op de manier zoals in het gelinkte videotje te zien is.
- Ik graag een stresstest willen uitvoeren voordat ik met deze router 'productie' in ga, iemand leuke oplossing om dit te doen? Ik zag dat er in backtrack een aantal leuke tools zaten.
- Jullie gaven aan dat pfsense een goede oplossing is, in hoeverre verhoudt zich die tot ClearOS, die ik nu heb draaien, iemand ervaring met ClearOS?
- Jullie gaven aan dat de chipset op netwerkkaarten belangrijk is en dat het verder niet heel veel uit maakt, waar zitten dan wel fundamentele voordelen aan een Cisco/HP router in vergelijking met Linux router (stroomverbruik kan ik voorstellen) terwijl een Linux Router toch wel goedkoper is bij een niet dagelijks gebruik en op korte termijn.
Ik kan mij even geen vragen meer voorstellen, mocht iemand zo ver zijn gekomen: bedankt! Het is een ontzettend lang verhaal en ik hoop dat ik überhaupt nog een reactie krijg. Ik hoop dat ik niet te onervaren over kom aangezien dit PNS is en ik een onervaren student ben, toch ga ik hopelijk wel diep genoeg in op de technologie om hier een uitdagend vraagstuk van te maken.
Hopelijk kunnen jullie mijn vragen beantwoorden en mij opnieuw advies geven, al het advies losstaande van dit hele verhaal of indirect gerelateerd hoor ik natuurlijk ook heel graag.
[
Voor 100% gewijzigd door
mjrc op 02-04-2012 14:23
]