[router] hardware <-> software router

[H!GHGuY]

Ik zou normaal dit weekend mijn oude PC omtoveren naar een software router met NAT en http proxy en mss nog wat zooi.

de reden hiervoor was dat ik de huidige hardware router (US robotics USR8000) ervan verdenk te zwichten onder een te zware workload. (er draait 1 24/7 Win2K3 server achter met emule die wel gemakkelijk een 50-100tal connecties maakt, en dan nog een trage wireless access point en een meuk PC's)
Op mijn studentenkamer delen we internet met een 7tal personen over een Zyxel 310 router op een 16 ports D-link switch en zelfs hier vind ik alles soepeler gaan...

ikzelf ben een gemiddeld gamer, en merk het zelfs wanneer iemand gewoon op pagina's zit te surfen met al eens een fotootje meer... voor mij is performance dus belangrijk dus ik vroeg me af wat ik mag verwachten van een software router tov een hardware router.

ik kan me nl inbeelden dat de interne weg die een pakket moet afleggen binnen een software router wel wat langer is (netwerkkaart - CPU - netwerkkaart) en dat de hoeveelheid werk door extra regels (NAT/portmapping/...) wel iets groter is maar maakt de grotere verwerkingssnelheid dat dan weer ruimschoots goed?

de PC waar we over praten is deze:
AMD Athlon 750 op een ASUS A7V bordje met 512MB RAM en 2 Realtek 8139 kaartjes

ook qua software twijfel ik:
- je hebt dedicated linux distro's en varianten zoals FreeSCO en RouterOS, maar kan ik daar dan ook nog andere UNIX meuk opzwieren zoals bvb een HTTP proxy en andere services?(voor zover die er nog niet in zit) meestal is dit voor zover ik weet niet het geval.
- dan is er de keuze tussen andere linux/UNIX varianten: iemand liet me zin krijgen in NetBSD (wat blijkbaar nogal geoptimaliseerd zou zijn voor taken zoals deze) , mijn broer haalde OpenBSD en FreeBSD aan, ofwel een simpele linux variant zoals fedora/redhat of zo.

de netwerktopologie hebben we ook al wat besproken maar ik blijf nog wat twijfelen:
ik dacht eraan om de PC's beneden over de huidige hardware router die dan als switch en printer server fungeert te laten surfen, en de PC's boven over een gewone 8-poorts switch te laten gaan
waar ik nog over twijfel is om die wireless access point eventueel op een nieuw te kopen netwerkkaartje in de router te stoppen zodat die op geen enkele manier het andere verkeer op het netwerk kan stroppen.

om het even wat duidelijker te maken:

[Verwijderd]

Kijk eens naar m0n0wall. Het probleem is niet zozeer dat een router het niet aan zou kunnen dat jij zit te gamen en een ander een fotootje bekijkt, maar het is puur een kwestie van bandbreedte allocatie. In m0n0wall zit een uitgebreide trafficshaper + firewall die het verdelen van bandbreedte in goede banen leidt. M0n0wall is echter wel puur een router/firewall, dus andere meuk kan je vergeten of je moet het er zelf inhacken

Qua latency maakt het geen fuck uit of je nou een software router of een hardwarerouter neemt, het zal misschien 0,1ms schelen ten opzichte van een directe verbinding. Boeit dus niet heel erg

[H!GHGuY]

Verwijderd schreef op woensdag 23 februari 2005 @ 19:02:
Kijk eens naar m0n0wall. Het probleem is niet zozeer dat een router het niet aan zou kunnen dat jij zit te gamen en een ander een fotootje bekijkt, maar het is puur een kwestie van bandbreedte allocatie. In m0n0wall zit een uitgebreide trafficshaper + firewall die het verdelen van bandbreedte in goede banen leidt. M0n0wall is echter wel puur een router/firewall, dus andere meuk kan je vergeten of je moet het er zelf inhacken

Qua latency maakt het geen fuck uit of je nou een software router of een hardwarerouter neemt, het zal misschien 0,1ms schelen ten opzichte van een directe verbinding. Boeit dus niet heel erg

ik veronderstal dat IPtables geen traffic shaping kan doen??
* H!GHGuY zoekt even...

edit: er zijn blijkbaar wel wat mogelijkheden... daar gaan we ons dus even in moeten verdiepen.

[ Voor 7% gewijzigd door H!GHGuY op 23-02-2005 22:50 ]

[H!GHGuY]

[nageslacht mode]
wel, ik heb ondertussen toch NetBSD geinstalleerd, en ik moet zeggen dat als je een klein beetje kennis van linux/unix hebt, je aan de hand van de guide(op NetBSD.org en de howto van ipfilter/ipnat) en de manpages vrij snel tot een werkende en vlotte config komt.

ik gebruik ipfilter en ipnat, samen met dhcpd met fixed interne adressen en een kleine beschikbare range voor eenmalige PC's en named voor interne/externe adressen om te zetten.
[/nageslacht mode]

toch even een opmerking:
ik ging even naar www.speedtest.nl en deed daar de test. de down/upload test waren quasi gelijk aan wat er voordien was, maar het aantal connecties/min ging me veel te traag en finishte zelfs niet binnen de 15 seconden...
Is dit het gevolg van een foutieve instelling of is dit eigen aan de software?

bovendien: toen ik even ging online gamen had ik de indruk dat ik elke seconde wat haperde, maar ik heb niet lang genoeg kunnen gamen om echt al conclusies te trekken.

even de instellingen van
ipnat:

code:

# ftp proxy
map rtk0 192.168.123.0/24 -> 0/32 proxy port ftp ftp/tcp
# TCP en UDP masquerading
map rtk0 192.168.123.0/24 -> 0/32 portmap tcp/udp auto
# icmp en rest
map rtk0 192.168.123.0/24 -> 0/32
# en dan nog een 12-tal poorten die redirected worden naar de 24/7 server

ipfilter:

code:

# enkel machines met door dhcp toegewezen privaat adres of PC's die een IP-adres wensen
# kunnen met de gateway communiceren
pass  in  log quick on rtk1 from 0.0.0.0/32 to 255.255.255.255/32 keep state
block in  log quick on rtk1 from !192.168.123.0/24 to any
pass  out     quick on rtk1 all keep state
pass  in      quick on rtk1 all keep state
# geen enkel adres wat privaat kan gebruikt worden kan naar internet zenden
block out log quick on rtk0 from any to 192.168.0.0/16
block out log quick on rtk0 from any to 127.0.0.0/8
block out log quick on rtk0 from any to 169.254.0.0/16
# geen restricte op ander uitgaand berkeer
pass out quick on rtk0 all keep state
# geen restricties op loopback
pass out quick on lo0
pass in  quick on lo0
# standaard inkomen verkeer blokken (geen quick echter!)
block                               in log on rtk0           all
block return-icmp-as-dest(port-unr) in log on rtk0 proto udp all
block return-rst                    in log on rtk0 proto tcp all
# redirected services doorlaten
pass in quick on rtk0 proto tcp from any to 192.168.123.X1/32 flags S keep state
pass in quick on rtk0 proto udp from any to 192.168.123.X1/32 keep state
pass in quick on rtk0 proto tcp from any to 192.168.123.X2/32 port = 113 flags S keep state
pass in quick on rtk0 proto udp from any to 192.168.123.X2/32 port = 113 keep state
pass in quick on rtk0 proto tcp from any to 127.0.0.1/32 port = 22 flags S keep state
# ICMP mogelijkheden van buitenaf beperken
pass  in     quick on rtk0 proto icmp all icmp-type 0 keep state
pass  in     quick on rtk0 proto icmp all icmp-type 8 keep state
pass  in     quick on rtk0 proto icmp all icmp-type 11 keep state

ik gebruik waar mogelijk het predicaat 'quick' en heb de regels die het uitgaand internet verkeer
bepalen zoveel mogelijk vooraan gezet. Bovendien gebruik ik waar mogelijk keep-state om zodoende deze ruleset zoveel mogelijk te omzeilen.
is deze ruleset niet performant genoeg om snel connecties te kunnen leggen??

( er is een mogelijkheid om opdrachten te groeperen en zo de connecties wat te versnellen, maar de manier waarop verstond ik even niet aan de hand van het voorbeeld wat er bij stond en heb ik dus niet geimplementeerd )
als iemand me hier even kan mee verderhelpen?

[ Voor 3% gewijzigd door H!GHGuY op 28-02-2005 18:19 ]

[Verwijderd]

Mag ik vragen wat voor een cpu je nu gebruikt? Of staat die bak heel veel andere dingen te doen?

Normaal gesproken mag je van wat rules afaik niet direct last hebben namelijk Anyway ik denk dat dit beter richting de NOS kan gaan, daar zitten wat meer *BSD mensen. Ik kan je verder ook niet helpen, ik heb de ballen verstand van *BSD

[Verwijderd]

Move NT > NOS idd

[H!GHGuY]

Verwijderd schreef op maandag 28 februari 2005 @ 19:22:
Mag ik vragen wat voor een cpu je nu gebruikt? Of staat die bak heel veel andere dingen te doen?

Normaal gesproken mag je van wat rules afaik niet direct last hebben namelijk Anyway ik denk dat dit beter richting de NOS kan gaan, daar zitten wat meer *BSD mensen. Ik kan je verder ook niet helpen, ik heb de ballen verstand van *BSD

cpu staat in startpost (amd athlon 750)
draait op dit moment enkel ipnat, ipfilter, dhcpd, sshd, named op.
komt nog een web proxy bij (waarsch squid of zo)

uit mijn ervaring vind'k BSD ook niet ZO heel ver weg liggen van een willekeurige linux. Ik gebruik wel de ksh, maar de feel is vergelijkbaar vind'k...

ik heb mezelf nog eens serieus proberen te forceren en dit kwam eruit als resultaat:

code:

# geen limiet op inkomend verkeer
pass in  quick on rtk1 all keep state
pass out quick on rtk1 all keep state
# geen limiet op uitgaand verkeer
pass out quick on rtk0 all keep state
# standaard binnenkomend verkeer blokken
block in log on rtk0 all head  300
    block return-icmp-as-dest(host-unr) in log on rtk0 proto udp all group 300
    block return-rst in log on rtk0 proto tcp all group 300
# redirected services mogen passeren
    pass in quick on rtk0 proto tcp from any to 192.168.123.2/32 flags S keep state group 300
    pass in quick on rtk0 proto udp from any to 192.168.123.2/32 keep state group 300
    pass in quick on rtk0 proto tcp from any to 192.168.123.50/32 port = 113 flags S keep state group 300
    pass in quick on rtk0 proto tcp from any to 127.0.0.1/32 port = 22 flags S keep state group 300
# beperkt ICMP toelatn
    pass  in quick on rtk0 proto icmp all icmp-type 0 keep state group 300
    pass  in quick on rtk0 proto icmp all icmp-type 8 keep state group 300
    pass  in quick on rtk0 proto icmp all icmp-type 11 keep state group 300
# alles kan op loopback
pass out quick on lo0
pass in  quick on lo0

het verschil met vorige:
- geen regels meer op inkomend verkeer op intern netwerk (rtk1) (iemand die via de WAP een DHCP adres krijgt kon toch zowiezo surfen dus het had geen zin om die regels in te voegen
- geen regels meer op uitgaand verkeer op extern netwerk (rtk0) (NAT zou dat moeten opvangen)
- loopback interface achteraan in geplaatst zodat er 2 regels minder moeten gecheckt worden voor andere pakketten
- group gemaakt op inkomend rtk0 verkeer

nu wil ik niet door dit remote erop te gooien m'n hele netwerk down halen, of blootleggen voor iedereen, maar kan iemand me even adviseren of de wijzigingen (zeker die group dan) het gewenste effect zullen hebben?

[H!GHGuY]

schop?

[Verwijderd]

Zowiezo die Realtek junk kaartjes eruit schoppen, en er degelijke 3com of liefst Intel kaartjes insteken.

[froggie]

Ikzelf zag de voordelen van een software router + alle extra tools wel zitten en heb dus een hele tijd gebruik gemaakt van een flinke server setup. Maar omdat de energie rekening hier thuis een stuk hoger is uitgevallen heb ik een andere oplossing gezocht.

Deze oplossing heb ik gevonden in een Linksys WRT54GS. Deze heb ik daarna van openwrt voorzien zodat alle overbodige rotzooi eruit gesloopt is.
Ik heb me er van de week eens serieus over gebogen en ik moet zeggen dat het allemaal erg soepel werkt. Via een package manager zijn alle server tools te installeren, van sshd tot snort en van squid tot een ntp daemon.

Als je niet schuw bent van de commandline, en dat ben je volgens mij niet, dan pruts je zo een degelijke software router in elkaar. Het voordeel van dit ding is, vind ik, dat ie gewoon tot in lengte van dagen z'n werk blijft doen zonder tussenkomst van wie ook terwijl je wel de controle houdt over wat er op het ding draait (in tegenstelling to bijv een standaard linksys firmware).

Ik moet eerlijk toegeven dat er hier niet veel van de inet verbinding geeist wordt. Ik benut wel graag de volle 8Mbit die tot m'n beschikking staan, maar ik heb normaal gesproken geen tientallen connecties open. Hoe zo'n routertje dan presteert weet ik dus eerlijk gezegt niet. Maar goed, een beetje orientatie kan geen kwaad

Voor meer info: http://www.openwrt.org, en de package tracker voor openwrt: http://nthill.free.fr/openwrt/tracker/

[H!GHGuY]

Verwijderd schreef op donderdag 03 maart 2005 @ 18:54:
Zowiezo die Realtek junk kaartjes eruit schoppen, en er degelijke 3com of liefst Intel kaartjes insteken.

dat is misschien iets voor de toekomst, maar op dit moment voldoen deze 2 kaartjes nog prima denk'k. het is toch onmogelijk om de volle 10Mbit die we van de ISP krijgen te benutten. daarenboven wordt bij bvb file transfers op het interne netwerk geen gebruik gemaakt van de router want dit gaat rechtstreeks over de switch die ertussen zit.

Froggie schreef op donderdag 03 maart 2005 @ 20:33:
Ikzelf zag de voordelen van een software router + alle extra tools wel zitten en heb dus een hele tijd gebruik gemaakt van een flinke server setup. Maar omdat de energie rekening hier thuis een stuk hoger is uitgevallen heb ik een andere oplossing gezocht.

Deze oplossing heb ik gevonden in een Linksys WRT54GS. Deze heb ik daarna van openwrt voorzien zodat alle overbodige rotzooi eruit gesloopt is.
Ik heb me er van de week eens serieus over gebogen en ik moet zeggen dat het allemaal erg soepel werkt. Via een package manager zijn alle server tools te installeren, van sshd tot snort en van squid tot een ntp daemon.

Als je niet schuw bent van de commandline, en dat ben je volgens mij niet, dan pruts je zo een degelijke software router in elkaar. Het voordeel van dit ding is, vind ik, dat ie gewoon tot in lengte van dagen z'n werk blijft doen zonder tussenkomst van wie ook terwijl je wel de controle houdt over wat er op het ding draait (in tegenstelling to bijv een standaard linksys firmware).

Ik moet eerlijk toegeven dat er hier niet veel van de inet verbinding geeist wordt. Ik benut wel graag de volle 8Mbit die tot m'n beschikking staan, maar ik heb normaal gesproken geen tientallen connecties open. Hoe zo'n routertje dan presteert weet ik dus eerlijk gezegt niet. Maar goed, een beetje orientatie kan geen kwaad

Voor meer info: http://www.openwrt.org, en de package tracker voor openwrt: http://nthill.free.fr/openwrt/tracker/

de andere 24/7 server draait op een P4 1.8 die heus wat meer verstookt (zeker als je weet dat m'n broer er folding @ home op gedropt heeft ). Bovendien draait er qua hardware nix teveel op. Dus qua stroom valt het wel nog mee.
maar moest deze setup uiteindelijk nog tegenvallen zal'k jouw voorstel zeker in overweging nemen.


Kan iemand me nog vertellen of de aanpassingen die ik maakte zinnig zijn, en of ik die groups juist heb gemaakt?

[Verwijderd]

Je cpu zou snel genoeg moeten zijn, in jouw geval zou ik eerder naar traffic shaping gaan kijken dan naar wat anders. Weet je eigenlijk wel precies wat de anderen op de verbinding doen? Het is wel heel makkelijk om te denken dat de huisgenoten alleen maar een websiteje bezoeken maar misschien zit de pc vol met spyware of draaien er nog twee mensen stiekem eMule o.i.d. dan gaat je bandbreedte hard van je af natuurlijk.

Afhankelijk van je verbinding en het gebruik van je verbinding zal de bottleneck met jouw ruleset echt niet je software router zijn, lijkt me dat je dan ook even verder moet kijken dan naar het vervangen van je router (alhoewel ik Realtek kaartjes in een router wel enigszins bedroevend vindt, koop dan tweedehands een paar intel pro 100 kaartjes, die doen het geweldig). Maak eens wat statistieken van je verbinding.

[Verwijderd]

Verwijderd schreef op vrijdag 04 maart 2005 @ 15:33:
Je cpu zou snel genoeg moeten zijn, in jouw geval zou ik eerder naar traffic shaping gaan kijken dan naar wat anders. Weet je eigenlijk wel precies wat de anderen op de verbinding doen? Het is wel heel makkelijk om te denken dat de huisgenoten alleen maar een websiteje bezoeken maar misschien zit de pc vol met spyware of draaien er nog twee mensen stiekem eMule o.i.d. dan gaat je bandbreedte hard van je af natuurlijk.

Afhankelijk van je verbinding en het gebruik van je verbinding zal de bottleneck met jouw ruleset echt niet je software router zijn, lijkt me dat je dan ook even verder moet kijken dan naar het vervangen van je router (alhoewel ik Realtek kaartjes in een router wel enigszins bedroevend vindt, koop dan tweedehands een paar intel pro 100 kaartjes, die doen het geweldig). Maak eens wat statistieken van je verbinding.

idd, die realtek kaartjes hebben zowiezo een beroerde throughput, maar wat nog belangrijker is: ze belasten de processor!
Als je intel kaartjes koopt, die hebben een eigen cpu, zodat je eigen processor er niks last van heeft.
In deze soort setups zijn dingen als latency superbelangrijk, dan telt elke %

[blaataaps]

Verwijderd schreef op vrijdag 04 maart 2005 @ 16:03:
[...]


idd, die realtek kaartjes hebben zowiezo een beroerde throughput, maar wat nog belangrijker is: ze belasten de processor!

Ze belasten de processor wel, maar ze halen wel gewoon bijna de volle 100/10mbit hoor.

[H!GHGuY]

Verwijderd schreef op vrijdag 04 maart 2005 @ 15:33:
Je cpu zou snel genoeg moeten zijn, in jouw geval zou ik eerder naar traffic shaping gaan kijken dan naar wat anders. Weet je eigenlijk wel precies wat de anderen op de verbinding doen? Het is wel heel makkelijk om te denken dat de huisgenoten alleen maar een websiteje bezoeken maar misschien zit de pc vol met spyware of draaien er nog twee mensen stiekem eMule o.i.d. dan gaat je bandbreedte hard van je af natuurlijk.

Afhankelijk van je verbinding en het gebruik van je verbinding zal de bottleneck met jouw ruleset echt niet je software router zijn, lijkt me dat je dan ook even verder moet kijken dan naar het vervangen van je router (alhoewel ik Realtek kaartjes in een router wel enigszins bedroevend vindt, koop dan tweedehands een paar intel pro 100 kaartjes, die doen het geweldig). Maak eens wat statistieken van je verbinding.

wel op die server staat eMule 24/7 aan, en m'n andere huisgenoten downen wel eens wat, maar spyware etc zal je hier weinig vinden. dus wat dat betreft...

uitvoer van (uptime; ipfstat) > file

code:

 8:26PM  up 5 days,  5:48, 1 user, load averages: 0.08, 0.08, 0.08
bad packets:        in 0    out 0
 IPv6 packets:      in 343 out 353
 input packets:     blocked 31938 passed 5050196 nomatch 426 counted 0 short 0
output packets:     blocked 0 passed 5046011 nomatch 440 counted 0 short 0
 input packets logged:  blocked 31936 passed 57
output packets logged:  blocked 0 passed 0
 packets logged:    input 0 output 0
 log failures:      input 30058 output 0
fragment state(in): kept 0  lost 0  not fragmented 0
fragment state(out):    kept 0  lost 0  not fragmented 0
packet state(in):   kept 200328 lost 2
packet state(out):  kept 9286   lost 0
ICMP replies:   24816   TCP RSTs sent:  3052
Invalid source(in): 0
Result cache hits(in):  1940    (out):  434
IN Pullups succeeded:   0   failed: 0
OUT Pullups succeeded:  8   failed: 0
Fastroute successes:    27865   failures:   1
TCP cksum fails(in):    0   (out):  0
IPF Ticks:  905759
Packet log flags set: (0)
    none

die log failures is wel hoog, maar is dit niet gewoon omdat ipmon niet draait?
verder zie'k hier niet veel erge dingen in...

wat die realtek kaartjes betreft:
ik haalde vroeger van realtek <-hardware router-> realtek een lekkere 8-9Mbyte/sec
op deze PC heb'k nu een nForce 2 ethernet controller en dat over de oude hardware router naar een realtek kaartje haalde 9-10 MByte/s
een lekkere verbetering wel, maar ik denk niet dat die realtek kaartjes ook echt zwaar m'n verbinding onderuit helpen: m'n CPU load is amper 8% (als'k het goed begrijp tenminste) dus de verwerking van die pakketjes valt wel nog mee, niet?
daarenboven is de throughput wel goed genoeg, maar het aantal connecties/sec dat gelegd kan worden was nogal traag...

edit:
net nog even de test gedaan maar dan de belgische ipv de nederlands en nu kom ik toch aan een mooie 465connecties/minuut vreemd genoeg... dit zorgt er dus voor dat het probleem wel van de baan is wat mij betreft.

[ Voor 5% gewijzigd door H!GHGuY op 04-03-2005 20:41 ]

[pierre-oord]

Verwijderd schreef op donderdag 03 maart 2005 @ 18:54:
Zowiezo die Realtek junk kaartjes eruit schoppen, en er degelijke 3com of liefst Intel kaartjes insteken.

Ik heb in een nood-situatie nog wel eens iets van 6mbit (is niet veel maar wel continue) prioriteitsgevoelig verkeer geroute over een server met 2 realtek kaartjes. Geen enkel probleem. "t zijn software kaartjes ok, maar op een moderne PC merk je echt niet dat je CPU plots 20% met die netwerkkaart bezig is. Gewoon zorgen dat het systeem niet heel zwaar wordt belast, en er is niets aan de hand. Soms weet ik niet wat mensen tegen die kaartjes hebben, misschien hebben ze zelf een 3com kaartje en gaan ze dan die realteks afkraken omdat ze zo goedkoop zijn

[Verwijderd]

pierre-oord schreef op zaterdag 05 maart 2005 @ 19:19:
[...]


Ik heb in een nood-situatie nog wel eens iets van 6mbit (is niet veel maar wel continue) prioriteitsgevoelig verkeer geroute over een server met 2 realtek kaartjes. Geen enkel probleem. "t zijn software kaartjes ok, maar op een moderne PC merk je echt niet dat je CPU plots 20% met die netwerkkaart bezig is. Gewoon zorgen dat het systeem niet heel zwaar wordt belast, en er is niets aan de hand. Soms weet ik niet wat mensen tegen die kaartjes hebben, misschien hebben ze zelf een 3com kaartje en gaan ze dan die realteks afkraken omdat ze zo goedkoop zijn

Als je kijkt wat een 3com aan cpu belasting veroorzaakt, dat is ten hoogste een paar procent hier. Met die realteks haal ik de genoemde 20% ook geregeld