Traffic shaping linux

[jnr24]

Ik wil traffic gaan shapen voor een netwerk met 20 users. Ik heb al wat gelezen in oude posts maar aangezien dat allemaal van 2004 of ouder is gooi ik er toch nog even een post tegenaan.

Het gaat voornamelijk om het voorrang geven van ssh sessies, streaming media en het inperken van p2p verkeer.

Zijn er oplossingen die HTTP verkeer kunnen shapen op een manier zodat het normale browsen voorrang krijgt boven de meer dan 10MB (of langer dan zeg 30 seconde) HTTP connecties.

Een pakket dat ook (evt dmv web gui) nog wat inzage geeft in het gebruik van diverse hosts/protocollen zou helemaal uniek zijn,

[BoAC]

Heb je al gezocht??

http://www.knowplace.org/shaper/

_{Google is your friend}

[ Voor 51% gewijzigd door BoAC op 05-07-2005 10:51 ]

[bredend]

http://lartc.org/wondershaper/
Wonder Shaper

Heb ik al tijden tussen mijn bookmarks, alleen werk ik ook al tijden met windows

[jnr24]

bredend schreef op dinsdag 05 juli 2005 @ 11:17:
http://lartc.org/wondershaper/
Wonder Shaper

Ik had hem al voorbij zien komen, het is heel basic maar het lijkt toch aardig te werken.

Nu zit ik bv met de vraag: Hoe herken ik p2p verkeer? Aangezien al dat e-mule, kazaa en bittorrent op 'custom' poorten draait.

[Trax_Digitizer]

Ik ben ook ooit met traffic shaping bezig geweest. Er is een topic over op het Nedlinux forum:
http://forum.nedlinux.nl/...&postorder=asc&highlight=.
Je vind hier links die ik toen "gevonden" heb. Verder staat in mijn startpost hoe je pakketten met iptables kunt markeren. Dus bijvoorbeeld alleen pakketjes van emule oid....

[Parasietje]

http://forums.gentoo.org/...light-packet+shaping.html
Heel goede guide

Als je enkel HTTP verkeer wil shapen, zet dan een squid proxy server op. Die heeft bandwith limiting in de vorm van "buckets". Erg handig!

[eth0]

Ik gebruik deze http://sourceforge.net/projects/cbqinit

Werk ook prime, maar is gewoon een wrapper script net als de anderen.

[ny-hardcore]

Nooi uitgeprobeerd maar ziet er wel leuk uit :

http://rnvs.informatik.uni-leipzig.de/ipp2p/

p2p shaping

Quote van site:
The goal of the IPP2P project is to identify peer-to-peer (P2P) data in IP traffic. For this purpose we extended the iptables/netfilter architecture by a new matching module. Thereby IPP2P integrates itself easily into existing Linux firewalls and it's functionality can be used by adding appropriate filter rules.
IPP2P uses suitable search patterns to identify P2P traffic thus allowing the reliable identifcation of traffic belonging to many P2P networks. Once identified one may handle P2P traffic in different ways - dropping such traffic, putting into low priority classes or shaping to a given bandwidth limit is possible. Reducing costs, freeing network ressources and therefore improving network performance is often the result of using IPP2P.

[Hurricane]

Ze zijn bij Clarkconnect bezig met een nieuwe versie van hun firewall systeem. Ze zijn nu bezig me release candidate 3 dus binnenkort zal deze wel live gaan. In de nieuwe versie zit ook p2p shaping en natuurlijk nog veel meer. Check hun website voor meer info.

[Boudewijn]

mja lijkt me alleen dat de TS iets anders dan CC gebruikt.

Ik zit er zelf ook nog naar te zoeken. Maar ik zoek vooral een shaper die ook QoS ondersteunt.
Ben nml nu al een dagje aan het zoeken geweest naar iets dat op gentoo draait, op een sparc (!!!) en dan 3 categorieeen traffic aan kan:

1: VoIP en andere 'real-time' stromen
2: HTTP en dergelijke
3: P2p en andere rommel


Weet een van de mensen in dit topic dat toevallig ook ?

[ Voor 3% gewijzigd door Boudewijn op 08-07-2005 14:12 ]

[Parasietje]

wat is een 'TS' precies?

Ik configureerde alles altijd manueel, geen wrapper scripts. Dat is nog het handigst: dan begrijp je perfect hoe het werkt en kan je ook alles aanpassen.

[Boudewijn]

TS is topic-starter

uhh ja
en ga je dan als je je doos reboot weer even een uurtje commando's rossen?
ik doe het ook hanndmatig, maar gooi het zelf in een scriptje.

[Verwijderd]

Hurricane schreef op woensdag 06 juli 2005 @ 21:35:
Ze zijn bij Clarkconnect bezig met een nieuwe versie van hun firewall systeem. Ze zijn nu bezig me release candidate 3 dus binnenkort zal deze wel live gaan. In de nieuwe versie zit ook p2p shaping en natuurlijk nog veel meer. Check hun website voor meer info.

nog een stabiel upnp erbij enCC wordt leuk om te testen....;)

[Boudewijn]

nouja CC valt voor mij af omdat het veel te monolithisch is, en ik gewoon wat gekke specifieke smaakjes heb.

Verder is het natuurlijk wel leuk speelgoed, en dus een kwestie van smaak.

Zou zoiets trouwens lastig zelf te schrijven zijn? ( ben C programmeur, en heb even vacantie dus.... )

[eth0]

C programmeur alleen is niet genoeg, je moet ook wel aardig wat netwerk kennis hebben. Weten hoe TCP/IP werk de tcp stack inelkaar zit. etc....

[Boudewijn]

eth0 schreef op vrijdag 08 juli 2005 @ 19:58:
C programmeur alleen is niet genoeg, je moet ook wel aardig wat netwerk kennis hebben. Weten hoe TCP/IP werk de tcp stack inelkaar zit. etc....

3e jaars student informatica

en hey, nooit te oud om te leren.

Ik stel echter wel voor hier een beetje ontopic te blijven, anders krijgen we gedoe met een modje.

[Parasietje]

Als je gentoo gebruikt, gebruik dan het iptables script. Dat slaat bij het afsluiten al je iptables regels op in een bestandje. Bij het opstarten restored hij die weer. Je kan misschien zelf ook zo'n scriptje maken, of het afkijken van gentoo.

Is heel handig, omdat je naar hartelust iptables regels kunt veranderen zonder je hele script te moeten aanpassen. (het werkt helaas wel nog niet voor queueing disciplines, dat moet je nog steeds zelf doen)


Over dat pakket voor netwerkanalyse: gebruik ntop, dat is een super analyzer. Hij vreet wel CPU, dus ik zou het niet gebruiken op een server die ook nog wat anders te doen heeft (ie FTP verkeer). Maar het is geweldig gedetailleerd als analyzer. Voor iets ingewikkelder dingen zou ik ethereal gebruiken. Om traffic stats bij te houden gebruikte ik altijd ZorbIPTraffic, da's een pracht-pakket waar je meteen kan zien WIE van je gebruikers met alle bandbreedte is weggelopen. Hier bij ons thuis werd het regelmatig gebruikt om te kijken wie ervoor had gezorgd dat we ons download-limiet hadden overschreden.

[Verwijderd]

http://www.m0n0.ch/wall/ Kant en klaar met trafficshaper. Nog een voordeel: FreeBSD.
Booten vanaf CD, config kan je op floppy knallen. Ik gebruik m0n0wall al 1.5jaar werkt echt vet.

[ Voor 71% gewijzigd door Verwijderd op 10-07-2005 13:38 ]

[Verwijderd]

Verwijderd schreef op zondag 10 juli 2005 @ 13:34:
http://www.m0n0.ch/wall/

draai ik hier ook o.a. voor de traffic shaper ( deel internet met de buren )

[Verwijderd]

Ik probeer traffic shaping op een freebsd 6.0 doos met mldonkey 2.7. Ik gebruik de mldonkey client alleen voor gebruik van het edonkey netwerk. Uitgaande dat ik de standaard poorten gebruik moet ik dus port 4662 en 4761 shapen. Mijn upload is 1Mbps chello.

De FB doos is ook een nat router, de uitgaande (met internet verbonden) interface is fxp0. Op http://www.bsdnews.org/02/dummynet.php las ik h.e.e.a over traffic shaping met dummynet. Ik dacht aan het volgende configuratiescript:

ipfw pipe 1 config bw 1000kbits/s
ipfw queue 1 config pipe 1 weight 10
ipfw add queue 1 tcp from 0.0.0.0 4662 to any out
ipfw add queue 1 udp from 0.0.0.0 4671 to any out

Heb ik het zo goed begrepen? Met welke prioriteit wordt het andere verkeer nu geregeld? Wat gebeurt er nu met ack pakketten die worden verstuurd door mldonkey? Kan ik ack pakketen een hogere prioriteit geven dan andere pakketen? Is er een verschil tussen pakketen op een bepaalde plaats in de queue plaatsen en poorten op een bepaalde prioriteit geven?

tnx (ik ben dus een newbie met fbsd en ts)

[Michael]

Beste is (naar mijn mening) om PF te gebruiken op bsd. Een hele duidelijke howto staat op http://www.bgnett.no/~peter/pf/en/ waarbij je voor traffic shaping even de ALTQ hoofdstukken moet doorlezen.

PF is echt veruit de krachtigste packetfilter/firewall op dit moment.

ack prio: http://www.benzedrine.cx/ackpri.html

[ Voor 9% gewijzigd door Michael op 14-12-2005 20:48 . Reden: ack prio ]

[Verwijderd]

Tnx voor de tip. kernel: GENERIC +

code:

device pf
device pflog
device pfsync

options         ALTQ
options         ALTQ_CBQ        # Class Bases Queuing (CBQ)
options         ALTQ_RED        # Random Early Detection (RED)
options         ALTQ_RIO        # RED In/Out
options         ALTQ_HFSC       # Hierarchical Packet Scheduler (HFSC)
options         ALTQ_PRIQ       # Priority Queuing (PRIQ)
options         ALTQ_NOPCC      # Required for SMP build

/etc/pf.conf:

code:

ext_if = "fxp0" # macro for external interface - use tun0 for PPPoE
int_if = "rl0"  # macro for internal interface

# queue ranking

altq on $ext_if priq bandwidth 50Kb queue { q_pri, q_def }
queue q_pri priority 7
queue q_def priority 1 priq(default)

# translation
nat on $ext_if from $int_if:network to any -> ($ext_if)

# filtering
pass out on $ext_if proto tcp from $ext_if to any flags S/SA \
        keep state queue (q_def, q_pri)

pass in  on $ext_if proto tcp from any to $ext_if flags S/SA \
        keep state queue (q_def, q_pri)

# ext_if IP address could be dynamic, hence ($ext_if)
pass from { lo0, $int_if:network } to any keep state
pass in inet proto tcp from any to any port ssh

Met pfctl -f /etc/pf.conf de config file geladen, hierbij geen foutmeldingen. NAT doet het zowieso, wat ik ook in de config zet.
pf staat aan en doet de job (mldonkey kappen op 50kb) maar ik kan nu niet zo snel meer surfen. Ping met mldonkey 400ms, zonder 10ms. internet=upc=128Kb up.

[ Voor 24% gewijzigd door Verwijderd op 18-12-2005 00:12 ]

[Verwijderd]

niemand..

[MrBarBarian]

Michael schreef op woensdag 14 december 2005 @ 20:47:
Beste is (naar mijn mening) om PF te gebruiken op bsd. Een hele duidelijke howto staat op http://www.bgnett.no/~peter/pf/en/ waarbij je voor traffic shaping even de ALTQ hoofdstukken moet doorlezen.

PF is echt veruit de krachtigste packetfilter/firewall op dit moment.

ack prio: http://www.benzedrine.cx/ackpri.html

www.pfsense.com

[Verwijderd]

Dat is een fb6.0 os based firewall. Niet wat ik zoek dus.

[M@rijn]

Is er geen mogelijkheid om te shapen op alle poorten behalve poort 80??

[Arnout]

M@rijn schreef op zondag 18 december 2005 @ 22:19:
Is er geen mogelijkheid om te shapen op alle poorten behalve poort 80??

Die is er wel.
iptables markering + traffic shaping.

[Michael]

Verwijderd schreef op donderdag 15 december 2005 @ 23:05:

Met pfctl -f /etc/pf.conf de config file geladen, hierbij geen foutmeldingen. NAT doet het zowieso, wat ik ook in de config zet.
pf staat aan en doet de job (mldonkey kappen op 50kb) maar ik kan nu niet zo snel meer surfen. Ping met mldonkey 400ms, zonder 10ms. internet=upc=128Kb up.

Je firewall rules kloppen dan ook niet

Wat je moet doen is de maximale te halen bandwidth via altq aangeven op je interface, dus geen 50kb. Bv, je max download snelheid is 6mbit (zonder overhead dus)

altq on $ext_if cbq bandwidth 6Mb queue { q_def, q_donkey }
queue q_donkey bandwidth 50Kb cbq(red)
queue q_def bandwidth 5Mb cbq(default, borrow)

(zo even uit me hoofd, moet je de link die ik eerder gaf even goed doorlezen)

[Verwijderd]

Michael schreef op maandag 19 december 2005 @ 12:59:
[...]


Je firewall rules kloppen dan ook niet

Wat je moet doen is de maximale te halen bandwidth via altq aangeven op je interface, dus geen 50kb. Bv, je max download snelheid is 6mbit (zonder overhead dus)

altq on $ext_if cbq bandwidth 6Mb queue { q_def, q_donkey }
queue q_donkey bandwidth 50Kb cbq(red)
queue q_def bandwidth 5Mb cbq(default, borrow)

(zo even uit me hoofd, moet je de link die ik eerder gaf even goed doorlezen)

Hiermee specificeer je twee queues waarmee je uiteindelijk met een pipe je donkey kunt limiteren tot 50 kb, en de rest op 5Mb. Gevolg is dat je de upload van donkey moet gaan beperken tot 40kb omdat anders de ack's niet meer verstuurd kunnen worden.
Wat ik wil is dat de ack's voorrang krijgen op de rest van het verkeer, verder niets.

[Verwijderd]

zo veel mensen zweren bij traffic shaping, doch blijft dit topique o zo rustig

[BoAC]

Dat komt doordat et o zo eenvoudig is.
* BoAC heeft in 1 avond zijn zwaar gebruikers @home gecapped op 200 KB van de totale 900 KB

Trouwens dat was zonder iptables mark omdat die niet meer ondersteund werd

[Michael]

Verwijderd schreef op dinsdag 03 januari 2006 @ 23:52:
zo veel mensen zweren bij traffic shaping, doch blijft dit topique o zo rustig

Sorry, maar als je bedoelt dat je www traffic nog steeds gecapped is op 50kb/s, dan moet je de mijn vorige reactie en de manuals maar eens gaan lezen.

Je geeft duidelijk in de door jou gepost rules aan dat de bandwidth van je externe interface 50Kb is, dus dan kan het moeilijk sneller gaan

[Verwijderd]

Michael schreef op woensdag 04 januari 2006 @ 13:27:
[...]


Sorry, maar als je bedoelt dat je www traffic nog steeds gecapped is op 50kb/s, dan moet je de mijn vorige reactie en de manuals maar eens gaan lezen.

Je geeft duidelijk in de door jou gepost rules aan dat de bandwidth van je externe interface 50Kb is, dus dan kan het moeilijk sneller gaan

Huh waar heb je het over?