Hoe youtube blokkeren middels PFsense

[[Roland]]

Setting is alsvolgt.

Een school in een derde wereld land 9000 studenten, leeftijd begin 20. Smartphones worden hier ook steeds populairder en er is wifi, Een klein maar aanzienlijk deel van de studenten hier heeft een smartphone of laptop. Daarnaast een 300 tal computers voor staff en lesuren.

De internet verbinding is 4mbit. Kosten hiervoor zijn 700 euro per maand (drie leraar maand salarissen), Deze wordt binnenkort geupgrade naar 8mbit maar met soms 200 gebruikers tegelijk online is dat natuurlijk nog steeds niet veel. Veel stroomstoringen (meermaals dagelijks) dus er gaat veel kapot, ook is de kennis hier niet erg goed. Daarom is een domein met computers is daarom lastig. Eigenlijk is elke computer stand alone en er is dus weinig controle. Er wordt helaas met windows gewerkt, geld voor licenties is er niet dus zoals in heel afrika wordt met gekraakte versies van windows gewerkt. Virussen kun je dus vinden op alle computers.

Allemaal zaken die we hier gaan verbeteren, maar ik ben eerst begonnen met internet. Ook in mijn eigen belang.

Ik ben met smoothwall gaan monitoren en youtube is de grootste veroorzaker van het trage internet, dus besloten om deze te blokkeren. In ieder geval tijdens schooltijden. Internet kan dan gebruikt worden voor studeren. Wat er 's avonds gedaan wordt boeit minder (gedeeltelijk boarding school).

Vanwege het verzoek om alleen tijdens bepaalde uren te blokkeren gekozen voor PFsense, deze heeft een scheduler waarmee je firewall regels tijdens bepaalde uren aan/uit kunt zetten. Sowieso lijkt PFsense de meeste opties te hebben.

Tot zover gedaan en uitgezocht.

Proxy zoveel mogelijk afgedwongen middels wpad en transparante proxy, proxy filter om verkeer te filteren (helaas zonder de mogelijk youtube te filteren).
PF sense heeft de mogelijkheid urls te blokkeren, je geeft een lijst op en PFsense haalt elke 5 minuten de bijbehorende IP adressen op en blokt deze.

Dit werkt niet goed, Youtube gebruikt zoveel IP adressen en verschillende urls dat met een aantal keer f5-en youtube wel laad. Ik had een lijst met youtube IP adressen gevonden op internet maar Google lijkt zijn best te doen youtube overal te laten werken en met deze lijst doen heel veel Google diensten het niet, er lijkt geen specifiek subnet enkel voor youtube/googlevideo te zijn.

Om te testen laat ik nu de DNS van PFsense de domeinen youtube.com en googlevideo.com afhandelen. Er zijn geen hosts gedefinieerd dus in theorie onbereikbaar. Vanaf mijn pc en telefoon werkt youtube ook echt niet meer.

Echter zie ik in de proxy log nog veel verkeer naar *.googlevideo.com, allemaal url's die in de block lijst van PFsense staan. Daar begrijp ik niks van, al zou het IP adres nog niet bekend zijn in de firewall regels dan nog zou het IP adres niet bekend mogen zijn. Ik ben ook bang dat ik niet alles zie omdat standaard op android wpad niet werkt en https verkeer dus niet altijd geproxied wordt.

Met google kom ik de vraag hoe youtube blokkeren wel tegen, maar er lijkt geen echt antwoord te zijn. Misschien bij tweakers meer geluk :-)

Mijn vraag:Iemand enig idee hoe youtube (liefst middels firewall rules) te blokkeren.

[Cave_Boy]

Heb je deze video gevonden en gevolgd? Je kan het volgens mij daarmee wel blokkeren. Zo lijkt het.
YouTube: pfSense WEB FILTERING & Block Downloads | How-to/Guide/Tutorial

Video link vergeten...

Edit 2: Misschien leuk om hier een apart topic van te maken of een blog? Klinkt als leuke uitdaging?

[ Voor 61% gewijzigd door Cave_Boy op 06-05-2015 08:15 ]

[Borromini]

Deze lijst is misschien al een begin:

http://networktools.nl/asinfo/youtube.com

Is het geen idee om youtube gewoon in je /etc/hosts te redirecten? Is niet elegant maar wel heel doeltreffend lijkt me.

[Daniel.]

Borromini schreef op woensdag 06 mei 2015 @ 08:20:
Deze lijst is misschien al een begin:

http://networktools.nl/asinfo/youtube.com

Is het geen idee om youtube gewoon in je /etc/hosts te redirecten? Is niet elegant maar wel heel doeltreffend lijkt me.

Dat redirecten wat je voorstelt wilde ik zonet ook doen. Laat hem dan redirecten naar een aparte pagina waarop wordt aangegeven tot wanneer de site weer bereikbaar is.

[[Roland]]

Borromini schreef op woensdag 06 mei 2015 @ 08:20:
Deze lijst is misschien al een begin:

http://networktools.nl/asinfo/youtube.com

Is het geen idee om youtube gewoon in je /etc/hosts te redirecten? Is niet elegant maar wel heel doeltreffend lijkt me.

Dat laatste had ik gedaan, maar dat werkte dus niet. Maar ik had net een helder moment en heb DNS verkeer naar buiten geblokt. Firewall logs werden direct rood dus ik denk dat ook heel vaak DHCP niet aan staat.

Je link doet het hier niet, wij delen ons publieke IP volgens mij met half Ethiopie en dat IP is blackilsted door Spamhaus. Maar ik denk dat dit de IP adressen zijn die PFsense elke 5 minuten ophaalt.

Over de video, waarschijnlijk niet. Tweakers laden duurt hier al 30 seconden, laat staan een film bekijken (daarbij heb ik een hekel aan video's kijken, lezen gaat veel sneller).

edit:
Ik wil eerst weten of het blokeren lukt, daarna ga ik wel kijken of redirecten werkt. Geen idee hoe youtube apps werken. Kunnen die een webpagina weergeven?

[ Voor 8% gewijzigd door [Roland] op 06-05-2015 08:30 ]

[Meauses]

Misschien een idee om gebruik te gaan maken van een proxy op PFSense? Daarmee kun je veelbezochte websites cachen (scheelt je bandbreedte/data) en kun je URL's veel simpeler blokkeren.

[[Roland]]

Meauses schreef op woensdag 06 mei 2015 @ 08:31:
Misschien een idee om gebruik te gaan maken van een proxy op PFSense? Daarmee kun je veelbezochte websites cachen (scheelt je bandbreedte/data) en kun je URL's veel simpeler blokkeren.

Ja, dat heb ik ook gedaan (staat in het verhaal), echter werkt dit niet voor devices (android bijv.) die geen wpad ondersteunen. https (wat youtube is) verkeer valt niet transparant te proxyen. Al het http verkeer en en https verkeer vanuit windows wordt geproxied.

[Dacuuu]

Buiten je vraag om, dit is een mooi topic om te lezen, 4 mbit..700 euro, wow! Echt zo anders als hier in de westerse wereld.

[ivan797]

Kan je niet een dns rule aanmaken waar je youtube.com omzet naar een
ip van een eigen website waar je dan weer kunt aangeven dat youtube niet beschikbaar is
ik ben niet bekend met pfsence maar bij palo alto werkt dit iig.
deze rule kan je dan weer koppelen aan een tijd gebonden profiel

[Meauses]

Altijd_Lastig schreef op woensdag 06 mei 2015 @ 08:41:
[...]

Ja, dat heb ik ook gedaan (staat in het verhaal), echter werkt dit niet voor devices (android bijv.) die geen wpad ondersteunen. https (wat youtube is) verkeer valt niet transparant te proxyen. Al het http verkeer en en https verkeer vanuit windows wordt geproxied.

whoops, sorry, overheen gelezen. Lastig verhaal inderdaad met die mobile devices.

En maak je gebruik van een eigen DNS server of krijgen de clients die van de ISP? Of fungeert de PFSense bak als forwarder?
Ik denk dat je inderdaad vastzit aan DNS filtering en dan dus een eigen DNS moet gaan draaien waarbij je youtube.com verwijst naar iets anders.

[Paul C]

Altijd_Lastig schreef op woensdag 06 mei 2015 @ 08:07:Om te testen laat ik nu de DNS van PFsense de domeinen youtube.com en googlevideo.com afhandelen. Er zijn geen hosts gedefinieerd dus in theorie onbereikbaar. Vanaf mijn pc en telefoon werkt youtube ook echt niet meer.

Echter zie ik in de proxy log nog veel verkeer naar *.googlevideo.com, allemaal url's die in de block lijst van PFsense staan. Daar begrijp ik niks van, al zou het IP adres nog niet bekend zijn in de firewall regels dan nog zou het IP adres niet bekend mogen zijn. Ik ben ook bang dat ik niet alles zie omdat standaard op android wpad niet werkt en https verkeer dus niet altijd geproxied wordt.

Met google kom ik de vraag hoe youtube blokkeren wel tegen, maar er lijkt geen echt antwoord te zijn. Misschien bij tweakers meer geluk :-)

Mijn vraag:Iemand enig idee hoe youtube (liefst middels firewall rules) te blokkeren.

Komt dat verkeer wat je alsnog ziet niet gewoon door de locale caches op de devices? Dus gewoon een kwestie van tijd tot dat minder wordt?

Hoe is de IT kennis van de studenten? Er hoeft er maar 1 te zijn die slim genoeg is om zelf een DNS in te stellen (op zijn telefoon of op een stand-alone pc).

[Croga]

Paul C schreef op woensdag 06 mei 2015 @ 09:25:
Hoe is de IT kennis van de studenten? Er hoeft er maar 1 te zijn die slim genoeg is om zelf een DNS in te stellen (op zijn telefoon of op een stand-alone pc).

Dat is een kwestie van DNS verkeer naar buiten blokkeren voor iedereen behalve je eigen DNS server....

[Ximon]

Misschien kan Packetfence met Snort hier bij helpen. Dat is niet 123 in het netwerk geïntegreerd, maar als je dat voor elkaar hebt kan je ook makkelijk bijvoorbeeld Bittorrent, wat niet goed op domeinnaam te blokkeren is, aanpakken. Virussen detecteren via netwerkverkeer behoort dan ook tot de mogelijkheden.

[[Roland]]

PFsense bak is forwarder, en alle DNS naar buiten is nu geblokt. Zal morgen de logs eens bekijken.

Snort is misschien wel leuk, ook als PFsense package te krijgen, ga ik even proberen in een VM.

[Paul C]

Croga schreef op woensdag 06 mei 2015 @ 09:34:
[...]

Dat is een kwestie van DNS verkeer naar buiten blokkeren voor iedereen behalve je eigen DNS server....

En vervolgens zet met Youtube handmatig in de Hosts file of installeert men een DNS server op een van de lokale machines.

https://www.google.nl/search?q=youtube+IP+address

Ik zou dat (als ik terug denk aan mezelf op de middelbare school) binnen 5min bedacht hebben. Maar misschien loopt dat in Afrika minder hard. Als je 99% van het Youtube verkeer blokkeert is het doel waarschijnlijk ook bereikt.

[[Roland]]

PFsense bak is forwarder, en alle DNS naar buiten is nu geblokt. Zal morgen de logs eens bekijken.

Snort is misschien wel leuk, ook als PFsense package te krijgen, ga ik even proberen in een VM.

@Paul C.

Gelukkig loop dat in Afrika minder hard (sterker, als hier iemand rondloopt die het kan, dan laat ik hem direct aannemen :-) ). Daarbij, Ip adressen van youtube veranderen continue (ik denk express), zal altijd maar tijdelijk werken.

[Xanquezer]

Hoi,

Wij als organisatie hebben een huidige locatie met 12mbit en 1,5 mbit (down/up).
Daarop zitten 90 mensen te internetten.

Als zijnde firewall gebruiken we ook PFsense, deze deelt ook ip adressen uit.
Onze Pfsense bak heeft meerdere add ons (pakage) geinstalleerd met o.a.:
- DansGardian
- Sqiud gaurd
- Squid gaurd control

Youtube is op alle fronten geblocked.
Soms willen ze nog een proxy gebruiken, maar zonder succes...

Ook omdat het internet erg traag is, hebben we er ook meteen een buffer van gemaakt.
500 gb kan er aan internet verkeer opgeslagen worden.
Alles onder de 128 mb groot wordt eerst en stantie in het werk geheugen opgeslagen (32gb aanwezig)
Als je een speedtest doet (ziggo.nl/speedtest) krijg je eerst de snelheid van buiten, bij de 2de keer haalt hij het bestand op uit zn hdd, deze is dan (bijna) 1000 Mbit omdat dat bestand is opgeslagen in de PFsense bak.

Wordt nog even hobbyen Altijd_Lastig

[sir_huxley]

Indien je kiest voor opendns.com en er tevens voor zorgt dat poort 53 geblokkeerd wordt voor alle andere dns servers ben je volgens mij het snelste klaar. De standaard versie is gratis. Dit voorkomt overigens niet dat er naar buiten ge-vpn-ed kan worden en dan gebruik wordt gemaakt van een alternatieve dns. (of ze zelf een open proxy instellen)

zie
https://www.opendns.com/h...al-controls/opendns-home/

[ Voor 11% gewijzigd door sir_huxley op 06-05-2015 11:17 ]

[Paul]

[Roland] schreef op woensdag 06 mei 2015 @ 09:54:
PFsense bak is forwarder, en alle DNS naar buiten is nu geblokt. Zal morgen de logs eens bekijken.

Nu werkt DNS van mensen die zelf een server opgeven niet meer.

Aan de ene kant niet heel erg (terug op DHCP zetten of het goede IP invullen en men kan verder) maar je kunt overwegen een NAT-regel aan de maken op LAN naar *:53 -> 127.0.0.1:53 (of LAN-IP:53) zodat het voor die mensen toch werkt

[[Roland]]

Paul schreef op woensdag 06 mei 2015 @ 11:32:
[...]
Nu werkt DNS van mensen die zelf een server opgeven niet meer.

Aan de ene kant niet heel erg (terug op DHCP zetten of het goede IP invullen en men kan verder) maar je kunt overwegen een NAT-regel aan de maken op LAN naar *:53 -> 127.0.0.1:53 (of LAN-IP:53) zodat het voor die mensen toch werkt

Nickchange, maar ik ben de TS :-)

Dit is wel een mooie tip, ga ik ook even testen.

Overigens ook een redirect gemaakt. Werkt leuk voor http. Als mensen zelf YouTube: YouTube intikken niet.

@Xanquezer. Dansguardian gebruik ik niet, wel mee getest maar is een erg oude versie die het net goed doet op pfsense 2.2 met squid3 Ze zijn bezig met een nieuwe versie. Squidguard (en dan gebruik Shalla's Blacklists) lijkt niet te kunnen filteren op video websites. Dat hebben jullie met danguardian gedaan?

[Xanquezer]

Hoi,

Lees dit stukje even rustig door:
https://doc.pfsense.org/index.php/Blocking_websites
En nog wat leesvoer:
https://doc.pfsense.org/index.php/SquidGuard_package
En anders ff googlen (staan wat filmpjes bij)
https://www.google.nl/web...utube%20blocken%20pfsense

Dans Guardian is ongeveer het zelfde als proxy filter (squid 3.0) alleen inderdaad wat ouder en wat uitgebreider.
De ACL`s kan je makkelijk aanpassen naar gewenste smaak (bijvoorbeeld youtube toevoegen)

Youtube kan je niet op poort of IP adress blokkeren omdat youtube verschrikkelijk veel ip adressen heeft.

Wat ook eventueel een suggestie is, is pakketten boven de XX aantal megabyte blokkeren. (sqiud, high perf. webcache)

gr

[ Voor 17% gewijzigd door Xanquezer op 06-05-2015 15:53 ]

[de echte flush]

sir_huxley schreef op woensdag 06 mei 2015 @ 10:57:
Indien je kiest voor opendns.com en er tevens voor zorgt dat poort 53 geblokkeerd wordt voor alle andere dns servers ben je volgens mij het snelste klaar. De standaard versie is gratis. Dit voorkomt overigens niet dat er naar buiten ge-vpn-ed kan worden en dan gebruik wordt gemaakt van een alternatieve dns. (of ze zelf een open proxy instellen)

zie
https://www.opendns.com/h...al-controls/opendns-home/

Heel simpele oplossing maar toch redelijk effectief, heb deze zelf ooit gebruikt (ook wegens trage lijn).
firewall (ook dhcp) geeft volgende DNS servers mee:
208.67.222.222
8.8.8.8

firewall rule die op de dal uren dns 8.8.8.8 naar buiten toelaat, en 208.67... blokkeert (nu was youtube, etc beschikbaar).

op de piekuren is enkel 208.67.222.222 toegelaten (block rule alle andere DNS/p53) --> youtube etc. niet meer beschikbaar.

Hadden wel een dynamisch ip, dus had het opendns-auto update tooltje draaien.


Je hebt hier inderdaad wel een mooie uitdaging, succes!

[Verwijderd]

Ha.... 4 Mbps voor 700 euro...

In de Oekraïne zaten wij in een kantoor waarbij de eigenaar / verhuurder op de inkomende analoge telefoonlijnen (een stuk of 50), de ADLS splitter expres andersom had aangesloten, zodat het ADSL signaal van de telco er niet door kwam. De analoge telefoon ging er wel doorheen, dus je kon wel gewoon bellen.
En ik had dus GEEN toegang tot die ruimte.

Oplossing: Bij hem voor 1000$ per maand een 8 Mbit lijn nemen (terwijl de telco 30$ per maand vraagt !!!)

Onze oplossing: Voor 120$ per maand een 4 Mbit WiMax symmetrische verbinding nemen. Is nog steeds veel geld, maar een stukken beter dan die 1000$ / maand. Wij hadden later zelfs deze geupgraded naar 8 Mbps, en de maandelijkse kosten gingen naar 210$ per maand. Nog steeds dus een factor 5 t.o.v. de eigenaar.

En hij een maand of twee later vragen hoe wij online waren met 18 man..... Ha....ha... ik lach me rot...

[Ximon]

Geen ervaring mee en net snel even doorgelezen, maar misschien kan je met Squid SSL Peek and Splice het HTTPS probleem onder controle krijgen? Het werkt ongeveer zo:

• Een SSL connectie landt op de proxy (HTTP CONNECT)
• Squid inspecteert de gegevens in SSL Client Hello en stuurt zelf een vergelijkbaar verzoek naar de te proxyen webserver
• Squid inspecteert de gegevens in SSL Server Hello

Aan elk van deze stappen kan je acties hangen. Bijvoorbeeld: stel dat je Youtube detecteert aan de hand van de SSL Server Hello, dan kan je dit blokkeren. Ander (gewenst) HTTPS verkeer kan worden doorgelaten.

Trouwens: Youtube lijkt me erg nuttig voor een school maar ik snap ook dat het met een 8 Mbps lijn en 200 concurrent users gewoon niet werkt. Heb je al eens geprobeerd jouw vraagstuk bij Google neer te leggen? Dit lijkt me een projectje (idealistisch, schijnbaar onmogelijk) waar ze misschien graag bij helpen.

[[Roland]]

Dank voor alle tips. Gisteren de hele dag geen internet dus ik kan vandaag pas monitoren. Het lijkt te werken, youtube is niet mogelijk en internet werkt een stuk beter :-)

Deze tip:

de echte flush schreef op woensdag 06 mei 2015 @ 19:56:
[...]


Heel simpele oplossing maar toch redelijk effectief, heb deze zelf ooit gebruikt (ook wegens trage lijn).
firewall (ook dhcp) geeft volgende DNS servers mee:
208.67.222.222
8.8.8.8

firewall rule die op de dal uren dns 8.8.8.8 naar buiten toelaat, en 208.67... blokkeert (nu was youtube, etc beschikbaar).

op de piekuren is enkel 208.67.222.222 toegelaten (block rule alle andere DNS/p53) --> youtube etc. niet meer beschikbaar.

Hadden wel een dynamisch ip, dus had het opendns-auto update tooltje draaien.


Je hebt hier inderdaad wel een mooie uitdaging, succes!

Vind ik wel heel mooi om tijdgebonden te kunnen blocken. Ga ik mee bezig. Zodra er een versie van dansguardian voor squid3 is ga ik die waarschijnlijk gebruiken ip squidguard.

[[Roland]]

Cave_Boy schreef op woensdag 06 mei 2015 @ 08:13:


Edit 2: Misschien leuk om hier een apart topic van te maken of een blog? Klinkt als leuke uitdaging?

En done:

Africa: Ethiopie

:-)

[Ximon]

Cool, thanks!

[Olaf van der Spek]

Xanquezer schreef op woensdag 06 mei 2015 @ 10:20:
Ook omdat het internet erg traag is, hebben we er ook meteen een buffer van gemaakt.
500 gb kan er aan internet verkeer opgeslagen worden.
Alles onder de 128 mb groot wordt eerst en stantie in het werk geheugen opgeslagen (32gb aanwezig)
Als je een speedtest doet (ziggo.nl/speedtest) krijg je eerst de snelheid van buiten, bij de 2de keer haalt hij het bestand op uit zn hdd, deze is dan (bijna) 1000 Mbit omdat dat bestand is opgeslagen in de PFsense bak.

Negeer je dan dus eigenlijk cache-control headers?

[Olaf van der Spek]

[Roland] schreef op woensdag 06 mei 2015 @ 08:07:
Ik ben met smoothwall gaan monitoren en youtube is de grootste veroorzaker van het trage internet, dus besloten om deze te blokkeren.

Is het niet handiger iets met fair queueing te doen? Youtube blokkeren is meer symptoombestrijding

Wat je eigenlijk wilt is dat iedereen een eerlijk deel van de beschikbare bandbreedte krijgt, toch?

[AW_Bos]

Olaf van der Spek schreef op vrijdag 15 mei 2015 @ 15:54:
[...]

Is het niet handiger iets met fair queueing te doen? Youtube blokkeren is meer symptoombestrijding

Wat je eigenlijk wilt is dat iedereen een eerlijk deel van de beschikbare bandbreedte krijgt, toch?

Ook voor de bandbreedtte die er door de provider toegewezen is, en het grote aantal PC's denk ik ook dat het verdelen van de bandbreedtte niet ten goede komt. Ik zou er zelf niet aan beginnen, tenzij je een grotere internetpijp hebt .

[Xanquezer]

Olaf van der Spek schreef op vrijdag 15 mei 2015 @ 15:51:
[...]

Negeer je dan dus eigenlijk cache-control headers?

Ja, correct.
En dat systeem waar pfsense op draait is flink over de zeik soms... En t internet blijft snel en stabiel.