Squid en streams

[Verwijderd]

Hoi! Ik ben nu een aantal weken bezig met squid als proxy server en het bevalt me goed.

Nu wil ik niet dat als vrienden en familie ook van mijn proxy gebruik gaan maken en veel video streams open gaan zetten dat ik ineens voor heel veel extra bandbreedte moet gaan betalen.

Dus vraag ik me al een tijdje af: is het mogelijk om alleen tekst bestanden via mijn proxy server te laten lopen en zip of rar (het liefst ook video streams) bestanden direct laten lopen (dus niet via de proxy)..?

[Z!oN]

Dit zou je bij je vrienden kunnen oplossen door middel van een automatisch proxy configuratie bestand.

Dit bestand is opgebouwd uit standaard javascript, waardoor je door middel van de standaard text functies van javascript onderscheid kan maken tussen de verschillende bestands typen. Je zou bepaalde bestanden direct kunnen aangeven en de rest door de proxy, of vice-versa waarbij je aan geeft dat alles met .php, .html en .php3 door de proxy moeten.

als je in google zoekt naar proxy.pac kom je legio voorbeelden tegen.

[Verwijderd]

Hmm ik heb nu het een en ander gelezen over de PAC bestanden. Klinkt erg intressant.

Ik zal binnenkort even alles goed doornemen en kijken wat de mogelijkheden zijn.

[Verwijderd]

Ik ben meer gaan lezen en heb gezocht naar het prependen van een text of HTML bestand. Maar ik kan dat niet echt vinden... Dus dat ik bijvoorbeeld een javascript toevoeg aan een HTML pagina zodat ik kan zien welke sites welke bezoeker bezoekt..

Ik weet dat het met een microsoft proxy wel mogelijk is. Dan zou het via squid ook mogelijk moeten zijn lijkt me.

[Equator]

Tja, een dergelijk thuisservertje hoort niet in PNS. Dit is meer voer voor Windows Servers en Server-software

[Verwijderd]

Hoi,

ik ben erachter gekomen dat de .pac bestanden eigenlijk gewoon java scripts zijn.

Ik ben opzoek hoe ik de MimeType functie van Javascript in het .pac bestand kan toepassen zodat alleen de text/html mimetypes via de proxy gaan en de rest "DIRECT"

Ik heb zelf deze pagina gevonden: http://lists.evolt.org/ar...-Mon-20020325/108137.html en goed bekeken alleen is dat niet echt iets wat ik zoek. Ik wil namelijk dat de streams direct gaan en niet via de proxy.

Ik hoop dat iemand de mogelijkheid weet, of mij een zetje in de goede richting kan geven

[Spider.007]

Dat je twee vragen door elkaar gooit in 1 topic is niet zo heel erg handig; misschien dat je dat in het vervolg achterwege kan laten.

Verwijderd schreef op zondag 09 november 2008 @ 23:20:
Ik ben meer gaan lezen en heb gezocht naar het prependen van een text of HTML bestand. Maar ik kan dat niet echt vinden... Dus dat ik bijvoorbeeld een javascript toevoeg aan een HTML pagina zodat ik kan zien welke sites welke bezoeker bezoekt..

Ik weet dat het met een microsoft proxy wel mogelijk is. Dan zou het via squid ook mogelijk moeten zijn lijkt me.

Doe je niet erg moeilijk nu? Waarom zou je de content aanpassen als je squid ook meteen zelf kan laten loggen? Deze logs kun je vervolgens weer uitlezen; zie bijvoorbeeld http://netmirror.org/mirror/squid-www/Scripts/

Verwijderd schreef op donderdag 13 november 2008 @ 22:23:
Hoi,

ik ben erachter gekomen dat de .pac bestanden eigenlijk gewoon java scripts zijn.

Ik ben opzoek hoe ik de MimeType functie van Javascript in het .pac bestand kan toepassen zodat alleen de text/html mimetypes via de proxy gaan en de rest "DIRECT"

[...]

Dat kan uiteraard niet; je kan niet de content ophalen, de mime-type bepalen en dan besluiten om de request (die je al gedaan hebt) wel of niet via de proxy laten lopen. Het verschil tussen HTML en rest is dan ook niet zo heel makkelijk te maken; je zou kunnen beginnen met een eenvoudige lijst van extensies aan te leggen die DIRECT moeten; zoals *.zip, *.jpg enzovoorts.

[Verwijderd]

Hmm

ik heb dit gebrouwen:

function FindProxyForURL(url, host) {
String incomingMediaType = request.getEntity().getMediaType().getName();
if (incomingMediaType.equals("text/html")) {
return "PROXY mijnproxyserverip.com:8080; DIRECT";
}
}

Maar jij zegt dus dat dit niet zal gaan werken...


[edit]

Is het trouwens niet makkelijker om gewoon een aantal extenties te accepteren ipv een hele lijst te gaan blokkeren?

Maar dan zit ik zelf aan de nieuwe SEO urls te denken, worden die dan nog wel correct afgehandeld?
bv: http://gathering.tweakers...pdate_message/31048761/0/

[ Voor 33% gewijzigd door Verwijderd op 14-11-2008 09:27 ]

[Spider.007]

Tja, tenzij jij iets weet wat ik niet weet, maar volgens mij is request bijvoorbeeld al undefined in je stukje code De theorie die ik je voorleg geeft toch al aan dat het onmogelijk is om het aan de hand van het content-type te switchen?

En nee, met extensiechecking worden SEO urls niet herkend; vandaar dat een blacklist voor de proxy beter zal werken dan een whitelist

[ Voor 22% gewijzigd door Spider.007 op 14-11-2008 09:49 ]

[Verwijderd]

hmm wat ik tot zover weet is dat de .pac file bestaat uit stukken javascript. De browser kan voordat je een bestand download de content-type bepalen (krijgt die terug in de header van de server).

Verder kan je ook een curl -I doen op een bestand en vervolgens de content type uitlezen. Maar dit zijn helaas allemaal voorbeelden van niet-javascript oplossingen.

Dus de mogelijkheid zou er wel degelijk moeten zijn..

[Spider.007]

Verwijderd schreef op vrijdag 14 november 2008 @ 10:13:
hmm wat ik tot zover weet is dat de .pac file bestaat uit stukken javascript. De browser kan voordat je een bestand download de content-type bepalen (krijgt die terug in de header van de server).

Verder kan je ook een curl -I doen op een bestand en vervolgens de content type uitlezen. Maar dit zijn helaas allemaal voorbeelden van niet-javascript oplossingen.

Dus de mogelijkheid zou er wel degelijk moeten zijn..

Dus je verwacht dat browsers alle requests dubbel doen zodat je in je proxy script op content-type kan filteren? Of denk je dat je, als onderdeel van de code die een request uitvoert; een andere request kan doen om het content-type te achterhalen? Dat lijkt me allemaal niet zo logisch

[Verwijderd]

Euh nee ik denk dat we langs elkaar heen praten ;-)

Wat ik wil doen is voor elke request die de browser naar buiten stuurt eerst de head ophaalt voordat die het hele bestand ophaalt.

Dus iets als dit:
http://www.jibbering.com/2002/4/httprequest.html

Is het trouwens niet gewoon mogelijk om het volgende te doen:
Elke URL die word opgevraagd naar een extern PHP script sturen
Het PHP script geeft de mimetype terug
De javascript in het .PAC bestand gebruikt deze 'mime-type-waarde' om te kijken of het verkeer direct moet of niet.

[ Voor 35% gewijzigd door Verwijderd op 14-11-2008 18:44 ]

[Spider.007]

Je bent bezig met de code die net voor ieder verzoek wordt uitgevoerd. Hoe denk je een ander verzoek (zei het HEAD, zei het naar een extern script) te kunnen doen binnen die code? Dan krijg je toch recursie? Daaruit volgt dus dat hetgeen je wilt, niet kan; hoeveel javascripts je ook kunt vinden die dit losstaand wel kunnen

[ Voor 6% gewijzigd door Spider.007 op 14-11-2008 19:00 ]

[Verwijderd]

hmm ok.. dus ik ben dan echt gebonden aan de botte manier van het snijden van een url op extentie?

Maar dat betekend dat het dus onmogelijk is om streams vanaf youtube direct te laten gaan. Hetzelfde geldt voor sites als rapidshare en download.com....