Analyseren data in Squid proxy

[richie29]

Hoi allen!

Ik ben niet echt een kenner, maar heb me al best een tijdje geprobeerd in te lezen in Pfsense, Squid proxy LightSquid, etc. Ook SSL-interception and CA-certificaten aanmaken en uitrollen denk ik (met behulp van handleidingen) wel toe te kunnen passen.
Inmiddels heb ik een micro pc gekocht (moet nog geleverd worden) waar Pfsense op geïnstalleerd is en ik wil er graag direct mee kunnen klungelen als die binnen is.

Waar ik echter niet uit kom in hoe nu precies die logs van Squid proxy er uit zien en hoe je die nou in behoorlijk detail zichtbaar kan maken. Lightsquid kan dat bijv. wel maar ik heb het idee dat je alleen nog steeds maar de headers / url's kan zien en niet bijv. welke videos of afbeeldingen er nou precies bekeken zijn.

Vragen:
0) Heb ik het wel bij het juiste eind? Worden deze details uberhaupt wel door Squid proxy gelogd?
1) Kan LightSquid wel de details laten zien die ik zoek?
2) Zo ja, heeft iemand daar een voorbeeld van?
3) Zijn er eventueel andere / betere analysers voor de log-files die per user meer dan alleen de bezochte site kan laten zien, maar ook de bekeken content op die site?


Bedankt alvast!

[Faifz]

richie29 schreef op dinsdag 6 april 2021 @ 14:52:
Lightsquid kan dat bijv. wel maar ik heb het idee dat je alleen nog steeds maar de headers / url's kan zien en niet bijv. welke videos of afbeeldingen er nou precies bekeken zijn.

Lijkt mij wel ideaal wanneer je inlogt op je bank en dat je alles kan uitlezen. Het is niet de bedoeling dat je de mogelijkheid krijgt om decrypted content uit te lezen als administrator. Het wordt ook niet opgeslagen op de firewall. Geen enkele firewall met SSL decryption gaat dit toelaten. Verder zou ik geen squid gebruiken omdat het al jaren niet meer geupdated is en het werkte voor geen meter toen ik het had geprobeerd.

Persoonlijk vind ik dat je beter af bent met Sophos XG home edition i.p.v. pfSense als je SSL decryption wil doen. Het is gratis en je krijgt een enterprise-grade firewall waar SSL decryption vlekkeloos werkt. En het is een van de weinige next-gen firewalls die application filtering kan doen.

Het uitrollen van root CA certificaten op iOS is echt wel vervelend en weet niet of dit zelfs mogelijk is.

[richie29]

Hmmm, nou had ik geen plannen om dat soort gevoelige info en/of wachtwoorden te gaan achterhalen.
Maar uit jouw reactie begrijp ik dat op het moment dat je content van bekeken websites wil vangen je automatisch ook dat soort gevoelige info hebt als bijvangst?
Het zal wel naïef zijn, maar het leek me toch mogelijk om behalve de hearders ook de links van de afbeeldingen en video's te vangen.
FastVue kan dit bijv. wel zichtbaar maken op de een of andere manier, hoe doen ze dat dan?

[Faifz]

Als een client naar een webserver zoals google surft, krijgt de client de public key van google. De private key van google krijg je natuurlijk NOOIT.

Maar met SSL inspection ingeschakeld, breekt de firewall de sessie van de client af. Vervolgens zet de firewall zijn eigen SSL sessie op met google. Dus de client krijgt een certificaat die de firewall zelf heeft aangemaakt en niet die van google. De firewall heeft natuurlijk de private key van die public key, dus heeft ie visibility over alles.

Je werkt met twee verschillende root CA's. De een installeer je op je clients die vertrouwd wordt en dit geldt alleen maar voor websites met een geldige SSL certificaat. De andere installeer je nooit op een client en deze wordt gebruikt voor websites met ongeldige SSL certificaten.

Met SSL inspection heb je altijd een risico dat iemand mee aan het lezen is. Het zou mij niet verbazen dat dit gebeurt als je iets outdated zoals Squid/pfSense gebruikt. Ik zou dit persoonlijk niet doen voor een thuisomgeving en in een productie omgeving is het natuurlijk een heel ander verhaal.

Net op mijn Palo Alto getest en met decrypted traffic dat ik de exacte URL's kan zien in de logs - maar dat is het ook.

[Kabouterplop01]

https://www.sans.org/read...s-squid-proxy-server-1048

[BCC]

“ in een productie omgeving is het natuurlijk een heel ander verhaal.” -> ik zie juist veel grote organisaties dit weer terugdraaien omdat end-to-end encryptie toch ook best wel belangrijk en handig is

[Faifz]

BCC schreef op dinsdag 6 april 2021 @ 20:01:
“ in een productie omgeving is het natuurlijk een heel ander verhaal.” -> ik zie juist veel grote organisaties dit weer terugdraaien omdat end-to-end encryptie toch ook best wel belangrijk en handig is

Bedoel je dat ze geen SSL decryption meer doen? Een paar redenen dat ik kan bedenken is dat het wel lastig kan zijn met BYOD en op sommige websites werkt het gewoon niet zo goed.

[BCC]

Faifz schreef op dinsdag 6 april 2021 @ 23:22:
[...]
Bedoel je dat ze geen SSL decryption meer doen? Een paar redenen dat ik kan bedenken is dat het wel lastig kan zijn met BYOD en op sommige websites werkt het gewoon niet zo goed.

Ook BYOD en geen netwerken meer op basis van M&M Security. Je introduceert namelijk ook een punt in je netwerk omgeving waarin alle gevoelige informatie plaintext te lezen is.Vanuit security & juridisch oogpunt levert dat soms meer issues op dan de problemen die je probeert op te lossen.

[ Voor 8% gewijzigd door BCC op 07-04-2021 08:46 ]

[richie29]

Heeft er iemand misschien voor mij een voorbeeld van welke info er dan precies te lezen is in de log?
Kan me voorstellen dat de tool die je gebruikt om de log overzichtelijk te maken ook nogal een verschil kan maken?

Het lukt me niet goed om nou een beeld te krijgen met wat er nu precies wél en niet zichtbaar is vanaf de transparent proxy met SSL decryption.
Faifz misschien? Je had iets getest toch?

[MasterL]

Heel kort alleen de headers https://wiki.squid-cache.org/Features/SslPeekAndSplice
Je ziet dat er een sessie wordt opgebouwd naar bijvoorbeeld gathering.tweakers.net maar je ziet niet
het "forum/list_messages/2064410" deel of andere data die over de SSL tunnel gaat.

Het gaat dus alleen om dit:
When a peek rule matches during step1, Squid proceeds to step2 where it parses the TLS Client Hello and extracts SNI (if any). When a peek rule matches during step 2, Squid proceeds to step3 where it parses the TLS Server Hello and extracts server certificate while preserving the possibility of splicing the client and server connections; peeking at the server certificate usually precludes future bumping (see Limitations).

In een transparent configuratie "Splice" je normaal gesproken hierna:
Become a TCP tunnel without decoding the connection. The client and the server exchange data as if there is no proxy in between.

Data binnen deze tunnel ziet je proxy dus nooit.

[Faifz]

BCC schreef op woensdag 7 april 2021 @ 08:45:
[...]

Ook BYOD en geen netwerken meer op basis van M&M Security. Je introduceert namelijk ook een punt in je netwerk omgeving waarin alle gevoelige informatie plaintext te lezen is. Vanuit security & juridisch oogpunt levert dat soms meer issues op dan de problemen die je probeert op te lossen.

Met enterprise grade firewalls zoals Fortinet, Checkpoint heb je als administrator heb je niet eens de mogelijkheid dat te zien. Aan de private key geraak je ook niet. Je hebt SSL decryption nodig voor Anti-Malware scanning, herkennen van welke applicatie er gebruikt wordt, Data Loss Protection, IPS/IDS etc. Omdat het nu eenmaal encrypted is, heeft de firewall heeft de firewall geen zicht erover tenzij je SSL decryption doet. De mogelijkheid bestaat ook dat de firewall bekijkt of een gebruiker Active Directory credentials zit te leaken op het internet. Of als hij/zij dezelfde password/login ergens gebruikt om in te loggen op een website.

Inbound SSL Inspection bestaat ook. Meestal wordt het gebruikt voor uw webservers en dit is wel gemakkelijker om op te zetten dan een SSL Forward Proxy (wat de TS wil).

richie29 schreef op woensdag 7 april 2021 @ 09:10:
Het lukt me niet goed om nou een beeld te krijgen met wat er nu precies wél en niet zichtbaar is vanaf de transparent proxy met SSL decryption.
Faifz misschien? Je had iets getest toch?

Alleen de exacte URL viel te zien.

[BCC]

Faifz schreef op woensdag 7 april 2021 @ 23:03:
[...]


Met enterprise grade firewalls zoals Fortinet, Checkpoint heb je als administrator heb je niet eens de mogelijkheid dat te zien. Aan de private key geraak je ook niet

Dat is precies de legal issue - er zijn dan dus een paar Amerikaanse bedrijven die plaintext je verkeer kunnen lezen.

Ik snap de mogelijke technische voordelen, maar die wegen niet altijd op tegen de nadelen.

[ Voor 10% gewijzigd door BCC op 08-04-2021 07:32 ]

[richie29]

En toch hè, sorry dat ik zo doordram, als ik in squid real-time kijk kan ik van allerlei ‘ongewenste sites’ behoorlijk wat details voorbij zien komen die ik in lightsquid nergens terug kan vinden. Die details zijn uiteindelijk niet bruikbaar omdat die exacte link gestreamde video’s zijn die je niet direct vanaf die link kan benaderen (geen idee waarom niet trouwens)

Ondertussen heb ik de mini pc binnen, draait squid en dergelijke allemaal, heb ik certificaten geïnstalleerd op de end points maar blijf vooral met Netflix, NPO en bepaalde games nog met verbindings problemen zitten. Ik heb gelezen dat Netflix op ip-basis werkt en heb al een tijd zitten prutsen met IP’s toevoegen aan de white list onder ACL maar zonder succes

Zijn er geen andere manieren om in meer detail die access log door te spitten? Of wordt er gewoon niet zoveel data in geschreven als te zien is onder ‘real time’?