CBL juiste aanleiding om internetverbinding dicht te gooien?

[MadEgg]

TLDR: Is de een CBL een legitieme aanleiding voor je provider om je internetverbinding dicht te gooien?

The long version:

Ik heb een zakelijke internetverbinding bij XS4ALL met een publiek subnet. Hier draai ik een aantal servers achter.

Een van de servers draait een webcrawler die websites bezoekt op basis van URLs elders gevonden. De webcrawler gedraagt zich netjes, doet requests met een fatsoenlijke tussentijd en houdt zich aan de directives in de robots.txt. De opgehaalde content wordt puur als tekst behandeld en dus nooit uitgevoerd, dus ik zie hier bijzonder weinig risico in.

Nu wil het zo zijn dat de crawler de domeinnaam trackdistrict <punt> com ergens heeft opgeduikeld en deze probeert te bezoeken. Het IP-adres hierachter is een sinkhole van ShadowServer. Zodra een host verbinding maakt met deze sinkhole op poort 80 wordt dit geïdentificeerd als een infectie met malware Matsnu. Het gevolg is dat het betreffende IP-adres op een CBL terecht komt bij abuseat.org. Lijkt me niet zo'n ramp - de betreffende server verstuurd namelijk in het geheel geen e-mail en abuseat.org lijkt erop gericht om SMTP-relays/proxies te blokkeren.

Echter, XS4ALL gebruikt deze blacklist blijkbaar om IP-adressen van klanten dicht te zetten - met als gevolg dat de verbinding van de betreffende server volledig dichtgezet wordt. Als bijverschijnsel houdt het volledige IPv6-subnet dan ook op met functioneren. Het ergste is nog wel dat XS4ALL wel de verbinding dichtzet maar mij hiervan geen notificatie stuurt.

Ik ben van mening dat het verbinding maken met een IP-adres op internet op poort 80 over TCP hoe dan ook geen aanleiding zou mogen zijn om een internetverbinding te blokkeren. Ik heb meerdere malen bij XS4ALL benadrukt dat dit volledig verwacht gedrag is en op geen enkele manier een teken van een malware-infectie, maar ze zijn niet voornemens om ook maar iets aan hun policy te veranderen en het uitzenden van notificaties zit er ook niet in.

In "Mijn XS4ALL" heb ik ingesteld dat ik géén filtering op mijn verbinding wil, alle poorten open heb en dergelijke.

Als symptoombestrijding heb ik nu het betreffende domein en de bijbehorende IP-adressen in de firewall dichtgezet, maar dit kan net zo goed met een andere host voorkomen natuurlijk.

Ik ben even benieuwd wat jullie van bovenstaande vinden. Staat XS4ALL hier in zijn recht? Is dit überhaupt een juiste manier om met de CBL van Abuseat om te gaan? Zouden ze niet alleen poort 25 dicht moeten zetten?

[Dieks77]

Ja, een XS4ALL IP-adres, welliswaar aan jou in gebruik gegeven komt terecht op een blacklist.
Als dat herhaaldelijk gebeurt kan zelfs een groter subnet geblokkeerd gaan worden, en daardoor potentieel een impact op meer XS4ALL diensten.

Zie algemene voorwaarden bij Artikel 5
https://www.xs4all.nl/over-xs4all/voorwaarden.htm

Weet je heel zeker dat je geen bericht gehad hebt, ook niet in het formele beheerders account?

[MadEgg]

Dieks77 schreef op donderdag 20 februari 2020 @ 16:30:
Ja, een XS4ALL IP-adres, welliswaar aan jou in gebruik gegeven komt terecht op een blacklist.
Als dat herhaaldelijk gebeurt kan zelfs een groter subnet geblokkeerd gaan worden, en daardoor potentieel een impact op meer XS4ALL diensten.

Zie algemene voorwaarden bij Artikel 5
https://www.xs4all.nl/over-xs4all/voorwaarden.htm

Weet je heel zeker dat je geen bericht gehad hebt, ook niet in het formele beheerders account?

Ja, dat weet ik heel zeker en is ook aan mij bevestigd. De manier waarop ze je notificeren is door je verzoeken aan hun DNS-server te redirecten naar een waarschuwingspagina. Echter, ik gebruik de DNS-server van XS4ALL niet, onder andere wegens filtering die ik zelf al toepas. Ze weigeren om mij e-mail te sturen / te bellen.

Ook heb ik inmiddels bij Shadowserver aangeklopt - ik vind de hele werkwijze krom. Het doen van een TCP-verzoek naar een IP-adres is toch geen bewijs van malware? Het is hoogstens één factor die op de aanwezigheid ervan kan wijzen. Het is niet alsof ik die server aan het hammeren ben of er data naartoe stuur, ik doe een simpele HTTP GET request op de index pagina. Hoe is dat een zekerheid voor malware?

Overigens claimt Shadowserver nog dat ze dit in dit specifieke geval alleen bestempelen als malware indien er geen HTTP Referer header aanwezig is - welke bij mijn crawler vanzelfsprekend niet aanwezig is.

Het meest relevante stuk uit de voorwaarde van XS4ALL is dit:

5.8 Bij constatering of het vermoeden van hinder van derden en/of (overig) internet-misbruik door de Klant heeft XS4ALL het recht zonder nadere aankondiging de Dienst al dan niet geheel buiten gebruik te stellen. De Klant is alsdan gehouden de instructies van XS4ALL op te volgen. XS4ALL is niet aansprakelijk voor eventuele schade die door de Klant of een derde wordt geleden als gevolg van buitengebruikstelling van de Dienst op grond van geconstateerd of vermoed internetmisbruik.

Van constatering kan geen sprake zijn - er is immers geen sprake van hinder of internet-misbruik. Het enige wat ze hebben is een vermoeden welke ik met argumentatie ontkracht heb -> de eenvoudige volstrekt legitieme HTTP GET request wordt door een crawler uitgevoerd, met als bron een link die nota bene op de site van de Kamer van Koophandel staat.

Het is in mijn ogen nogal de baby met het badwater weggooien.

[ Voor 24% gewijzigd door MadEgg op 20-02-2020 16:42 ]

[Brahiewahiewa]

MadEgg schreef op donderdag 20 februari 2020 @ 13:31:
...

Ik ben van mening dat het verbinding maken met een IP-adres op internet op poort 80 over TCP hoe dan ook geen aanleiding zou mogen zijn om een internetverbinding te blokkeren...

Dan zul je een provider moeten vinden die jouw mening ondersteunt. Consumenten ISP's zullen dat niet doen

[Freeaqingme]

Je hebt een zakelijke internetverbinding. Onderling mogen bedrijven naar hartelust zelf bepalen welke afspraken ze onderling maken, en welke dienstverlening men wil leveren. In dit geval kies jij er voor om hun product anders te gebruiken dan 99.99% van hun klanten. Is het dan heel gek dat ze daar geen rekening mee houden?

Ja, van specifiek Xs4all zou je wellicht meer verwachten (vroeger...), maar denk dat het gevoerde beleid afdoende is voor nagenoeg al hun klanten.

Mijn suggestie: Die crawler lekker in het datacenter zetten en dit verder vergeten. Zo niet, tijd om vanuit je onderneming een jurist of adocaat in de arm te nemen en je hierin verder te laten adviseren.

[biomass]

Als je de mogelijkheid hebt om een HTTP Refererer header toe te voegen in je crawl verzoek naar ShadowServer (of een andere bekende sinkhole) ben je er dan?

[.Kaas]

biomass schreef op donderdag 20 februari 2020 @ 17:38:
Als je de mogelijkheid hebt om een HTTP Refererer header toe te voegen in je crawl verzoek naar ShadowServer (of een andere bekende sinkhole) ben je er dan?

Het lijkt me niet wenselijk om een random referer header te gaan spoofen, terwijl dit gewoon een direct request is naar de webserver en niet van een andere pagina wordt geredirect. Daarnaast, het kwaad is nu al geschied. Eenmaal gelist is het hopen dat er een fatsoenlijke delist functionaliteit aanwezig is op de website. Dat lijkt me wel zo netjes, om je IP-reputatie weer goed te krijgen wanneer je de problemen hebt opgelost De meeste DNS blacklists bieden zoiets wel aan.

MadEgg schreef op donderdag 20 februari 2020 @ 13:31:
Ik ben even benieuwd wat jullie van bovenstaande vinden. Staat XS4ALL hier in zijn recht? Is dit überhaupt een juiste manier om met de CBL van Abuseat om te gaan? Zouden ze niet alleen poort 25 dicht moeten zetten?

Imo zijn de sancties die XS4ALL jou hier oplegt nogal buitensporig. Ze gebruiken een DNS blacklists niet alleen om spam tegen te gaan, maar om de gehele reputatie van haar IP-adressen te controleren. Op zich niet heel gek, maar ze houden geen rekening met false positives. Jij zit nu met de gebakken peren, terwijl je zelf niks fout hebt gedaan (en dat ook kunt aantonen).

Ik zou proberen om delisting aan te vragen bij shadowserver, als je iets van relevante logs mee kunt sturen zou dat natuurlijk helemaal mooi zijn. Mocht dat niet lukken, XS4ALL bellen en niet ophangen tot ze je geholpen hebben of doorverbonden met iemand van de 2e lijn.

Succes

[biomass]

@Kaas Spoofen is niet echt nodig, de Referer mag prima gelinkt zijn aan de crawler zelf? Random zou nog kunnen als je niet vaak langs komt met je crawler, maar het zou wel netjes zijn als bijvoorbeeld ShadowServer je een referer string kan sturen waarmee je ze jouw crawler toestaan?
Ik dacht aan de manier waarop bijvoorbeeld de haveibeenpwnd APIs werken ?

[MadEgg]

Freeaqingme schreef op donderdag 20 februari 2020 @ 17:37:
Je hebt een zakelijke internetverbinding. Onderling mogen bedrijven naar hartelust zelf bepalen welke afspraken ze onderling maken, en welke dienstverlening men wil leveren. In dit geval kies jij er voor om hun product anders te gebruiken dan 99.99% van hun klanten. Is het dan heel gek dat ze daar geen rekening mee houden?

Ja, van specifiek Xs4all zou je wellicht meer verwachten (vroeger...), maar denk dat het gevoerde beleid afdoende is voor nagenoeg al hun klanten.

Mijn suggestie: Die crawler lekker in het datacenter zetten en dit verder vergeten. Zo niet, tijd om vanuit je onderneming een jurist of adocaat in de arm te nemen en je hierin verder te laten adviseren.

Ik verwachtte inderdaad meer van XS4ALL maar ze zijn 0 toeschietelijk. Probleem is dat alternatieven die en publiek subnet aanbieden schaars of exorbitant duur zijn. Maar goed, ik ben op zoek.

biomass schreef op donderdag 20 februari 2020 @ 17:38:
Als je de mogelijkheid hebt om een HTTP Refererer header toe te voegen in je crawl verzoek naar ShadowServer (of een andere bekende sinkhole) ben je er dan?

Dat zou best eens kunnen werken. Ik zou gewoon een referer naar de website die omschrijft wat de crawler doet kunnen toepassen - die staat nu alleen in de user-agent string.

.Kaas schreef op donderdag 20 februari 2020 @ 17:55:
[...]

Ik zou proberen om delisting aan te vragen bij shadowserver, als je iets van relevante logs mee kunt sturen zou dat natuurlijk helemaal mooi zijn. Mocht dat niet lukken, XS4ALL bellen en niet ophangen tot ze je geholpen hebben of doorverbonden met iemand van de 2e lijn.

Succes

Yes, gelukkig is delisten betrekkelijk simpel, dat kan ik zelfs zelf doen. Daarna moet ik echter nog wel contact opnemen met de veiligheidsafdeling van XS4ALL om de blokkade op te heffen.

biomass schreef op donderdag 20 februari 2020 @ 18:06:
@Kaas Spoofen is niet echt nodig, de Referer mag prima gelinkt zijn aan de crawler zelf? Random zou nog kunnen als je niet vaak langs komt met je crawler, maar het zou wel netjes zijn als bijvoorbeeld ShadowServer je een referer string kan sturen waarmee je ze jouw crawler toestaan?
Ik dacht aan de manier waarop bijvoorbeeld de haveibeenpwnd APIs werken ?

Interesting thought. Ik ga eens kijken hoe Shadowserver hier tegenover staat. Bedankt voor de tip!

[MadEgg]

Update: ik heb contact gehad met Shadowserver. Zij zeggen dat de betreffende URL een van vele miljoenen is die via een URL generatie schema door de betreffende malware gebruikt zou kunnen worden en daarom als sinkhole is ingericht. Aardig met hagel schieten dus, maar goed.

Ook een positief bericht: ik mag het IP-adres van de crawler doorgeven zodat deze op de whitelist geplaatst kan worden. Dat zou deze en vergelijkbare problemen moeten verhelpen. Kudos voor Shadowserver dus!

[biomass]

Laat je crawler dan zichzelf direct uitzetten als je externe IP wijzigt