[Alg] Voorkomen van SPAM in IM protocol *

[bartvb]

Ik ben de afgelopen maanden flink bezig geweest met Jabber (zie ook: Opzetten jabbernl.org ). Jabber wordt op het moment vooramelijk gebruikt voor Instant Messaging (net als ICQ, MSN, etc). Voornaamste verschil tussen Jabber en 'de rest' is dat Jabber een open protocol is (ligt op het moment bij de IETF), het is distributed (iedereen kan een eigen Jabber server hebben, net als bij b.v. SMTP), het is gebaseerd op XML (makkelijker programmeren dan die binaire meuk van ICQ) en het is extensible (o.a. door gebruik van XML). Het is heel gemakkelijk om iets gebaseerd op Jabber te maken waarmee je niet puur aan het IM-en bent. B.v. een schaakspel, het doorgeven van info aan mobiele telefoons, communicatie tussen websites, etc, etc, etc.

Anyway. 1 van de grote problemen van o.a. ICQ is dat je doodgegooid wordt door SPAM. Nu zat ik me af te vragen hoe je een IM netwerk fatsoenlijk zou kunnen wapenen tegen SPAM. 1 van de manieren is tegen je client (of server) roepen dat je alleen berichten wilt hebben van mensen die op je contactlist/roster staan. Niet echt een optimale oplossing maar het helpt. Maar goed, dan heb je dus nog steeds de authorization messages over, die ook in b.v. ICQ gebruikt worden voor spam.

Wat is volgens jou de ideale manier van SPAM bestrijding? Filteren e.d. zoals we nu doen bij SMTP is niet echt _de_ oplossing, je zou het eigenlijk (bij mail) op SMTP nivo op moeten lossen. Maar goed, hoe dan? Ik heb zelf wel wat ideetjes maar ben vooral geinteresseerd waar jullie aan zitten te denken. Vind het een beetje zonde de discussie meteen al een bepaalde kant op te sturen met mijn 'oplossingen'...

[curry684]

IP-logging bij useraccounts serverside, dubbele IP's automatisch laten herkennen en volautomatisch spammende IP-(range)s bannen?

[bartvb]

Misschien handig als ik even uitleg hoe het Jabber netwerk in het kort in elkaar zit

Iedereen op het netwerk heeft een JID dat er meestal uit ziet als:
[e-mail] (in mijn geval: jabber at vanbragt.com)
Een client maakt verbinding met zijn eigen server (ik dus met vanbragt.com) en verder met niemand. Als ik nu een berichtje stuur naar jou (curry apenstaatje tweakers.net b.v. als Tweakers een Jabber server zou hebben) dan gaat dat berichtje naar vanbragt.com, die maakt contact met tweakers.net waarna tweakers.net het bericht bij jouw neergooit.

Als spammer kan ik dus een aantal dingen doen. Ik kan een bot maken die verbinding maakt met een public server, daar een account aanmaakt en dan als een gek berichten gaat versturen (of ja, er zitten limieten (dmv karma) op het aantal berichten per JID, maar de bot kan natuurlijk ook 200 accounts aanmaken). Andere optie is dat de spammer een eigen Jabber server opzet. Enige dat je daarvoor nodig hebt is een domainname maar dat is zelfs al te regelen via iets als dyndns.org. Die server kan al een stuk harder spammen (minder restricties).

IP logging is idd een goed plan aangezien je dan redelijk direct kan traceren waar de spam vandaan komt (zijn spammers meestal niet blij mee).
Dubbele IP's herkennen is bijna niet te doen. Als een spammer zowel via vanbragt.com en tweakers.net zit te spammen dan weten tweakers.net en vanbragt.com dat niet van elkaar (kan zijn dat ik die opmerking verkeerd begreep).
Bannen van IP ranges kan maar dan heb je het probleem dat je eerst een waterdichte methode meot hebben voor het detecteren van spam en verder gaat het om een distributed network. Een IP ban op vanbragt.com heeft geen implicaties voor het gebruik van tweakers.net

Kortom; het lijkt een simpel probleem maar dat is het niet

[ Voor 2% gewijzigd door bartvb op 27-06-2003 16:40 . Reden: Email adres van Curry dood gemaakt ]

[bigben04]

bartvb schreef op 27 June 2003 @ 16:18:
IP logging is idd een goed plan aangezien je dan redelijk direct kan traceren waar de spam vandaan komt (zijn spammers meestal niet blij mee).

Een IP is vrij makkelijk te faken hoor (gooi 'ip spoofing' maar eens door google), dus een absolute oplossing is het iig niet.
Verder heb ik zo 1-2-3 geen aanvullende tips maar ik zal er eens over brainstormen

[alienfruit]

Vreselijk zoiets waarbij je wordt gelimiteerd hoeveel berichtjes mag sturen. No go voor mij

Maar ik denk dat het filteren wel goed idee is, maar dat je toch nog de mogelijk heid om het te lezen. Mogelijk spam gaat anar een bepaalde plek; waarbij een kadong hoort als geluidje als er een mogelijk spambericht binnen is waarvan je niet 100% zeker weet

Trouwens, je maakt gebruik van XML soort SOAP kloon dus

[ Voor 9% gewijzigd door alienfruit op 27-06-2003 17:10 ]

[Soultaker]

bigben04 schreef op 27 June 2003 @ 17:05:
Een IP is vrij makkelijk te faken hoor (gooi 'ip spoofing' maar eens door google), dus een absolute oplossing is het iig niet.

Onzin. IP spoofing is praktisch onmogelijk, zeker wanneer er gecommuniceerd moet worden over TCP (zoals bij Jabber het geval is). Alleen in slechtgeconfigureerde netwerken (met kabelmodems en dergelijke) is het soms mogelijk het IP adres van de buren aan te nemen, maar daartoe blijven de mogelijkheden in de praktijk wel beperkt. Ga je eerst eens verdiepen in het IP voordat je allerlei loze opmerkingen plaatst, alsjeblieft.

In theorie kun je spam natuurlijk helemaal nooit uitbannen, want je kunt nooit met zekerheid vaststellen dat een client een bot en geen persoon is en of een bericht ongewenst is. Je kunt er hooguit een beetje naar gissen, met vergelijkbare heuristieken als nu ook al voor email filtering gebruikt worden.

In principe lijkt het vragen om toestemming voordat je iemand berichten kan sturen me al een aardige hindernis voor spammers, aangezien relatief weinig mensen die toestemming zullen geven (je kent de persoon in kwestie niet).

[Verwijderd]

Sowieso is _de_ oplossing nooit voorhanden. Spam is iets wat voorkomt en altijd zal blijven bestaan.

Ik hoor hier idee'en om na spam bepaalde ip'ranges te blokeeren, maar de reactie daarop is dat je ip-spoofing kan gebruiken. Natuurlijk is het mogelijk om ip-spoofing te gebruiken, maar je moet niet vergeten dat dit niet erg simpel is.

Als je het vanuit de kant van de spammer bekijkt, dan zal die de makkelijkste oplossing willen om zoveel mensen te bereiken. Ik kan je dus nu al op een bordje aan dragen dat zij niet van ip-spoofing gebruik gaan maken.

Je zal dus iets moeten vinden waardoor het niet meer loont om op jou netwerk te gaan spammen, als jij een beveilig maakt waar het iemand ongeveer een week zou kosten om uberhaupt te gaan spammen, dan verwacht ik dat hij dit niet gaat doen.

[pietje63]

een maximaal aantal verschillende users per uur van 100 instellen? ik denk dat weinig mensen mer meer dan 100 verschillende mensen per uur praten en 100 mensen spammen per uur schiet niet po

[Orphix]

Iets anders, hoe komt die spammert aan al die e-mail adressen?
Bij ICQ was het erg makkelijk natuurlijk, je ging gewoon een range van nummers af.
Bij MSN daarentegen heb ik nooit last van spam. Misschien 1 stap eerder kijken en de kwaal voorkomen ipv genezen?

[bartvb]

Airwolf; klopt tot op zekere hoogte. Probleem is echter dat SPAM inmiddels een multi-million-dollar business is :\ Er zijn dus redelijk wat mensen die er veeeeel voor over hebben om flink te kunnen spammen. En als je even een weekje bezig bent en daarna je script kan hergebruiken; waarom niet?

IP-spoofing is idd niet bepaald triviaal, maar het loggen van IP's lost niet echt iets op. Ok, het wordt wat makkelijker om spammers te vinden maar dan is het kwaad al geschied. Die JID's kan je uit de JUD halen (Jabber User Directory) of gewoon harvesten op Internet :\ Zolang mensen die dingen aan elkaar uit willen wisselen zal je die dingen kunnen blijven vinden. Al helemaal als er online indicators e.d. verschijnen. Ik vind het nu al zwaar irritant dat ik in dit topic dingen als 'jabber at vanbragt.com' moet gebruiken om niet helemaal doodgespamd te worden...


Ik kwam eigenlijk vooral op dit onderwerp doordat ik laatst wat postings op Slashdot zag in de trant van 'Spam is niet op deze manier op te lossen, je moet SMTP veranderen'. Nu ben ik dus erg benieuwd wat voor een veranderingen dat zouden moeten zijn. Ook al redelijk wat gezocht en ook best leuke dingen tegen gekomen.

1 van die dingen is dit: http://www.advogato.org/trust-metric.html die stond me eigenlijk wel aan. Verder kan je natuurlijk ook een plaatje richting een nieuwe gebruiker sturen die op jouw list wil komen staan. Op dat plaatje staat een of ander getal dat de persoon aan de andere kant moet lezen. Op die manier heb je een redelijk waterdicht systeem, probleem is dat dit dus niet werkt voor mensen met een text-client, mensen op een mobiele telefoon en vooral niet voor Bots (die erg handig kunnen zijn op het Jabber netwerk) :\ Je sluit dus de spammers uit maar ook meteen een hele hoop erg bruikbare bots.

Maar goed, die trust metric vond ik al een erg leuke stap in de goede richting.

[curry684]

IP-spoofing is onmogelijk, omdat je moet inloggen. IP-spoofing houdt in de je MAC en/of IP-adres van jou als afzender vervangt door een andere, en dat houdt per definitie in dat je NOOIT antwoord kunt krijgen op een message. Oftewel hoe gaat dat bij een beetje protocol:
• C: Login as user pietje
• S: Oh pietje ken ik wel, hier heb je een challenge, geef mij maar je password.
• Client blijft tot Sint Juttemis wachten op een challenge omdat ie z'n afzender gespoofed heeft.

Onder het motto: *duh*

[curry684]

bartvb schreef op 27 June 2003 @ 19:40:
Ik kwam eigenlijk vooral op dit onderwerp doordat ik laatst wat postings op Slashdot zag in de trant van 'Spam is niet op deze manier op te lossen, je moet SMTP veranderen'. Nu ben ik dus erg benieuwd wat voor een veranderingen dat zouden moeten zijn. Ook al redelijk wat gezocht en ook best leuke dingen tegen gekomen.

SMTP is het brakste en lekste protocol mogelijk, omdat het van A tot Z gestoeld is op het 'recht' tot anonymous remailing, sender spoofing en open relaying. De enige manier om spam ook maar enigszins aan banden te leggen is imho door SMTP uit te faseren en te vervangen door een 'trusted remailer'-netwerk waarbij je username en password nodig hebt om mail aan te brengen. Helaas moeilijk om heel het internet even te hervormen.

[MisterData]

Ik heb een tijdje geleden een programma voor Outlook geinstalleerd dat spam weerde dmv een p2p netwerk. Het programma maakte contact met zo'n netwerk, waarin md5-hashes van 'foute' berichten zaten. Door die berichten te filteren ben je in feite immuun voor spam. Er zat een knop in Outlook met de tekst 'mark as spam' die het bericht hashte en op het netwerk zette.

Hetzelfde kun je voor Jabber maken: iedere client die spam krijgt, rapporteert de afzender van die spam in een soort P2P netwerk. Spamt diegene daarna iemand anders, dan ziet diegene dat op het p2p netwerk en wordt het bericht niet getoond

[editje]
Het maken van een P2P netwerk is niet makkelijk. Aangezien je gebruikt maakt van een centrale server, kun je ervoor kiezen om daar de 'blacklist' op te slaan die door users wordt bijgehouden. Als je meerdere servers hebt, dan zul je dus iets moeten bedenken waarmee deze servers de blacklists met elkaar uitwisselen. Ook moet je rekening houden met de etterbakjes die vanalles en nogwat als spam aanmerken, zelfs dat van hun eigen vrienden... Daarom moet je bijvoorbeeld users gaan ranken (als iemand spam markeert en iemand anders vind 't ook spam, dan krijgen die users allebei een puntje erbij, zegt iemand anders dat 't geen spam is dan puntje eraf enz..). Je kunt het filteren van spam ook op de server zelf doen, maar dan ziet de client niet meer wat er wordt tegengehouden.

[ Voor 41% gewijzigd door MisterData op 27-06-2003 22:26 ]

[Soultaker]

Ik vind MisterData's idee best aardig, maar ik zie nog niet helemaal hoe het in de praktijk zou moeten werken. Het idee van Jabber is dat je een groot aantal servers hebt met een klein aantal gebruikers (denk in de richting van duizend gebruikers per server). De servers moeten dus gegevens met elkaar uitwisselen over spammers om effectief te werk te kunnen gaan; als ze van elkaars bestaan weet zouden hebben, zouden ze de boel wel kunnen synchroniseren, maar volgens mij gaat dat een beetje buiten de huidige werking van het Jabber protocol om.

[Verwijderd]

Trouwens, je maakt gebruik van XML soort SOAP kloon dus

offtopic:
Ga jij eens heel snel naar w3schools.com, XML is echt geen SOAP kloon hoor...

Je zou een optie kunnen maken, dat je alleen berichten wilt ontvangen van mensen die een goede reputatie hebben, dat wil zeggen dat een bot wel accounts aan kan maken, maar als hij spam blijft sturen zal zijn reputatie nooit boven de 0 uit komen en dus gefilterd worden

de vraag is hoe je die reputatie a.k.a. karma moet bijhouden, je kunt users moeilijk ieder bericht laten modereren, en als iemand vergeet een bericht als spam te bestempelen dan stijgt zijn reputatie en kan hij doorgaan met spammen

@MisterData, volgens mij maak je juist geen gebruik van een centrale zoals MSN messenger dat wel doet, maar moet je het vergelijken met SMTP servers die tegen elkaar talken en "live" de info forwarden naar de client (kortom een p2p netwerk)

[bartvb]

Mwoh, geen p2p netwerk want daarbij heb je (in principe) helemaal geen server. Bij Jabber heb je idd meer een SMTP situatie (wat netwerk topologie betreft). Je maakt verbinding met je eigen server en that's it. Je eigen server maakt vervolgens met andere, relevante servers. Een client heeft dus altijd alleen 1 c2s connectie. Je server heeft tig s2c connecties (voor iedere user 1) en verder een zooitje s2s connecties voor verbindingen naar andere servers als jabber.org en andere servers waar de users iets mee willen.

Dat bijhouden van die reputatie zou al kunnen door bij te houden wie er al eerder in een roster zijn gezet, dat is een redelijke graadmeter met hoe 'gewenst' iemand/iets is. JE komt dan dus weer bij die trust metrics uit die ik eerder noemde:
http://www.advogato.org/trust-metric.html
Best interessant artikel...

[MisterData]

bartvb schreef op 27 juni 2003 @ 23:43:
Mwoh, geen p2p netwerk want daarbij heb je (in principe) helemaal geen server. Bij Jabber heb je idd meer een SMTP situatie (wat netwerk topologie betreft). Je maakt verbinding met je eigen server en that's it. Je eigen server maakt vervolgens met andere, relevante servers.

Dan heb je dus nodes (de gebruiker) en supernodes. Elke supernode houd lijsten bij en zoekt contact (eventueel buiten jabber netwerk om) met andere supernodes om lijsten uit te wisselen. Supernode 1 heeft verbinding met 2, en 2 met 3 en 5 , en zo heeft 1 ook de lijsten van 3 en 5 Dat is dus semi-p2p (Kazaa doet ook zoiets).

Er zijn iig genoeg variaties mogelijk...

[kvdveer]

Een server-blacklist is waarschijnlijk zeer effectief om te voorkomen dat spammerts eigen servers op gaan zetten. Je andere servers zullen echter wel met elkaar moeten communiceren...
Het enige serieuze probleem wat je hebt is dat spammerts accountjes aan gaan maken alsof ze gewone gebruikers zijn. Je zult ze dus moeten gaan filteren op het verschil tussen gewone gebruikers en spammers.
Een paar verschillen:
- Spammers produceren grote aantallen korte conversaties.
- Spammers hebben geen interresse in contacts oid.
- Spammers onvangen geen im's, maar versturen ze wel
- Spammers zeggen heel vaak exact hetzelfde (afgezien van wellicht een random getal)
- Spammers proberen veel im's tegelijk te verzenden

[DUX]

@Orphix:


Ik heb deze persoon niet in m'n lijst, en ik heb zeker ook geen interesse in beerputten...Dit bericht heb tot op vandaag twee keer gehad met een tussenpoos van een paar maanden.

[alienfruit]

[quote]Verwijderd schreef op 27 June 2003 @ 22:48:
[...]

offtopic:
Ga jij eens heel snel naar w3schools.com, XML is echt geen SOAP kloon hoor...

Sorry, maar als we het geheel abstractering dan maakt SOAP gebruik van XML, Jabber gebruikt XML soap stuurt XML over de lijn Jabber over de XML SOAP is de voorloper van XML-RPC (zegt men vaak ) en Jabber heeft ook een RPC.

[we_are_borg]

Hoe ik het verhaal begrijpt wil je spam voorkomen maar hoever wil je gaan.
Je kan natuurlijk ook proberen mensen te vinden die het netwerk vrijhouden door middel van controlles. Alleen hoe groter het netwerk des te meer werk je krijgt en meer mensen je nodig heb. Het is misschien moeilijker om te maken maar misschien wel een van de veiliger methodes. Het nadeel is dat je mensen nodig heb waar je van weet die hun positie niet misbruikt. Blacklist een server en email de beheerder om uitleg geen goede uitleg is jammer maar helaas. Ip ban voor een user die spamt jammer voor hem maar gewoon een half jaar in de hold zetten, daarna weer vrij geven.

[Verwijderd]

[quote]alienfruit schreef op 28 June 2003 @ 14:15:

Verwijderd schreef op 27 June 2003 @ 22:48:
[...]

offtopic:
Ga jij eens heel snel naar w3schools.com, XML is echt geen SOAP kloon hoor...

Sorry, maar als we het geheel abstractering dan maakt SOAP gebruik van XML, Jabber gebruikt XML soap stuurt XML over de lijn Jabber over de XML SOAP is de voorloper van XML-RPC (zegt men vaak ) en Jabber heeft ook een RPC.

een vergelijking met ouderwetse communicatie:

soap is de enveloppe, waarop het adres en het retouradres e.d. staan (metadata)

xml is de inhoud, de brief, waar de feitelijke informatie instaat (content)

soap ligt dus bovenop xml

[MisterData]

DUX schreef op 28 June 2003 @ 14:10:
@Orphix:
[afbeelding]

Ik heb deze persoon niet in m'n lijst, en ik heb zeker ook geen interesse in beerputten...Dit bericht heb tot op vandaag twee keer gehad met een tussenpoos van een paar maanden.

offtopic:
menu Extra's -> item Opties -> tabblad Privacy

Heb je daar het eerste vinkje soms niet aangezet?