anti weblog spam

FragFrog schreef op maandag 20 november 2006 @ 12:35:
captcha is een optie om bots in ieder geval te weren, maar niet erg gebruiksvriendelijk. Zelf zit ik er aan te denken een gebruikers-registratie systeem te maken, waarbij mensen eenmalig een gebruikersnaam en wachtwoord moeten kiezen om mee in te loggen.

1

<script>document.write('<input type=hidden name=blahblah');</script>

[ Voor 8% gewijzigd door RaZ op 20-11-2006 12:49 ]

[ Voor 30% gewijzigd door Verwijderd op 20-11-2006 12:55 ]

RaZ schreef op maandag 20 november 2006 @ 12:46:
Ik draai een CMS, postnuke, en daar heb ik gekozen voor de optie: wachtwoord wordt per mail verzonden. Het is natuurlijk wel zo des te groter het gebruik van een OpenSource pakket wordt, des te interresanter is het om er spambots voor te scripten. Maar er zijn al zat spambots die gewoon registreren.

IP's bijhouden is ook iets wat niet echt een optie is, aangezien een spammer natuurlijk via proxies werkt. Althans, zou ik wel doen. Misschien een optie om een proxy-check te doen. Kijken of er op het IP een open proxie draait, en op basis daarvan niets toestaan.

De optie met javascript kan ook wel prima werken. Een code die niet in de HTML zichtbaar is aan het form plakken. (misschien een slecht voorbeeld, maar de reacties op fok bijvoorbeeld worden volledig in javascript op het scherm gezet). Er is een groot verschil tussen javascript in de HTML zelf, of een script wat uit een ander bestand komt.

De anti-spam plugin van wordpress, aksimet, schijnt wel aardig te werken. Aangezien spam altijd wel links bevatten zou je ook gewoon kunnen checken op content voor je het wegschijft. gewoon geen links accepteren.

[ Voor 9% gewijzigd door FragFrog op 20-11-2006 13:09 ]

FragFrog schreef op maandag 20 november 2006 @ 13:03:
[...]
Mmmm, e-mail activatie heb ik zelf een hekel aan, ben benieuwd hoeveel spambots daadwerkelijk registreren en dan gaan spammen. Zal toch niet al te veel zijn?

Tja, maar daarmee tref je ook mensen die een strak internet-regime op werk/school hebben. Zeker niet gebruiksvriendelijk En je kan toch nooit alle proxy-servers vinden, plus wie zegt dat er altijd een proxy gebruikt wordt? Of dat het een open-relay is? Al met al niet echt een optie denk ik

Had ik ookal aan gedacht, maar wat nu als een gewone gebruiker een relevante link bij een blog wil plaatsen? Wederom, te ongebruiksvriendelijk voor mijn smaak. Wat wellicht wel een optie is is om het aantal links te tellen - spambots plaatsen in mijn ervaring vaak een hele rits links, in diverse opmaken ook, een comment weigeren bij meer dan 5 urls bijvoorbeeld zal niet zo'n probleem zijn voor gewone gebruikers maar wel aardig wat spambots tegenhouden gok ik

[ Voor 5% gewijzigd door curry684 op 20-11-2006 13:09 ]

curry684 schreef op maandag 20 november 2006 @ 13:08:
@EdwinG: er lopen bijna geen bots rond die zo stom zijn als jij denkt Spammers gebruiken normaliter gewoon handmatig verzamelde "standaardlijsten" van welke velden er naar welke URL gePOST moeten worden.

PuntPunter schreef op maandag 20 november 2006 @ 13:11:
Mijn idee, om het iets duidelijker te maken, is dat de bot twee forms ziet, en automatisch de bovenste pakt (de originele, de eerste in de mark-up, en de enige met 'naam / name' als invoerveld.)
Zou (voor een bot) misschien logisher zijn om die form te pakken, ipv het andere.

[ Voor 39% gewijzigd door EdwinG op 20-11-2006 13:17 . Reden: Toevoeging quote puntpunter ]

curry684 schreef op maandag 20 november 2006 @ 13:08:
Bij relatief grote sites als Joystiq werkt het probleemloos, en het heeft niets met registratie van doen. Je post je comment en krijgt vervolgens een mailtje op je opgegeven adres om de comment te activeren.

Dat is het model waar ik heen ga als de spammers er ooit in slagen om structureel om mijn custom oplossing heen te werken, maar dat verwacht ik persoonlijk niet

Daar heb je dus DNSBL's voor: die registreren open en abused proxies en known spam relays zodat mail- en webservers er vervolgens troep op uit kunnen filteren.

Mijn mailserver knikkert per dag regelmatig meer dan 1000 incoming spammails puur weg op DNSBL-matches (!!!!).

Bij mij gaat alles met 2 of meer links automatisch in de modqueue. 1 linkje kan dus gewoon, en zonder poespas.

[ Voor 6% gewijzigd door FragFrog op 20-11-2006 13:23 ]

[ Voor 0% gewijzigd door Verwijderd op 20-11-2006 14:02 . Reden: Typo... ]

FragFrog schreef op maandag 20 november 2006 @ 13:18:
Tja, wat ik zei, de proxy die je favo spammer gebruikt is wellicht ook de enige die een vriend van je kan gebruiken doordat zijn internet gecontroleerd wordt Alle open proxy's weigeren maak je geen vrienden mee - om nog maar te zwijgen over de extra overhead die je ermee genereert Voor een gamesite maakt het niet zo veel uit, maar ik hoop stiekem natuurlijk dat FrogBlog redelijk populair gaat worden als't af is en ook gebruikt gaat worden door mensen die wellicht wel reden hebben om volledig anoniem te blijven. Proxy's zijn dan essentieel.

[ Voor 5% gewijzigd door curry684 op 20-11-2006 13:53 ]

curry684 schreef op maandag 20 november 2006 @ 13:51:
Ik mis ook ergens de reden waarom privacy/ease-of-use op een gamessite minder zou boeien dan op het grote FrogBlog

By utilizing some open proxies (the so-called "anonymous" open proxies), users can conceal their true IP address from the accessed service, and this is sometimes used to abuse or interrupt that service, potentially violating its terms of service or the law; open proxies are therefore often seen as a problem. However, anonymous open proxies are also used to increase anonymity or security when browsing the web or using other internet services: a user's true IP address can be used to deduce information about that user and to hack into his or her computer. Furthermore, open proxies can be used to circumvent efforts at Internet censorship by governments or organizations. Several web sites exist which provide constantly updated lists of open proxies[1].

[ Voor 42% gewijzigd door FragFrog op 20-11-2006 14:08 ]

curry684 schreef op maandag 20 november 2006 @ 14:07:
En dat bedoel ik dus met het verschil tussen proxies en open proxies: anonimizers zoals die in China e.d. gebruikt worden staan niet in open proxy lijsten, want beschermen uit eigenbelang zelf keihard tegen dat er via hun dienst gespamd kan worden

curry684 schreef op maandag 20 november 2006 @ 14:42:
Ga dan gewoon eens die challenge/response implementeren die ik heb voorgesteld

1
2

$timestamp = time();
$uniqueid = md5("Mijn unieke string waar niemand iets mee kan!".$timestamp);

[ Voor 21% gewijzigd door curry684 op 20-11-2006 15:09 ]

curry684 schreef op maandag 20 november 2006 @ 15:05:
Eventueel kun je 'm nog wat efficienter maken door het IP-adres mee te nemen in de unique ID, maar in de praktijk zal dat niets uitmaken doordat je er enkel mee blokkeert dat de waardes geshared kunnen worden tussen meerdere spammers... en dat doen ze in die extreem korte X uur window toch niet.

edit:
tis overigens geen volledige challenge/response in dat de client niets toevoegt maar enkel met de originele data respond... de truc zit 'm in dat je de tijdswindow volledig safe reduceert en daarmee "intelligente clients" vereist

[ Voor 16% gewijzigd door FragFrog op 20-11-2006 15:20 ]

[ Voor 8% gewijzigd door bat266 op 20-11-2006 16:14 ]

FragFrog schreef op maandag 20 november 2006 @ 15:57:
Ik ging er (onterecht?) niet vanuit dat spambots slim genoeg waren om maar 1x een cookie op te slaan en daarna die data te hergebruiken.

Heb overigens nog maar een enkele spamcomment gezien nadat ik cookies ging gebruiken, dus ik gok dat't wel degelijk invloed heeft (ook gezien het aantal comments dat geweigerd wordt).

Als je enkel tijd + random woord gebruikt is'ie welliswaar beperkter geldig, maar kun je nog steeds dezelfde data overnieuw verzenden binnen dat tijdsbestek en zelfs doorgeven aan anderen.

Sterker nog, je kan door de source te bekijken eenvoudig genoeg een script maken wat dezelfde hash berekent waardoor die methode op den duur ook onbruikbaar wordt. Voor closedsource werkt dat, voor open source niet - of niet lang in ieder geval.

FragFrog schreef op maandag 20 november 2006 @ 15:57:
Sterker nog, je kan door de source te bekijken eenvoudig genoeg een script maken wat dezelfde hash berekent waardoor die methode op den duur ook onbruikbaar wordt. Voor closedsource werkt dat, voor open source niet - of niet lang in ieder geval.

Verwijderd schreef op maandag 20 november 2006 @ 16:07:
Als je aan een challenge een tijd + ip + random woord toevoegt, heeft deze challenge een beperkte duur vanaf een bepaald ip-adres. Het is inderdaad mogelijk om deze challenge meerdere keren te gebruiken binnen het tijdsframe met hetzelfde ip-adres. Dit kan echter ook voorkomen worden door alle challenges die worden gebruikt tijdelijk (zolang ze gelden) op te slaan en ze te verwijderen zodra het tijdsframe voorbij is. Het is dan alleen nog mogelijk om één keer een bericht te plaatsen met de betreffende challenge.

Voutloos schreef op maandag 20 november 2006 @ 16:16:
[...]
Als er replay attacks gedaan worden, is het al te laat. Als de bots al goed genoeg zijn om 1x goed te posten, kunnen ze ook als je replays voorkomt wel slim genoeg zijn om steeds een nieuwe challenge op te halen. De botjes hoeven hiervoor niet echt intelligenter te worden. Het kost het botje wel meer resources, maar dat kost het jou ook omdat je stateful geworden bent.
Wat overigens wel simpel te doen is, is bij de serverside hash ook het pagina/artikel ID mee te nemen zodat een botje niet meteen alle pagina's kan proberen.

curry684 schreef op maandag 20 november 2006 @ 16:14:
Bliep? Mocht je code feitelijk willen verspreiden die van deze tactiek gebruik maakt ga je toch hopelijk van die "private key" een serverside configsetting maken.

[ Voor 6% gewijzigd door FragFrog op 20-11-2006 17:16 ]

RaZ schreef op woensdag 13 december 2006 @ 09:07:
Het commenten gebeurd op een apparte pagina, zodat de referer gecheckt kan worden.

Geen idee of het uberhaut effect zal hebben, maar aangezien je toch niet wilt dat zoekmachine dat soort pagina's indexeren, gewoon een 404 Not Found header met de pagina's meegeven.

Optie1: Ik zat ook nog te denken om wel een cookie te zetten op de invoer pagina, die op de bevestig pagina nog precies zo moet zijn.

Optie2: Geen idee of dit te doen is hoor, eventueel toch met een stukje javascript aan de gang, die op het moment van de submit nog een extra veld toevoegd en de inhoud uit de content van de comment haalt, zodat er 2 velden identiek aan elkaar moeten zijn.

EdwinG schreef op woensdag 13 december 2006 @ 09:30:
[...]

Houdt er dan wel rekening mee dat de referer niet door elke browser meegegeven hoeft te worden.

[...]

En hoe kunnen bezoekers er dan opkomen?

[...]

Niet iedereen accepteerd cookies, dus ook zonder cookies moet het werken. Aangezien spambotjes ook prima cookies kunnen weigeren (lijkt me zelfs dat ze dat altijd doen), zal dit naar mijn idee weinig nut hebben.

[...]

Javascript kan uitgeschakeld worden in de browsers, hoe ga je daar mee om?

MisterData schreef op woensdag 13 december 2006 @ 09:40:
Kijk ook eens naar Akismet. Dat is een webservice die door onder andere Wordpress gebruikt wordt om spam te herkennen.Houdt mijn weblogje keurig schoon!