Website met spam probleem

[Xesxen]

Om te beginnen zal ik even een idee geven wat de website precies is. De betreffende website is een internationale community waarop users bij kunnen bijhouden waar ze precies zijn met bepaalde TV series kijken. De site bestaat al sinds 2001, en heeft in 2009 zijn huidige vormgeving gekregen. De onderdelen van deze site bestaan uit onder andere de series zelf, personages, een forum, maar ook een bloggingsgedeelte. De site zelf is geschreven in PHP, welke overigens gewoon OOP is (met wat legacy hier en daar )

De site ligt al meer dan een jaar onder vuur van spam, en dan in het bloggingsgedeelte. Deze wordt vol gestookt met spam, waardoor de echte content bedolven wordt onder deze berichten. Deze spammers creëren telkens een nieuw account en spammen hiermee een paar berichten. Daarna wordt er doodleuk een nieuw account aangemaakt.

Om een beeld te krijgen van al deze stappen, zal ik ze wel opsommen:

• De gebruiker registreert. Bij de registratie hebben wij een reCAPTCHA form staan. Tevens is er een verborgen veld waarin een unieke gegenereerde ID voor registratie wordt opgegeven. Het veld is standard leeg, maar deze wordt met javascript ingevuld.
• De gebruiker activeert het account via een ontvangen email bericht. Elke spamaccount gebruikt een e-mailadres van een bekende site, zoals outlook.com, gmail.com of yahoo.com.
• De spammer spamt vervolgens het bloggedeelte onder. Denk hierbij dus aan creditcard reclame, teksten over voetbal of franse teksten.

Enkele stappen welke wij al genomen hadden, is het toevoegen van de unieke ID bij de registratie. Dit zorgde voor enkele dagen aan rust, waarna het spammen gewoon weer doorging. Hierdoor vermoed ik dat dit proces automatisch gebeurt.

Een andere maatregel welke ook genomen is, is dat wij overgestapt zijn naar Cloudflare. Echter, dit heeft niks geholpen. De hoeveelheid spam is helaas niet afgenomen.

De laatste maatregel die al het hele jaar wordt ingezet, is om IP bans uit te delen. Inmiddels zijn we meer dan 30 IP adressen en reeksen (zelfs complete /16 netwerken) verder, maar dit baat ook niet.

Een van de vermoeden die ik dus heb, is dat de reCAPTCHA omzeild wordt, echter lijkt mij dit sterk dat deze omzeilt wordt. Een verklaring zou kunnen zijn dat deze in "gratis spelletjes" worden verwerkt, en je deze moet invullen om door te gaan.

Wat kunnen wij proberen om van dit probleem af te komen? Inmiddels zijn wij ten einde raad met wat er te proberen valt.

[Freezerator]

Misschien een implementatie van http://www.stopforumspam.com/ doen? Ik ben er tevreden mee, scheelt een hoop.

[lennartbee]

Zelf een captcha systeempje maken?
Een database met afbeeldingen van voorwerpen en wat het is en dat tonen en door de gebruiker laten beantwoorden.

[Cor453]

Ik heb op een website wel eens gedaan dat gebruikers een simpele som moeten beantwoorden. Of een set "algemene kennis" vragen: hoeveel eieren zitten er in een dozijn, welke kleur is de wimpel van Nederland, etc.

Volgens mij moet je het vooral spelen op het sociale aspect. Als een computer het niet kan berekenen op enige manier, dan zit je goed.

[Wolfboy]

Wat dacht je van een captcha op het posten (tot een bepaalde threshhold, 14 dagen registratie ofzo) in plaats van het registreren. Daar zitten de echte problemen namelijk.

[Xesxen]

Freezerator schreef op donderdag 09 januari 2014 @ 23:13:
Misschien een implementatie van http://www.stopforumspam.com/ doen? Ik ben er tevreden mee, scheelt een hoop.

Ik heb even met wat IP adressen van de recentste spammers geprobeerd, maar deze filtert er maar ~40% uit.

Wolfboy schreef op donderdag 09 januari 2014 @ 23:26:
Wat dacht je van een captcha op het posten (tot een bepaalde threshhold, 14 dagen registratie ofzo) in plaats van het registreren. Daar zitten de echte problemen namelijk.

Er zijn inderdaad zat accounts welke binnen enkele minuten na registratie al spammen, maar er zitten ook accounts bij waar er een halve maand wordt gewacht tot er gespamd wordt. Over de captcha: ze komen er klaarblijkelijk nu al omheen, dus dan vraag ik mij af of dit het wel oplost.

[_js_]

Xesxen schreef op donderdag 09 januari 2014 @ 23:11:
Enkele stappen welke wij al genomen hadden, is het toevoegen van de unieke ID bij de registratie. Dit zorgde voor enkele dagen aan rust, waarna het spammen gewoon weer doorging. Hierdoor vermoed ik dat dit proces automatisch gebeurt.

Als je deze maatregel genomen had zonder dat duidelijk is voor de spammer dat zijn post is afgekeurd, dan waren ze er misschien niet snel achtergekomen dat het niet werkt. Ik zou dus geen foutmelding geven maar gewoon de geposte blog succesvol weergeven, ook al klopt het niet. De blog alleen voor het ip van de spammer weergeven en evt, na een paar minuten weer uit de database verwijderen

[Puch-Maxi]

Wat ook wel prima werkt is bij het plaatsen van een nieuw bericht vragen om antwoord te geven op een bepaalde vraag. Het liefst in het Nederlands: "Wat is de kleur van gras?" een rekensommetje, of iets anders vragen wat met de site te maken heeft. Dit zou je ook kunnen toevoegen aan het registratieproces.

edit:

@BtM909, whoops daar heb ik even overheen gelezen. Haha

[ Voor 12% gewijzigd door Puch-Maxi op 10-01-2014 01:59 . Reden: Oeps ]

[BtM909]

Puch-Maxi schreef op vrijdag 10 januari 2014 @ 01:52:
Wat ook wel prima werkt is bij het plaatsen van een nieuw bericht vragen om antwoord te geven op een bepaalde vraag. Het liefst in het Nederlands: "Wat is de kleur van gras?" een rekensommetje, of iets anders vragen wat met de site te maken heeft. Dit zou je ook kunnen toevoegen aan het registratieproces.

Een Nederlandse vraag gaat goed werken op een internationale site

[sub0kelvin]

Heb je al gedacht aan het automatisch herkennen van de spam zelf in plaats van de spammer? Bijvoorbeeld met akismet of Mollom? Het feit dat ze door de recaptcha komen doet me namelijk denken dat het geen bots maar (deels) echte mensen zijn die de accounts registreren. Daarna zal het account gebruikt worden door een bot die de comments/blogs plaatst.

Dat in combinatie met de tip van _js_ om de spammer niet te laten weten dat hij herkend is zou al veel moeten helpen.

[Woy]

Er zijn een aantal dingen die je IMHO kunt proberen, afhankelijk van hoe je site precies werkt.

1. Kijken of er regio overeenkomsten zijn, als de spammers altijd uit een bepaalde regio komen kan je de registratie uit die regio's blokkeren/moeilijker maken
2. Zorgen dat blog's van nieuwe accounts eerst gevalideerd moeten worden door een mod, nadat een user al "goede" blogs geplaatst heeft kan je deze eis natuurlijk laten vervallen.
3. De content zelf door een spam service zoals askimet heenhalen voor het te accepteren.

[_Moe_]

Als ik jou was zou ik zoals eerder al is aangehaald 'Akismet' eens proberen. Implementatie is vrij makkelijk en naar eigen ervaring werkt deze echt wel goed.

[Verwijderd]

Je maakt aan de buitenwereld kenbaar dat je met wordpress draait. Ik zou daar eerst je probleem zoeken om toekomstige bots tegen te gaan. Die struinen namelijk het internet af en spammen juist je bloggedeelte onder.

- Askimet installeren, lost een hele hoop op
- Een antispam plugin bij signup, houdt het meeste al buiten
- Zelf een hoeveel is 3 bij 3 veldje maken. Wanneer niet of verkeerd ingevuld gaat het feestje niet door.

- Puur om de spammers te irriteren gewoon geen URL in de naam van de poster weergeven. Dan heeft zo'n backlink namelijk ook geen zin meer.

_{Honeypot werkt als een charm. Extra veldje maken en verbergen met CSS. Wanneer een bot dat veldje invult dan heb je een hit. Een mens achter elke browser kan dat niet zien namelijk.}

[ Voor 14% gewijzigd door Verwijderd op 10-01-2014 08:47 ]

[Ramon]

Wat wij hebben gedaan om spam te voorkomen:

1) bij laden van reactiepagina een sessie vullen met huidige timestamp, wordt het reactieformulier sneller dan binnen x seconden gepost? -> spam
2) IP opzoeken via een geoIP service, komt het uit china? -> spam (wij maken Nederlandse sites)
3) honeypot-veld maken; is het veld ingevuld? -> spam
4) is het comment-veld gevuld met html/bbcode/urls? -> spam
5) is het bericht waar op "gereageerd" wordt ouder dan 3 maanden -> spam

Dat werkt best aardig, al heb je er natuurlijk ook gewone users een klein beetje mee.... maar we hebben dan weer geen captcha nodig. Ik zou het nog willen verbeteren ooit, door met een score te werken, zodat je aan de verschillende genoemde voorwaarden een bepaalde score hangt en die bij elkaar optelt. Als je dan boven een bepaalde threshold komt dan weet je zeker dat het spam is.

[ Voor 22% gewijzigd door Ramon op 10-01-2014 08:51 ]

[Verwijderd]

Misschien kan dit je helpen: YouTube: Prevent automated form spam (PhpAcademy)

[ Voor 5% gewijzigd door Verwijderd op 10-01-2014 08:51 ]

[Xesxen]

_js_ schreef op vrijdag 10 januari 2014 @ 01:44:
Als je deze maatregel genomen had zonder dat duidelijk is voor de spammer dat zijn post is afgekeurd, dan waren ze er misschien niet snel achtergekomen dat het niet werkt. Ik zou dus geen foutmelding geven maar gewoon de geposte blog succesvol weergeven, ook al klopt het niet. De blog alleen voor het ip van de spammer weergeven en evt, na een paar minuten weer uit de database verwijderen

Bij registratie filteren wij ook een paar e-maildomeinen uit, wat dan resulteert in een "er is een fout opgetreden" melding zonder echte inhoudelijke melding.

sub0kelvin schreef op vrijdag 10 januari 2014 @ 02:53:
Heb je al gedacht aan het automatisch herkennen van de spam zelf in plaats van de spammer? Bijvoorbeeld met akismet of Mollom? Het feit dat ze door de recaptcha komen doet me namelijk denken dat het geen bots maar (deels) echte mensen zijn die de accounts registreren. Daarna zal het account gebruikt worden door een bot die de comments/blogs plaatst.

Dat kan wel eens helpen. Ik zal hier zo eens naar kijken

Verwijderd schreef op vrijdag 10 januari 2014 @ 08:46:
Je maakt aan de buitenwereld kenbaar dat je met wordpress draait.

Ik heb nooit gezegt dat er Wordpress draait. Het betreffende bloggingsgedeeldte (eigenlijk de hele site behalve het forum) is volledig eigen code.

Verwijderd schreef op vrijdag 10 januari 2014 @ 08:46:
_{Honeypot werkt als een charm. Extra veldje maken en verbergen met CSS. Wanneer een bot dat veldje invult dan heb je een hit. Een mens achter elke browser kan dat niet zien namelijk.}

Dat hebben we (had ik moeten vermelden) bij registratie ook geprobeerd, even 'spamstilte', maar het ging weer vrolijk door... (Ik had het veld postalcode (=postcode) genoemd)

[Solopher]

Ik maak ook gebruik van een hidden honeypot input field.
Echter laat ik de naam van dit input field steeds anders (random) zijn, hierdoor komen automatisch bots er niet meer door. Dit heeft erg effectief gewerkt bij mijn sites.

[TheNephilim]

Akismet! Die kun je ook gebruiken als je geen Wordpress gebruikt. Ze hebben een API en zodoende kun alle spamposts weren.

Wat wel raar is dat ze door je registratie formulier heen komen. Je zou zeggen dat het niet al te moeilijk is om die dicht te timmeren. reCaptcha werkt normaal gesproken wel goed, maarja ze blijven proberen natuurlijk.

Of een honey pot gaat werken, geen idee! Dan zul je het formulier helemaal om moeten gooien, ook qua veldnamen. Ze komen er immers al in en gaan dat extra veld niet meenemen als het daarvoor zonder ook werkte.

[BtM909]

Belangrijkste is eerst bepalen of het automated bots zijn of menselijke registratie + spam bot. Er worden nu teveel adviezen gegeven die alleen maar voor het een of het ander (en zelfs tegen kunnen werken) gelden.

[royduin]

Een andere captcha gebruiken? Bijvoorbeeld deze: http://areyouahuman.com/demo-playthru/. reCaptcha weten ze misschien op wat voor manier dan ook te omzeilen, maar een andere captcha ook?

[Firesphere]

Heb je Akismet al geprobeerd?

Het is vrij simpel te implementeren en werkt echt als een trein, bij mij worden van de 4000 "comments" er misschien 5 doorgelaten.

[Saven]

Xesxen schreef op donderdag 09 januari 2014 @ 23:28:
[...]

Er zijn inderdaad zat accounts welke binnen enkele minuten na registratie al spammen, maar er zitten ook accounts bij waar er een halve maand wordt gewacht tot er gespamd wordt. Over de captcha: ze komen er klaarblijkelijk nu al omheen, dus dan vraag ik mij af of dit het wel oplost.

Bij de eerste X aantal posts een captcha neergooien?

[ Voor 11% gewijzigd door Saven op 10-01-2014 18:17 ]

[Verwijderd]

wat vaak goed heeft gewerkt in mijn gevallen is een veld in een formulier met dan iets waarvan verwacht word dat het ingevuld moet worden bijvoorbeeld: email addres / naam / website maar dit veld is dan onzichtbaar gemaakt voor gebruikers en als dit veld word ingevuld verklaar je de post ongeldig,

[Xesxen]

Op het moment zijn we aan het kijken naar Akismet, maar door onder andere wat tijdzoneverschil duurt het wat langer...

BtM909 schreef op vrijdag 10 januari 2014 @ 12:24:
Belangrijkste is eerst bepalen of het automated bots zijn of menselijke registratie + spam bot. Er worden nu teveel adviezen gegeven die alleen maar voor het een of het ander (en zelfs tegen kunnen werken) gelden.

Het spammen stopte (voor even) zodra er aanpassingen werden gedaan aan het registratieformulier, dus dat zou kunnen betekenen dat er wel degelijk iets geautomatiseerd wordt. Óf dat volledig is, weet ik dus niet.

[CH4OS]

Firesphere schreef op vrijdag 10 januari 2014 @ 18:11:
Heb je Akismet al geprobeerd?

Third party Akismet wil je niet, dat schijnt nogal brak te presteren. Bovendien is Akismet ook niet gratis vanaf een bepaalde hoeveelheid posts dacht ik en in ieder geval niet als je het gebruikt op een commerciële website.

Een zogenaamde honeypot is altijd wel effectief, aangezien alle bots alle velden invullen.
Voor een community waar ik beheerder was werkte dat ook vrij effectief toen eenmaal bij ons de bots kwamen.

Een andere optie is om naast de reCAPTCHA gebruik te gaan maken van vragen, waarop de gebruiker dan antwoord geeft. Dan bedoel ik dingen als 'Welke kleur krijg je als je blauw met rood mengt?' bijvoorbeeld.

Saven schreef op vrijdag 10 januari 2014 @ 18:16:
Bij de eerste X aantal posts een captcha neergooien?

Kan, maar dan zou ik dat wel doen binnen Y tijd.

Ramon schreef op vrijdag 10 januari 2014 @ 08:46:
IP opzoeken via een geoIP service, komt het uit china? -> spam (wij maken Nederlandse sites)

Je weet dat GeoIP's ook nog wel eens wil falen en dat de gegevens dus niet 100% accuraat zijn of kloppen?

[ Voor 88% gewijzigd door CH4OS op 11-01-2014 02:14 ]

[Firesphere]

CptChaos schreef op zaterdag 11 januari 2014 @ 02:01:
[...]
Third party Akismet wil je niet, dat schijnt nogal brak te presteren. Bovendien is Akismet ook niet gratis vanaf een bepaalde hoeveelheid posts dacht ik en in ieder geval niet als je het gebruikt op een commerciële website.

"Thirdparty"? Ik had het over de door Akismet zelf geleverde handling classes!

Daarnaast is het niet per X posts en is hun begrip van "privaat/commercieel" vrij rekbaar

[Verwijderd]

Xesxen schreef op vrijdag 10 januari 2014 @ 09:52:
[...]

Dat hebben we (had ik moeten vermelden) bij registratie ook geprobeerd, even 'spamstilte', maar het ging weer vrolijk door... (Ik had het veld postalcode (=postcode) genoemd)

Kijk je logs een na, en dan met betreffende het "POST" gebeuren van spambots. Gewoon het IP in accesslogs gooien van zo'n spambot. Dan wordt heel snel duidelijk welk bestand ze misbruiken.

Wellicht dat de volgende code nuttig kan zijn voor je site. Deze doet 2 dingen waaronder het checken of reactieform daadwerkelijk wel gepost is vanaf je website zelf, of dat het 'direct' aangeroepen is (Meest voorkomende bij spambots). Wanneer het direct aangeroepen wordt (Dat zie je in je logs) dan stopt het.

Het tweede is een klassieke honeypot. Wordt dat veldje ingevuld (Bots zien opmaak niet) dan stopt het script nog voordat het de rest van je scriptwerk afhandeld.

code:

// Code bovenaan het bestand plaatsen die de comments verwerkt.. wel tussen de <? ?> tags.

if( !isset($_POST['naamreactieformulier'])) { die("No Direct Access"); }  // Controle of form daadwerkelijk is verzonden via de website, zo niet, doen we een sterf en zeggen we doei.

$spam = $_POST['honeypotnaam']; // Vul hierin het verborgen veldje op je formulier om een reactie achter te laten, wanneer deze ingevuld wordt trigger je je eigen honeypot

if($spam) {  
    die("Fout."); 
} else {
    // De rest van je code op een wel normale manier uitvoeren zodra beide niet van toepassing zijn
}

// Begin code

Vanzelfsprekend verberg je het veldje met css dat men niet kan zien. Werkt heel erg goed bij mij en ideaal voor zelfgeschreven code.

Zorg wel dat je de namen wijzigt aan de hand van je formulier, anders worden ook 'gewone' bezoekers ineens geblokkeerd met een reactie. Altijd testen dus.

[ Voor 4% gewijzigd door Verwijderd op 11-01-2014 03:15 ]

[Miyamoto]

@Jism: De code komt niet overeen met je beschrijving.
Die $_POST[naamreactieformulier'] slaat nergens op, die kan ik op een formuliertje op mijn eigen website ook toevoeggen (en dus toch naar jouw site post-en).
Beter (maar niet waterdicht) is controleren op referer. Dan klopt het ook met je beschrijving

Verder heeft TS aangegeven dat het verborgen veldje geen effect heeft.

[CH4OS]

Je doet net of een $_POST['naamVanFormulier'] iets slechts is, maar het is toch wel een érg basic manier van spampreventie. Makkelijk te omzeilen, dat zeker, maar zo handel je ook niet meer elke POST af, wat alleen maar kan schelen.

Wat wellicht een idee is, om een sessie te starten en daarin bij houden wat de referal URL is? Ik kan me voorstellen dat mensen eerst op een bepaalde pagina moeten komen, voordat men het registratie formulier of het nieuwe blogpost formulier voor ogen hebben. Ik kan mij niet voorstellen dat mensen dergelijke pagina's direct opvragen. Ook dit is een basale manier, maar alle beetjes helpen toch?

[ Voor 45% gewijzigd door CH4OS op 12-01-2014 02:00 ]

[Verwijderd]

Dat is nou exact de bedoeling ook... 99% van spammers gaan de moeite al niet eens meer nemen uit te zoeken waarom het niet werkt.

Vroeger was dat anders.... Maar tegenwoordig werkt men met tools om veelal blogs en shit af te struinen op waarop ze met relevantie kunnen spammen. Als 1 url niet werkt dan staan er 100.000 andere URL's voor hun klaar om wel te benutten.

Simpel en effectief houden. Spam houdt hier op hoor met dat script.

[ Voor 54% gewijzigd door Verwijderd op 12-01-2014 03:24 ]

[Miyamoto]

Als ik kijk naar de oplossingen die al zijn aangedragen en die TS al heeft geprobeerd, blijkt dat ie van doen heeft met de 1% die wel verder gaat. Daarom is deze oplossing dus redelijk waardeloos voor dit geval.

Tenzij de berichten op een andere manier geplaatst worden en er nog een onbeveiligde route bestaat op de site van TS...

[Adion]

CptChaos schreef op zaterdag 11 januari 2014 @ 02:01:
[...]
Je weet dat GeoIP's ook nog wel eens wil falen en dat de gegevens dus niet 100% accuraat zijn of kloppen?

En dat er Nederlanders zijn die wel eens in het buitenland verblijven?

[Guillome]

Solopher schreef op vrijdag 10 januari 2014 @ 10:02:
Ik maak ook gebruik van een hidden honeypot input field.
Echter laat ik de naam van dit input field steeds anders (random) zijn, hierdoor komen automatisch bots er niet meer door. Dit heeft erg effectief gewerkt bij mijn sites.

Als je dit doet icm sessie moet het werken toch?
Je zet een random code in je sessie en plaatst die in de input.
Bij de post controleer je of de code gelijk is aan je sessie

[Verwijderd]

Miyamoto schreef op zondag 12 januari 2014 @ 10:51:


Tenzij de berichten op een andere manier geplaatst worden en er nog een onbeveiligde route bestaat op de site van TS...

Daarom, POST logs van apache zijn waardevol.

Zo filter je precies eruit hoe ze het doen.