[PHP/Javascript] WebCrawlers omzeilen

[WOmBaT]

Hoi,

Ik heb een tijdje na zitten denken om eens van die irritante spam af te komen. Ik heb net wat code geschreven in php en javascript (niet-getest) om WebCrawlers te omzeilen:

HTML:

<form name="emailForm" action="emailredirector.php" method="post">
  <input type="hidden" name="formposted" value="true" />
  <input type="hidden" name="email" value="encodedEmailAddress" />
  <input type="hidden" name="subject" value="blaat" />

  <a href="javascript:goToEmail()">Email us</A>
</form>

<script language="JavaScript">
function goToEmail()
{
  document.emailForm.submit();
}
</script>

emailRedirector.php:

PHP:

<?
  if ($_POST['formposted'] == "true") {
    header("Location: mailto:" . emailDecode($_POST['email']) . "?" . $_POST['subject']);
  } else {
    echo "No WebCrawlers allowed!";
  }

  function emailDecode($blaat) {
    // decodeer $blaat met een of andere mooie functie
    // return $decode;
  } 
?>

Is mijn denkwijze correct? Is dit een goede manier om Webcrawlers te omzeilen of mis ik nog dingen?

Oeps, topictitel vergeten : Graag wijzigen naar WebCrawlers omzeilen of iets dergelijks

[ Voor 69% gewijzigd door WOmBaT op 06-01-2005 12:53 . Reden: Typo fixed |:( ]

[Janoz]

Waarschijnlijk werkt het zelfs al waneer je:

JavaScript:

document.write('<a href="');
document.write('mail');
document.write('to');
document.write(':janoz');
document.write(chr(64));
document.write('tweakers.net');
document.write('">mail me</a>');

Dan heb je php niet eens nodig. Bovenstaande heeft het mailto linkje en de email zelf al zo geobfuscated dat het voor een script al lang niet meer loont om de volledige javascript te gaan parsen om op die manier het email adres te achterhalen.

[ Voor 32% gewijzigd door Janoz op 06-01-2005 12:59 ]

[WOmBaT]

Klopt, dat wilde ik aanvankelijk ook als deel van deze implementatie kiezen, maar geavanceerdere crawlers die bijvoorbeeld een Internet Explorer component integreren kunnen ook de gegenereerde source bekijken. Hoogst onwaarschijnlijk, dat wel maar ik wil gaan voor net dat beetje extra veiligheid.

Maar goed, dat betekent ook dat ze dan een onClick op een link zullen kunnen simuleren, misschien ben ik toch net iets te wantrouwend.

[ Voor 19% gewijzigd door WOmBaT op 06-01-2005 13:03 ]

[PhoeniX-]

Ik encodeer server side alle mailadressen, en laat javascript ze client side weer decoden.
Ik gebruik het volgende om dat te doen:

PHP:

        function javascriptCrypt($st) {
                $html = $st;
                $enc_string = "";
                $html = str_replace("\r\n", "",$html);
                $length = strlen($html);

                for ($i=0;$i<$length;$i++){
                        $current_chr = substr($html, $i, 1);
                        $inter = ord($current_chr)+3;
                        $enc_string .= chr($inter);
                }
                return $enc_string;
        }

JavaScript:

var a, s, n;
function UnCrypt(s) {
    r='';
    for(i=0;i<s.length;i++){
        n=s.charCodeAt(i); 
        if (n>=8364) {
            n = 128;
        } 
        r += String.fromCharCode( n - 3 ); 
    }
    return r;
}

Een link komt er dan ongeveer zo uit te zien:
javascript:location.href=UnCrypt('pdlowr=skrhql{Cgr0lw0zheghvljq1qo');

Ik hoop dat je er wat aan hebt

edit:

Het slaat niet helemaal op jouw situatie, maar ik denk dat het duidelijk genoeg is om (als basis) te gebruiken voor jouw situatie

[ Voor 16% gewijzigd door PhoeniX- op 06-01-2005 13:43 ]

[Skaah]

Je offert nu wel een deel van je accessability op voor wat minder spam.

Zo kunnen visueelgehandicapten, of mensen met een tekst-browser, of zonder javascript, je niet meer emailen.

[clevy]

denk niet dat het met een form werkt, op een site heb ik een response form dat dmv php een mail naar de webmaster stuurt. dat komt nogal eens leeg aan met als referer adres een webcrawler. blijkbaar submitten die dingen ook forms om verder te crawlen.

[WOmBaT]

Thanx, die kan denk ik goed geintegreerd worden in deze oplossing

Ik neem aan dat alle textuele versies (geen images met emailadressen) hiermee wel gedekt zijn of bestaan er nog alternatieve manieren?

clevy schreef op donderdag 06 januari 2005 @ 13:53:
denk niet dat het met een form werkt, op een site heb ik een response form dat dmv php een mail naar de webmaster stuurt. dat komt nogal eens leeg aan met als referer adres een webcrawler. blijkbaar submitten die dingen ook forms om verder te crawlen.

Is dat een POST of een GET form. Het feit dat ie leeg aankomt, is dat omdat de crawler navigeert naar de url die in je action gespecificeerd is en er altijd een mail gestuurd wordt? Om dat te voorkomen wilde ik juist die hidden variabele gebruiken

Verwijderd schreef op donderdag 06 januari 2005 @ 13:57:
[...]


Alsjeblieft, doe het niet. Ik word zo moe van al die sites waar basisfunctionaliteit als right click, open in new window niet werkt...

Of wat dacht je van die sites die als je rechtsklikt een popup met iets als 'U hebt geen toestemming om de HTML source te bekijken' laten zien? Pathetisch gewoon.

Zover wil ik het ook niet laten komen. Met een normale javascript browser navigeer je nog steeds naar de emaillink. Rightclick disablen hoeft voor mij niet. Het gaat me alleen om het automatisch verzamelen van emailadressen te voorkomen.

[ Voor 90% gewijzigd door WOmBaT op 06-01-2005 14:01 ]

[Verwijderd]

WOmBaT schreef op donderdag 06 januari 2005 @ 13:01:
Klopt, dat wilde ik aanvankelijk ook als deel van deze implementatie kiezen, maar geavanceerdere crawlers die bijvoorbeeld een Internet Explorer component integreren kunnen ook de gegenereerde source bekijken. Hoogst onwaarschijnlijk, dat wel maar ik wil gaan voor net dat beetje extra veiligheid.

Maar goed, dat betekent ook dat ze dan een onClick op een link zullen kunnen simuleren, misschien ben ik toch net iets te wantrouwend.

Alsjeblieft, doe het niet. Ik word zo moe van al die sites waar basisfunctionaliteit als right click, open in new window niet werkt...

Of wat dacht je van die sites die als je rechtsklikt een popup met iets als 'U hebt geen toestemming om de HTML source te bekijken' laten zien? Pathetisch gewoon.

[WOmBaT]

Verwijderd schreef op donderdag 06 januari 2005 @ 13:57:
[...]


Alsjeblieft, doe het niet. Ik word zo moe van al die sites waar basisfunctionaliteit als right click, open in new window niet werkt...

Of wat dacht je van die sites die als je rechtsklikt een popup met iets als 'U hebt geen toestemming om de HTML source te bekijken' laten zien? Pathetisch gewoon.

Wat ik bedoelde met gegenereerde source is de totale output van een pagina, zoals die er in html zou uitzien, zonder document.write te gebruiken. Als je dus

HTML:

<script>document.write('blaat')</script>

zou gebruiken zou je als html source alleen

HTML:

blaat

zien en dus ook zo geobfuscate emailaddressen. Dat iemand voor de rest in mijn source wil kijken moet ie zelf weten, dan wens ik em veel plezier

[Verwijderd]

WOmBaT schreef op donderdag 06 januari 2005 @ 14:14:
[...]


Wat ik bedoelde met gegenereerde source is de totale output van een pagina, zoals die er in html zou uitzien, zonder document.write te gebruiken. Als je dus

HTML:

<script>document.write('blaat')</script>

zou gebruiken zou je als html source alleen

HTML:

blaat

zien en dus ook zo geobfuscate emailaddressen. Dat iemand voor de rest in mijn source wil kijken moet ie zelf weten, dan wens ik em veel plezier

OK (gerustgesteld)