robots.txt niet gevonden op frontpage - Geachte redactie

donderdag 28 september 2006 09:07

Acties:

DinX

Motormuis

Topicstarter

Ik krijg hier op dit moment popups met de melding dat robots.txt niet gevonden is. Bestandje vergeten ?

Het gebeurt bij dit nieuwsbericht:

nieuws: Intel stopt vijftig nieuwe instructies in 45nm-chips

[ Voor 19% gewijzigd door DinX op 28-09-2006 09:09 ]

Marokko 2015: Route
Sat Tracker: SpotWalla
Blog: Gone for a ride

donderdag 28 september 2006 09:11

Acties:

Harm

Heb jij extensies in Firefox die dat bestand opvragen? Normaal behoort je browser dat bestand namelijk niet op te vragen voor zover ik weet en ik krijg die melding ook niet.

[edit]
Het bestand is er trouwens wel: http://tweakers.net/robots.txt.

[ Voor 17% gewijzigd door Harm op 28-09-2006 09:11 ]

donderdag 28 september 2006 09:17

Acties:

DinX

Motormuis

Topicstarter

Hmm, ik heb wat extentins verwijderd en nu doet hij het nderdaad niet meer. Best vaag, ik heb geen extentions die zoiets zouden kunnen doen. FasterFox misschien, die een beetje te fanatiek gaat "prefetchen"

Wel vaag dat hij het enkel met dat artikel deed.

Maarja, problem solved dus

edit: het is inderdaad FasterFox die ervoor zorgt dat het bestand geopend wordt. Maardan nog, waarom enkel bij dat artikel

[ Voor 26% gewijzigd door DinX op 28-09-2006 09:22 ]

Marokko 2015: Route
Sat Tracker: SpotWalla
Blog: Gone for a ride

donderdag 28 september 2006 15:01

Acties:

Qwerty-273

Meukposter

***** ***

Waarschijnlijk zal een van de links in het artikel verwijzen naar een site waar de robots.txt ontbreekt. In iedergeval FasterFox laad al in de achtergrond de gelinkte adressen in de pagina die je aan het bekijken bent, toch?

Erzsébet Bathory | Strajk Kobiet | You can lose hope in leaders, but never lose hope in the future.

donderdag 28 september 2006 15:02

Acties:

sjongenelen

dat klopt

werkt best lekker ook

you had me at EHLO

donderdag 28 september 2006 15:07

Acties:

crisp

Devver

Pixelated

Prettig te zien dat Fasterfox de robots.txt honoreerd bij het prefetchen, minder prettig dat ze het blijkbaar niet goed hebben afgevangen als dat bestand niet bestaat

Aan de andere kant genereerd een dergelijk prefetching mechanisme wel onnodige requests en onnodig dataverkeer en dat is minder prettig voor ons...

Intentionally left blank

donderdag 28 september 2006 15:12

Acties:

AtleX

Tyrannosaurus Lex 🦖

Hij pakt wel 404 (file not found) errors, maar 550 snapt hij weer niet.

Sole survivor of the Chicxulub asteroid impact.

donderdag 28 september 2006 15:25

Acties:

crisp

Devver

Pixelated

Hij is sowieso severely broken:

JavaScript:

function getAbsoluteUrl(url, docUrl) { 
    if(url && url.indexOf('://')>0) return url;
    docUrl=(docUrl)? docUrl.substring(0,docUrl.lastIndexOf('/')+1):dynapi.documentPath;
    url=url.replace(/^(.\/)*/,'');
    docUrl=docUrl.replace(/(\?.*)$/,'').replace(/(#.*)*$/,'').replace(/[^\/]*$/,'');
    if (url.indexOf('/')==0) return docUrl.substring(0,docUrl.indexOf('/',docUrl.indexOf('//')+2))+url;
    else while(url.indexOf('../')==0){
        url=url.replace(/^..\//,'');
        docUrl=docUrl.replace(/([^\/]+[\/][^\/]*)$/,'');
    };
    return docUrl+url;
}

var url = 'nieuws/44583/Yahoo-en-Microsoft-voegen-IM-diensten-samen.html';
var docUrl = 'http://tweakers.net/nieuws/44583/Yahoo-en-Microsoft-voegen-IM-diensten-samen.html';

alert(getAbsoluteUrl(url, docUrl));

geeft:

[norml]http://tweakers.net/nieuws/44583/nieuws/44583/Yahoo-en-Microsoft-voegen-IM-diensten-samen.html[/norml]

oftewel: onze <base href="http://tweakers.net/"> in de <head> wordt straal genegeerd.

* crisp klust even een regeltje in de robots.txt om Fasterfox te weren

Sowieso is ook het (per default) opschroeven van de max-connections naar waarden die ver boven de geadviseerde waarden in de RFC liggen niet tof

Intentionally left blank