Vraag over robots.txt in comb. met redirect domein

Pagina: 1
Acties:
  • 105 views sinds 30-01-2008
  • Reageer

  • Sjaakman
  • Registratie: Juni 2001
  • Laatst online: 18-03-2021
Voor diegene die het niet kent;
Door een robots.txt file in de root van je webserver te zetten, kan je aangeven waar de "spiders" van de zoekmachines wél, en waar juist niét mogen komen.
Op deze manier kan je bepalen welke pagina's wel/niet in de zoekmachines worden ge-indexeerd.

Mijn vraag:
Als je in je robots.txt file aangeeft dat je niet wilt hebben dat er door de zoekmachines verder wordt gekeken dan die root, en er dus niet allemaal "geheime" directories worden ge-indexeerd is dat eenvoudig in te stellen.

MAAR... Stel dat je -buiten je gewone domein met server- een re-direct domein hebt.
Jeweetwel, sjaakmanweethetniet.com ofzo heeft zelf geen webruimte, maar wordt automatisch ge-redirect naar domein.com/meersites/sjaakmansite

Je kan er natuurlijk voor kiezen om in de robots.txt het pad domein.com/meersites/sjaakmansite niet te blokkeren, maar dan kom je met een verkeerd URL in de zoekmachines terecht, namelijk met domein.com/meersites/sjaakmansite ipv sjaakmanweethetniet.com.

Ik kan natuurlijk ook een robots.txt in domein.com/meersites/sjaakmansite zetten, maar volgens mij komt 'ie daar dan niet omdat er in de root al een robots.txt staat. En ik denk dat al 'ie ge-redirect wordt, dat 'ie in de root begint met kijken...

Ik heb al gezocht op het net, en op deze site is er het meest over te vinden, maar ik kan niet achterhalen hoe het zit met re-directdomeinen op een server..

Anyone ?

  • RM-rf
  • Registratie: September 2000
  • Laatst online: 20:06

RM-rf

1 2 3 4 5 7 6 8 9

je redirect domein zal sowieso niet meetellen, immers waar pagina's geindexeerd worden slaat hij toch echt de url op, dus het complete domein, en gaat hij niet redirecten naar je goedkope domeintje (kan me wel voorstellen dat er nu strafpunten staan op lege redirect domeintjes)

wat je kunt doen is je redirect domeinnaam in je title verwerken en evt in je description, dan verschijnt die iig

natuurlijk kun je in robots.txt aangeven dat alles denied is voor spidering, maar betwijfel of dat is wat je wilt, kan wel eens betekenen dat je gewoonweg niet gevonden meer wordt.

als robots text wilt gebruiken dien je dat gewoon in de root te zetten van het domein dat je gebruikt, voor pagina's die op die server staan, anders zou het wel erg vreemd werken als je in een robots.txt definities kan aangeven hoe een robot andere domeinen zou dienen te checken

Intelligente mensen zoeken in tijden van crisis naar oplossingen, Idioten zoeken dan schuldigen