Voor diegene die het niet kent;
Door een robots.txt file in de root van je webserver te zetten, kan je aangeven waar de "spiders" van de zoekmachines wél, en waar juist niét mogen komen.
Op deze manier kan je bepalen welke pagina's wel/niet in de zoekmachines worden ge-indexeerd.
Mijn vraag:
Als je in je robots.txt file aangeeft dat je niet wilt hebben dat er door de zoekmachines verder wordt gekeken dan die root, en er dus niet allemaal "geheime" directories worden ge-indexeerd is dat eenvoudig in te stellen.
MAAR... Stel dat je -buiten je gewone domein met server- een re-direct domein hebt.
Jeweetwel, sjaakmanweethetniet.com ofzo heeft zelf geen webruimte, maar wordt automatisch ge-redirect naar domein.com/meersites/sjaakmansite
Je kan er natuurlijk voor kiezen om in de robots.txt het pad domein.com/meersites/sjaakmansite niet te blokkeren, maar dan kom je met een verkeerd URL in de zoekmachines terecht, namelijk met domein.com/meersites/sjaakmansite ipv sjaakmanweethetniet.com.
Ik kan natuurlijk ook een robots.txt in domein.com/meersites/sjaakmansite zetten, maar volgens mij komt 'ie daar dan niet omdat er in de root al een robots.txt staat. En ik denk dat al 'ie ge-redirect wordt, dat 'ie in de root begint met kijken...
Ik heb al gezocht op het net, en op deze site is er het meest over te vinden, maar ik kan niet achterhalen hoe het zit met re-directdomeinen op een server..
Anyone ?
Door een robots.txt file in de root van je webserver te zetten, kan je aangeven waar de "spiders" van de zoekmachines wél, en waar juist niét mogen komen.
Op deze manier kan je bepalen welke pagina's wel/niet in de zoekmachines worden ge-indexeerd.
Mijn vraag:
Als je in je robots.txt file aangeeft dat je niet wilt hebben dat er door de zoekmachines verder wordt gekeken dan die root, en er dus niet allemaal "geheime" directories worden ge-indexeerd is dat eenvoudig in te stellen.
MAAR... Stel dat je -buiten je gewone domein met server- een re-direct domein hebt.
Jeweetwel, sjaakmanweethetniet.com ofzo heeft zelf geen webruimte, maar wordt automatisch ge-redirect naar domein.com/meersites/sjaakmansite
Je kan er natuurlijk voor kiezen om in de robots.txt het pad domein.com/meersites/sjaakmansite niet te blokkeren, maar dan kom je met een verkeerd URL in de zoekmachines terecht, namelijk met domein.com/meersites/sjaakmansite ipv sjaakmanweethetniet.com.
Ik kan natuurlijk ook een robots.txt in domein.com/meersites/sjaakmansite zetten, maar volgens mij komt 'ie daar dan niet omdat er in de root al een robots.txt staat. En ik denk dat al 'ie ge-redirect wordt, dat 'ie in de root begint met kijken...
Ik heb al gezocht op het net, en op deze site is er het meest over te vinden, maar ik kan niet achterhalen hoe het zit met re-directdomeinen op een server..
Anyone ?