Robots.txt een subdomein laten blokkeren vanuit superdomein.

[Arcane Apex]

Ik vroeg mij af of het mogelijk is om een subdomein te blokkeren in robots.txt. Het gewone domein mag wel gespiderd worden, maar 1 subdomein moet niet gespiderd worden. Echter hier is de catch. Ik wil aangeven in de robots.txt op het gewone domein, dat het subdomein niet gespiderd mag worden. Het is dus de bedoeling geen aparte robots.txt in het subdomein te plaatsen.
Mijn vraag is of dat mogelijk is en zo ja, hoe?

[Erkens]

Nee, je moet een aparte robots.txt maken per (sub)domein.

[gorgi_19]

robots.txt moet je dan dynamisch laten genereren.

[Arcane Apex]

gorgi_19 schreef op dinsdag 06 januari 2009 @ 12:35:
robots.txt moet je dan dynamisch laten genereren.

Bedankt, dat is een goed idee.

[Erkens]

gorgi_19 schreef op dinsdag 06 januari 2009 @ 12:35:
robots.txt moet je dan dynamisch laten genereren.

Dan nog moet je die robots.txt laten serveren vanaf elk subdomein

[NMe]

Erkens schreef op dinsdag 06 januari 2009 @ 12:49:
[...]

Dan nog moet je die robots.txt laten serveren vanaf elk subdomein

Uiteraard, maar je hoeft er dan geen duizend te schrijven.

[Erkens]

NMe schreef op dinsdag 06 januari 2009 @ 13:02:
[...]

Uiteraard, maar je hoeft er dan geen duizend te schrijven.

Ook dat ligt natuurlijk aan de gebruikte file/directory structuur en of de subdomeinen ook op dezelfde server draaien