robots.txt foutje?

[Drucchi]

Op de robots.txt van het forum staat de disallow voor de user agent op Disallow: /forum/list_message/
terwijl topics staan onder /forum/list_messages/

Is dat een foutje?

[crisp]

Nee, list_message/ is de link naar een specifieke post in een topic (de link achter de datum/tijd van een post). list_messages/ is de algemene link voor de posts in een topic. Die laatste willen we wel geïndexeerd hebben, de eerste niet omdat dat simpelweg teveel unieke links oplevert, en duplicate content is voor seachengines.

[ Voor 25% gewijzigd door crisp op 24-09-2023 21:19 ]

[Drucchi]

I see, dan heb ik niks gezegd.