[WordPress] Welke dirs wel / niet indexeren door robots*

[Verwijderd]

Ik ben bezig met het optimaliseren van een website die draait op een Wordpress omgeving. Er handig met de handleiding van SEO icoon Joost de Valk.

Wordpress is opgebouwd uit honderden DIR's. Zou word er bijvoorbeeld aan de URL van de homepage altijd "wpmu/portal/" toegevoegd. Als ik in FTP inlog zie ik erg veel van dit soort DIR's. Zitten hier geen DIR's bij die door Google niet geïndexeerd hoeven worden? disallowen of niet?

[BtM909]

Wat doet WP default?

Sterker nog: ik ben even wezen [google=wordpress robots] en vind zo meer dan zat websites die je verder op weg helpen

[ Voor 75% gewijzigd door BtM909 op 22-04-2009 14:07 ]

[HuHu]

Alleen disallowen waarvan je zeker weet dat je het niet geïndexeerd wilt hebben. Maakt het niet uit of weet je het niet, lekker laten staan dan.

[BtM909]

HuHu schreef op woensdag 22 april 2009 @ 14:11:
Alleen disallowen waarvan je zeker weet dat je het niet geïndexeerd wilt hebben. Maakt het niet uit of weet je het niet, lekker laten staan dan.

Probleem is een beetje dat WP sommige directories als duplicates gebruikt. Als Google die zou spideren heb je al snel duplicate content hebben.

[Verwijderd]

Ik heb via jouw linkje het txt bestandje genaamd "the ultimate wordpress robots.txt" gevonden met de volgende inhoud:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

#User-agent: ia_archiver-web.archive.org
#Disallow: /

BRON

Lijkt het voor een kenner een betrouwbaar bestand?

[BtM909]

En als je de eerste vijf hits met elkaar vergelijkt

Iemand die hier roept dat het er betrouwbaar uitziet is net zo betrouwbaar als een willekeurige website die het roept

[ Voor 53% gewijzigd door BtM909 op 22-04-2009 15:07 ]

[Verwijderd]

Ik moet het ook gewoon eigenlijk allemaal zelf kunnen uitpluizen. Helaas gaat dat lastig op een wordpress blog van bedrijf. Misschien niet helemaal juiste topic maar is het niet mogelijk hele WP site te kopieren oid zodat ik met de offline versie kan kloten en doen wat ik wil?