Google heeft geen toegang tot .CSS en .JS files...

[Stab]

Op de Webmaster Tools pagina krijg ik al een tijdje het bericht dat Google geen toegang krijgt tot .css en .js bestanden. Daardoor valt mijn ranking mogelijk lager uit.

Dit moet dus gefixed worden. Dit kan dacht ik alleen door het bestand robots.txt aan te passen toch?
Ik heb dat dus een aantal dagen geleden gewijzigd en nu heb ik dit als robots.txt:

User-Agent: Googlebot
Allow: *.js
Allow: *.css
Allow: /
User-agent: *
Allow: /

Ofwel, alles is geoorloofd om te crawlen. Voor alle bots. En de Googlebot heeft nog explicitiet toestemming om de js en css bestanden te crawlen.

Toch heeft dit niets aan te situatie veranderd. Op de dag dat deze nieuwe robots.txt is geupload heb ik namelijk 'Fetchen als Google' gedaan en die dag is de Googlebot ook langs geweest. Nog steeds heb ik 12 geblokkeerde bronnen... Allemaal js en css bestanden.

Ik heb de website gemaakt via een Wordpress template. Zou het nog ergens anders aan kunnen liggen? Of was het toch echt een kwestie van een verkeerde robots file en moet ik gewoon nog langer wachten? Nog andere tips?

Thanks!

[NMe]

Als je niks in je robots.txt opneemt gaat Google er sowieso van uit dat hij alles mag bekijken, dus als dit je volledige file is kun je hem net zo goed wegmikken.

Hoe zien die CSS- en JS-includes eruit in de head van je HTML?

[Audiowaste]

Je geeft aan dat je een Wordpress site gebruikt.
Probeer dit eens in je robot.txt bestand:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

User-agent: Googlebot
Allow: /wp-includes/

[Stab]

Thanks Audiowaste.

Waarom zou ik die 2 mappen 'disallowen'? Ik wil even geen risico lopen dat ik iets blokkeer wat mijn Google ranking verder kan doen dalen.

[André]

Dit komt vanzelf goed, je moet even geduld hebben. Er staat een datum van detectie achter, staan er nog datums bij van na je aanpassing? Zo nee, dan alles prima.

[Stab]

Ja ik dacht ook dat het daarmee te maken had, maar de bots zijn op 8 september nog langs geweest en dat was ook de dag dat ik de robots.txt had aangepast en had 'gefetched'. Wellicht liep het nog net langs elkaar heen. Nog even afwachten dan.

Maar even voor de zekerheid, de enige reden waarom Google uberhaubt geen toegang zou hebben tot bepaalde bronnen, is een verkeerde robots.txt file? Er is niets anders mogelijk?

[RobIII]

Ik verwacht veel eerder een .htaccess oid die dwars ligt.

[Audiowaste]

De CSS en JS bestanden van de Wordpress bestanden staan in de /wp-inludes/ folder.
Aangezien je het huidige robot.txt al een aantal dagen geleden hebt geüpdatet, zou het nu wel zichtbaar moeten zijn.

Normaal gesproken heeft Wordpress zelf standaard een robot.txt file, het kan zijn dat deze twee in conflict met elkaar zijn. In de standaard Wordpress file staan wp-admin en wp-includes voor de user agent * op disallow. Alleen voor Googlebot moet je dan /wp-includes/ allowen.

[Stab]

RobIII schreef op donderdag 10 september 2015 @ 16:30:
Ik verwacht veel eerder een .htaccess oid die dwars ligt.

Thanks.
Dit is mijn htaccess:

####ACCESS_HEADER###
####ACCESS_TAILER###
####ERROR_HEADER####
#ErrorDocument 400 
#ErrorDocument 401 
#ErrorDocument 402 
#ErrorDocument 403 
#ErrorDocument 404
#ErrorDocument 500 
#ErrorDocument 501 
#ErrorDocument 502 
#ErrorDocument 503 
####ERROR_TAILER####
####CUSTOM_HEADER####
# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# Redirect non-www to www.
RewriteCond %{HTTP_HOST} !^www\.
RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [R=301,L]

# END WordPress

# Leverage Browser Caching Ninja -- Starts here
# Do not write anything between "Leverage Browser Caching Ninja -- Starts" and "Leverage Browser Caching Ninja -- Ends"
# It will be deleted while uninstalling Leverage Browser Caching Ninja plugin
<IfModule mod_expires.c>
ExpiresActive On
ExpiresDefault "access plus 1 month"
ExpiresByType image/x-icon "access plus 1 year"
ExpiresByType image/gif "access plus 1 month"
ExpiresByType image/png "access plus 1 month"
ExpiresByType image/jpg "access plus 1 month"
ExpiresByType image/jpeg "access plus 1 month"
ExpiresByType text/css "access 1 month"
ExpiresByType application/javascript "access plus 1 year"
</IfModule>
# Leverage Browser Caching Ninja -- Ends here

[ Voor 0% gewijzigd door RobIII op 10-09-2015 18:07 ]

[Stab]

Audiowaste schreef op donderdag 10 september 2015 @ 16:31:
De CSS en JS bestanden van de Wordpress bestanden staan in de /wp-inludes/ folder.
Aangezien je het huidige robot.txt al een aantal dagen geleden hebt geüpdatet, zou het nu wel zichtbaar moeten zijn.

Normaal gesproken heeft Wordpress zelf standaard een robot.txt file, het kan zijn dat deze twee in conflict met elkaar zijn. In de standaard Wordpress file staan wp-admin en wp-includes voor de user agent * op disallow. Alleen voor Googlebot moet je dan /wp-includes/ allowen.

Ik heb net even via mijn FTP client gezocht en ik zie geen andere robots.txt file.

Wellicht moet ik nog even geduld hebben dan. Het kan niets te maken hebben met de filestructuur of iets anders toch? Anders wacht ik wel even af. Thanks iedereen.

[André]

Stuur eens een URL dan, dan zien we het direct.

[Gooly]

Ik heb me ook ooit sufgezocht naar zoiets. Bleek er een (SEO) plugin te draaien die er tussen zat.
Misschien heb je ook zoiets draaien?

[Stab]

Googlebot is eergisteren weer even langs geweest en er zijn nog steeds 11 geblokkeerde bronnen.

Ik heb inderdaad Yoast SEO Plug-in draaien. Die genereert inderdaad ook een robots.txt file, maar het maakt niet uit of ik hem in de Yoast editor aanpas of in de FTP cliënt want de wijzigingen zie je in beide versies dan terug.
Daarbij is Yoast essentiëel om aan te houden voor mijn Google ranking's en wil ik daar eigenlijk dus niet vanaf om te testen of dit het probleem veroorzaakt.

Iets anders kan ik zo echter niet verzinnen. Iemand een idee?

[ Voor 15% gewijzigd door Stab op 16-09-2015 12:03 ]

[NMe]

Begin eens met je HTML door de validator halen. Je hebt twee <html>-tags...

[Stab]

Die heb ik nu gefixt. Thanks NME.

Er zijn nu trouwens wel minder geblokkeerde bronnen dan een paar dagen geleden. Van 12 naar 8.
Kan het zijn dat de bots niet alles in een keer crawlen en dat het nu langzaam afneemt? Of moet er toch wat anders aangepast worden?

[xleeuwx]

Heb je ook je url http://www.site.nl/robot.txt in de browser bekeken ? Daarnaast zet Yoast plug-in eens uit dit om te controleren dat deze niet de oorzaak is.

[ Voor 19% gewijzigd door xleeuwx op 15-09-2015 00:55 ]

[Shivs]

Even offtopic, je hebt je Google Analytics code buiten je HTML staan. Die zou ik ook even binnen de HTML plakken.

[Stab]

xleeuwx schreef op dinsdag 15 september 2015 @ 00:55:
Heb je ook je url http://www.site.nl/robot.txt in de browser bekeken ? Daarnaast zet Yoast plug-in eens uit dit om te controleren dat deze niet de oorzaak is.

De /robots.txt werkt gewoon inderdaad. Google ziet ook geen problemen in de robots.txt tester tool.

Ik durf Yoast niet uit te zetten. Het duurt meestal wel een paar dagen voordat de bots de website opnieuw gecrawled hebben en Yoast is verantwoordelijk voor al mijn page descriptions / titles en kruimelpaden en dergelijke. Ik vrees dat mijn ranking dan hard kan kelderen...

[Stab]

JelkeBart schreef op dinsdag 15 september 2015 @ 09:29:
Even offtopic, je hebt je Google Analytics code buiten je HTML staan. Die zou ik ook even binnen de HTML plakken.

Thanks. Ik heb hem in de header geplakt en daarnaast ook op elke individuele pagina. Is dat laatste wellicht niet nodig? Dan kan ik het daar gewoon verwijderen.

[Shivs]

In de header zou voldoende moeten zijn