Google en javscript framework / ajax-site

[Guillome]

Beste,

We hebben onze nieuwe webshop gebouwd in een data-binding framework (knockoutjs).
Volgens de documenten van google en google`s testsuites moet dit heel goed mogelijk zijn voor google om deze sites te crawlen.

Zodra je op de shop komt wordt alles met JS opgehaald en getoond. Filters/bladeren en producten openen.

Wat we hebben:
- Urls in de normale schrijfwijze (/product/product-slug) welke afgevangen worden met javascript en ajax calls gedaan worden.
- Elke url kan rechtstreeks benaderd worden. Browser handelt de url af met javascript, als het een google bot betreft krijg je een statische HTML pagina met de content.
- Alle oude urls hebben een 301 forward gekregen naar de nieuwe url

De sites werken niet als je javascript uitschakelt.

En toch zijn de resultaten van organische vindbaarheid slecht. Flink verslechterd tov. de oude site welke geen js framework was maar serverside gerenderde html.

Heeft er iemand ervaring mee hoe dit komt? Onze internetmarketing adviseur zegt dat google helemaal niet overweg kan met javascript websites. Moeten we alles ombouwen dat het weer werkt zonder javascript?

Het is zo gek omdat google statische html voorgeschoteld zou moeten krijgen. Als ik dit test met een chrome-plugin om mijn user-agent te veranderen naar google bot, dan zie ik inderdaad mooi de statische html pagina.
Of is het noodzakelijk de site geschikt te maken zonder javascript?

[ Voor 4% gewijzigd door Guillome op 21-11-2017 10:52 ]

[Verwijderd]

Kijk eerst even of dat echt klopt, dan: Fetch as Google

[ Voor 12% gewijzigd door Verwijderd op 21-11-2017 12:03 ]

[Guillome]

Dat hebben we al gedaan en hij fetcht de site goed, wil zeggen: hij haalt mooi de static html site op. Echter, analytics en de conversies zijn flink teruggelopen sinds we geswitcht zijn.

[ Voor 15% gewijzigd door Guillome op 21-11-2017 12:26 ]

[Juup]

Ik dacht altijd dat google een dikke penalty gaf als googlebot iets anders voorgeschoteld kreeg dan een neutrale useragent?

[Verwijderd]

Guillome schreef op dinsdag 21 november 2017 @ 12:23:
Dat hebben we al gedaan en hij fetcht de site goed...

Dan is technisch gezien de HTML in orde voor Google. De 301's werken ook goed?

Is de inhoud van de (statische) pagina's veel veranderd t.o.v. de vorige versie?

[Guillome]

@Verwijderd
301 werken goed, grotendeels zijn alle urls gewoon werkend gebleven, dus zonder 301.
De inhoud van de pagina`s is wel veranderd. Er staat nog steeds een afbeelding, prijs, titel en omschrijving.
Maar de html structuur is logischerwijs anders en de layout ook.

Ik heb nog wat meer onderzoek gedaan:

Ik lees wederom dat google heel goed in staat is om javascript-sites te indexeren en crawlen. En het feit dat de resultaten van de shops ook voorkomen in google (bijv site:webshopdomein.nl komen volgens mij alle producten naar voren) geeft aan dat google het prima indexeert. Sommige reacties beweren echter weer dat het toch verstandig is om een static page aan te bieden aan google. Dit omdat het indexeren niet een probleem is, maar meer het crawlen. En hiermee het beoordelen van belangrijkheid van content en onderdelen van de pagina een probleem is.

Ik hoor hier dus van iemand dat als je googlebot een andere site voorschotelt dan de gebruiker dat je een zware penalty krijgt.
Google`s 'fetch as google' tool geeft ook prima de site weer als ik de normale site toon ipv de static html pagina.

Ik denk dus dat de reden van het organisch laag scoren op google te maken heeft met andere zaken dan het gebruik van JS / JS framework.
Andere onderzoeken, google`s berichten hierover en blogs van mensen die hier over schrijven bevestigen dit. Sommige reacties op die blogs nuanceren het af en toe weer.

1 van de bronnen met veel verwijzingen naar andere blogs/goolges berichten: https://medium.freecodeca...-the-backend-74ce5015c0c9

[ Voor 4% gewijzigd door Guillome op 21-11-2017 14:11 ]

[418O2]

Google-Bot gebruikt de engine van Chome 41, die is niet zo sterk met ES6/7, pas je dat toe?

[Verwijderd]

Dat Google aparte HTML-versies voor crawlen aanraadde schijnt al in 2015 ingetrokken te zijn. Misschien op 1 site eens proberen zonder statische pagina's en kijken hoe dat presteert t.o.v. de rest?

[Guillome]

418O2 schreef op dinsdag 21 november 2017 @ 14:12:
Google-Bot gebruikt de engine van Chome 41, die is niet zo sterk met ES6/7, pas je dat toe?

Nee dat wordt gecompiled door babel naar gewone js/ES5.

[CrashOne]

Je moet je een aantal dingen realiseren als je volledig van JavaScript afhankelijk bent:

• Google voert alleen JavaScript uit die niet door gebruiker events getriggerd worden
• Je JavaScript moet binnen 5 (eigenlijk 5,3) seconde na de render uitgevoerd worden. Later? Dan ziet Google het niet.
• Google moet extra moeite doen om je pagina's goed te kunnen crawlen: Caffeine/WRS rendert je pagina inclusief Javascript. Dat is bij een statische HTML pagina niet nodig. JavaScript is dus duur voor Google. Dat heb je afgevangen door Google statische HTML te serveren
• Als je statische HTML anders rendert dan de dynamische pagina, dan kan (kans is klein) je een probleem krijgen
• Als je site structuur slecht is, je pagina's zelf niet goed en je intern slecht linkt, dan ga je gewoonweg minder goed ranken, ook als Google statische HTML krijgt geserveerd.

Ik denk dat je probleem in het laatste punt zit.

Los daarvan:

• Is de cache in Google gelijk aan wat je serveert?
• Kan je je site zelf als Google crawlen (met een tool)?
• Staan er normale links in je statische HTML?
• Staat je content in je statische HTML?
• Hoe lang is het geleden dat de nieuwe site live is gegaan?
• Wat zeggen je server logs over het crawlgedrag van Google?
• Geen duplicate content aanwezig?
• Geen oneindig/groot aantal URL's dat gegenereerd wordt (waardoor je veel onzinnige pagina's in Google krijgt en je crawlbudget hieraan opgaat)?

[Guillome]

Wat we nu hebben toegevoegd op aanraden van onze seo expert:
Als je de site opent en je hebt geen JS ondersteuning kom je ook op de statische pagina terecht. Dit om google de statische pagina te tonen. Volgens mij onnodig omdat dat al gebeurt, maar dat wilde hij graag.

Bedankt CrashOne! Reacties:

1. is geen issue
2. hoe meet ik dit? Google Chrome meldt dat de site zonder cachging aan in 2.3 sec compleet geladen is
3. -
4. het grootste verschil met de statische versie is dat we geen sidebar tonen met alle filters. De rest is op wat kleine nuanceverschillen na gelijk. Teksten en afbeeldingen en indeling is gelijk. Zou die sidebar een probleem kunnen zijn?
5. hoe kan ik dit testen? volgens mij is er met de html structuur niets mis. Ik heb wat google richtlijnen hiervoor gebruikt. Interne links zijn nu nog beter dmv een footer waar de sitemap in staat. Mogelijk was dit eerst een probleem omdat het menu niet uit te klappen was zonder javascript. De html bevatte wel de links, maar waren niet zichtbaar voor de gebruiker. Misschien ziet google bot dat ook?

Los daarvan punten:
1. in de cache staat de statische pagina, niet diegene die de gebruikers zien.
2. ja google`s fetch-als-google tool laat de (js versie)site prima zien
3. ja, maar zie het verhaal over het menu en de footer.
4. ja dezelfde content als op de gewone site, zie uitleg hierboven
5. half jaar tot een jaar geleden (verschillende shops)
6. ik weet niet precies wat je hiervan wilt weten maar ik zie in de access log heel vaak googleBot/2.1 langs komen. 10.000 keer vandaag om precies te zijn, en dat is voor 20 webshops met +- in totaal 3 tot 5 duizend producten
7. niet tot nagenoeg niet. Misschien staat er her en der een product in 2 categorieën. Is dit misschien een probleem?
8. Neen