[Google] Crawl-bot download geen pagina's

[basvd]

Een vreemd probleem wat zich eerder dit jaar ook al heeft voorgedaan, de crawl-bot download de pagina's niet. De cache van de pagina's in google staan (wss. mede hierom) nog steeds op 20-24 augustus.

- Reden voor de 'dip' in juni is tevens onbekend
- Er hebben geen (functionele) wijzigingen plaats gevonden, rond augustus.
- Robots.txt staat ook prima.
- De sitemaps.xml haalt hij wel netjes om de 2,3 dagen binnen.
- Het gaat om een kleine website 15-20 pagina's

Weet iemand toevallig de oorzaak van het probleem?

[RobIII]

Zijn de pagina's überhaupt gewijzigd? Kan me voorstellen dat ze anders niet worden gedownload. Daarbij zou ik graag de sitemaps.xml en robots.txt (en een url naar de site) eens zien; misschien stuur je rare cache-waarden ofzo

Bij een site van 15 tot 20 pagina's en een (evt.) lage PR zou me sowieso niet verbazen als het niet vaak/veel gecrawled word.

[ Voor 22% gewijzigd door RobIII op 15-09-2008 22:08 ]

[André]

Ik ken genoeg sites die klein zijn en weinig updaten die eens in de paar maand geïndexeerd worden. Dat is niets raars. Heb je een url?

[basvd]

Bedankt voor de tip over de cache-waarden.
Het zijn 15 statische HTML-pagina's, en er staat idd geen meta-tag vwb caching in. Ik ga dit sowieso even toevoegen, en kijken of het resultaat op gaat leveren.

Mocht dit alles geen resultaat geven, post ik even een link.

Pagina's waren trouwens wel gewijzigd qua tekst medio augustus, PR is 3

Edit: zie trouwens wel dat mijn persoonlijke website(basvandorst.nl, 1 pagina) ook voor het laatst ge-cached is op 23 augustus, zou het misschien iets met de server te maken kunnen hebben?

[ Voor 21% gewijzigd door basvd op 16-09-2008 22:13 ]