Googlebot volgt geen links op mijn pagina

[TygeR]

Het is alweer een aantal maanden geleden dat ik de site www.blokjeom.nl heb gelanceert. na het lanceren heb ik de site direct opgegeven bij google en al snel kwamen er googlebotjes bij de site langs, en werd de index.php pagina van de site geïndexeert, maar hier bleef het bij. Uit mijn counter statestieken (voor iedereen toegankelijk in de rechter werkbalk) kan ik zien dat de googlebots alleen mijn index pagina bezoeken en verder geen links volgen, waardoor mijn site niet te vinden met belangrijke key-words. ik heb gelijk contact opgenomen met google maar naa 3 maanden nogsteeds geen reactie, vandaar dat ik het hier nog eens probeer.

even een paar belangrijke zaken op rij:
- De site wordt volledig dinamisch gegenereerd door een php script
- Via de $_GET methode wordt geswitched tussen de verschillende pagina's
- Alle mogelijke <meta tags zijn op de site aanwezig
- Alle tips om de site googlebot vriendelijk te maken zijn zo mogelijk opgevolgd

en toch nogsteeds geen goede indexering:
http://www.google.nl/sear...jeom.nl&btnG=Zoeken&meta=

[Wacky]

Die pagina staat ook pas 2 dagen in de cache. De googlebot komt officieel maar 1 keer per 3 a 4 weken de hele site spideren. Ik denk dat het een kwestie van geduld is ...

[.oisyn]

Dit soort vragen passen beter in Webdesign & Graphics
PW -> WG

[TygeR]

De pagina staat al een paar maanden in de cache maar hij wordt regelmatig geupdate. dan verspringt die datum ook weer. En ik krijg bijna elke dag googlebots op visite.

[dotcode]

Misschien moet je een robots.txt file maken. Dat zou wel eens kunnen helpen.

[TygeR]

Een robots.txt file wordt toch alleen gebruikt om bots aan te geven waar ze niet mogen komen? en niet waar ze wel mogen komen

op moet ik een robots.txt file plaatsen met de volgende inhoud:

User-agent: googlebot
Disallow:

zodat googlebot weet dat hij alles mag?

[André]

Alles in de site ziet er goed uit. Het enige wat ik kan bedenken is dat er ergens een verdwaalde robots.txt staat of dat je site een penalty heeft. Heb je vroeger ooit aan cloaking of spam gedaan?

Je sitemap doet het trouwens ook niet

[ Voor 12% gewijzigd door André op 12-08-2005 13:16 ]

[We Are Borg]

volgens mij is zo'n file behoorlijk nutteloos als je toch niks bij disallow zet

[André]

Als ik ergens op klik en dan weer gewoon www.blokjeom.nl doe wordt ik naar de pagina gestuurd die ik het laatste bekeken heb ipv de homepage. Loopt google hier niet op stuk?

[Luuk1983]

Je site BESTAAT alleen maar uit index.php wat google betreft. Google kan en doet niks met querystrings en kan deze ook niet begrijpen. Ik heb al redelijk veel websites geoptimaliseerd voor google en een querystring gebruiken is voor google uit den boze.

Wat je moet doen is naar een manier zoeken om een vertaalslag te maken naar een andere naam. Komen die querystring waarden uit een database? Dan zou je een extra veld op kunnen geven van hoe je de pagina wilt noemen en programmatechnisch elke keer een vertaalslag maken. Ik weet dat het met ASP.NET kan, hoe dat met PHP moet weet ik niet.

Maar met de huidige opzet zal google 'm NOOIT indexeren.

[supakeen]

Als je multiviews gebruikt op apache dan indexeert google wel goed. Google doet niks met index.php?c=b&poep=jagraag maar wel met index.php/b/jagraag

[TRON]

zmn schreef op vrijdag 12 augustus 2005 @ 13:35:
Als je multiviews gebruikt op apache dan indexeert google wel goed. Google doet niks met index.php?c=b&poep=jagraag maar wel met index.php/b/jagraag

^^ met hem. Bij mijn songteksten site heeft dit zeer zeker ook geholpen.

[Verwijderd]

Volgens de website van Google kan hij inderdaad problemen hebben met die query-strings, echter komen ze wel degelijk bij Google voor:

http://www.google.nl/sear...e%3D%22&btnG=Zoeken&meta=

[djluc]

Alleen de querystring als onderstaande wordt geindexeerd schijnbaar:
http://www.jesite.com/index.php?id=443
Maar dus niet:
http://www.jesite.com/index.php?idofzo=443

[TygeR]

Bedankt voor het vaststellen van de oorzaak! dit is in ieder geval al een stap in de richting en het klinkt idd ook vrij logisch.

Nu een oplossing, vanuit php is het niet mogelijk om een pagina naam te veranderen.
querry strings zou ik misschien kunnen gebruiken maar zijn ze uitgeschakeld dan kan ik er niet bij omdat ik de site niet zelf host.

De opbouw van de site is als volgt:
Index.php is samen met design.css de layout en het design van de site. De inhoud van de site staat in plain txt file's elke pagina heeft zijn eigen inhoud file, doormiddel van de pageName sessie variabele wordt de inhoud file geselecteert.

Zou het mogelijk zijn om de switch naar een andere pagina binnen index.php te laten verlopen via de volgende link?
verwerk.php?pageName=news
en dan vervolgens in verwerk de sessievariabele veranderen en te redirecten naar index.php? of denkt google dan nogsteeds dat het om 1 pagina gaat?

[TygeR]

djluc schreef op vrijdag 12 augustus 2005 @ 13:45:
Alleen de querystring als onderstaande wordt geindexeerd schijnbaar:
http://www.jesite.com/index.php?id=443
Maar dus niet:
http://www.jesite.com/index.php?idofzo=443

Deze conclusie begrijp ik niet helemaal? bedoel je dat als ik de variabele pageName verander in id dat hij hem dan wel meneemt?

[TRON]

Maak gebruik van .htaccess (mod_rewrite)

code:

RewriteEngine On 
RewriteBase /

RewriteRule ^/pictures/([0-9]+)(|\/)$   index.php?page=pictures&picture_id=$1
RewriteRule ^/pictures(|\/)$        index.php?page=pictures

[P_de_B]

djluc schreef op vrijdag 12 augustus 2005 @ 13:45:
Alleen de querystring als onderstaande wordt geindexeerd schijnbaar:
http://www.jesite.com/index.php?id=443
Maar dus niet:
http://www.jesite.com/index.php?idofzo=443

Juist andersom. Querystring parameters met de naam id worden niet geindexeerd

quote: http://www.google.nl/intl/nl/webmasters/guidelines.html

Gebruik "&id=" niet als parameter in uw URL's: deze pagina's nemen we niet in onze index op.

Overigens worden sites met meerdere querystring parameters wel gewoon geindexeerd door Google hoor.

[google=Opaliet buisjes 5 mm] Kijk maar eens op welke pagina je dan uit komt.

[TygeR]

TRON schreef op vrijdag 12 augustus 2005 @ 13:52:
Maak gebruik van .htaccess (mod_rewrite)

code:

RewriteEngine On 
RewriteBase /

RewriteRule ^/pictures/([0-9]+)(|\/)$   index.php?page=pictures&picture_id=$1
RewriteRule ^/pictures(|\/)$        index.php?page=pictures

Graag even een iets duidelijkere uitleg:
allereerst wat is (mod_rewrite)? en .htacces?
en wat doet dit?
is dit server side scripting of maakt hij weer meerdere pagina's van mijn site?

Het voordeel dat ik namelijk de opbouw van mijn site haal is dat ik heb via de site (mits je een goede gebruikersnaam en wachtwoord hebt) de site kan aanpassen, na de login zijn er edit en modernrate knoppen beschikbaar waarmee de inhoud file's kunnen worden aangepast.

[cowgirl]

djluc schreef op vrijdag 12 augustus 2005 @ 13:45:
Alleen de querystring als onderstaande wordt geindexeerd schijnbaar:
http://www.jesite.com/index.php?id=443
Maar dus niet:
http://www.jesite.com/index.php?idofzo=443

Klopt ook niet, kijk maar bij de 2e link: http://www.google.com/sea...olwijk&btnG=Google+Search

[roytanck]

Je zou een Google sitemap kunnen aanmaken, de mijne wordt elke paar uur door google uitgelezen, en zodoende kun je alle pagina's in eens aanmelden.

Meer info:
https://www.google.com/we...temaps/docs/en/about.html

[TRON]

De RewriteRule hier zorgt er voor dat als men naar http://jouw-site.nl/pictures/ gaat, dat dan http://jouw-site.nl/index.php?page=pictures opgeroepen wordt. Dit is voor de gebruiker (dus ook voor Google) niet zichtbaar.

http://jouw-site.nl/pictures/3465 roept http://jouw-site.nlindex....=pictures&picture_id=3465 op. Snappé vouz?

[TygeR]

Snappé vouz?

wie merzie :-)

[Klaus_1250]

We Are Borg schreef op vrijdag 12 augustus 2005 @ 13:13:
volgens mij is zo'n file behoorlijk nutteloos als je toch niks bij disallow zet

Altijd een robots.txt neerzetten, ook al zet je er niks in. Al is het maar om 404 errors te beperken. Sommige bots houden ook niet van sites zonder robots.txt.

Mocht je er wel iets inzetten, neem dan wel mee dat sommige bad bots en 'hackers' specifiek dingen bezoeken die er wel in staan.

[TRON]

Klaus_1250 schreef op vrijdag 12 augustus 2005 @ 14:12:
[...]


Altijd een robots.txt neerzetten, ook al zet je er niks in. Al is het maar om 404 errors te beperken. Sommige bots houden ook niet van sites zonder robots.txt.

Mocht je er wel iets inzetten, neem dan wel mee dat sommige bad bots en 'hackers' specifiek dingen bezoeken die er wel in staan.

Inderdaad, als je

code:

Disallow: /admin_geheim/

in je Robots.txt neerzet, ben je niet handig bezig inderdaad

-edit-
@TygeR: Mooi zo, en ga je het nu dan ook toepassen?

[ Voor 8% gewijzigd door TRON op 12-08-2005 14:18 ]

[TygeR]

Ik denk dat ik het eerst eens ga proberen met een .htaccess file

[TygeR]

Als ik een .htaccess file in de server directory zet via ftp en dan vervolgens refresh is hij weer weg en het lijkt ook niet te werken.

de .htaccess file heeft de volgende inhoud:
RewriteEngine On
RewriteBase /

RewriteRule ^/Contact(|\/)$ index.php?pageName=Contact

vervolgens geeft de www.blokjeom.nl/Contact/ een 404 error:
Not Found

The requested URL /Contact/ was not found on this server.
Apache/2.0.46 (Red Hat) Server at www.blokjeom.nl Port 80

ook heb ik geprobeert om de RewriteBase / te vervangen door RewriteBase /httpdocs/

[André]

Querystrings zouden geen problemen moeten geven bij google, en al helemaal niet als ze zo simpel zijn als die van jou. Er zijn 2 uitzonderingen: sessionid's en &id=, die worden niet geindexeerd.

Dus ik denk dat het probleem echt ergens anders zit.

[TygeR]

De variabele pageName is een sessie variabele maakt dit ook uit?

[TygeR]

André schreef op vrijdag 12 augustus 2005 @ 13:12:
Alles in de site ziet er goed uit. Het enige wat ik kan bedenken is dat er ergens een verdwaalde robots.txt staat of dat je site een penalty heeft. Heb je vroeger ooit aan cloaking of spam gedaan?

Je sitemap doet het trouwens ook niet

Nee geen cloacking of spam gedaan dit is een vrij nieuw domein, een verdwaalde robots.txt lijk mij daarom ook stug.
Dat van die sitemap klopt die is komen te vervallen nadat de pagina in php is herschreven daar wordt binnenkort weer aangewerkt. die linkt nu gewoon naar index.php#

[CrashOne]

Het probleem hoeft niet de querystring te zijn, ik heb meerdere site's gemaakt die navigeren door middel van querystrings. Allemaal zijn goed geindexeerd (op 1 na, maar dat heeft een andere oorzaak).

Stuurt apache geen rare http headers waardoor google niet verder kijkt?

[TygeR]

De enige header die apache mee stuurt is:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
"http://www.w3.org/TR/html4/loose.dtd">

[coubertin119]

Dat is geen header, dat is een DTD. Met deze Firefox extensie kan je HTTP headers bekijken: http://livehttpheaders.mozdev.org/

[André]

TygeR schreef op vrijdag 12 augustus 2005 @ 16:58:
De enige header die apache mee stuurt is:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
"http://www.w3.org/TR/html4/loose.dtd">

In jouw geval zijn dit de headers:

Response Headers - http://www.blokjeom.nl/

Date: Fri, 12 Aug 2005 15:13:34 GMT
Server: Apache/2.0.46 (Red Hat)
Accept-Ranges: bytes
X-Powered-By: PHP/4.3.2
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Connection: close
Transfer-Encoding: chunked
Content-Type: text/html

200 OK

[TygeR]

Ja en hoe kan ik daaruit halen of dat goed of fout is voor google?

[TygeR]

Niemand die een ander idee heeft om dit probleem op te lossen? of iemand die weet waarom .htaccess niet werkt?

Je eigen topic kicken binnen 24 uur is niet de bedoeling

[ Voor 25% gewijzigd door André op 12-08-2005 20:13 ]

[André]

Als ik jou was zou ik op de homepage zonder cookies of andere meuk een link zetten naar een simpele pagina. Dan even wachten op de googlebot en kijken of je dan wel gespiderd wordt.

[TygeR]

Oke sorry voor de forum kick,
Binnenkort ga ik aan de slag met de sitemap, deze zal ik dan maken in sitemap.php. dan zou google deze plain text link moeten volgen, toch?
op het moment dat dat werkt zit ik nogsteeds met een probleem, namelijk hoe krijg ik google zover dat hij dan ook mijn andere pagina's gaat doorzoeken. Ik kom hier over een week of wat wel weer op terug als de sitemap klaar is...

kan ik er verder nog wat aan doen om dat .htaccess bestand aan de praat te krijgen? of ondersteund mijn host deze functie gewoon niet?

[André]

Dat .htaccess bestand kun je vergeten, als die er niet is is het prima

En haal die robots tag eens weg, ik heb meegemaakt dat een site niet geindexeerd werd puur door die tag, ongeacht de value van die tag

[TygeR]

Bij google heb ik de site opgegeven als blokjeom.nl, dit url werkt, maar als ik site:www.blokjeom.nl aanvraag dan vind hij geen resultaten, kan dit misschien iets met het probleem te maken hebben?

Ik heb trouwens ook sites gevonden die de ?pageName= querrystring gebruiken en die gewoon netjes geindexeert zijn dit kan het probleem dus idd ook niet zijn.

[ Voor 30% gewijzigd door TygeR op 14-08-2005 13:54 ]

[SWINX]

TygeR schreef op vrijdag 12 augustus 2005 @ 15:14:
De variabele pageName is een sessie variabele maakt dit ook uit?

als je register_globals aan hebt staan, is dit niet erg handig, maar als Google daarop fout zou lopen, zou je zelf ook fouten moeten ondervinden aan je site, dus dat lijkt me niet echt het probleem.

[TygeR]

Ben er inmiddels achter dat de mod rewrite functie op de host staat uitgeschakeld, errug jammer maarja.

Gisteren is er trouwens een google bot langs geweest die 36 hits heeft veroorzaakt, en die volgens mijn log alle pagina's heeft bezocht, vervolgens is er deze ochtend weer een bot geweest die weer alleen de eerste pagina vond, erg vreemd.

Wat mij verder opvalt is dat ik elke dag om een uur of 6 's ochtends door een googlebot wordt bezocht, is dit normaal?

[Arnout]

Je kunt je navigatie ook aanpassen naar deze schrijfwijze:

www.site.nl/?id=adres

Dit werkt bij mij in ieder geval goed. Nooit problemen gehad met indexeren en de site was binnen 2 dagen in Google.

[TygeR]

Inmiddels zijn we al een heel poosje verder, maar nogsteeds heb ik het probleem dat google mijn site niet indexeert, de Home pagina pakt hij gelijk maar vervolgens indexeert hij de rest niet, het is mij wel opgevallen dat google eens per maand ongeveel wel alle pagina's langs loopt maar vervolgens doet hij er niets mee?

Zijn er mensen die voor mijn site ideeën hebben waardoor hij wordt geïndexeert?

even in samenvatting: de content is dynamisch, wordt aangeroepen met query strings en .htacces is uitgeschakeld op de server.

[André]

Gooi Google Sitemaps eens op je site? Gewoon het bestandje in de root zetten en verifieren. Misschien komen daar nog interessante dingen uit.

[TygeR]

Heb ik ook al een aantal maanden op de site staan, wordt ik niets wijzer van. Hij zegt dat hij alles gewoon goed doorloopt en dat hij geen fouten tegenkomt.

http://www.blokjeom.nl/sitemap.xml

[ Voor 11% gewijzigd door TygeR op 11-04-2006 21:00 ]

[Verwijderd]

Je hebt ook nog niks met ModRewrite gedaan? Weet je zeker dat Google sitemaps goed werkt? Als ik via Google zoek naar site:blokjeom.nl zie ik daar de pagina's waar de links naar verwijzen niet in terug. Sterker, ik zie alleen pagina's die niet meer bestaan (Actueel.php bijvoorbeeld).
Als Google je pagina's crawlt, zouden ze eigenlijk vrijwel altijd tussen de resultaten van de bovenstaande zoekopdracht moeten staan.

Om terug te komen op ModRewrite, voor jou site moet je de volgende regel gebruiken:

code:

RewriteEngine On
RewriteRule ^([a-zA-Z]+)$ /index.php?pID=$1

Zet dit in een .htaccess bestand en kijk of het werkt, zou ik zeggen (je moet dan dus wel je links zelf updaten, zodat ze verwijzen naar /contact in plaats van /index.php?pID=contact).
Het kan zijn dat een .htaccess bestand verdwijnt bij een refresh van je FTP programma, omdat een bestand dat begint met een punt normaliter niet zichtbaar is. Met FlashFXP (30-dagen trial te downloaden, zie Google) zie je ze in elk geval wél.

edit:
Ik zie net dat je naast ?pID=$var ook nog ?PageName=$var gebruikt (en ook nog 1x ?mode=admin maar die lijkt me niet relevant). De bovenstaande regel werkt alleen voor de pagina's met ?pID=$var (dat zijn alle links in het menu boven), niet voor die met ?PageName=$var (dat zijn 4 links in het menu rechts).

[ Voor 38% gewijzigd door Verwijderd op 11-04-2006 22:18 ]

[André]

Ik heb nu werkelijk alles gechecked maar ik kan niets vinden: ik zou proberen meer inkomende links te krijgen, en dan niet alleen naar je homepage maar ook naar je subpagina's.

/edit:
Ik heb nog even verder gekeken: er is waarschijnlijk ook geen probleem alleen zul je populairder moeten worden. MSN heeft al wel een 3-tal pagina's:
http://search.msn.nl/resu....blokjeom.nl%2F&FORM=QBHP

[ Voor 43% gewijzigd door André op 12-04-2006 00:26 ]

[TygeR]

Met msn search heb ik inderdaad geen problemen, die heeft alle pagina's netjes geïndexeert: http://search.msn.nl/resu...1252&q=site%3Ablokjeom.nl.

Google heeft inderdaad nogsteeds oude pagina's van de site geïndexeert staan de dateren uit de tijd dat blokjeom.nl nog geen dynamische pagina was. Die zou ik er graag ook uit hebben maar ik heb geen idee hoe?

Nogmaals, Mod rewrite is uitgeschakeld op mijn host, daar kan ik dus niet mee werken...

edit:
Bedankt voor die opmerking over ?pageName i.p.v. ?pID, ?pageName was namelijk de oude variabele, en die werkt ook niet meer. Vandaar dat die twee linkjes het ook niet deden. Had ergens gelezen dat een kortere variabele beter geïndexeert zou worden vandaar de aanpassing.

[ Voor 25% gewijzigd door TygeR op 12-04-2006 11:22 ]