Niet bereikbaar voor bots

[Verwijderd]

Ik heb een heel vaag probleem met mijn site (snoeken.ishethelemaal.nl). Hij is gewoon bereikbaar voor browsers, maar wanneer ik de site wil laten checken door bots als:

http://validator.w3.org/checklink
https://www.google.com/webmasters/sitemaps/
http://www.dead-links.com/check_links.php

dan geven die vreemd genoeg aan dat ze een 404 krijgen.

Het heeft een tijdje geduurd voordat ik dit uberhaupt doorhad en het heeft me al mijn goede rankings in bv. google gekost. Nu ben ik al uren bezig om uit te zoeken waar het aan zou kunnen liggen, maar het levert me weinig op. Immers te gebruiken zoektermen zijn 404, google, bots, unreachable, etc. Nogal generieke termen dus, maar zou ook niet echt andere weten.

Als wellicht nuttige actie heb ik een google sitemap gemaakt die misschien het probleem kan omzeilen, maar het is natuurlijk geen oplossing! Verder heb ik de melding die google sitemaps geeft: "We can't currently access your home page because of an unreachable error. " gebruikt om op te zoeken, maar dit levert ook niet echt iets op. Ook heb ik gezocht op joomla pagina's, aangezien ik joomla gebruik.

Punt is eigenlijk dat ik het lastig vind om meer specifiek te kunnen zoeken, aangezien ik geen flauw idee heb hoe. Kan iemand mij misschien vertellen wat het euvel met mijn site is en wat ik moet veranderen? Of kan iemand mij helpen om meer gericht te kunnen zoeken, is er bijvoorbeeld een term voor zo'n probleem?

Bedankt alvast!

[Boegie]

Boegie praat weer eens onzin.

[ Voor 88% gewijzigd door Boegie op 20-07-2006 22:30 ]

[robdejongNL]

ehm, heb je toevallig url_rewrite geactiveerd in Joomla?
dus bestaat het subdomein 'snoeken' ook echt op jou hosting of is het een rewritemod?

anders zouden bots er indd wel eens wat moeite mee kunnen hebben

[Verwijderd]

Als je bijvoorbeeld op voorpagina klik en dan laat checken gaat het wel goed.

Het is dus alleen de directe link http://snoeken.ishethelemaal.nl/

[LuCarD]

GET / HTTP/1.1
Host: snoeken.ishethelemaal.nl
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.4) Gecko/20060508 Firefox/1.5.0.4
<SNIP>

HTTP/1.x 404 OK
Date: Thu, 20 Jul 2006 20:08:22 GMT
Server: Apache/2.0.49 (Fedora)
X-Powered-By: PHP/4.3.10
<SNIP>

Heb je iets raars staan in .htaccess?
Want ik krijg wel een pagina binnen.

[ Voor 9% gewijzigd door LuCarD op 20-07-2006 22:11 ]

[DeMoN]

Het probleem zou hem wel eens in je apache config kunnen zitten. Check de HTTP headers maar die verzonden worden tussen mijn client en jouw servert.

http://snoeken.ishethelemaal.nl/

GET / HTTP/1.1
Host: snoeken.ishethelemaal.nl
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; nl; rv:1.8.0.4) Gecko/20060508 Firefox/1.5.0.4
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: nl,en-us;q=0.7,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: [TOPIC=1148381///]Niet bereikbaar voor bots[/TOPIC]
Cookie: --edit--; mosvisitor=1

[b]HTTP/1.x 404 OK[/b]
Date: Thu, 20 Jul 2006 19:59:10 GMT
Server: Apache/2.0.49 (Fedora)
X-Powered-By: PHP/4.3.10
Expires: Mon, 26 Jul 1997 05:00:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Set-Cookie: --edit--; expires=Fri, 21-Jul-2006 07:59:10 GMT; path=/
Last-Modified: Thu, 20 Jul 2006 19:59:10 GMT
Connection: close
Transfer-Encoding: chunked
Content-Type: text/html

HTTP/1.x 404 OK

Normaliter moet dat imho HTTP/1.x 404 Not Found zijn.

Je HTTP error code response is dus een bietje vaagjes, misschien dat je hiermee wat meer kan i.c.m. google

edit:
ah, ik zie dat LuCarD ongeveer hetzelfde idee heeft, toch vind ik dat het een 404 Not Found zou moeten zijn.
Correct me if i'm wrong maar in deze hoek moet je iig zoeken
Alex:

[ Voor 14% gewijzigd door DeMoN op 20-07-2006 22:18 ]

[Verwijderd]

Boegie schreef op donderdag 20 juli 2006 @ 21:55:
Hmmm,

W3C linkchecker doet het wel met http://ishethelemaal.nl/site/index.php.

Wegens gebrek aan kennis over php en je hosting kan ik verder niets zinnigs melden over wat er mis is, maar misschien kun je hier wat meer mee.

Succes!

Dit is een andere site, het gaat echt om het subdomein http://snoeken.ishethelemaal.nl.

Andijvie schreef op donderdag 20 juli 2006 @ 22:02:
ehm, heb je toevallig url_rewrite geactiveerd in Joomla?
dus bestaat het subdomein 'snoeken' ook echt op jou hosting of is het een rewritemod?

anders zouden bots er indd wel eens wat moeite mee kunnen hebben

url_rewrite? is dat een configuratie parameter of een component?
ik heb mijn domein geregistreerd bij argeweb, maar het subdomein snoeken.ishethelemaal.nl door laten linken naar mijn hostingprovider. vroeger linkte ik door naar mijn pc (en gebruikte ik bovendien geen joomla) en toen ging het gewoon goed.

[Alex)]

HTTP/1.x 404 OK vind ik een heel vreemde header, het is namelijk: HTTP/1.x 200 OK of HTTP/1.x 404 Not Found. Deze header wil zeggen dat hij de pagina eigenlijk niet kan vinden, maar dat het hem toch gelukt is. Zoekmachines (en bots) kijken niet naar de tekst die erachter staat, maar alleen naar de code.

Edit: Damn you, DeMoN

[ Voor 5% gewijzigd door Alex) op 20-07-2006 22:15 ]

[Verwijderd]

LuCarD schreef op donderdag 20 juli 2006 @ 22:10:
[...]


Heb je iets raars staan in .htaccess?
Want ik krijg wel een pagina binnen.

Ik heb mijn htaccess wel enigszins aangepast om gebruik te kunnen maken van SEF urls. Hij ziet er nu als volgt uit:

code:

##
# @version $Id: htaccess.txt 2368 2006-02-14 17:40:02Z stingrey $
# @package Joomla
# @copyright Copyright (C) 2005 Open Source Matters. All rights reserved.
# @license http://www.gnu.org/copyleft/gpl.html GNU/GPL
# Joomla! is Free Software
##


#####################################################
#  READ THIS COMPLETELY IF YOU CHOOSE TO USE THIS FILE
#
# The line just below this section: 'Options FollowSymLinks' may cause problems
# with some server configurations.  It is required for use of mod_rewrite, but may already
# be set by your server administrator in a way that dissallows changing it in
# your .htaccess file.  If using it causes your server to error out, comment it out (add # to 
# beginning of line), reload your site in your browser and test your sef url's.  If they work,
# it has been set by your server administrator and you do not need it set here. 
#
# Only use one of the two SEF sections that follow.  Lines that can be uncommented
# (and thus used) have only one #.  Lines with two #'s should not be uncommented
# In the section that you don't use, all lines should start with #
#
# For Standard SEF, use the standard SEF section.  You can comment out
# all of the RewriteCond lines and reduce your server's load if you
# don't have directories in your root named 'component' or 'content'
#
# If you are using a 3rd Party SEF or the Core SEF solution
# uncomment all of the lines in the '3rd Party or Core SEF' section
#
#####################################################

#####  SOLVING PROBLEMS WITH COMPONENT URL's that don't work #####
# SPECIAL NOTE FOR SMF USERS WHEN SMF IS INTEGRATED AND BRIDGED
# OR ANY SITUATION WHERE A COMPONENT's URL's AREN't WORKING
#
# In both the 'Standard SEF', and '3rd Party or Core SEF' sections the line:
# RewriteCond %{REQUEST_URI} ^(/component/option,com) [NC,OR] ##optional - see notes##
# May need to be uncommented.  If you are running your Joomla/Mambo from
# a subdirectory the name of the subdirectory will need to be inserted into this
# line.  For example, if your Joomla/Mambo is in a subdirectory called '/test/',
# change this:
# RewriteCond %{REQUEST_URI} ^(/component/option,com) [NC,OR] ##optional - see notes##
# to this:
# RewriteCond %{REQUEST_URI} ^(/test/component/option,com) [NC,OR] ##optional - see notes##
#
#####################################################


##  Can be commented out if causes errors, see notes above.
Options FollowSymLinks

#
#  mod_rewrite in use

RewriteEngine On


#  Uncomment following line if your webserver's URL
#  is not directly related to physical file paths.
#  Update Your Joomla/MamboDirectory (just / for root)

 RewriteBase /


########## Begin Standard SEF Section
## ALL (RewriteCond) lines in this section are only required if you actually
## have directories named 'content' or 'component' on your server
## If you do not have directories with these names, comment them out.
#
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} ^(/component/option,com,task,id,Itemid) [NC,OR]      ##optional - see notes##
#RewriteCond %{REQUEST_URI} ^(/component/option,com) [NC,OR]        ##optional - see notes##
RewriteCond %{REQUEST_URI} (/|\.htm|\.php|\.html|/[^.]*)$  [NC]
RewriteRule ^(content/|component/) index.php
#RewriteRule (.*) index.php
#
########## End Standard SEF Section


########## Begin 3rd Party or Core SEF Section
#
#RewriteCond %{REQUEST_URI} ^(/component/option,com) [NC,OR]        ##optional - see notes##
#RewriteCond %{REQUEST_URI} (/|\.htm|\.php|\.html|/[^.]*)$  [NC]
#RewriteCond %{REQUEST_FILENAME} !-f
#RewriteCond %{REQUEST_FILENAME} !-d
#RewriteRule (.*) index.php
#
########## End 3rd Party or Core SEF Section

ErrorDocument 404 /404err.php
php_flag register_globals on

klopt dat niet?

[ Voor 4% gewijzigd door Verwijderd op 20-07-2006 22:20 ]

[Alex)]

Kun je [code] i.p.v. een [table] gebruiken? Dan heb je geen last van linewrapping, en leest het wat prettiger.

[Verwijderd]

DeMoN schreef op donderdag 20 juli 2006 @ 22:12:
Het probleem zou hem wel eens in je apache config kunnen zitten. Check de HTTP headers maar die verzonden worden tussen mijn client en jouw servert.

http://snoeken.ishethelemaal.nl/

GET / HTTP/1.1
Host: snoeken.ishethelemaal.nl
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; nl; rv:1.8.0.4) Gecko/20060508 Firefox/1.5.0.4
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: nl,en-us;q=0.7,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: [TOPIC=1148381///]Niet bereikbaar voor bots[/TOPIC]
Cookie: --edit--; mosvisitor=1

[b]HTTP/1.x 404 OK[/b]
Date: Thu, 20 Jul 2006 19:59:10 GMT
Server: Apache/2.0.49 (Fedora)
X-Powered-By: PHP/4.3.10
Expires: Mon, 26 Jul 1997 05:00:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Set-Cookie: --edit--; expires=Fri, 21-Jul-2006 07:59:10 GMT; path=/
Last-Modified: Thu, 20 Jul 2006 19:59:10 GMT
Connection: close
Transfer-Encoding: chunked
Content-Type: text/html

HTTP/1.x 404 OK

Normaliter moet dat imho HTTP/1.x 404 Not Found zijn.

Je HTTP error code response is dus een bietje vaagjes, misschien dat je hiermee wat meer kan i.c.m. google

edit:

ah, ik zie dat LuCarD ongeveer hetzelfde idee heeft, toch vind ik dat het een 404 Not Found zou moeten zijn.

Correct me if i'm wrong maar in deze hoek moet je iig zoeken

thnx! dat is vaag!

ligt dat dan aan mij of aan mijn provider? ik kan zelf niet bij de confs namelijk...

of is dit op te lossen door aanpassingen in de htaccess file?

[ Voor 3% gewijzigd door Verwijderd op 20-07-2006 22:51 ]

[Verwijderd]

ik heb een aantal dingen verwijderd, aangepast in de htaccess file, maar dat veranderde allemaal niet de HTTP respons.

Uiteindelijk heb ik zelfs de htaccess even helemaal verwijderd, maar ook dat leverde nog steeds een 404 in de header op! Hieruit concludeer ik dus dat het niet aan de htaccess / rewrite_url statements zit. Nietwaar?

Hoe zou het verder kunnen komen dat de HTTP respons 404 is, terwijl de content wel wordt gestuurd en de pagina gewoon bereikbaar is?

[djexplo]

waarvoor heb je deze ' meta name="robots" content="index, follow" ' er bij staan?, de robots tag is alleen bedoelt om robots te limiteren, dat doe je hier niet dus kan je hem beter verwijderen aangezien bots hier van in de war kunnen raken... (google er maar eens op, iedereen raad het af...)

[Nakebod]

Ik heb dit probleem wel eens vaker gezien volgens mij, inclusief beschrijvingen hoe het op te lossen.
Uiteraard kan ik dat nu niet vinden

Het komt waarschijnlijk door je SEF.
Zie ook http://forum.joomla.org/index.php/topic,21173.0.html
En misschien hier wat hulp vragen: [rml][ CMS] Het grote Joomla (voorheen Mambo) OS topic - deel 2[/rml]
Het lijkt iig Joomla gerelateerd.

[Black Piet]

Ik heb iig geen problemen met je site [casema]. Geen foutmeldingen hier

Sorry, topic niet goed gelezen

offtopic:
OMG...die gast heeft een enorme snoek in zijn handen. Wist niet dat ze zo groot konden worden. Hoe zou die Mark hem binnen hebben gehaald...een mini hijskraan? Zal de link eens naar wat famillie doorsturen, dat zijn ook van die mafkezen die 's nachts gaan vissen.

[ Voor 77% gewijzigd door Black Piet op 22-07-2006 10:38 ]

[Verwijderd]

Nakebod schreef op zaterdag 22 juli 2006 @ 10:26:
Ik heb dit probleem wel eens vaker gezien volgens mij, inclusief beschrijvingen hoe het op te lossen.
Uiteraard kan ik dat nu niet vinden

Het komt waarschijnlijk door je SEF.
Zie ook http://forum.joomla.org/index.php/topic,21173.0.html
En misschien hier wat hulp vragen: [rml][ CMS] Het grote Joomla (voorheen Mambo) OS topic - deel 2[/rml]
Het lijkt iig Joomla gerelateerd.

op beide links is helaas geen antwoord te vinden. de bovenste link (naar het joomla forum) is net andersom dan mijn probleem volgens mij. mijn site doet het verder wel goed, alleen de header status melding is 404.
in het grote joomla topic staat het helaas ook niet.

Uiteraard kan ik dat nu niet vinden

[Verwijderd]

http://drupal.org/node/64645

iemand beschrijft in de reacties precies wat er bij mij gebeurt! het ligt dus aan de htaccess inderdaad. misschien dat iemand het nu weet en me het kan helpen op te lossen , want er staat op de drupal link geen oplossing

(mijn htaccess file staat hierboven in het topic )

edit:
Ik gebruik maar even 'edit' om niet weer op mijn eigen post te replyen, immers dat lijkt me niet de bedoeling

Het gebruiken van SEF urls icm onderstaande code is de boosdoener!
Wanneer ik aangeef geen gebruik te maken van SEF urls (en onderstaande code wordt dus niet gebruikt), dan krijg ik een keurige HTTP/1.1·200·OK. Wanneer ik de SEF wel aanzet, dan verandert het direct in HTTP/1.1·404·OK! Het lijkt er dus zeeer sterk op dat het probleem in de code hieronder zit. Blijkbaar linkt het ergens naar wat niet (helemaal) gereturned kan worden en leidt tot de gekke combinatie van 404 en OK.

[code]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} ^(/component/option,com,task,category,id,Itemid) [NC,OR] ##optional - see notes##
RewriteCond %{REQUEST_URI} (/|\.htm|\.php|\.html|/[^.]*)$ [NC]
RewriteRule ^(|content/|component/) index.php

[/code]

Misschien kan iemand mij helpen met het ontcijferen / aanpassen van dit stukje code?

[ Voor 69% gewijzigd door Verwijderd op 22-07-2006 15:10 ]

[Verwijderd]

bumpje...

ziet iemand iets geks aan de htaccess code, waar die gekke "HTTP 404 OK" door kan zijn gekomen?

[LuCarD]

Verwijderd schreef op maandag 24 juli 2006 @ 15:20:
bumpje...

ziet iemand iets geks aan de htaccess code, waar die gekke "HTTP 404 OK" door kan zijn gekomen?

http://wordpress.org/support/topic/76914#post-404432

[ Voor 16% gewijzigd door LuCarD op 24-07-2006 16:11 ]

[Verwijderd]

LuCarD schreef op maandag 24 juli 2006 @ 16:09:
[...]


http://wordpress.org/support/topic/76914#post-404432

dit ziet er uit als de oplossing! dank!

Ik heb direct een mailtje naar mijn provider gestuurd met de vraag of ze eea aan de config van apache kunnen toevoegen

dank allemaal!