google indexeer bot

[Artwido]

Wij hebben een forum waar alleen geregistreerde kunnen lezen en posten.
Verder hebben we een forumgedeelte genaamd 'modjes only' dat alleen zichtbaar is voor modjes en beheerders.
Het viel op dat een 'gast' alle forum-onderwerpen aan het doorzoeken was en zelfs op 'modjes only' gedeelte kwam.
We hebben direkt het IP getraced en het bleek dat het om een Google-bot ging.

Op zich prima dat google ons forum indexeerd maar hoe kan het botje op het afgeschermde gedeelte komen?

[pven]

Blijkbaar is het toch niet goed afgeschermd?

Heb je al op Google gekeken wat je eraan kunt doen om te voorkomen dat hij bepaalde pagina's indexeert?

[Evos]

Die kun je doen met robot.txt

http://www.robotstxt.org/wc/norobots.html

En zoals hier boven hier staat zelfs iets over geschreven op de google site

[ Voor 35% gewijzigd door Evos op 18-09-2005 17:51 ]

[Artwido]

pven schreef op zondag 18 september 2005 @ 17:49:
Blijkbaar is het toch niet goed afgeschermd?

Heb je al op Google gekeken wat je eraan kunt doen om te voorkomen dat hij bepaalde pagina's indexeert?

Het afgeschermde gedeelte is echt afgeschermt voor andere gebruikers dan modjes.

[MisterICE]

Waar heb je gekeken, apache logs ?

Het kan best zijn dat hij alleen de url aanroept maar telkens een access denied krijgt

[pven]

Kijk eens op http://www.google.com/webmasters/remove.html

[Artwido]

MisterICE schreef op zondag 18 september 2005 @ 17:53:
Waar heb je gekeken, apache logs ?

Het kan best zijn dat hij alleen de url aanroept maar telkens een access denied krijgt

Het forum is van messageboard.nl

Het 'modjes ony' gedeelte is niet zichtbaar voor gewone gebruikers. Dus lijkt me dat het botje helemaal niet de url kan aanroepen, hij ziet het helemaal niet?

[Osiris]

MisterICE schreef op zondag 18 september 2005 @ 17:53:
Waar heb je gekeken, apache logs ?

Het kan best zijn dat hij alleen de url aanroept maar telkens een access denied krijgt

Mwah, afgeschermde fora zijn meestal ookgewoon niet zichtbaar, net zoals hier op GoT.. Dus in principe zou de Google-bot er geen weet van mogen hebben neem ik aan.

[Artwido]

pven schreef op zondag 18 september 2005 @ 17:55:
Kijk eens op http://www.google.com/webmasters/remove.html

interesante pagina. Maar het botje mag best indexeren. Vind het alleen heel merkwaardig dat hij ook op een 'onzichbaar' afgeschermd gedeelte kan komen.

[pven]

Heb je al gekeken of er daadwerkelijk iets met Google te vinden is wat niet voor een-ieder beschikbaar zou mogen zijn?

[RaZ]

Net op m'n eigen forum gekeken. Met FireFox ingelogt, en een link naar een Members-Only onderwerp gekopieerd, daarna met Explorer (niet aangemeld, dus als gast) de link geopent.

Krijg dus netjes het inlog scherm te zien in IE, terwijl ik via de Admin in FireFox zie dat er een gast in het Members-Only gedeelte zit.

Google zal dus ook een inlog-pagina zien lijtk me.

Alleen de vraag, hoe komt google aan de url die afgeschermd is? Kan op een publieke pagina natuurlijk op verwezen worden.

[ Voor 16% gewijzigd door RaZ op 18-09-2005 17:59 ]

[Erkens]

Artwido schreef op zondag 18 september 2005 @ 17:57:
[...]


interesante pagina. Maar het botje mag best indexeren. Vind het alleen heel merkwaardig dat hij ook op een 'onzichbaar' afgeschermd gedeelte kan komen.

Als er ergens een linkje staat naar zo'n URL dan kan hij dus naar die URL gaan en die pagina indexeren, of dat nu nuttig is of niet (een foutmelding).

[DeMoN]

Het kan ook nog zijn dat jouw beveiliging ook naar de user agent kijkt en als hij als user agent de googlebot ziet langskomen hem doorlaat.

nieuws: Omzeilen van registratie en betaling van sites dankzij Google

[ Voor 3% gewijzigd door DeMoN op 18-09-2005 18:00 ]

[Artwido]

DeMoN schreef op zondag 18 september 2005 @ 18:00:
Het kan ook nog zijn dat jouw beveiliging ook naar de user agent kijkt en als hij als user agent de googlebot ziet langskomen hem doorlaat.

nieuws: Omzeilen van registratie en betaling van sites dankzij Google

lekker lek dus.

[Verwijderd]

Erkens schreef op zondag 18 september 2005 @ 17:59:

Als er ergens een linkje staat naar zo'n URL dan kan hij dus naar die URL gaan en die pagina indexeren, of dat nu nuttig is of niet (een foutmelding).

Kleine aanvulling hierop: als je ervoor zorgt dat er bij zo'n foutmelding ook een zinvolle HTTP status code in de headers wordt meegestuurd (401 of misschien 403), neemt Google die pagina's waarschijnlijk ook niet op. Dat zou je moeten uitzoeken.

[Artwido]

Erkens schreef op zondag 18 september 2005 @ 17:59:
[...]

Als er ergens een linkje staat naar zo'n URL dan kan hij dus naar die URL gaan en die pagina indexeren, of dat nu nuttig is of niet (een foutmelding).

Er staat nergens een linkje naar dit gedeelte, ook niet in een topic ofzo gebruikt.
Maar het antwoord van DeMoN verklaart een hoop.

[Erkens]

Artwido schreef op zondag 18 september 2005 @ 18:07:
[...]


Er staat nergens een linkje naar dit gedeelte, ook niet in een topic ofzo gebruikt.
Maar het antwoord van DeMoN verklaart een hoop.

hoe weet je dat zo zeker? weet je hoe groot internet is? Het is _altijd_ mogelijk dat er ergens een linkje staat, nu is die kans vrij klein, maar hij is er wel.

[Verwijderd]

Dat kun je natuurlijk nagaan door met Google te zoeken naar link:http://url