[browsers] hoe laat je searchbots door?

[Genoil]

Ik ben bezig met browserdetectie, om bezoekers met Netscape 4 en Opera de weg te versperren. Maar het liefst laat ik alle zoekrobots zoals de Googlebot gewoon door (die vinden vaak wel wat bruikbaars in de tekst). Ik ben bang dat ik nou bij een hit op Google een subtextje krijg als "Sorry, this site doesn't work...", omdat de googlebot de 'verkeerde kant op wordt gestuurd' door mijn phpSniff. Is hier een handige oplossing voor, zonder dat ik alle identificatie-strings van alle bots hoeft te weten?

[Hangloozz]

clientside detectie maken

Dan wordt er pas op de PC van de gebruiker bepaald welk document opgehaald moet worden in plats van op de server al blokkades op te werpen. De searchbots kunnen dus gewoon je hele site indexeren.

[ Voor 79% gewijzigd door Hangloozz op 07-01-2003 14:39 . Reden: beetje meer info ]

[BasieP]

je zou hun is een mailtje kunnen sturen om te vragen hoe ze dat doen.

ik heb nu bijv. als ik een site maak met frames en google vind die dat er staat 'your site does not support frames'
dit is net zoiets.

[Rataplan]

[google=search robot.txt syntax]

Je kan die robots vast wel een bepaalde kant opsturen, maak je daar een aparte pagina voor.

Gevonden:

per pagina: <META NAME="ROBOTS" CONTENT="NOINDEX"> (of NOFOLLOW)

en dan een aparte pagina voor zoekmachines waar de goede omschrijving instaat

Bron: http://www.robotstxt.org/wc/faq.html

[ Voor 46% gewijzigd door Rataplan op 07-01-2003 14:05 ]

[Genoil]

cool, thankx!

[Freee!!]

Genoil schreef op 07 januari 2003 @ 13:51:
Ik ben bezig met browserdetectie, om bezoekers met Netscape 4 en Opera de weg te versperren.

Waarom zou je dat doen? Als je dit puur als technisch uitzoek werk doet, kan ik me er iets bij voorstellen, maar om gebruikers van andere browsers dan IE nou te verbieden jouw site te bezoeken

[Bosmonster]

Je doet nu het omgekeerde van wat je zegt overigens.. Want ipv Netscape 4 gebruikers de weg te versperren, laat je alleen mensen met de goede browser de weg op..

Als je letterlijk kijkt naar of een gebruiker NEtscape 4 gebruikt, dan zou een zoekmachine daar absoluut geen problemen mee moeten hebben.

[Beaves]

Mr. Liu schreef op 07 January 2003 @ 14:26:
[...]

Waarom zou je dat doen? Als je dit puur als technisch uitzoek werk doet, kan ik me er iets bij voorstellen, maar om gebruikers van andere browsers dan IE nou te verbieden jouw site te bezoeken

Omdat er misschien gebruik wordt gemaakt van CSS sheets of tables die NS en bepaalde Opera's niet goed weergeven?

[Freee!!]

Beaves schreef op 07 January 2003 @ 14:38:
[...]
Omdat er misschien gebruik wordt gemaakt van CSS sheets of tables die NS en bepaalde Opera's niet goed weergeven?

Zolang je je netjes aan de standaards houdt (doet IE niet), is dat dan een probleem van die browsers (en hun gebruikers).

[Thijsmans]

Rataplan schreef op 07 januari 2003 @ 14:01:
[google=search robot.txt syntax]

Je kan die robots vast wel een bepaalde kant opsturen, maak je daar een aparte pagina voor.

Gevonden:

per pagina: <META NAME="ROBOTS" CONTENT="NOINDEX"> (of NOFOLLOW)

en dan een aparte pagina voor zoekmachines waar de goede omschrijving instaat

Bron: http://www.robotstxt.org/wc/faq.html

* Thijsmans dacht dat de tijd dat robots nog naar meta's keken aardig voorbij was

[BtM909]

Prammenhanger schreef op 07 januari 2003 @ 14:56:
[...]


* BtM909 dacht dat de tijd dat robots nog naar meta's keken aardig voorbij was

Yep

Death Of A Meta Tag

[Genoil]

[gemier over standaards]

Mja ik ben moderne-standaarden-compliant, heb 1 versie die het op (Mac)IE5+/Mozilla1.0 en zelfs redelijk op Opera5 doet. Vertik het gewoon om voor dat handjevol Netscape 4 gebruikers bijna alles qua layout overnieuw te gaan doen, dus zodoende. Bovendien log ik dat dan ook, dus ALS er dan veel Ns4-ers langskomen, kan ik overwegen als nog een "NS4 versie" te maken...maar dat doe ik dan zodanig dat het ook op Lynx werkt

[Freee!!]

Genoil schreef op 07 January 2003 @ 15:09:
[gemier over standaards]

Mja ik ben moderne-standaarden-compliant, heb 1 versie die het op (Mac)IE5+/Mozilla1.0 en zelfs redelijk op Opera5 doet. Vertik het gewoon om voor dat handjevol Netscape 4 gebruikers bijna alles qua layout overnieuw te gaan doen, dus zodoende. Bovendien log ik dat dan ook, dus ALS er dan veel Ns4-ers langskomen, kan ik overwegen als nog een "NS4 versie" te maken...maar dat doe ik dan zodanig dat het ook op Lynx werkt

Verouderde standaards kunnen inderdaad een probleem vormen. Ik zou niks bij voorbaat uitsluiten, maar gewoon kijken wat er gebeurt. Als je klachten krijgt dat je site er niet goed uitziet kun je altijd nog een reply sturen dat ze hun browser eens moeten upgraden.

[Genoil]

Mr. Liu schreef op 07 januari 2003 @ 15:15:
[...]

Verouderde standaards kunnen inderdaad een probleem vormen. Ik zou niks bij voorbaat uitsluiten, maar gewoon kijken wat er gebeurt. Als je klachten krijgt dat je site er niet goed uitziet kun je altijd nog een reply sturen dat ze hun browser eens moeten upgraden.

geloof me, het ziet er niet uit

[Verwijderd]

Als je de html en de css goed van elkaar hebt gescheiden en extern ophaalt, dan zijn er ook manieren om netscape4 de ongestijlde content te laten weergeven:
http://w3development.de/css/hide_css_from_browsers/summary/
Je zou ook een bepaalde div in je site kunnen zetten bovenaan, met als boodschap: Uw browser ondersteunt geen (of niet goed genoeg) css. U ziet nu de ongestijlde content.
In je stylesheet zet je die div op display:none; Browser die dus die stylesheet niet oppikken zullen dan die boodschap zien.

[Rataplan]

BtM909 schreef op 07 January 2003 @ 15:04:
[...]

Yep

Death Of A Meta Tag

Wie zegt me dat robots wel naar die robot.txt kijken? Die worden toch niet door mijn server geinterpreteerd, maar door de robots? Toch

[Verwijderd]

Volgens mij is het bijna onmogelijk om zoekmachines voor de gek te houden met truukjes. Ik weet dat google om de zoveel tijd hun zoek algoritme aanpassen zodat het bij hun niet helpt, en zo doen de rest van de zoekmachines het ook. Laatst stond in de publish een uitgebreid artikel hierover, geloof die van vorige maand. Misschien dat je nog eentje op de kop kunt tikken.

[oh,when?]

ik denk dat PatrickPietens de NetProfessional bedoelt?

[Genoil]

Verwijderd schreef op 08 januari 2003 @ 09:10:
Volgens mij is het bijna onmogelijk om zoekmachines voor de gek te houden met truukjes. Ik weet dat google om de zoveel tijd hun zoek algoritme aanpassen zodat het bij hun niet helpt, en zo doen de rest van de zoekmachines het ook. Laatst stond in de publish een uitgebreid artikel hierover, geloof die van vorige maand. Misschien dat je nog eentje op de kop kunt tikken.

ik wil ze niet voor de gek houden, ik wil gewoon dat ze een mooi samenvattinkje geven over de inhoud van de site. Aangezien de hoofdpagina een frameset is, staat daar al sowieso geen tekst in die een Google eruit plukt. Maar nu verwacht ik dat Googlebot niet door de browsercheck heenkomt en op de pagina terecht komt met "Sorry, ...". Beide gevallen dus niet goed voor een listing in Google.

[djluc]

Ik zou sowieso ipv de melding in noframes dat je een nieuwe browser nodig hebt gewoon een leuk verhaaltje zetten. Bij zoekmachines gebruiken ze die tekst namelijk eerder dan een metatag description.

[Genoil]

heb wel een ideetje nu. Hier staat een lijst met alle actieve robots met hun HTTP_USER_AGENT string. Zo kan ik met PHP een index pagina uitspugen die alleen robots zien. nu nog ff zoeken of iemand dit al eerder gedaan heeft