indexering website door robots vervroegen

[TromboneFreakus]

Aangezien het altijd even duurt voordat robots een sites geindexeerd hebben, bedacht ik me het volgende. Iedere "user-agent" behalve zoekrobots krijgen een inlog-scherm voorgeschoteld (met php), zodat alleen geautoriseerde gebruikers de site kunnen bekijken (de concept-versie zeg maar). Ondertussen meld je de site vast aan bij alle zoekmachines. Dit dan vrij kort voor lancering, zodat eventuele bezoekers die langskomen niet te veel hinder ondervinden van het klikken op een zoekresultaat.

Werkt dit concept, of vergeet ik bepaalde nadelen?

[RobIII]

Je vergeet in ieder geval het concept User Agent Spoofing
http://www.webwereld.nl/nieuws/19001.phtml

[ Voor 27% gewijzigd door RobIII op 09-04-2005 15:34 ]

[Verwijderd]

Je vergeet denk ik vooral de voordelen. Die zie ik namelijk helemaal niet. Als een gebruiker op een link in de zoekresultaten klikt vindt-ie een inlogscherm ipv een nuttige pagina. Bovendien is het niet aan te raden omdat veel zoekmachines dit soort trucks tegenwoordig doorhebben. Het is heel makkelijk om een tweede bot te sturen met een andere User Agent en te kijken of de content van de pagina wel hetzelfde is. Is dat niet zo, dan maak je kans op een penalty.

[djluc]

Het voordeel is wel duidelijk: je laat je site niet zien voor de echte lancering. Dat is in veel gevallen gewenst.

[JHS]

En toch laat je hem helemaal indexeren zodat 'ie via het cache terug te vinden is?

[djluc]

JHS schreef op zaterdag 09 april 2005 @ 17:51:
En toch laat je hem helemaal indexeren zodat 'ie via het cache terug te vinden is?

Sterk punt.

[faabman]

TromboneFreakus schreef op zaterdag 09 april 2005 @ 15:30:
Aangezien het altijd even duurt voordat robots een sites geindexeerd hebben, bedacht ik me het volgende.

Wat is even? Wanneer je naar de site linked via andere sites (die al wel door zoekmachines worden geïndexeerd) is mijn ervaring bij bijv. Google dat een site toch zeker binnen een maand wordt opgenomen.

Iedere "user-agent" behalve zoekrobots krijgen een inlog-scherm voorgeschoteld (met php), zodat alleen geautoriseerde gebruikers de site kunnen bekijken (de concept-versie zeg maar). Ondertussen meld je de site vast aan bij alle zoekmachines. Dit dan vrij kort voor lancering, zodat eventuele bezoekers die langskomen niet te veel hinder ondervinden van het klikken op een zoekresultaat.

Zoekmachines hebben het meestal niet zo op het weergeven van een aparte pagina.

Wat je ook kunt doen is het alvast aanmelden van de site en op de site een "under contstruction" pagina als default document neerzetten waarop je alvast wat tekst plaatst die door zoekmachines als relevant wordt ervaren. De eigenlijke site is dan alleen te bereiken via een andere URI...

bijv: site.nl/index.htm "under construction"
site.nl/indexnew.htm "nieuwe site"

[ Voor 5% gewijzigd door faabman op 09-04-2005 18:26 ]

[JHS]

Waarom zou je je site vóór de launch beschikbaar maken via een andere pagina? En je kan misschien inderdaad wel een algemeen verhaaltje ophangen over wat gaat komen. Dat is natuurlijk zoiezo verstandig want dan wordt hij als eerste geindexeerd, ten tweede komen mensen misschien wel bij jou terecht, ondanks dat ze een under construction page tegen gaan komen is dat toch wel leuk, en ten derde als er iemand verdwaald op je site terecht komt, heeft hij gelijk een idee van wat er gaat komen.

[faabman]

JHS schreef op zaterdag 09 april 2005 @ 18:32:
Waarom zou je je site vóór de launch beschikbaar maken via een andere pagina?

TromboneFreakus schreef op zaterdag 09 april 2005 @ 15:30:
Iedere "user-agent" behalve zoekrobots krijgen een inlog-scherm voorgeschoteld (met php), zodat alleen geautoriseerde gebruikers de site kunnen bekijken (de concept-versie zeg maar).

daarom?

[ValHallASW]

Google webmaster guidelines:

quote: http://www.google.com/intl/en/webmasters/guidelines.html

- Make pages for users, not for search engines. Don't deceive your users, or present different content to search engines than you display to users.

(...)

Webmasters who spend their energies upholding the spirit of the basic principles listed above will provide a much better user experience and subsequently enjoy better ranking than those who spend their time looking for loopholes they can exploit.

[JHS]

faabman schreef op zaterdag 09 april 2005 @ 21:54:
(...) daarom?

En daar heb je, zoals ik al zei, niks aan, omdat de geindexeerde pagina dan toch in het cache beland, iig met Google. Plus inderdaad wat ValhallaSW zegt, en al eerder gemeld werd, Google zou ook best weleens met een andere user-agent-string rond kunnen kijken om te controleren of je je wel aan hun policy houd . Nog een nadeel: als mensen dan vantevoren op je pagina terechtkomen en daar alleen maar een under construction pagina zien, en dat onthouden, is dat ook niet bevoordelijk voor je rep .

[ Voor 48% gewijzigd door JHS op 09-04-2005 22:15 ]

[faabman]

JHS schreef op zaterdag 09 april 2005 @ 22:13:
[...]
En daar heb je, zoals ik al zei, niks aan, omdat de geindexeerde pagina dan toch in het cache beland, iig met Google. Plus inderdaad wat ValhallaSW zegt, en al eerder gemeld werd, Google zou ook best weleens met een andere user-agent-string rond kunnen kijken om te controleren of je je wel aan hun policy houd .

Ik bedoel dus het apart aanleveren van een voorpagina waarop een zoekmachine of toevallige bezoeker binnenkomt. En een niet gelinkte pagina waarop je het concept van de site neerzet zodat de eigenaar van de site de vorderingen kan bijhouden zonder dat je daarvoor een login hoeft te gebruiken.

zoals ik al eerder zijn:
http://jesite.nl/index.htm geeft de tijdelijk welkomstpagina

http://jesite.nl/nieuwesite.htm geeft de concept site weer waar nog aan gewerkt kan worden en waarvan je liever hebt dat deze nog niet door zoekmachines wordt geindexeerd en door bezoekers wordt gevonden.

Dit heeft alles niets te maken met spoofing of weet ik veel wat voor truucjes. Er is immers geen verschil in de pagina die door zoekmachines wordt gevonden en de pagina die door bezoekers wordt gevonden.

edit:
ik probeerde dus in te gaan op de vraag van de TS om toch een locatie beschikbaar te houden waar de conceptversie staat...

[ Voor 6% gewijzigd door faabman op 09-04-2005 22:21 ]

[TromboneFreakus]

faabman schreef op zaterdag 09 april 2005 @ 18:26:
[...]


Wat is even? Wanneer je naar de site linked via andere sites (die al wel door zoekmachines worden geïndexeerd) is mijn ervaring bij bijv. Google dat een site toch zeker binnen een maand wordt opgenomen.

Tja, wat is een maand als je een site bouwt voor een evenement dat plaatsvindt over drie maanden. Toch wel krap wellicht....

En ja, wat heet voor de gek houden, in mijn concept schotel je de zoekmachine geen andere pagina voor, je toont de zoekmachine een pagina die over een tijdje gelanceerd gaat worden. Dat is heel wat anders dan bijv. bij een zoekmachine als user agent opeens woorden en alinea's toevoegen, zodat de relevantie van je pagina omhoog schiet. Of veel extra links naar bepaalde woorden waar je waard eaan hecht (doet het goed bij Google volgens mij).

Je zou de menselijke bezoeker een 'under construction' pagina kunnen voorschotelen zodra hij of zij op de link klikt en met Javascript denk ik wel kunnen afvangen of iemand via de cache kan kijken of niet (ik weet wel dat dit geen echte oplossing is aangezien javascript client side is, maar 9 v/d 10 bezoekers vang je hiermee wel af schat ik zo in).

[JHS]

faabman: ok, dan begreep ik je punt verkeerd . Overigens zet ik zelf sites die je echt gaat "lanceren" nooit op een publiek toegankelijke (niet gelinkte) pagina, omdat die toch wel gevonden gaat worden als er aandacht is voor je website.

TromboneFreakus: Maar aangezien Google niet met de hand gaat controleren of je site zich wel aan de regels houd, om een onterechte stijging in de PageRank te voorkomen, maakt dat verschil niet uit. Ook het met JS tegenhouden van het bekijken van de pagina zal Google niet zo leuk vinden. Bovendien gaat het Google om het aanbieden van relevante, zichtbare en bruikbare zoekresultaten. Een pagina die nog gelanceerd moet worden is dat geen van allen... .

[TromboneFreakus]

JHS schreef op zondag 10 april 2005 @ 19:45:
TromboneFreakus: Maar aangezien Google niet met de hand gaat controleren of je site zich wel aan de regels houd, om een onterechte stijging in de PageRank te voorkomen, maakt dat verschil niet uit. Ook het met JS tegenhouden van het bekijken van de pagina zal Google niet zo leuk vinden. Bovendien gaat het Google om het aanbieden van relevante, zichtbare en bruikbare zoekresultaten. Een pagina die nog gelanceerd moet worden is dat geen van allen... .

Maar dat veronderstelt dat Google hierop ook daadwerkelijk toeziet.

Ik vraag me af of dat wel het geval is. Het kost immers veel bandbreedt om een site door meerdere user-agents te bezoeken, het geeft de webmasters vertekende statistieken (en Google houdt de webmasters ook wel graag te vriend neem ik aan) en het zou betekenen dat de robots.txt door een andere user-agent zou worden geinterpreteerd dan waarvoor je de regels geschreven hebt in dat bestand.

[JHS]

TromboneFreakus: Dat ze een ander user-agent-string sturen wil niet zeggen dat ze geen gebruik maken van de robots.txt . Maar ik neem inderdaad aan dat ze niet continu met twee user-agent-strings indexeren, maar wel dat ze steekproefsgewijs. Het lijkt me ook noodzakelijk, om de zoekresultaten bruikbaar te houden. Zouden ze dat niet doen, dan zouden manieren zoals deze, met aparte, niet zichtbare pagina's, je zoekresultaten vervuilen...

[TromboneFreakus]

JHS, je hebt gelijk. Op deze pagina zie ik al vele varianten van wat allemaal Googlebot is...

http://www.pgts.com.au/pgtsj/pgtsj0208i.html

[Verwijderd]

Waarom geen login schermpje op de oude ( huidige site )
waneer men ingeloged heeft door geroute wordt naar de nieuwe site die enkel via een bepaalde sessie waarde te bekijken is.

index is dan enkel voor de huidige site

huidige site kan dan zoals genoemd een index zijn met vast de belangrijkste punten en extra info
met daar in een inlog scherm met de tekst "preview"

just 2 cents

[ Voor 24% gewijzigd door Verwijderd op 12-04-2005 09:31 ]

[TromboneFreakus]

Verwijderd schreef op dinsdag 12 april 2005 @ 09:29:
huidige site kan dan zoals genoemd een index zijn met vast de belangrijkste punten en extra info
met daar in een inlog scherm met de tekst "preview"

just 2 cents

Maar ja, belangrijke punten of de gehele concept-tekst alvast geindexeerd hebben maakt nogal een verschil natuurlijk, met name ook op het gebied van relevantie in de zoekresultaten.

Als je daarin hoog wilt eindigen zul je hetzij een pagina met voor consumenten irritant veel tekst moeten maken (of wit op wit of zo), hetzij de truc toepassen die ik verzonnen heb, maar die nogal wat haken en ogen heeft.

Ik denk dat mijn truc wat dat betreft netter was, maar goed... dat gaat niet dus.