Hoe vindt Google nieuwe site(s) zonder links?

[bartbh]

Misschien een beetje een vreemde titel, maar hoe presteert Google het om site te indexeren waarvan geen publieke link beschikbaar is?

Voor het testen van nieuwe hosting opties heb ik een aantal VPS-en afgenomen en ben daarop aan het testen gegaan. Hierop heb ik een kopie (via Directadmin) van een user van mij geplaatst en een subdomein van mij (user-hoster.mijndomein.nl) aan het pakket gekoppeld. Op die manier kon ik de prestatie van de site op de betreffende VPS testen.

Echter nu heeft Google het gepresteerd om deze site te indexeren, terwijl ik de links alleen maar voor mezelf gebruikt hebt.

Hetzelfde geld voor een ander hostingpakket waar ik vorige week pas een website op heb gezet. Hier gaat het om een simpele (geautomatiseerde) Wordpress installatie. Deze heb ik alleen naar nog een persoon meer gestuurd, maar deze is verder ook niet publiekelijk bekend gemaakt.

Zelf zat ik te denken dat Google het adres achterhaalt heeft omdat er de Google Analytics scripts zijn toegevoegd (echter niet van het betreffende user-hoster.mijndomein.nl, maar van websiteklant.nl). Echter dan zou ik verwachten de andere test VPS-en ook geïndexeerd zouden zijn, en ten tweede heeft de 2e website geen Google Analytics.

Dus dan blijft het voor mij toch een raadsel hoe en op welke basis de betreffende sites heeft gevonden. Nu is het an sich geen big issue, maar ik ben toch wel benieuwd hoe deze adressen bij Google terecht zijn gekomen.

[I-King]

Wordpress kan zich bij Google aanmelden voor zover ik weet.

Edit: Mmm ik ben er nu toch niet meer zeker van. Dacht dat het een optie bij installatie was, maar dat is blijkbaar alleen of Google mag indexeren.

[ Voor 56% gewijzigd door I-King op 26-04-2012 13:06 ]

[bartbh]

Dat is een robots.txt inderdaad, maar die heb ik bij beide site niet in gebruik (TYPO3 en Wordpress).

Dus dan blijft het nog een raadsel.

[Xanland]

Welke browser heb je momenteel in gebruik?

[bartbh]

Dat zou inderdaad ook nog kunnen, ik gebruik namelijk Chrome op XP/W7 en Android. Daarbij maak ik ook gebruik van synchronisatie van bookmarks, geschiedenis etc.

Zou het van daaruit kunnen komen?

[RobIII]

bartbh schreef op donderdag 26 april 2012 @ 19:50:
Zou het van daaruit kunnen komen?

Analytics, "domain check" (anti-virus gedoe), google-toolbar (pagerank gedoe e.d.) en zo zijn er nog wel wat zaken die allemaal richting Google etc. gaan waarbij je domein/referer zal "lekken". En ik zou er raar van staan kijken als ze die info niet gebruiken om hun crawler van nieuwe url's te voorzien. Als je niet wil dat er iets gespiderd wordt zet je 't achter een login, ip-restrictie, intern-netwerk, whatever. Anders wordt 't geheid geïndexeerd op den duur.

[McCandless]

Volgens keer bij een Wordpress-site even een noindex en nofollow plugin en een under construction plugin downloaden, dat zou moeten helpen.

[KeRsTmAnNeKe]

robots.txt met Disallow / in de root?

[Compizfox]

Google DNS?

[bartbh]

Het punt is niet dat ik het erg vind dat Google de sites heeft geïndexeerd, als ik dat echt niet wil moet ik er inderdaad maar een robots.txt of andere restrictie op zetten.

Was vooral benieuwd via welke manieren Google dat nog meer zou kunnen achterhalen. In deze gevallen zal het wel via Chrome en/of Google Analytics komen, aangezien ik Google DNS, pagerank, domaincheck of andere tools (nog) niet heb gebruikt op deze domeinen.

[Boelie-Boelie]

Analytics en Search staan volledig los van elkaar, dat hebben ze diverse malen nadrukkelijk aangegeven op het Youtube-kanaal van Google Analytics. Die toolbar, da's misschien een ander verhaal. Maar ook daar zit het 'm hoogstwaarschijnlijk niet in...

Want bij WordPress 'Instellingen > Schrijven' staat bij de onderste optie:

Update services
Als je een nieuw bericht publiceert, zal WordPress automatisch de volgende site update services inlichten. Bezoek Update Services op de Codex voor meer informatie. Meerdere service-URLs scheiden met een nieuwe regel.

M.a.w. als je de privacysettings bij 'Instellingen > Privacy' op 'openbaar' zet en de updateservice laat staan, helpt WordPress je bij het wereldkundig maken van je site met die updateservice.

[Jasper]

bartbh schreef op donderdag 26 april 2012 @ 19:50:
Dat zou inderdaad ook nog kunnen, ik gebruik namelijk Chrome op XP/W7 en Android. Daarbij maak ik ook gebruik van synchronisatie van bookmarks, geschiedenis etc.

Het zal mij niets verbazen dat het door het gebruik van Chrome komt ja.

[IIsnickerII]

Just curious, maar waarom zou je eigenlijk "niet" willen dat google jou website spidert? Je wilt toch wel bezoekers hebben, of niet?

[RobIII]

IIsnickerII schreef op zaterdag 28 april 2012 @ 12:38:
Just curious, maar waarom zou je eigenlijk "niet" willen dat google jou website spidert? Je wilt toch wel bezoekers hebben, of niet?

Omdat 't een test betrof:

bartbh schreef op donderdag 26 april 2012 @ 13:01:
Voor het testen van nieuwe hosting opties heb ik een aantal VPS-en afgenomen en ben daarop aan het testen gegaan. Hierop heb ik een kopie (via Directadmin) van een user van mij geplaatst en een subdomein van mij (user-hoster.mijndomein.nl) aan het pakket gekoppeld. Op die manier kon ik de prestatie van de site op de betreffende VPS testen.

[likewise]

Was vooral benieuwd via welke manieren Google dat nog meer zou kunnen achterhalen.

Als je een web site URL A bezoekt, en daarna jouw (geheime) URL B intoetst, zie je dan in de HTTP request niet URL A staan in de HTTP_REFERER (sic)?

Idem als je daarna Google bezoekt, daarmee lekt je URL B naar Google.

Tenminste, dit soort leks heb ik in een lang verleden gezien.

Wikipedia: HTTP referer

[Boelie-Boelie]

Een referrer krijg je alleen als de ene site een link heeft naar een andere site en de bezoeker dan op de link klikt (dan ziet de tweede site referrer-informatie). Typt de bezoeker een site in de adresbalk, is er geen referrer.

[Remy]

Via de Twitterz heb ik het even nagevraagd bij André: hij gaf aan wat RobIII al zei: de Google Toolbar en een eventuele handmatige submit

[bartbh]

Bedankt voor de input. De Wordpress-sites vallen dus te verklaren doordat deze automatisch nieuwe blogposts bij Google aanmeld. Echter vind ik het dan frappant dat ook een TYPO3-testdomein bekend is bij Google.

Ik maak namelijk geen gebruik van de Google Toolbar of andere meuk en een handmatige submit heb ik uiteraard ook niet gedaan. Dus de link hiervan moet Google toch via een andere weg hebben verkregen, dit zij of via Chrome of toch via refer(r)ers van de Google Analytics. Aangezien het een 1-op-1-kopie is van de bestaande site, is het GA-script uiteraard ook meegekopieerd naar het testdomein.

[biglia]

Mogelijk bij het registreren van de nieuwe (sub)domein. Als ik een nieuw domain registreer en een week later erop google, vind ik deze domeinnaam vaak terug op vreemde websites die dat soort dingen bijhouden.

[bartbh]

Een subdomein is niks meer dan een extra dns-record en die worden nergens geregistreerd/publiceerd, dus via die weg zal Google er niet aangekomen zijn.

[Precision]

bartbh schreef op woensdag 02 mei 2012 @ 15:03:
Een subdomein is niks meer dan een extra dns-record en die worden nergens geregistreerd/publiceerd, dus via die weg zal Google er niet aangekomen zijn.

Maar google kan wel alle dns-records opvragen dus een (sub)domeinnaam is genoeg om de rest van de subdomeinnamen te weten te komen. Als er al een site gekend is bij google zou het mij niet verbazen moest google periodiek alle subdomeinnamen opvragen.

[ Voor 13% gewijzigd door Precision op 23-05-2012 19:02 ]

[bartbh]

Is dat zo? Dat is dan wat nieuws voor mij! In mijn veronderstelling kun je alleen een ip zoeken/vinden bij een (sub)domein of een PTR-record bij een IP-adres.

Hoe kun je subdomeinen opvragen dan?

edit:
Ik maak gebruik van een wildcard, dus dan zijn die subdomeinen toch nooit op te vragen?

Fout, deze betreffende subdomeinen zijn uiteraard wel vastgelegd in een dns-record aangezien ze verwijzen naar een ander ip.

[ Voor 37% gewijzigd door bartbh op 23-05-2012 19:46 ]