Heeft google het hele internet op haar servers staan?

[Mastermind]

Heeft Google het hele internet op haar servers staan? Want hoe doet Google dat anders, pagina's doorzoeken op hits.

Hij vindt vaak de woorden die midden op de pagina voorkomen.
Dus Google zou in feite alle pagina's die geindexeerd staan moeten cachen. En dit zijn er nogal wat.

Maakt hij niet gebruik van cachen, dan zou hij alle servers, alle websites waar de bot langsgewandeld is moeten langslopen wat een enorme load geeft.

Dus Google moet echt Googolbytes aan informatie op haar servers hebben. Klopt dat?

[Brent]

Dat klopt

[Acheron]

Nee, lang niet alles wordt geindexeerd door Google. Ik denk zelfs dat pagina's die vrijwel nooit bezocht worden weer verdwijnen uit de index.

[Mastermind]

hp38guser schreef op maandag 11 april 2005 @ 20:26:
Nee, lang niet alles wordt geindexeerd door Google. Ik denk zelfs dat pagina's die vrijwel nooit bezocht worden weer verdwijnen uit de index.

Sowieso wordt al heel het GoT forum en FOK! forum gecached. Zoek maar eens een willekeurig topic en pak een willekeurige tekst daaruit en zoek dit op Google. Google vindt het

[twooggy]

Allereerst: heel het internet is volgens mij veel te groot om compleet te indexeren. Je kan denk ik niet bevatten wat heel het internet inhoud. Het is een wereld op zich.
Verder zijn er de pagina's die een label hebben dat ze niet geïndexeerd willen worden. Deze staan er zeker niet op. Ook pagina's met een toeganscode worden vaak niet geïndexeerd. Denk hierbij aan pagina's van bedrijven voor onderlinge informatie uitwisseling. Phillips zou absoluut niet blij zijn als het nieuwste ontwerp laserbroodrooster voortijdig bij tegenpartijen terecht zou komen.

[RHE123]

Google heeft volgens mij wel veel pagina's gecached, maar van elke pagina alleen de tekst! Alle plaatjes en andere bestanden, op word- en pdf documenten na dan, niet. Maarja al die tekst op het internet is nog steeds heeel veel. Hoe google dat toch zo snel kan doorzoeken is mij dan ook een raadsel!

[Mastermind]

Zou google een geheimgehouden technologie gebruiken?
Holografische opslag?

Dat verklaart meteen de enorme opslagcapaciteit en de snelheid waarmee gezocht kan worden.
http://www.google.nl/sear...raphic+data+storage&meta=

Er kan driedimensionaal gezocht worden.

[ Voor 10% gewijzigd door Mastermind op 11-04-2005 20:53 ]

[AW_Bos]

Pas geleden een leuk artikeltje erover op t.net:
nieuws: Een blik achter de schermen bij Google

En in een ander vaag computerblad werden geheime documenten opgezocht met Google....

[ Voor 34% gewijzigd door AW_Bos op 11-04-2005 21:45 ]

[Ramon]

Google - Searching 8,058,044,651 web pages

tja en hoeveel pagina's bevat het web in totaal?

[pierre-oord]

Het is wel opvallend hoe supersnel google iets kan vinden; echt in 0.06 seconden weetie het antwoord al. 50Ghz processoren ofzo?

[Verwijderd]

pierre-oord schreef op maandag 11 april 2005 @ 22:58:
Het is wel opvallend hoe supersnel google iets kan vinden; echt in 0.06 seconden weetie het antwoord al. 50Ghz processoren ofzo?

distributed computing denk ik


overigens is http://www.archive.org nog veel leuker. die cachet van iedere pagina verschillende momentopnames

[anandus]

pierre-oord schreef op maandag 11 april 2005 @ 22:58:
Het is wel opvallend hoe supersnel google iets kan vinden; echt in 0.06 seconden weetie het antwoord al. 50Ghz processoren ofzo?

Wat dacht je van een serverpark van honderduizenden simpele servers?

[ Voor 3% gewijzigd door anandus op 11-04-2005 23:02 ]

[Verwijderd]

Ik hoorde laatst dat google veel van zijn winst behaald door de zoektechnologie door te verkopen. dus deze zal idd wel goed weze

[Schaapherder]

Mastermind schreef op maandag 11 april 2005 @ 20:27:
[...]


Sowieso wordt al heel het GoT forum en FOK! forum gecached. Zoek maar eens een willekeurig topic en pak een willekeurige tekst daaruit en zoek dit op Google. Google vindt het

Dit kon die anders niet vinden

[Mr_gadget]

Ze cachen maar op een aantal momenten per dag....
Maar google heeft geloof ik wel redelijk wat inhouse ontworpen programma's speciaal voor zoeken etc...

[Verwijderd]

ik dacht dat google zo'n 20000 xeon servers heeft draaien met eigen software...

EDIT: beetje overschat denk ik... => http://www.internetweek.com/infrastructure01/infra050701.htm

[ Voor 41% gewijzigd door Verwijderd op 11-04-2005 23:25 ]

[Verwijderd]

Sowieso wordt al heel het GoT forum en FOK! forum gecached.

Sowieso niet de fora waar je rechten voor nodig hebt (publieke fora als SG, NSTM, HK - private fora zoals crewfora etc)

Google indexeert trouwens ook geen/slecht blinde pagina's (waar geen link naar is)....

[ Voor 20% gewijzigd door Verwijderd op 11-04-2005 23:25 ]

[anandus]

Verwijderd schreef op maandag 11 april 2005 @ 23:24:
[...]
Sowieso niet de fora waar je rechten voor nodig hebt (publieke fora als SG, NSTM, HK - private fora zoals crewfora etc)

Google indexeert trouwens ook geen/slecht blinde pagina's (waar geen link naar is)....

En dan blijft er van GoT weinig over

Maar het indexeren van GoT hoeft natuurlijk niet te betekenen dat alles gecachet hoeft te worden.
Met een gemiddelde pagina van 25kb, en maar een deel ervan wat Google opslaat begint het wel iets overzichtelijker te worden

Verwijderd schreef op maandag 11 april 2005 @ 23:19:
ik dacht dat google zo'n 20000 xeon servers heeft draaien met eigen software...

EDIT: beetje overschat denk ik... => http://www.internetweek.com/infrastructure01/infra050701.htm

Denk niet dat je het overschat, hoor. In 4 jaar tijd zijn er echt wel een berg computers bijgekomen, hoor

8 maanden geleden:

Details omtrent aantallen servers en dataverkeer wou men niet geven, maar naar schatting heeft Google tussen de 10.000 en 80.000 servers in beheer die meer dan 6.000 terabytes gegevens kunnen bijhouden.

bron: Tweakers

[ Voor 41% gewijzigd door anandus op 11-04-2005 23:32 ]

[m277755]

Heel got wordt inderdaad gecached. Bij ons op school heeft de systeembeheerder de dns zo ingesteld dat alles met tweakers.net naar startpagina.nl gaat (alsof iemand daar zou willen kijken). Hij zegt dat dat is omdat op tweakers programmatjes te downloaden zijn die het hele netwerk in de war kunnen sturen... maar goed. Ik zoek met google naar de titel van het topic, of een stukje tekst eruit, klik op cache en zie daar, toch nog op got (frontpage doe ik via tweakers.org trouwens )

maar als google toch alles van tweakers opslaat kunnen de tweakersservers eigelijk wel met pensioen, gewoon regelingetje treffen met google

Distributed computing lijkt me niet zo handig voor google voor de zoekopdrachten, dan duurt het tussen de halve dag en vele weken voordat je zoekopdracht verwerkt is

[KhaZ]

www.tweakers.com werkt toch ook? n44b sys beheerder

[Mr_gadget]

niet bij mij....

Ik denk dat google ook niet alleen xeons heeft, ze schijnen ook een hele hoop goedkope servers/computers te hebben...

dit is trouwens ook erg grappig:
http://www.google.com/googlegulp/product_line.html

[ Voor 105% gewijzigd door Mr_gadget op 20-04-2005 20:57 ]

[Thunder]

Verwijderd schreef op maandag 11 april 2005 @ 23:03:
Ik hoorde laatst dat google veel van zijn winst behaald door de zoektechnologie door te verkopen. dus deze zal idd wel goed weze

Dat is maar een fractie. Het meeste wordt verdiend met advertenties op hun site en advertenties op de sites van anderen die Google's adsysteem gebruiken