" Je schrijft: "Eigenaren van websites beschermen hun privacy met een
standaarddocument, robots.txt." Het bestand robots.txt is geen beveiligingsmiddel of privacybescherming. Dit bestand is ooit in het leven geroepen om drukke servers te ontlasten door zoekbots meteen naar de belangrijkste pagina's van een website te dirigeren. Kortom een middel om de performance te verbeteren.
Alleen slechte webmasters (en daar zijn er kennelijk heel veel van, getuige het grote aantal privacygevoelige documenten dat Google heeft geïndexeerd) gebruiken robots.txt ook ter beveiliging. Dat is dom, want de betreffende directories zijn ook mét een robots.txt nog steeds openbaar, alleen niet terug te vinden via een zoeksysteem dat zich aan de robots.txt-standaard houdt. "
dat was een reply van iemand.. dus een boete kan je niet geven. als je je bestanden wilt beveiligen moet je met een htaccess file werken niet met robot.txt !
standaarddocument, robots.txt." Het bestand robots.txt is geen beveiligingsmiddel of privacybescherming. Dit bestand is ooit in het leven geroepen om drukke servers te ontlasten door zoekbots meteen naar de belangrijkste pagina's van een website te dirigeren. Kortom een middel om de performance te verbeteren.
Alleen slechte webmasters (en daar zijn er kennelijk heel veel van, getuige het grote aantal privacygevoelige documenten dat Google heeft geïndexeerd) gebruiken robots.txt ook ter beveiliging. Dat is dom, want de betreffende directories zijn ook mét een robots.txt nog steeds openbaar, alleen niet terug te vinden via een zoeksysteem dat zich aan de robots.txt-standaard houdt. "
dat was een reply van iemand.. dus een boete kan je niet geven. als je je bestanden wilt beveiligen moet je met een htaccess file werken niet met robot.txt !
"Computer games don't affect kids; I mean if Pac-Man affected us as kids, we'd all be running around in darkened rooms, munching magic pills and listening to repetitive electronic music."
Webmasters die een robots.txt gebruiken voor beveiliging zouden hiervoor beboet moeten worden. Google heeft niets fout gedaan volgens mij. Ik heb de RFC/W3 standaard die over robots.txt gaat en al het hele standaardisatieproces heeft doorlopen tenminste nog niet gezienOp maandag 11 maart 2002 17:12 schreef GerwinPrins het volgende:
Zeggen jullie van "tja, maakt niet zo heel erg gek veel uit", "of kan dit echt niet en zou Google hiervoor een boete moeten krijgen.
Ze hebben toch adequaat gereageerd op de "fout" die in mijn ogen geen fout is. Moeten ze het maar beter beveiligen.
Google -> Rules
Google -> Rules
"Sometimes I have a difficult time handling myself in social situations. I just start scampering around neurotically, frantically jumping all over guests. I think it all goes back to when I was raised in the wild by miniature schnauzers."