Toon posts:

[HTML] Bot forceren bestand te lezen

Pagina: 1
Acties:

Verwijderd

Topicstarter
Hoi,

Voor mij website heb ik een bestand met kernwoorden die dagelijks bewerkt wordt. Dit bestand bevat een aantal termen waarmee ik op het internet gevonden wil worden, en wil dus dat bots dit bestand doorlezen als ze mijn website bezoeken.

Op het moment gebruik ik de volgende methode:
code:
1
<a href="kern.htm"> </a>

Een linkje naar de betreffende pagina, met een spatie als naam zodat het niet op de website te zien is. Echter wordt de pagina kern.htm nu niet mee genomen door de bots.

Hoe kan ik er voor zorgen dat bots altijd dat bestand doorlezen als ze mijn site bezoeken?

  • LuCarD
  • Registratie: Januari 2000
  • Niet online

LuCarD

Certified BUFH

Verwijderd schreef op 26 mei 2004 @ 10:42:
Hoi,

Voor mij website heb ik een bestand met kernwoorden die dagelijks bewerkt wordt. Dit bestand bevat een aantal termen waarmee ik op het internet gevonden wil worden, en wil dus dat bots dit bestand doorlezen als ze mijn website bezoeken.

Op het moment gebruik ik de volgende methode:
code:
1
<a href="kern.htm"> </a>

Een linkje naar de betreffende pagina, met een spatie als naam zodat het niet op de website te zien is. Echter wordt de pagina kern.htm nu niet mee genomen door de bots.

Hoe kan ik er voor zorgen dat bots altijd dat bestand doorlezen als ze mijn site bezoeken?
Niet....

Programmer - an organism that turns coffee into software.


  • gorgi_19
  • Registratie: Mei 2002
  • Laatst online: 22:52

gorgi_19

Kruimeltjes zijn weer op :9

Met een serverside taal de UserAgent string doorlezen; als je vermoedt dat dit een botje is, dan geef je een fake pagina weer, anders de normale pagina. Je kan er alleen wel donder op zeggen dat je een zoekmachine kan vergeten als je hier op betrapt wordt.

Digitaal onderwijsmateriaal, leermateriaal voor hbo


Verwijderd

Topicstarter
Is er dan minstens een manier op ze wat extra aan te sporen dat bestand te lezen?

Verwijderd

Beetje gare / maffe opmerking misschien.

Maar kun je die lijst niet gewoon copieren naar je Meta Tag ?
Deze alleen op de index pagina door voeren..... en de bots opdracht geven alleen de index file te scannen.

Of begrijp ik niet helemaal de opzet van je vraag :X , 't zou kunnen namelijk :)

*Ik weet ook niet of het slim is om de dag andere steek woorden te kiezen.
* Miusschien beter een paar goed gekozen woorden, die altijd up-to-date zijn.

/EDIT:

* bv : site gaat over buldozers, zet er dan in buldozers/graafmachines
* en niet, MACK gavertje, en de volgende dag iets anders........... wordt zo verwarrend en scheelt heel veel edit werk voor jouw :)

[ Voor 40% gewijzigd door Verwijderd op 26-05-2004 11:04 ]


  • Thijsmans
  • Registratie: Juli 2001
  • Laatst online: 24-05 13:39

Thijsmans

⭐⭐⭐⭐⭐ (5/5)

Als je site daadwerkelijk over deze termen gaat, kan je er van op aan dat die bots dat vanzelf indexeren :) Als hij niet over deze termen gaat, betwijfel ik of iemand je wil helpen, gezien dat vervuiling is van de zoekresultaten. Bovendien heb je dan, zoals gorgsel zegt, kans dat je compleet wordt gewist uit de DB van de zoekfirma.

Misschien moet je maar eens naar het gebruik van Meta-tags kijken. Echter worden deze niet echt belangrijk meer gevonden door bots, gezien er meer wordt gekeken naar de inhoud.

Privacy-adepten vinden op AVGtekst.nl de Nederlandse AVG-tekst voorzien van uitspraken en besluiten.


Verwijderd

een woord tussen je <a></a> tags plaatsen :) misschien kan je het dan in een display:none div-je gooien zodatie wel gelezen wordt door de zoekmachine, maar niet zichtbaar is voor de bezoeker...

  • André
  • Registratie: Maart 2002
  • Laatst online: 18-05 16:30

André

Analytics dude

Het is gewoon allemaal zoekmachine verneuking, zorg gewoon dat je site over de dingen gaat waar hij over moet gaan en laat de zoekmachine zijn werk doen.

Verwijderd

@ Sooterd :

Ook daar kijken sommige bots niet meer naar.........
Omdat ontwerpers veel van dit soort grappen uit haalden.
Ik meen dat er ergens op GoT, een artikel over Google stond en hoe deze tewerk gaat

Maar kan het mis hebben :)
*Ik weet ook niet of het slim is om de dag andere steek woorden te kiezen.
* Miusschien beter een paar goed gekozen woorden, die altijd up-to-date zijn.

[ Voor 30% gewijzigd door Verwijderd op 26-05-2004 11:08 ]


Verwijderd

André schreef op 26 mei 2004 @ 11:05:
Het is gewoon allemaal zoekmachine verneuking, zorg gewoon dat je site over de dingen gaat waar hij over moet gaan en laat de zoekmachine zijn werk doen.
_/-\o_

Als je zorgt dat je gewoon voldoende tekst hebt met daarin je zoekwoorden die je afstemt met wat je in je meta tags en title en bestandsnaam hebt staan score je al een heel eind... mn eigen website heeft daardoor een bezoekerstoename van 300% gekregen (en nee niet van 1 naar 3 per dag ;) )

Verwijderd

:D

De site van onze Bug Club, heeft geen MetaTags, gewoon de site netjes opzetten
en toch hebben we ruime >1100 bezoekers per maand

  • André
  • Registratie: Maart 2002
  • Laatst online: 18-05 16:30

André

Analytics dude

Hier staat ook wel wat nuttige info:

http://www.google.nl/intl/nl/webmasters/
Verwijderd schreef op 26 mei 2004 @ 11:10:
:D

De site van onze Bug Club, heeft geen MetaTags, gewoon de site netjes opzetten
en toch hebben we ruime >1100 bezoekers per maand
De grootse zoekmachine google gebruikt ze ook zo goed als niet meer. Alleen voor andere zoekmachines kan het handig zijn om ze er in te laten staan.

[ Voor 71% gewijzigd door André op 26-05-2004 11:13 ]


Verwijderd

Verwijderd schreef op 26 mei 2004 @ 11:06:
@ Sooterd :

Ook daar kijken sommige bots niet meer naar.........
Omdat ontwerpers veel van dit soort grappen uit haalden.
Ik meen dat er ergens op GoT, een artikel over Google stond en hoe deze tewerk gaat

Maar kan het mis hebben :)
mijn website wordt wel helemaal geïndexeerd ondanks dat veel linkjes in div's staan die een display:none hebben...

Verwijderd

Topicstarter
Ik moet wel elke dag andere steekwoorden gebruiken. Want ik verkoop namelijk grote partijen materiaal. En dan is wekelijks iets anders. Ik wil natuurlijk wel gevonden worden als mensen zoeken op een van de materialen die ik op dat moment op voorraad heb.

  • André
  • Registratie: Maart 2002
  • Laatst online: 18-05 16:30

André

Analytics dude

Verwijderd schreef op 26 mei 2004 @ 11:12:
Ik moet wel elke dag andere steekwoorden gebruiken. Want ik verkoop namelijk grote partijen materiaal. En dan is wekelijks iets anders. Ik wil natuurlijk wel gevonden worden als mensen zoeken op een van de materialen die ik op dat moment op voorraad heb.
Elke dag andere steekwoorden? Een zoekmachine komt maar eens in de paar weken langs dus zo snel updaten lukt toch niet. Dan kun je er beter voor zorgen dat alle producten door de bot gevonden en geindexeerd worden, of iig de populaire producten.
Verwijderd schreef op 26 mei 2004 @ 11:12:
[...]

mijn website wordt wel helemaal geïndexeerd ondanks dat veel linkjes in div's staan die een display:none hebben...
Op zich kan een bot die trucjes makkelijk analyseren en opsporen maar daar gaat zo verschrikkelijk veel tijd in zitten dat het praktisch niet haalbaar is.

[ Voor 24% gewijzigd door André op 26-05-2004 11:15 ]


  • SchizoDuckie
  • Registratie: April 2001
  • Laatst online: 18-02-2025

SchizoDuckie

Kwaak

André schreef op 26 mei 2004 @ 11:14:
[...]

Elke dag andere steekwoorden? Een zoekmachine komt maar eens in de paar weken langs dus zo snel updaten lukt toch niet. Dan kun je er beter voor zorgen dat alle producten door de bot gevonden en geindexeerd worden, of iig de populaire producten.


[...]

Op zich kan een bot die trucjes makkelijk analyseren en opsporen maar daar gaat zo verschrikkelijk veel tijd in zitten dat het praktisch niet haalbaar is.
Volgens mij moet dit wel degelijk kunnen met de meta revisit-after (1 dag) en content-expiration en een server side includes van je bestandje met meta keywords. Vraag me alleen niet of het werkt, aangezien een zoekmachine 9 van de 10 x ook je hele site nog chached...

Stop uploading passwords to Github!


Verwijderd

Verwijderd schreef op 26 mei 2004 @ 11:12:
[...]

mijn website wordt wel helemaal geïndexeerd ondanks dat veel linkjes in div's staan die een display:none hebben...
Lees : Sommige Bots.....


@ post opener:

Tja dan wordt het heel veel updaten,
Maar wat je dan kunt doen, een soort startup pagina maken die na een seconde of 2 automatisch de 2de index pagina ophaald.
In die loader zet je dan je sleutel woorden.. die loader zou jouw woorden lijst kunnen zijn --> dan wel in metatag.
Vertel hier op in het kort wat je heb.....voor de bots die naar de pagina informatie kijken.

Of maak een frame die de site draagt en zet daar je sleutel woorden in

Tips genoeg .om te proberen :)

Verwijderd

André schreef op 26 mei 2004 @ 11:14:
Op zich kan een bot die trucjes makkelijk analyseren en opsporen maar daar gaat zo verschrikkelijk veel tijd in zitten dat het praktisch niet haalbaar is.
Het zijn opzich legale linkjes, want de bezoeker kan overal bijkomen; het heeft gewoon te maken met mn menustructuur, daarom kan de zoekmachine het ook moeilijk detecteren of het nu een legale actie is of niet... als die dit gaat blokken gaat er bar weinig geindexeerd worden wil je nog een klein beetje leuk menutje gebruiken....

Verwijderd

Topicstarter
Om mijn site draait AW stats en aan de hand daarvan kan ik controleren dat de googlebot 1x per dag langskomt. Dat had ik al geregeld met revisit op 1 dag zetten. In priciepe zou 1x per week updaten ook goed zijn. Maar dagelijks zou echt het beste zijn.

De gegevens die in kern.html staan worden realtime ge-exporteerd door de database. Dus zodra ik een artikel verkoop is dat op internet te zien. Zou leuk zijn als de googlebot elke dag dat lijstje inleest zodat mijn voorraadlijst klopt met wat mensen zoeken.

Verwijderd

Ik weet niet of je php of iets dergelijks draait op je webserver, maar je zou ervoor kunnen kiezen om door middel van een include je textfile (met daarin de steekwoorden) te includen. In dit geval hoef je alleen dat bestandje aan te passen. Of anders een directe connectie met je database.

Verwijderd

Topicstarter
Verwijderd schreef op 26 mei 2004 @ 11:31:
Ik weet niet of je php of iets dergelijks draait op je webserver, maar je zou ervoor kunnen kiezen om door middel van een include je textfile (met daarin de steekwoorden) te includen. In dit geval hoef je alleen dat bestandje aan te passen. Of anders een directe connectie met je database.
Ik heb hier al aan zitten denken. Maar dan krijg ik ergens op mijn pagina een lading met artikelen. Wel of niet zichtbaar, het wordt toch door de klant binnengehaald als ze de pagina opvragen. Dus ik heb liever dat alleen de bot het bestandje leest en dat mijn index.html zo vrij mogelijk blijft van andere zaken.

Tja, mijn klanten hebben veelal nog 56k6 modems voor het opvragen van gegevens. Dan is het niet zo verstandig om je bestanden groot te maken. Het moet allemaal snel snel snel tegenwoordig, dus daar moet ik wel rekening mee houden.

Verwijderd

Kun je niet de Mettag on-the -fly updaten ?
In de trent van :

Meta contents -> Keywords = <% Fetch keywords/ articles from database %>
Meta contents -> Athor = " de eigennaar "

Maar dan wel in goede HTML codes :)

Ik weet wel dat PHP/ASP op die manier je titelbalk kunt veranderen, misschien ook je meta.

Beter gezegt : neem waardes van database stop deze in string

Meta-content = String

Zo iets ?

[ Voor 18% gewijzigd door Verwijderd op 26-05-2004 11:48 ]


  • André
  • Registratie: Maart 2002
  • Laatst online: 18-05 16:30

André

Analytics dude

Verwijderd schreef op 26 mei 2004 @ 11:46:
Kun je niet de Mettag on-the -fly updaten ?
In de trent van :

Meta contents -> Keywords = <% Fetch keywords/ articles from database %>
Meta contents -> Athor = " de eigennaar "

Maar dan wel in goede HTML codes :)

Ik weet wel dat PHP/ASP op die manier je titelbalk kunt veranderen, misschien ook je meta. who knows ??
Tuurlijk kan dat, je kunt met php/asp toch zelf bepalen wat je in je html zet 8)7

Verwijderd

Dan is er toch geen groot probleem meer :)

Verwijderd

Topicstarter
André schreef op 26 mei 2004 @ 11:47:
[...]

Tuurlijk kan dat, je kunt met php/asp toch zelf bepalen wat je in je html zet 8)7
Ik dacht dat er een max van 255 karakters is voor de metatag, en ik heb ongeveer 500 artikelen die ik geindexeerd wil hebben. Dus dat is niet helemaal een goede opossing voor mij.

  • André
  • Registratie: Maart 2002
  • Laatst online: 18-05 16:30

André

Analytics dude

Verwijderd schreef op 26 mei 2004 @ 11:49:
[...]


Ik dacht dat er een max van 255 karakters is voor de metatag, en ik heb ongeveer 500 artikelen die ik geindexeerd wil hebben. Dus dat is niet helemaal een goede opossing voor mij.
Dan is er idd geen gemakkelijke oplossing.

Wel een wat moeilijker:
Zet een link op je index pagina naar een pagina waar links op staan naar al je producten en zet in die productpagina's dan de juiste dingen in je content en metatags. Dan heb je dus per product een pagina.

Verwijderd

Topicstarter
André schreef op 26 mei 2004 @ 11:55:
[...]

Dan is er idd geen gemakkelijke oplossing.

Wel een wat moeilijker:
Zet een link op je index pagina naar een pagina waar links op staan naar al je producten en zet in die productpagina's dan de juiste dingen in je content en metatags. Dan heb je dus per product een pagina.
Dat is een goed idee, alleen heb ik geen zin om voor 500 produkten, 500 pagina's te maken. Bovendien, de link naar het bestand waar alle produkten in staan is al aanwezig op de index pagina, maar googlebot volgt die link niet. Dus dit is gewoon hetzelfde, zal dan ook wel niet werken.

  • André
  • Registratie: Maart 2002
  • Laatst online: 18-05 16:30

André

Analytics dude

Verwijderd schreef op 26 mei 2004 @ 12:01:
[...]


Dat is een goed idee, alleen heb ik geen zin om voor 500 produkten, 500 pagina's te maken. Bovendien, de link naar het bestand waar alle produkten in staan is al aanwezig op de index pagina, maar googlebot volgt die link niet. Dus dit is gewoon hetzelfde, zal dan ook wel niet werken.
Mwah, die 500 pagina's kun je wel door een serverside script laten maken, daar zit geen werk in.

Verwijderd

Topicstarter
Ik ga maar eens gauw aan de slag. Dank voor jullie hulp.
Pagina: 1