[SEO Discussie] noindex-tag

[RaZ]

Poll: noindex-tag in HTML
^Tussenstand:

• Ja
• Nee
^{Ook een poll maken? Klik hier}

Je kan je pagina's de noindex meta-tag mee geven, en dat geldt dan voor de gehele pagina. Ik zou het wel fijn vinden als ik per div kan aangeven of het niet geindexeerd dient te worden.

Bijvoorbeeld de reacties onder een nieuwsitem/blogpost, de powered by onderaan de pagina omdat je opensource cms gebruikt. Zodat men je site niet vindt als men gaat kijken op Google welke sites draaien met oude software. Een phpbb forum waar makkelijke exploits in zitten.

Of een RSS-feed van een andere site, dat je na een week vindbaar bent op content die je helemaal niet hebt. Zo ook op t.net bijvoorbeeld. Of net als tweakers, dat je life menu-items hebt van andere site. Dit artikel bestaat dus helemaal niet op T.net: Klik

Zo kan er dus best informatie op pagina's staan waarop je niet vindbaar wil zijn.

Concreet gezegd, zie jij wat in een noindex optie voor in pagina's? Ook informatie niet zoekbaar maken is natuurlijk SEO, niet onnodig de zoekmachines vervuilen.
Voorbeelden:

HTML:

<div class="noindex">
T.net RSS Feed
</div>

of misschien iets net als met Google adsense, waar je met comments kan aangeven of het wel of niet meegenomen moet worden voor de advertenties:

HTML:

<!-- noindex start -->
Powered by xxxxxx
<!-- noindex end -->

Ik zou dit best kunnen gebruiken. En om nu RSS-Feed van andere sites in javascript neer te zetten zie ik niet zo zitten. Ook ben ik geen voorstander van iframes, maar dan kan je wel gewoon de noindex meta-tag gebruiken.

[MueR]

Hoewel het vast wel leuk gaat zijn om te weten wat de Tweaker er van vindt, kan je me uitleggen wat je wil bereiken? Ik betwijfel namelijk of het W3c, Google of browserbakkers hier meelezen. Support voor een dergelijke tag zal je toch bij hen af moeten dwingen lijkt me.

[RaZ]

Nou, leek mij wel interressant om te weten oof ik de enige ben die er zo over denkt. En als dat zo is, is een groter draagvlak altijd makkelijker om iets te bereiken

Ik zie er namelijk wel voordelen van.

[moozzuzz]

Interessant idee maar ik zou het houden op een attribuut van een anchor (ipv tag/comment).

[André]

Yahoo ondersteunt dit al even, maar ik vraag me af of het nut heeft. Vindbaar zijn op andermans content is het probleem van de bronsite: als die goed in elkaar zat zou die wel gevonden worden.
En mocht je nou echt iets willen verbergen kun je zaken met een iframe of JS inladen.

[Cartman!]

Google kan er wel mee omgaan want als ik me niet vergis kun je met AdSense precies aangeven welke content genegeerd moet worden. Wellicht kun je daar n balletje opgooien en hopen dat er meer volgen Bij W3C krijg je zoiets er niet heel snel door gok ik...

[Tjeemp]

Ik zou toch zweren dat ik zo iets laatst heb gezien! Kan het alleen helemaal nergens meer vinden.

het was juist andersom, iets als:

code:

<!-- google end --> <!-- google start -->

Maar ik kan de bron waar ik dit had gelezen niet meer vinden en weet bijna zeker dat het niet exact bovenstaande tag is ;-) Het was in ieder geval met een comment-tag gedaan die dus prima valideert.

[HuHu]

Tjeemp schreef op woensdag 17 maart 2010 @ 10:50:
Ik zou toch zweren dat ik zo iets laatst heb gezien! Kan het alleen helemaal nergens meer vinden.

het was juist andersom, iets als:

code:

<!-- google end --> <!-- google start -->

Maar ik kan de bron waar ik dit had gelezen niet meer vinden en weet bijna zeker dat het niet exact bovenstaande tag is ;-) Het was in ieder geval met een comment-tag gedaan die dus prima valideert.

Dat staat hier: http://code.google.com/in...l/Preparing.html#pagepart

Voorbeeld:

code:

<p>Dit is normale tekst die wel wordt opgenomen door Google.</p>

<!--googleoff: index-->

<p>Deze tekst wordt niet opgenomen door Google.</p>

<!--googleon: index>

[Tjeemp]

Ja! Die bedoelde ik

Dat is toch waar TS naar zocht? Momenteel waarschijnlijk alleen ondersteund ook door Google, maar goed met een marktaandeel van boven de 90% in Nederland levert dat al aardig wat resultaat op.

[RobIII]

HuHu schreef op woensdag 17 maart 2010 @ 10:59:
[...]

Dat staat hier: http://code.google.com/in...l/Preparing.html#pagepart

Da's leuk, maar geldt alleen voor de Search Appliance afaik. En voor AdSense heb je deze oplossing. Maar volgens mij is er voor de 'gewone webcrawler' (nog) geen manier om specifieke delen uit te sluiten van indexering.

[ Voor 24% gewijzigd door RobIII op 17-03-2010 12:21 ]

[Millennyum]

De gedachte achter Google is dat zij bezoekers zo relevant mogelijke content aan willen bieden. Zodra jij content gaat verbergen, kunnen zoekmachines niet meer goed beoordelen waar de pagina over gaat.

Jij geeft voorbeelden die 'te goeder trouw' zijn en waarbij het zinvol is dingen te verbergen voor zoekmachines, maar er kan natuurlijk ook misbruik van gemaakt worden.

[RaZ]

Dan volgt natuurlijk het punt, wat is relevante content. Want mijn wordpress blog gaat niet over wordpress, maar toch staat het op elke pagina. Net als de gene die de template gemaakt heeft.

Neem de ondertitel en de sigs hier op het forum. Dat is leuk voor de gebruikers, maar complete bullshit inforrmatie.

Mijn idee was in het kader van: "less is more". En dan met de link in de OP als voorbeeld. Iets wat blijkbaar Yahoo wel snapt. Maarja, mijn bezoekers komen daar gewoon niet vandaan. In Nederland is die zoekmachine erg onbekend.

Ik zie eigenlijk niet in hoe er misbruik gemaakt van kan worden. Je geeft eigenlijk gewoon aan: Hier staat wel wat, maar dat is niet relevant, dus neem het niet op, laat het links liggen.

Maar blijkbaar zijn de meningen er over verdeeld

[Verwijderd]

Ergens ben ik er wel voorstander van maar dan net omgekeerd, dat je met een tag kan aanduiden welke content prioriteit heeft, dat je bepaalde elementen op je website kan markeren als belangrijk

HTML:

<!-- index-start:priority high -->
<div>
<p>dit is heel belangrijke content</p>
</div>
<!-- index-end -->

<!-- index-start:priority low -->
<div>
<span>website made by blabla</span>
</div>
<!-- index-end -->

Nu met HTML5 gaat zal dit probleem zichzelf al voor een stuk oplossen met tags zoals <nav> & <footer> waardoor een robot ook weer wat slimmer te werk kan gaan maar het zou een leuke aanvulling zijn ...

[wackmaniac]

Je zou ook kunnen kijken naar de user-agent van de bezoeker en aan de hand daarvan bepaalde inhoud wel of niet tonen. Is, na het aanleggen van een black list met user-agents, net zoveel werk.

[Verwijderd]

wackmaniac schreef op vrijdag 19 maart 2010 @ 09:00:
Je zou ook kunnen kijken naar de user-agent van de bezoeker en aan de hand daarvan bepaalde inhoud wel of niet tonen. Is, na het aanleggen van een black list met user-agents, net zoveel werk.

Dit mag dus niet. Zie ook Wikipedia: Cloaking . Als het goed is controleren zoekmachines hier ook op.

Ik ben van mening dat alles dat een gebruiker ziet, ook door de bots moet worden gezien.

[Peter]

MueR schreef op dinsdag 16 maart 2010 @ 13:28:
Hoewel het vast wel leuk gaat zijn om te weten wat de Tweaker er van vindt, kan je me uitleggen wat je wil bereiken? Ik betwijfel namelijk of het W3c, Google of browserbakkers hier meelezen. Support voor een dergelijke tag zal je toch bij hen af moeten dwingen lijkt me.

Bij in ieder geval het W3C en veel van de browser-bakkers wordt iedereen uitgenodigd om mee te discussiëren, meestal door middel van IRC kanalen (veel op Freenode) en mailinglijsten. Toch zijn dit niet de partijen die je nodig hebt; indexering heeft niets te maken met browser-vendors. Hun invloed gaat niet verder dan misschien een nieuw attribuut toevoegen, welke vervolgens genegeerd moet worden.

Het W3C heeft hier ook niet veel te maken. In de HTML 5 drafts wordt de "noindex" meta-waarde niet meegenomen als een standaard, waar het in HTML 4.0 enkel als notitie in een appendix voorkwam. De robots directive wordt echter wel meegenomen in discussies voor Meta Extensions, zoals hier te lezen is, maar ook dat is nog niet gestandaardiseerd. Wel is de ondersteuning bij de grotere zoekmachines volledig.

Voordat content-uitzonderingen voor indexering opgenomen worden kan je een heel lang proces verwachten. Niet alleen moet het voorstel goedgekeurd worden door alle zoekmachines, mensen die de standaarden bekijken en beoordelen (o.a. het W3C, maar ook bijvoorbeeld het WHATWG), waarna implementatie ook nog op zich zal laten wachten. Daarna krijg je nog een periode waarin je website opnieuw geïndexeerd moet worden en caches gewist (waarbij dat met archive.org waarschijnlijk al niet gaat lukken) moeten worden.

De nodige proprietaire methode's, zoals het "googleoff" welke HuHu aangeeft werken wel voor Google, maar dan weer niet voor andere zoekmachines. Wel is de W3C bezig met actievere discussies voeren over content, microdata en semantiek van webpagina's, wellicht wordt het nog meegenomen

[RaZ]

Verwijderd schreef op vrijdag 19 maart 2010 @ 09:07:
[...]


Dit mag dus niet. Zie ook Wikipedia: Cloaking . Als het goed is controleren zoekmachines hier ook op.

Ik ben van mening dat alles dat een gebruiker ziet, ook door de bots moet worden gezien.

Lees de eerste alinea van die pagina eens. Daar wordt dus gesproken over content laaten zien, die users niet zien (dus toevoegen van content).

Als je dus minder content sserveert aan de zoekmachines dan de gebruiker kan zien (niet tonen van copyright notice, powered by, templated by, laatst gewijzigd, etc.) is dus geen cloaking.

Wees trouwens maar blij dat jouw inbox niet doorzoekbaar is, of je pagina van je rekening bij je bank.