[PW] Link Checker Bot

[Olaf van der Spek]

Veel "Productinformatie van de fabrikant" links zijn helaas dood. Zou een bot deze niet eens kunnen checken zodat dode links verwijderd of verbeterd kunnen worden?

[The Executer]

Olaf van der Spek schreef op maandag 21 november 2011 @ 12:11:
Veel "Productinformatie van de fabrikant" links zijn helaas dood. Zou een bot deze niet eens kunnen checken zodat dode links verwijderd of verbeterd kunnen worden?

Wat als je op een algemene pagina uitkomt? Heb ik nog wel eens meegemaakt bij Samsung-producten waarvan de productspecifieke pagina dood is. Hierbij wordt je doorgeleid naar de homepage. In feite een werkende pagina...

Waar ik op doel: De bot zal deze als zijnde "werkend" aanmerken, terwijl het dus eigenlijk niet het geval is.

Fiber schreef op maandag 21 november 2011 @ 12:13:
Je zou ze ook zelf even kunnen verbeteren...

Eensch, op deze manier doe ik het ook. Kom je eens een verkeerde linkje tegen, even opzoeken en klaar.

[ Voor 27% gewijzigd door The Executer op 21-11-2011 12:15 ]

[Fiber]

Je zou ze ook zelf even kunnen verbeteren...

[Olaf van der Spek]

Fiber schreef op maandag 21 november 2011 @ 12:13:
Je zou ze ook zelf even kunnen verbeteren...

Oh ja, even 1000+ links verbeteren. Nee dank je.

The Executer schreef op maandag 21 november 2011 @ 12:13:
Waar ik op doel: De bot zal deze als zijnde "werkend" aanmerken, terwijl het dus eigenlijk niet het geval is.

Wat is je punt? Dat omdat niet gegarandeerd kan worden dat alle dode links gedetecteerd worden, er maar helemaal niks gedaan moet worden?

[ Voor 47% gewijzigd door Olaf van der Spek op 21-11-2011 12:34 ]

[Fiber]

Olaf van der Spek schreef op maandag 21 november 2011 @ 12:33:
[...]
Oh ja, even 1000+ links verbeteren. Nee dank je.

Wat ik eigenlijk bedoel is dat als iedereen die een dood- of fout linkje tegenkomt even de moeite zou nemen om dit te verbeteren, dan is dit probleem ook binnen no time opgelost.

[djexplo]

The Executer schreef op maandag 21 november 2011 @ 12:13:
[...]
Waar ik op doel: De bot zal deze als zijnde "werkend" aanmerken, terwijl het dus eigenlijk niet het geval is.
[...]

Het ligt er aan hoe je deze bot maakt. Het makkelijkst is om op het moment van toevoegen het html bestand inclusief http headers te downloaden van die pagina. Dan kan je later als bot af en toe opnieuw deze html file downloaden en kijken naar het percentage verschil.

[RaZ]

Percentage verschil zal denk ik niet echt werken. de site kan gerestyled worden. Eventueel andere menu's en andere producten die er bij staan als zijnde: Gerelateerd, of: Andere kochten ook, of: Reeds door u bekeken.

Alle links in de pricewatch zouden de header opgevraagd kunnen worden, en op basis van een 404/410 of 302/301 op T.net in een lijst gezet kunnen worden, waar de community kan meehelpen om die massa's dode links weg te werken.

Hetzij nomineren voor verwijderen of het aanpassen.

Denk dat er best wel mensen te vinden zijn die dat willen doen als er een overzichtelijke lijst komt, zonder eerst alle producten zelf langs te moeten gaan. De huidige methode vind ik zelf weer te veel werk om te gaan zitten aanpassen, en dan laat ik het meestal ook schieten.

[Olaf van der Spek]

Fiber schreef op maandag 21 november 2011 @ 12:45:
Wat ik eigenlijk bedoel is dat als iedereen die een dood- of fout linkje tegenkomt even de moeite zou nemen om dit te verbeteren, dan is dit probleem ook binnen no time opgelost.

Dan is het wel handig als meteen te zien is dat de link dood is zonder eerst op de link te hoeven klikken.