Website crawling comparison tool

[scorpie]

Voordat ik het zelf ga maken, ben ik eerst op zoek gegaan naar een stukje software dat als input 2 website roots krijgt, en (binnen datzelfde domein uiteraard) langs alle links crawlt om te zien of beide websites gelijk zijn. Ik kon me haast niet voorstellen dat het niet bestond, maar na zorgvuldig Googlen moet ik zeggen dat ik erg weinig, zeg maar gerust geen, bruikbare links heb gevonden. Ik vind alleen Search Engine Optimization tools om te zien welke website beter geindexeerd wordt, maar dat is dus niet wat ik zoek.

[Marzman]

Is dat niet een erg inefficiente manier om twee websites hetzelfde te houden?

[scorpie]

Mjah, het is even wat complexer dan dat, ik ben momenteel bezig om een renderengine van een cms te upgraden, en wil dus weten of alle code nog wel goed wordt geparsed en gerendered. Handmatig is niet te doen, en servermatig alle sources comparen is dus niet voldoende omdat er dus dingen kapotgemaakt zijn in de nieuwe renderengine (ja, don't ask..).

[pedorus]

Je kunt toch gewoon beide websites (oud en nieuw) crawlen en opslaan, en dan een willekeurige diff-tool eroverheen laten gaan? Waarom zou je een aparte tool nodig hebben die dat tegelijkertijd doet?

[scorpie]

Ja, dat is ook een mogelijkheid idd... ga dat wel doen ja..

[Noxious]

Dat lijkt me de makkelijkste optie idd. Bijv HTTrack is zo'n crawler.

[RobIII]

Waar hoort mijn topic?
WEB >> CSA