Ik ben op zoek naar software dat, gegeven een URL net, als een zoekrobot je website indexeert, waarop je vervolgens kunt zoeken.
Er is zat software te vinden dat dit doet voor fysiek bestaande documenten. Maar ik kan niets vinden dat gewoon de links uit je website pagina's volgt en de pagina's indexeert.
Het lijkt me niet bijster ingewikkeld zelf een dergelijk iets te schrijven, maar ik kan me niet voorstellen dat het niet bestaat?
Er is zat software te vinden dat dit doet voor fysiek bestaande documenten. Maar ik kan niets vinden dat gewoon de links uit je website pagina's volgt en de pagina's indexeert.
Het lijkt me niet bijster ingewikkeld zelf een dergelijk iets te schrijven, maar ik kan me niet voorstellen dat het niet bestaat?