[PERL] Meta-search engine laten cachen

[Verwijderd]

Dit lijkt wellicht wat op een Script-request, maar is verre van waar !

Ik ben me aan het orienteren voor een Meta-Search Engine. De meeste MSE's maken gebruik van Google, Hotbot, Altavista en zo verder.

Is het een gek idee om de links die opgehaald worden zelf te gaan cachen ? De MSE's die ik vind doen dit vrijwel niet of kunnen het niet, ik zou dit dan dus zelf willen gaan integreren.

De vragen zijn echter:

- Is dit verstandig om te doen ? Mij lijkt het wel, maar vast erg complex.
- Hoe zouden jullie het opslaan ? Berkely, MySQL, Postgres ?

Er zijn legio MSE-scripts en tuts dus daar kom ik wel uit en lees er veel over, geen scriptrequest dus. Suggesties voor voorbeeld zijn uiteraard wel welkom.

[Soultaker]

Verwijderd schreef op woensdag 18 januari 2006 @ 20:29:
Is het een gek idee om de links die opgehaald worden zelf te gaan cachen ? De MSE's die ik vind doen dit vrijwel niet of kunnen het niet, ik zou dit dan dus zelf willen gaan integreren.

Wat wil je er mee dan?

[Verwijderd]

Soultaker schreef op woensdag 18 januari 2006 @ 20:34:
[...]

Wat wil je er mee dan?

Minder data genereren naar buiten toe.

[Soultaker]

Oh, zo. Dan zou ik zeggen dat je gewoon een proxy server ertussen zet en al klaar bent, zodat http://www.mijnzoekmachine.com/search?q=britney+spears uit de cache geserveerd kan worden. (Moet je natuurlijk geen POST requests doen, maar dat is sowieso onverstandig.)

[Verwijderd]

Een proxy zou kunnen, maar wanneer er een query uitgevoerd wordt en er wordt binnen het eigen systeem gekeken naar overeen komende woorden is dit wel zo makkelijk natuurlijk.