Advies gevraagd index word bestanden

[Verwijderd]

Ik zit met een paar honderd duizend word bestanden die snel te vinden moeten zijn op een intranet. Nu heb ik dit geprobeerd met een programma zoals search engine builder pro maar dit gaat veels te langzaam.

Search Engine Builder Pro kan schrijven naar een access database of een mysql database. Met de acces database lukt het wel maar zoeken gaat te langzaam.
Nu wilde ik het proberen met een mysql database maar dit gaat niet goed.

Weten jullie misschien een alternatief wat ik kan gebruiken?

Het gaat er dus om dat ik via het intranet snel word documenten kan zoeken.

[D2k]

wil je ook nog in de documenten zoeken? of alleen de documenten zelf?

[.oisyn]

En dit heeft wat precies met P&W te maken? Wil je zelf iets schrijven, of zoek je alleen maar software?

[ Voor 43% gewijzigd door .oisyn op 02-10-2003 16:32 ]

[whoami]

Er is een bedrijf die gespecialiseerd is in het zoeken door 'ongestructureerde content', zoals word, excel-files, pdf files, etc....

Dat bedrijf heeft Autonomy en had enkele jaren een gratis programmatje (Kenji ofzo) op hun website staan dat je kon downloaden. Dat programmaatje indexeerde ahw documenten op basis van een Bayes-algoritme.
Als je dan zocht op een bepaalde term, dan kreeg je alle documenten terug die verband hielden met die zoek-opgave.
Het voordeel daarvan was wel dat er niet op 'keywords' gezocht werd, maar echt op context. (Met waarschijnlijkheidstheorie enzo).

[OZ-Gump]

De vraag is ook nog waarom jij denkt dat het met bijvoorbeeld MySQL enorm veel sneller zal gaan dan met Access. Waar je dat vandaan haalt vind ik ook een beetje vreemd.

Als je wil zoeken in een paar honderd duizend records (zoals je zelf aangeeft) zal het waarschijnlijk wel even duren voor je iets gevonden hebt jah...

Misschien is het een idee om de documenten in bepaalde groepen in te delen naar aanleiding van bijvoorbeeld de mappenstructuur en op die manier de zoek-opdracht tot een kleiner aantal te beperken.

[gorgi_19]

OZ-Gump schreef op 02 oktober 2003 @ 16:34:
De vraag is ook nog waarom jij denkt dat het met bijvoorbeeld MySQL enorm veel sneller zal gaan dan met Access. Waar je dat vandaan haalt vind ik ook een beetje vreemd.

Met zulke grote hoeveelheden records durf ik ook wel te beweren dat MS Access zo traag als een slak gaat worden, welke zelfs met een enorme hoeveelheid peper in z'n **** niet vooruit te branden is.

MS Access is een desktop applicatie; 't is nooit de intentie geweest om deze in te gaan zetten voor multi-users omgevingen. Voor (relatief) kleine hoeveelheden records, bijvoorbeeld tot 30.000, heeft MS Access geen problemen.

[ Voor 9% gewijzigd door gorgi_19 op 02-10-2003 16:38 ]

[Verwijderd]

ik moet dus in de documenten kunnen zoeken, sorry ik begrijp nu ook dat ik waarschijnlijk in het verkeerde topic post. Maar ik dacht misschien heeft iemand hier een leuk progje voor

ik zal es zoeken naar autonomy, thnx whoami. ik hoorde van iemand dat het ook met win2k server kan met indexing server? ik heb alleen geen ervaring hier mee

[.oisyn]

Ok, dan is het meer een SA vraag dus
PW -> SA

[Verwijderd]

jullie waren me al weer te vlot af, maar euh mysql is niet sneller als acces ?

[curry684]

Verwijderd schreef op 02 October 2003 @ 16:38:
jullkie waren me al weer te vlot af, maar euh mysql is niet sneller als acces ?

Wel wat, maar niet veel, bovendien ondersteunen ze afaik geen van beiden FULLTEXTSEARCH, waarvoor je MS SQL Server of iets van die grootte nodig hebt (dan kan je wel in .docs etc. zoeken). MSSQL kost 4800 euro ongeveer om aan het web te hangen fyi

[gorgi_19]

curry684 schreef op 02 October 2003 @ 16:40:
[...]

Wel wat, maar niet veel, bovendien ondersteunen ze afaik geen van beiden FULLTEXTSEARCH, waarvoor je MS SQL Server of iets van die grootte nodig hebt (dan kan je wel in .docs etc. zoeken). MSSQL kost 4800 euro ongeveer om aan het web te hangen fyi

Waarbij ik me afvraag of je met een beetje gegoochel niet MSDE kan misbruiken.. En het is een intranet; geen idee of je dan ook een processorlicense nodig hebt.

[Verwijderd]

OZ-Gump schreef op 02 October 2003 @ 16:34:
De vraag is ook nog waarom jij denkt dat het met bijvoorbeeld MySQL enorm veel sneller zal gaan dan met Access. Waar je dat vandaan haalt vind ik ook een beetje vreemd.

Als je wil zoeken in een paar honderd duizend records (zoals je zelf aangeeft) zal het waarschijnlijk wel even duren voor je iets gevonden hebt jah...

Misschien is het een idee om de documenten in bepaalde groepen in te delen naar aanleiding van bijvoorbeeld de mappenstructuur en op die manier de zoek-opdracht tot een kleiner aantal te beperken.

dat is op zich wel een goed idee, het gaat namelijk om documenten van een aantal jaar dus dat zou ik dan wel kunnen opsplitsen. Ik heb eerst een test gedaan dus maar een gedeelte van de documenten gebruikt en ik had al een access database van 580mb...en dat gaat niet vlot meer.

[whoami]

Waarom zelf iets maken terwijl er al producten op de markt zijn die al dit doen?

Er worden zelf niet alleen documenten teruggevonden met exact die zoekwoorden, maar er worden ook documenten teruggevonden die verband houden met die zoekwoorden.

Check toch maar eens de site van dat bedrijf.

[Verwijderd]

Schijnt vrij goed te zijn,
http://www.dtsearch.com/

Wij gebruiken het als onderliggende techniek voor bepaalde producten.


Wat voor soort documenten zijn het eigenlijk??
Ik ken toevallig een 2tal bedrijven die hier een en ander in doen. (oa Doc registratie en Document Management etc. etc.)

Verder kan ik niks zeggen, mag niet spammen hier

[ Voor 37% gewijzigd door Verwijderd op 02-10-2003 16:56 ]

[Verwijderd]

ben al aan het zoeken, kan hem alleen nog niet vinden

[curry684]

gorgi_19 schreef op 02 oktober 2003 @ 16:41:
[...]
Waarbij ik me afvraag of je met een beetje gegoochel niet MSDE kan misbruiken.. En het is een intranet; geen idee of je dan ook een processorlicense nodig hebt.

Sja either that or 1 DACL per user, en dan ben je vanaf 25 users of zo ook al goedkoper uit met een CPU-license

[Verwijderd]

Verwijderd schreef op 02 October 2003 @ 16:51:
Schijnt vrij goed te zijn,
http://www.dtsearch.com/


Wat voor soort documenten zijn het eigenlijk??
Ik ken toevallig een 2tal bedrijven die hier een en ander in doen.

thnx , het zijn allemaal word brieven. ze hebben allemaal een nummer dus je moet echt in de brief kunnen zoeken

[Verwijderd]

er komt nog een probleem bij, sommige word bestanden zijn met wachtwoord beveiligd.
dus er moet ook nog een functie inzitten dat die deze niet probeert te indexeren

[Verwijderd]

Verwijderd schreef op 02 oktober 2003 @ 17:02:
er komt nog een probleem bij, sommige word bestanden zijn met wachtwoord beveiligd.
dus er moet ook nog een functie inzitten dat die deze niet probeert te indexeren

De text in zo'n document is toch ge-encrypt, dus er zal weinig te indexeren zijn in zo'n geval.

Als dit soort documenten toch zoekbaar/opvraagbaar voor bepaalde mensen moet zijn, moet je aan een pakket gaan denken die hierin voorziet, denk aan authorisaties en vertrouwelijkheden. (ik mag niet spammen, maar toevallig ......).


Ik moet zeggen wat ik zo ff snel lees op:
http://www.autonomy.com
ziet er toch ook goed uit.

[ Voor 38% gewijzigd door Verwijderd op 02-10-2003 17:08 ]

[Verwijderd]

ziet er wel leuk uit jah