Veel textbestanden archiveren en indexeren, hoe? *

[Verwijderd]

Hoi,

Ik zoek een gratis oplossing om erg veel text (mime) bestanden op te slaan en doorzoekbaar te maken. Een soort email-archiveer systeem.
Ze worden nu gerard op dvd's gezet maar het terug zoeken is een crime.

Wat moet het dus kunnen : Heel makkelijk 10000e bestanden met platte tekst inlezen waar ik later in kan zoeken

[MikeyMan]

Je kan gewoon met windows binnen die bestanden zoeken...

Of mis ik iets?

[VisionMaster]

Desnoods zet je het op linux (als je het gratis wilt doen) en dan doe je het zelfde als je in Windows zou doen en de zoek functie gebruiken.

Wel eerst alle mogelijkheden van grep en aanverwante tools leren, want anders ben je nog nergens.

[Verwijderd]

MikeyMan schreef op donderdag 29 september 2005 @ 11:02:
Je kan gewoon met windows binnen die bestanden zoeken...

Of mis ik iets?

Probeer jij maar eens een folder met 10000 bestanden er in te openen onder windows dan weet je gelijk waarom ik het graag in een database wil hebben.
Maar alsvast bedankt voor het meedenken.
Tevens maar dat weet ik niet zeker denk ik dat als je ze in een database op slaat de ruimte die in beslag genomen word ok minder word.

[ThunderNet]

Is het niet mogelijk om hier zelf een scriptje dmv Windows Scripting Host voor te schrijven?

[VisionMaster]

Verwijderd schreef op donderdag 29 september 2005 @ 11:08:
[...]


Probeer jij maar eens een folder met 10000 bestanden er in te openen onder windows dan weet je gelijk waarom ik het graag in een database wil hebben.
Maar alsvast bedankt voor het meedenken.
Tevens maar dat weet ik niet zeker denk ik dat als je ze in een database op slaat de ruimte die in beslag genomen word ok minder word.

Niet iedere database past compressie toe op de string velden. Varchar velden willen wel eens gecomprimeert worden, maar ga daar nooit vanuit. Dat is een database specifieke feature (die ik liever uit zie staan ivm snelheid).

[Haan]

Ik moest ook meteen aan de oplossing van VisonMaster denken. Onder linux kan je prima zoeken in die bestanden en als het nodig is ook meteen de text die je zoekt in een aparte file zetten

[Wolfboy]

Ik zou zelf voor Linux/Unix gaan en dan evt. met een database erbij waar je het in opslaat.
Ik heb op m'n linux server wel mappen gehad met 50.000 bestanden wat gewoon zonder problemen werkte (ok, listen ging traag maar een simpele grep/find was zo gebeurd)

edit:
Btw, kan je het niet op een iets andere manier opslaan?
Bijvoorbeeld als je bestanden hebt zoals 0001 1001 2001 gewoon opslaan in mappen zoals /0/0001 /1/1001 /2/2001

Op die manier zal het een stuk sneller gaan

[ Voor 34% gewijzigd door Wolfboy op 29-09-2005 11:15 . Reden: tag afsluiten ]

[Depress]

Maak eerst een prog dat alle bestanden in een database zet, dan maak je er een dat in die db zoekt.

[dawuss]

Als je het graag in een database wil hebben, kun je daarvoor ideaal commandline PHP gebruiken.
Ik denk zelf dat het niet per sé nodig is, omdat je de boel ook prima kunt doorzoeken met grep en zo.

[elevator]

De toegevoegde waarde van Linux zie ik hier echt totaal niet - 'grep' heeft niets met Linux te maken maar is gewoon een commandline tool die toevallig vaak op o.a. Linux geinstalleerd is. Net zoals 'findstr' een commandline tool is die toevallig vaak op Windows geinstalleerd is en grotendeels hetzelfde kan.

Probeer findstr eens - maar je zou ook eens kunnen kijken naar MSN Desktop Search bv.

[Verwijderd]

Tering ik het amper bijlezen ben al drie keer met een reactie gestart

Ik ga dus een grote harddisk halen en daar al die bestanden op gooien.
Is er dan nog iets met compressie te doen want het neemt nogal wat ruimte in beslag het zijn bestandjes van 1kb tot 10MB

Want dat is ook een van de problemen waar ik nu tegen aan loop die rars op dvd zijn niet te doorzoeken op inhoud van de text files. Ik moet ze eerst uitpakken en dan zoeken.

[VisionMaster]

dawuss schreef op donderdag 29 september 2005 @ 11:15:
Als je het graag in een database wil hebben, kun je daarvoor ideaal commandline PHP gebruiken.
Ik denk zelf dat het niet per sé nodig is, omdat je de boel ook prima kunt doorzoeken met grep en zo.

lol ... dan kan je het ook doen met Perl (en mijn collega schreeuwt dan keihard Python! er achteraan) op de commandline.

Het zal sommigen die hier nog niet zo in thuis zijn wellicht verbasen hoe eenvoudig sommie CLI tools zijn en hoe veel je er allemaal mee kan doen.

elevator schreef op donderdag 29 september 2005 @ 11:21:
De toegevoegde waarde van Linux zie ik hier echt totaal niet - 'grep' heeft niets met Linux te maken maar is gewoon een commandline tool die toevallig vaak op o.a. Linux geinstalleerd is. Net zoals 'findstr' een commandline tool is die toevallig vaak op Windows geinstalleerd is en grotendeels hetzelfde kan.

Probeer findstr eens - maar je zou ook eens kunnen kijken naar MSN Desktop Search bv.

Met die tool kan je ook een hoop tot bijna alles. Tis gewoon het gemak van "bash" en de omgang van het geheel dat me aanspreekt.
Begrijp me niet verkeerd, ik zit hier geen Linux te prediken vanaf mijn Windows laptop, maar ja ... Grep/find/sed/awk/xargs zijn soms zo handig naast de mogelijkheid om gelijk in Perl of wat anders te kunnen doen, zonder aparte installaties.

Daarbij ... is grep, net als wget en andere tools vast en zeker al geport naar Windows en kan je die daar net zo makkelijk gebruiken.

[ Voor 47% gewijzigd door VisionMaster op 29-09-2005 11:25 ]

[Wolfboy]

elevator schreef op donderdag 29 september 2005 @ 11:21:
De toegevoegde waarde van Linux zie ik hier echt totaal niet - 'grep' heeft niets met Linux te maken maar is gewoon een commandline tool die toevallig vaak op o.a. Linux geinstalleerd is.

grep is idd. ook voor Windows/Unix verkrijgbaar ja, maar Windows kan helaas lang niet zo goed overweg met flinke ladingen bestanden als Linux/Unix dat doet.
Waar Windows bij 2000 bestanden al merkbaar trager gaat worden kan je onder *n?x zonder duidelijke vertragingen gerust een paar duizend bestanden neerzetten.

Maar als je niet in de map zelf hoeft te browsen dan kan een tool als grep/findstr idd. voldoende zijn.

[Varienaja]

Ik ga dus een grote harddisk halen en daar al die bestanden op gooien.
Is er dan nog iets met compressie te doen want het neemt nogal wat ruimte in beslag het zijn bestandjes van 1kb tot 10MB

Met NTFS kan je compressie inschakelen.

Want dat is ook een van de problemen waar ik nu tegen aan loop die rars op dvd zijn niet te doorzoeken op inhoud van de text files. Ik moet ze eerst uitpakken en dan zoeken.

Dat kan echt wel, in winrar gewoon op de find-knop drukken, en dan in het vakje 'String to find' iets ingeven.

Verder denk ik dat je met google-desktop-search heel mooi je tekstbestanden doorzoekbaar kunt maken.

[ThunderNet]

Wolfboy schreef op donderdag 29 september 2005 @ 11:26:
[...]
grep is idd. ook voor Windows/Unix verkrijgbaar ja, maar Windows kan helaas lang niet zo goed overweg met flinke ladingen bestanden als Linux/Unix dat doet.
Waar Windows bij 2000 bestanden al merkbaar trager gaat worden kan je onder *n?x zonder duidelijke vertragingen gerust een paar duizend bestanden neerzetten.

Maar als je niet in de map zelf hoeft te browsen dan kan een tool als grep/findstr idd. voldoende zijn.

Waarom zou dat trager zijn
Kun je me dat uitleggen, ik ben het wel benieuwd namelijk

[GlowMouse]

Hoe snel command-line utilities ook zijn, 10.000den files van 1kB-10MB is ontzettend veel. Als je uitgaat van een gemiddelde grootte van 500kB, zit je zo aan 10GB data wat bij elke zoekactie uitgelezen moet worden. Een index lijkt me dan toch erg wenselijk.

[Spider.007]

Ik pas je topictitel even aan; deze is verwarrend. Heb je al eens naar bijvoorbeeld htdig gekeken; of Googleboxes?

10000e text bestanden archiveren > Veel textbestanden archiveren en indexeren, hoe? *

[VisionMaster]

Varienaja schreef op donderdag 29 september 2005 @ 11:26:
[...]

Met NTFS kan je compressie inschakelen.


[...]

Dat kan echt wel, in winrar gewoon op de find-knop drukken, en dan in het vakje 'String to find' iets ingeven.

Verder denk ik dat je met google-desktop-search heel mooi je tekstbestanden doorzoekbaar kunt maken.

Ik denk dat de TS bedoelt dat je niet in Winrar de 'find string' ergens kan invoeren en dat Winrar in de 10.000 gerarde files gaat zoeken verspreid over meerdere archieven. (of kan dat wel en moet ik meer Winrar kennis vergaren).

[dawuss]

VisionMaster schreef op donderdag 29 september 2005 @ 11:22:
[...]

lol ... dan kan je het ook doen met Perl (en mijn collega schreeuwt dan keihard Python! er achteraan) op de commandline.

Het zal sommigen die hier nog niet zo in thuis zijn wellicht verbasen hoe eenvoudig sommie CLI tools zijn en hoe veel je er allemaal mee kan doen.

Helemaal waar. Perl en Python SQL bindings zitten echter een stuk ingewikkeler inelkaar dan die van PHP, omdat PHP nu eenmaal heel zwaar afhankelijk is van database support om een succes te zijn "The right tool for every job" zullen we maar zeggen

De toegevoegde waarde van Linux zie ik hier echt totaal niet - 'grep' heeft niets met Linux te maken maar is gewoon een commandline tool die toevallig vaak op o.a. Linux geinstalleerd is. Net zoals 'findstr' een commandline tool is die toevallig vaak op Windows geinstalleerd is en grotendeels hetzelfde kan.
Probeer findstr eens - maar je zou ook eens kunnen kijken naar MSN Desktop Search bv.

Precies, de GNU utilities zijn voor vrijwel elk platform wel aan te komen. Van *BSD tot Windows tot Linux, en hetzelfde geldt voor PHP, perl, python, awk en andere script interpreters

[Wolfboy]

ThunderNet schreef op donderdag 29 september 2005 @ 11:27:
[...]

Waarom zou dat trager zijn
Kun je me dat uitleggen, ik ben het wel benieuwd namelijk

Ik heb windows/*n?x niet geschreven

Maar probeer het vooral eens, ga eens testen met een paar duizend bestandjes en test het openen en listen van die map onder Windows en onder *n?x, mijn ervaring is dat het een stuk trager is.

[dawuss]

Wolfboy schreef op donderdag 29 september 2005 @ 11:33:
[...]
Ik heb windows/*n?x niet geschreven

Maar probeer het vooral eens, ga eens testen met een paar duizend bestandjes en test het openen en listen van die map onder Windows en onder *n?x, mijn ervaring is dat het een stuk trager is.

offtopic:
Dit heeft te maken met de gebruikte disk-caching strategie.

[Justice]

Je kan Google Desktop Search installaren, samen met een plugin (ben de naam even kwijt, kijk onder Indexing Plugins op de plugin site) waarbij je kan aangeven dat alleen bepaalde directory (die met textbestanden) wordt geindexeerd.
Daarna kan je dmv web interface plugin 'm ook nog op afstand laten zoeken, of embedden.

de bestanden worden dan geindexeerd en je krijgt realtime resultaten terug.

[ Voor 12% gewijzigd door Justice op 29-09-2005 11:41 ]

[legolas82]

http://fileforum.betanews.com/detail/Owl/1113246103/1

dit misschien iets ?

[Verwijderd]

GlowMouse schreef op donderdag 29 september 2005 @ 11:27:
Hoe snel command-line utilities ook zijn, 10.000den files van 1kB-10MB is ontzettend veel. Als je uitgaat van een gemiddelde grootte van 500kB, zit je zo aan 10GB data wat bij elke zoekactie uitgelezen moet worden. Een index lijkt me dan toch erg wenselijk.

Dit is ook precies de reden dat ik aan een database zat te denken.

In denk ik zal eens vragen of er goede ideen zijn omtrent dit probleem maar heb net de map met dvd's eens opgezocht en schrok behoorlijk van de hoeveelheden op 1 dvd staan zo'n 5000 bestandjes en ik heb al wel zo'n dvd'tje of 20 and stil growing fast

Maar ik heb (nog) geen programmeer ervaring zodat ik zelf zoiets kan maken vandaar de vraag of er niet een programma / database tool is die al bestaat die dit kan.

[DinX]

Ik zou zelf gaan voor Google Desktop Search.
Ik gebruik deze hier ook op het werk en heb onze hele fileserver geïndexeerd. Daar is hij wel een halve dag mee bezig geweest, maar ik kan nu zoeken op bestandsnaam, of zelfs iets wat in het bestand staat.

Terwijl ik aan het typen ben laat hij meteen de resultaten zien (in Google Desktop Search 2). Daar kan volgens mij weinig tegenop. Handig om te weten, er staat 285GB aan data op die fileserver

http://desktop.google.com/plugins/i/airbearindexzip.html

Die plugin zorgt zelfs dat hij ook kan zoeken in jar, rar en zip bestanden.

[Verwijderd]

DinX schreef op donderdag 29 september 2005 @ 11:58:

http://desktop.google.com/plugins/i/airbearindexzip.html

Die plugin zorgt zelfs dat hij ook kan zoeken in jar, rar en zip bestanden.

"at this time IndexZip cannot index the content of the files"

Das jammer want dan had ik het compressie probleem gelijk opgelost.

[DinX]

Verwijderd schreef op donderdag 29 september 2005 @ 12:06:
[...]


"at this time IndexZip cannot index the content of the files"

Das jammer want dan had ik het compressie probleem gelijk opgelost.

Daar kan je nog altjid gewoon de compressie van windows voor gebruiken.

[Verwijderd]

Ik heb inmiddels een pc met GDS draaien en het blijkt dat het inmiddels om zo'n 250.000 bestandjes gaat en alles bij elkaar zo'n 130Gb dus best een aanzienlijke hoeveelheid.
Er is echter een megagroot nadeel van GDS en dat is dat moved files niet geherindexeerd worden maar dat er een dooie link naar een bestand ontstaat
Buiten dat werkt het prima.

Ik laat nu ook Copernic Desktop Search er op los want die lijkt mij mooier sneller en beter en volgens de omschrijving zou die wel verplaatste bestanden herindexeren.