Data verwijderen .txt of excel bestand

[Tortelli]

Ik een paar enorme bestanden waar ik zeer interessante data uit kan halen; Probleem is alleen dat ik >500MB aan .txt bestanden heb vol met (in een bepaalde structuur opgebouwde) data.
ik wil bepaalde "timestamp" events met elkaar vergelijken, 95% van de data heb ik echter niets aan, en is ook niet te handelen in b.v. Excel omdat ik > 1 miljoen regels zit (ruim 8 om precies te zijn).

Laad ik 500.000 regels in excel en probeer ik de overbodige data te verwijderen loopt Excel vast, verwijder ik ~50.000 regels per keer werkt het maar heb ik uren werk (zeker omdat het verwijderen vrij traag gaat...).
Zou de data kunnen verdelen over en X aantal sheets, maar dit gaat erg veel tijd kosten.

Heb gegoogled naar het verwijderen van lines (o.a. deze getest ) maar krijg niet de juiste data verwijderd zoals ik dit wil. Er moet toch een fatsoenlijke methode zijn om uit .txt bestanden regels te verwijderen met bepaalde (specifieke) woorden?. Mijn programmeer kennis is helaas beperkt.

[ Voor 6% gewijzigd door Tortelli op 02-11-2016 22:46 ]

[Hero of Time]

Klinkt als een perfecte klus voor PowerShell of de Linux shell met tools als awk e.d. om via reguliere expressies de timestamps eruit te plukken die je wilt vergelijken.

[FireWood]

Hiervoor bestaan databases.
Excel en tekstbestanden zijn absoluut niet geschikt om snel data te structureren.
Moet je alleen wel alles importen, maar daarna is het makkelijk om verbanden te leggen.

[pacificocean]

FireWood schreef op woensdag 02 november 2016 @ 22:52:
Hiervoor bestaan databases.
Excel en tekstbestanden zijn absoluut niet geschikt om snel data te structureren.
Moet je alleen wel alles importen, maar daarna is het makkelijk om verbanden te leggen.

Inderdaad gewoon acces gebruiken dan is importeren ook ongeveer 3 klikken.

[mcDavid]

code:

$ grep "tekst op de regels die je nodig hebt"  hugeass.txt > alleenwatjenodighebt.txt

[Tortelli]

Ik wil alleen de gehele regel hebben, niet alleen de specieke tekst?.

[Jivebunny]

grep geeft de hele regel als output.

meer info

[Speedmaster]

Tortelli schreef op donderdag 03 november 2016 @ 08:47:
Ik wil alleen de gehele regel hebben, niet alleen de specieke tekst?.

Dus gewoon even importeren in Access, daarna kan je alles doen met de data wat je wilt

[Tortelli]

Het is gelukt!!

[Speedmaster]

Tortelli schreef op donderdag 03 november 2016 @ 11:32:
Het is gelukt!!

Leuk, mogen wij ook nog weten hoe....

[Tortelli]

grep was de oplossing.