groot textbestand sorteren

[freddifish]

ter voor bereiding op een database import wil ik een komma gescheiden textbestand sorteren. Er staat nl ook data in die niet in de dbase moet, en deze begint steeds met dezelfde tekens, dus dat is na sorteren simpel te deleten.

Probleem is de grootte van de textfile: 1,9 miljoen regels en 39 MB.
Welk tooltje slikt dit en is een beetje rap met sorteren ?
Excel valt dus af lijkt me duidelijk

PS ik ben een unix n00b dus geen cryptische linux commandos svp...

[Verwijderd]

pff... je zou hem in een mysql-db kunnen zetten. Daarna sorteren en exporteren naar hetzelfde bestand. Ben je er ook

[Erkens]

freddifish schreef op 22 August 2003 @ 18:21:
PS ik ben een unix n00b dus geen cryptische linux commandos svp...

ehm is het voor linux?
zo ja dan zou je met "sort" iets kunnen doen

code:

sort --help

als het voor windows is, zou je wellicht naar "sort" kunnen kijken

code:

sort /?

[ Voor 12% gewijzigd door Erkens op 22-08-2003 18:26 ]

[freddifish]

Verwijderd schreef op 22 August 2003 @ 18:23:
pff... je zou hem in een mysql-db kunnen zetten. Daarna sorteren en exporteren naar hetzelfde bestand. Ben je er ook

LOL hij moet juist naar mysql toe.. maar ik wil geen overtollige records importeren en deleten in een textfile gaat wat makkelijker dan dbase records deleten.

Het DOS commando sort ? das een idee, maar kan die wel grote bestanden aan ?

[Verwijderd]

zorg voor een Ramdisk/Ramdrive ofzo. Dit scheelt een hoop snelheid.
Op welk platform (processor, besturingssysteem) moet je gaan sorteren? eerder valt geen sorteer-programma aan te wijzen.

[freddifish]

ik gebruik windows (2000/xp) op een pentium4 2.2ghz met 512 MB

[Yoeri]

het snelste zal nog zijn om eerst alles in te lezen met een klein vb-progje

vervolgens bubble-sorten en terug uitlezen naar tekstbestand of rechtstreeks naar mysql db

[Verwijderd]

Robbedoeske schreef op 22 August 2003 @ 19:04:
het snelste zal nog zijn om eerst alles in te lezen met een klein vb-progje

vervolgens bubble-sorten en terug uitlezen naar tekstbestand of rechtstreeks naar mysql db

1,9MILJOEN regels bubbelsorten, yep, da's slim.

Lees gewoon alles in, in MySql en verwijder daarna wat weg mag, is makkelijk en snel. (mits je je db goed inricht/configureerd).

[Verwijderd]

Het sortcommando van Windows kan slechts bestanden van maximaal 64k aan!

[ Voor 5% gewijzigd door Verwijderd op 22-08-2003 19:40 . Reden: ik loop een beetje achter... :( ]

[Xenan]

Ik denk dat MS Access dit net aan wel aan kan.
Laatst nog 135 MB gesorteerd, maar dit waren wel "slechts" 12.000 regels (ja het waren hele lange regels, een dump uit een Lotus Notes database.
Access 95 kon 2 miljoen regels aan, misschien de huidige wel meer.

[ Voor 3% gewijzigd door Xenan op 22-08-2003 19:52 . Reden: smiley toegevoegd ]

[bazs2000]

Access kan dit met gemak aan. Het aantal regels maakt niet uit en de grootte ook niet, kan makkelijk.
Het enige nadeel is wel dat Access ranzig traag tewerk gaat als je gaat sorteren en opschonen/knippen. Het kan wel maar je moet dus geduld hebben.

[Verwijderd]

nicetas schreef op 22 August 2003 @ 19:51:
Ik denk dat MS Access dit net aan wel aan kan.
Laatst nog 135 MB gesorteerd, maar dit waren wel "slechts" 12.000 regels (ja het waren hele lange regels, een dump uit een Lotus Notes database.
Access 95 kon 2 miljoen regels aan, misschien de huidige wel meer.

Ja da''s handig.

1. We nemen een tekstbestand (zal wel een export van iets zijn).
2. Importeren het in Access,
3. verwijderen foutieve records
4. Maken weer een dump bestand
5. Importeren het in MySql

Het kan ook zo:
1. We nemen een tekstbestand (zal wel een export van iets zijn).
2. Importeren het in MySql,
3. verwijderen foutieve records

wat is makkelijker en hoogst waarschijnlijk het snelst?

[Xenan]

Je hebt gelijk maui71
freddifish schreef:

LOL hij moet juist naar mysql toe.. maar ik wil geen overtollige records importeren en deleten in een textfile gaat wat makkelijker dan dbase records deleten.

Ik weet niet waarom in een textfile deleten makkelijker zou zijn dan in MySQL maar ik ken MySQL niet dus misschien is het wel lastig (Maar niet met de db's die ik wel ken).

[ Voor 4% gewijzigd door Xenan op 22-08-2003 20:11 . Reden: html vs ubb ]

[ATS]

Err... waarom zou je überhaupt sorteren? Je kan net zo goed even over alle regels heen wandelen en de regels die beginnen met je tekenzooi die je niet wil hebben skippen, de rest in een andere tekstfile zetten. Dat kan makkelijk met elk willekeurig scripttaaltje. Maar: wat is er tegen om gewoon alles te importeren en daarna met één query al die zooi die je niet wilde hebben weg te gooien? (@nicetas: dat is niet moeilijk)

[ Voor 5% gewijzigd door ATS op 22-08-2003 20:15 ]

[freddifish]

tja... mijn mysql machientje is niet zo heel snel/ groot etc. Zo eentje die ik nog had staan. Dus doe ik de zware bewerkingen liever op mijn 'snelle' PC. En importeer ik liever geen 200.000 overtollige records. Inmiddels heb ik textpad aan het werk gezet en die heeft vrolijk in 1.5 uur de 1.9 miljoen regels gesorteerd. Na het weggooien van de 200.000 ongewenste records ben ik nu de rest aan het importeren.
Textpad bevalt me best aardig voor grote textfiles, gebruikt denk ik een quicksort algoritme

@ats: dat was idd mijn volgende stap geweest, zoiets krijg ik met delphi wel voor elkaar, maar nu ging het helemaal zonder zelf coderen en da's toch ook wel eens aardig.
bedankt voor het meedenken !

[ Voor 18% gewijzigd door freddifish op 22-08-2003 23:48 ]