Dubbele regels verwijderen uit een bestand

[Phoolie]

Ik hoop dat ik het hier op zijn plaats heb staan, maar ik heb het volgende probleem:

Ik heb een tekstbestand & daar komen een aantal dubbele regels in voor, heeft iemand enig idee met welk programma ik deze regels kan vinden, want het bestand is nogal groot & bevat bijna alleen maar getallen, dus met het blote oog kijken is echt geen doen.

Heb ook al de search functie gebruikt, maar daar kon ik niks vinden.

Ik hoop dat iemand me hiermee kan helpen.

Alvast bedankt.

[DrivinUCrazy]

Kun je niet met Word "zoeken en vervangen" Dat werkt best snel. Moet je alleen even controleren of dat ook werkt met witregels, daar he ik nu zelf even geen tijd voor. (ik zit nu op school)

edit:
Sorry, maar ik wilde wat te snel zijn (ik moest de tijd in de gaten houden om de bus te halen) Ik begreep dat er dubbele witregels in je bestand zaten. Dat is dus niet het geval, het gaat om dubbele data.
Een (beperkte) oplossing is sorteren, en dan nalopen of je dubbele zaken ziet. Is idd wel omslachtig. Dit kun je wel weer automatiseren met Acces, dacht ik.

[ Voor 56% gewijzigd door DrivinUCrazy op 03-03-2005 15:09 ]

[Xander]

DrivinUCrazy schreef op donderdag 03 maart 2005 @ 12:42:
Kun je niet met Word "zoeken en vervangen" Dat werkt best snel. Moet je alleen even controleren of dat ook werkt met witregels, daar he ik nu zelf even geen tijd voor. (ik zit nu op school)

Wie had het over witregels

Phoolie schreef op donderdag 03 maart 2005 @ 12:38:
Ik heb een tekstbestand & daar komen een aantal dubbele regels in voor, heeft iemand enig idee met welk programma ik deze regels kan vinden, want het bestand is nogal groot & bevat bijna alleen maar getallen, dus met het blote oog kijken is echt geen doen.

Volgens mij moet dit met EditPlus kunnen, al weet ik eigenlijk alleen zeker dat dit in de sort functie van EditPlus zit... dan heb je ze ook direct gesorteerd, weet niet echt of dat de bedoeling is..
Maar ik verwacht eigenlijk dat je ook wel gewoon dubbele regels ermee moet kunnen verwijderen, al zou ik zo even niet weten hoe...

[Phoolie]

DrivinUCrazy schreef op donderdag 03 maart 2005 @ 12:42:
Kun je niet met Word "zoeken en vervangen" Dat werkt best snel. Moet je alleen even controleren of dat ook werkt met witregels, daar he ik nu zelf even geen tijd voor. (ik zit nu op school)

Ja, maar dan moet ik dus iedere regel eerst selecteren en dan opzoeken, dat kost me nog dagen tijd

[Fl4sh3r]

Als je toegang hebt tot een linux shell, zou je het kunnen doen met:
sort bestand | uniq > bestand.new

Nadeel hiervan is wel dat de orginele volgorde van je regels vervalt

[ Voor 28% gewijzigd door Fl4sh3r op 03-03-2005 12:46 ]

[Phoolie]

XanderH schreef op donderdag 03 maart 2005 @ 12:44:
[...]


Volgens mij moet dit met EditPlus kunnen, al weet ik eigenlijk alleen zeker dat dit in de sort functie van EditPlus zit... dan heb je ze ook direct gesorteerd, weet niet echt of dat de bedoeling is..
Maar ik verwacht eigenlijk dat je ook wel gewoon dubbele regels ermee moet kunnen verwijderen, al zou ik zo even niet weten hoe...

Wat ik dan wel kan doen is ze gewoon sorteren & dan de dubbels uit het originele bestand verwijderen, denk dat ik daar wel wat mee kan.

[aardbeix15]

of even importeren/koppelen in MS Access en daar met een query je dubbele rijen ophalen en vervolgens verwijderen.

Om welk volume gaat het ongeveer 1k 100k of 10000k rijen

[leuk_he]

Fl4sh3r schreef op donderdag 03 maart 2005 @ 12:46:
Als je toegang hebt tot een linux shell, zou je het kunnen doen met:
sort bestand | uniq > bestand.new

Nadeel hiervan is wel dat de orginele volgorde van je regels vervalt

dat soort tools kun je ook voor windows downloaden:
cygwin

of

http://gnuwin32.sourceforge.net/packages/textutils.htm

of je schrijft een macro in een goede editor. lijkt me ook geen probleem.

[Gomez12]

Of gewoon even importeren in 1 kolom in excell, dan gooi je in een kolom ernaast gewoon oplopende getallen (1,2,3,4,5 etc. ) en dan sorteren op geimporteerde kolom. Dubbelen verwijderen. En dan weer sorteren op getalkolom om oorspronkelijke volgorde terug te krijgen.

[NaliXL]

Als je PHP hebt, kun je het als volgt doen: kopiëer en plak het volgende naar uniek.php:

PHP:

<?php
if (file_exists($argv[1])) return implode('', array_unique(file($argv[1])));
?>

Gebruik:

code:

php -f uniek.php invoerbestand.txt > uitvoerbestand.txt

[Spider.007]

Cherub schreef op donderdag 03 maart 2005 @ 12:54:
Als je PHP hebt, kun je het als volgt doen: kopiëer en plak het volgende naar uniek.php:

PHP:

<?php
if (file_exists($argv[1])) return implode('', array_unique(file($argv[1])));
?>

Gebruik:

code:

php -f uniek.php invoerbestand.txt > uitvoerbestand.txt

PHP heeft dan wel evenveel geheugen nodig als het bestand groot is; en dat kan nogal vervelend uitpakken