Dubbelen uit een (groot) txt-file halen

[jellevanderpal]

Okay, ik heb me sufgezocht, maar ik kan geen progsel vinden waarmee ik het volgende kan bereiken....
Ik heb een Proxy-List gemaakt, met allemaal hosts:port onderelkaar, dus 1 per regel. Dit bestandje is alleen een beetje uit de klauwen gelopen en er staan er nu ruim 140.000 in. Het bestand is ruim 2MB groot.
Nou is alleen het probleem, dat de diverse proxylists die ik her en der vandaan heb gehaald uiteraard sommige dezelfde proxies bevatten... Dus ongeveer 1/5 van de lijst zijn nu dubbelen...
Alleen voor waar ik het voor nodig heb, mogen die dubbelen er niet in zitten.

Weet iemand hier een manier/prog voor?
Ik kan em met WordXP niet meer sorteren o.i.d. want zelfs voor Word issie nou te groot om dat soort bewerking mee te doen....

[MissingDog]

plaintext importeren in een RDBMS, met de : als scheidingsteken....kan je met SQL querietje de dubbelen eruit slopen

[jellevanderpal]

hmmm, moe'k weer een dataserver installeren, nahja, ik zal het ff proberen. Owww Wacht! XS is ook een dbms toch? daar lukt het misschien wel mee.... ff mun niet zo legale oxppro installeren

[MissingDog]

jellevanderpal schreef op 31 August 2003 @ 22:34:
hmmm, moe'k weer een dataserver installeren, nahja, ik zal het ff proberen. Owww Wacht! XS is ook een dbms toch? daar lukt het misschien wel mee.... ff mun niet zo legale oxppro installeren

Access is idd ook een dbms, moet het mee lukken...al weet ik niet of je daarmee dezelfde problemen krijgt qua grootte als met Word...denk het niet eigenlijk, ben hier nu ook een boek van ruim 230000 regels aan het editen & opmaken.

[Verwijderd]

mss dom, maar kopier alles naar een exell-bestand.
sorteer alfabetisch
loop even af welke dezelfde zijn...
ok, is veel werk denk ik (140 00 stuks)
maar toch, moet te doen zijn...

[DennisBoom]

Onder linux:

sort < lijst.txt | uniq > nieuwelijst.txt

voila, dubbelen eruit en de lijst is ook gesorteerd.

[G33rt]

DennisBoom schreef op 31 August 2003 @ 23:21:
Onder linux:

sort < lijst.txt | uniq > nieuwelijst.txt

voila, dubbelen eruit en de lijst is ook gesorteerd.

het enige probleem is dat de TS het over WordXP had. Wat jij doet is dus absoluut geen optie, of hij moet nog een linux bak ergens hebben draaien

[Verwijderd]

UltraEdit kan wat je wil.
File --> Sort --> Advanced Sort/Options --> Remove Duplicats.