[Win] Dubbele regels in bestand exporteren naar bestand

[Fairy]

Ik zit met een probleem, wat best wel dringend is en waar ik niet uit kom op het moment.

Wij hebben een systeem wat gegevens verwerkt wat uit een bestand komt. Afgelopen nacht is er wat misgegaan waardoor dit bronbestand diverse regels dubbel bevatte. Dit mag absoluut niet en is ook nooit eerder voorgekomen.

Deze dubbele regels zal ik moeten "extracten" uit het bestand en apart moeten opslaan zodat we de fout kunnen herstellen.

Het probleen is echter, het zijn bijna 1.000.000 regels.

Ik heb al een programmaatje gevonden (Dupli Find 6.16). Deze crashed echter zodra je wilt gaan exporteren.

Is er een andere manier of een programma waarmee dit gedaan kan worden? Ik kan het zo snel niet vinden en zit er toch een beetje mee omhoog, omdat mensen met deze gegevens moeten werken en nu kan men niet op de gegevens vertrouwen, dus moet het zo snel mogelijk gefixt worden.

Alvast hartelijk dank voor de hulp, mocht iemand iets weten!

[Wish]

Iets met PowerBI rommelen?
https://powerbi.microsoft.com/en-us/
https://community.powerbi...plicate-Values/td-p/10409

Anders powerpivot in Excel 2016 64 bit?

[Speedmaster]

Access database gebruiken. Kwestie van importeren, query maken en klaar

[Jivebunny]

nvm

[ Voor 94% gewijzigd door Jivebunny op 16-11-2016 12:52 . Reden: niet de oplossing. ]

[Puch-Maxi]

Er zijn wel tig manieren om dit te doen, het eerste waar ik aan dacht:

$ sort file.txt | uniq

Maar dat is natuurlijk geheel afhankelijk van je bronbestand en je OS.

[Fairy]

sort en uniq is het uiteindelijk mee gelukt. Bedankt!
Ik zocht in eerste instantie een Windows manier, maar de bestanden draaien op een Linux bak, dus heb op de testmachine dit truukje geprobeerd en daarmee is het gelukt!

[Puch-Maxi]

Fairy schreef op woensdag 16 november 2016 @ 21:03:
sort en uniq is het uiteindelijk mee gelukt. Bedankt!
Ik zocht in eerste instantie een Windows manier, maar de bestanden draaien op een Linux bak, dus heb op de testmachine dit truukje geprobeerd en daarmee is het gelukt!

Mooi dat het is gelukt, Linux ftw! Bedankt voor je terugkoppeling .