Database filteren op dubbele records

[tajvdz]

Hoi, ik heb een vraag met betrekking tot een database (.dbf). Ik heb vanwege een foute sortering een probleem met mijn database. Dit heb ik proberen op te lossen met een backup maar dat is niet helemaal gelukt vanwege wijzigingen en 2 records die ik niet terug kan vinden. Nou heb ik beide bestanden (kopieën) samengevoegd tot 1 database en gesorteerd zodat alles op alfabet staat en je dus bij bijna allemaal 2 x dezelfde record achter elkaar krijgt. is het mogelijk om met een commando alles wat exaxt 2 x voorkomt er uit ta halen. Dan bedoel ik dus beiden. Dan hou ik een heel klein lijstje / overzicht over met records die ik heb gewijzigd sinds de backup en de 2 missende records. Met dit overzicht kan ik vervolgens alles weer herstellen zoals ik wil. Mijn database is vrij groot en bevat ruim 13.000 records. In het bestand waar ze allemaal dubbel in staan dus 26.000. Handmatig dit allemaal nakijken is dus onbegonnen werk dus ik vraag me af of dit geautomatiseerd kan door alles wat er dubbel in staat uit te sluiten. Om aan dit overzicht te komen is het ook mogelijk om dit via excell ofzo te doen want ik kan de dbf file overal heen convereren. Het overzicht kan ik dan vervolgens handmatig gaan gebruiken. Iemand een idee hoe ik dat aan kan pakken?

[F_J_K]

Met SQL kan je een lijst laten maken van alle unieke regels, of het aantal keer tellen dat het voorkomt.

Kan in Excel ook. Tel aantal keer dat die regel voorkomt, verwijder alle regels die geen 1 als resultaat geven.

[tajvdz]

ik heb ooit wel met SQL gewerkt maar dan praten we over 25 jaar geleden ongeveer.
Maar kan Excel rekening houden met records waarvan exact alle velden gelijk zijn?
In dat geval zou het heel bruikbaar kunnen zijn. Als ik alles wat exact (alle velden) 2 x voorkomt weg kan doen dan hou ik een kort overzicht over wat voor mij bruikbaar is...
Waar kan ik vinden hoe dat in Excel zou moeten?

[ydderf]

Je kunt denk ik het beste zoeken op termen zoals:
"remove duplicate", "find distinct", "unique values".

Eerste hit op "Excel find distinct".

[tajvdz]

Ik gebruik het programma DBF 2000 en via hun heb ik deze oplossing gekregen:

You can delete all duplicates via command line:

"c:\Program Files (x86)\DBF Viewer 2000\dbview.exe" base.dbf /DELETEDUPS /both

Dit ziet er veelbelovend uit. Ik denk dat ik het eerst ga testen met een klein gedeelte van het bestand.
Mocht dit niet lukken dan kan ik altijd nog Excel proberen.

[tajvdz]

Nou de oplossing van DBF 2000 was bijna perfect. Ik had het commando losgetalen op mijn samengestelde datbase en ik hield een kort overzicht over met records die ik na mijn laatste update had gewijzigd. Dit overzicht ben ik nu weer handmatig aan het verwerken maar dat is geen punt verder. Alleen 1 ding. Ik gebruik ook een memo veld dat DBASE opslaat in een .DBT bestand. Dit bestand is ook te gebruiken in DB Viewer. Ik had even een test bestandje gemaakt met een wijziging in een memo veld maar deze worden niet gedecteerd door het bovenstaande commando. Ik heb de makers al gevraagd of ik dan misschien een ander commando of parameter moet toevoegen. Maar iemand een idee hoe dit verder nog op te lossen is? Het zal op zich niet heel veel zijn en als het heel complex is niet zo'n ramp. Maar als het net zo makkelijk uit te filteren is als de overige velden in de records dan zou dat mooi zijn...

[GRDavies75]

In Excel van Office 365 - dat is de versie de ik gebruik - heb je onder Gegevens -> Hulpmiddelen voor gegevens de optie dubbele waarden verwijderen

Wat betreft je memo velden, er moet iets zijn waar je op kan koppelen, een id of iets van die trant. Althans dat zou ik verwachten en als dat er is kan je werken met Vert.zoeken lijkt me?

[Muuh87]

Dit artikel geeft een goede manier om te ontdubbelen.

https://www.sqlservertuto...l-server-find-duplicates/

[tajvdz]

Nou ja wat ik doe is niet echt ontdubbelen. Ik heb een verkeerd gesorteerd en bewerkt / aangepast bestand en een backup die een gedeelte mist en zonder de aanpassingen. Nu heb ik op 2 na wel uit het volledige bestand kunnen halen wat er in de andere mist. Het gaat mij dus om de verschillen tussen de 2. Ik heb beide databases in 1 bestand geplaatst. Wat er dus moet gebeuren is dat wat exact hetzelfde is er 2 keer uit gaat. Dan hou ik de verschillen over. Dit is me gelukt en de wijzigingen ga ik weer doorvoeren in de backup. Zo kan ik de oorspronkelijke sortering weer terug krijgen. Alleen had het resultaat geen betrekking op het memo veld. Of daar veel veranderingen inzitten weet ik niet. Maar ik heb inmiddels een nieuwe versie gekregen van het programma die ook verschillen in memo velden op kan sporen. Ik zorg eerst dat alle andere velden gelijk zijn en dan laat ik de nieuwe versie scannen op memo velden zodat ik weet dat eventuele verschillen ook echt alleen maar daar in zitten.

[HenkEisDS]

Heeft je database tabel geen Unieke Primary Key?

[tajvdz]

HenkEisDS schreef op dinsdag 26 januari 2021 @ 11:53:
Heeft je database tabel geen Unieke Primary Key?

zoals een record nummer bedoel je?

[HenkEisDS]

Ja, een record id. Als je die naast elkaar legt moet je toch vrij snel kunnen zien wat de dubbele zijn.

[tajvdz]

nou ja het gaat om de inhoud. Het is een database van mijn muziek collectie (platen, cd's, dvd's, etc).
en het is mij dus niet om de dubbelen te doen maar om de wijzigingen die ik gemaakt heb na de laatste backup. Daar wilde ik een overzicht van hebben. dus moesten alle dubbelen er 2 keer uit en dan het overgebleven overzicht weer verwerken in de backup.