Filter duplicaten in CSV en geef ze een uniek nummer

[Verwijderd]

Hey tweakers,

Ik ben bezig met een webshop bouwen in prestashop en heb een super uitgebreide datafeed van meer dan 20k items.
Nu wil ik combinaties aan mijn producten koppelen maar dat werkt een beetje apart, Ik moet alle duplicaten hetzelfde nummer geven
Hier is een printscreen van wat ik nu heb aan data;
http://imgur.com/a/zV4sp

Ik moet op 1 of andere manier alle duplicaten selecteren en een nummer geven zoals in deze printscreen.

http://imgur.com/MafdPc5

Is er een programma of command die dit voor me kan doen? (ik gebruik CSVed )
Het maakt niet uit wat voor cijfer het is, als het maar uniek is bij de duplicaten.

[ Voor 3% gewijzigd door Verwijderd op 11-02-2017 18:42 . Reden: Afbeelding URL gewijzigd ]

[Room42]

Upload je screenshots gewoon naar http://imgur.com/upload en embed ze gewoon, want de site van jou werkt niet.

Verder hoor ik csv en dan denk ik: Excel (of Calc, van LibreOffice).

[Verwijderd]

Ik heb de URL's gewijzigd.

[Woy]

Wat heb je zelf al geprobeerd om dit voor elkaar te krijgen? PRG is geen plek om je probleem maar te dumpen en een kant en klare oplossing te verwachten.

Stappen die ik zou ondernemen zijn

1: Schrijf een stukje programma die de duplicaten groepeert
2: Verwerk de duplicaten

Op deze manier voldoet je topic in ieder geval niet echt aan de regels die we in PRG stellen, dus ik zou graag zien dat je wat meer informatie geeft over wat je zelf al geprobeerd hebt, en wat daar niet mee wil lukken.

[downtime]

Verwijderd schreef op zaterdag 11 februari 2017 @ 18:21:
Hey tweakers,

Ik ben bezig met een webshop bouwen in prestashop en heb een super uitgebreide datafeed van meer dan 20k items.
Nu wil ik combinaties aan mijn producten koppelen maar dat werkt een beetje apart, Ik moet alle duplicaten hetzelfde nummer geven
Hier is een printscreen van wat ik nu heb aan data;
http://imgur.com/a/zV4sp

Ik moet op 1 of andere manier alle duplicaten selecteren en een nummer geven zoals in deze printscreen.

http://imgur.com/MafdPc5

Is er een programma of command die dit voor me kan doen? (ik gebruik CSVed )
Het maakt niet uit wat voor cijfer het is, als het maar uniek is bij de duplicaten.

Dit soort zaken kun je met elke database doen. Ik denk dat een paar regels SQL voldoende zijn. Aangezien een dataset van 20K items niet veel is, zou het ook prima met een simpel Powershell scriptje (en legio andere talen) kunnen, maar enige inspanning is wel vereist. Er zal niet een kant en klaar programma zijn wat dit specifieke probleempje oplost met een druk op de knop en zonder dat jij je erin hoeft te verdiepen.

[Verwijderd]

Woy schreef op zondag 12 februari 2017 @ 10:59:
Wat heb je zelf al geprobeerd om dit voor elkaar te krijgen? PRG is geen plek om je probleem maar te dumpen en een kant en klare oplossing te verwachten.

Stappen die ik zou ondernemen zijn

1: Schrijf een stukje programma die de duplicaten groepeert
2: Verwerk de duplicaten

Op deze manier voldoet je topic in ieder geval niet echt aan de regels die we in PRG stellen, dus ik zou graag zien dat je wat meer informatie geeft over wat je zelf al geprobeerd hebt, en wat daar niet mee wil lukken.

Sorry als het lijkt dat ik er lekker makkelijk vanaf wil komen door dit probleem op dit forum te zetten maar
ik zou het echt niet weten hoe ik dit moet oplossen, ik heb vanalles geprobeerd en op google gezocht maar ik kom er zelf niet uit.
Bijvoorbeeld in CSVed heb je een optie om duplicaten op te slaan in een nieuwe file, het probleem daarvan is dat er 1 blijft staan in de oude file waardoor het dus incompleet is.
Search and replace functie is een optie maar dat is verschrikkelijk tijdrovend.

En programmeren kan ik helaas niet
Maar misschien dat hier iemand hetzelfde probleem gehad heeft en mij de goede kant op kan sturen.

[Verwijderd]

downtime schreef op zondag 12 februari 2017 @ 11:40:
[...]

Dit soort zaken kun je met elke database doen. Ik denk dat een paar regels SQL voldoende zijn. Aangezien een dataset van 20K items niet veel is, zou het ook prima met een simpel Powershell scriptje (en legio andere talen) kunnen, maar enige inspanning is wel vereist. Er zal niet een kant en klaar programma zijn wat dit specifieke probleempje oplost met een druk op de knop en zonder dat jij je erin hoeft te verdiepen.

Ik heb nog nooit geprogrammeerd maar ik ga even kijken of google het me kan uitleggen, dankjewel voor de tip !

[downtime]

Aangezien ik nauwelijks SQL ken zou ik het met Powershell doen. Er is een Import-Csv commando om Csv te importeren. Sort-Object heeft een Unique parameter om alleen de unieke waarden over te houden. Die kun je dan verrijken met een ID, en dan zoek jij bij elke unieke waarde weer de overeenkomstige waarden uit de oorspronkelijke CSV, en dat zet je in een nieuwe tabel die je weer kunt wegschrijven.

[Verwijderd]

downtime schreef op zondag 12 februari 2017 @ 12:25:
Aangezien ik nauwelijks SQL ken zou ik het met Powershell doen. Er is een Import-Csv commando om Csv te importeren. Sort-Object heeft een Unique parameter om alleen de unieke waarden over te houden. Die kun je dan verrijken met een ID, en dan zoek jij bij elke unieke waarde weer de overeenkomstige waarden uit de oorspronkelijke CSV, en dat zet je in een nieuwe tabel die je weer kunt wegschrijven.

Dat klinkt als de oplossing, ik ga me er gelijk in verdiepen.
Ik hou je op de hoogte als het gelukt is !

[Verwijderd]

Ik krijg het helaas niet voor elkaar

[RobIII]

Verwijderd schreef op maandag 13 februari 2017 @ 15:55:
Ik krijg het helaas niet voor elkaar

Als je dan even laat zien wat je hebt... dan kunnen we daar misschien ook iets zinnigs over zeggen ipv gaan lopen gissen...

[Verwijderd]

Ik heb van alles opgezocht op google en youtube maar ik snap helemaal niks van SQL.
Dus ik heb eigenlijk helemaal niks.
Ik ga me er wel nog in verdiepen want vind het wel interessant maar dit is veelste hoog gegrepen voor me

RobIII schreef op maandag 13 februari 2017 @ 16:08:
[...]

Als je dan even laat zien wat je hebt... dan kunnen we daar misschien ook iets zinnigs over zeggen ipv gaan lopen gissen...

[mikekiwi]

Mag die kolom NewID een zelfgekozen waarde bevatten?

Zo ja:
- open in excel
- kopieer de kolom Name naar een nieuwe sheet in kolom A en ontdubbel die
- voeg een unieke code toe in kolom B (gewoon de eerste een nummer geven en dan uitvullen naar beneden zodat Excel de waarde bij elke regel ophoogt)
- vlookup die waarde naar je originele sheet (waarbij je in de org-sheet op name lookupped naar de nieuwe sheet) en zorg dat je dan de unieke code op de gewenste locatie krijgt.
- exporteer weer naar csv

[Verwijderd]

Wat gaat er nou precies fout?

http://imgur.com/a/ajPls

mikekiwi schreef op maandag 13 februari 2017 @ 20:07:
Mag die kolom NewID een zelfgekozen waarde bevatten?

Zo ja:
- open in excel
- kopieer de kolom Name naar een nieuwe sheet in kolom A en ontdubbel die
- voeg een unieke code toe in kolom B (gewoon de eerste een nummer geven en dan uitvullen naar beneden zodat Excel de waarde bij elke regel ophoogt)
- vlookup die waarde naar je originele sheet (waarbij je in de org-sheet op name lookupped naar de nieuwe sheet) en zorg dat je dan de unieke code op de gewenste locatie krijgt.
- exporteer weer naar csv

[DirkZzZ]

Verwijderd schreef op dinsdag 14 februari 2017 @ 22:33:
Wat gaat er nou precies fout?

http://imgur.com/a/ajPls


[...]

Jij hebt niet goed gelezen wat mikekiwi jou verteld heeft.

[Verwijderd]

Dit was de oplossing voor dit probleem ! Mijn dank is groot

mikekiwi schreef op maandag 13 februari 2017 @ 20:07:
Mag die kolom NewID een zelfgekozen waarde bevatten?

Zo ja:
- open in excel
- kopieer de kolom Name naar een nieuwe sheet in kolom A en ontdubbel die
- voeg een unieke code toe in kolom B (gewoon de eerste een nummer geven en dan uitvullen naar beneden zodat Excel de waarde bij elke regel ophoogt)
- vlookup die waarde naar je originele sheet (waarbij je in de org-sheet op name lookupped naar de nieuwe sheet) en zorg dat je dan de unieke code op de gewenste locatie krijgt.
- exporteer weer naar csv