Duplicate mail adressen verwijderen met AWK

[Reb87]

Op dit moment ben ik bezig een adressenbestand te importeren. Helaas is dit bestand een beetje raar opgemaakt (of iemand heeft de adressen gewoon verkeerd ingevoerd), waardoor ik duplicaten krijg.

Het ziet er als volgt uit:

code:

"recip   1","","[e-mail]","[e-mail]"

Nu zou de meest ideale oplossing zijn dat er per regel slechts het mailadres komt te staan. De quote tekens en het eerste gedeelte krijg ik gemakkelijk weg met een find & replace, maar het tweede gedeelte, waarbij dus nogmaals het mailadres voorbij komt lukt niet.

Via google wordt ik steeds gewezen naar AWK. Hier vind ik echter alleen voorbeelden waarbij er in verschillende regels naar duplicaten wordt gezocht, en niet binnen dezelfde regel (row).

Zou iemand hiermee kunnen helpen?

[H!GHGuY]

in pseudocode:

code:

BEGIN { FS=',' }
// {
  map = []
  out = ""
  voor elke entry
    als entry niet in map
      map[entry] = entry
      out += entry
  print out
}

[DeBolle]

Het is een comma delimited file, dus zo in te lezen in een willekeurige spreadsheet of db prog, daarna naar willekeur weer te exporteren per table maar enfin, awk dus. De testfile heet infile:

code:

[henk@centos ~]$ cat infile
"recip   1","","[e-mail]","[e-mail]"
"recip   1","","[e-mail]","[e-mail]"
"recip   1","","[e-mail]","[e-mail]"
"recip   1","","[e-mail]","[e-mail]"
[henk@centos ~]$ cat infile | awk -F , '{ print $3 }'
"[e-mail]"
"[e-mail]"
"[e-mail]"
"[e-mail]"

[Sprite_tm]

Zonder awk maar pakt alleen het 1e adres-veld:

code:

cut -d '"' -f 6 < bestandje.txt

[Jaap-Jan]

Sprite_tm schreef op vrijdag 10 december 2010 @ 13:46:
Zonder awk maar pakt alleen het 1e adres-veld:

code:

cut -d '"' -f 6 < bestandje.txt

En als je dat hebt, kun je hem gelijk door 'uniq' pipen, dan heb je geen dubbele meer.

[Sprite_tm]

Jaap-Jan schreef op vrijdag 10 december 2010 @ 13:51:
[...]
En als je dat hebt, kun je hem gelijk door 'uniq' pipen, dan heb je geen dubbele meer.

Pipe 'm dan eerst door sort, uniq doet namelijk niet wat je lijkt te denken dat het doet

[DeBolle]

Sprite_tm schreef op vrijdag 10 december 2010 @ 14:14:
[...]

Pipe 'm dan eerst door sort, uniq doet namelijk niet wat je lijkt te denken dat het doet

Dan wordt het sort -u
(...en plotseling ben ik weer terug in 1997, toen bedrijven als Baan hun "eigen" sort en find meeleverden bij hun pakketten zonder dat ergens te vermelden)

[Wolfboy]

Veel te moeilijke oplossingen allemaal, sort kan dit direct al (als je de gnu versie gebruikt).

sort -u -k 3 -t '","'

(al ben ik er niet zeker van of de key parameter bij 0 of 1 begint dus het zou kunnen zijn dat 3 niet correct is)

[sparks]

Off topic:

we leveren nog steeds sort mee, find nooit gedaan ;-)