CSV lege rijen verwijderen

[WeHoDo]

Mijn vraag
Ik heb een CSV bestand van 100mb. (820000 rijen)
Echter staan er om de 75 a 100 regels een lege regel tussen.

Ik kan via Excel deze via F5 en dan speciaal de lege waarden verwijderen, echter duurt dit ruim 8 uur.

Is er een ander programma die, dit sneller kan.
Een gewoon een simpele texteditor?

Relevante software en hardware die ik gebruik
MS Excel 2016

Wat ik al gevonden of geprobeerd heb
Google, krijg alleen resultaten om dit vanuit Excel te doen.

[Koos Ofzo]

Waarom duurt het 8 uur? Als je F5 doet, lege cellen, en dan bij Start>Verwijderen>Cellen verwijderen of Bladrijen verwijderen gooi je ze toch allemaal in 1x weg?

[ShitHappens]

2 manieren om te overwegen:

- Pak een degelijke texteditor, Notepad++ loopt misschien net op z'n teentjes maar anders wilt EditPad Lite wel. Je zou dan een find+replace kunnen doen op \r\n,,,,,,\r\n (of hoeveel komma's er ook in staan, als de rij echt leeg is dan gewoon \r\n\r\n) en vervangen naar \r\n - wel even de Regex optie aanzetten
- Schrijf een scriptje in Powershell die door het bestand heenloopt, en alleen de niet-lege rijen nog een keer weg te schrijven.

[KabouterSuper]

Gewoon ouderwetsch met MS-DOS of met powershell?

Onderstaand is geript uit een oud tooltje, maar wellicht helpt het je op weg:

code:

powershell -command "(gc \"__filename__\") | ? {$_.trim(\" `t,\") -ne \"\" } | set-content \"__filename__\"  "

[sebasmeer]

ShitHappens schreef op vrijdag 21 december 2018 @ 13:05:
2 manieren om te overwegen:

- Pak een degelijke texteditor, Notepad++ loopt misschien net op z'n teentjes maar anders wilt EditPad Lite wel. Je zou dan een find+replace kunnen doen op \r\n,,,,,,\r\n (of hoeveel komma's er ook in staan, als de rij echt leeg is dan gewoon \r\n\r\n) en vervangen naar \r\n - wel even de Regex optie aanzetten
- Schrijf een scriptje in Powershell die door het bestand heenloopt, en alleen de niet-lege rijen nog een keer weg te schrijven.

Notepad++ gebruiken inderdaad. Maar dan niet moeilijk doen. Alles wat je nodig hebt kan je via het topmenu bedienen:
- Edit > Line Operations > Remove empty lines

[mcDavid]

code:

sed /^$/d origineel.csv > nieuw.csv

zoiets?

[WeHoDo]

sebasmeer schreef op vrijdag 21 december 2018 @ 13:11:
[...]


Notepad++ gebruiken inderdaad. Maar dan niet moeilijk doen. Alles wat je nodig hebt kan je via het topmenu bedienen:
- Edit > Line Operations > Remove empty lines

Dit is hem!
Top, bedankt!!!!!

Waarom Excel er lang overdoet, zal vast omdat hij elke regel opnieuw moet inladen denk ik, nadat er een wijziging is geweest.

[WeHoDo]

Koos Ofzo schreef op vrijdag 21 december 2018 @ 13:02:
Waarom duurt het 8 uur? Als je F5 doet, lege cellen, en dan bij Start>Verwijderen>Cellen verwijderen of Bladrijen verwijderen gooi je ze toch allemaal in 1x weg?

Geen idee, wellicht omdat Excel na een wijziging alles opnieuw inlaad en afloopt?

[heuveltje]

WeHoDo schreef op vrijdag 21 december 2018 @ 13:16:
[...]


Dit is hem!
Top, bedankt!!!!!

Waarom Excel er lang overdoet, zal vast omdat hij elke regel opnieuw moet inladen denk ik, nadat er een wijziging is geweest.

Probleem is dat excel ze ook 1 voor 1 veranderd. en als je regel 2001 verwijderd. hij dus regel 2002 tot 8000 1 regel omhoog gaat schuiven. en dat word nog 1000 keer erger als je er referenties in hebt zitten.

Er zijn wat visual basic commandos om dat te doen zonder het scherm te updaten
https://docs.microsoft.co...pplication.screenupdating

dat kan je code echt Enorm versnellen.

[ Voor 8% gewijzigd door heuveltje op 21-12-2018 13:22 ]

[ShitHappens]

sebasmeer schreef op vrijdag 21 december 2018 @ 13:11:
[...]


Notepad++ gebruiken inderdaad. Maar dan niet moeilijk doen. Alles wat je nodig hebt kan je via het topmenu bedienen:
- Edit > Line Operations > Remove empty lines

Ah die optie kende ik niet eens, ik interpreteerde "lege rij" als een rij waarin geen waardes staan, maar wel veldscheidingstekens.

[WeHoDo]

ShitHappens schreef op vrijdag 21 december 2018 @ 13:21:
[...]

Ah die optie kende ik niet eens, ik interpreteerde "lege rij" als een rij waarin geen waardes staan, maar wel veldscheidingstekens.

Beide wat nog wat bij geleerd in 2018! hhahaah

[ShitHappens]

En dat terwijl ik al 5 jaar dagelijks met CSV files werk, en Notepad++ gebruik (Niet noodzakelijk in precies die combinatie)