[batch windows] bestanden vergelijken en output naar file

[Fairy]

Ik zit met een beetje lastige situatie. Die is als volgt.

Wij hebben een applicatie draaien die elke 2 uur gegevens krijgt aangeleverd middels een batch. Dit zijn vele duizenden regels. Elke keer wordt het gehele bestand ingelezen, wat veel tijd en cpu kracht kost, de applicatie die het inleest, importeert alle records steeds opnieuw in zijn database. Intussen zijn we op het punt dat er bijna een overlap is tussen de ene run en de volgende run.

Deze importslag is echter te optimaliseren door alleen de gewijzigde regels in te lezen, maar dan moet er een vergelijking worden gedaan met de vorige file en de huidige file. Echter is het probleem dat de volgorde van de regels kunnen veranderen als zich wijzigingen voordoen. Een bepaald record kan in de ene import op regel 10 staan en in de volgens de 5000.

Als wij alleen de gewijzigde regels kunnen inlezen en niet telkens het volledige bestand, zal zit een tijdsbesparing van letterlijk 99,9% zijn.

Is er een manier om in een simpel batch script (middels een executable aan te roepen uiteraard) een vergelijking te maken tussen 2 files en de verschillen te distilleren?

Ik hoop dat iemand me op de juiste weg kan helpen.

Alvast hartelijk dank!

[ThunderNet]

Hoe identificeer je de wijziging dan? Hebben alle regels een eigen ID, of? Waar herken je een wijziging aan en wat is een volledig nieuwe record?

[Caelorum]

Worden er alleen regels tussen gevoegd (blijven ze dus op volgorde) of is het echt willekeurige volgorde?

[fonsoy]

Als de volgorde van de regels steeds wisselt, zal het vergelijken van de regel er ook niet om liegen qua resourcegebruik.
Het lijkt mij voor de hand liggend dat je per regel in het nieuwe bestand de oude regel erbij probeert te zoeken. Als dat niet lukt schiet je 'm de DB in.

[Donaldinho]

eerste twee vragen zijn goede - als een regel een unieke wijziging bevat zou je eerst files kunnen sorteren, daana met fc (op windows) verschillen uit kunnen lezen.

Als een (1) wijziging over meerdere regels doorlopen dan wordt het snel complexer.

[Smelt]

Powershell heeft een groot aantal mogelijkheden om zaken te vergelijken en sorteren.

het ligt er natuurlijk heel erg aan het soort bestanden en wat de unieke waarden zijn

[Fairy]

Er zit wel een uniek nummer in, maar niet steeds op dezelfde plek.

Het ene record begint met een datum, puntkomma en dan een uniek nummer, maar soms begint deze met een puntkomma en dan het unieke nummer.

Nu ben ik geen held in dit soort procedures, maar ik wil het toch graag voor elkaar krijgen zonder meteen een externe club te moeten aantrekken hiervoor. Zo moeilijk kan het niet zijn?

Ik heb wel een voorbeeldje, maar omdat het om persoonsgegevens gaat moet ik heel voorzichtig zijn, dus maar even fictief:

01/03/2016;00501542;Jansen;Piet;dorpsweg 80

In het volgende bestand staat dan:
01/03/2016;00501542;Jansen;Piet;dorpsweg 99

Persoon is verhuisd, dus het record moet naar een nieuwe file.

Er kan ook wat anders gebeuren:
;00501542;Jansen;Piet;dorpsweg 80

Zelfde persoon, maar het contract is omgezet naar vast.

[narotic]

Volgens mij ben je dan dus op zoek naar de relative complement van de oude batch in de nieuwe batch. Met andere woorden, alle regels in de nieuwe batch die niet exact voorkomen in de oude batch. Ik ben geen held met windows command line, maar met linux tools als grep en awk bereken je die in luttele seconden voor een paar duizend regels.

Echter, kan het ook voorkomen dat regels uit de database verdwijnen? Ik zou hoe dan ook aanraden om in ieder geval 1 keer in de zoveel tijd de batch weer "volledig" te importeren om dat soort fouten te ondervangen.

Edit: volgens mij zoiets dus in powershell:

code:

Get-Content new.txt | ?{-not ($(Get-Content old.txt) -contains $_)}

[ Voor 24% gewijzigd door narotic op 18-05-2016 17:02 ]

[Smelt]

dat ziet eruit als CSV bestanden maar extensie hoeft verder niet uit te maken

als er al een header in het bestand staat dan kan deze nog uit onderstaande scripts

onderstaand powershell script importeert de bestanden en vergelijkt deze

PowerShell: compare

$header = "Date","ID","voornaam","achternaam","adress" 
$filenew = Import-Csv -Delimiter ";" "C:\filenew.ext" -header $header | Sort id
$fileold = Import-Csv -Delimiter ";" "C:\fileold.ext" -header $header | Sort id

compare-object -referenceobject $fileold -differenceobject $filenew  | Where-Object {$_.SideIndicator -eq '=>'} | Export-Csv -Delimiter ";" -NoTypeInformation "C:\changes.csv"

ik weet niet zeker of compare-object goed werkt met het ontbreken van regels dan zou onderstaande misschien beter werken

PowerShell: compare

$header = "Date","ID","voornaam","achterbaan","straat" 
$filenew = Import-Csv -Delimiter ";" "C:\filenew.ext" -header $header | Sort id
$fileold = Import-Csv -Delimiter ";" "C:\fileold.ext" -header $header | Sort id
$fileold | Where-Object{$filenew -notcontains $_} | Export-Csv -Delimiter ";" -NoTypeInformation "C:\changes.csv"

bestands locaties/namen moeten nog aangepast worden

bovenstaande dient als voorbeeld en zal getest moeten worden om goed te werken

ik ga er vanuit dat er geen regels verwijdert hoeven te worden, want dat kan echt alleen door nieuwe bestand te importeren en alle oude gegevens te verwijderen zoals het nu waarschijnlijk gaat.

het is ook mogelijk bovenstaande aan te passen naar een enkele regel code maar dit heb ik voor de leesbaarheid even niet gedaan

[narotic]

Smelt schreef op woensdag 18 mei 2016 @ 17:03:
compare-object -referenceobject $fileold -differenceobject $filenew | Where-Object {$_.SideIndicator -eq '=>'} | Export-Csv -Delimiter ";" -NoTypeInformation "C:\changes.csv"
[/code]

offtopic:
Ik dacht al dat het ook met compare-object op de een of andere manier moest kunnen, maar dit is dus de truc die ik miste

[Killah_Priest]

narotic schreef op woensdag 18 mei 2016 @ 21:30:
[...]


offtopic:
Ik dacht al dat het ook met compare-object op de een of andere manier moest kunnen, maar dit is dus de truc die ik miste

Ik ben nog steeds van mening dat compare-object meer parameters mbt de side indicator (of alleen left of right als switch optie) had moeten bevatten.

[Fairy]

Bedankt voor alle antwoorden! Ik ga kijken of ik dat in de praktijk toegepast kan krijgen!

[Montaner]

Fairy schreef op donderdag 19 mei 2016 @ 08:04:
Bedankt voor alle antwoorden! Ik ga kijken of ik dat in de praktijk toegepast kan krijgen!

Gebruik je MSSQL? Kijk dan eens naar SSIS. In deze tutorial wordt jouw 'probleem' volledig beschreven:
http://www.sqlservercentral.com/stairway/72494/

[Fairy]

trix0r schreef op donderdag 19 mei 2016 @ 12:55:
[...]

Gebruik je MSSQL? Kijk dan eens naar SSIS. In deze tutorial wordt jouw 'probleem' volledig beschreven:
http://www.sqlservercentral.com/stairway/72494/

Helaas niet, de data komt uit een pakket uit de cloud via een secure FTP sessie, elke keer een heel bestand en wordt daarna ingelezen in een applicatie die een bestand oppakt en inleest. Dat gaat middels allerlei processen, dus inschieten in SQL is er niet bij.