Grote output query in CSV-bestand m.b.v. C sharp

[Scheepers.A]

In C-sharp een query genereren en de output in een CSV-bestand maken.
Het gaat om heel veel data en daarom een for lus maken en elke query wijzigen in de where i.v.m. datum en daarvan weer een nieuwe CSV-bestand maken.

De standaard query heb ik al, maar er zijn op internet vele oplossingen waardoor door het bomen het bos niet meer te zien is.
Wie kan mij daarbij helpen?

[Cyphax]

Ik denk dat meer informatie wel zou helpen. Welke query heb je? Hoeveel data heb je (ongeveer)? Wat moet er in de query wijzigen steeds, en kan je dat niet in een keer doen misschien? Wat heb je zelf nog meer ondernomen?
Voor het genereren van CSV's kan je overwegen een library als FileHelpers gebruiken.

[Scheepers.A]

Het gaat om gigabyte aan data, vandaar dat het in stukken moet.
De query is het probleem niet, maar de data in een CSV-bestand krijgen zonder dat anderen er last van hebben.
Ik heb gelezen linq, maar dat zegt mij niets en ik zou ook niet weten hoe ik mijn query om kan zetten naar linq.
Zijn er nog meer mogelijkheden?

[DynaSpan]

Wat heb je al? Wat heb je nog nodig? Verschaf meer info aub,

Je hebt dus een grote dataset die je in een CSV wilt zetten? Kan in één keer, kan in batches.. Hangt een beetje af van je eisen en wensen.

[ Voor 5% gewijzigd door DynaSpan op 20-01-2020 11:36 ]

[michiel_]

Ik volg je niet helemaal, maar ben je bekend met Streams? https://www.guru99.com/c-sharp-stream.html

[DJMaze]

Scheepers.A schreef op maandag 20 januari 2020 @ 11:33:
Het gaat om gigabyte aan data, vandaar dat het in stukken moet.

Nee hoor, dat moet niet.
De vraag is eerder of je eerst alle CSV data in je geheugen plempt of dat je het netjes direct naar de juiste io streamt (fopen/fwrite enzo).

[Scheepers.A]

Elke query aanvraag netjes opslaan met een degelijke naam in een CSV-bestand en dan de volgende query maken, etc.

[RobIII]

@Scheepers.A Probeer a.u.b te beseffen dat we niet over je schouder mee kunnen kijken, laat staan in je hoofd kijken. Er is weinig hout te snijden van je posts en er moet wel héél hard getrokken om relevante informatie uit je te krijgen. Ik verzoek je vriendelijk onze Quickstart eens ter hand te nemen en dan een nieuw topic te openen met deze quickstart in je achterhoofd