Generic Datarows

[qanar]

Volgende probleem stelt zich:

Klant heeft n types van CSV files, waarbij n later kan veranderen. Iedere CSV heeft een verschillende header, maar bevat wel alleen doubles. De klant wil zelf (later) andere types van CSV files kunnen toevoegen (zonder te programmeren). Wat is nu de beste manier om dit te modelleren? (taal is java)

Zelf dacht ik aan:

DatarowCategory
--
int aantalItems
List <String> headers

Beschrijving van de headers van een datarow

Datarow
--
List <Double> values
DatarowCategory category

een datarow, moeilijk om values toe te voegen (moet letten op locatie, en oob problemen die niet auto getriggered worden)

Dataset
--
List <Datarow> data
DatarowCategory category

bevat alle datarows van een csv file en een verwijzing naar hoe de header eruit ziet.

Dit zou betekenen dat bij het toevoegen van een datarow aan een dataset (tijdens het inlezen van de CSV of vanuit een andere bron) er gecontroleerd moet worden dat de category van de datarow en de dataset gelijk zijn.

Nu ben ik op wiki wezen snuffelen in Go4 patterns, maar daarin vind ik voor dit probleem niet meteen oplossing en via google kom ik vooral uit op de .Net klasse datarow.

[ Voor 11% gewijzigd door qanar op 27-09-2010 11:04 ]

[Killemov]

Het inlezen is niet zo'n probleem, je kunt met bijvoorbeeld XML (+JAXB?) prima een bepaald formaat definieren.

De grote vraag is ... Wat ga je met die ingelezen gegevens doen? Ook bewerken zonder programmeren?

[qanar]

We willen de data bijhouden (in SQL) om die daarna te kunnen tonen in een JSF website. Daarom proberen we een handig datamodel te vinden om via JPA/ORM zelf niet te veel aan de database te moeten doen.

Inlezen van de data is dus geen probleem. Het is vooral het datamodel waar we een beetje over vallen.

[Killemov]

qanar schreef op maandag 27 september 2010 @ 10:59:
Dit zou betekenen dat bij het toevoegen van een datarow aan een dataset (tijdens het inlezen van de CSV of vanuit een andere bron) er gecontroleerd moet worden dat de category van de datarow en de dataset gelijk zijn.

Punt is dat je data in de breedte dynamisch is (OF je ziet de hele row als een string). Het aantal kolommen dus. Dit vinden databases in het algemeen niet zo leuk. Dan ga je dus naar excel-sheet-achtige oplossingen waarbij je de hele boel dusdanig normaliseert dat elke waarde in een eigen row terecht komt. (PK ~= category_id, workbook_id, sheet_id, column_id, row_id) Succes daarmee.

OF, en dat zou ik dus doen, maak van elke datarowcategory lekker een eigen table. KISS anyone?

OF, de HELE file als een clob opnemen en Java-side interpreteren.

Hier moet ook wel even bij vermelden dat postgres csv native ondersteunt: http://www.postgresql.org/docs/8.2/static/sql-copy.html Dus ... zit je al aan een DBMS vast?

[qanar]

Killemov schreef op dinsdag 28 september 2010 @ 02:50:
[...]

Punt is dat je data in de breedte dynamisch is (OF je ziet de hele row als een string). Het aantal kolommen dus. Dit vinden databases in het algemeen niet zo leuk. Dan ga je dus naar excel-sheet-achtige oplossingen waarbij je de hele boel dusdanig normaliseert dat elke waarde in een eigen row terecht komt. (PK ~= category_id, workbook_id, sheet_id, column_id, row_id) Succes daarmee.

De normalisatie zou dus door JPA gebeuren, dat zou het in ieder geval al gemakkelijker maken. Is ook de oplossing zoals ik ze al gepost heb.

Killemov schreef op dinsdag 28 september 2010 @ 02:50:
OF, en dat zou ik dus doen, maak van elke datarowcategory lekker een eigen table. KISS anyone?

Gaat niet, ik weet niet welke categories er zijn en binnen x tijd wil de klant er zelf kunnen bijvoegen zonder te programmeren.

Killemov schreef op dinsdag 28 september 2010 @ 02:50:
OF, de HELE file als een clob opnemen en Java-side interpreteren.

Hier moet ook wel even bij vermelden dat postgres csv native ondersteunt: http://www.postgresql.org/docs/8.2/static/sql-copy.html Dus ... zit je al aan een DBMS vast?

Hmmm... dat kan misschien nog wel ja