[Access] Database opbouw problemen

[DarkShadow]

hallo, ik heb hier niet zozeer een probleem maar meer wat inhoudelijke vragen.
Ik ben op het moment een database aan het bouwen voor stageonderzoek op het KNMI met allerlei klimatologische gegevens om te verifieren.
Hiervoor kijken we naar verschillende parameters, maar het probleem is dat het er nogal veel zijn, daarom willen wij het overzichtelijk in een database zetten zodat we met mysql netjes alles kunnen vinden...
Het probleem is dat we per jaar volgens een ruwe schatting te maken hebben met 40 miljoen verschillende waarden (dus totaal aantal cellen van 40 miljoen).

Nu vraag ik me af hoe je zo'n tabel in access het beste kan opbouwen. Kan je het beste 1 database bestand aan maken of meerdere. Kan je het beste bestanden linken met je database, of importeren. En kan je het beste maar een paar mega grote tabellen maken, of bv per station per jaar?

We kregen ook net problemen met de andere computer dat hij niet meer wou plakken, we kregen de error dat in het register de waarde maxlocksperfile te klein was en groter gemaakt moest worden. Ik heb hem even opgezocht en vergroot maar dat hielp niet. (edit: regclean deed het wondertje, plakken werkt gewoon weer)

Alle hulp is welkom, alvast bedankt

[ Voor 3% gewijzigd door DarkShadow op 08-03-2004 15:17 ]

[BtM909]

Ga je nou een MySQL of Access database opzetten? En heb je het over 40 miljoen records of waardes in een tabel?

Daarnaast betwijfel ik of Access dit gaat trekken

[Masch]

BtM909 schreef op 08 maart 2004 @ 15:18:
Ga je nou een MySQL of Access database opzetten? En heb je het over 40 miljoen records of waardes in een tabel?

Daarnaast betwijfel ik of Access dit gaat trekken

Ik durf dat ook te betwijfelen, terwijl ik een echte Access liefhebber ben

Hartstikke mooi pakket, Access, maar voor dit soort databases moet je imo toch naar de iets grotere spelers in de markt kijken.

[ Voor 8% gewijzigd door Masch op 08-03-2004 15:21 ]

[DarkShadow]

edit: hmmm is niet het aantal records, maar het aantal cellen (waardes dus), records is toch alleen de rijen?

Heb het trouwens ff nagerekend, maar we hebben 60 miljoen cellen per jaar (maar ik betwijfel of het meer jaren gaan worden).

Wat voor andere pakketten raden jullie dan aan?

[ Voor 3% gewijzigd door DarkShadow op 08-03-2004 15:25 ]

[DarkShadow]

Trouwens, we zouden de database een stuk kleiner kunnen maken, aangezien we heel veel gewoon niet nodig hebben, maar het leek ons wel handig zoveel mogelijk er gewoon bij te betrekken omdat je dan ook een database achter laat voor mensen die er ook nog gebruik van willen maken. (het is namelijk vrij slecht geregeld bij het knmi)

edit: het wordt een access tabel

[ Voor 6% gewijzigd door DarkShadow op 08-03-2004 15:24 ]

[ATS]

Je geeft en beetje weinig informatie om mee te werken. Een "cel" is een vreemde aanduiding van de hoeveelheid informatie. Ga je records maken met 1000 velden, of ga je records maken met 2 velden?

Als je iets wil doen in de zin van het opslaan van meetgegevens van weerstations, dan kan je dus records maken zoals dit: (datumtijd, stationID, temperatuur, windrichting, windkracht, dauwpunt, etc.). Hiervan zet je er net zoveel in je tabel als je nodig hebt. Ik denk, zoals anderen ook al hebben aangegeven, dat je met Access niet weg gaat komen. Het zijn gewoon te veel gegevens voor Access.

Afhankelijk van het gebruik dat je wil gaan maken van de data, zou ik ook eens kijken naar technieken om aglomeraties van je data te maken. Zo kan je je afvragen of je echt nog van elke 5 minuten alle gegevens nodig hebt van metingen van 10 jaar geleden, of dat dagelijkse maxima en gemiddelden genoeg zijn.

Voor het werken met dit soort hoeveelheden gegevens (ik neem aan dat je gegevens over meerdere jaren wil gaan verzamelen) zijn speciale technieken beschikbaar: data warehousing & data mining.

[DarkShadow]

ah... in records bekeken valt de data nog wel mee. Ik denk ongeveer een miljoen, misschien iets meer, misschien wat minder. Verder bestaat de data uit de volgende parameters:

De verwachting van de meteoroloog om de 6 uur geupdate en dan elke keer voor verschillende parameters (wind/temp etc etc) voor verschillende tijdstippen (0 uur vooruit, 3 uur vooruit 6 uur vooruit etc etc).
De waarneming om de 3 uur van verschillende parameters (wind/temp etc etc)
De verwachting van het model om de 3 uur geupdate (verder zelfde als meteoroloog)

Er zijn 2 verschillende modellen. Verder staan er inmiddels in de database al heel veel verschillende waarden, zoals windrichting, die niet echt voor ons van belang zijn. Eigenlijk willen we verifieren op maar 3 parameters... We willen dus een vergelijking maken van de meteoroloog met het model met de uiteindelijke waarneming (welke is het best tov de waarneming eignelijk).

Is dit voldoende informatie?

[BtM909]

Ik lees trouwens dat MS Access niet echt een beperking heeft in Records per tabel, maar meer in de grootte van de db (max. 2GB).