Grote query draaien.... welk database prog?

[Yuri]

Ik moet een query draaien van ong. 6.5miljoen records..... het is een query met maar 1 criterium, maar ik ga dat niet in acces proberen!

pc specs:

Intel PIII 500Mhz
128mb ram
14gb 5200rmp hdd

Het is niet bepaald een PC waar je zo'n query top mee kan draaien, maar ik heb geen ander alternatief.....

In welk database programma kan ik deze query het beste draaien?

[whoami]

Een query draaien van 6.5 miljoen records?
Bedoel je niet : 'een query laten lopen op een db met 6.5 miljoen records'?

Ik snap je bedoeling niet? Hoe weet je dat er zoveel records zijn als je die databank nog niet hebt?
* whoami is confused here.

[BierPul]

Yuri schreef op 06 februari 2003 @ 12:31:
Ik moet een query draaien van ong. 6.5miljoen records..... het is een query met maar 1 criterium, maar ik ga dat niet in acces proberen!

Lijkt me ook niet verstandig

Maar anyway denk ik dat je prima uit de voeten kan met bijvoorbeeld MySQL of postgres mits je je indexen maar goed zet moet dit redelijk te doen zijn, gewoon vanuit de command line.

Maar wat heb je in godsnaam voor database als er 6.5 miljoen records in zitten

_{Ik combineer dan de grootte van je db met het niveau van de vraag}

[ Voor 10% gewijzigd door BierPul op 06-02-2003 12:50 ]

[Yuri]

whoami schreef op 06 February 2003 @ 12:48:
Een query draaien van 6.5 miljoen records?
Bedoel je niet : 'een query laten lopen op een db met 6.5 miljoen records'?

Ik snap je bedoeling niet? Hoe weet je dat er zoveel records zijn als je die databank nog niet hebt?
* whoami is confused here.

ok ok... ik moet een query draaien in een tabel met 6.5 miljoen records!!

LOST_GUNT schreef op 06 February 2003 @ 12:48:
[...]


Lijkt me ook niet verstandig

Maar anyway denk ik dat je prima uit de voeten kan met bijvoorbeeld MySQL of postgres mits je je indexen maar goed zet moet dit redelijk te doen zijn, gewoon vanuit de command line.

Maar wat heb je in godsnaam voor database als er 6.5 miljoen records in zitten

_{Ik combineer dan de grootte van je db met het niveau van de vraag}

Database met telefoonnummers, postcodes enz enz. Hierin staan erg veel postcodes (notering is bijv. 3456HA en daar zijn er bijv 4 van. Ik moet alle UNIEKE postcodes hebben dus die andere drie laat ik niet zien, de query wordt gedraaid op basis van 2 gegevens: en idnr. die ook de sleutel is, en de postcode combi)

wtf bedoel je met je sub???

_{ben nu Visual FoxPro 8 beta aan het downloaden}

[ Voor 19% gewijzigd door Yuri op 06-02-2003 13:18 ]

[_Thanatos_]

wtf bedoel je met je sub???

Waarschijnlijk bedoelt hij dat je beginpost van relatief laag niveau is, en je dan gelijk al met zo'n grote tabel aan de haal gaat.

[whoami]

[nohtml]

Yuri schreef op 06 februari 2003 @ 13:14:
[...]


ok ok... ik moet een query draaien in een tabel met 6.5 miljoen records!!

Die tabel bestaat al?
Dan draai je gewoon die query op die tabel. Het DBMS van de databank waartoe die tabel behoort zal die query wel behandelen.

Database met telefoonnummers, postcodes enz enz. Hierin staan erg veel postcodes (notering is bijv. 3456HA en daar zijn er bijv 4 van. Ik moet alle UNIEKE postcodes hebben dus die andere drie laat ik niet zien, de query wordt gedraaid op basis van 2 gegevens: en idnr. die ook de sleutel is, en de postcode combi)

Alle unieke postcodes? Da's gewoon een

code:

select distinct postcode from postcodetabel

[Yuri]

whoami schreef op 06 februari 2003 @ 13:22:
[nohtml]
[...]

Die tabel bestaat al?
Dan draai je gewoon die query op die tabel. Het DBMS van de databank waartoe die tabel behoort zal die query wel behandelen.


[...]

Alle unieke postcodes? Da's gewoon een

code:

select distinct postcode from postcodetabel

Ok die code is geen probleem, maar Acces wil dat gewoon niet trekken op die machine daar gaat het om......

[Verwijderd]

Al geprobeerd dan? Anders kan je tussendoor koffie gaan drinken . ..

Maar serieus, als de Db als bestaat, op welk DBMS draait ie dan? (MySQL, MSSQL, Oracle, etc...)

[whoami]

Yuri schreef op 06 februari 2003 @ 13:23:
[...]


Ok die code is geen probleem, maar Acces wil dat gewoon niet trekken op die machine daar gaat het om......

In welke databank zit die tabel? Die zit toch niet in een Access databank, maar toch in een databank ala SQL Server, Oracle ofzo?
Staat die DB op een server, waar bevind die tabel zich, ....
Geef eens wat meer info, want ik heb niet veel zin in raadspelletjes....

[Yuri]

whoami schreef op 06 februari 2003 @ 13:26:

[...]


In welke databank zit die tabel? Die zit toch niet in een Access databank, maar toch in een databank ala SQL Server, Oracle ofzo?
Staat die DB op een server, waar bevind die tabel zich, ....
Geef eens wat meer info, want ik heb niet veel zin in raadspelletjes....

Database staat dus wel in acces.... de database staat lokaal op deze pc (zie specs 1ste post).

[Verwijderd]

Yuri schreef op 06 February 2003 @ 13:28:
[...]


Database staat dus wel in acces.... de database staat lokaal op deze pc (zie specs 1ste post).

Heb je het al geprobeerd dan? Heb je al die records geimporteerd ofzo?

Just give it a shot...

[edit]

Als het toch maar een eenmalige exercitie is, waarom niet proberen dan?

[ Voor 13% gewijzigd door Verwijderd op 06-02-2003 13:32 ]

[whoami]

Yuri schreef op 06 February 2003 @ 13:28:
[...]


Database staat dus wel in acces.... de database staat lokaal op deze pc (zie specs 1ste post).

Tja, als je die query dan door een andere db-engine wilt laten uitvoeren, dan zul je toch eerst die tabel in die nieuwe database moeten importeren/inladen.
(Je kunt misschien eens MSDE proberen, da's een gratis dbms van Microsoft die dezelfde engine gebruikt als SQL Server).
Maar, de performance van je query zal meer afhankelijk zijn van de indexen die je kunt gebruiken / leggen op die tabel. Een selectie-criterium op de PK is altijd het snelst.

[RupS]

Yuri schreef op 06 februari 2003 @ 13:28:
[...]


Database staat dus wel in acces.... de database staat lokaal op deze pc (zie specs 1ste post).

Je hebt een database met zoveel records in Access??
En je zoekt een prog waarmee je de query wilt draaien ...
Dat doet Access natuurlijk gewoon zelf...

Ik zou maar beginnen met de database in Oracle te zetten, of MS Sql of wat dan ook ... Of was dat je vraag?

edit:

laat maar.... zie whoami

[ Voor 7% gewijzigd door RupS op 06-02-2003 14:16 ]

[ACM]

Als je die query eenmalig moet draaien, probeer het gewoon in access. Of crasht access erop ofzo ?
Een query op 6.5M records zal in een gemiddelde zware database op zo'n machine ook al gauw een minuut of 5 tot een kwartier kosten.

[Verwijderd]

ACM schreef op 06 February 2003 @ 13:32:
Als je die query eenmalig moet draaien, probeer het gewoon in access. Of crasht access erop ofzo ?
Een query op 6.5M records zal in een gemiddelde zware database op zo'n machine ook al gauw een minuut of 5 tot een kwartier kosten.

ik heb eens een uur zitten te w88 op een query van misschien net 1 miljoen records... misschien nieteens zoveel... was wel een query van 1KM lang ofzo

[Verwijderd]

ACM schreef op 06 February 2003 @ 13:32:
Als je die query eenmalig moet draaien, probeer het gewoon in access. Of crasht access erop ofzo ?
Een query op 6.5M records zal in een gemiddelde zware database op zo'n machine ook al gauw een minuut of 5 tot een kwartier kosten.

Ja dat klopt, daarom moet je de functionalitijd verbeteren. ik weet niet waar het voor bedoelt is, maar het systeem achter de postcode moet je gebruiken.

5211 is b.v. denbosch.
is het dan niet te doen door b.v.

code:

SELECT * FROM postcodes WHERE cityid='1';

Of gewoon postcodes in meerdere tabellen, b.v. per provintie.
dan heb je postcode_braband, postcode_zeeland, postcode_limboland, etc.
dan kan je selecteren via provintie, scheelt aantal records gezien je ze deelt.

Of loop ik nou iets geks te eilen

[_Thanatos_]

Of gewoon postcodes in meerdere tabellen, b.v. per provintie. dan heb je postcode_braband, postcode_zeeland, postcode_limboland, etc. dan kan je selecteren via provintie, scheelt aantal records gezien je ze deelt.

Das altijd het ergste dat je op een SQL server kan doen. SQL servers zijn veel sneller met het selecteren van subsets van data, dan je denkt. Het aantal records speelt in dit gevalletje dan geen rol.

En de zoveelste tip naar de topicstarter:
Zet de zaak op MSSQL of Oracle, leg de juiste indices en maak de query gewoon. Oracle en MSSQL zijn volgens mij zo'n beetje de snelste SQL servers die je kan krijgen (als je ze kan krijgen). Want zoals je nu bezig bent (met dit topic), duurt het volgens mij al langer dan wanneer je het gelijk met Access gedaan had

[Yuri]

_Thanatos_ schreef op 06 February 2003 @ 17:24:
[...]

Das altijd het ergste dat je op een SQL server kan doen. SQL servers zijn veel sneller met het selecteren van subsets van data, dan je denkt. Het aantal records speelt in dit gevalletje dan geen rol.

En de zoveelste tip naar de topicstarter:
Zet de zaak op MSSQL of Oracle, leg de juiste indices en maak de query gewoon. Oracle en MSSQL zijn volgens mij zo'n beetje de snelste SQL servers die je kan krijgen (als je ze kan krijgen). Want zoals je nu bezig bent (met dit topic), duurt het volgens mij al langer dan wanneer je het gelijk met Access gedaan had

heb em al gedraaid...

[Verwijderd]

Of iets van valentine, dat is een supersnel DB prog.

[Soultaker]

Erm, een query over een paar miljoen records is toch peanuts voor een beetje database, tenzij je er onmogelijk complexe constructies op los laat en/of je indices niet goed ingesteld hebt?

[HunterPro]

Yuri schreef op 07 February 2003 @ 09:39:
[...]

heb em al gedraaid...

en? Stats?

* HunterPro statswhore