[MySQL] Grote datasets

[Radagast2005]

Ik heb een databestand van 1,2 GB bestaande uit zo'n 18 miljoen regels die ik in een MySQL database wil stoppen. Het bestand is echter fixed delimited. Ik weet dat MySQL csv files kan importeren, dus ik heb er geprobeerd een csv file van te maken met Perl. Bestanden onder de 700 MB wil Perl nog wel aan, maar bij deze loopt ie vast. Ik heb op die machine 1,5 GB geheugen, maar ik vraag me af of je speciale Perl truukjes uit moet halen om met die enorme datasets om met zulke datasets overweg te kunnen.

[Voutloos]

Dan knip je het import werk in 2en en je bent er?

[Creepy]

Eeh.. regel voor regel verwerken i.p.v het hele bestand inlezen?

En waarom zet je dit neer als een MySQL probleem terwijl je het over een stukje perl code hebt?

[Radagast2005]

Creepy schreef op zondag 04 februari 2007 @ 15:49:
Eeh.. regel voor regel verwerken i.p.v het hele bestand inlezen?

En waarom zet je dit neer als een MySQL probleem terwijl je het over een stukje perl code hebt?

Ik ben niet verplicht om het met Perl te doen toch? Het probleem is dat ik dat bestand MySQL in moet krijgen, al dan niet met Perl.

Maar goed, regel voor regel deed het hem. Heb steeds op van die foute Engelse termen zitten Googlen

[ Voor 11% gewijzigd door Radagast2005 op 04-02-2007 16:14 ]

[moto-moi]

Radagast2005 schreef op zondag 04 februari 2007 @ 16:09:
Ik ben niet verplicht om het met Perl te doen toch? Het probleem is dat ik dat bestand MySQL in moet krijgen, al dan niet met Perl.

Ik denk dat Creepy in dit geval gelijk heeft, zolang je een 'tupel' kunt inladen maakt het niet uit hoe groot het bestand is, aangezien je het niet in 1 keer wilt inladen, maar puur stukje voor stukje.

[Verwijderd]

Waarom hoor ik hier steeds vaker 'tuple' terwijl zo'n ding in de huidige RDBMS wereld gewoon 'record' heet? En al tientallen jaren zo genoemd wordt?

[Voutloos]

In de theorie (relationele algebra, domeincalculus en tuplecalculus) is het woord tuple toch echt beter ingeburgerd.

[Verwijderd]

Eens, maar gebruik 't woord dan in de juiste context. De 'database wereld' heeft z'n eigen idioom, en 'tuple' komt daar niet in voor...

[BikkelZ]

Wordt er op de twee verschillende HBO Informatica opleidingen die ik gezien heb bij allebei er in geramd dat het een tupel is tijdens de databasevakken. Niet dat ik het nu een tupel noem, maar er schijnt iets officielerigs aan te zijn

[Grijze Vos]

Tuple is de generieke wiskundige naam.
Overigens zou ik een rijtje symbolen oop een regel in een tekstbestand ook niet per definitie een record noemen. (Ook niet per se een tuple overigens.)

De academische database wereld spreekt overigens ook wel gewoon van tuples hoor.

[ Voor 18% gewijzigd door Grijze Vos op 05-02-2007 11:25 ]