SQL query op een table met 6,7 miljoen records in php

[Verwijderd]

Ik heb een table met 6,7 miljoen records die ik graag omzet in een andere table,
echter voeg ik twee colommen samen en voeg ik daar een extra string aan toe.

ik gebruik hiervoor het volgende php script alleen dat gaat dus mis:
<?
mysql_connect("localhost", "user", "password");
mysql_select_db("database");
$paginaresult = mysql_query("SELECT * FROM table1");
while ($rij=mysql_fetch_object($paginaresult)) {
$column1 ="$rij->column1";
$column1 .="$rij->column2";
$column1 = substr($column1, 1);
$fullstring ="sting";
$fullstring .="$column1";
mysql_query("INSERT into table2 (ncolumn1,ncolumn2,ncolumn3,ncolumn4,ncolumn5) values ('$fullstring','$rij->column3','$rij->column4','$rij->column5','$rij->column6','$rij->column7')");
}
?>

na een tijdje stopt hij gewoon...
Zet ik een limit in de select query dan gaat het goed. Dus ik denk dat de select te lang duurt iemand een idee hoe ik dit kan opvangen ?

M.v.g. Nico Houben

[Rotjeknor]

Hmmz ff [ php ] gebruiken aub...

Enne over je vraag: misschien een idee je queries af te splitsen dat ie het per 1000 doet oid?

[Verwijderd]

probeer eens 2 variabelen $limit_from en $limit_to te maken en deze in de query te verwerken onder limit:

code:

$paginaresult = mysql_query("SELECT * FROM table1 LIMIT $limit_from, $limit_to");

En daarna de code te onderverdelen dmv de limits telkens een half (of kwart) miljoen te laten verspringen. Dit voorkomt timeouts en hoge serverloads van de server..

[Verwijderd]

Rotjeknor schreef op 02 December 2002 @ 23:49:
Hmmz ff [ php ] gebruiken aub...

Enne over je vraag: misschien een idee je queries af te splitsen dat ie het per 1000 doet oid?

Op zich moet een beetje mysql-server makkelijk met duizende records in 1 keer om weten te gaan..

[dusty]

code:

create table blaat as select id, naam, description from pieperloi, blaataap where pieperloi.id=blaataap.id;

Oracle is wonderbaarlijk.

[ Voor 7% gewijzigd door dusty op 02-12-2002 23:54 . Reden: code tags ]

[Verwijderd]

Verwijderd schreef op 02 December 2002 @ 23:53:
[...]

Op zich moet een beetje mysql-server makkelijk met duizende records in 1 keer om weten te gaan..

Denk je wel dat het gaat lukken met 250.000 ?

want 6,7 miljoen is wat ik tot nu toe heb ontdekt erg veel !

[Verwijderd]

En Mysql-Front? Dat is win32 applicatie... die kan gewoon query's uitvoeren zonder dat je met PHP moet klooien... maar dat kan alleen als je substr enzo ook in mysql kan gebruiken.....

[ACM]

dusty schreef op 02 December 2002 @ 23:54:

code:

create table blaat as select id, naam, description from pieperloi, blaataap where pieperloi.id=blaataap.id;

Oracle is wonderbaarlijk.

Kan mysql ook hoor

[TimMer]

Rotjeknor schreef op 02 December 2002 @ 23:49:
Hmmz ff [ php ] gebruiken aub...

Enne over je vraag: misschien een idee je queries af te splitsen dat ie het per 1000 doet oid?

Bij deze :

PHP:

<?
mysql_connect("localhost", "user", "password");
mysql_select_db("database");
$paginaresult = mysql_query("SELECT * FROM table1"); 
while ($rij=mysql_fetch_object($paginaresult)) { 
$column1 ="$rij->column1";
$column1 .="$rij->column2";
$column1 = substr($column1, 1);
$fullstring ="sting";
$fullstring .="$column1"; 
mysql_query("INSERT into table2 (ncolumn1,ncolumn2,ncolumn3,ncolumn4,ncolumn5)
values ('$fullstring','$rij->column3','$rij->column4','$rij->column5','$rij->column6','$rij->column7')");
} 
?>

[ Voor 16% gewijzigd door TimMer op 03-12-2002 01:33 ]

[dusty]

ACM schreef op 03 December 2002 @ 01:20:
[nohtml]
[...]
[/nohtml]
Kan mysql ook hoor

Ga nou eens niet alles verklappen joh.. altijd alles verpesten.. zo is het toch ook niet meer leuk voor mij.. tssssssss..

^{Had gehoopt dat een van de andere mensen die het niet wist eens in de manual gingen kijken om te zien of er iets soortgelijks bestond voor mysql.}

[dusty]

TimMer schreef op 03 December 2002 @ 01:32:
[...]
Bij deze :
[..]

Je code is fout. Het kan namelijk verkeerd gaan met jouw code.

[leraar mode]Kan iemand uitleggen waarom?[/leraar mode]

[Verwijderd]

Ikke Ikke Ikke zeggen meeesterr!!!

Bij een single kwoot! een single kwoot! dan krijg je dubbele in de string! vintie niet fijn!

/me wacht met smart op zn koekkie

[ Voor 49% gewijzigd door Verwijderd op 03-12-2002 09:11 ]

[Bosmonster]

$paginaresult = mysql_query("SELECT * FROM table1");

Omdat ie nu een voleldige tabel met 6,7 miljoen records in het geheugen heeft?

Misschien is een alter table wat minder intensief

ipv 6,7 miljoen insert-queries achter elkaar..

[ Voor 26% gewijzigd door Bosmonster op 03-12-2002 09:18 ]

[Verwijderd]

Verwijderd schreef op 03 December 2002 @ 09:09:
Ikke Ikke Ikke zeggen meeesterr!!!

Bij een single kwoot! een single kwoot! dan krijg je dubbele in de string! vintie niet fijn!

en ik denk dat het ook wel fout zal gaan als er aan het einde, dus vlak voor het enkele aanhalingsteken een backslash (\) staat... toch..??

Edit:
Yep

mysql> insert into testtable (ID, name) values (9, 'naampje\');
'> ;
'> ;
'> \q
'> shit....
'>

[ Voor 16% gewijzigd door Verwijderd op 03-12-2002 09:46 . Reden: Ff gecheckt of \' inderdaad fout zou gaan ]

[GoodspeeD]

TimMer schreef op 03 December 2002 @ 01:32:
[...]

Bij deze :

PHP:

<?
mysql_connect("localhost", "user", "password");
mysql_select_db("database");
$paginaresult = mysql_query("SELECT * FROM table1"); 
while ($rij=mysql_fetch_object($paginaresult)) { 
$column1 ="$rij->column1";
$column1 .="$rij->column2";
$column1 = substr($column1, 1);
$fullstring ="sting";
$fullstring .="$column1"; 
mysql_query("INSERT into table2 (ncolumn1,ncolumn2,ncolumn3,ncolumn4,ncolumn5)
values ('$fullstring','$rij->column3','$rij->column4','$rij->column5','$rij->column6','$rij->column7')");
} 
?>

Het kan aan mij liggen, maar ik zie niet echt waarom deze code het afsplitst per 1000 records?

[GoodspeeD]

het probleem met php blijft gewoon dat je scripts niet te lang mogen duren. Dus wat je zou kunnen doen is een php filetje maken die zich zelf aanroept met als parameter een waarde voor $i.

dus bijf. self.php?i='bepaald getal' en dan aan de hand van dat getal beginnen in je tabel en dat getal dus ophogen. duizend records verwerken en dan het script opnieuw aanroepen.

Ik weet alleen niet zeker of dit wel mogelijk is, omdat de php engine waarschijnlijk intelligent genoeg is om te zien dat het de hele tijd hetzelfde script is wat aan de praat is.

Dus dan krijg je iets als:

blegh.php

PHP:

spring naar positie $i in de tabel als die geset is
for ($k=0;$k<1000;$k++) {
verwerk record;
}
roep blegh.php?i=$i+1000;

[ Voor 16% gewijzigd door GoodspeeD op 03-12-2002 10:50 ]

[intermusic]

Misschien is het slim om het zo te doen:

Je pakt het aantal records in je database.
Je stelt een limiet in van misschien 1000 te verwerken records.
Wanneer php 1000 records verwerkt heeft verstuur je met behulp van een flush() een refresh naar je pagina toe naar het zelfde script en het aantal reeds verwerkte records, zodat het script opnieuw geladen wordt en verder gaat.
Zo voorkom je in ieder geval dat je timeouts krijgt, zonder dat je iedere keer op een knopje moet drukken ofzo.

(denk erom dat voordat de flush werkt je eerst 300 bytes aan data mee moet geven (300 *   BV))

Ik hoop dat je hier wat aan hebt

[thomaske]

zoals dusty en ACM al hebben aangegeven:
dit kan je makkelijk oplossen zonder php
• Select Into
• String functions

[LuCarD]

thomaske schreef op 03 December 2002 @ 11:11:
zoals dusty en ACM al hebben aangegeven:
dit kan je makkelijk oplossen zonder php
• Select Into
• String functions

Eens maar ik zou het toch echt wel met een alter table doen, en daar na een update, ik denk dat het sneller is simpeler is.

[Verwijderd]

LuCarD schreef op 03 december 2002 @ 14:38:
[...]


Eens maar ik zou het toch echt wel met een alter table doen, en daar na een update, ik denk dat het sneller is simpeler is.

Jeps, dit werkt inderdaad super

De overige deden het ook wel maar waren inderdaad een stuk trager !!!

[TimMer]

Uhmmm, vrienden, ik heb alleen de eerder geplaatste code in php-tags gezet; ik heb er niets aan veranderd.

Men gaf alleen aan dat het handiger te lezen was tussen tags, dus ik dacht: "Laat ik even behulpzaam zijn."; word ik gelijk afgefikt op mijn niet bestaande PHP-talenten.

Ik kan het hooguit een beetje lezen, schrijven kan ik het niet. Ik werk er nooit mee.

[dusty]

LuCarD schreef op 03 december 2002 @ 14:38:
[...]
Eens maar ik zou het toch echt wel met een alter table doen, en daar na een update, ik denk dat het sneller is simpeler is.

Maar het is ook minder veilig. Immers als je de table verkeerd aanpast kan je je backup gaan terugzetten.