[PHP] Timeouts door te grote tabel *

maandag 29 september 2003 14:31

Acties:

0 Henk 'm!

Topicstarter

Hi !

Ik ben mijn database aan het verhuizen naar een nieuwe host en dus ook nieuwe server.

Heb op de oude host de structuur en de data los van elkaar opgeslagen en via ftp op de nieuwe webserver gezet.

Mijn host importeert via SSH deze data in de nieuwe database.

Maar er is een probleem...

phpbb_search_wordmatch is zo ontzettend groot, dat we steeds timeouts krijgen.

Nu kan ik deze tabel apart backuppen en proberen te importeren maar waarschijnlijk gaat dat ook fout aangezien hij zo ontzettend groot is.
Dus kom ik die file aan het splitten. Hoe kan ik dat het beste doen ?

Of is er een andere goede oplossing ?

THANKS IN ADVANCE !!!

Hier had uw reclame kunnen staan.

maandag 29 september 2003 14:34

Acties:

0 Henk 'm!

Arnout

Als je via SSH met "mysql" een tabel importeert zou je niet snel timeouts moeten krijgen. Probeer met mysqldump in ieder geval de tabel apart te dumpen, en verfijn de dump opties waardoor je misschien de inserts kunt verkorten.

maandag 29 september 2003 14:34

Acties:

0 Henk 'm!

BasieP

je kan met phpmyadmin uploaden. dan kan je in php.ini een timeout tijd instellen

dit kan natuurlijk ook per file, in de php file die je wilt laden
http://nl2.php.net/manual/nl/function.set-time-limit.php

[ Voor 10% gewijzigd door BasieP op 29-09-2003 14:35 ]

This message was sent on 100% recyclable electrons.

maandag 29 september 2003 14:34

Acties:

0 Henk 'm!

justmental

my heart, the beat

Kun je dat niet met een nohup doen?

Who is John Galt?

maandag 29 september 2003 14:36

Acties:

0 Henk 'm!

curry684

left part of the evil twins

Eiríkr schreef op 29 September 2003 @ 14:31:
Hi !

[...]

THANKS IN ADVANCE !!!

Moet dat nu zo schreeuwerig?

Lees Algemene regels hoe je op het forum te gedragen (Netiquette) nog eens even door, d'r staat nogal letterlijk "groeten hoeft niet" en "EXCEPTIONEEL HOOFDLETTERGEBRUIK wordt niet op prijs gesteld".

Professionele website nodig?

maandag 29 september 2003 14:40

Acties:

0 Henk 'm!

ericafterdark

Topicstarter

MetHod schreef op 29 september 2003 @ 14:34:
Als je via SSH met "mysql" een tabel importeert zou je niet snel timeouts moeten krijgen. Probeer met mysqldump in ieder geval de tabel apart te dumpen, en verfijn de dump opties waardoor je misschien de inserts kunt verkorten.

Hij is echt huge, vandaar dat we timeouts krijgen.
phpmyadmin kan dat ook niet aan.

Hier had uw reclame kunnen staan.

maandag 29 september 2003 14:44

Acties:

0 Henk 'm!

Arnout

Ik denk dat je dit beter bij phpbb.com kunt neerleggen, zoals je al gedaan hebt. Die lui hebben d'r meer verstand van.

http://www.phpbb.com/phpBB/viewtopic.php?t=139880

maandag 29 september 2003 14:47

Acties:

0 Henk 'm!

BasieP

Eiríkr schreef op 29 September 2003 @ 14:40:
[...]

Hij is echt huge, vandaar dat we timeouts krijgen.
phpmyadmin kan dat ook niet aan.

mja lees de rest van me post ook even door.. (Tenzij je het niet WILT weten)

This message was sent on 100% recyclable electrons.

maandag 29 september 2003 14:50

Acties:

0 Henk 'm!

ericafterdark

Topicstarter

Het werkt niet met phpmyadmin en timeouts instellen, hadden we al geprobeerd. Ook niet met no hup.

Op phpbb.com krijg ik geen reactie, erg jammer.

Vervelend situatie

Hier had uw reclame kunnen staan.

maandag 29 september 2003 14:52

Acties:

0 Henk 'm!

BasieP

Eiríkr schreef op 29 September 2003 @ 14:50:
Het werkt niet met phpmyadmin en timeouts instellen, hadden we al geprobeerd. Ook niet met no hup.

Op phpbb.com krijg ik geen reactie, erg jammer.

Vervelend situatie

mja dan doe je iets fout hoor, ik heb ooit een database van 4MB op me 56k lijntje geupload zonder een timeout te krijgen..

This message was sent on 100% recyclable electrons.

maandag 29 september 2003 14:52

Acties:

0 Henk 'm!

D2k

als het zo groot is, zou je dan niet naar andere forumsoftware kijken? Ik merk nu ook dat phpbb k#t performt als je een beetje drukke site hebt

Doet iets met Cloud (MS/IBM)

maandag 29 september 2003 14:52

Acties:

0 Henk 'm!

Arnout

Om hoeveel gaat het? (records en tabelgrootte in MB)

maandag 29 september 2003 14:55

Acties:

0 Henk 'm!

xces

To got or not to got..

Het probleem heb ik ook gehad. Ik heb het als volgt opgelost:

1. maak dump.sql aan
2. upload de file naar je server
3. bewerk phpmyadmin php script wat de sql importeert zodanig dat je een file kunt opgeven op de server die hij moet importeren.
4. zet eventueel zo dat hij om de 100 query's ofzo een nieuwe set_time_limit doet, dan word de oude time limit overschreven en begint je script opnieuw.

Script heb ik niet meer liggen, maar ik hoop dat je wat ideetjes hebt nu

maandag 29 september 2003 15:13

Acties:

0 Henk 'm!

ericafterdark

Topicstarter

BasieP schreef op 29 September 2003 @ 14:52:
[...]

mja dan doe je iets fout hoor, ik heb ooit een database van 4MB op me 56k lijntje geupload zonder een timeout te krijgen..

We hebben het hier over een 280mb database ......

Hier had uw reclame kunnen staan.

maandag 29 september 2003 15:14

Acties:

0 Henk 'm!

ericafterdark

Topicstarter

MetHod schreef op 29 September 2003 @ 14:52:
Om hoeveel gaat het? (records en tabelgrootte in MB)

Totale database is ongeveer 280mb.
De tabel waar we het over hebben heeft miljoenen rijen en is de grootste tabel, meer als 100mb.

Hier had uw reclame kunnen staan.

dinsdag 30 september 2003 05:51

Acties:

0 Henk 'm!

nl2dav

Dat probleem heb ik ook gehad als ik het GZIPed wilde binnenhalen, wij hebben helaaz ook zo'n grote database.

Ik heb het 'opgelost' door het als giga textfile binnen te halen maar dan heb je wel een dikke lijn nodig anders ben je wel een tijdje bezig

Gewoon vanuit phpmyadmin dus maar zonder compressie.

dinsdag 30 september 2003 08:18

Acties:

0 Henk 'm!

Verwijderd

zeg bestaat die import niet gewoon uit sql?
Dan moet je je file ff openen in een editor en in stukken opslaan, daarna kun je deze
via phpMyAdmin of een dergelijk programma weer toevoegen.

dinsdag 30 september 2003 08:23

Acties:

0 Henk 'm!

chem

Reist de wereld rond

De enige reden waar je een timeout door kan krijgen via SSH, is dat de verbinding door een firewall of loadbalancer wordt gekilled as er niks gebeeurd.
Draai de mysql commandline in een screen, of via nohup, of druk elke 10, 20 seconden op enter na het geven van de query.

Klaar voor een nieuwe uitdaging.

Pagina: 1

Reageer

Onderwerpen