[MySQL/PHPMyAdmin]

[Joske Pauwels]

Hey!
Ik zit met een vrij banaal probleem: ik heb een erg groot PhpBB forum bij mijn oude host staan, en ben recentelijk overgestapt naar een nieuwe host.
Ik probeer nu het forum uit de MySQL database te exporteren, maar meerbepaald de tabel posts_text is gewoon te groot, en ik krijg een time out bij het exporteren. Ook de export functie in PHPBB zelf heeft hetzelfde probleem.

Probleem is dat de host blijkabaar enkel PhpMyAdmin aanbiedt. Weten jullie strategiën om die database er toch nog uit te krijgen? Rechtstreeks connecten met de database server gaat niet van buitenaf spijtig genoeg...
Bestaan er bvb tools die een grote tabel in stukjes inlezen en dan de SQL code ervan terug genereren?

Thanks!

[WimB]

Je kan aan je oude host een "backup" vragen van je database.

[djluc]

Schrijf een klein scriptje met daarin een SQL:
SELECT * FROM tabel LIMIT $_GET['start']-100, 100
//verstuur de rijen
header($PHP_SELF?start=$_GET['start']+100)

[bigtree]

Joske Pauwels schreef op 20 januari 2004 @ 23:00:Bestaan er bvb tools die een grote tabel in stukjes inlezen en dan de SQL code ervan terug genereren?

phpMyAdmin kan dat gewoon. Zie het tabblad 'export'.

[Grijze Vos]

je kunt gewoon de complete source downloaden, gezipt en al, in phpmyadmin.

[Joske Pauwels]

Grijze Vos schreef op 20 januari 2004 @ 23:14:
je kunt gewoon de complete source downloaden, gezipt en al, in phpmyadmin.

Dat weet ik, maar het is dus die functie die steeds een time-out geeft omdat de database te gigantisch is...

[MadMurdock]

Hm t probleem zou kunnen zitten in de time-out van php, in dat geval helpt phpmyadmin dus ook niet echt. Kan je ook niet met ssh ofzo inloggen op de server van je oude host en daarvandaan met mysqldump een dump maken van die database op de mysql-server?
Of zit er soms een controlpanel bij, waarmee je zoiets kan doen?

[Sosabowski]

phpMyAdmin:
-selecteer een DB
-selecteer een table
-klik op exporteer.

hier kan je precies vertellen van en tot welke rij jij wilt exporteren. Op deze manier kan je dus de zooi in stukjes opdelen.

Je mag kiezen voor txt, zip of gzip.

Wat wil je nog meer?

[Verwijderd]

Ik heb dit probleem idd ook wel eens gehad. Als je een tabel hebt van een paar MB > dan zul je tegen een ordinaire http timeout aanlopen. Ik zou dit ook met een scriptje oplossen zoals al eerder in dit topic gezegd.

Je kunt ook aan je hostingprovider vragen of ze een backup voor je maken. Als je van hun een SQL script krijgt, heb je nog steeds hetzelfde probleem, aangezien je het ook allemaal nog moet importen. Als ze een backup geven (in de vorm van een zipje, tar.gz ofzo) van je fysieke database bestanden (die in de data dir van de MySQL server staan daar), kun je aan je nieuwe hosting vragen of ze de tabellen ff uitpakken in jou DB data directory op hun server.

Dus mogelijke oplossing (volgens 6-Pack ):

1. Vraag om fysieke database bestanden backup en nieuwe hosting vragen of zit die in jou DB willen uitpakken.
2. PHP script schrijven die alles overpompt.

* Die Zip, Bzip functionaliteit heb ik nog nooit ergens zien werk? *

Veel succes

[We Are Borg]

IorGie schreef op 21 januari 2004 @ 00:13:
phpMyAdmin:
-selecteer een DB
-selecteer een table
-klik op exporteer.

hier kan je precies vertellen van en tot welke rij jij wilt exporteren. Op deze manier kan je dus de zooi in stukjes opdelen.

Je mag kiezen voor txt, zip of gzip.

Wat wil je nog meer?

Wat hij nog meer wilt (of eigelijk liever niet) is een time-out. Dat krijgt hij met jouw manier. Is ook 2 keer gemeld . Kortom, als jij hem kan vertellen hoe hij de time-out voorkomt....

[Banpei]

Heb je zelf de toegang tot de scripting phpMyAdmin? Indien dit het geval is kun je natuurlijk zelf de timeout omhoog gooien. Anders zelf een export scriptje schrijven.

[Verwijderd]

Banpei schreef op 21 januari 2004 @ 09:51:
Heb je zelf de toegang tot de scripting phpMyAdmin? Indien dit het geval is kun je natuurlijk zelf de timeout omhoog gooien. Anders zelf een export scriptje schrijven.

Hoogst waarschijnlijk is dit een HTTP timeout. Dit is alleen in te stellen in de configuratie van de webserver (als .htaccess hebt kun je dit misschien zelf omhoog gooien ?).

[_Sunnyboy_]

We Are Borg schreef op 21 januari 2004 @ 09:28:
[...]


Wat hij nog meer wilt (of eigelijk liever niet) is een time-out. Dat krijgt hij met jouw manier. Is ook 2 keer gemeld . Kortom, als jij hem kan vertellen hoe hij de time-out voorkomt....

Als je de boel in stukjes opdeelt krijg nou juist geen timeouts. Ik geef toe dat het bij een grote db best wat werk gaat worden.

Je kan zoals voorgesteld de host vragen om een backup. Wil hij dat niet dan kan je dit ook nog proberen.

Schrijf een klein scriptje dat je in de GET parameters de tabelnaam en beginrij aantal rijen kan meegeven. Zorg dat dit scriptje een csv-file op de server maakt met deze rijen, en vervolgens html teruggeeft met de status (rij x tm y van z rijen gexporteerd naar bestand). Zet daar een META refresh in naar zichzelf, maar dan vanaf startrij+aantal rijen en dit script loopt zo de hele aangegeven tabel door en bakt een stel csv bestanden.

Doordat je na het uitvoeren output naar je browser geeft en het script automatisch opnieuw laadt met nieuwe parameters zal je op deze manier geen timeout krijgen (tenzij je te veel rijen in 1 csv probeert te proppen.

[Lentje]

Verwijderd schreef op 21 januari 2004 @ 09:20:
Ik heb dit probleem idd ook wel eens gehad. Als je een tabel hebt van een paar MB > dan zul je tegen een ordinaire http timeout aanlopen. Ik zou dit ook met een scriptje oplossen zoals al eerder in dit topic gezegd.

Je kunt ook aan je hostingprovider vragen of ze een backup voor je maken. Als je van hun een SQL script krijgt, heb je nog steeds hetzelfde probleem, aangezien je het ook allemaal nog moet importen. Als ze een backup geven (in de vorm van een zipje, tar.gz ofzo) van je fysieke database bestanden (die in de data dir van de MySQL server staan daar), kun je aan je nieuwe hosting vragen of ze de tabellen ff uitpakken in jou DB data directory op hun server.

Dus mogelijke oplossing (volgens 6-Pack ):

1. Vraag om fysieke database bestanden backup en nieuwe hosting vragen of zit die in jou DB willen uitpakken.
2. PHP script schrijven die alles overpompt.

* Die Zip, Bzip functionaliteit heb ik nog nooit ergens zien werk? *

Veel succes

Volgens mij kan je het makkelijk importeren als je eenmaal een dump hebt.

Ik heb van een huidig groot forum op ms sql dbase gewoon een enorme csv file gemaakt. Toen die csv file naar de server geupload met ftp. Toen kon ik daarna met phpmyadmin de file importeren door de path op te geven en 'DATA LOCAL' te selecteren, werkte perfect

[Verwijderd]

Lentje schreef op 21 januari 2004 @ 11:32:
[...]


Volgens mij kan je het makkelijk importeren als je eenmaal een dump hebt.

Ik heb van een huidig groot forum op ms sql dbase gewoon een enorme csv file gemaakt. Toen die csv file naar de server geupload met ftp. Toen kon ik daarna met phpmyadmin de file importeren door de path op te geven en 'DATA LOCAL' te selecteren, werkte perfect

Hoe dit importeren in zijn werk gaat als het om CSV gaat, weet ik niet. Mijn ervaring met SQL dumps met tabellen van een paar MB (8 of 9 MB) is ronduit slecht. Zeker als je vanaf een client zit te werken die niet uberveel geheugen heeft.

De topicposter zou kunnen proberen om de structuur met een SQL dump te doen en de data met CSV?

[Verwijderd]

Joske Pauwels schreef op 20 januari 2004 @ 23:00:
ik krijg een time out bij het exporteren. Ook de export functie in PHPBB zelf heeft hetzelfde probleem.

Ik wil maar vast zeggen dat je zometeen bij het terugzetten nog VEEL meer problemen zult krijgen.

Het beste kan je zelf een upload/download scriptje maken, en daar de time-out flink omhoog schroeven.

De upload moet je wel netjes regel voor regel doen, anders krijg je straks weer memory-allocation errors (je kunt vermoedelijk maar 8M alloceren, en met phpMyAdmin zijn die snel vol!)

Zie de php-manual, (www.php.net) mysql-sectie voor de functies (connect, query) De instellingen voor je verbinding haal je uit config.inc.php van PhpMyAdmin.

De time-out zet je met:
ini_set('max_execution_time', 300);
op bv. 5 minuten.

Je http timeout staat over het algemeen zo ingesteld dat zolang er data heen-en-weer gaat de boel wel on-line blijft.

[Joske Pauwels]

IorGie schreef op 21 januari 2004 @ 00:13:
phpMyAdmin:
-selecteer een DB
-selecteer een table
-klik op exporteer.

hier kan je precies vertellen van en tot welke rij jij wilt exporteren. Op deze manier kan je dus de zooi in stukjes opdelen.

Je mag kiezen voor txt, zip of gzip.

Wat wil je nog meer?

Ik denk dat er verschillende PHPMyAdmin versies zijn. Bij mijn oude host is die optie voor regels te keizen er nl. niet, terwijl de PHPMyAdmin van de nieuwe veel meer opties biedt.

Het idee van het scriptje is idd wel goed, maar het vraagt tijd, debugging, etc en ik heb momenteel niet zoveel tijd. Ik ga dus eerst de oude host proberen contacteren om een backup te sturen, en als dat niet gaat is het script een noodoplossing...

[Speedener]

kan je vanaf buiten de server de mysql server benaderen?

probeer dan eens mysqlfront, lekker proggie om mysql mee te benaderen vanaf thuis

[ Voor 19% gewijzigd door Speedener op 22-01-2004 21:50 ]

[Gomez12]

Speedener : Zei hij al, nee dus.

Joske : phpmyadmin heeft geen bijzondere functies die niet na te bouwen zijn, stel op je nieuwe host alles in met knopjes etc. laat hem het dan uitvoeren en dan zie je bovenin de sql query zoals phpmyadmin die heeft uitgevoerd, voer deze query in bij je oude host et voila het resultaat zou hetzelfde moeten zijn.

[Spider.007]

Kun je hier iets mee?

quote: http://www.mysql.com/portal/software/item-352.html

Whit this tool you can synchronice a MySQL database between your Client Database an a Webserver Database without an ODBC Connection between your Client and your Webserver.

Many providers don't allow ODBC-Conections to thait MySQL Web Databases, because they have several risks. With this tool you only need FTP-Access and php-Access to your webserver.

[Joske Pauwels]

Spider.007 schreef op 22 januari 2004 @ 22:47:
Kun je hier iets mee?


[...]

Tnx, die ga ik zeker onderzoeken!

Ivm mijn probleem: het is blijkbaar opgelost!
De host heeft teruggemaild, en ze hebben een nieuwe versie van PHPMy Admin geïnstalleerd. Deze heeft o.a. de functie om de rows te kiezen bij het exporteren, maar dat was zelfs niet nodig, want het gewoon exporteren van de hele database (zelfs niet enkel die tabel) ging nu moeiteloos...

Dus: oude PHPMyAdmin versie die problemen gaf.
Tnx voor alle tips!