MySQL + BLOB + PHP + Problemen

[Slagroom]

Hallo, ik heb dit script ($formfile is de file variabele).

PHP:

<?        $fp = fopen($formfile, "r");        while(!feof($fp)) {            $data .= fgets($fp, 4096);        }        $data = addslashes($data);        $date = date("Y-m-d");        $sql = "INSERT INTO files_adv VALUES('','" .$HTTP_POST_FILES['formfile']['name']. "','$data','','$user_cookie','$file_type','" .$HTTP_POST_FILES['formfile']['type']. "','$date','" .$HTTP_POST_FILES['formfile']['size'] . "','$file_version','$folder');";        mysql_query($sql) or die(mysql_error());?>

Wanneer ik een tekst bestandje upload is er niet aan de hand maar zodra ik een ZIP of een PSD bestandje upload gaat het mis en kan ik het bestand niet meer openen (Ik gebruik stripslaches bij het downloaden).

Nu denk ik dat het er iets mee te maken heeft dat tekst ASSCI is en PSD en ZIP e.d. Binary... hoe kan ik dit oplossen?

[vinnux]

Zo wiesi buiten het probleem dat het binair is komt er in zo een file wel eens een ' voor en ja als je dat in een querie zet betekent dat einde invoer.

dus ff addslashes()

[bartvb]

En, als het kan, sla aub je files gewoon op als file en duw het niet allemaal in je DB. RDBMS-es zijn daar niet echt voor gemaakt, je filesystem wel

[Slagroom]

Op vrijdag 15 maart 2002 17:02 schreef bartvb het volgende:
En, als het kan, sla aub je files gewoon op als file en duw het niet allemaal in je DB. RDBMS-es zijn daar niet echt voor gemaakt, je filesystem wel

Hmmmm daar vroeg ik niet om... ik weet ook wel dat een dbms niet super is om data in op te slaan... maar waarom niet trouwens? Gaat de snelheid naar beneden? Nooit wat van gemerkt tewijl ik hier een DB heb draaien met 3 gieg aan blob velden...

[Verwijderd]

hmm ik kon het artikeltje over filesystems/dbms nie zo snel vinden, maar een filesystem is normaal gesproken sneller dan een dbms omdat het minder hoeft te doen om een file terug te geven.

bovendien kun je nagaan dat je als je de data nu uitleest dat je met je stripslashes al een hoop tijd verdoet, ipv van het vanaf je HD te lezen.

het is volgens mij niet echt aan mij om de opmerking te plaatsen, maar het lijkt me alsof jij elke sql/php vraag die je tegenkomt meteen op got post. Bijna elke dag heb je wel een vraag erover:
[url="http://gathering.tweakers.net/forum/find/poster/27738]http://gathering.tweakers.net/forum/find/poster/27738[/url]

zoek je ook weleens wat?
(niet lullig bedoeld hoor, maar heb de indruk dat het beetje gemakzucht is)

[Grum]

jij zou toch beter moeten weten .. ze zoeken hier gewoon niet

[Slagroom]

Op zaterdag 16 maart 2002 18:32 schreef woeitje het volgende:
hmm ik kon het artikeltje over filesystems/dbms nie zo snel vinden, maar een filesystem is normaal gesproken sneller dan een dbms omdat het minder hoeft te doen om een file terug te geven.

bovendien kun je nagaan dat je als je de data nu uitleest dat je met je stripslashes al een hoop tijd verdoet, ipv van het vanaf je HD te lezen.

het is volgens mij niet echt aan mij om de opmerking te plaatsen, maar het lijkt me alsof jij elke sql/php vraag die je tegenkomt meteen op got post. Bijna elke dag heb je wel een vraag erover:
[url="http://gathering.tweakers.net/forum/find/poster/27738]http://gathering.tweakers.net/forum/find/poster/27738[/url]

zoek je ook weleens wat?
(niet lullig bedoeld hoor, maar heb de indruk dat het beetje gemakzucht is)

Snap ik, ja, ik zoek wel, ik moet toegeven, ik ben soms laks, maar lang niet altijd...

Ook niet lullig bedoelt... sinds dat er lightmods zijn, wordt er heel wat gekickt...

[TheMrH]

Op zaterdag 16 maart 2002 18:08 schreef Monstar.nl het volgende:
ik weet ook wel dat een dbms niet super is om data in op te slaan... maar waarom niet trouwens? Gaat de snelheid naar beneden? Nooit wat van gemerkt tewijl ik hier een DB heb draaien met 3 gieg aan blob velden...

Het punt is hem dat als het in de database staat en men vraagt een bestand op dan worden je DB en je http server belast. Staat dit bestand op schijf dan wordt alleen je http server belast. Als je een drukke db hebt merk je dit absoluut!. Beter is daarom een link naar je bestand op schijf in je db op te slaan.

I kweet niet of je het al doet, maar je kan de linkjes naar de bestanden in een aparte tabel zetten met een omschrijving erbij. Zo kan je meerdere verwijzingen naar hetzelfde bestand maken ipv dat je het bestand meerdere keren opslaat.

[Verwijderd]

Toch grappig dat bijvoorbeeld Exact E-Synergy WEL alles in de SQL 2000 database stopt, en volgens mij doet Sharepoint Portal Server dat ook voor een gedeelte.

En die zouden beter moeten weten, toch?

[Tim]

Het is toch wel ee longblob hè?
Blob wil nog wel eens ruimte gebrek hebben..

[Janoz]

Ik zou als ik jou was me toch ietsje meer verdiepen in het gebruik van slashes bij PHP...

Op zondag 17 maart 2002 10:50 schreef Systeemprutser het volgende:
Toch grappig dat bijvoorbeeld Exact E-Synergy WEL alles in de SQL 2000 database stopt, en volgens mij doet Sharepoint Portal Server dat ook voor een gedeelte.

En die zouden beter moeten weten, toch?

De enige reden om dit wel te doen is omdat de DB nog steeds de integriteit van de gegevens kan controleren. Waneer er een bestand los op de schijf staat en er in de db een lokatie staat, kan een gewone gebruiker dit bestand nog wel eens weggooien. In de DB is dat wat moelijker vanwege restricties die je er op kunt leggen..

Het heeft echter veel nadelen. Je bent eigenlijk een beetje dubbel bezig. Waneer je je bestanden in de DB zet ben je binnen de DB-bestanden, die door het eigenlijke filesysteem worden beheerd, een nieuw filesysteem aan het maken.

maw.. Zit je in een 'niet gecontroleerde omgeving', dan kun je je bestanden wel in de db zetten voor de veiligheid. Heb je zelf controle (zoals bij een website), dan gewoon als losse bestanden.

[Slagroom]

Op vrijdag 15 maart 2002 16:58 schreef vgouw het volgende:
Zo wiesi buiten het probleem dat het binair is komt er in zo een file wel eens een ' voor en ja als je dat in een querie zet betekent dat einde invoer.

dus ff addslashes()

Voor iedereen die over addslashes begon... als je het bericht had gelezen... dan zag je dat ik addslashes en stripslashes gebruik..............

[Slagroom]

Maar ik kan nog steeds geen binaire bestanden openen... het zijn trouwens longblob velden...

[Glimi]

Op zondag 17 maart 2002 13:11 schreef Janoz het volgende:
[knip]
Het heeft echter veel nadelen. Je bent eigenlijk een beetje dubbel bezig. Waneer je je bestanden in de DB zet ben je binnen de DB-bestanden, die door het eigenlijke filesysteem worden beheerd, een nieuw filesysteem aan het maken.
[/knip]

Sommige databases hebben dit nadeel niet meer. Zo wil Sybase het liefst zijn data op een RAWpartion hebben. Dit was geloof ik alleen voor de beveiliging van de data ( Sybase vertrouwt het FS niet, misschien ook logisch als je ziet dat win2k ook op FAT32 kan draaien ) Of de boel er sneller van wordt kan ik niet vertellen

[Slagroom]

Hmmmm beetje offtopic allemaal...

Trouwens, het is hier helemaal niet mogelijk om vragen te stellen over BLOBs... want bij elk topic beginnen ze over de efficiëcie te zaniken van het opslaan van bestanden in databases...

Dus daarom: [topic=442365/1/25]

[chem]

Op maandag 18 maart 2002 09:01 schreef Monstar.nl het volgende:
Hmmmm beetje offtopic allemaal...

Trouwens, het is hier helemaal niet mogelijk om vragen te stellen over BLOBs... want bij elk topic beginnen ze over de efficiëcie te zaniken van het opslaan van bestanden in databases...

Dus daarom: [topic=442365/1/25]

misschien is het wel een idee, dat BLOB velden domweg niet bedoeld zijn voor bestanden... in veel gevallen worden BLOB files buiten de db bewaard omdat de db anders absurd groot word.

Je kan wel hardnekkig bestanden in je DB willen blijven proppen, maar als vv. iedereen zegt dat dat GEEN goed idee is - zou je dan niet kunnen overwegen of dat wellicht een betere oplossing is?

[Slagroom]

Klopt, maar als je al die argumenten nou bij elkaar propt en je dan nog denkt dat BLOB beter is (Bijvoorbeel bij beveiliging of het tegen gaan van het gevaar van verwijderde bestanden waarvan de entry nog wel in de DB staan)... dan mag je toch wel vragen stellen?

[Slagroom]

Hopelijk krijg ik nu wel antwoord... ik heb 2 scripts upload.php en download.php:

upload.php

PHP:

<?    if($action == 'addfile') {        if(!empty($formfile_name)) {            if($file_type != 'aaaaaaaaaaaaa') {                if(file_exists($formfile)) {                    $fp = fopen($formfile, "r");                    while(!feof($fp)) {                        $data .= fgets($fp, 4096);                    }                    $data = addslashes($data);                    $name_of_file = $HTTP_POST_FILES['formfile']['name'];                }            } else {                $name_of_file = $formfile_name;                $file_version = '';            }        }        $date = date("Y-m-d");        $sql = "INSERT INTO files_adv VALUES('','" .$name_of_file. "','$data','','$user_cookie','$file_type','" .$HTTP_POST_FILES['formfile']['type']. "','$date','" .$HTTP_POST_FILES['formfile']['size'] . "','$file_version','$folder');";        mysql_query($sql) or die(mysql_error());        require("./modules/files/index.php");    }?>

download.php

PHP:

<?if(empty($user_cookie)) { header("Location: ./index.php"); die;}require "./includes/config.php";require "./includes/db_connect.php";$sql = "SELECT * FROM files_adv WHERE id = $download";$res = mysql_query($sql) or die(mysql_error());$out = mysql_fetch_array($res);header("Content-type: ".$out["file_mime_type"]);header("Content-Disposition: attachment; filename=".$out["file_name"]);echo stripslashes($out["file_data"]); mysql_free_result($res); mysql_close();?>

Dit is de tabel:

code:

CREATE TABLE files_adv (
  id int(11) NOT NULL auto_increment,
  file_name varchar(250) NOT NULL default '',
  file_data longblob NOT NULL,
  file_project int(11) NOT NULL default '0',
  file_owner int(11) NOT NULL default '0',
  file_type varchar(50) NOT NULL default '',
  file_mime_type varchar(150) NOT NULL default '',
  file_date varchar(20) NOT NULL default '',
  file_size bigint(20) NOT NULL default '0',
  file_version varchar(10) NOT NULL default '0',
  file_in int(11) NOT NULL default '0',
  PRIMARY KEY  (id)
)

En mijn vraag luidt:

Waarom kan ik wel ASSCI bestanden opslaan en openen maar niet binaire bestanden?

Wat gaat er mis en hoe zou ik het kunnen oplossen... willen jullie mij alstjeblieft willen helpen?

[Slagroom]

Het is dus de bedoeling dat ik allesoorten bestanden in en uit de database kan halen

[thomaske]

kicken na een uur is niet noodzakelijk hoor..

[Slagroom]

Op maandag 18 maart 2002 11:16 schreef thomaske het volgende:
kicken na een uur is niet noodzakelijk hoor..

sorry

[Verwijderd]

heb je al dingen uitgesloten waar het niet aan kan liggen dat het verkeerd gaat?

bestandsgrote, max_upload_size, methode van insert, slashes, quotes, etc ?

[Slagroom]

Op maandag 18 maart 2002 11:28 schreef woeitje het volgende:
heb je al dingen uitgesloten waar het niet aan kan liggen dat het verkeerd gaat?

bestandsgrote, max_upload_size, methode van insert, slashes, quotes, etc ?

{bestandsgrote, max_upload_size}
is het zelfde... en ik heb de grootte gecontroleerd... en de max upload size = 8Mb

{methode van insert, slashes, quotes}
Nou ja, dat zag je in de code... ik gebruik addslashes enzo...

[Verwijderd]

je gebruikt stripslashes bij het weergeven? zou daar heeeeeeeel misschien niet wat data verloren kunnen gaan?

[LuCarD]

Op maandag 18 maart 2002 11:53 schreef woeitje het volgende:
je gebruikt stripslashes bij het weergeven? zou daar heeeeeeeel misschien niet wat data verloren kunnen gaan?

Denk het niet.... aangezien hij eerst addslashes doet voordat hij hem het Databeest in gooit.

Misschien gaat hij niet goed het databeest in. Met andere woorden word hij niet goed ingelezen.

Je maakt gebruik van feof en fgets probeer dit eens

PHP:

<?$fp=fopen($formfile,"r");$data=fread($fp, filesize($formfile));fclose($fp);?>

[bartvb]

stripslashes is niet nodig op spullen die uit de DB komen, alleen voor dingen die je via GPC binnen krijgt als je magic_quotes aan hebt staan.

Vergelijk de output van je script eens met wat je er in duwt, of is dat weer te simpel gedacht van me

Zijn de files exact even groot en zo nee, wat zijn exact de verschillen?

[Verwijderd]

Op maandag 18 maart 2002 11:59 schreef LuCarD het volgende:
[..]
Denk het niet.... [...]

denk het wel

[Slagroom]

Op maandag 18 maart 2002 11:59 schreef LuCarD het volgende:

[..]

Denk het niet.... aangezien hij eerst addslashes doet voordat hij hem het Databeest in gooit.

Misschien gaat hij niet goed het databeest in. Met andere woorden word hij niet goed ingelezen.

Je maakt gebruik van feof en fgets probeer dit eens

PHP:

<?$fp=fopen($formfile,"r");$data=fread($fp, filesize($formfile));fclose($fp);?>

Die fopen en fread e.d. heb ik al geprobeert... nothing...

En als ik de addslashes en de stripslashes functie d'r uit sloop dan krijg ik error's omdat ie ' bevat (Magic quotes fout)

[Verwijderd]

Op maandag 18 maart 2002 12:19 schreef Monstar.nl het volgende:

[..]

Die fopen en fread e.d. heb ik al geprobeert... nothing...

En als ik de addslashes en de stripslashes functie d'r uit sloop dan krijg ik error's omdat ie ' bevat (Magic quotes fout)

en alleen de stripslashes ?

[Slagroom]

Hmmmm het maakt niet uit als magic_quotes nou op On of op Off staat... hij blijft een error geven (zonder addslashes)

deze namelijk:
You have an error in your SQL syntax near '©Ýgƒ)ùUöe7ÃÖKshÃqÆ$ðŸöÇ,½¢ôÓUaJ 9õb[+zQˆ%ÖMû£³j y @‹y¢…­tÒ-uÊ9Ý!_Û$Cž$' at line 11

[Verwijderd]

Op maandag 18 maart 2002 12:22 schreef Monstar.nl het volgende:
Hmmmm het maakt niet uit als magic_quotes nou op On of op Off staat... hij blijft een error geven (zonder addslashes)

deze namelijk:
You have an error in your SQL syntax near '©Ýgƒ)ùUöe7ÃÖKshÃqÆ$ðŸöÇ,½¢ôÓUaJ 9õb[+zQˆ%ÖMû£³j y @‹y¢…­tÒ-uÊ9Ý!_Û$Cž$' at line 11

MET addslashes ZONDER stripslashes!

[Slagroom]

Op maandag 18 maart 2002 12:22 schreef woeitje het volgende:

[..]

en alleen de stripslashes ?

Dan heb je allemaal overbodige slashes in het bestand staan...

[Slagroom]

Op maandag 18 maart 2002 12:24 schreef woeitje het volgende:

[..]

MET addslashes ZONDER stripslashes!

Ow ja, Zonder... en wanneer ik met doe kan ik het bestand niet downloaden...

[Slagroom]

Op maandag 18 maart 2002 12:22 schreef Monstar.nl het volgende:
Hmmmm het maakt niet uit als magic_quotes nou op On of op Off staat... hij blijft een error geven (zonder addslashes)

deze namelijk:
You have an error in your SQL syntax near '©Ýgƒ)ùUöe7ÃÖKshÃqÆ$ðŸöÇ,½¢ôÓUaJ 9õb[+zQˆ%ÖMû£³j y @‹y¢…­tÒ-uÊ9Ý!_Û$Cž$' at line 11

Dit is trouwens bij een insert...

[Verwijderd]

heb je het nu al eens geprobeerd met een addslashes bij de insert en ZONDER een stripslashes bij de download?

[ACM]

Op maandag 18 maart 2002 12:30 schreef Monstar.nl het volgende:
Dit is trouwens bij een insert...

Mja, zou dan wel es een kwestie van een www.php.net/mysql_escape_string kunnen zijn bij je insert (ipv addslashes), denk je niet?

[Slagroom]

Op maandag 18 maart 2002 12:34 schreef ACM het volgende:

[..]

Mja, zou dan wel es een kwesty van een www.php.net/mysql_escape_string kunnen zijn bij je insert (ipv addslashes), denk je niet?

Ik krijg hem er nu wel in zoder fout... alleen nu nog d'r uit halen

(Doet mysql_escape_string) trouwens niet hetzelfde als addslashes?

[ACM]

Op maandag 18 maart 2002 12:39 schreef Monstar.nl het volgende:
Ik krijg hem er nu wel in zoder fout... alleen nu nog d'r uit halen

Dat is simpel... Geen strip/addslashes gebruiken en direct afdrukken, dacht ik.

(Doet mysql_escape_string) trouwens niet hetzelfde als addslashes?

Euh, nee natuurlijk niet... Anders zou er niet een andere functie voor gemaakt zijn mysql_escape_string escaped alle tekens waar mysql evt last van kan krijgen...

[Slagroom]

Op maandag 18 maart 2002 12:40 schreef ACM het volgende:
Euh, nee natuurlijk niet... Anders zou er niet een andere functie voor gemaakt zijn mysql_escape_string escaped alle tekens waar mysql evt last van kan krijgen...

Koel, veel beter dus...

Maar hij doet nog niets...

Ik heb al gekeken op mysql.com en php.net maar is er ook zoiets als

mysql_unescape_string?

[ACM]

Op maandag 18 maart 2002 12:42 schreef Monstar.nl het volgende:
mysql_unescape_string?

Dat heb je helemaal niet nodig!
Dat gebeurt vanzelf al zodra de mysql-backend de data terug geeft.

De escaping van de string is alleen nodig bij het inserten omdat er dan niet ondubbelzinnig de betekenis van elke willekeurige character vast te leggen is.
Bij het ophalen van de data is dat wel ondubbelzinnig vastgelegd en dan hoef/mag/wil je dus _geen_ stripslashes etc meer doen...

Test het dan es simpelweg met een stuk tekst met allerlei '' en "" erin...

[Verwijderd]

Op maandag 18 maart 2002 12:45 schreef ACM het volgende:

[..]

Dat heb je helemaal niet nodig!

jah als ie gewoon gedaan heeft wat ik gezegd heb moet het gewoon werken...
maarja, schijnbaar ben ik niet duidelijk genoeg?

[Slagroom]

Hmmm het maakt niezoveel uit welke je gebruikt, tenminste, volgens deze meneer:

If you're wondering what's the difference between mysql_escape_string() and
AddSlashes(), I found this from looking at the source code of MySQL
3.23.32 and PHP 4.0.6:

- mysql_escape_string calls MySQL's library function of the same name,
which prepends slashes to the following characters: NUL (\x00), \n, \r, \,
', " and \x1a.

- AddSlashes escapes NUL, ', " and \.

While mysql_escape_string seems safer, my experience shows that escaping
strings with AddSlashes (which is also done automatically if
magic_quotes_gpc is on) is sufficient, so it seems you can pick whichever
you wish.

[Slagroom]

Op maandag 18 maart 2002 12:48 schreef woeitje het volgende:

[..]

jah als ie gewoon gedaan heeft wat ik gezegd heb moet het gewoon werken...
maarja, schijnbaar ben ik niet duidelijk genoeg?

Deze bedoel je?

Op maandag 18 maart 2002 12:32 schreef woeitje het volgende:
heb je het nu al eens geprobeerd met een addslashes bij de insert en ZONDER een stripslashes bij de download?

Dan kan ik het bestand niet openen....

[Slagroom]

HUH?

Hoe kan dat nou?

Als ik een bestand download van 1,9 mb download ie maar 864 kb?

[Slagroom]

Hij stopt dus maximaal 800k in de blob...

[edit] Waar vindt ik de config bestanden van mysql?

[LuCarD]

/etc/my.cnf

Meestal ...

[bigtree]

Het is niet gezegd dat hij 'maar' 800K in de blob stopt (volgens de MySQL specs kunnen er maar 65K bytes in een blob, 4GB in een longblob). Kijk dus eerst even hoe veel er echt in je database zit.

[Slagroom]

Op maandag 18 maart 2002 13:33 schreef LuCarD het volgende:
/etc/my.cnf

Meestal ...

Kun je daar ook een soort van maximale upload groote instellen? Ik heb al max_allowed_packet aangepast... weet niet als dat wel de goede is... (mysqld opnieuw opgestart..)

[Slagroom]

Op maandag 18 maart 2002 13:45 schreef bigtree het volgende:
Het is niet gezegd dat hij 'maar' 800K in de blob stopt (volgens de MySQL specs kunnen er maar 65K bytes in een blob, 4GB in een longblob). Kijk dus eerst even hoe veel er echt in je database zit.

Van de 1,9M zit er maar 864K in de db... heb ik gecontroleert met deze query:

code:

SELECT file_data FROM files_adv WHERE id = 3 INTO OUTFILE '/home/ezeloor/temp/bestand.zip';

[LuCarD]

Misschien staat er iets in je user variablen?

query:
show variables

En kijk naar deze waarde:
query_buffer_size

Zie http://www.mysql.com/doc/S/H/SHOW_VARIABLES.html voor meer info

[bigtree]

Dan is het welicht een instelling van PHP. Zoek naar "post_max_size" en "upload_max_filesize" in je php.ini. En kopieer het geuploade bestandje even naar een andere directory, dan weet je hoe groot het is na een post.

[Slagroom]

Op maandag 18 maart 2002 13:57 schreef LuCarD het volgende:
Misschien staat er iets in je user variablen?

query:
show variables

En kijk naar deze waarde:
query_buffer_size

Zie http://www.mysql.com/doc/S/H/SHOW_VARIABLES.html voor meer info

Hmmmm... ik heb alle max sizes geupdated naar 8M... nog niks...

[LuCarD]

Zijn ze ook werkelijk door gevoerd? maw zie je ze terug in show variables?

[Slagroom]

Op maandag 18 maart 2002 14:12 schreef LuCarD het volgende:
Zijn ze ook werkelijk door gevoerd? maw zie je ze terug in show variables?

Yep... nog steeds niets... trouwens... wanneer ik een bestandje upload van 21K krijgt ie wel 21K binnen alleen kan ie het bestand nog steeds niet lezen... 2 problemen dus...

[Slagroom]

met een ereg_replace is het ook niet opgelost...

[Slagroom]

Ha, ik kan nu alles!

Ik heb fgets vervangen door fread in de while loop! En hij doet het! Jongen en Meisjes, Geef mij even een schouder klopje!

[Verwijderd]

Op maandag 18 maart 2002 15:36 schreef Monstar.nl het volgende:
Jongen en Meisjes, Geef mij even een schouder klopje!

ja inderdaad er lopen hier meer meisjes rond dan jongens

* klop klop