[PHP] Error handling in While loop

[ericplan]

Mijn vraag
Een script maakt gebruik van een stukje code van Stackoverflow (beste antwoord)

code:

$row = 1;
if (($handle = fopen("test.csv", "r")) !== FALSE) {
  while (($data = fgetcsv($handle, 1000, ",")) !== FALSE) {
    $num = count($data);
    echo "<p> $num fields in line $row: <br /></p>\n";
    $row++;
    for ($c=0; $c < $num; $c++) {
        echo $data[$c] . "<br />\n";
    }
  }
  fclose($handle);
}

Helaas gaat de fgetcsv soms niet goed. (timingprobleem met een schrijfactie). Dat het gebeurt weet ik, maar ik wil dat op dat moment het script stopt met een nette errormelding. Op dit moment loopt het script gewoon door, alleen het doet verder niets nuttigs.

Relevante software en hardware die ik gebruik
PHP 7.3 bij een externe webhoster.

Wat ik al gevonden of geprobeerd heb
De normale oplossing is een "or die" mededeling toevoegen.

code:

while (($data = fgetcsv($handle, 1000, ",") or die ("error reading csv") !== FALSE) {

Dat geeft weliswaar de juiste melding als het initieel fout gaat, maar stopt ook het script als de file helemaal uitgelezen is. Kan ik het binnen deze manier netjes afvangen, of moet ik op zoek naar een andere oplossing? (Die zijn er, meerdere zelfs)
...

[ArisB]

Zit er veel data in je csv? Wellicht dat 1000 karakters niet voldoende is.
Je zou in de while loop het volgende kunnen doen voor de volgende iteratie.

code:

if (empty($num)) {
 continue;
}

of om af te breken

code:

if (empty($num)) {
 break;
}

Of denk ik dan te simpel?

[Groentjuh]

fgetcsv geeft FALSE wanneer er fouten optreden, inclusief wanneer "end of file" wordt bereikt. Enkel daarmee het verschil opmerken gaat moeilijk worden.

Met feof zou je het einde van het bestand kunnen detecteren en/of met filesize kijken of het bestand groter is geworden. Misschien dat dat dan wel weer meer timing issues oplevert, waarin feof het einde ziet en fgetcsv niet meer.

[ericplan]

Ik ga het stukje code opnieuw maken. Het timing probleem is niet de fgetcsv op de file zelf, maar een schrijfactie op deze file vanuit een andere job. Soms moet je even iets opschrijven om het probleem helder te krijgen. Dank voor het meedenken.

[DukeBox]

@ericplan Is dan flock niet handig om te doen ? Uiteraard moet de andere kant daar ook mee overweg kunnen.

[ericplan]

DukeBox schreef op dinsdag 30 april 2019 @ 13:21:
@ericplan Is dan flock niet handig om te doen ? Uiteraard moet de andere kant daar ook mee overweg kunnen.

De schrijfactie zorgt voor m'n brondata. Dat moet ongestoord verder, geen flock dus. Dat het script stopt is vervelend maar overkomelijk.
Mogelijkheden zijn verder beperkt omdat sinds PHP 7.3 LOAD DATA LOCAL INFILE vanwege security bij m'n webhoster niet meer beschikbaar is.

[RobIII]

Groentjuh schreef op dinsdag 30 april 2019 @ 12:49:

Met feof zou je het einde van het bestand kunnen detecteren en/of met filesize kijken of het bestand groter is geworden. Misschien dat dat dan wel weer meer timing issues oplevert, waarin feof het einde ziet en fgetcsv niet meer.

Dat lost zo goed als niets op (race conditions wittewel )

[ Voor 5% gewijzigd door RobIII op 30-04-2019 14:13 ]

[ericplan]

RobIII schreef op dinsdag 30 april 2019 @ 14:11:
[...]

Dat lost zo goed als niets op (race conditions wittewel )

Vandaar ook m'n oorspronkelijke vraag. Ik weet dat het gebeurt, twee cronjobs die als ze een minuut na elkaar lopen problemen geven, met twee minuten tussenpauze niet. De oorzaak zit helaas vastgebakken in firmware van een apparaat dat csv-logbestanden van een maand maakt. Morgen is het probleem weg, eind mei komt 't weer terug.

[NaliXL]

Moet je niet zoiets als dit hebben?:

code:

$row = 1;
if ($text = file_get_contents("test.csv")){
    $handle = fopen('data://text/plain,' . $text,'r');
    while (($data = fgetcsv($handle, 1000, ",")) !== FALSE) {
        $num = count($data);
        echo "<p> $num fields in line $row: <br /></p>\n";
        $row++;
        for ($c=0; $c < $num; $c++) {
            echo $data[$c] . "<br />\n";
        }
    }
    fclose($handle);
}

Dus alles in één keer inlezen in het geheugen en daarvandaan werken?

[ericplan]

NaliXL schreef op dinsdag 30 april 2019 @ 14:25:
Moet je niet zoiets als dit hebben?:

code:

$row = 1;
if ($text = file_get_contents("test.csv")){
    $handle = fopen('data://text/plain,' . $text,'r');
    while (($data = fgetcsv($handle, 1000, ",")) !== FALSE) {
        $num = count($data);
        echo "<p> $num fields in line $row: <br /></p>\n";
        $row++;
        for ($c=0; $c < $num; $c++) {
            echo $data[$c] . "<br />\n";
        }
    }
    fclose($handle);
}

Dus alles in één keer inlezen in het geheugen en daarvandaan werken?

Goede gedachte, ga ik mee aan de slag. Dan kan de foutafhandeling op de file_get_contents. Dat er dan met fgetcsv iets fout gaat is vrij onwaarschijnlijk.

[Groentjuh]

RobIII schreef op dinsdag 30 april 2019 @ 14:11:
[...]

Dat lost zo goed als niets op (race conditions wittewel )

Dat zeg ik in de post zelf ook. Bestanden lezen terwijl je ze nog schrijft is vrij problematisch.

[TeraMod]

ericplan schreef op dinsdag 30 april 2019 @ 14:00:
[...]

Mogelijkheden zijn verder beperkt omdat sinds PHP 7.3 LOAD DATA LOCAL INFILE vanwege security bij m'n webhoster niet meer beschikbaar is.

Dat had ik ook laatst tijdens het inlezen van een csv naar database, maar kreeg ik opgelost met PDO::MYSQL_ATTR_LOCAL_INFILE => true (locatie en syntax afhankelijk van je webapp). Wellicht heb je daarmee je gehele workaround niet (meer) nodig.

[ Voor 5% gewijzigd door TeraMod op 01-05-2019 12:29 . Reden: Linkje naar PHP documentatie toegevoegd ]

[DJMaze]

ericplan schreef op dinsdag 30 april 2019 @ 14:00:
Mogelijkheden zijn verder beperkt omdat sinds PHP 7.3 LOAD DATA LOCAL INFILE vanwege security bij m'n webhoster niet meer beschikbaar is.

Een SplTempFileObject al geprobeerd als je geheugen problemen hebt?

[ericplan]

@NaliXL Heb je stukje code inmiddels verwerkt, maar hoe zorg je in dit stukje nu voor een nette foutafhandeling? Dat was nl het oorspronkelijke probleem. Script liep keurig door, maar er gebeurde niets omdat fgetcsv vastliep. Dat wil ik een volgende keer graag kunnen zien.

DJMaze schreef op dinsdag 30 april 2019 @ 15:19:
Een SplTempFileObject al geprobeerd als je geheugen problemen hebt?

Geen geheugenprobleem, maar een timingprobleem door een trage schrijfactie.

[ Voor 36% gewijzigd door ericplan op 30-04-2019 23:47 ]

[NaliXL]

Gezien het feit dat de hele file in één keer in het geheugen wordt gelezen acht ik de kans klein, maar toch, uit de PHP documentatie:

On failure, file_get_contents() will return FALSE.

Dus dan krijg je zoiets als:

code:

$row = 1;
if ($text = file_get_contents("test.csv")){
    // doe iets ;-)
} else {
    throw new Exception('Lezen bestand is niet gelukt.');
}