[PHP] Gegevens uit html/javascript extraheren

[Verwijderd]

Ik ben bezig om een deel uit een bepaald html document te rippen, een stukje gegevens dat zit verbogen in een javasscript.
Er staat een javascript functie in de header, en in de body wordt een aantal malen achter elkaar die functie aangeroepen.
Het ziet er ongeveer als volgt uit:

code:

blaat(45646,'blaat','mooooh!','hallo, is hier iemand?','<b>blaat<\/b>');

Het gaat erom dat er van alles in kan staan: getallen, strings en zelfs strings met HTML. Ook kunnen die strings komma's bevatten, maar een string begint en eindigt wel altijd met een enkele quote (')

Nu kan ik prima de juiste regel isoleren, en het "blaat(" en ");" eraf plukken, maar ik wilde nu die gegevens in een array douwen, dus heb ik explode() gebruikt, en de regel opgedeeld met behulp van die komma, maar omdat in sommige strings ook komma's staan gaat dat niet helemaal goed.
Is er een manier om toch al die gegevens netjes (en eventueel zonder quotes) in een array te proppen?

Er staan iedere keer evenveel gegevens in die functie.

PHP:

<?
  $fcontents = file('temp.html');
  while (list ($num, $line) = each ($fcontents)) {
    if (substr($line, 0, 5) == "blaat") {
      $data = explode(",", substr($line, 6, strlen($line) - 8));
      echo $data[0] . "<br />";
      echo $data[1] . "<br />";
      echo $data[2] . "<br />";
      echo $data[3] . "<br />";
      echo $data[4] . "<br />";
      echo $data[5] . "<br />";
      echo "<hr />";
    }
  } 
?>

Dit is wat ik er voorlopig van had gebakken, misschien niet helemaal handig, maar ja ik ben een php n00b

[Verwijderd]

Hmm ik geef deze nog even een ^^schop^^ want ik denk dat het toch niet erg moeilijk is, en het kan natuurlijk met 30 regels ofzo, maar dat is ook waarschijnlijk niet nodig

[D2k]

pff in een forlusje en addslashes eroverheen?
en dan stripslashes bij het uitlezen??

* D2k doet maar een gooi

[Verwijderd]

Maar als je dan op de komma's explode dan kont een string met komma's toch ook versnipperd in de array, of maak ik hier een kapitale denkfout?
Wat zou het bijvoorbeeld met het volgende doen?

blaat,'blah, blah',54773

Addslashes erover:

blaat,\'blah, blah\',54773

Exploden:

blaat, | \'blah | blah\' | 54773

Ja dat kan, en dan met een for loopje kijken waar de string begint en eindigt? Ik dacht dat het wel wat korter en handiger zou kunnen

[Verwijderd]

Is de vraag nou zo eenvoudig dat ik het makkelijk zelf kan vinden, of is de vraag zo moeilijk dat nietmand hem begrijpt, of ben ik zo onduidelijk dat niemand mij begrijpt?

[marcusk]

code:

$str = "blaat(45646,'blaat','mooooh!','hallo, \'is hier iemand?','<b>blaat<\/b>');";

$start = strpos($str, "(") + 1;
$eind = strrpos($str, ")");

$count = 0;
$quote = false;
$escape = false;

for ($i = $start; $i < $eind; $i++)
{
    $curchar = $str[$i];    
    
    if ($curchar == "'" && ! $escape) $quote = ! $quote;
    else if ($curchar == "\\") $escape = true;
    else if ($curchar == "," && ! $quote) $count++;
    else 
    {
      $data[$count] .= $curchar;    
      $escape = false;
    }   
}

print_r($data);

edit: heb ook nog ff escape toegevoegd (weet niet of je het nodig hebt, anders moet je 't maar weer weghalen )

[Verwijderd]

marcusk: bedankt voor je reply, maar ik was inmiddels toch zelf maar verder gaan knoeien, en voorlopig had ik er het volgende uit:

PHP:

<?
$fcontents = file('temp.html');
  while (list ($num, $input) = each ($fcontents)) {
    if (substr($input, 0, 7) == "message") {
      $input = substr($input, 8, strlen($input) - 12);
      $data = explode(",", $input);
      for ($i = 0; $i <= count($data) - 1; $i++) {
        if (substr($data[$i], 0, 1) == "'") {
          if (substr($data[$i], -1) != "'") {
            $data[$i] .= ",";
            $data[$i] .= $data[$i+1];
          }
          else {$output[] = $data[$i]; echo stripslashes($data[$i]) ;}
        }
        else {$output[] = $data[$i]; echo stripslashes($data[$i]) ;}
      }
      echo "<hr />";
    }
  } 
?>

De code is nog niet geoptimaliseerd, maar dat is nu even niet van belang

Ik probeer zoals je ziet de ge-explodeerde strings weer aan elkaar te lijmen, inclusief de komma die door explode verdwenen is. Die moet er dus weer tussen, en om de 1 of andere zeer domme reden lukt dat niet

Ziet iemand een bugje?

[marcusk]

Op zaterdag 27 oktober 2001 00:56 schreef Cheatah het volgende:

code:

if (substr($input, 0, 7) == "message") {

ik had al zo'n vermoeden dat het voor het parsen van GoT-topics was

de bug is dat je $data[$i] .= $data[$i+1]; doet, maar vervolgens gebruik je $data[$i] niet meer. als je $data[$i+1] = $data[$i] . "," . $data[$i+1]; gebruikt werkt het wel. Echter, als er meerdere komma's instaan niet meer (mijn functie lekker wel )

[Verwijderd]

Op zaterdag 27 oktober 2001 03:41 schreef marcusk het volgende:

[..]

ik had al zo'n vermoeden dat het voor het parsen van GoT-topics was

de bug is dat je $data[$i] .= $data[$i+1]; doet, maar vervolgens gebruik je $data[$i] niet meer. als je $data[$i+1] = $data[$i] . "," . $data[$i+1]; gebruikt werkt het wel. Echter, als er meerdere komma's instaan niet meer (mijn functie lekker wel )

Je hebt helemaal gelijk, eerst deed ik het wel goed, maar was ik de komma's vergeten
Ik had het later nog gewijzigd, maar daardoor pakte ik inderdaad de verkeerde string mee in die loop

Bedacht ik me ook toen ik gisteravond in bed lag 'te piekeren'
Maar je hebt helemaal gelijk hoor!

[edit]

PHP:

<?
$fcontents = file('temp.html');
  while (list ($num, $input) = each ($fcontents)) {
    if (substr($input, 0, 7) == "message") {
      $input = substr($input, 8, strlen($input) - 12);
      $data = explode(",", $input);
      for ($i = 0; $i <= count($data) - 1; $i++) {
        if (substr($data[$i], 0, 1) == "'") {
          if (substr($data[$i], -1) != "'") {
            $data[$i+1] = $data[$i] . "," . $data[$i+1];
          }
          else {$output[] = $data[$i]; echo stripslashes($data[$i]);}
        }
        else {$output[] = $data[$i]; echo stripslashes($data[$i]) ;}
      }
      echo "<hr />";
    }
  }
?>

Dit heb ik er trowens van gemaakt, en het werkt nu goed

[Explore]

Zit je de GoT Active Topics page te rippen?

[Verwijderd]

Op zaterdag 27 oktober 2001 13:34 schreef Explore het volgende:
Zit je de GoT Active Topics page te rippen?

Nee, de topics zelf, de inhoud dus.
De activetopics zijn al door ik dacht jelmervos geassimileerd
Alleen

PHP:

<?
$fcontents = file ('http://gathering.tweakers.net/forum/list_messages/302353/1?limit=25');
?>

wil niet erg lukken geloof ik .
Ik moet me echt meer in php gan verdiepen.

[Engineer]

$string = str_replace("\"","\\\",$string);

?

[Verwijderd]

Op zaterdag 27 oktober 2001 13:38 schreef hdd het volgende:
$string = str_replace("\"","\\\",$string);

?

Moet ik van die url iets escapen dan? Of heb je het over iets anderS?

[Engineer]

Op zaterdag 27 oktober 2001 13:45 schreef Cheatah het volgende:

[..]

Moet ik van die url iets escapen dan? Of heb je het over iets anderS?

Ow, voutje, het moet dit zijn:

PHP:

<?
$string = str_replace("\"","\\\"",$string);
?>

Dat doet automagisch een " vervangen door \"

Je kunt hem ook zo doen voor enkele quotes:

PHP:

<?
$string = str_replace("\'","\\\'",$string);
?>

[Verwijderd]

Op zaterdag 27 oktober 2001 13:47 schreef hdd het volgende:

[..]

Dat doet automagisch een " vervangen door \"

Het spijt me zeer maar ik bergijp niet helemaal waarvoor dat nodig is.

En BTW dat moet dan toch $string = str_replace("\"","\\\"",$string); zijn?

En daar heb je toch addslashes voor?

[Engineer]

Op zaterdag 27 oktober 2001 13:50 schreef Cheatah het volgende:

[..]

Het spijt me zeer maar ik bergijp niet helemaal waarvoor dat nodig is.

En BTW dat moet dan toch $string = str_replace("\"","\\\"",$string); zijn?

En daar heb je toch addslashes voor?

addslashes escaped alleen voor php,
dit doet voor php en de output voor naar je javascript

[Verwijderd]

Op zaterdag 27 oktober 2001 13:54 schreef hdd het volgende:

[..]

addslashes escaped alleen voor php,
dit doet voor php en de output voor naar je javascript

Hmmja maar alles werkt al naar behoren.
Het enige probleem is dat ik nu wel een als html opgeslagen pagina kan parsen, maar nog niet een php pagina die online staat.
Dus óf we hebben het allebei over iets anders, óf ik snap niet waar ik dat zou moeten gebruiken

[Engineer]

Ow, dat excapen voor je jsscript werkt al? damn

Maarre, ik kan met file() gewoon een link als http://gathering.tweakers.net/postreply.php/302353/1/999 openen

Als dat niet werkt, kun je mischien fopen gebruiken?
En als dat niet werkt ben ik ten einde raad

[Verwijderd]

Ja ik was vergeten dat ik alles met GoLive effe netjes op regels had gezet
Maar als je die pagina rauw opvraagt krijg je natuurlijk maar 1 lange regel
Aaargh maar ik kan nu tenminste weer verder, dus toch bedankt

[dream0r]

Toch nog ff he... eerst doe je addslashes() daarna doe je gewoon stripslashes() dan heb je de astring weer normaal.

GreetZ, SKizz

[Verwijderd]

Okay: nog een probleem.
Net toen ik dacht dat alles zou moeten werken krijg ik de hele tijd script timeouts, hij doet er langer dan 30 seconden over.

PHP:

<?
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<?php
    $fcontents = file('http://gathering.tweakers.net/forum/list_messages/302353/1?limit=25');
    for ($n = 0; $n < count($fcontents) - 1; $n++) {
    echo htmlspecialchars($fcontents[$n]) . "<hr />";
    $fcontents[$n] = substr($fcontents[$n], strpos($fcontents[$n], "message") + 8, strlen($fcontents[$n]) - strpos($fcontents[$n], "message") - 12);
        $temp = explode(",", $fcontents[$n]);
        $counter = 0;
        for ($i = 0; $i <= count($temp) - 1; $i++) {
            if (substr($temp[$i], 0, 1) == "'") {
                if (substr($temp[$i], -1) != "'") {
                    $temp[$i+1] = $temp[$i] . "," . $temp[$i+1];
                }
                else {
                    $data[$n][$counter] = substr($temp[$i], 1, strlen($temp[$i]) - 2);
                    $counter++;
                }
            }
            else {
                $data[$n][$counter] = $temp[$i];
                $counter++;
            }
        }
    }
?>
<html>

    <head>
        <meta http-equiv="content-type" content="text/html;charset=iso-8859-1">
        <title>Topic Parser</title>
        <link rel="stylesheet" type="text/css" href="main.css">
    </head>

    <body>
        <center>
            <?php    for ($i = 0; $i < count($data); $i++) : ?>
                <table class="post" style="background-color: <?php echo ($data[$i][9] == '0') ? '#f6f6f6' : '#e6e6e6' ?>;" cellpadding="0" cellspacing="0">
                    <tr>
                        <td class="user" rowspan="3">
                        </td>
                        <td class="postheader">
                        </td>
                    </tr>
                    <tr>
                        <td class="post">
                            <?php echo stripslashes($data[$i][8]) ?>
                        </td>
                    </tr>
                    <tr>
                        <td class="signature">
                            <?php echo stripslashes($data[$i][10]) ?>
                        </td>
                    </tr>
                </table>
            <?php    endfor; ?>
        </center>
    </body>

</html>
?>

Dit is het hele script voorlopig, maar ik zie niet waar het fout gaat. Bij een html met volgens mij exact dezelfde gegevens gaat het perfect en in een mum van tijd. Ook die file wordt wel binnengehaald, als ik hem niet parse en gewoon met htmlspecialchars uitprint krijg ik netjes de html source van een pagina.

Wat gaat hier mis?

[Verwijderd]

/me gaat later even coden hier plakken, eerst happen.

[marcusk]

als je

code:

for ($i = 0; $i <= count($temp) - 1; $i++) {

vervangt door

code:

$tempcount = count($temp);
for ($i = 0; $i < $tempcount; $i++)

werkt het wel. heeft misschien te maken met dat $temp een 2D array is

dit is trouwens wat efficienter (en leesbaarder) dan wat jij hebt:

code:

$len = strlen($fcontents[$n]);
$pos = strpos($fcontents[$n], "message");
$fcontents[$n] = substr($fcontents[$n], $pos + 8, $len - $pos - 12);

[Verwijderd]

Op Sunday 28 October 2001 02:15 schreef marcusk het volgende:
als je

code:

for ($i = 0; $i <= count($temp) - 1; $i++) {

vervangt door

code:

$tempcount = count($temp);
for ($i = 0; $i < $tempcount; $i++)

werkt het wel. heeft misschien te maken met dat $temp een 2D array is

Het werkt lokaal wel, maar niet via het internet. Dat vind ik dus wel vaagjes.

[marcusk]

Op Sunday 28 October 2001 02:16 schreef Cheatah het volgende:
Het werkt lokaal wel, maar niet via het internet. Dat vind ik dus wel vaagjes.

dat is inderdaad heel erg vaag !!

[tomato]

Op Sunday 28 October 2001 02:15 schreef marcusk het volgende:
als je

code:

for ($i = 0; $i <= count($temp) - 1; $i++) {

vervangt door

code:

$tempcount = count($temp);
for ($i = 0; $i < $tempcount; $i++)

werkt het wel. heeft misschien te maken met dat $temp een 2D array is

Nee, je wijzigt het aantal elementen van $temp binnen je for-lus.

[Verwijderd]

/me heeft nu een werkende versie van zo'n 10 regels Perl

Nog even verder spelen om te kijken of er simpel een XML versie van te maken is. (Hi, Martin! )

[Verwijderd]

Trouwens nog suggesties voor de XML versie zodat het zo'n logo waard wordt?

[Verwijderd]

Op Sunday 28 October 2001 09:53 schreef Arien het volgende:
Trouwens nog suggesties voor de XML versie zodat het zo'n logo waard wordt?

[afbeelding]

Whhaaah ik wil alleen maar m'n php parser aan het werk zien zodat ik die info netjes in een Array krijg.

En nou ga jij er met me code vandoor?
Ik wilde alleen wat tips zodat ink zelf wat meer php kan leren, dit was gn script request ;P

[Verwijderd]

Cheatah: Ik wil alleen maar m'n php parser aan het werk zien zodat ik die info netjes in een Array krijg.

Zover was ik al in mijn Perl versie, maar als ik toch bezig ben (ik heb al zo'n kleine 10 hele regels moeten typen ) ...

En nou ga jij er met me code vandoor?

Code lijkt er van geen kanten op. Een paar regexen doen bij mij het werk. (Echt? Ja echt. )

Ik wilde alleen wat tips zodat ink zelf wat meer php kan leren, dit was geen script request

Daarom ben ik ook niet moeilijk gaan doen met PHP.

[Verwijderd]

Op Sunday 28 October 2001 12:01 schreef Arien het volgende:

[..]

Zover was ik al in mijn Perl versie, maar als ik toch bezig ben (ik heb al zo'n kleine 10 hele regels moeten typen ) ...
[..]

Code lijkt er van geen kanten op. Een paar regexen doen bij mij het werk. (Echt? Ja echt. )
[..]

Daarom ben ik ook niet moeilijk gaan doen met PHP.

Ach die regexen leer ik binnenkort wel eens, ziet er veels te l33t uit

[The_Eternal]

Wat ik niet volg is dat iedereen met loopjes enzow gaat werken... hoezo niet gwoon een simpele regular expression.. waarschijnlijk stukken sneller.. en doet hetzelfde.. op maar een regel......

[marcusk]

Op Sunday 28 October 2001 11:55 schreef Cheatah het volgende:
Whhaaah ik wil alleen maar m'n php parser aan het werk zien zodat ik die info netjes in een Array krijg.

bij mij werkt ie nu perfect hoor (ook via internet).

PHP:

<?
    $fcontents = file('http://gathering.tweakers.net/forum/list_messages/302181/1?limit=40');
    
    for ($n = 0; $n < count($fcontents) - 1; $n++)
    {
        $len = strlen($fcontents[$n]);
        $pos = strpos($fcontents[$n], "message");
        $fcontents[$n] = substr($fcontents[$n], $pos + 8, $len - $pos - 12);

        $temp = explode(",", $fcontents[$n]);
        $counter = 0;
        
        $tempcount = count($temp);
        for ($i = 0; $i < $tempcount; $i++)
        {
            if (substr($temp[$i], 0, 1) == "'")
            {
                if (substr($temp[$i], -1) != "'")
                {
                    $temp[$i+1] = $temp[$i] . "," . $temp[$i+1];
                }                
                else
                {
                    $data[$n][$counter] = substr($temp[$i], 1, strlen($temp[$i]) - 2);
                    $counter++;
                }
            }
            else 
            {
                $data[$n][$counter] = $temp[$i];
                $counter++;
            }
        }
    }
?>

[tomato]

Op Sunday 28 October 2001 15:47 schreef marcusk het volgende:
bij mij werkt ie nu perfect hoor (ook via internet).
[_php]

Ook als er quotes ge-escaped mogen worden tussen de quotes?

Om Arien te pesten, hier een ranzige XML versie in PHP:

PHP:

<?
header("Content-type: text/xml\n\r");
echo "<?xml version=\"1.0\" encoding=\"ISO-8859-1\"?".">";

$lines = file("http://gathering.tweakers.net/forum/list_messages/302353/1?limit=25");
$text = implode("", $lines);

echo "<messages>";
preg_match_all("/message\\((('[^'\\\\]*(\\\\.[^'\\\\]*)*',?|[0-9]+,?)+)\\);/s", $text, $messages, PREG_SET_ORDER);

for ($i=0; $i<count($messages); $i++) {

    echo "<message>";
    preg_match_all("/('([^'\\\\]*(\\\\.[^'\\\\]*)*)'|([0-9]+))/s", $messages[$i][1], $fields, PREG_SET_ORDER);

    for ($j=0; $j<count($fields); $j++)
        echo "<field>".htmlspecialchars($fields[$j][2].$fields[$j][4])."</field>";

    echo "</message>";

}

echo "</messages>";
?>

Je kunt de opmaak nog wat mooier maken, door oa de 'usernodes' apart te nemen, de datum op te maken, ook topic informatie mee te nemen, etc, maar dat moet iemand anders maar doen (is nu niet moeilijk meer).De eerste regex is eigenlijk een beetje overkill, misschien dat ik het zo nog iets mooier maak.

[marcusk]

Op Sunday 28 October 2001 15:57 schreef tomato het volgende:
Ook als er quotes ge-escaped mogen worden tussen de quotes?

daar had ik dit voor geschreven (wat veel korter, en waarschijnlijk ook sneller is (vergeleken met cheatah's code dus)):

code:

$start = strpos($str, "(") + 1;
$eind = strrpos($str, ")");

$count = 0;
$quote = false;
$escape = false;

for ($i = $start; $i < $eind; $i++)
{
    $curchar = $str[$i];    
    
    if ($curchar == "'" && ! $escape) $quote = ! $quote;
    else if ($curchar == "\\") $escape = true;
    else if ($curchar == "," && ! $quote) $count++;
    else 
    {
      $data[$count] .= $curchar;    
      $escape = false;
    }   
}

maar hij wilde het zo nodig op zn eigen manier doen

[Verwijderd]

tomato: Om Arien te pesten, hier een ranzige XML versie in PHP: [yikes!]

Dat doet pijn aan mijn ogen! (Hij is ook wat minder betrouwbaar dan mijn snippet.)

Praat met Martin nog even over dit stukje:

code:

header("Content-type: text/xml\n\r");

[Verwijderd]

marcusk: Daar had ik dit voor geschreven [code]

Dat zit er bij mij ook al in.

[tomato]

Op maandag 29 oktober 2001 16:37 schreef Arien het volgende:
Dat doet pijn aan mijn ogen! (Hij is ook wat minder betrouwbaar dan mijn snippet.)

Het was ook maar een Quick Hack (tm)

Praat met Martin nog even over dit stukje:

code:

header("Content-type: text/xml\n\r");

Je doelt op de \n\r ->

[Verwijderd]

tomato: Het was ook maar een Quick Hack (tm)

Die van mij ook. Zal hem later wel posten.

Je doelt op de \n\r ->

Jup.

[tomato]

Op maandag 29 oktober 2001 16:37 schreef Arien het volgende:
Dat doet pijn aan mijn ogen!

Vooral bij die regexen vraag je je dan af waar je eigenlijk mee bezig bent buiten perl

[Verwijderd]

tomato: Vooral bij die regexen vraag je je dan af waar je eigenlijk mee bezig bent buiten perl

_{<offtopic>
Kom eens even babbelen...
</offtopic>}