[php?] Benchmark topic

[ACM]

Ik deed net (voor eigen gebruik) een serie echo-benchmarks...

Bij deze de source/tests+resultaten:
php4.0.6 (op een 2xp3-800, zat ram, hoge belasting)
php4.1.2: (op een 2x athlon1200, zat ram, redelijke belasting)

Graag niet te veel discussie, maar mocht je andere nuttige tests/benchmarks weten plaats die hier dan ook

[SchizoDuckie]

Erhmm... Misschien ook een goed idee om er even duidelijk bij te zetten wát je precies aan het testen bent ? *hint*

[ACM]

Op zondag 10 maart 2002 22:35 schreef papa_eend het volgende:
Erhmm... Misschien ook een goed idee om er even duidelijk bij te zetten wát je precies aan het testen bent ? *hint*

Zo duidelijker?

[WouZz]

okay, iterressant testonderwerp
Maar nu eens met (veel) langere tekst dan 'tekst'

/edit:
Als je testdoel was om te kijken hoe je het snelst een variabele print, wat volgens mij zo was , kijk dan eens hoe het gaat met een langere string.. Nu meet je zeg maar 'oneerlijk': Behalve dat je op verschillende manieren een variabele print, doe je ook nog andere dingen zoals switchen tussen php en html mode en strings aan elkaar plakken (.) Als je nu een grotere 'tekst' neemt wordt de tijd die wordt besteed aan 'andere dingen'dan de variabele zoeken/printen relatief kleiner en zo krijg je dus betere testresultaten...

Bdw, ik heb laatst nog een dergelijk topic uit de search gevist, zal em ff zoeken..

[ACM]

Op zondag 10 maart 2002 22:54 schreef WouZz het volgende:
Maar nu eens met (veel) langere tekst dan 'tekst'

Bekijk de source dan
Zijn teksten van 7x(64+strlen($test)) tekens...

[D2k]

niet echt php
maar wel een leuke benchmark

code:

test verslag
query1:
    $query="
        SELECT 
            id,
            topicid,
            userid,
            text,
            timestamp 
        from 
            forum_posts
    ";
query2:
    $query="
        SELECT 
            *
        from 
            forum_posts
    ";
    
aantal herhalingen:
25

uitgevoerd op www.happyfun.nl
aantal records: 6100

rest code:
    $result=mysql_query($query);
    while ($item = mysql_fetch_row($result))
    {
        //print_r($item);
        //echo "<br>";
    }   

resultaat: (3x ter referentie en vergelijk)

q1: 24.997175 21.859552 18.958795 |gemiddeld: 21.9385
q2: 35.081239 32.112438 31.418007 |gemiddeld: 32.9705

conclusie:
op 25 x 6100  records een verschil van  11.58 seconden!!!!!

[WouZz]

Shame on me.. vond een dergelijke actie eigenlijk al niet bij jou passen )

Maar zelf gebruik ik voornamelijk de 'tekst' . $var . ' constructie.. maar die is bij jou dus een van de langzaamste in tegenstelling tot eerdere tests die ik heb gezien waar het tegenovergestelde uit bleek.. dat die het snelste was.. Dus vandaar dat ik iets te snel door de bocht ging denk ik..

[LuCarD]

Op zondag 10 maart 2002 22:30 schreef ACM het volgende:
Ik deed net (voor eigen gebruik) een serie echo-benchmarks...

Bij deze de source/tests+resultaten:
php4.0.6 (op een 2xp3-800, zat ram, hoge belasting)
php4.1.2: (op een 2x athlon1200, zat ram, redelijke belasting)

Graag niet te veel discussie, maar mocht je andere nuttige tests/benchmarks weten plaats die hier dan ook

Je bent er nog een vergeten....

PHP:

<?echo "tekst",$var; // Komma schijnt sneller te zijn aangezien echo geen // functie is maar... (was iets anders.. ben alleen // vergeten wat :)?>

[ACM]

Op zondag 10 maart 2002 23:07 schreef WouZz het volgende:

Btw, met een langere $test ziet het er vergelijkbaar uit...

Op zondag 10 maart 2002 23:11 schreef LuCarD het volgende:
Je bent er nog een vergeten....

PHP:

<?echo "tekst",$var; ?>

Toegevoegd, is idd een erg snelle

[Grum]

http://erik.powerdns.com/got/test.php
Apache/1.3.20 (Unix) DAV/1.0.2 PHP/4.0.6

http://erik.powerdns.com/got/test2.php
Apache/1.3.22 (Unix) PHP/4.1.1

Bakinfo:

code:

$ cat /proc/cpuinfo |egrep 'model name|cpu MHz' ; w | grep load
model name  : Pentium III (Coppermine)
cpu MHz    : 871.044
 11:14pm  up 8 days, 20:20,  3 users,  load average: 0.00, 0.00, 0.00

[WouZz]

Op zondag 10 maart 2002 23:14 schreef ACM het volgende:

[..]

Btw, met een langere $test ziet het er vergelijkbaar uit...

Hmmz, okay Toch vaag.. in dit topic zijn de resultaten precies omgekeerd : Single quotes sneller dan double?!?

_{Bdw, als het teveel 'discussie' wordt open ik wel een nieuw topic ofzo}

[ACM]

Op zondag 10 maart 2002 23:23 schreef WouZz het volgende:

[..]

Hmmz, okay Toch vaag.. in dit topic zijn de resultaten precies omgekeerd : Single quotes sneller dan double?!?

_{Bdw, als het teveel 'discussie' wordt open ik wel een nieuw topic ofzo}

Ach laat die discussie maar zitten, hoef je niet perse een ander voor te openen

Maar wel vaag dat daar zo'n groot verschil uit rolt...
En bij mij helemaal niet

[WouZz]

Volgens mij ligt het aan die loop, zoals ook in dat andere topic al wordt gesuggereerd... PHP is blijkbaar op een of andere manier zo slim om een bepaald gedeelte van de loop body niet 1000 keer helemaal te opnieuw te parsen.. blijkbaar is er een soort van 'caching'...

[Orphix]

Op zondag 10 maart 2002 23:27 schreef ACM het volgende:

[..]

Ach laat die discussie maar zitten, hoef je niet perse een ander voor te openen

Maar wel vaag dat daar zo'n groot verschil uit rolt...
En bij mij helemaal niet

Hehe ja ik sta ook niet in voor de test-integriteit hoor

Ik zocht eigenlijk naar dit topic maar ik kon 'm zelf niet meer vinden

Maar het maakt wel degelijk verschil of het aantal substituties meer of minder wordt, maar dit is met een beetje logica ook wel te bedenken. Of een string langer of korter is maakt (relatief gezien) niet zoveel uit.

[ACM]

Op zondag 10 maart 2002 23:44 schreef WouZz het volgende:
blijkbaar is er een soort van 'caching'...

Als je een betere manier weet...

Magoed, theoretisch is dat juist in het voordeel van php dat ie zoiets doet

[RdeTuinman]

Op zondag 10 maart 2002 23:05 schreef D2k iets over een benchmark met (My)SQL

Ik voelde hem aankomen

_{D2k heeft deze benchmark uitgevoerd om zijn gelijk te bewijzen tov zijn klasgenoten}

[LuCarD]

http://phpxpath.sourceforge.net/benchmark/phpBench.php

Deze is al een keer eerder langs geweest maar blijft interresant....

[WouZz]

Op zondag 10 maart 2002 23:52 schreef ACM het volgende:

[..]

Als je een betere manier weet...

Ik ben op het moment bezig een test aan het maken met een 100kb string...

Alleen homesite hangt nu geloof ik op de replace " with \"
Hmmz... net klaar: 573 replacements..

[tomato]

ACM: Als je een betere manier weet...

Magoed, theoretisch is dat juist in het voordeel van php dat ie zoiets doet

Misschien als je iets binnen een eval() zet, dan wordt het voor PHP al een stuk moeilijker om het te optimaliseren.

[WouZz]

Goed, bij deze hoop ik alle vooroordelen over quotes vs doublequotes vs php escapen uit de wereld te helpen:

Check this out!

Deze benchmark werkt dus niet met loops maar met een 100kb string..

Na 2 uur klooien met die 100kb string, wachten op homesite die die 600kb file af en toe ook niet trok en daarna ook nog alles een beetje opvrolijken voor de geïteresseerde lezer zijn de resultaten volgens mij overduidelijk:

echo 'string'.$var.'string' is ~16x sneller dan echo "string $var string"!!

en echo "string" is het snelst boven escapen naar Non-PHP mode en echo 'string'...

Persoonlijk dacht ik echter altijd dat echo 'string' het snelst zou zijn omdat hier per definitie geen variabelen in geparsed hoeven te worden en er hoeft ook niet geswitched te worden van php naar non-php modus... Weer wat geleerd

Morgen zet ik er nog wel een echo "tekst",$var bij en mischien ook nog wat van die leuke streepjes zoals bij ACM... Maar nu eerst slapie doen

[LuCarD]

Op maandag 11 maart 2002 02:14 schreef WouZz het volgende:
Goed, bij deze hoop ik alle vooroordelen over quotes vs doublequotes vs php escapen uit de wereld te helpen:

Check this out!

Deze benchmark werkt dus niet met loops maar met een 100kb string..

Na 2 uur klooien met die 100kb string, wachten op homesite die die 600kb file af en toe ook niet trok en daarna ook nog alles een beetje opvrolijken voor de geïteresseerde lezer zijn de resultaten volgens mij overduidelijk:

echo 'string'.$var.'string' is ~16x sneller dan echo "string $var string"!!

en echo "string" is het snelst boven escapen naar Non-PHP mode en echo 'string'...

Persoonlijk dacht ik echter altijd dat echo 'string' het snelst zou zijn omdat hier per definitie geen variabelen in geparsed hoeven te worden en er hoeft ook niet geswitched te worden van php naar non-php modus... Weer wat geleerd

Morgen zet ik er nog wel een echo "tekst",$var bij en mischien ook nog wat van die leuke streepjes zoals bij ACM... Maar nu eerst slapie doen

nette test.... Nu nog voor print en printf

[ACM]

Op maandag 11 maart 2002 02:14 schreef WouZz het volgende:

http://vulcanus.its.tudelft.nl/~acm2/test/bench/longtext.php

Lol, bij mij scheelt het veel minder

Sterker nog, echo 'substring'.$var.'substring' is elke refresh bij mij trager dan echo "substring $var substring"
Dusseuhm, nee je hebt niet eens en voor altijd...

Ow en test de methode 'tekst',$var,'tekst' ook nog even, en natuurlijk "tekst{$var}tekst"

[edit]
En in php4.1.2 is het helemaal niet meer waar:
http://gathering.tweakers.net/~acm/test/test.php

[chem]

voor mensen die ECHT willen benchmarken, en hun eigen server hebben:
http://sourceforge.net/projects/php-dyn/

Hiermee kan je *per regel* kijken hoeveel tijd het koste. Alles word naar een log file weggeschreven, dus dit wil je niet op een productieserver hebben

Je moet de .so ff compilen en dan ipv de zend_optimizer deze plugin aanwijzen in je php.ini (zie de readme)...

[D2k]

Op zondag 10 maart 2002 23:53 schreef RdeTuinman het volgende:
Ik voelde hem aankomen

_{D2k heeft deze benchmark uitgevoerd om zijn gelijk te bewijzen tov zijn klasgenoten}

don't you hate it when he's right??

[Verwijderd]

Op maandag 11 maart 2002 14:17 schreef D2k het volgende:

[..]

don't you hate it when he's right??

Wij als klasgenoten worden idd soms erg moe van D2k

[Johannes]

Op maandag 11 maart 2002 02:14 schreef WouZz het volgende:
Persoonlijk dacht ik echter altijd dat echo 'string' het snelst zou zijn omdat hier per definitie geen variabelen in geparsed hoeven te worden en er hoeft ook niet geswitched te worden van php naar non-php modus... Weer wat geleerd

Er is helemaal geen geswitch tussen php en non-php modus. De afhandeling van de tekst die niet tussen <?php ?> tags staat is namelijk op precies hetzelfde niveau geïmplementeerd als 'echo'. Ik kan nu even niet de exacte post terugvinden(de thread was op devshed, die is nu down), maar één van de developers van PHP had gepost dat er geen verschil was.

[WouZz]

Op maandag 11 maart 2002 10:04 schreef ACM het volgende:

[..]

http://vulcanus.its.tudelft.nl/~acm2/test/bench/longtext.php

Lol, bij mij scheelt het veel minder

Sterker nog, echo 'substring'.$var.'substring' is elke refresh bij mij trager dan echo "substring $var substring"
Dusseuhm, nee je hebt niet eens en voor altijd...

Ow en test de methode 'tekst',$var,'tekst' ook nog even, en natuurlijk "tekst{$var}tekst"

[edit]
En in php4.1.2 is het helemaal niet meer waar:
http://gathering.tweakers.net/~acm/test/test.php

Bwaaah!!! Dit gaat echt tegen al mijn rationalisaties over de interne werking van PHP in... Dacht ik het eindelijk bewezen te hebben, is het op een andere server/versie weer helemaal anders.. In plaats van meer duidelijkheid is het nu alleen nog maar onduidelijker..

Time for more benchmarks!!

Ik ben de halve middag bezig geweest met het verbeteren van mn vorige test: Nu met printresult function, procent weergave en 'streepjes' En het belangrijkste: meer tests!!

• PHP echo test v1.1
• PHP print test
• En als klapperrr op de vuurpijl: PHP echo/print test

Als er mensen zijn die deze benchmarks ook ff op hun server willen zetten, graag!! Testresultaten verschillen om een of andere reden nogal per systeem... Misschien dat we daar wat meer duidelijkheid over kunnen krijgen..

[Johannes]

Op maandag 11 maart 2002 15:18 schreef Johannes het volgende:

[..]

Er is helemaal geen geswitch tussen php en non-php modus. De afhandeling van de tekst die niet tussen <?php ?> tags staat is namelijk op precies hetzelfde niveau geïmplementeerd als 'echo'. Ik kan nu even niet de exacte post terugvinden(de thread was op devshed, die is nu down), maar één van de developers van PHP had gepost dat er geen verschil was.

Post van Zeev teruggevonden:
http://marc.theaimsgroup.com/?l=php-dev&m=100432227027089&w=2

[Johannes]

Op maandag 11 maart 2002 20:40 schreef WouZz het volgende:
[list]
• PHP echo test v1.1
• PHP print test
• En als klapperrr op de vuurpijl: PHP echo/print test

Sorry hoor, maar ik vraag me af hoe dit kan kloppen:
print test:
print 'string' - 0.000613
print "string" - 0.000855
Dit klopt nog wel, maar bij de echo/print test is het andersom?
print 'string' - 0.000614
print "string" - 0.000408
Dat vind ik vind wel een beetje raar, aangezien ik er van uitga dat je bij de gecombineerde code gewoon dezelfde tests hebt gebruikt.

[WouZz]

Op dinsdag 12 maart 2002 09:43 schreef Johannes het volgende:

[..]

Post van Zeev teruggevonden:
http://marc.theaimsgroup.com/?l=php-dev&m=100432227027089&w=2

Ah, okay.. En toch is een gewone print of echo sneller in mijn bench..

Op dinsdag 12 maart 2002 09:50 schreef Johannes het volgende:

[..]

Sorry hoor, maar ik vraag me af hoe dit kan kloppen:
print test:
print 'string' - 0.000613
print "string" - 0.000855
Dit klopt nog wel, maar bij de echo/print test is het andersom?
print 'string' - 0.000614
print "string" - 0.000408
Dat vind ik vind wel een beetje raar, aangezien ik er van uitga dat je bij de gecombineerde code gewoon dezelfde tests hebt gebruikt.

Jah, dat viel mij ook al op...:? Zowiezo zitten er toch tijdverschillen tussen de verschillende manieren.. maar tussen verschillende systemen zijn de resultaten ook weer heel erg verschillend.. Als je bv hier kijkt..

[..]

http://vulcanus.its.tudelft.nl/~acm2/test/bench/longtext.php

http://gathering.tweakers.net/~acm/test/test.php

.. dan zie je nauwlijks verschil tussen de verschillende methoden. En als ACM (of iemand anders) nou ff dat nieuwe script upload kunnen we ook zien hoe echo/print zich tot elkaar verhoud op die servers..
En ja, ik gebruik overal dezelfde string/test.. gewoon echo gereplaced door print en de echo test met meerdere argumenten er uit gehaald (print accepteert maar één argument) En als je het niet gelooft, check de source (2MB) maar..

[TangLeFuzZ]

Kan het niet zijn dat de snelheid van bepaalde methodes afhangt van je PHP instellingen oid?

Het is mij iig niet meer duidelijk wat nou het snelst is

[ACM]

Je nieuwste testsources vindt mijn php niet zo geschikt geloof ik

Gaat er iig op onderuit met de memlimit, ik zal kijken of ik die nog wat beter kan compileren.

Op got:
http://gathering.tweakers.net/~acm/test/echotest.php
http://gathering.tweakers.net/~acm/test/printtest.php
http://gathering.tweakers.net/~acm/test/echo-printtest.php

Weer erg bijzondere resultaten

[edit]
Ook hier hele bijzondere resultaten:
http://vulcanus.its.tudelft.nl/~acm2/test/bench/echotest.php
http://vulcanus.its.tudelft.nl/~acm2/test/bench/printtest.php
http://vulcanus.its.tudelft.nl/~acm2/test/bench/echo-printtest.php

[djc]

Ik heb een 42k string 100 keer geprint (mbv een for-loop) met alle combinaties van echo, print ", en ', en dit zijn mijn resultaten. (3 runs elk).

code:

echo  ' 0,44208204 0,50533807 0,50786793
echo  " 0,53548801 0,62344396 0,62562406
print ' 0,51718998 0,59622895 0,60942995
print " 0,42585504 0,42972195 1,01104998

Bij die laatste run is er waarschijnlijk wat mis gegaan, een of ander proces op mijn PC (trouwens een Athlon 1G/256).

[WouZz]

Op woensdag 13 maart 2002 13:35 schreef TangLeFuzZ het volgende:
Het is mij iig niet meer duidelijk wat nou het snelst is

Hehe, ik weet het ook niet meer helemaal Maar volgens mij is over het algemeen de echo met meerdere argumenten het snelst.. Maar echo "substring", $var, "substring" is meestal net weer een tikje sneller dan echo 'substring', $var, 'substring'...
Maar op de GoT server met PHP 4.1.2 is de 'gewone' echo "substring $var substring" weer de nummer 1 (hoewel dit niet veel scheelt met de echo met meerdere argumenten)..

[WouZz]

Op woensdag 13 maart 2002 13:52 schreef ACM het volgende:
Je nieuwste testsources vindt mijn php niet zo geschikt geloof ik

Gaat er iig op onderuit met de memlimit, ik zal kijken of ik die nog wat beter kan compileren.

Hehe, bij mij loopt ie op localhost onderaan (van af te PHP escape tests) ook helemaal vol.. tot wel 0.39 sec

Bdw, als je gewoon een string wil afdrukken dan is volgens mij print 'string' over het algemeen het snelst.. Dus vanaf nu gaat iedereen print en echo door elkaar gebruiken..

[TangLeFuzZ]

Hier vond ik ook nog een stukje waarin ze beweren dat inline tags het snelst werken:

4.2.2 Use Inline Tags Instead of echo

The PHP interpreter gets invoked once for each page. Whatever is not contained in PHP tags like is just echoed back out by the interpreter.

As a result it is faster to use lots of little in-line tags than it is to build massive strings or use echo statements.

Let's use the timing functions we developed above to run a quick test.

<h2>Test Inline Tags vs echo</h2>

<p>

<?php ss_timing_start('echo'); ?>
<?php
for ($i=0; $i<1000; $i++) {
echo $i."<br>";
}
?>
<?php ss_timing_stop('echo'); ?>

<p>

<?php ss_timing_start(str); ?>
<?php
$str = '';
for ($i=0; $i<1000; $i++) {
$str .= $i."<br>";
}
echo $str;
?>
<?php ss_timing_stop(str); ?>

<p>
<?php ss_timing_start(inline); ?>
<?php
for ($i=0; $i<1000; $i++) {
?>
123<br>
<?php
}
?>
<?php ss_timing_stop(inline); ?>

<p>
<br>

<h2>Results</h2>

echo - <?php echo ss_timing_current('echo') ?>

<p>

str - <?php echo ss_timing_current(str) ?>

<p>

inline - <?php echo ss_timing_current(inline) ?>

The results of this test averaged out to be:

echo - 0.063347 secs
str - 0.083996 secs
inline - 0.035276 secs

We can see that inline is clearly the fastest technique. But, when we consider that we only save 0.03 milliseconds each time we use it, the method you use to echo your values is pretty much irrelevant. A moral victory at best

Edit: lijkt me ook wel logisch, want ze gebruiken niet eens een variabele...pff!

[WouZz]

Op donderdag 14 maart 2002 09:42 schreef TangLeFuzZ het volgende:
Hier vond ik ook nog een stukje waarin ze beweren dat inline tags het snelst werken:
[..]

Let wel op dat dit een artikel van 10 Maart 2000 is en op PHP3 gebaseerd is.. De eerste officiële 4.0.0 release was namelijk pas op 22 Mei 2000 en in het artikel kennen ze de functies include_once() en require_once() ook nog niet..

Edit: lijkt me ook wel logisch, want ze gebruiken niet eens een variabele...pff!

Dat staat idd. ook in de Reader's Comments onderaan het artikel..

[LuCarD]

Op woensdag 13 maart 2002 13:52 schreef ACM het volgende:
Interresant stukje

Zou je de source in zip of tar.gz kunnen plaatsen(liefst tar.gz)? Dan zal ik hem ook op aantal servers publiceren.

Nog een verzoek:

PHP:

<?printf("substring %s substring", $var);?>

[ACM]

Op donderdag 14 maart 2002 13:00 schreef LuCarD het volgende:
Zou je de source in zip of tar.gz kunnen plaatsen(liefst tar.gz)? Dan zal ik hem ook op aantal servers publiceren.

Nog een verzoek:

PHP:

<?printf("substring %s substring", $var);?>

printf() toegevoegd:
http://vulcanus.its.tudelft.nl/~acm2/test/bench/print.php
http://gathering.tweakers.net/~acm/test/print.php
En
De sources:
http://vulcanus.its.tudelft.nl/~acm2/test/bench/bench.tar.gz

[LuCarD]

http://24.132.53.61/got/index.php

hmmmm deze server is al redelijk gestressed En dat is te merken ook....

Script heb ik nu een flink aantal keren laten draaien. En ik heb het laten gemiddelde berekenen

[WouZz]

Goed, ik heb mn scripts weer ff bijgewerkt
Print-tests nu met printf() en resultaten worden nu gesorteerd op snelheid..

Nog maar ff een keer voor de duidelijkheid:
Echo test
Print test
Echo/print test

De sources zijn hier gezipped te vinden.. (sorry, op het moment geen beschikking over tar)