Server laten 'multitasken'?

[kipppertje]

Hallo mensen,

Ik ben bezig met een applicatie waarbij de eindgebruiker op een centrale plaats kan zoeken op verschillende marktplaatsen (denk aan Marktplaats, Speurders etc.) tegelijk. Hiervoor moet ik dus broncode inlezen van verschillende sites. Ik neem aan dat de server het script van boven na beneden af gaat, en pas verder gaat wanneer de vorige taak is voltooid. Elke site zal even nodig hebben om de data naar mijn server te zenden. Dit is op zich geen punt, maar 10x 'even' kan al snel een vertraging van een paar seconden opleveren, reken daar bij het verzenden van de complete pagina naar de eindgebruiker, en de applicatie zal behoorlijk traag worden (toch?)

Mijn vraag is, kan ik die scripts ook tegelijk opvragen, multitasken dus? En zo ja, hoe kan ik dat het best doen?

[Avalaxy]

Dat zou moeten kunnen met cronjobs lijkt mij

[Juup]

kipppertje schreef op vrijdag 21 mei 2010 @ 22:05:
Ik neem aan dat de server het script van boven na beneden af gaat...

Ehh... in welke taal ben je dit aan het schrijven?
Hoe ziet de code er nu uit?

Avalaxy schreef op vrijdag 21 mei 2010 @ 22:07:
Dat zou moeten kunnen met cronjobs lijkt mij

Ga je die sites elke nacht crawlen of ga je per request de sites af?

[ Voor 30% gewijzigd door Juup op 21-05-2010 22:13 ]

[ymoona]

Je kan in een script een taak forken met &. voorbeeld
Vertel eens iets meer over je server omgeving en je programmeer taal.

[Matis]

Ik denk dat je dit het beste met AJAX kunt oplossen.

Eventueel via een redirect vanaf jouw site.

Op die manier worden alle sites asynchroon geladen. Hierdoor krijgt de gebruiker de indruk dat de site hard aan het werk is voor hem.

Wanneer een gebruiker te lang moet wachten op feedback, dan surft hij gewoon verder.

[kipppertje]

Ik zat zelf te denken aan om de applicatie te programmeren in PHP, omdat ik dit de enige taal is die ik redelijk beheers. Overigens, als jullie denken dat het beter met een andere taal kan, dan sta ik daar ook voor open (ik ben nog jong )
Ik gebruik nu gewoon file_get_contents($site); om de broncode op te halen.
De serveromgeving staat in principe niet vast, omdat ik nog niet definitief een hoster heb gekozen. Wat raden jullie aan?
De applicatie gaat trouwens per request af.

[Soultaker]

Wat voor serverside application framework gebruik je? Er staat wel leuk PHP in de tags, maar dat is vziw nergens genoemd?

Je hebt zelf al bedacht dat je meerdere procedures in parallel wil uitvoeren. Dan zijn er twee mogelijkheden. Je kunt het parallellisme aan de client kant introduceren, door zoals Matis suggereert vanuit Javascript meerdere requests te doen (eentje voor elke site bijvoorbeeld). Het voordeel daarvan is dat het eenvoudig te programmeren is, maar de client moet meerdere requests doen, en je moet de resultaten ook clientside weer samenvoegen.

Als je gewoon een complete HTML pagina met alle resultaten wil serveren ontkom je er niet aan om het parallellisme te introduceren in de server. Als je de cURL library gebruikt voor HTTP requests naar de externe servers (bijvoorbeeld vanuit PHP) dan is dit relatief eenvoudig te regelen door gebruik te maken van een multi handle waarmee je meerdere requests tegelijk kunt laten afhandelen.

[kipppertje]

Soultaker schreef op vrijdag 21 mei 2010 @ 22:29:
Wat voor serverside application framework gebruik je? Er staat wel leuk PHP in de tags, maar dat is vziw nergens genoemd?

Ehm.. Ik denk gewoon PHP? Ik heb niet helemaal helder wat het precies inhoudt.

Ik denk dat de eerste optie langzamer is dan de tweede toch?
Maar wat is het verschil precies tussen 'forken' wat ymooma noemt en de cURL libary?

[Creepy]

Aangezien we het hier meer over een implementatie hebben toch even een tikje voor naar Programming.

Heb je al eens gezocht wat forken is? Dan zie je vrij snel wat het verschil is t.o.v. curl aanroepen met specifieke parameters. Overigens kan je niet forken vanuit PHP als je PHP via Apache laat uitvoeren. Alleen als je PHP standalone draait (via de shell, via een crontab etc) kan het wel.

[ Voor 59% gewijzigd door Creepy op 21-05-2010 22:53 ]

[djluc]

Wat je vaak ziet is dat de bezoeker na de zoekactie naar een pagina wordt gestuurd /request/13848 Die pagina vraagt eens in de zoveel seconden of de data voor deze zoekactie al beschikbaar is. Zodra dat is ga je naar results/13848 waar je dan het resultaat ziet. Het resultaat verwijderd je eventueel weer na een bepaalde tijd met een cron. Op die manier is het proces van zoeken totaal los van de views van de gebruikers.

Het eens in de zoveel tijd kijken of er al resultaat is kan je eenvoudig met ajax achtige oplossingen doen. Al geeft die pagina maar simpelweg 1 of 0 terug.

[Verwijderd]

kipppertje schreef op vrijdag 21 mei 2010 @ 22:50:
[...]


Ehm.. Ik denk gewoon PHP? Ik heb niet helemaal helder wat het precies inhoudt.

Ik denk dat de eerste optie langzamer is dan de tweede toch?
Maar wat is het verschil precies tussen 'forken' wat ymooma noemt en de cURL libary?

When found at the end of a Unix shell command, the ampersand indicates that the indicated command is to be processed in the background. Two ampersands means that the next command should only be evaluated if the current one exits with a zero status.

Bron: Wikipedia: Ampersand

Hij wil door middel van bijvoorbeeld wget een paar keer in de achtergrond uitvoeren, alle requests tegelijk laten uitvoeren. Voorbeeld (werkt ALLEEN onder linux/bsd/... + lelijke code!):

PHP:

<?php
shell_exec("nohup wget -O /var/www/marktplaats.txt http://marktplaats.nl/zoeken?q=test 2> /dev/null & echo $!");
shell_exec("nohup wget -O /var/www/speurders.txt http://speurders.nl/zoeken?q=test 2> /dev/null & echo $!");

$websites = array(0 => 'marktplaats', 1=> 'speurders');
$out = array();

$timestart = time();

while (count($websites) > 0) {
foreach ($websites as $i => $website) {
if (file_exists('/var/www/' . $website . '.txt')) {
$out[$i] = file_get_contents('/var/www/' . $website . '.txt');
unset($websites[$i]);
}
}
usleep(300);

if ($timestart+30 > time()) {
// skip to results...
}
}

// results

Javascript methode is makkelijker en minder belastend voor de server denk ik. Bezoekers krijgen ook sneller de resultaten te zien.

[kipppertje]

Als ik het goed begrijp is dat forken de opdracht op de achtergrond uit laten voeren is (en eventueel het script alvast door laten gaan), en cURL meerdere links tegelijk aanroepen? Dan kan ik als ik het goed begrijp het best van cURL gebruik maken, omdat de rest van het programma niet verder kan zonder die broncode toch?

@ Creepy: ik had verwacht dat er veel meer op hardware-niveau moest gebeuren, vandaar

[FragFrog]

Matis schreef op vrijdag 21 mei 2010 @ 22:15:
Ik denk dat je dit het beste met AJAX kunt oplossen.

Eventueel via een redirect vanaf jouw site.

Eensch. Als je middels AJAX de search request doorstuurt naar een script op jou server en per externe partij een AJAX request doet heb je een hele simpele manier om asynchroon data op te halen. Kun je er zelf voor kiezen of je de parsing clientside wilt doen (ergo, javascript, al zou je nog naar flash / silverlight kunnen kijken hiervoor) of serverside en dus de resultaten netjes geparsed teruggeeft aan de client.

Voordeel van alles client-side doen is dat je erg weinig load op je eigen server hebt en het in theorie het snelste werkt. Voordeel van serverside is dat (voor mij in elk geval) parsen wat simpeler is (en als je afspraken maakt met die externe partijen zou je ook nog SOAP bijvoorbeeld kunnen gebruiken in plaats van domweg crawlen, bespaart je veel gezeur op den duur) en je bovendien requests kan cachen - bijvoorbeeld een search voor een bepaald object kun je prima een uurtje bewaren, als er net veel vraag naar is kan alles gewoon direct vanaf je lokale server gehaald worden wat een stuk sneller is dan wachten op een dozijn externe partijen.

Nadeel van dit zo serverside doen is uiteraard dat er een extra HTTP request te verwerken valt per externe partij per zoekopdracht, al zou dat niet een heel groot probleem moeten zijn - ik gebruik iets dergelijks voor een simpele caching AJAX-proxy (details), voeg daar wat parsing aan toe en client side handling en je bent er al zowat

Curl_multi_init heb ik zelf geen ervaring mee maar zou in theorie nog net wat efficienter moeten zijn, mits de multithreading tenminste goed werkt. Voor zover ik weet is dit nog niet bepaald het geval (zo zie ik ook een sleep in de voorbeeldcode op php.net, vaak geen goed teken) maar ik kan het mis hebben - gebruik zelf altijd JAVA als ik m'n server moet laten multithreaden

[ Voor 9% gewijzigd door FragFrog op 21-05-2010 23:39 ]

[Verwijderd]

Hoe ik het zou doen is ongeveer wat al eerder gezegt is: ik zou een PHP script maken dat van 1 van de sites het ophaalt. En die met AJAX allemaal aanroepen.

Half offtopic: Ik heb dit eerder willen doen(speurders en marktplaats etc., overal zoeken) toen die sites erover gemailed of dat mocht. En dat mocht dus niet ^^

[RaZ]

Op http://wieowie.nl/ zie je een mooi voorbeeld hoe ze met AJAX werken.

Diverse ping-sites voor blogs werken ook op die manier: http://www.pingoat.com/

[ Voor 36% gewijzigd door RaZ op 22-05-2010 00:42 ]

[CH4OS]

Matis schreef op vrijdag 21 mei 2010 @ 22:15:
Ik denk dat je dit het beste met AJAX kunt oplossen.

Zou ook mijn gedachte zijn, al moet je (imo) AJAX niet gaan gebruiken voor dingen als dit. Hierdoor verplicht je de bezoeker een (vrij) recente browser te gebruiken en ook nog eens dat Javascript aan moet staan. Als het de bedoeling is, dat de site toegankelijk moet zijn voor letterlijk iedereen, dan is AJAX niet de 'way to go' imo.

AJAX is een handige tool op zich, maar niet voor dit soort dingen. Denk dan eerder aan loginforms of grafische effecten en zo...
Stel je zou het dan via AJAX gaan doen, dan kan je alleen meerdere requests tegelijk doen. Als de webserver dan ook nog eea moet parsen, dan zit je wel dat je je server met een hogere load (per verzoek) opzadelt, wat mij ook weer niet de bedoeling lijkt.

[ Voor 18% gewijzigd door CH4OS op 22-05-2010 01:03 ]

[Tharulerz]

Ajax afschieten omdat je een moderne browser moet hebben werkte misschien 5 jaar geleden, maar nu kan elke browser overweg met AJAX hoor (sommige blokkeren ajax cross domain al zelfs terug ).

Enkel IE6 zal nog problemen hebben, maar dat noem ik geen browser...

[Room42]

Wat Tharulerz zegt, en anders maak je voor de niet-javascripters toch een lineaire fall-back erachter, zonder multi-tasking.

[Verwijderd]

Wat ook heel leuk is om te doen is het in GWT(Google Web Toolkit) maken. Dan programmeer je wel niet in PHP, maar dan heb je naar mijn idee wel een behoorlijk goede performance. Ik heb iig al een soort multithreaded iets daarmee gemaakt(een pagination module die alvast "omliggende" pagina's inlaad, zodat browsen wat sneller wordt )

[Room42]

Maar deed ie dat ook echt simultaan, of liep die de "omliggende pagina's" gewoon netjes op volgorde af?

[Verwijderd]

Room42 schreef op zaterdag 22 mei 2010 @ 06:16:
Maar deed ie dat ook echt simultaan, of liep die de "omliggende pagina's" gewoon netjes op volgorde af?

Nou, wat hij in principe deed was de vorige en volgende pagina tegelijk "cachen". Dan pakte die daarvan weer de vorige en de volgende. Ook kon je tijdens het laden van een pagina gewoon op "next page" drukken zonder dat je eerst moest wachten tot de pagina's die bezig waren gecached waren.

[Freeaqingme]

Nonblocking sockets is denk ik wat je zoekt?

[kipppertje]

Verwijderd schreef op zaterdag 22 mei 2010 @ 00:34:
Half offtopic: Ik heb dit eerder willen doen(speurders en marktplaats etc., overal zoeken) toen die sites erover gemailed of dat mocht. En dat mocht dus niet ^^

Ik heb het eerder al uitgezocht hoe dat zit. Het kan zijn dat ze inderdaad er niet op zitten te wachten, wat ik me ook wel weer voor kan stellen, maar ze hebben juridisch gezien geen poot om op te staan, zolang je maar niet de hele database gaat kopiëren mag het

Het is trouwens de bedoeling om alle resultaten door elkaar te laten weergeven, gesorteerd op bijvoorbeeld afstand o.i.d. bijvoorbeeld: 1e advertentie: fiets1 van Marktplaats op 1km afstand, 2e advertentie: fiets2 van Speurders op 1,3km afstand enz. Dus niet op de manier zoals ze het bij wieowie hebben gedaan, maar meer weergegeven zoals bijvoorbeeld op Marktplaats, je ongeveer dezelfde interface (uiteraard niet helemaal hetzelfde, maar wel hetzelfde principe). Daarvoor moeten dus eerst alle advertenties zijn ingeladen voordat je ze kan weergeven, ze moeten immers vergeleken worden met elkaar. Is ajax dan nog wel de beste oplossing?

[Peedy]

kipppertje schreef op vrijdag 21 mei 2010 @ 22:25:
Ik zat zelf te denken aan om de applicatie te programmeren in PHP, omdat ik dit de enige taal is die ik redelijk beheers. Overigens, als jullie denken dat het beter met een andere taal kan, dan sta ik daar ook voor open (ik ben nog jong )
Ik gebruik nu gewoon file_get_contents($site); om de broncode op te halen.
De serveromgeving staat in principe niet vast, omdat ik nog niet definitief een hoster heb gekozen. Wat raden jullie aan?
De applicatie gaat trouwens per request af.

Voor een dergelijke uitgebreide applicatie als je hier omschrijft, zou ik niet file_get_contents gebruiken. Handiger is om cURL of PEAR's HTTP_Client of Zend_HTTP te gebruiken. En vergeet je beste vriend Tidy niet. Ik zou je dit boek aanraden om te lezen; php|architect's Guide to Web Scraping with PHP.

kipppertje schreef op zaterdag 22 mei 2010 @ 14:36:
[...]

Ik heb het eerder al uitgezocht hoe dat zit. Het kan zijn dat ze inderdaad er niet op zitten te wachten, wat ik me ook wel weer voor kan stellen, maar ze hebben juridisch gezien geen poot om op te staan, zolang je maar niet de hele database gaat kopiëren mag het

Het is trouwens de bedoeling om alle resultaten door elkaar te laten weergeven, gesorteerd op bijvoorbeeld afstand o.i.d. bijvoorbeeld: 1e advertentie: fiets1 van Marktplaats op 1km afstand, 2e advertentie: fiets2 van Speurders op 1,3km afstand enz. Dus niet op de manier zoals ze het bij wieowie hebben gedaan, maar meer weergegeven zoals bijvoorbeeld op Marktplaats, je ongeveer dezelfde interface (uiteraard niet helemaal hetzelfde, maar wel hetzelfde principe). Daarvoor moeten dus eerst alle advertenties zijn ingeladen voordat je ze kan weergeven, ze moeten immers vergeleken worden met elkaar. Is ajax dan nog wel de beste oplossing?

Je stelt het hier wel erg zwart-wit. Als je exact wil weten hoe het zit zou ik even de jurisprudentie m.b.t. de Gaspedaal.nl - Wegener zaak doorlezen, alsmede de zaak Jaap.nl - Funda. Rechtspraak.nl zal je hier een eind op weg mee kunnen helpen.

Let er goed op dat je je code direct vanaf het begin al schaalbaar maakt, of zelfs deployable. Zo kan je het script op meerdere servers zetten om de requests te loadbalancen. Ook dit kan je via PHP regelen, hier is een uitstekend framework voor dat Gearman heet.

[ Voor 43% gewijzigd door Peedy op 22-05-2010 15:13 ]

[kipppertje]

Ik heb het nagevraagd op rechtenforum.nl . In principe zijn er 2 wetten waar ze zich op kunnen beroepen: namelijk het auteursrecht (maar om een advertentie een creatieve uiting te noemen gaat wel ver) en de databankenwet, waarbij het toegestaan is om een 'niet-substantieel' gedeelte op te vragen van de database. Het enige discussiepunt is: wanneer is iets substantieel en wanneer niet? Maar ik denk dat het wel losloopt.

Ik denk dat ik binnenkort de hele applicatie moet gaan uittekenen (dat heb ik nog niet gedaan) en het is inderdaad een goede tip om aan schaalbaarheid te denken! Bedankt!

En ik zal eens kijken naar dat boek! (jammer dat hij alleen als pdf beschikbaar is)

[mcdronkz]

Als ik 't zo lees, kun je zo ongeveer je hele business logic naar de client-side verplaatsen. Waarom zou je die zoekresultaten via een PHP script ophalen, dat kan toch prima rechtstreeks met AJAX? Het verwerken van de data is ook niet zo spannend, dat doe je gewoon met XPath. Met jQuery wordt dit helemaal een fluitje van een cent .

- Oké, je hebt een soort van proxy nodig omdat je moet JS niet rechtstreeks met een externe site kunt communiceren. Hoe dan ook, ik zou zo veel mogelijk client-side afhandelen.

[ Voor 22% gewijzigd door mcdronkz op 24-05-2010 17:06 ]

[RobIII]

mcdronkz schreef op maandag 24 mei 2010 @ 16:36:
- Oké, je hebt een soort van proxy nodig omdat je moet JS niet rechtstreeks met een externe site kunt communiceren. Hoe dan ook, ik zou zo veel mogelijk client-side afhandelen.

Behalve dat je toch een proxy nodig hebt is het ook netjes een fallback te maken voor non-AJAX enabled browsers; en als je die toch maakt kun je daar beter mee beginnen en van uit gaan en later een AJAX sausje toevoegen als dat dan nog nodig is.

[ Voor 5% gewijzigd door RobIII op 24-05-2010 17:29 ]

[kunnen]

Lees ook eens de terms of service van de betreffende sites.

[Peedy]

kipppertje schreef op zaterdag 22 mei 2010 @ 20:46:
En ik zal eens kijken naar dat boek! (jammer dat hij alleen als pdf beschikbaar is)

Hij komt over een paar weekjes als paperback uit Voor updates daarover zou ik de auteur gewoon volgen op Twitter.

[Verwijderd]

Ik blijf erbij dat je als je dit soort dingen gaat maken beter in Java kan gaan programmeren. Die heeft gewoon thread ondersteuning . Ook kun je met AJAX gewoon zo doen anders:
1. Je laad alles tegelijk in
2. Bijv marktplaats laad, jij geeft 't weer op goede volgorde
3. Speurders laad, jij insert de resultaten op de goede plek tussen de marktplaats resultaten
4. Enzovoort

Het enige waar je dan op moet letten is dat niet net speurders laad als je op een item in marktplaats wil klikken en dat item dus net verschuift

[kipppertje]

Ja, maar zon bewegend iets lijkt me ook niet bijster gebruiksvriendelijk
Ik denk dat ik het in ga laden met PHP, cURL. Heb het al even uitgeprobeerd, werkt prima!
Ik ben nu een cursus AJAX aan het volgen (mede dankzij jullie reacties)
Allemaal heel erg bedankt!
@ Peedy: Vind het op zich niet erg om van een scherm te lezen, maar ik hoopte op een goedkoop tweede hands exemplaar van marktplaats (of speurders etc )

@ teuneboom: Ik ga volgend jaar Java leren (zit in mn opleiding )

Maar ik heb even een schema uitgetekend, en ik denk dat ik het best van alle sites 10 advertenties kan laden, en daarna de rest, maar dan kunnen die eerste tien van elke site alvast naar de gebruiker. Zeker als ze tegelijk worden geladen is dat waarschijnlijk goed te doen.
Bedankt voor jullie advies!

[Noork]

Houd je wel rekening met auteursrechten/databankenwet etc?

[Room42]

Noork schreef op dinsdag 25 mei 2010 @ 23:04:
Houd je wel rekening met auteursrechten/databankenwet etc?

offtopic:
Mocht dat echt een probleem zijn (worden) krijgt ie het snel genoeg te horen van de betrokken partijen en kan ie z'n rechtsbijstand aanschrijven Maar goed, hoort (c.q. boeit) dat in PRG?

[BKJ]

RaZ schreef op zaterdag 22 mei 2010 @ 00:40:
Op http://wieowie.nl/ zie je een mooi voorbeeld hoe ze met AJAX werken.

For the record: Wieowie.nl werkt niet met AJAX . Combinatie van curl (al dan niet multi), ob_flush en handige JS die een goeie user experience geven (waardoor het op AJAX lijkt).

Edit:

FragFrog schreef op vrijdag 21 mei 2010 @ 23:35:
[...]

Eensch. Als je middels AJAX de search request doorstuurt naar een script op jou server en per externe partij een AJAX request doet heb je een hele simpele manier om asynchroon data op te halen. Kun je er zelf voor kiezen of je de parsing clientside wilt doen (ergo, javascript, al zou je nog naar flash / silverlight kunnen kijken hiervoor) of serverside en dus de resultaten netjes geparsed teruggeeft aan de client.

Dit kan niet vanwege cross site policies (tenzij marktplaats oid in zijn crossdomain.xml daarvoor een aparte regel heeft).

[ Voor 48% gewijzigd door BKJ op 26-05-2010 09:57 ]

[kipppertje]

Noork schreef op dinsdag 25 mei 2010 @ 23:04:
Houd je wel rekening met auteursrechten/databankenwet etc?

Uiteraard