Twitter search API issue?

[Anoniem: 29173]

Tweakerts,

Op de search API (gebruik JSON) krijg ik sinds gister avond geen resultaten meer bij het zoeken op from:user, enkel bij bepaalde gebruikers. Andere doen het zonder problemen.

Pak even ATOM
=> http://search.twitter.com/search.atom?q=from%3Atweakers van http://twitter.com/#!/tweakers
^^ Geeft resultaten
=> http://search.twitter.com/search.atom?q=from%3Asauter_wijnen van
^^ Voor deze user geen resultaten, maar er zijn wel tweets; http://twitter.com/#!/sauter_wijnen
(En zo heb ik nog een lijst van users die het opeens niet meer doen).

De API status pagina zegt, ATM, alles OK...
http://dev.twitter.com/status

Nog iemand die hier last van heeft (zijn vooral Nederlandse accounts die niet meer lijken te werken)?

[MueR]

Vooral accounts die weinig tweeten denk ik. De search geeft default alleen recente tweets terug. Dat is (zo uit het hoofd), 14 dagen. Oftewel, als je historisch tweets wil opzoeken zul je via de API moeten werken, niet via de search.

[Anoniem: 29173]

Nee hoor ik heb ook accounts die vandaag nog getwittert hebben (en meer dan x results)!
Edit: en die deden het 2 dagen gelden nog trouwens....

[Voor 24% gewijzigd door Anoniem: 29173 op 29-06-2011 18:43]

[RobIII]

Die sauter_wijnen's laatste tweet is van 9 jun. Heb je dan een voorbeeld van iemand die wél recent getweet heeft? Van de paar steekproeven van twitteraars in mijn eigen cirkeltje kon ik er geen ontdekken die geen resultaten geeft.

[Voor 34% gewijzigd door RobIII op 29-06-2011 18:47]

[Anoniem: 29173]

http://search.twitter.com/search.atom?q=from%3APieterPabst
https://twitter.com/#!/PieterPabst
(Weet niet of het aan mijn cache lokaal ligt, maar via http staat die laatste post er niet bij).

[Bosmonster]

Er zijn verschillende redenen waarom users uit de search gefiltered worden. Meer daarover hier:

http://support.twitter.com/entries/42646

In het geval van Pieter Pabst, deze komt dus gewoon niet voor in de search-index om een van die redenen:

http://search.twitter.com/search?q=PieterPabst

De search-index is ook niet compleet. Maar die is ook niet bedoeld om mensen hun timeline op te vragen.

[Voor 53% gewijzigd door Bosmonster op 29-06-2011 20:33]

[Anoniem: 29173]

Ben al overgestapt op combineren van timeline (search was gemakshalve eenvoudiger omdat ik in één keer meerdere users kon opvragen). Dank.

[Bozozo]

Moet ik concluderen dat het bad practice is om met de search api updates voor users aan te vragen?

Ik heb een client geschreven in Javascript die eerst via user_timeline voor n users de tweets opvraagt, en daana elke minuut update middels één search query (from:user1 OR from:user2 etc) om het aantal requests binnen de perken te houden. Zouden jullie zeggen dat dat onverstandig is?

[Bosmonster]

Die vraag is volgens mij inmiddels wel beantwoord. De search is verre van compleet dus. Die index wordt los geupdatet, los van de timeline.

Twitter-feed-updates wil je over het algemeen via een caching proxy oid laten lopen, ivm de rate-limiting. Eventueel kun je serverside ook de streaming API gebruiken en de clients daaruit laten putten.

[Voor 42% gewijzigd door Bosmonster op 30-06-2011 10:17]

[Bozozo]

offtopic:
Mijn client is puur client-side (zoals de standaard Twitter widget) dus dat is niet echt van toepassing. Ik sla de tweets wel op in localStorage om onder de rate-limit te blijven bij refreshes.

Ik baal hier wel van... ik heb m'n hele update-mechanisme omgebouwd naar de search-API om het aantal requests te minimaliseren. In de API docs wordt bovendien aanbevolen om requests zoveel mogelijk te bundelen.

Twitter zou tenminste in zijn docs aan kunnen geven dat ze geen fatsoenlijke resultaten garanderen via from-user queries.

[Anoniem: 29173]

Bosmonster schreef op woensdag 29 juni 2011 @ 20:30:
Er zijn verschillende redenen waarom users uit de search gefiltered worden. Meer daarover hier:

http://support.twitter.com/entries/42646

In het geval van Pieter Pabst, deze komt dus gewoon niet voor in de search-index om een van die redenen:

http://search.twitter.com/search?q=PieterPabst

De search-index is ook niet compleet. Maar die is ook niet bedoeld om mensen hun timeline op te vragen.

Twitter support;

Hello,
Due to current resource constraints, not every Tweet can be indexed in Twitter Search at the moment. You can read more about this on our help page for this issue:
http://support.twitter.com/articles/66018
I've confirmed that your account is affected by our current resource constraints, and isn't being filtered for any reason beyond this known issue. Our engineers are working hard to index more updates, and we hope to get your Tweets into the index soon.
While I'm not able to force your Tweets to appear in search, your followers should still receive all of your updates and we will still deliver your @replies to other users.
Thanks,
dino

Daarom dus.