Teletext SBS6

[Squ1zZy]

Via de volgende website is teletext van SBS6 te bekijken via de computer:

http://www.sbs6.nl/teletext

Echter werkt dit niet voor out-of-the-box iOS producten gezien er gebruik wordt gemaakt van Java.

Waar ik zelf aan zat te denken is een server te gebruiken die de data wel uit kan lezen op de website en met een iOS device te connecten naar die server, maar is er een makkelijkere manier?

Er zijn betaalde apps die het kunnen, maar vroeg het af of ik het zelf kan maken. Heeft er iemand hier ervaring mee?

[MAX3400]

https://www.codenameone.com/ ?

Eventueel zou je inderdaad eens kunnen testen of je met jSoup en misschien op een interne/externe webserver, ook de pagina's van SBS6 kan uitlezen?

[CH4OS]

Squ1zZy schreef op zaterdag 28 mei 2016 @ 21:38:
Er zijn betaalde apps die het kunnen, maar vroeg het af of ik het zelf kan maken.

Als een ander het kan maken, waarom zou jij dat dan niet kunnen?

Heeft er iemand hier ervaring mee?

Ervaring met het maken van een scraper? Zo moeilijk zal dat niet zijn, lijkt me. Je kunt ook contact opnemen met de SBS Media Group, wellicht hebben ze een API die ze beschikbaar kunnen stellen? Een scriptrequest is hier gelukkig niet toegestaan, het beste kun je dus een vergelijkbare tool zoeken of via http://tweakers.net/aanbod/ een advertentie plaatsen om iemand te zoeken die het voor je kan doen.

[Squ1zZy]

CH40S schreef op zaterdag 28 mei 2016 @ 22:00:
[...]
Als een ander het kan maken, waarom zou jij dat dan niet kunnen?
[...]
Ervaring met het maken van een scraper? Zo moeilijk zal dat niet zijn, lijkt me. Je kunt ook contact opnemen met de SBS Group, wellicht hebben ze een API die ze beschikbaar kunnen stellen? Een scriptrequest is hier gelukkig niet toegestaan, het beste kun je dus een vergelijkbare tool zoeken of via http://tweakers.net/aanbod/ een advertentie plaatsen om iemand te zoeken die het voor je kan doen.

Een API zou perfect zijn. Kan daar helaas niets over vinden. Misschien inderdaad eens contact opnemen.

Een ander kan het ook inderdaad, maar hoe?

[CH4OS]

Die programmeert het, met behulp van een programmeertaal? Waarom zou jij dat niet kunnen doen? Je kunt altijd nog eventueel een andere programmeertaal gebruiken, dat hoeft immers niet per se dezelfde te zijn.

[Verwijderd]

De reden waarom ze nog java gebruiken is dat de info op teletext realtime bijgewerkt kan worden.

Ik kan het weten want ik heb wat pagina's daar lopen. Het is echt een bitch om te programmeren. Laat ik het zo stellen dat SBS bij mij XML feeds 'grijpt' met daarop info om realtime te kunnen weergeven. Echter om een zin bijv in het rood te krijgen moet je met een codetabel werken dat ver voor onze tijd was in verhouding met html:

[ARD] TEST

Waarbij TEST natuurlijk rood wordt, en om het te sluiten (dat kan je niet eens) moet je de volgende kleurtag toevoegen Ik heb wel wat contactpersonen eventueel die je vraag verder kunnen beantwoorden.

Als je wilt stuur anders maar even een DM.

[Squ1zZy]

CH40S schreef op zaterdag 28 mei 2016 @ 22:23:
Die programmeert het, met behulp van een programmeertaal? Waarom zou jij dat niet kunnen doen? Je kunt altijd nog eventueel een andere programmeertaal gebruiken, dat hoeft immers niet per se dezelfde te zijn.

Dat snap ik, maar ik vraag me af hoe de informatie wordt opgehaald.

[RobIII]

Wireshark / fiddler gebruiken en je weet het.

[Squ1zZy]

RobIII schreef op zondag 29 mei 2016 @ 12:21:
Wireshark / fiddler gebruiken en je weet het.

Met Java?

Ik heb dit wel gevonden:

http://datafeed.sbstext.nl/textpage/sbs6/651

Ik ben even de draad kwijt. Hoe de pagina wordt opgevraagd is wel te zien, maar hoe kom ik aan de data zonder java in b.v. een browser? Bijvoorbeeld dat het wordt terug gegeven in XML.

[RobIII]

Squ1zZy schreef op zondag 29 mei 2016 @ 20:59:
[...]


Met Java?

Heb je de tools überhaupt bekeken? Geprobeerd?

Dan zie je precies wat er over de lijn gaat (hoe de request eruit ziet en, even belangrijk, de response). Als je dat weet hoef je alleen maar eenzelfde request te doen en de response af te handelen naar je eigen wens.

Maar voor dat je dat doet zou ik sowieso eerst eens uitzoeken in hoeverre je die data mag gebruiken (zoek naar een TOS (Terms Of Service) of neem desnoods contact op met SBS6, leg je beoogde doel voor aan ze en kijk wat ze er van vinden).

[ Voor 23% gewijzigd door RobIII op 29-05-2016 23:27 ]

[azerty]

De applet is niet obfuscated, misschien kun je daar wat mee? Geen zin om er door te gaan spitten op dit moment

[ Voor 58% gewijzigd door azerty op 30-05-2016 00:53 ]

[Verwijderd]

Waarom gebruik je die versie van de NOS niet? Die roept voor pagina 100 bijvoorbeeld deze URL aan:

http://teletekst-data.nos.nl/json/100-1?t=1464623520000

[Squ1zZy]

Verwijderd schreef op maandag 30 mei 2016 @ 17:53:
Waarom gebruik je die versie van de NOS niet? Die roept voor pagina 100 bijvoorbeeld deze URL aan:

http://teletekst-data.nos.nl/json/100-1?t=1464623520000

Dat zou perfect zijn. Alleen is NOS wel iets anders als SBS

[Verwijderd]

Squ1zZy schreef op maandag 30 mei 2016 @ 18:51:
Dat zou perfect zijn. Alleen is NOS wel iets anders als SBS

/facepalm

Teletext is zo'n ontzettende prehistorisch iets dat ik het de afgelopen 100 jaar niet meer heb gezien. En er dus helemaal niet bij stilgestaan heb dat dat per zender verschilt...sorry!

[Squ1zZy]

Verwijderd schreef op maandag 30 mei 2016 @ 18:54:
[...]

/facepalm

Teletext is zo'n ontzettende prehistorisch iets dat ik het de afgelopen 100 jaar niet meer heb gezien. En er dus helemaal niet bij stilgestaan heb dat dat per zender verschilt...sorry!

Haha maakt niet uit. Ben blij dat je reageerd. Ik zal vanavond de applet eens bekijken.

[Squ1zZy]

Ok, ik ben een stapje verder:

Als eerste heb ik de console geopent en gekeken wat erin stond. Daar vond ik een TSSView.jar bestand die ik met een decompiler heb geopent:

http://jd.benow.ca/

Daar vond ik een output bestand:

http://datafeed.sbstext.nl/output/sbs6/applet/100s00

Als ik daar in ga kijken kom ik de output wel tegen lijkt, maar helaas obfuscated.

Edit: De decryption is te vinden in "realLoad" functie in JVtxPage.class

[ Voor 9% gewijzigd door Squ1zZy op 30-05-2016 20:48 ]

[laforte]

Een hoop reacties maar niemand durft te vragen? Waar heb je in godsnaam teletext voor nodig? Alles wat op teletext staat is ook op internet te vinden? Of mis ik iets....

[Squ1zZy]

laforte schreef op maandag 30 mei 2016 @ 20:47:
Een hoop reacties maar niemand durft te vragen? Waar heb je in godsnaam teletext voor nodig? Alles wat op teletext staat is ook op internet te vinden? Of mis ik iets....

Helaas is er nog info te vinden wat niet op internet staat. Ik geloofde het zelf ook niet, maar het blijkt echt zo te zijn. Maar ik ben eruit. Thanks allen!

[ Voor 3% gewijzigd door Squ1zZy op 30-05-2016 20:49 ]

[Knutselsmurf]

Squ1zZy schreef op maandag 30 mei 2016 @ 20:49:
[...]


Helaas is er nog info te vinden wat niet op internet staat. Ik geloofde het zelf ook niet, maar het blijkt echt zo te zijn. Maar ik ben eruit. Thanks allen!

Care to share? Dat maakt het voor iemand anders die over een jaar hetzelfde wil doen iets makkelijker

[Squ1zZy]

Knutselsmurf schreef op woensdag 01 juni 2016 @ 11:07:
[...]

Care to share? Dat maakt het voor iemand anders die over een jaar hetzelfde wil doen iets makkelijker

Het staat in mijn post hierboven

Squ1zZy in "Teletext SBS6"

[BernardV]

Het decoden zou niet zo moeilijk moeten zijn, de file die geladen wordt voldoet gewoon aan de teletext-specificaties. Als je op internet zou zoeken hoe teletext gecodeerd wordt moet dit lukken.
Je zou bijvoorbeeld in de source van VLC kunnen kijken, die heeft ook een teletext-decoder.

[Jimbolino]

Na lang zoeken en lang try/error met php en ord() en bin2hex() etc ben ik zelf zo ver gekomen:



In mijn zoektocht naar de conversie tussen character sets, kwam ik deze geniale pagina tegen:
http://www.galax.xyz/TELETEXT/CHARSET.HTM
http://www.galax.xyz/TELETEXT/CONVERT.HTM

En die werkt bijna out of the box met de output uit deze urls:
http://datafeed.sbstext.nl/output/sbs6/applet/100s00

De url had ik gevonden door de applet te decompilen via:
http://www.javadecompilers.com/

De source code van deze java applet is interessant, maar te complex om even na te bouwen.

Zo kwam ik de fonts tegen die gebruikt worden, en de calculaties om de juiste pixels eruit te knippen:
http://datafeed.sbstext.nl/output/vtx15x18.gif
http://datafeed.sbstext.nl/output/_0320.gif

Terug naar de oplossing.

Enige wat ik gedaan heb is bovengenoemde CONVERT.HTM pagina geript, wat html eruit gegooid, en het inputfield gevuld met de data van sbs.

PHP:

namespace App\Http\Controllers\Teletext;

use App\Http\Controllers\Controller;
use Illuminate\Http\Request;

class SBS6Controller extends Controller
{
    const URL = 'http://datafeed.sbstext.nl/output/sbs6/applet/';

    public function show(Request $request, $page = 100, $sub = 0)
    {
        $url = self::URL.$page.'s0'.$sub;

        $contents = @file_get_contents($url);
        $chars = str_split($contents);

        $body = '';
        foreach($chars as $char) {
            $body .= '\x'.bin2hex($char);
        }
        return view('teletext', [
            'body' => $body,
            'page' => $page,
            'sub' => $sub,
        ]);
    }
}

Het eindresultaat:

https://jim.troep.com/teletext/sbs6/861/0

Zoals je ziet is het niet perfect, maar misschien dat iemand zin heeft om het beter te maken.

[Matis]

Misschien zou je ook eens kunnen kijken naar libzvbi: http://zapping.sourceforge.net/ZVBI/
Wij gebruiken dat op de zaak om teletekst te decoderen.

Ik realiseer me dat dit misschien een beetje als mosterd na de maaltijd komt.

[Jimbolino]

Matis schreef op zondag 14 augustus 2016 @ 08:14:
Misschien zou je ook eens kunnen kijken naar libzvbi: http://zapping.sourceforge.net/ZVBI/
Wij gebruiken dat op de zaak om teletekst te decoderen.

Ik realiseer me dat dit misschien een beetje als mosterd na de maaltijd komt.

ziet er goed uit, maar hoe werkt het ?

[Matis]

Jimbolino schreef op dinsdag 16 augustus 2016 @ 23:58:
ziet er goed uit, maar hoe werkt het ?

libzvbi werkt op de ruwe (analoge of digitale) videostroom. Hij kijkt in de VBI naar teletekst informatie om deze om te zetten naar grafische elementen (vaak icm Cairo en Pango).
Ik weet dat jij daar niet op zit te wachten, maar misschien bevat libzvbi meer informatie aangaande de encodering van de kleuren van de teletekst.