How to build a Transcoder?

[ancak]

Beste mensen,

Ik ben momenteel bezig met een project waarin ik bepaalde links wil gaan streamen naar grote groepen mensen (+-1000). Ik heb enige basiskennis over van alles en nog wat, maar voor mij is dit echt totaal wat anders. Ik ben gaan googlen, en heb het een beetje zitten rondvragen. Op een gegeven moment kwam ik een bepaalde 'muur' tegen. Iets wat ik voor het eerst in mijn leven heb gehoord; Transcoderen. Iets wat blijkbaar heel belangrijk is, als het op streamen aankomt.

Nu zit het zo. Ik heb heel veel zitten zoeken bij een heleboel fabrikanten en een boel websites, en steeds maar weer kwam ik 'gigantische' bedragen tegen, variërend tussen de 10.000 en de 20.000 euro. Ik heb het nagevraagd aan een expert, en die heeft mij dus uitgelegd dat een transcoder eigenlijk een supersterk computer is met veel Processor-power en een goede transcoding software. Ik heb mij zitten verdiepen in transcoding software. Een heleboel freeware, opensource en een aantal premium software later had ik uiteindelijk een gevonden waarvan ik dacht, deze lijkt mij wel up-to-the-task!

Mijn vraag aan jullie: Is het dus danig mogelijk om een eigen transcoder 'te bouwen' en hoe kan ik dat doen? (Sterke I7 of Xeon processoren in een sterke 1U case?)

Budget: €5000,- euro

Ik hoor graag jullie meningen hierover!

Dit zijn mijn bevindingen, please go easy on me.

[lordgandalf]

Wat vragen die ik heb als ik alles zo lees

Wat voor info is het puur links of is het ook videos ? (denk het laatste gezien het transcoderen)
Moet het private zijn of mag iedereen het zien ?
Moet het streamen van de links vanaf 1 locatie of meerdere locaties
Wat voor formaat wil je gaan streamen ?
Wat is het bron materiaal voor formaat ?
Welke software heb je gevonden dan je zegt dat je er een hebt de het mogelijk kan welke is dat ?

Voordat we dit weten kunnen we imho niet vertellen wat je zou moeten bouwen.

[Verwijderd]

spam

[ Voor 96% gewijzigd door DJSmiley op 18-11-2016 18:29 ]

[DJSmiley]

Geef eerst maar eens wat meer informatie.

Wat is je exacte doel, gewenste resolutie en bron?

Je kan het op verschillende manieren doen. Transcoderen, transraten, maar als het bronsignaal (bv) een simpele HD-SDI of HDMI stream is kun je ook gewoon het splitsen en een paar encoders nemen met verschillende bitrates.

En hoe ga je het streamen? Met bv Wowza kun je streamen en ook transcoderen. Met bv Intel Quicksync kun je de CPU ook offloaden.

Waar zitten die users? Denk dan na over anycasting en het gebruik van bv een CDN om de load te verdelen.

Maar misschien is het verstandiger om gewoon eens te informeren bij een partij die gespecialieerd is in streaming diensten.

[MAX3400]

Zoals DJSmiley in "How to build a Transcoder?" zijn er een aantal basistermen te vinden en te beantwoorden alvorens een budget te roepen en een audience te roepen.

Als voorbeeld: stel je wil 1 FullHD film transcoden en wegsturen op 2500Kbps. Als je dat via multicast zou doen, kan je op bijna elke netwerk uit de voeten met 1 zeer goedkope Plex-server (grofweg 500 Euro voor een mooi apparaat) en een internetlijn die een upload heeft van 2500Kbps. Je loopt dan wel meteen tegen een barriere aan aangezien de gemiddelde thuislijn soms/vaak een blokkade heeft op "grof multicasten". Maar Plex wordt wel vaak gebruikt om meerdere films te transcoden op een intern netwerk (zoals thuis) om op 2 TV's tegelijk 2 verschillende films weer te kunnen geven.

Een bedrijf als Twitch neemt die zorg uit jouw handen; jij unicast jouw stream/streams naar Twitch en mensen kunnen daar inloggen en dan een "multiplier" toepassen en het mogelijk maken om 10.000 abonnees naar jouw kunsten te laten kijken. Daar zitten implementatie-technisch nog wel wat haken en ogen aan die over het algemeen pas "overlegd" worden tussen een datacenter, het bedrijf (Twitch) en de ISP.

Als het niet realtime hoeft waarbij jij 4 bronnen eerst transcode "offline" en daarna op jouw streaming server zet en pas op tijdstip X de player open voor het publiek, heb je waarschijnlijk al een stuk minder geld nodig voor de hardware. Wat me dan erg verbaast is dat jouw "expert" dus een advies geeft wat, tot op zekere hoogte, lijnrecht staat op wat de gemiddelde thuisgebruiker voor Plex gebruikt namelijk een "mini-PC van een paar grijpstuivers" tegenover "een 1U Xeon server".

De crux zit 'm dus in: hoeveel uitgaande streams tegelijk wil jij realiseren? Moet dit realtime of planned? Hoe ga je dat regelen qua bandbreedte en (zoals Twitch) het verveelvoudigen naar het totale publiek?

/edit: indien je een tweetraps-raket gaat bouwen dus "van jou" -> "datacenter" -> "publiek", zullen de allergrootste kosten waarschijnlijk zitten in het dataverbruik van datacenter -> publiek. Bel maar eens een dedicated hosting-partij op en vraag eens wat 10TB of 50TB Premium SLA / Guaranteed outgoing traffic kost.

[ Voor 7% gewijzigd door MAX3400 op 18-11-2016 18:56 ]

[ancak]

Excuus voor mijn vage topic informatie.
Even wat basis-info:

-De streams zijn afkomstig van een DVB to IP gateway apparaat. De output is een UDP. (Alle rights zijn al gecleared)
-Er is al contact opgenomen met een streaming-bedrijf. Alles is al besproken en afgesproken. (Het streaming-bedrijf kan in feite ook het transcoderen doen, maar dat brengt natuurlijk hoge kosten met zich mee.)

Dus het streamen zelf doe ik niet. Enige wat er moet gebeuren is dat de UDP moet worden omgezet naar RTSP op ongeveer 1600 kbs (720p). En dat moet dan naar die streaming partij toe. (Wij willen ons gateway apparaat en de transcoder beide bij de streaming partij plaatsen).

lordgandalf schreef op vrijdag 18 november 2016 @ 09:48:
Wat vragen die ik heb als ik alles zo lees

Wat voor info is het puur links of is het ook videos ? (denk het laatste gezien het transcoderen)
Moet het private zijn of mag iedereen het zien ?
Moet het streamen van de links vanaf 1 locatie of meerdere locaties
Wat voor formaat wil je gaan streamen ?
Wat is het bron materiaal voor formaat ?
Welke software heb je gevonden dan je zegt dat je er een hebt de het mogelijk kan welke is dat ?

Voordat we dit weten kunnen we imho niet vertellen wat je zou moeten bouwen.

Het gaat hierbij om videos. Die links moeten verstuurd worden naar de streaming partij, dus volgens mij prive?
Het streamen zelf doe ik niet, dat doet ons streaming partij.
Het moet van een UDP uiteindelijk een RTSP zijn in H.264.
Om eerlijk te zijn weet ik niet precies wat het bron materiaal als formaat heeft. (De bron komt van de satelliet af. Het word opgepakt door een DVB to IP gateway apparaat, en geeft vervolgens een UDP eruit welke ik gewoon kan afspelen via VLC player.
Het gaat om deze programma. (Als het tonen van die link niet mag, laat mij het weten, haal ik het meteen weg.)

DJSmiley schreef op vrijdag 18 november 2016 @ 18:32:
Geef eerst maar eens wat meer informatie.

Wat is je exacte doel, gewenste resolutie en bron?

Je kan het op verschillende manieren doen. Transcoderen, transraten, maar als het bronsignaal (bv) een simpele HD-SDI of HDMI stream is kun je ook gewoon het splitsen en een paar encoders nemen met verschillende bitrates.

En hoe ga je het streamen? Met bv Wowza kun je streamen en ook transcoderen. Met bv Intel Quicksync kun je de CPU ook offloaden.

Waar zitten die users? Denk dan na over anycasting en het gebruik van bv een CDN om de load te verdelen.

Maar misschien is het verstandiger om gewoon eens te informeren bij een partij die gespecialieerd is in streaming diensten.

Mijn exacte doel is om de Output uit mijn gateway apparaat om te zetten naar een RTSP, en de bandbreedte van die video (die soms tot wel 50mb/s gaat) eruit komt te transcoderen naar een bandbreedte van ongeveer 2mb/s in H.264 formaat. Zover ik het weet is het geen simpele HD-SDI of HDMI stream.

Het streamen is totaal geen probleem. Alle nodige afspraken zijn al gemaakt met ons streaming partij. Enige wat er moet gebeuren is dat de streaming partij een goede stream (max 2mb/s, 720p h.264, RTSP) van ons ontvangt om die weer door te kunnen streamen naar de eind gebruikers.

MAX3400 schreef op vrijdag 18 november 2016 @ 18:51:
Zoals DJSmiley in "How to build a Transcoder?" zijn er een aantal basistermen te vinden en te beantwoorden alvorens een budget te roepen en een audience te roepen.

Als voorbeeld: stel je wil 1 FullHD film transcoden en wegsturen op 2500Kbps. Als je dat via multicast zou doen, kan je op bijna elke netwerk uit de voeten met 1 zeer goedkope Plex-server (grofweg 500 Euro voor een mooi apparaat) en een internetlijn die een upload heeft van 2500Kbps. Je loopt dan wel meteen tegen een barriere aan aangezien de gemiddelde thuislijn soms/vaak een blokkade heeft op "grof multicasten". Maar Plex wordt wel vaak gebruikt om meerdere films te transcoden op een intern netwerk (zoals thuis) om op 2 TV's tegelijk 2 verschillende films weer te kunnen geven.

Een bedrijf als Twitch neemt die zorg uit jouw handen; jij unicast jouw stream/streams naar Twitch en mensen kunnen daar inloggen en dan een "multiplier" toepassen en het mogelijk maken om 10.000 abonnees naar jouw kunsten te laten kijken. Daar zitten implementatie-technisch nog wel wat haken en ogen aan die over het algemeen pas "overlegd" worden tussen een datacenter, het bedrijf (Twitch) en de ISP.

Als het niet realtime hoeft waarbij jij 4 bronnen eerst transcode "offline" en daarna op jouw streaming server zet en pas op tijdstip X de player open voor het publiek, heb je waarschijnlijk al een stuk minder geld nodig voor de hardware. Wat me dan erg verbaast is dat jouw "expert" dus een advies geeft wat, tot op zekere hoogte, lijnrecht staat op wat de gemiddelde thuisgebruiker voor Plex gebruikt namelijk een "mini-PC van een paar grijpstuivers" tegenover "een 1U Xeon server".

De crux zit 'm dus in: hoeveel uitgaande streams tegelijk wil jij realiseren? Moet dit realtime of planned? Hoe ga je dat regelen qua bandbreedte en (zoals Twitch) het verveelvoudigen naar het totale publiek?

/edit: indien je een tweetraps-raket gaat bouwen dus "van jou" -> "datacenter" -> "publiek", zullen de allergrootste kosten waarschijnlijk zitten in het dataverbruik van datacenter -> publiek. Bel maar eens een dedicated hosting-partij op en vraag eens wat 10TB of 50TB Premium SLA / Guaranteed outgoing traffic kost.

Het zal inderdaad uiteindelijk om multicasten gaan, maar dat zal ons streaming partij wel regelen, zoals ik het eerder heb vermeld.
Dankuwel voor de informatie die u mij verstrekt, maar volgens mij heeft u het vooral over het streamen zelf en niet het transcoderen? Wat ik wel op prijs stel, maar dat is allemaal al geregeld.

Enige wat er moet gebeuren is om de link die ik ontvang via de satelliet om te zetten naar een RTSP, en de bandbreedte van die link dus danig omlaag te gooien zodat de eind gebruikers zonder moeite de video kunnen bekijken.

Ik heb die programma van mij zitten testen. Tot nu toe heb ik ongeveer 4 streams geprobeerd te transcoderen via mijn laptop (I7-6700 2.6 ghz) door middel van die programma. Volgens beheer heb ik maar ongeveer 40% van de CPU zitten gebruiken. En dat waren allemaal HD streams. Dus mijn theorie hieruit, met een krachtige PC/Server en een krachtige verbinding zou het in principe mogelijk moeten zijn om meer dan 30 streams tegelijk te kunnen transcoderen zonder een transcoder?

[DJSmiley]

Wat is de resolutie van het materiaal? Er zit nogal een verschil tussen een SD PAL beeldje of een 1080P stream. En welke compressie wordt er gebruikt?
edit: 720p zie ik.. ik gok dan even op h264

Het UDP signaal wat uit dat ding komt, is dat een SPTS of een MPTS? Als ik het goed begrijp wil je het signaal zo dicht mogelijk bij die bron omzetten naar RTSP en dan aanbieden aan (bv) een Wowza CDN oid. En welke codec is het nu? Je zegt dat het vanaf een DVB gateway komt. Ik gok dat het nu dus een MPEG-TS is (MPEG2 of h264 vermoedelijk)

Alleen als je het 'gateway apparaat' bij je hoster plaatst.. kun je het ook heel simpel doen: Neem een sattelietontvanger met HDMI.
Bij die dvb gateway zou de meest simpele optie zou zijn om een simpele STB te nemen en die gewoon die stream te laten joinen en op HDMI eruit te gooien. Hang daar een encoder achter ( Teradek Vidiu, Tricaster, Teracue ENC200/400, Exterity) die er weer een RTSP (of RTMP) stream van maakt en zo het naar je CDN stuurt.

Softwareencoding kan ook, wordt ook veel gedaan. Genoeg streamingpartijen die een linux doosje hebben draaien met een FFMPEG-gebaseerd iets om er een of meerdere bitrates van te bakken.
FFmpeg heeft bv support voor hardware based offloading (Cuda, quicksync enz) : https://trac.ffmpeg.org/wiki/HWAccelIntro

Op zich is dat dus allemaal prima mogelijk. Al vind ik RTSP wel wat vreemd, meestal wordt er in dergelijke situaties voor RTMP gekozen (push vs pull)
Bij RTSP moet de streamserver de feed ophalen. Maw: Fixed IP of DynDNS en portforwards nodig. Bij RTMP pushed de encoder het, dus heb je die issues niet. Daarnaast heb je dan ook je autenticatie tegen de streamserver geregeld.

Als je budget een dingetje is: Ik heb zelf ook goede ervaringen met een chinese encoder van $190. Die streamt bv prima via RTMP naar Wowza.

Maar heeft je streamingprovider geen encoders? Dan weet je zeker dat de compatibiliteit geregeld is.
En hun kunnen het vervolgens wel weer transcoden of transraten naar lagere bitrates voor mobiele devices indien gewenst. Je kan natuurlijk ook zelf diverse bitrates aanbieden, maar dat ligt wel aan je beschikbare upload. Gebruik QoS of reserveer bandbreedte!


Je stelt dat het om multicast gaat. Waarom wil je het dan nog transcoderen? Een 20-30Mbit stream over je netwerk is peanuts, zelfs als je nog een ouder 100Mbit netwerk hebt liggen in principe.
Ik gok echter dat je het via internet gaat doen. Dan kun je multicast wel vergeten. En houd bij 1000 users en 2Mbit wel rekening met een throughput van 2Gbit. Dat kost je aardig traffic!

[ Voor 11% gewijzigd door DJSmiley op 19-11-2016 11:49 ]