Super Slo-Mo: 1080p 480fps met een Smartphone SoC

[Balance]

Natuurlijk, 720p 120fps is leuk in die nieuwe smartphones, sommige halen zelfs 240 frames seconde in 720p of 120fps in 1080p. Action cam's halen vergelijkbare framerates en bij een DSLR mag je blij zijn met 60fps in 1080p. Maar nu komt daar verandering in: De MediaTek MT6595 en MT6795.

Key features of MT6795:

• 64-bit True Octa-core LTE SoC with clock speed up to 2.2GHz
• MediaTek CorePilot unlocks the full power of all eight cores
• Dual-channel LPDDR3 memory clocked at 933MHz
• 2K on device display (2560x1600)
• 120Hz mobile display with Response Time Enhancement Technology and MediaTek ClearMotion™
• 480fps 1080p Full HD Super-Slow Motion video feature
• Integrated, low-power hardware support for H.265 Ultra HD (4K2K) video record & playback, Ultra HD video playback support for H.264 & VP9, as well as for graphics-intensive games and apps
• Support for Rel. 9, Category 4 FDD and TDD LTE (150Mbps/50Mbps), as well as modems for 2G/3G networks
• Support for Wi-Fi 802.11ac/Bluetooth®/FM/GPS/Glonass/Beidou/ANT+
• Multi-mode wireless charging supported by MediaTek’s companion multi-mode wireless power receiver IC

Dat is een behoorlijk solide featureset, met als opvallende features 120Hz display support, H.265 decode én encode en dus 1080p opnames met 480fps.

Voorbeeldje:

Ze hebben hier dus de 6795 SoC aan een Sony IMX220 (1/2,3", 20,7MP, F/2.0, 27mm equiv.), dezelfde sensor als in de Xperia Z1 en Z2, gekoppeld. Met een bestaande sensor kunnen dus veel betere resultaten gehaald worden. Bitrates zullen hoog liggen, dus het is lastig te zeggen of het geheugen het realtime kan wegschrijven. Er zal in ieder geval een RAM buffer gebruikt worden, maar goed eMMC 5.0 geheugen zou dit realtime aan moeten kunnen.

En dit moet breder gezien worden. Als je 1080p op 480 fps kan verwerken is het niet heel moeilijk om ook 2160p op 120fps te verwerken. Ja, UHD in 120fps. Of 20MP burst foto's met 50fps. Heck, in principe zou zelfs 8K UHD (7680*4320) op 30 fps! Voor HDR halveer je de framerates en heb je nog steeds zeer solide framerates. De ISP verwerkt en decodeert simpel weg een gigapixel per seconde. De mogelijkheden zijn eindeloos .

Ik ben dus zelf zeer benieuwd of dit in videocamera's, systeemcamera's en zelfs DSLR's toegepast gaat worden. Hopelijk trekt de concurrentie een beetje mee, en wordt er serieus geïnvesteerd in betere ISP's. Tijd voor een opvolger van de Galaxy NX, maar dan beter .

[Garyu]

Eerst zien, dan geloven...

Licht en sluitertijd:
480fps betekent een maximale "sluitertijd" van 1/480, wat dus in low-light-situaties never-nooit niet gaat lukken, je hebt het dan vaak over 1/20e of 1/40e, sneller gaat gewoon niet.

Data-transport en verwerking:
Datarates zijn belachelijk hoog, hoe ga je ooit die hoeveelheden data real-time transporteren?

Ervaring met Mediatek:
Het lijkt mij dat ze een soort interpolatie verwenden om van de 20MP sensor telkens een stukje uit te lezen, en die daarna weer op hogere snelheid te interpoleren. Misschien komt daar nog steeds een resolutie van 1080p uit, maar daar zou wel eens aardig wat aan beeldkwaliteit verloren zijn gegaan. Als ik op zoek ga op internet vind ik verder ook nog niks behalve verschillende vertalingen en interpretaties van de press release. Als het echt zo makkelijk zou zijn, waarom hebben anderen het dan nog niet?

[Anoniem: 516179]

Heel veel high framerate camera's werken op die manier, ook professionele. Je hebt de optie om steeds een stukje van de beeldsensor uit te lezen waardoor je een veel hogere framerate behaalt maar tegelijkertijd een lagere resolutie krijgt. Dit zorgt ervoor dat de bandbreedte ook nog steeds behapbaar blijft en daardoor dus een heel nuttige techniek.

Hierbij wordt geen informatie 'verzonnen', dus in zoverre krijg je geen mindere beeldkwaliteit. Er wordt voldoende van de sensor gebruikgemaakt dat het aantal pixels in het resultaat overeenkomt met het aantal opgenomen pixels. Deze techniek wordt ook regelmatig toegepast bij het filmen op normale 24 of 30hz snelheden, in dat geval is het om ruis te verminderen. Aangezien de encoder en alles erachter toch maar 1080P aankan en je sensor een veel hogere resolutie heeft kun je slechts een deel van de sensor gebruiken om een frame op te bouwen. De rest van de sensor heeft op dat moment 'rust' waardoor je ruis kunt verminderen.

Lichtopbrengst bij hoge framerates is altijd een issue, niet voor niets dat het demo filmpje in een sporthal is genomen waar vermoedelijk nog extra licht is toegevoegd. Aan de andere kant zijn moderne sensoren zeer lichtgevoelig waardoor onder gemiddelde belichting een hoge framerate nog altijd mogelijk is.

Zoals altijd: Zodra je geen natuurlicht meer gebruikt loop je tegen het probleem aan dat je met de 50hz of 60hz flicker zit van kunstlicht. Dat is nu al een probleem op camera's die gemaakt zijn voor 60hz en in een 50hz omgeving filmen (iPhone anyone?).

Dus problemen met belichting krijg je toch wel. Zoals ze het daar laten zien bij sportevenementen lijkt het me een prima functie. Wil je zelf een leuk slo-mo filmpje maken dan zul je hoe dan ook met de belichting aan de gang moeten.

[ Voor 21% gewijzigd door Anoniem: 516179 op 17-07-2014 14:22 ]

[elhopo]

De meeste DSLR fabrikanten gebruiken hun eigen beeldprocessor, want dat is juist waar het om gaat (Canon met de DIgic 5 bijvoorbeeld). Hier zullen ze dus echt geen andere processor in gaan zetten, want juist hun eigen processor bepaalt dingen als witbalans, belichting, sluitertijden en JPG compressie.

Wat trouwens een leuke functie is op een specifieke Sony camera (ik weet zo het typenummer niet) is dat deze als je op de opnameknop klikt, de vorige 10 seconden opslaat als slow motion. Zo kan je problemen met te trage opslag voorkomen. Dat zou je hier ook zo kunnen toepassen. Op het moment dat de eend onder water duikt druk je op de knop en je hebt je slowmotion van een eend die onder water duikt.

[dvtxc]

elhopo schreef op donderdag 17 juli 2014 @ 14:23:
Wat trouwens een leuke functie is op een specifieke Sony camera (ik weet zo het typenummer niet) is dat deze als je op de opnameknop klikt, de vorige 10 seconden opslaat als slow motion. Zo kan je problemen met te trage opslag voorkomen. Dat zou je hier ook zo kunnen toepassen. Op het moment dat de eend onder water duikt druk je op de knop en je hebt je slowmotion van een eend die onder water duikt.

Jup, in ieder geval mijn camcorder van Sony heeft dat. Sony HDR SR11E, het is inmiddels al wel een redelijk verouderde camcorder. Echter is de buffer volgens mij maar rond de 4 seconden (ware tijd). Dat wordt uitgerekt in de slow motion tot 12 seconden. Hoeveel beelden per seconden de camera in slow motion modus werkelijk maakt weet ik niet. Het is ergens rond de 150 fps schat ik, gezien de camera normaal opneemt in 1080i50.

[ Voor 0% gewijzigd door dvtxc op 17-07-2014 22:11 . Reden: typo ]