Waarmee kun je ondertitels genereren (offline)?

[endemion]

Ik ben er nog niet zo lang geleden achter gekomen dat het prima mogelijk is om ondertitels automatisch te synchroniseren (Subsync). Zoveel tijd verspild met handmatig geklooi...

Maar goed niet voor alles zijn ondertitels te vinden. Maar er zijn genoeg video sites die prima ondertitels leveren automatisch gegenereerd en vaak zelfs degelijk vertaald. Er zal wel een of ander AI systeem achter schuil gaan.

Nu is mijn vraag is er een goed stuk software om ondertitels voor een video te genereren? Nu weet ik dat er heel wat websites zijn die die service bieden maar dan moet je dus eerst de hele video gaan uploaden. Dat is ok voor een enkel keertje maar teveel van het goede om dat steeds te moeten doen voor die video's waar je geen ondertitels voor kunt vinden.

Nu heb ik gelezen dat bepaalde video bewerkingssoftware zo'n functie heeft maar dan hebben we het meestal over betaalde software wat je dus niet zomaar even kunt uitproberen of het ook daadwerkelijk naar behoren werkt. Ik bedoel als zo'n software het enkel mogelijk maakt om bv hard subs aan een bewerkte video toe te voegen of softsubs enkel weet weg te stoppen in de container bij het "exporteren van een project" dan heb je er niet zo gek veel aan als je gewoon een srt bestandje wilt hebben voor een bepaalde video.

Als iemand hier al ingedoken is, fijn als die z'n conclusies hier deelt.

[JanChr55]

Ik gebruik Subtitle Edit om ondertitels te maken cq. bestaande ondertitel bestanden te bewerken.
Het pakket is freeware en heeft veel mogelijkheden om met ondertitels om te gaan.

[endemion]

Ik kan daarin geen functie vinden die automatisch ondertitels aan maakt. Kan dat via een google plugin oid?

[Jeroenneman]

Clipchamp kan ondertiteling genereren. Ik dacht dat het pakket dat ook offline kon.

[endemion]

Ik ben Clipchamp aan 't uitproberen (de win app).
- Blijkbaar niet te gebruiken zonder account aan te maken / in te loggen met MS account. Dat is minder.
- Je hoeft tenminste niet een hele video te uploaden. Goede zaak.
- Vrij traag ongeveer 2x de snelheid van gewone weergave als het al niet langer is. Dat is minder.
- Eerste poging bleef hangen met 39 sec resterend.
- Tweede poging loopt nog.
- Tweede poging succes, maar geen optie om de subs "op te slaan als" helaas, maakt het weer wat omslachtiger.
- Helaas genereert Clipchamp steeds enkel 1 regel aan tekst rond de 40 tekens. Maar verder wel accuraat.
- Vertaal optie? Maar indien nodig kan dat via Subtitle Edit, niet dat ik die functie ooit uitgeprobeerd heb dus geen idee hoe goed / slecht dat is. Doorgaans ook niet echt nodig.

Als er nog andere goede opties zijn hoor ik dat graag.

[ Voor 14% gewijzigd door endemion op 18-11-2023 21:34 ]

[AlterEgo]

whisper.cpp kan wat je vraagt. En verbluffend goed ook, inclusief vertaling, maar je moet wel het audiospoor 'losmaken' en converteren naar .wav.
https://github.com/ggerganov/whisper.cpp

[endemion]

Whisper heb er naar zitten kijken maar zie ondertussen de bomen door 't bos niet meer.
-Whisper.cpp
-Whisper.cppGUI
-FasterWhisper
-FasterWhisperGUI (voor zover ik het in kan schatten wellicht de beste optie)
-WhisperGUI 0.1
etc.

Wat is nu het beste en hoe krijg je het aan de praat zeker als je een GUI wilt dan is het hartstikke vaag hoe en wat.

[endemion]

Het enige wat ik tot dusver aan de praat heb gekregen is WhisperGUI 0.1 maar die loopt spaak omdat die een nvidia gpu vereist. Is dat altijd het geval voor Whisper?

[g0tanks]

endemion schreef op zaterdag 18 november 2023 @ 20:33:
Ik kan daarin geen functie vinden die automatisch ondertitels aan maakt. Kan dat via een google plugin oid?

Die feature zou er wel in moeten zitten:

Audio to text (speech recognition) via Whisper or Vosk/Kaldi

[endemion]

Bedankt g0tanks, ik heb de functie gevonden. Zit blijkbaar onder "Video » Audio to text (Whisper)" of "Video » Audio to text (Vosk/Kaldi)". Heb er wellicht overheen gekken omdat ik naar zoiets als "generate subs" oid verwachtte.

(Jammer dat er niet ff een reactie van af kon eerder van dat zou daar moeten zitten oid. Hoop tijd verspeeld daardoor.)

Ben nu via Subtitle Edit » Whisper » Faster Whisper aan 't uitproberen, daar bedoel ik mee de verschillende models. Eerst Medium.en gedaan; geeft voor zover het beste en prima resultaat. Tiny, Base en Small, niet zo best in vergelijk (ik gebruik wel een vrij lastige video voor testen). Small.en specifiek doet het ook best goed, beste kwaliteit snelheid verhouding wat neer komt op ongeveer 3x speed (op CPU).