[Ervaringen] Auto-Sub Bootstrap Bill

[Tommiiee]

Ben(V) schreef op zaterdag 20 februari 2016 @ 17:38:
Als je weer diezelfde meldingen hebt van de request libraries dan ligt dat daar wel aan.
die was je kwijt nadat je de oude request had terug gezet.

Ik heb diezelfde subtile al een paar keer bij mezelf getest en die download prima.

Mja volgens mij was het die niet, maar ik ga ff proberen om die oude libraries weer terug te zetten.

[Ben(V)]

Eureka!!

Een van de dingen die Opensubtitles in z'n API teruggeeft is de encoding van de subfile.
Dus of hij UTF-8 of bijvoorbeeld een windows encoding heeft.
Die informatie is niet altijd bekent en dan analyseer ik het subbestand om de juiste codering te gebruiken.
Ik ging ervan uit dat de API het veld 'encoding' leeg zou laten als hij het niet wist, maar er staat 'unkown' in en die codec kent python niet

Ik moet dus testen op 'Unknown' en niet op leeg.
Momentje heb zo een nieuwe versie.

[Tommiiee]

Top, want hij is weer gecrasht

[Ben(V)]

Deze versie zou de oplossing moeten zijn.
Staat op de github

[Tommiiee]

Is het voldoende om alleen onderstaande te vervangen (heb geen git)?

- OpenSubtitles.py
- downloadSubs.py
- getSubLinks.py
- version.py

[Ben(V)]

Ja is voldoende

[Tommiiee]

Hij heeft zojuist een subtitle binnengehaald voor de aflevering waarop hij steeds crashte, dus looking good!

[Ben(V)]

Hoop dat het nu echt opgelost is.
In ieder geval bedankt voor het helpen met testen.

[Tommiiee]

Ben(V) schreef op zaterdag 20 februari 2016 @ 19:35:
Hoop dat het nu echt opgelost is.
In ieder geval bedankt voor het helpen met testen.

Hij loopt nu al meer dan een uur probleemloos en haalt aan de lopende band subs binnen.

Graag gedaan voor het testen, bedankt voor het fixen

[ParaDoXke]

De laatste versie download hier terug wel subtitles, maar kan bij mij nog steeds niet inloggen op opensubtitles. Als ik in de settings men muis op de i zet achter opensubtitles zegt deze nog altijd 'Temporarily not available due to changes of the opensubtitles website'. Heb ik nog een verkeerde versie, of is dit nog niet aangepast?

Edit:

Te vroeg gejuiched. Hij crashed terug.

code:

Traceback (most recent call last):
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/autosub/Scheduler.py", line 21, in __init__
    self.command.run()
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/autosub/checkSub.py", line 130, in run
    if not DownloadSub(downloadItem, allResults):
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/autosub/downloadSubs.py", line 204, in DownloadSub
    SubData = subseeker(Sub['url'],Sub['website'])
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/autosub/downloadSubs.py", line 119, in subseeker
    Result= requests.get(SubLink)
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/api.py", line 67, in get
    return request('get', url, params=params, **kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/api.py", line 53, in request
    return session.request(method=method, url=url, **kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/sessions.py", line 468, in request
    resp = self.send(prep, **send_kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/sessions.py", line 597, in send
    history = [resp for resp in gen] if allow_redirects else []
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/sessions.py", line 195, in resolve_redirects
    **adapter_kwargs
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/sessions.py", line 576, in send
    r = adapter.send(request, **kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/adapters.py", line 447, in send
    raise SSLError(e, request=request)
SSLError: ("bad handshake: Error([('SSL routines', 'SSL3_GET_SERVER_CERTIFICATE', 'certificate verify failed')],)",)

Kan het zijn dat er nog een addon voor ssl of zo moet geinstalleerd worden?


Edit 2:

Ik zie ook dat op de webinterface de laatst gedownloade subs op een uur geleden staan ipv op het huidige uur. Kan het zijn dat het certificaat niet geldig is omdat er iets mis et met de tijd?

[ Voor 79% gewijzigd door ParaDoXke op 20-02-2016 20:28 ]

[Ben(V)]

Jouw linux versie is te oud voor de nieuwe request library.
De nieuwe request versie is noodzakelijk om te kunnen functioneren met nieuwere linux versies.

Als je jou linux niet kunt updaten moet je de request library die autosub meelevert vervangen door een oude versie.

[ Voor 86% gewijzigd door Ben(V) op 20-02-2016 21:06 ]

[Ben(V)]

ParaDoXke schreef op zaterdag 20 februari 2016 @ 20:16:
De laatste versie download hier terug wel subtitles, maar kan bij mij nog steeds niet inloggen op opensubtitles. Als ik in de settings men muis op de i zet achter opensubtitles zegt deze nog altijd 'Temporarily not available due to changes of the opensubtitles website'. Heb ik nog een verkeerde versie, of is dit nog niet aangepast?

Edit:

Te vroeg gejuiched. Hij crashed terug.

code:

Traceback (most recent call last):
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/autosub/Scheduler.py", line 21, in __init__
    self.command.run()
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/autosub/checkSub.py", line 130, in run
    if not DownloadSub(downloadItem, allResults):
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/autosub/downloadSubs.py", line 204, in DownloadSub
    SubData = subseeker(Sub['url'],Sub['website'])
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/autosub/downloadSubs.py", line 119, in subseeker
    Result= requests.get(SubLink)
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/api.py", line 67, in get
    return request('get', url, params=params, **kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/api.py", line 53, in request
    return session.request(method=method, url=url, **kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/sessions.py", line 468, in request
    resp = self.send(prep, **send_kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/sessions.py", line 597, in send
    history = [resp for resp in gen] if allow_redirects else []
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/sessions.py", line 195, in resolve_redirects
    **adapter_kwargs
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/sessions.py", line 576, in send
    r = adapter.send(request, **kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill/library/requests/adapters.py", line 447, in send
    raise SSLError(e, request=request)
SSLError: ("bad handshake: Error([('SSL routines', 'SSL3_GET_SERVER_CERTIFICATE', 'certificate verify failed')],)",)

Kan het zijn dat er nog een addon voor ssl of zo moet geinstalleerd worden?


Edit 2:

Ik zie ook dat op de webinterface de laatst gedownloade subs op een uur geleden staan ipv op het huidige uur. Kan het zijn dat het certificaat niet geldig is omdat er iets mis et met de tijd?

Even gegoogeld en ja als je systeemtijd een uur afwijkt kun je zo'n error krijgen.

[ParaDoXke]

Het rare is dat dat date wel de juiste tijd geeft:
Sat Feb 20 21:10:56 CET 2016
Bij het starten ook:
[20/Feb/2016:21:11:43] ENGINE Serving on 0.0.0.0:8083
En ook in de loggings:
2016-02-20 21:12:27,321 DEBUG Addic7edAPI: Resting for 30 seconds to prevent a ban

Maar bij de downloaded subtitles staat het uur 1 uur verkeerd.

[Tommiiee]

Krijg ondertussen wel dit binnen zie ik, maar Autosub is iig niet gecrasht

code:

2016-02-20 21:01:43,795 ERROR  downloadSubs: Could not download any correct subtitle file for /DataVolume/shares/Public/Series/The Flash (2014)/Season 01/The.Flash.2014.S01E04.Going.Rogue.720p.WEB-DL.DD5.1.H.264-NTb.mkv
2016-02-20 21:03:35,888 ERROR  downloadSubs: Could not download any correct subtitle file for /DataVolume/shares/Public/Series/The Flash (2014)/Season 01/The.Flash.2014.S01E09.The.Man.in.the.Yellow.Suit.720p.WEB-DL.DD5.1.H.264-NTb.mkv
2016-02-20 21:11:28,960 ERROR  downloadSubs: Could not download any correct subtitle file for /DataVolume/shares/Public/Series/The Flash (2014)/Season 01/The.Flash.2014.S01E06.The.Flash.is.Born.720p.WEB-DL.DD5.1.H.264-NTb.mkv
2016-02-20 21:14:55,606 ERROR  downloadSubs: Could not download any correct subtitle file for /DataVolume/shares/Public/Series/The Flash (2014)/Season 01/The.Flash.2014.S01E12.Crazy.for.You.720p.WEB-DL.DD5.1.AAC2.0.H.264-YFN.mkv
2016-02-20 21:18:51,550 ERROR  Opensubtitles: Error from Opensubtitles search API

[Ben(V)]

Grappig net even gekeken en bij mij staat die tijd in het overzicht ook een uur verkeerd.
Ga zo eens zoeken waar het zit, maar vermoed dat dit er al heel lang inzit.

[Ben(V)]

Heb het tijd foutje aangepast, was iets met gmtime in plaats van localtime.
Verder heb ik die crash waarschijnlijk ook opgelost.
Vermoeddelijk een link van SubtitlesSeeker die niet meer beschikbaar was op podnapisi of subcene.
Heb een extra exception handler erbij gezet zodat hij hem negeert als het optreed.

Nieuwe versie is op github te vinden.

[Mystikal]

Ben(V) schreef op zaterdag 20 februari 2016 @ 17:51:
Eureka!!

Een van de dingen die Opensubtitles in z'n API teruggeeft is de encoding van de subfile.
Dus of hij UTF-8 of bijvoorbeeld een windows encoding heeft.
Die informatie is niet altijd bekent en dan analyseer ik het subbestand om de juiste codering te gebruiken.
Ik ging ervan uit dat de API het veld 'encoding' leeg zou laten als hij het niet wist, maar er staat 'unkown' in en die codec kent python niet

Ik moet dus testen op 'Unknown' en niet op leeg.
Momentje heb zo een nieuwe versie.

Ik ben hier van de week ook een uurtje of 4 mee aan het kloten geweest. Ik heb geen IT achtergrond dus heb heel veel gegoogled, maar zag niet wat ik fout deed. Eerst dacht ik dat het aan bepaalde serie folders lag. Maar ben hem nu opnieuw aan het installeren. Hopelijk ook opgelost voor mij!

[ParaDoXke]

Ik vermoed dat het niets te maken had met een link die niet meer beschikbaar was, maar eerder dat er iets stuk is in mijn ssl, en dat het daarom niet lukt om via https te verbinden. Ik heb nu in de__Init__.py de api van opensubtitles aangepast naar http ipv https, en nu lukt het wel om in te loggen open opensubtitles.

Ik probeer het een van de volgende dagen verder te bekijken. Nu ga ik een serietje kijken ;-)

[Ben(V)]

Zou best eens kunnen, heb hem op github dus ook maar naar http verandert.

[Tommiiee]

Hij heeft hier de hele queue nu zonder problemen afgewerkt

Ben nu van 328 naar 194 Wanted gegaan

Werkt als een dolle!

[Ben(V)]

Mooi

[ParaDoXke]

Ik ben op een nacht van 328 naar 29 gegaan. Ik hebwel podnapisi moeten uitschakelen, want hierop blijft hij crashen owv de ssl.
Ik zoek dit straks of morgen verder uit.

[TRaSH]

dat zijn een hoop api calls geweest.
maar wel een mooie opruiming van je wanted list

[Ben(V)]

ParaDoXke schreef op zondag 21 februari 2016 @ 08:38:
Ik ben op een nacht van 328 naar 29 gegaan. Ik hebwel podnapisi moeten uitschakelen, want hierop blijft hij crashen owv de ssl.
Ik zoek dit straks of morgen verder uit.

Je zit in de goede richting.
Podnapisi gebruikt tegenwoordig SSL en daar krijgen sommigen een 'certificate verify failed' eroor van.
Het ligt duidelijk aan de omgeving waar autosub op draait want ik kan noch op mijn windows omgeving noch op mijn Synology het reproduceren.
Het probleem zit vermoeddelijk in het feit dat je geen certificate op je systeem hebt staan dat door de podnapisi kant geaccepteerd wordt.

Ik zal 'verify=False' eens bij de bewuste request call zetten misschien dat dan het probleem is opgelost.
Dat is vanuit security niet netjes, maar al de andere websites werken helemaal niet met ssl dus die zijn nog veel meer 'unsecure'.

[Mystikal]

Helaas, sluit hij bij mij nog steeds af. Hij heeft wel sinds ik gisteren de laatste versie van autosub heb gedownload voor het eerst een hoop subtitles binnen gehaald. 106 om precies te zijn en nog 256 te gaan..
Dus het werkt al wel beter. Ik snap alleen niet waarom het proces weer gekillt is.

Ps: Het is niet mogelijk om alleen de nieuwe afleveringen van series te laten zoeken naar subs?


zie hieronder het laatste stukje van de code:

code:

2016-02-21 10:25:44,392 INFO  getSubLinks: SubtitleSeeker request URL: http://api.subtitleseeker.com/get/title_subtitles/?api_key=24430affe80bea1edf0e8413c3abf372a64afff2&imdb=2375692&season=02&episode=09&language=Dutch&return_type=json
2016-02-21 10:25:36,563 INFO  getSubLinks: SubtitleSeeker request URL: http://api.subtitleseeker.com/get/title_subtitles/?api_key=24430affe80bea1edf0e8413c3abf372a64afff2&imdb=2375692&season=03&episode=02&language=Dutch&return_type=json
2016-02-21 10:25:30,275 INFO  getSubLinks: SubtitleSeeker request URL: http://api.subtitleseeker.com/get/title_subtitles/?api_key=24430affe80bea1edf0e8413c3abf372a64afff2&imdb=2375692&season=03&episode=01&language=Dutch&return_type=json
2016-02-21 10:25:23,985 INFO  getSubLinks: SubtitleSeeker request URL: http://api.subtitleseeker.com/get/title_subtitles/?api_key=24430affe80bea1edf0e8413c3abf372a64afff2&imdb=4025456&season=02&episode=01&language=English&return_type=json
2016-02-21 10:25:17,523 INFO  getSubLinks: SubtitleSeeker request URL: http://api.subtitleseeker.com/get/title_subtitles/?api_key=24430affe80bea1edf0e8413c3abf372a64afff2&imdb=4025456&season=02&episode=01&language=Dutch&return_type=json
2016-02-21 10:25:17,504 INFO  OpenSubtitlesLogin: Login with User Mystikal. Message is: 200 OK
2016-02-21 10:25:17,277 INFO  AutoSub: Starting checkSub thread
2016-02-21 10:25:17,276 INFO  AutoSub: scanDisk thread started
2016-02-21 10:25:17,274 INFO  scanDir: Dutch and English subtitles wanted for Gang Related - S01E13 - 720p-dimension.mkv and added to wantedQueue
2016-02-21 10:25:17,270 INFO  scanDir: Dutch subtitle wanted for True.Detective.S01E08.Form.and.Void.1080p.BluRay.DTS.x264-Rovers (1).mkv and added to wantedQueue
2016-02-21 10:25:17,266 INFO  scanDir: Dutch subtitle wanted for The Walking Dead - S06E07 - 720p HDTV x264-0SEC.mkv and added to wantedQueue
2016-02-21 10:25:17,263 INFO  scanDir: Dutch subtitle wanted for The Walking Dead - S06E06 - 720p HDTV x264-0SEC.mkv and added to wantedQueue
2016-02-21 10:25:17,247 INFO  scanDir: Dutch and English subtitles wanted for Overspel - S03E09 - DUTCH1080p HDTV.mkv and added to wantedQueue
2016-02-21 10:25:17,244 INFO  scanDir: Dutch and English subtitles wanted for Overspel - S03E08 - DUTCH1080p HDTV.mkv and added to wantedQueue
2016-02-21 10:25:17,242 INFO  scanDir: Dutch and English subtitles wanted for Overspel - S03E06 - DUTCH 1080p HDTV.ts and added to wantedQueue
2016-02-21 10:25:17,239 INFO  scanDir: Dutch and English subtitles wanted for Overspel - S03E05 - DUTCH 1080p HDTV.ts and added to wantedQueue
2016-02-21 10:25:17,235 INFO  scanDir: Dutch and English subtitles wanted for Overspel - S03E04 - DUTCH 1080p HDTV.ts and added to wantedQueue
2016-02-21 10:25:17,232 INFO  scanDir: Dutch and English subtitles wanted for Overspel - S03E03 - DUTCH 1080p HDTV.ts and added to wantedQueue
2016-02-21 10:25:17,229 INFO  scanDir: Dutch and English subtitles wanted for Overspel - S03E02 - DUTCH 1080p HDTV.ts and added to wantedQueue
2016-02-21 10:25:17,226 INFO  scanDir: Dutch and English subtitles wanted for Overspel - S03E01 - DUTCH 1080p HDTV.ts and added to wantedQueue
2016-02-21 10:25:17,222 INFO  scanDir: Dutch and English subtitles wanted for Overspel - S03E07 - DUTCH1080p HDTV.mkv and added to wantedQueue
2016-02-21 10:25:17,217 INFO  scanDir: Dutch and English subtitles wanted for Black Sails - S03E05 - 720p HDTV x264-FLEET.mkv and added to wantedQueue
2016-02-21 10:25:17,214 INFO  scanDir: Dutch subtitle wanted for Black Sails - S02E10 - 720p HDTV x264-IMMERSE.mkv and added to wantedQueue
2016-02-21 10:25:17,211 INFO  scanDir: Dutch subtitle wanted for Black Sails - S02E09 - PROPER 720p HDTV X264-DIMENSION.mkv and added to wantedQueue
2016-02-21 10:25:17,206 INFO  scanDir: Dutch subtitle wanted for Black Sails - S03E01 - 720p HDTV x264-FLEET.mkv and added to wantedQueue
2016-02-21 10:25:17,203 INFO  scanDir: Dutch subtitle wanted for Black Sails - S02E01 - 720p HDTV x264-KILLERS.mkv and added to wantedQueue
2016-02-21 10:25:17,201 INFO  scanDir: Dutch subtitle wanted for Black Sails - S03E03 - 720p HDTV x264-KILLERS.mkv and added to wantedQueue
2016-02-21 10:25:17,197 INFO  scanDir: Dutch subtitle wanted for Black Sails - S01E01 - 720p HDTV x264-2HD.mkv and added to wantedQueue

[zeroday]

Dit is gewoon wat info van de log
zet um eens op debug

Mystikal schreef op zondag 21 februari 2016 @ 10:23:

code:

2016-02-21 10:25:44,392 INFO  getSubLinks: SubtitleSeeker request URL: http://api.subtitleseeker.com/get/title_subtitles/?api_key=24430affe80bea1edf0e8413c3abf372a64afff2&imdb=2375692&season=02&episode=09&language=Dutch&return_type=json
2016-02-21 10:25:36,563 INFO  getSubLinks: SubtitleSeeker request URL:

[ Voor 0% gewijzigd door zeroday op 21-02-2016 10:26 . Reden: typo ]

[Mystikal]

zeroday schreef op zondag 21 februari 2016 @ 10:26:
Dit is gewoon wat info van de log
zet um eens op debug


[...]

Dan zijn er geen meldingen.

[Ben(V)]

Die setting moet je saven en dan autosub stoppen en starten.
Daarna staat de debug log pas aan.

Overigens liggen de problemen bij podnapisi omdat die overgegaan zijn op ssl en sommige systemen hebben geen geldig certifikaat.
Vermoeddelijk kun je het beste podnapisi even uitzetten, die heeft meestal toch veel minder subs dan addic7ed en opnesubtitles.

[Ben(V)]

Het probleem zit in podnapisi die overgegaan is op ssl.
Ik kan het nu op m'n pc reproduceren.
Voorlopig moet iedereen podnapisi maar even uitzetten.

[ Voor 90% gewijzigd door Ben(V) op 21-02-2016 11:19 ]

[Mystikal]

Ga het proberen!

Podnapisi uitgezet in ieder geval. Het zal dan waarschijnlijk daar aangelegen hebben.

Hieronder nog de debug code.

code:

2016-02-21 12:05:01,767 DEBUG  getSubLinks: dump scorelist: None
2016-02-21 12:05:01,711 DEBUG  getSubLinks: Show ID: 4025456 - Addic7ed ID: None - Language: English - Release Details: {'lang': ['Dutch', 'English'], 'episode': u'01', 'title': u'Bluf', 'season': u'02', 'releasegrp': None, 'source': u'hdtv', 'codec': u'h264', 'originalFileLocationOnDisk': u'/volume4/D4_Movies/Multimedia/Series/Bluf/Bluf - S02E01 - 720p HDTV x264.mkv', 'timestamp': u'2015-09-08 23:31:45', 'container': u'mkv', 'quality': u'720p'}
2016-02-21 12:05:01,710 DEBUG  checkSub: trying to get a downloadlink for /volume4/D4_Movies/Multimedia/Series/Bluf/Bluf - S02E01 - 720p HDTV x264.mkv, language is English
2016-02-21 12:05:01,708 DEBUG  checkSub: no suitable subtitles were found for /volume4/D4_Movies/Multimedia/Series/Bluf/Bluf - S02E01 - 720p HDTV x264.mkv based on your minmatchscore
2016-02-21 12:04:55,498 DEBUG  getSubLinks: dump scorelist: None
2016-02-21 12:04:55,433 DEBUG  getSubLinks: Show ID: 4025456 - Addic7ed ID: None - Language: Dutch - Release Details: {'lang': ['Dutch', 'English'], 'episode': u'01', 'title': u'Bluf', 'season': u'02', 'releasegrp': None, 'source': u'hdtv', 'codec': u'h264', 'originalFileLocationOnDisk': u'/volume4/D4_Movies/Multimedia/Series/Bluf/Bluf - S02E01 - 720p HDTV x264.mkv', 'timestamp': u'2015-09-08 23:31:45', 'container': u'mkv', 'quality': u'720p'}
2016-02-21 12:04:55,432 DEBUG  checkSub: trying to get a downloadlink for /volume4/D4_Movies/Multimedia/Series/Bluf/Bluf - S02E01 - 720p HDTV x264.mkv, language is Dutch
2016-02-21 12:04:55,432 DEBUG  checkSub: ID's - IMDB: 4025456, Addic7ed: None
2016-02-21 12:04:55,431 DEBUG  getShowid: Returned ID's - IMDB: 4025456, Addic7ed: None, OpenSubtitles: None
2016-02-21 12:04:55,429 DEBUG  getShowid: Trying to get IMDB, Addic7ed and OpenSubtitles ID for Bluf
2016-02-21 12:04:55,197 DEBUG  checkSub: Starting round of checkSub
2016-02-21 12:04:55,194 DEBUG  scanDir: Finished round of local disk checking
2016-02-21 12:04:55,194 DEBUG  scanDisk: directory name: /volume4/D4_Movies/Multimedia/Series/The Americans (2013)
2016-02-21 12:04:55,192 DEBUG  ProcessFileName: Dumping dict for debug {'episode': u'13', 'title': u'Gang Related', 'season': u'01', 'releasegrp': u'dimension', 'source': None, 'codec': u'h264', 'container': u'mkv', 'quality': u'720p'}
2016-02-21 12:04:55,191 DEBUG  ProcessFileName: Dumping info {'season': u'01', 'title': u'Gang Related', 'episode': u'13', 'extra_info': u'720p-dimension'}
2016-02-21 12:04:55,190 DEBUG  scanDir: File Gang Related - S01E13 - 720p-dimension.mkv is missing subtitle(s): Dutch, English
2016-02-21 12:04:55,189 DEBUG  scanDisk: directory name: /volume4/D4_Movies/Multimedia/Series/Gang Related
2016-02-21 12:04:55,187 DEBUG  ProcessFileName: Dumping dict for debug {'episode': u'08', 'title': u'True Detective', 'season': u'01', 'releasegrp': None, 'source': u'bluray', 'codec': u'h264', 'container': u'mkv', 'quality': u'1080p'}
2016-02-21 12:04:55,185 DEBUG  ProcessFileName: Dumping info {'season': u'01', 'title': u'True.Detective', 'episode': u'08', 'extra_info': u'Form.and.Void.1080p.BluRay.DTS.x264-Rovers (1)'}
2016-02-21 12:04:55,184 DEBUG  scanDir: File True.Detective.S01E08.Form.and.Void.1080p.BluRay.DTS.x264-Rovers (1).mkv is missing subtitle(s): Dutch

[ Voor 189% gewijzigd door Mystikal op 21-02-2016 12:00 ]

[Ben(V)]

Ik heb het probleem gevonden.
Ik werd op het verkeerde been gezet door die certificate meldingen, maar het was veel simpeler.
Podnapisi is overgegaan op https en autosub gebruikte voor het downloaden nog gewoon http en dat werkt dus niet.

Het valt niet zo op omdat podnapisi bijna alleen beschikt over subs van oude series, de nieuwe komen bijna altijd van opensubtitles en addic7ed.

Ik heb een nieuwe versie (0.6.14) op de github gezet.

[drfruit]

Ik merkte dat veel subs niet werden gedownload omdat Sonarr "WEBRip" verandert in "WEBDL". Toen ik de bestandsnamen handmatig had aangepast, kwamen ze direct binnen.

Heb nu de (standaard) renaming in Sonarr maar uitgeschakeld. Dit zou tevens het niet skippen van "echte" web-dl's in autosub moeten verhelpen. Hopelijk zorgt het niet voor andere problemen.

[Ben(V)]

Renamen is nooit handig, je haalt vaak belangrijke informatie weg die autosub gebruikt om de juiste subs te vinden.

En die eigenwijze luitjes bij Sonarr die vinden dat WEBRIP het zelfde is als WEB-DL snap ik helemaal niet.

Als er dan een vraag over gestelt wordt, is het antwoordt dat je WEBRIP helemaal niet moet downloaden omdat de kwaliteit niet voldoende is. Alsof dat een antwoordt op de vraag zou zijn.

Overigens is die stelling ook nog eens onzin, vaak zijn de webrips de enige beschikbare versies.

En WEBRIP synced nooit met de subs van een WEB-DL en visa versa.

[Tommiiee]

Gaat Autosub eigenlijk een soort update knopje krijgen zoals CouchPotato en Sickbeard?

Vind het trouwens ook onhandig dat er geen restart knopje inzit, zeker omdat je voor sommige instellingen moet herstarten.

[Ben(V)]

Ik ben met een nieuwe versie bezig die in plaats van 'autosub bootstrapbill' weer gewoon 'autosub' zal gaan heten.

Daarin zitten beide functionaliteiten ingebouwd.

Ik ben eigenlijk alleen met deze versie bezig geweest om de problemen met opensubtitle op te lossen, wat even urgenter was.

[schumi2004]

Ik had hier een crash met laatste versie, 0.6.14 als ik het goed heb, de crash kan ik enigzins verklaren (geen schrijf rechten) maar ik zag ook dit in de log:

Weet niet of het een terechte melding is maar gezien de please report this meldingen leek het me zinvol
(api key heb ik gewist trouwens)
http://pastebin.com/6byzjLAg

[Ben(V)]

Ja geen schrijfrechten klopt. Typisch gevalletje Sonarr vermoed ik.
Die zet de schrijfrechten standaard verkeerd.
De groep 'users' moet schrijfrechten krijgen op de folder waar de video terecht komt.

Die meldingen komen doordat er van subtitleseeker resultaten terug komen die helemaal fout zijn.
Hij heeft bijvoorbeeld een aflevering die waarbij de naam enkel het woord 'Saul' bevat in plaats van iets als 'Better.Call.Saul.S01E03.Nacho.720p.WEB-DL-MMKV'

Van alleen het woord 'Saul' kan zelfs autosub geen chocolade maken.

Overigens zie ik voor beiden geen reden waarom autosub zou crashen.

[ Voor 46% gewijzigd door Ben(V) op 21-02-2016 17:29 ]

[Verwijderd]

Ben(V), wat heb je veranderd dat autosub opeens meer dan de helft van mijn wanted list die ik al tijden heb verwerkt heeft? Ik dacht eerst: er is iets grondig mis, ik ben na een update of twee (van jouw versie) opeens mijn halve wanted list kwijt, maar werkelijk alles klopt.

Top werk zeg! Had ik niet verwacht dat je hem zo goed kon laten draaien (omdat je al een tijd aangeeft toch wel wat problemen te hebben en hele stukken aan het herschrijven bent).

Fijn dat je het werk overgenomen hebt! Zelf zit ik trouwens nog op versie AUTO-SUB BOOTSTRAP BILL ALPHA 0.6.10, even wachten totdat een andere kenner op de repo van mdevries een update voor de synology gebruikers plaatst.

[ Voor 15% gewijzigd door Verwijderd op 21-02-2016 19:21 ]

[Ben(V)]

Ben blij dat het goed werkt.
Ik heb delen van wat ik aan het herschrijven ben in deze versie gestopt om hem beter te laten werken.

Ik heb martijn al gevraagd om van de laatste een nieuw package te maken, dus dat komt eraan.

Het verschil met jouw verdie is dat podnapisi op de jouwe niet werk.
Gewoon uitzetten is het beste tot de nieuwe versie er is.

[ Voor 23% gewijzigd door Ben(V) op 21-02-2016 19:49 ]

[ParaDoXke]

Het probleem bij mij is blijkbaar dat op men qnap openssl 1.0.1 staat waar een gekende bug in zit. Hierdoor krijgt python iets fouts terug van openssl, waardoor hij zegt dat het certificaat niet juist is.

Alles werkt, behalve downloads van podnapisi. Ik kan dit eventueel wel fixen door in de code Verify=False te plaatsen, maar dan moet ik dit telkens gaan aanpassen als er updates zijn.
Voorlopig ga ik gewoon in de logs kijken welke subs hij niet heeft kunnen downloaden van podnapisi, en ze dan zelf manueel downloaden. Voor die enkele subs zal dit ook nog wel lukken.

[Ben(V)]

Nee was niet het probleem.
Ik had niet door dat podnapisi overgeschakelt was op https in plaats van http.
Daar kwamen al die ssl foutenmeldingen vandaan.
Als je nu de laatste versie van autosub ( 0.6.14) erop zet dan is het probleem weg.

Ik kreeg trouwens net een berichtje van Martijn dat het Synology package ook geupdate is naar deze versie.

[ParaDoXke]

Ik heb de laatste versie draaien, en heb nog steeds het probleem. Hij crashed niet meer, maar ik krijg in men log nog altijd fouten bij podnapisi:

code:

2016-02-21 21:10:11,974 DEBUG  downloadSubs: Trying to download subtitle from podnapisi.net using this link http://www.subtitleseeker.com/Download-tv-741233/Suits.S01E09.720p.HDTV.X264-DIMENSION
2016-02-21 21:10:11,974 DEBUG  downloadSubs: Scraper for podnapisi.net is chosen for subtitle /share/CACHEDEV1_DATA/SHARED/Series/Suits/Season 1/Suits.S01E09.720p.HDTV.X265-MRSK.nl.srt
2016-02-21 21:10:18,711 ERROR  subseeker: Failed to get the downloadpage. Message : ("bad handshake: Error([('SSL routines', 'SSL3_GET_SERVER_CERTIFICATE', 'certificate verify failed')],)",)
2016-02-21 21:10:18,713 ERROR  downloadSubs: Could not download any correct subtitle file for /share/CACHEDEV1_DATA/SHARED/Series/Suits/Season 1/Suits.S01E09.720p.HDTV.X265-MRSK.mkv

Test ik het in pyhon zelf, dan krijg ik dit:

code:

requests.get('https://www.podnapisi.net')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/share/CACHEDEV1_DATA/.qpkg/QPython2/lib/python2.7/site-packages/requests/api.py", line 69, in get
    return request('get', url, params=params, **kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/QPython2/lib/python2.7/site-packages/requests/api.py", line 50, in request
    response = session.request(method=method, url=url, **kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/QPython2/lib/python2.7/site-packages/requests/sessions.py", line 468, in request
    resp = self.send(prep, **send_kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/QPython2/lib/python2.7/site-packages/requests/sessions.py", line 576, in send
    r = adapter.send(request, **kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/QPython2/lib/python2.7/site-packages/requests/adapters.py", line 433, in send
    raise SSLError(e, request=request)
requests.exceptions.SSLError: ("bad handshake: Error([('SSL routines', 'SSL3_GET_SERVER_CERTIFICATE', 'certificate verify failed')],)",)

Zelfs als ik het path naar de certificaten meegeef krijg ik fouten:

code:

>>> requests.get('https://www.podnapisi.net', auth=requests.certs.where())
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/share/CACHEDEV1_DATA/.qpkg/QPython2/lib/python2.7/site-packages/requests/api.py", line 69, in get
    return request('get', url, params=params, **kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/QPython2/lib/python2.7/site-packages/requests/api.py", line 50, in request
    response = session.request(method=method, url=url, **kwargs)
  File "/share/CACHEDEV1_DATA/.qpkg/QPython2/lib/python2.7/site-packages/requests/sessions.py", line 454, in request
    prep = self.prepare_request(req)
  File "/share/CACHEDEV1_DATA/.qpkg/QPython2/lib/python2.7/site-packages/requests/sessions.py", line 388, in prepare_request
    hooks=merge_hooks(request.hooks, self.hooks),
  File "/share/CACHEDEV1_DATA/.qpkg/QPython2/lib/python2.7/site-packages/requests/models.py", line 297, in prepare
    self.prepare_auth(auth, url)
  File "/share/CACHEDEV1_DATA/.qpkg/QPython2/lib/python2.7/site-packages/requests/models.py", line 487, in prepare_auth
    r = auth(self)
TypeError: 'str' object is not callable

Maak ik geen gebruik van de request.get functie, maar test ik het gewoon met openssl met het path naar de certificaten, dan krijg ik wel een goede reply:

code:

[/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill] # openssl s_client -connect podnapisi.net:443 -CAfile `python -c 'import requests; print(requests.certs.where())'`
CONNECTED(00000003)

...
Hier een hoop info over de certificaten
...

    Timeout   : 300 (sec)
    Verify return code: 0 (ok)

Zonder het path naar de certificaten lukt het met openssl ook niet:

code:

[/share/CACHEDEV1_DATA/.qpkg/autosub/autosub-bootstrapbill] # openssl s_client -connect podnapisi.net:443
CONNECTED(00000003)

...
Hier een hoop info over de certificaten
...

    Start Time: 1456085850
    Timeout   : 300 (sec)
    Verify return code: 20 (unable to get local issuer certificate)

Edit:

Doe ik de request vanuit python met verify=False, dan krijg ik wel een warning, maar ik krijg toch response 200 (=OK):

code:

>>> requests.get('https://www.podnapisi.net', verify=False)
/share/CACHEDEV1_DATA/.qpkg/QPython2/lib/python2.7/site-packages/requests/packages/urllib3/connectionpool.py:789: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.org/en/latest/security.html
  InsecureRequestWarning)
<Response [200]>

[ Voor 6% gewijzigd door ParaDoXke op 21-02-2016 21:40 ]

[Ben(V)]

Ik kreeg die meldingen eerst ook, maar toen ik autosub voor podnapisi overschakelde naar https was het weg.

Ik weet niet welke python versie je draait, maar ik las ook ergens over een probleem met ssl en python lager dan 2.7.9

Om de warning weg te krijgen kun je dit opnemen.
requests.packages.urllib3.disable_warnings()

Als upgraden naar een hogere python versie niet werkt (of je zal daar al) zal ik die verify=False wel inbouwen.

[ Voor 14% gewijzigd door Ben(V) op 21-02-2016 21:52 ]

[ParaDoXke]

Ik draai python 2.7.11
Het probleem zou zijn dat er iets stuk is in ssl3 in openssl 1.0.1.

[Ben(V)]

Nee want ik draai ook 2.7.11 zowel op mijn PC als op mij Synology NAS en op beiden werkt het prima.

Requests werkt normaal met zijn eigen meegeleverde certificaten.
Het vreemde is dat het bij jouw niet werkt.
Je kunt ook andere certificaten gebruiken met verify='/path/to/certfile'

By default Requests bundles a set of root CAs that it trusts, sourced from the Mozilla trust store. However, these are only updated once for each Requests version. This means that if you pin a Requests version your certificates can become extremely out of date.

From Requests version 2.4.0 onwards, Requests will attempt to use certificates from certifi if it is present on the system. This allows for users to update their trusted certificates without having to change the code that runs on their system.

For the sake of security we recommend upgrading certifi frequently!

Als er dus een certificate van certifi op je systeem aanwezig is zal Requests dat proberen te gebruiken en als die niet meer geldig is krijg je ook dit soort problemen.
Kun je eens proberen om verify= 'path naar certificate' in autosub te stoppen om te zien of hij dan wel goed loopt.

[ Voor 125% gewijzigd door Ben(V) op 22-02-2016 13:09 ]

[Obscurax]

Werkt goed hier, Bootstrap Bill, Alpha 0.6.14 met Python 2.7.11.
Ik heb momenteel nog 524 entries, vannacht zijn er nog zo'n 50tal subs binnengekomen.

ScanDisk 30000
CheckSub 30600

Met deze settings vliegt hij er niet meer uit.

[xoniq]

Ik zit al ruim 24 uur tegen dit aan te kijken in de log:

2016-02-21 17:15:24,562 INFO checkSub: Exiting, another threat is using the queues. Will try again in 60 seconds
2016-02-21 17:15:43,194 DEBUG scanDir: Starting round of local disk checking at /mapje1,/mapje2,/mapje3
2016-02-21 17:15:43,195 DEBUG scanDir: Exiting, another threat is using the queue's. Will try again in 60 seconds
2016-02-21 17:16:25,621 DEBUG checkSub: Starting round of checkSub

Al 24 uur exact die 4 regels achter elkaar aan. Hele log vol.

[Pantagruel]

CRXDelSol schreef op maandag 22 februari 2016 @ 15:57:
Ik zit al ruim 24 uur tegen dit aan te kijken in de log:


[...]


Al 24 uur exact die 4 regels achter elkaar aan. Hele log vol.

Hoeveel sub's heb je nog in je wanted que staan en wat is CheckSub setting?
Wellicht heb je nog een mega que aan sub's open staan die niet doorlopen kan worden voor de volgende checksub opgestart word. Gezien de melding dat er al een que loopt, lijkt dit wel t geval te zin.

[TRaSH]

Lijkt op wat eerder voorbij kwam,
Je hebt of de scan tijd te kort,
Of erg veel in de wanted lijst.

[Ben(V)]

CRXDelSol schreef op maandag 22 februari 2016 @ 15:57:
Ik zit al ruim 24 uur tegen dit aan te kijken in de log:


[...]


Al 24 uur exact die 4 regels achter elkaar aan. Hele log vol.

Volgens mij blijft scandir ergens op hangen.
Kan gebeuren als je filesystemvan slag is, dan zit er een soort van circulaire verwijzing in.
Maak een een listing van je videofolder en subfolders daaronder naar een file en bekijk die eens.

Je kunt ook even autosub stoppen en weer starten en kijken of hij door die eerste scandir heen komt.

[xoniq]

Ben(V) schreef op maandag 22 februari 2016 @ 19:58:
[...]


Volgens mij blijft scandir ergens op hangen.
Kan gebeuren als je filesystemvan slag is, dan zit er een soort van circulaire verwijzing in.
Maak een een listing van je videofolder en subfolders daaronder naar een file en bekijk die eens.

Je kunt ook even autosub stoppen en weer starten en kijken of hij door die eerste scandir heen komt.

ScanDisk: 21600
CheckSub: 28800

Heb nog 1.021 items in de wanted list.
Hij doet gewoon helemaal niks. Want in die 24 uur aan dubbele regels zie ik nergens dat ie ook maar op een site zoekt. Ik zie in de log (debug) modus echt niks anders dan een herhaling van die 4 regels voor 24 uur lang. Dus hij blijft hangen, doet gewoon niks.

[ Voor 41% gewijzigd door xoniq op 22-02-2016 20:24 ]

[Ben(V)]

Tja dat zei ik dus al.
Nog iets met mijn suggesties gedaan?

[zeroday]

CRXDelSol schreef op maandag 22 februari 2016 @ 15:57:
Ik zit al ruim 24 uur tegen dit aan te kijken in de log:


[...]


Al 24 uur exact die 4 regels achter elkaar aan. Hele log vol.

En als je niets doet blijft dit ook zo na 48 uur..
je zal even je NAS moeten rebooten of de autosub task moeten killen en herstarten, zonder dat
een circeltje waarin je blijft hangen . Eigenlijk schrijf ik hetzelfde als BenV maar wellicht lees je dit beter ;-)

[xoniq]

zeroday schreef op maandag 22 februari 2016 @ 21:31:
[...]


En als je niets doet blijft dit ook zo na 48 uur..
je zal even je NAS moeten rebooten of de autosub task moeten killen en herstarten, zonder dat
een circeltje waarin je blijft hangen . Eigenlijk schrijf ik hetzelfde als BenV maar wellicht lees je dit beter ;-)

Dat weet ik, ik liet 'm even 24 uur zo door gaan kijken of ie het dan gewoon weer oppakte, ik herstart AutoSub elke dag enkele keren. Dan gaat ie gewoon weer verder.

Ben(V) schreef op maandag 22 februari 2016 @ 21:05:
Tja dat zei ik dus al.
Nog iets met mijn suggesties gedaan?

Mijn filesystem is weinig mis mee, ik onderhoud die juist veel, puur omdat ik notificaties op mijn iPhone krijg als mijn schijfruimte onder een bepaald punt komt, dan ga ik er ff heen SSH'en en wat meuk opruimen. Heb 3 folder gekoppeld. Bevatten films in de juiste format:

Map: Filmnaam (jaar)
> Film: Filmnaam (jaar) etc etc etc.

Dus weinig spannends aan.

[Grolsch]

Je weet dat autosub niet werkt voor films

Reduceer eens je wanted list naar 100 ofzo, werkt het dan wel

[Verwijderd]

CRXDelSol schreef op maandag 22 februari 2016 @ 20:24:
ScanDisk: 21600
CheckSub: 28800

Heb nog 1.021 items in de wanted list

Waa het niet zo dat voor een site als addic7ed er een minuut tussen elke zoekopdracht zit? Dan lukt dit aantal subs niet met jouw instellingen.

op mijn synologys werkt drives van verschillnde nassen niet zo lekker, zit soms een hikje in waar bijv. mijn mediaspelers zich in verslikken. Misschien autosub ook (als je ook synologys hebt)?

Verder gaat autosub volgens mij niet verder bij een herstart, maar begint hij opnieuw. Met het aantal subs dat jij zoekt komt hij dan niet tot het eind schat ik in.

[ Voor 13% gewijzigd door Verwijderd op 22-02-2016 21:41 ]

[zeroday]

CRXDelSol schreef op maandag 22 februari 2016 @ 20:24:
[...]

ScanDisk: 21600
CheckSub: 28800

Heb nog 1.021 items in de wanted list.
Hij doet gewoon helemaal niks. Want in die 24 uur aan dubbele regels zie ik nergens dat ie ook maar op een site zoekt. Ik zie in de log (debug) modus echt niks anders dan een herhaling van die 4 regels voor 24 uur lang. Dus hij blijft hangen, doet gewoon niks.

Met bovenstaande waarden ga je met 1021 items het nooit redden

86400
72000

zijn twee waarden waar je ver mee komt, maar zelfs dan zal je met 1021 items nog in de problemen komen.
De scans naar bijv. Addic7ed heeft per request zo'n 60 tot 90 seconden nodig. Dus dik 18 uur (als het niet meer is) heb je nodig voor één run.

ik heb maanden op de 800 subs gezeten en dat ging 1 tot 2 weken goed met bovenstaande settings en toen kwam die in bovenstaande loep ..
Afgelopen week een berg series uit de scan gehaald zodat er minder 'benodigde subs' overbleven. Moet je ook doen

[xoniq]

Grolsch schreef op maandag 22 februari 2016 @ 21:37:
Je weet dat autosub niet werkt voor films

Reduceer eens je wanted list naar 100 ofzo, werkt het dan wel

Ja dat weet ik, ik geef alleen even aan hoe logisch de format is. Verkeerde voorbeeld.

code:

Series
   > Serie naam (jaar)
      > Seizoen map 1
          > Aflevering video bestand 1
          > Aflevering video bestand 2
          > Aflevering video bestand 3

zeroday schreef op maandag 22 februari 2016 @ 21:43:
[...]


Met bovenstaande waarden ga je met 1021 items het nooit redden

86400
72000

zijn twee waarden waar je ver mee komt, maar zelfs dan zal je met 1021 items nog in de problemen komen.
De scans naar bijv. Addic7ed heeft per request zo'n 60 tot 90 seconden nodig. Dus dik 18 uur (als het niet meer is) heb je nodig voor één run.

ik heb maanden op de 800 subs gezeten en dat ging 1 tot 2 weken goed met bovenstaande settings en toen kwam die in bovenstaande loep ..
Afgelopen week een berg series uit de scan gehaald zodat er minder 'benodigde subs' overbleven. Moet je ook doen

Ah dat betekend dus dat ie het perse moet afronden in die tijd. Ik dacht dat het werkte zoals ik het zou oplossen; dat ie dan (in mijn geval) elke 8 uren gewoon gaat checken van:

"Ben je bezig?"
"Nee"
"Okee, dan gaan we beginnen"

* 8 uren later *

"Ben je bezig?"
"Ja!"
"Okee, dan laat ik je verder gaan, we praten over 8 uur verder."

Etc.
Althans dat is hoe ik cronjobs bouw op mijn werk, die meerdere keren asynchroon kunnen worden aangeroepen. Ik zocht het dus in die logica.

[Ben(V)]

Er zijn twee threads in autosub.
Een scandisk thread die de disk scant en een lijst van video's maakt waar subs voor gezocht worden.
Scandisk loopt zelf met 1000 video's maar enkele sconden,zeker niet meer dan een halve minuut.

De andere thread is checksub die loopt erg lang zeker alsje addic7ed aan hebt staan.
Reken op een minuut per video, dus bij 1000 video's is dat is meer dan 16 uur.

Als er een thread nog loopt dan wordt een thread niet opnieuw gestart, maar komt er een melding dat er nog een thread bezig is.Hij probeert dat elke minuut opnieuw.

De bedoeling is dat een gebruiker snapt dat hij z'n timers te laag heeft staan en die aanpast.
Als je dan hardnekkig bent en gewoon blijft proberen die 1000 sub te vinden ( die er toch nooit komen),dan gebeurd er gewoon niets meer.

Overigens zijn dit soort gebruikers de reden die websites zoals addic7ed en opensubtitles ertoe aanzetten om programma's zoals autosub te gaan blokkeren.
Je moest eens weten hoe ik m'n best heb moeten doen een Api key te krijgen voor opensubtitles.

Dan kunnen we weer allemaal zelf met de hand gaan zoeken.

Hoe wil je in hemelsnaam al die video's gaan kijken?

[Verwijderd]

Je kan een keer een been breken ofzo zeg ik altijd. Maar oude series met subs meepakken is wel handiger. Dit kan autosub amper behappen. Ik neem dus aan dat het ouder series zijn, wellicht handiger om autosub op een computer die oude series te laten doen wanneer je zin hebt en op de nas autosub alleen voor recent materiaal te laten draaien.

Wat info hoeveel tijd het kost per sub is wellicht een idee om toe te voegen als hel balonnetje in autosub? Komt hier toch geregeld terug. Als je nu hoort dat het 18 uur duurt denk je ook: dat moet ik toch anders aanpakken. Hoop dat het mensen aanet om erover na te denken, als heel veel dit gaan doen zegt een addiced of andere site inderdaad: we stoppen ermee. Handmatig oude series zoeken werkt soms ook sneller omdat je een heel seizoen in 1 keer kan downloaden.

Dus check geregeld je lijst en doe dat handmatig, soms werkt een sub die je al lang zoekt van een andere spirce bijvoorbeld ook goed en kan je zelf de wantd list inkorten.

Zodra je boven de 100 komt zoek je erg veel, zou niet structureel moeten zijn. Althans niet voor maanden en maanden. Wil je het wel? Doneer dan ook eens aan de sites waar autosub zoekt.

[ Voor 59% gewijzigd door Verwijderd op 22-02-2016 22:44 ]

[zeroday]

Verwijderd schreef op maandag 22 februari 2016 @ 22:37:
Je kan een keer een been breken ofzo zeg ik altijd. Maar oude series met subs meepakken is wel handiger. Dit kan autosub amper behappen. Ik neem aan dat het ouder series zijn, wellicht handiger om autosub op een computer die oude series te laten doen wanneer je zin hebt en op de nas autosub alleen voor recent materiaal te laten draaien.

Op het moment dat je, zoals ik, praktisch elke serie download omdat je als TV Freak (vanavond maar 2 series, gekeken (Billions & Shameless)) vaak gevraagd wordt wat je van een serie vind dan kan het gebeuren dat bepaalde series wel binnen komen, je hooguit 1 of 2 afleveringen hebt gezien en dat ze toch in een wanted list komen .. En met 20 tot 30 nieuwe series per jaar en evenzoveel nieuwe seizoenen kan dan een wanted list echt oplopen.
En soms komt het voor dat je totaal over een serie heen kijkt en dat je achteraf hem krijgt en dan nog eventueel subs nodig zou moeten hebben .. (Bijv. tig seizoenen Boardwalk Empire ) ..

Tuurlijk kijk je niet alles of blijf je niet alles kijken maar het zorgt wel dat je uiteindelijk 'beheer' moet doen.

[Verwijderd]

ik herken het hoor, maar 1000 is wel heel veel voor lopende series (helaas niet zoveel boeiends momenteel wat nieuw is, althans niet voor mijn smaak). Ik verwijt ook niemand wat. Ik doneer soms aan addic7ed bijvoorbeeld, paar euro als ik eraan denk. Meld ik erbij dat ik autosub gebruik. Geen idee of het helpt, maar de meeste sites waarderen dit wel. Meestal halen ze de inkomsten uit reclame en met autosub zie je die niet.

En af en toe wat beheer doen is wel handig. Ik moet het helaas doen omdat mijn lopende series maar op 3 TB passen en dat is niet veel met al die 1080p versies van vandaag de dag. Ik verplaats ze meestal pas als de serie beeindigd is.

Ik kan in 9 van de 10 gevallen ook prima met usa subs overweg, jammer dat autosub niet ziet of die in de mkv's zitten (webrips).

[ Voor 17% gewijzigd door Verwijderd op 22-02-2016 22:55 ]

[xoniq]

Ben(V) schreef op maandag 22 februari 2016 @ 22:09:
Er zijn twee threads in autosub.
Een scandisk thread die de disk scant en een lijst van video's maakt waar subs voor gezocht worden.
Scandisk loopt zelf met 1000 video's maar enkele sconden,zeker niet meer dan een halve minuut.

De andere thread is checksub die loopt erg lang zeker alsje addic7ed aan hebt staan.
Reken op een minuut per video, dus bij 1000 video's is dat is meer dan 16 uur.

Als er een thread nog loopt dan wordt een thread niet opnieuw gestart, maar komt er een melding dat er nog een thread bezig is.Hij probeert dat elke minuut opnieuw.

De bedoeling is dat een gebruiker snapt dat hij z'n timers te laag heeft staan en die aanpast.
Als je dan hardnekkig bent en gewoon blijft proberen die 1000 sub te vinden ( die er toch nooit komen),dan gebeurd er gewoon niets meer.

Overigens zijn dit soort gebruikers de reden die websites zoals addic7ed en opensubtitles ertoe aanzetten om programma's zoals autosub te gaan blokkeren.
Je moest eens weten hoe ik m'n best heb moeten doen een Api key te krijgen voor opensubtitles.

Dan kunnen we weer allemaal zelf met de hand gaan zoeken.

Hoe wil je in hemelsnaam al die video's gaan kijken?

Dat zijn mijn totale series. Ik heb AutoSub opnieuw geïnstalleerd, in die wanted lijst staan afleveringen waar gewoon een NL en EN vlag bij staan, oftewel de subs zijn er wel, maar deze wil ie toch hoe dan ook gaan door 'spideren'.

En 'voor die mensen als mij' willen ze zulke dingen blokkeren? Ik voeg mijn serie map toe, ik geef niet aan dat ie perse al mijn oude series moet gaan spideren (die ik nog moet zien), maar het is een éénmalige actie om dat te kunnen bijwerken. Ik ben juist iemand die weet hoe vervelend API spamming is, zit zelf in de webdesign business. Echter ontkom ik hier niet aan als ik mijn serie map voor het eerst doorloop met AutoSub.

Overigens:

code:

Traceback (most recent call last):
  File "/home/xbmc/autosub-bootstrapbill/autosub/Scheduler.py", line 21, in __init__
    self.command.run()
  File "/home/xbmc/autosub-bootstrapbill/autosub/checkSub.py", line 114, in run
    allResults = autosub.getSubLinks.getSubLinks(showid, a7_id, lang, wantedItem)
  File "/home/xbmc/autosub-bootstrapbill/autosub/getSubLinks.py", line 180, in getSubLinks
    scoreListSubSeeker = SubtitleSeeker(ImdbId, lang, releaseDetails, sourceWebsites)
  File "/home/xbmc/autosub-bootstrapbill/autosub/getSubLinks.py", line 35, in SubtitleSeeker
    log.error("getSubLink: The server returned an error for request %s" % getSubLinkUrl)
NameError: global name 'getSubLinkUrl' is not define

Verwijderd schreef op maandag 22 februari 2016 @ 22:51:
ik herken het hoor, maar 1000 is wel heel veel voor lopende series (helaas niet zoveel boeiends momenteel wat nieuw is, althans niet voor mijn smaak). Ik verwijt ook niemand wat. Ik doneer soms aan addic7ed bijvoorbeeld, paar euro als ik eraan denk. Meld ik erbij dat ik autosub gebruik. Geen idee of het helpt, maar de meeste sites waarderen dit wel. Meestal halen ze de inkomsten uit reclame en met autosub zie je die niet.

En af en toe wat beheer doen is wel handig. Ik moet het helaas doen omdat mijn lopende series maar op 3 TB passen en dat is niet veel met al die 1080p versies van vandaag de dag. Ik verplaats ze meestal pas als de serie beeindigd is.

Ik kan in 9 van de 10 gevallen ook prima met usa subs overweg, jammer dat autosub niet ziet of die in de mkv's zitten (webrips).

Ik heb nooit aangegeven dat het lopende series zijn. Ik gaf al aan, het zijn bij mij onder andere series als Smallville, Lost, 24, Hawaii Five-0 enz, dan heb je het ook over flink wat afleveringen, dan is 1000 afleveringen niet zo veel. En die worden bij een schone installatie van AutoSub tenminste één keer geïndexeerd, dan is het niet zo vreemd dat deze redelijk wat door moet lopen? Ach, wie ben ik; ik ben 'één van die mensen' waar dergelijke websites tegen op treden wegens misbruik van de diensten. Terwijl ik juist deze diensten voorheen enkel gebruikte om puur met Infuse/Kodi tijdens het kijken van een aflevering een sub te pakken.

[schumi2004]

Ik heb maar even Debug aangeslingerd, krijg zo nu en dan toch nog crashes.

[Obscurax]

Obscurax schreef op maandag 22 februari 2016 @ 12:00:
Werkt goed hier, Bootstrap Bill, Alpha 0.6.14 met Python 2.7.11.
Ik heb momenteel nog 524 entries, vannacht zijn er nog zo'n 50tal subs binnengekomen.

ScanDisk 30000
CheckSub 30600

Met deze settings vliegt hij er niet meer uit.

Ik ben wat te voorbarig geweest, hij is er weer mee gestopt.
CheckSub start opnieuw terwijl er geen api calls meer zijn.
En dan start er een scanDir terwijl de CheckSub eigenlijk niets aan het doen is want de api calls zijn op.
Kan dit opgevangen worden?

code:

2016-02-22 22:10:34,815 WARNING  checkSub: out of api calls
2016-02-22 22:10:35,517 INFO  Addic7edAPI: Logged out
2016-02-22 22:10:35,517 DEBUG  checkSub: Finished round of checkSub
2016-02-22 23:14:45,354 INFO  Addic7ed: Retrieving Addic7ed download count
2016-02-22 23:14:45,354 DEBUG  Addic7edAPI: Logging in
2016-02-22 23:14:45,572 INFO  Addic7edAPI: Logged in
2016-02-22 23:14:55,743 DEBUG  Addic7edAPI: Resting for 30 seconds to prevent a ban
2016-02-22 23:15:26,275 INFO  Addic7edAPI: Logged out
2016-02-23 02:54:18,276 DEBUG  scanDir: Starting round of local disk checking at \\kratos\series
"knip"
2016-02-23 02:54:38,994 DEBUG  scanDir: Finished round of local disk checking
2016-02-23 03:14:46,763 DEBUG  checkSub: Starting round of checkSub
2016-02-23 03:14:46,763 WARNING  checkSub: out of api calls
2016-02-23 11:14:19,280 DEBUG  scanDir: Starting round of local disk checking at \\kratos\series
2016-02-23 11:14:19,280 DEBUG  scanDir: Exiting, another threat is using the queue's. Will try again in 60 seconds
2016-02-23 11:15:20,312 DEBUG  scanDir: Starting round of local disk checking at \\kratos\series
2016-02-23 11:15:20,312 DEBUG  scanDir: Exiting, another threat is using the queue's. Will try again in 60 seconds
"..."

[Ben(V)]

@CRXDelSol

Je doet een verkeerde aanname over de werking van autosub.
Autosub houd helemaal geen lijst van wanted bij.
Die bouwt hij elke keer weer opnieuw op met behulp van een scandisk.
Met andere woorden, hij kijkt op de disk of er op de disk een video zonder sub staat en zet die in de wanted liist.
Als er al een sub voor die video is, dan wordt hij dus helemaal niet in de wanted list opgenomen.
Die flaggen die erbij staan geven alleen maar aan voor welke taal er nog geen sub is, als alle gewenste subs er zijn verhuisd hij van de wanted list naar de downloaded list.
Als je voor twee talen een sub wilt hebben staat hij dan ook twee keer in de downloaded list.

Mijn advies is toch echt om oude series die al eens door autosub gezocht zijn en niets voor gevonden in een andere folder te zetten die buiten de scan valt.
Ik geeft toe dat dit wat beheertijd kost, maar door autosub hoef je niet zoveel tijd aan het zoeken en downloaden van sub te besteden, dus die tijd kun je in het beheren van series stoppen.

[Ben(V)]

Obscurax schreef op dinsdag 23 februari 2016 @ 13:35:
[...]


Ik ben wat te voorbarig geweest, hij is er weer mee gestopt.
CheckSub start opnieuw terwijl er geen api calls meer zijn.
En dan start er een scanDir terwijl de CheckSub eigenlijk niets aan het doen is want de api calls zijn op.
Kan dit opgevangen worden?

code:

2016-02-22 22:10:34,815 WARNING  checkSub: out of api calls
2016-02-22 22:10:35,517 INFO  Addic7edAPI: Logged out
2016-02-22 22:10:35,517 DEBUG  checkSub: Finished round of checkSub
2016-02-22 23:14:45,354 INFO  Addic7ed: Retrieving Addic7ed download count
2016-02-22 23:14:45,354 DEBUG  Addic7edAPI: Logging in
2016-02-22 23:14:45,572 INFO  Addic7edAPI: Logged in
2016-02-22 23:14:55,743 DEBUG  Addic7edAPI: Resting for 30 seconds to prevent a ban
2016-02-22 23:15:26,275 INFO  Addic7edAPI: Logged out
2016-02-23 02:54:18,276 DEBUG  scanDir: Starting round of local disk checking at \\kratos\series
"knip"
2016-02-23 02:54:38,994 DEBUG  scanDir: Finished round of local disk checking
2016-02-23 03:14:46,763 DEBUG  checkSub: Starting round of checkSub
2016-02-23 03:14:46,763 WARNING  checkSub: out of api calls
2016-02-23 11:14:19,280 DEBUG  scanDir: Starting round of local disk checking at \\kratos\series
2016-02-23 11:14:19,280 DEBUG  scanDir: Exiting, another threat is using the queue's. Will try again in 60 seconds
2016-02-23 11:15:20,312 DEBUG  scanDir: Starting round of local disk checking at \\kratos\series
2016-02-23 11:15:20,312 DEBUG  scanDir: Exiting, another threat is using the queue's. Will try again in 60 seconds
"..."

Ik zal dit weekend kijken of ik een 24 uur wachtijd in kan bouwen als je API calls op zijn.
Dat zijn er overigens wel 2000 per 24 uur die je verbruikt hebt.
Kun je zelf ook doen door de checksubtijd op 86400 te zetten.

[Obscurax]

Ben(V) schreef op dinsdag 23 februari 2016 @ 13:41:
[...]


Ik zal dit weekend kijken of ik een 24 uur wachtijd in kan bouwen als je API calls op zijn.
Dat zijn er overigens wel 2000 per 24 uur die je verbruikt hebt.
Kun je zelf ook doen door de checksubtijd op 86400 te zetten.

Super, dat zijn er inderdaad een pak.
Ik heb mijn lijst als eens opgekuist maar zal er nog eens invliegen om de wanted list in te korten.
Zal voor nu de CheckSub op 86400 maar dat betekent ook dat ik de scanDisk nog hoger moet zetten, dat ik daar zelf niet aan gedacht heb . Het zal wel netter zijn als er een wachttijd ingebouwd is.
Bedankt voor je werk!

[Ben(V)]

Scandisk kun je het beste net iets korter zetten dan checksub.
Het heeft weinig zin die lijst tussendoor opnieuw op te bouwen als het toch niet opnieuw gaat zoeken.

In de volgende versie zal ik die twee gewoon achter elkaar zetten en maar met een instelbare tijd werken.

[ParaDoXke]

Ben(V) schreef op zondag 21 februari 2016 @ 22:07:
Als er dus een certificate van certifi op je systeem aanwezig is zal Requests dat proberen te gebruiken en als die niet meer geldig is krijg je ook dit soort problemen.
Kun je eens proberen om verify= 'path naar certificate' in autosub te stoppen om te zien of hij dan wel goed loopt.

Ik heb volgende dingen getest:
(toegevoegd bij alle get() functies in downloadSub.py)

verify='/path_naar/autosub-bootstrapbill/library/requests/cacert.pem' (certificaat dat bij autosub zit) -->Werkt
verify=False -->Werkt, maar met meldingen in console
verify=requests.certs.where() -->Werkt niet: Foutmelding over ssl komt terug
verify='/path_naar/certifi_certificaat' -->Werkt niet: Foutmelding over ssl komt terug

Blijkbaar is men certificaat dus stuk

[Ben(V)]

Ik zal deze opnemen.

verify='/path_naar/autosub-bootstrapbill/library/requests/cacert.pem'

Dan werkt het voor iedereen, dus ook systemen die geen correct certificaat aan boord hebben.

[ParaDoXke]

Ok, bedankt!

[Grolsch]

Ik zat er nog even over na te denken, maar als je meer als 1000 subs wil downloaden van series (gemiddeld 45 minuten ) Betekent dit 750 UUR tv kijken. Dat betekend full-time 31,25 dag permanent 24 uur per dag series kijken

Volgens mij slaat dit werkelijk waar nergens op, en heb je dan eerder te maken met een serie / download fetish / ziekte als dat je er echt iets mee doet.

Ik ben er voorstander van als de sites hier problemen van maken het maximale aantal series in de wanted list op 50 of 100 te zetten als dit problemen voorkomt.

Het kan toch niet zo zijn dat wij (hoeveel gebruikers heeft autosub) als gebruikers van Autosub de dupe worden van een fetish / verslaving van enkele personen

[MikeOO]

Sinds ik de laaste update via Package Center heb geinstalleerd helaas ook steeds dat autosub stop. Voorheen altijd superstabiel.

Laatste stukje wat in de log te vinden is voor hij stopte.

Vooral de laatste regel zal een reden zijn maar zie niet in wat midden in de nacht fout gaat.
Ik laat mijn router om 01:50 automatisch opnieuw opstarten dus of dat mogelijk het probleem veroorzaakt.
Maar dat doe ik al zeer lang en mer de vorige versies nooit een probleem geweest.

code:

016-02-24 01:50:02,158 INFO  getSubLinks: SubtitleSeeker request URL: http://api.subtitleseeker.com/get/title_subtitles/?api_key=24430affe80bea1edf0e8413c3abf372a64afff2&imdb=1693592&season=06&episode=03&language=Dutch&return_type=json
2016-02-24 01:50:02,215 DEBUG  getSubLinks: dump scorelist: None
2016-02-24 01:50:02,215 INFO  getSubLinks: Addic7ed search URL: http://www.addic7ed.com/ajax_loadShow.php?show=1543&season=6&langs=|17|&hd=0&hi=0
2016-02-24 01:50:02,655 DEBUG  Addic7edAPI: Resting for 30 seconds to prevent a ban
2016-02-24 01:51:35,727 ERROR  Opensubtitles: Error from Opensubtitles search API
2016-02-24 01:51:35,728 DEBUG  checkSub: no suitable subtitles were found for /volume2/downloads/complete/tv/Vera.S06E03.The.Moth.Catcher.720p.HDTV.x264-ORGANiC/Vera.S06E03.The.Moth.Catcher.720p.HDTV.x264-ORGANiC.mkv based on your minmatchscore
2016-02-24 01:51:35,728 DEBUG  getShowid: Trying to get IMDB, Addic7ed and OpenSubtitles ID for Bitten
2016-02-24 01:51:35,730 DEBUG  getShowid: Returned ID's - IMDB: 2365946, Addic7ed: 4220, OpenSubtitles: None
2016-02-24 01:51:35,730 DEBUG  checkSub: ID's - IMDB: 2365946, Addic7ed: 4220
2016-02-24 01:51:35,731 DEBUG  checkSub: trying to get a downloadlink for /volume2/downloads/complete/tv/Bitten.S03E02.720p.HDTV.x264-KILLERS/Bitten.S03E02.720p.HDTV.x264-KILLERS.mkv, language is Dutch
2016-02-24 01:51:35,732 DEBUG  getSubLinks: Show ID: 2365946 - Addic7ed ID: 4220 - Language: Dutch - Release Details: {'lang': ['Dutch'], 'episode': u'02', 'title': u'Bitten', 'season': u'03', 'releasegrp': u'killers', 'source': u'hdtv', 'codec': u'h264', 'originalFileLocationOnDisk': u'/volume2/downloads/complete/tv/Bitten.S03E02.720p.HDTV.x264-KILLERS/Bitten.S03E02.720p.HDTV.x264-KILLERS.mkv', 'timestamp': u'2016-02-20 05:41:09', 'container': u'mkv', 'quality': u'720p'}
2016-02-24 01:51:35,733 INFO  getSubLinks: SubtitleSeeker request URL: http://api.subtitleseeker.com/get/title_subtitles/?api_key=24430affe80bea1edf0e8413c3abf372a64afff2&imdb=2365946&season=03&episode=02&language=Dutch&return_type=json
2016-02-24 01:53:10,589 DEBUG  scanDir: Starting round of local disk checking at /volume2/downloads/complete/tv
2016-02-24 01:53:10,590 DEBUG  scanDir: Exiting, another threat is using the queue's. Will try again in 60 seconds

[ Voor 3% gewijzigd door MikeOO op 24-02-2016 07:59 ]

[xoniq]

MikeOO schreef op woensdag 24 februari 2016 @ 07:56:
Sinds ik de laaste update via Package Center heb geinstalleerd helaas ook steeds dat autosub stop. Voorheen altijd superstabiel.

Laatste stukje wat in de log te vinden is voor hij stopte.

Vooral de laatste regel zal een reden zijn maar zie niet in wat midden in de nacht fout gaat.
Ik laat mijn router om 01:50 automatisch opnieuw opstarten dus of dat mogelijk het probleem veroorzaakt.
Maar dat doe ik al zeer lang en mer de vorige versies nooit een probleem geweest.

code:

016-02-24 01:50:02,158 INFO  getSubLinks: SubtitleSeeker request URL: http://api.subtitleseeker.com/get/title_subtitles/?api_key=24430affe80bea1edf0e8413c3abf372a64afff2&imdb=1693592&season=06&episode=03&language=Dutch&return_type=json
2016-02-24 01:50:02,215 DEBUG  getSubLinks: dump scorelist: None
2016-02-24 01:50:02,215 INFO  getSubLinks: Addic7ed search URL: http://www.addic7ed.com/ajax_loadShow.php?show=1543&season=6&langs=|17|&hd=0&hi=0
2016-02-24 01:50:02,655 DEBUG  Addic7edAPI: Resting for 30 seconds to prevent a ban
2016-02-24 01:51:35,727 ERROR  Opensubtitles: Error from Opensubtitles search API
2016-02-24 01:51:35,728 DEBUG  checkSub: no suitable subtitles were found for /volume2/downloads/complete/tv/Vera.S06E03.The.Moth.Catcher.720p.HDTV.x264-ORGANiC/Vera.S06E03.The.Moth.Catcher.720p.HDTV.x264-ORGANiC.mkv based on your minmatchscore
2016-02-24 01:51:35,728 DEBUG  getShowid: Trying to get IMDB, Addic7ed and OpenSubtitles ID for Bitten
2016-02-24 01:51:35,730 DEBUG  getShowid: Returned ID's - IMDB: 2365946, Addic7ed: 4220, OpenSubtitles: None
2016-02-24 01:51:35,730 DEBUG  checkSub: ID's - IMDB: 2365946, Addic7ed: 4220
2016-02-24 01:51:35,731 DEBUG  checkSub: trying to get a downloadlink for /volume2/downloads/complete/tv/Bitten.S03E02.720p.HDTV.x264-KILLERS/Bitten.S03E02.720p.HDTV.x264-KILLERS.mkv, language is Dutch
2016-02-24 01:51:35,732 DEBUG  getSubLinks: Show ID: 2365946 - Addic7ed ID: 4220 - Language: Dutch - Release Details: {'lang': ['Dutch'], 'episode': u'02', 'title': u'Bitten', 'season': u'03', 'releasegrp': u'killers', 'source': u'hdtv', 'codec': u'h264', 'originalFileLocationOnDisk': u'/volume2/downloads/complete/tv/Bitten.S03E02.720p.HDTV.x264-KILLERS/Bitten.S03E02.720p.HDTV.x264-KILLERS.mkv', 'timestamp': u'2016-02-20 05:41:09', 'container': u'mkv', 'quality': u'720p'}
2016-02-24 01:51:35,733 INFO  getSubLinks: SubtitleSeeker request URL: http://api.subtitleseeker.com/get/title_subtitles/?api_key=24430affe80bea1edf0e8413c3abf372a64afff2&imdb=2365946&season=03&episode=02&language=Dutch&return_type=json
2016-02-24 01:53:10,589 DEBUG  scanDir: Starting round of local disk checking at /volume2/downloads/complete/tv
2016-02-24 01:53:10,590 DEBUG  scanDir: Exiting, another threat is using the queue's. Will try again in 60 seconds

Even uit nieuwsgierigheid, waarom zou je je router elke dag willen laten herstarten?

[Obscurax]

dubbel

[ Voor 99% gewijzigd door Obscurax op 24-02-2016 09:58 ]

[Obscurax]

MikeOO schreef op woensdag 24 februari 2016 @ 07:56:
Sinds ik de laaste update via Package Center heb geinstalleerd helaas ook steeds dat autosub stop. Voorheen altijd superstabiel.

Laatste stukje wat in de log te vinden is voor hij stopte.

Vooral de laatste regel zal een reden zijn maar zie niet in wat midden in de nacht fout gaat.
Ik laat mijn router om 01:50 automatisch opnieuw opstarten dus of dat mogelijk het probleem veroorzaakt.
Maar dat doe ik al zeer lang en mer de vorige versies nooit een probleem geweest.

code:

016-02-24 01:50:02,158 INFO  getSubLinks: SubtitleSeeker request URL: http://api.subtitleseeker.com/get/title_subtitles/?api_key=24430affe80bea1edf0e8413c3abf372a64afff2&imdb=1693592&season=06&episode=03&language=Dutch&return_type=json
2016-02-24 01:50:02,215 DEBUG  getSubLinks: dump scorelist: None
2016-02-24 01:50:02,215 INFO  getSubLinks: Addic7ed search URL: http://www.addic7ed.com/ajax_loadShow.php?show=1543&season=6&langs=|17|&hd=0&hi=0
2016-02-24 01:50:02,655 DEBUG  Addic7edAPI: Resting for 30 seconds to prevent a ban
2016-02-24 01:51:35,727 ERROR  Opensubtitles: Error from Opensubtitles search API
2016-02-24 01:51:35,728 DEBUG  checkSub: no suitable subtitles were found for /volume2/downloads/complete/tv/Vera.S06E03.The.Moth.Catcher.720p.HDTV.x264-ORGANiC/Vera.S06E03.The.Moth.Catcher.720p.HDTV.x264-ORGANiC.mkv based on your minmatchscore
2016-02-24 01:51:35,728 DEBUG  getShowid: Trying to get IMDB, Addic7ed and OpenSubtitles ID for Bitten
2016-02-24 01:51:35,730 DEBUG  getShowid: Returned ID's - IMDB: 2365946, Addic7ed: 4220, OpenSubtitles: None
2016-02-24 01:51:35,730 DEBUG  checkSub: ID's - IMDB: 2365946, Addic7ed: 4220
2016-02-24 01:51:35,731 DEBUG  checkSub: trying to get a downloadlink for /volume2/downloads/complete/tv/Bitten.S03E02.720p.HDTV.x264-KILLERS/Bitten.S03E02.720p.HDTV.x264-KILLERS.mkv, language is Dutch
2016-02-24 01:51:35,732 DEBUG  getSubLinks: Show ID: 2365946 - Addic7ed ID: 4220 - Language: Dutch - Release Details: {'lang': ['Dutch'], 'episode': u'02', 'title': u'Bitten', 'season': u'03', 'releasegrp': u'killers', 'source': u'hdtv', 'codec': u'h264', 'originalFileLocationOnDisk': u'/volume2/downloads/complete/tv/Bitten.S03E02.720p.HDTV.x264-KILLERS/Bitten.S03E02.720p.HDTV.x264-KILLERS.mkv', 'timestamp': u'2016-02-20 05:41:09', 'container': u'mkv', 'quality': u'720p'}
2016-02-24 01:51:35,733 INFO  getSubLinks: SubtitleSeeker request URL: http://api.subtitleseeker.com/get/title_subtitles/?api_key=24430affe80bea1edf0e8413c3abf372a64afff2&imdb=2365946&season=03&episode=02&language=Dutch&return_type=json
2016-02-24 01:53:10,589 DEBUG  scanDir: Starting round of local disk checking at /volume2/downloads/complete/tv
2016-02-24 01:53:10,590 DEBUG  scanDir: Exiting, another threat is using the queue's. Will try again in 60 seconds

Je scanDir start al terwijl je subCheck nog niet afgelopen is, je timers staan niet goed ingesteld.

Ik krijg ook iedere nacht automatisch een nieuw IP via VPN verbinding, dus dat is het probleem niet.

[Rprp]

Fantastisch programma, heb alleen een klein probleem: Sonarr renamed tegenwoordig naar WEBDL ipv WEB-DL, AutoSub blijft dus scannen voor subtitles.

Is het mogelijk dat dit toegevoegd wordt als extra check?

[xoniq]

Grolsch schreef op dinsdag 23 februari 2016 @ 21:01:
Ik zat er nog even over na te denken, maar als je meer als 1000 subs wil downloaden van series (gemiddeld 45 minuten ) Betekent dit 750 UUR tv kijken. Dat betekend full-time 31,25 dag permanent 24 uur per dag series kijken

Volgens mij slaat dit werkelijk waar nergens op, en heb je dan eerder te maken met een serie / download fetish / ziekte als dat je er echt iets mee doet.

Ik ben er voorstander van als de sites hier problemen van maken het maximale aantal series in de wanted list op 50 of 100 te zetten als dit problemen voorkomt.

Het kan toch niet zo zijn dat wij (hoeveel gebruikers heeft autosub) als gebruikers van Autosub de dupe worden van een fetish / verslaving van enkele personen

Ongeacht je mening of je het een fetisj of 'ziekte' noemt;
Ik heb diverse series die ik op DVD/BluRay heb geript naar digitale series. Zodat ik deze kan benaderen op mijn Apple TV. Ik kijk series wel eens opnieuw. Maar die series heb ik nu uitgesloten in AutoSub, nu heb ik er nog 200 die geen subs hebben. (Van lopende series die ik volg) Ik gooi een serie pas weg als ik deze helemaal gezien heb. Ik heb diverse series dan ook net als 24 en Lost die ik überhaupt nog uit moet kijken, maar kijk momenteel enkel lopende series elke week.

Pas begonnen met The Walking Dead, dan ga je toch weer even 6 seizoenen binnen halen, zelfde geldt voor Hawaii Five-0. Zijn bij elkaar toch weer >200 afleveringen. Series die ik wil gaan kijken haal ik dan binnen.

Dus noem het lekker hoe je wilt, ik vind het niet zo'n uitzonderlijke zaak. De reden dat ik wat series had gedownload, is omdat ik vorig jaar vader ben geworden, en toen wat naar binnen heb gehaald aan 'nieuwe' series om 's nachts tijd mee te doden.

[tcviper]

Die hele opmerking van serie fetish is raar Mensen gebruiken zoiets ook als archief voor later of voor wanneer dan ook, of voor delen met anderen die wel weer bepaalde series kijken. Ik heb er zelf ook een 190 stuks Wilt helemaal niet zeggen dat men dan ook al die series NU moet gaan kijken. Archiveren!

[ Voor 19% gewijzigd door tcviper op 24-02-2016 13:50 ]

[Obscurax]

Grolsch schreef op dinsdag 23 februari 2016 @ 21:01:
Ik zat er nog even over na te denken, maar als je meer als 1000 subs wil downloaden van series (gemiddeld 45 minuten ) Betekent dit 750 UUR tv kijken. Dat betekend full-time 31,25 dag permanent 24 uur per dag series kijken

Volgens mij slaat dit werkelijk waar nergens op, en heb je dan eerder te maken met een serie / download fetish / ziekte als dat je er echt iets mee doet.

Ik ben er voorstander van als de sites hier problemen van maken het maximale aantal series in de wanted list op 50 of 100 te zetten als dit problemen voorkomt.

Het kan toch niet zo zijn dat wij (hoeveel gebruikers heeft autosub) als gebruikers van Autosub de dupe worden van een fetish / verslaving van enkele personen

Wie ben jij om te zeggen wat iemand wel of niet mag?

Zo deel ik meerdere series met het gezin. We kijken niet allemaal dezelfde zooi.

Dat jij een eenzaat bent kan ik ook niet aan doen. Mijn vorige zin slaat ook op niets zie je, je kent de situatie niet van mensen.

[xoniq]

tcviper schreef op woensdag 24 februari 2016 @ 13:32:
Die hele opmerking van serie fetish is raar Mensen gebruiken zoiets ook als archief voor later of voor wanneer dan ook, of voor delen met anderen die wel weer bepaalde series kijken. Ik heb er zelf ook een 190 stuks Wilt helemaal niet zeggen dat men dan ook al die series NU moet gaan kijken. Archiveren!

Dit dus. Ik heb kinder series, series van mijn vriendin, en die van mij. We kijken beide hele andere series. En vrouw-lief vraagt wel eens; kan jij die en die serie downloaden? Dan ga ik d'r ook niet dwingen om het gelijk te kijken.

Maar goed, schijnbaar is het een ziekte.

[Ben(V)]

Laten we geen discussie houden over hoeveel series je mag/wilt kijken, dat is aan iedereen zelf.

Mij gaat het er alleen om te zien of we het onnodig zoeken naar subs waar al een keer naar gezocht is en dusdanig oud zijn dat als ze er nu niet zijn die subs waarschijnlijk niet meer komen.

Ik ga wel een algorithme bedenken die oude subs minder vaak zoekt, dat is voor iedereen prettig want ik denk dat ook mensen die veel subs zoeken graag de nieuwere voorang geven en als de lijst met oude eerst afgewerkt wordt blijft er misschien geen tijd over.

[tcviper]

Ben(V) schreef op woensdag 24 februari 2016 @ 17:05:
Laten we geen discussie houden over hoeveel series je mag/wilt kijken, dat is aan iedereen zelf.

Mij gaat het er alleen om te zien of we het onnodig zoeken naar subs waar al een keer naar gezocht is en dusdanig oud zijn dat als ze er nu niet zijn die subs waarschijnlijk niet meer komen.

Ik ga wel een algorithme bedenken die oude subs minder vaak zoekt, dat is voor iedereen prettig want ik denk dat ook mensen die veel subs zoeken graag de nieuwere voorang geven en als de lijst met oude eerst afgewerkt wordt blijft er misschien geen tijd over.

Ik had toevallig laatst twee 'oudere' series waar opeens NL subs voor beschikbaar kwamen, na een paar jaar. Het kan dus wel, maar dat je de prioriteit shift naar nieuwe (tot ca 90 dagen ofzo?) dat is uiteraard een goed idee, denk ik.

[Grolsch]

Dat iemand duizenden afleveringen aan series heeft vind ik niet gek, maar dat iemand op 1 dag "spontaan" 1000+ nieuwe afleveringen heeft, en ondanks meerdere adviezen en tips aangeeft dat het nog niet werkt dat vind ik gek

Al heeft iemand 3.000.000 series, en al wil hij daadwerkelijk 24/7 series kijken boeit me nog niets. Maar als door "eigenwijzigheid" alle tips en adviezen weggewimpeld worden en als daardoor het risico bestaat dat een superprogramma als AutoSub "gebanned" dreigt te worden omdat enkele gebruikers persé 1000 subtitles per dag moeten downloaden, DAN vind ik dat er gerust een stokje voor gestoken mag worden

En als gebruikers dat zelf niet snappen dan moet de ontwikkelaar helaas het programma maar "idiot proof" maken door er begrenzingen in te zetten.

Als ik zelf met een nieuwe serie begin download ik altijd eerst het 1e seizoen voordat ik de rest ga downloaden.

[ Voor 6% gewijzigd door Grolsch op 24-02-2016 17:18 ]

[xoniq]

Grolsch schreef op woensdag 24 februari 2016 @ 17:17:
Dat iemand duizenden afleveringen aan series heeft vind ik niet gek, maar dat iemand op 1 dag "spontaan" 1000+ nieuwe afleveringen heeft, en ondanks meerdere adviezen en tips aangeeft dat het nog niet werkt dat vind ik gek

Al heeft iemand 3.000.000 series, en al wil hij daadwerkelijk 24/7 series kijken boeit me nog niets. Maar als door "eigenwijzigheid" alle tips en adviezen weggewimpeld worden en als daardoor het risico bestaat dat een superprogramma als AutoSub "gebanned" dreigt te worden omdat enkele gebruikers persé 1000 subtitles per dag moeten downloaden, DAN vind ik dat er gerust een stokje voor gestoken mag worden

En als gebruikers dat zelf niet snappen dan moet de ontwikkelaar helaas het programma maar "idiot proof" maken door er begrenzingen in te zetten.

Als ik zelf met een nieuwe serie begin download ik altijd eerst het 1e seizoen voordat ik de rest ga downloaden.

Het kan wel 100x gezegd worden, maar ik gaf al aan, ik heb de manier van hoe het systeem werkte verkeerd begrepen, dat is nu duidelijk. En ik heb niet ineens van de een op andere dag 1000 afleveringen, ik heb in de loop der tijd meerdere series gespaard, ook oudere die ik niet zo snel een tweede keer kan downloaden.
Ik heb 1 mount met alle series, die toegevoegd aan AutoSub (schone installatie van AutoSub). Dan is het toch logisch dat die opeens +1000 afleveringen in de queue probeert te gooien?

[Ben(V)]

Schone installatie, opnieuw opstarten of gewoon een rondje scandisk maakt allemaal geen verschil.
Autosub scant altijd je hele folder (=subfolders) om te kijken of er video's zonder sub staan.

Dat is een van charmes van het systeem, hij houd zelf geen lijst bij, super simpel voor alle gebruikers.
Nooit problemen met migraties of nieuwe installaties.

Maar het eerste wat ik van het weekend ga aanpassen is dat scandisk en checksub vast achter elkaar lopen en er nog maar een insteltijd is.

En verder maak ik het zo dat die tijd start aan het einde van de checksub ronde, zo krijg je altijd een vaste tijd tussen het aflopen van het laatste rondje en het begin van het volgende rondje.
Kunnen ze elkaar nooit inhalen.

Verder ga ik eens nadenken hoe ik oudere series zo af en toe kan overslaan zodat die niet elk rondje meegenomen worden.
Dan kijkt hij daar af en toe daar nog wel naar maar niet altijd en voor nieuwere series komt dan de sub toch zo snel mogelijk binnen.

[Tommiiee]

Autosub heeft een paar dagen goed gedraaid, maar heb weer een crash te pakken

code:

Traceback (most recent call last):
  File "/DataVolume/software/autosub/autosub/Scheduler.py", line 21, in __init__
    self.command.run()
  File "/DataVolume/software/autosub/autosub/checkSub.py", line 114, in run
    allResults = autosub.getSubLinks.getSubLinks(showid, a7_id, lang, wantedItem)
  File "/DataVolume/software/autosub/autosub/getSubLinks.py", line 181, in getSubLinks
    scoreListSubSeeker = SubtitleSeeker(ImdbId, lang, releaseDetails, sourceWebsites)
  File "/DataVolume/software/autosub/autosub/getSubLinks.py", line 36, in SubtitleSeeker
    log.error("getSubLink: The server returned an error for request %s" % getSubLinkUrl)
NameError: global name 'getSubLinkUrl' is not defined

[Ben(V)]

Die had ik al gezien.

Er zit een foutje in de foutmelding.
Hij zou alleen moeten melden dat Subtitleseeker een error teruggeeft en niet crashen.
Ik zal het dit weekend aanpassen.

[Harrie]

Ben(V) schreef op woensdag 24 februari 2016 @ 20:22:
Schone installatie, opnieuw opstarten of gewoon een rondje scandisk maakt allemaal geen verschil.
Autosub scant altijd je hele folder (=subfolders) om te kijken of er video's zonder sub staan.

Dat is een van charmes van het systeem, hij houd zelf geen lijst bij, super simpel voor alle gebruikers.
Nooit problemen met migraties of nieuwe installaties.

Maar het eerste wat ik van het weekend ga aanpassen is dat scandisk en checksub vast achter elkaar lopen en er nog maar een insteltijd is.

En verder maak ik het zo dat die tijd start aan het einde van de checksub ronde, zo krijg je altijd een vaste tijd tussen het aflopen van het laatste rondje en het begin van het volgende rondje.
Kunnen ze elkaar nooit inhalen.

Verder ga ik eens nadenken hoe ik oudere series zo af en toe kan overslaan zodat die niet elk rondje meegenomen worden.
Dan kijkt hij daar af en toe daar nog wel naar maar niet altijd en voor nieuwere series komt dan de sub toch zo snel mogelijk binnen.

Als je bezig gaat met die insteltijd, kan je dan niet iets maken dat hij bijvoorbeeld automatisch een minimum berekent als functie van het aantal wanted subs? Als de ingestelde tijd dan kleiner is dan de berekende minimum gebruik je het minimum ipv de ingegeven waarde. Dan ben je zeker dat de run klaar is voor er een volgende probeert te starten. Of heeft dat verder geen voordeel?

Eigenlijk heeft het ook niet echt zin om meerdere keren per dag te controleren of een bepaalde ondertitel online te vinden is toch? Het minimum kan dus best 24 uur zijn..

[Ben(V)]

Ik zou het ook zo kunnen maken dat hij bijvoorbeeld een( of twee) keer per dag zoekt op een zelf in te stellen tijdstip.
Dan kan iedereen zelf bepalen wanneer hem dat uitkomt.

[Verwijderd]

Dat zou echt ideaal zijn. Nu laat ik 24/7 mijn schrijven in de nas spinnen omdat ik van mening ben dat dat beter is voor de levensduur, maar velen schakelen de nas automatisch uit op tijdstippen.

1 keer per dag subs zoeken is prima voor mij, dan kan ik die job in de nacht laten lopen. Mijn nassen zijn niet zo snel, dus dat is wel zo fijn. Nu moet ik steeds timen wanneer ik start en dat is complex omdat je in secondes moet rekenen. Het zou voor mij persoonlijk het fijnst zijn als ik een tijd kan invoeren.

Een serie als game of thrones en banshee die ik gelijk bekijk doe ik dan wel handmatig. Zou helemaal ideaal zijn als je een knop hebt om op 1 specifieke wanted sub te zoeken. Je moet wensen blijven houden nietwaar!?

Bedankt voor je werk, top!

[ Voor 21% gewijzigd door Verwijderd op 24-02-2016 22:54 ]

[CH4OS]

Ik heb trouwens wel random crashes met Auto Sub nu. Had al gezien dat er wat issues zouden zijn opgelost, dus heb even met git pull de nieuwste versie opgehaald, maar de crashes blijven bij mij. Voor het moment heb ik echter alleen de traceback:

Traceback (most recent call last):
  File "/home/autosub/autosub/Scheduler.py", line 21, in __init__
    self.command.run()
  File "/home/autosub/autosub/checkSub.py", line 130, in run
    if not DownloadSub(downloadItem, allResults):
  File "/home/autosub/autosub/downloadSubs.py", line 207, in DownloadSub
    SubData = autosub.ADDIC7EDAPI.download(Sub['url'])
  File "/home/autosub/autosub/Addic7ed.py", line 564, in download
    r.encoding = r.apparent_encoding
  File "/home/autosub/library/requests/models.py", line 643, in apparent_encoding
    return chardet.detect(self.content)['encoding']
  File "/home/autosub/library/requests/packages/chardet/__init__.py", line 27, in detect
    from . import universaldetector
  File "/home/autosub/library/requests/packages/chardet/universaldetector.py", line 29, in <module>
    from . import constants
ImportError: cannot import name constants

[Ben(V)]

Er is iets niet goed gegaan met je gitpull.
Je mist de chardet library zo te zien

[CH4OS]

Hmmm, weird. Ik heb nu in elk geval even de map hernoemd en alles opnieuw middels git clone opgehaald. Ik ben benieuwd!

EDIT:
In de map library zie ik nog geen map chardet staan? De mappen die ik zie zijn beautifulsoup, bs4, growl, httplib2, __init__.py, __init__.pyc, oauth2, pynma, pythontwitter, requests, simplejson en version?

[ Voor 49% gewijzigd door CH4OS op 24-02-2016 23:59 ]

[Ben(V)]

zit in de map library/requests/packages

[MikeOO]

CRXDelSol schreef op woensdag 24 februari 2016 @ 09:12:
[...]

Even uit nieuwsgierigheid, waarom zou je je router elke dag willen laten herstarten?

Omdat het een TP-Link TL-WRt43ND betreft als AP en deze willen nog wel eens problemen hebben met het wifi signaal. Door een reboot voorkom je dit. Je kan ook alleen de wifi herstarten maar liever helemaal opnieuw starten dan maar.

Alles draait superstabiel maar tijdens een vakantie willen er wel eens dingen gebeuren waardoor ik thuis niet meer kan bereiken via VPN. Om dit soort problemen en de wifi van de TP-link standaard te voorkomen gekozen om zowel de TP-Link als ook mijn Asus RT-AC68U elke nacht te laten rebooten.

Mocht er een keer wat gebeuren dan is dat hierdoor eigenlijk altijd de volgende dag weer opgelost door de reboot. Zeker omdat ik ook Domotica gebruik is het prettig als ik dat tijdens afwezigheid kan controleren en ook de camera's.

Het kan verder geen kwaad om dit te doen dus meer een kwestie van voorkomen is beter

[xoniq]

MikeOO schreef op donderdag 25 februari 2016 @ 07:53:
[...]


Omdat het een TP-Link TL-WRt43ND betreft als AP en deze willen nog wel eens problemen hebben met het wifi signaal. Door een reboot voorkom je dit. Je kan ook alleen de wifi herstarten maar liever helemaal opnieuw starten dan maar.

Alles draait superstabiel maar tijdens een vakantie willen er wel eens dingen gebeuren waardoor ik thuis niet meer kan bereiken via VPN. Om dit soort problemen en de wifi van de TP-link standaard te voorkomen gekozen om zowel de TP-Link als ook mijn Asus RT-AC68U elke nacht te laten rebooten.

Mocht er een keer wat gebeuren dan is dat hierdoor eigenlijk altijd de volgende dag weer opgelost door de reboot. Zeker omdat ik ook Domotica gebruik is het prettig als ik dat tijdens afwezigheid kan controleren en ook de camera's.

Het kan verder geen kwaad om dit te doen dus meer een kwestie van voorkomen is beter

Ah, vandaar. Ik vroeg dit omdat ik dit destijds ook deed aangezien ik dus ook een VPN naar huis gebruik, om interne servers te benaderen, en dus ook mijn domotica server thuis heb draaien. Dus eigelijk precies dezelfde situatie.

[Obscurax]

AutoSub reageert niet meer, probleem met de subtitleseekers API?
Dit is het laatste uit de log:

code:

2016-02-25 11:34:54,769 DEBUG  getShowid: Trying to get IMDB, Addic7ed and OpenSubtitles ID for Friends
2016-02-25 11:34:54,769 DEBUG  getShowid: Returned ID's - IMDB: 0108778, Addic7ed: 182, OpenSubtitles: 2872
2016-02-25 11:34:54,769 DEBUG  checkSub: ID's - IMDB: 0108778, Addic7ed: 182
2016-02-25 11:34:54,769 DEBUG  checkSub: trying to get a downloadlink for \\kratos\series\Friends\Season8\Friends.S08E15.The.One.With.The.Birthing.Video-AEN.avi, language is Dutch
2016-02-25 11:34:54,785 DEBUG  getSubLinks: Show ID: 0108778 - Addic7ed ID: 182 - Language: Dutch - Release Details: {'lang': ['Dutch', 'English'], 'episode': u'15', 'title': u'Friends', 'season': u'08', 'releasegrp': u'aen', 'source': None, 'codec': u'xvid', 'originalFileLocationOnDisk': u'\\\\kratos\\series\\Friends\\Season8\\Friends.S08E15.The.One.With.The.Birthing.Video-AEN.avi', 'timestamp': u'2014-12-03 14:02:44', 'container': u'avi', 'quality': u'sd'}
2016-02-25 11:34:54,785 INFO  getSubLinks: SubtitleSeeker request URL: http://api.subtitleseeker.com/get/title_subtitles/?api_key=24430affe80bea1edf0e8413c3abf372a64afff2&imdb=0108778&season=08&episode=15&language=Dutch&return_type=json

[Verwijderd]

MikeOO schreef op donderdag 25 februari 2016 @ 07:53:
Het kan verder geen kwaad om dit te doen dus meer een kwestie van voorkomen is beter

Hoe laat je dat ding automatisch herstarten? Is dat een optie in het menu van de router? Ik zie die optie niet in de 3 accespoints die ik heb, misschien kan je zeggen hoe die functie heet? Ik kan het ook wel gebruiken namelijk.

en wat betreft autosub, die draait hier stabiel op mijn synology. Heb geen problemen. Had 1 keer een ondertitel waarop hij stopte, heb die handmatig gedownload en nu werkt het weer, geen idee waardoor dat kwam en was te lui om logfiles allemaal hier te gaan posten (zag ook niet echt wat spannends).

[ Voor 25% gewijzigd door Verwijderd op 25-02-2016 20:16 ]