[Ervaringen] Newznab

[Coenen]

SidewalkSuper schreef op vrijdag 11 januari 2013 @ 09:44:
Lol, iedereen maakt zich zo druk om backfill, maar wat de fuck ga je nou helemaal met 2 jaar backfill doen.
Het is toch zo incompleet als de pest omdat je maar een paar groups checkt tov een site als nzbindex ofzo en steeds meer wordt offline geslingerd. Als je iets ouds wil dan gebruik je toch binsearch of nzbindex?

Toen ik begon met Newznab wou ik ook backfillen, later toch maar van strategie veranderd. Een Newznab die zo snel mogelijk indexed is veel handiger tegenwoordig.Plus door het backfillen klapte m'n database uitelkaar en m'n C schijf liep compleet vol....

Mijn group list:
a.b.boneless
a.b.cores
a.b.etc
a.b.ftn
a.b.hdtv
a.b.hdtv.x264
a.b.misc
a.b.movies
a.b.multimedia
a.b.multimedia.tv
a.b.teevee
a.b.town
a.b.tv
a.b.tvseries
a.b.x264
a.b.global.quake

Mogelijk goede groepen:
alt.binaries.bluray
alt.binaries.blu-ray
alt.binaries.cd.image

[KorneelB]

ongeacht van wat de mening over backfill is, ik wil graag backfillen voor specifieke groepen

maar de vraag blijft, kan ik backfill draaien tegelijk met newznab_screen.sh ?

[kmf]

SidewalkSuper schreef op vrijdag 11 januari 2013 @ 09:44:
Lol, iedereen maakt zich zo druk om backfill, maar wat de fuck ga je nou helemaal met 2 jaar backfill doen.
Het is toch zo incompleet als de pest omdat je maar een paar groups checkt tov een site als nzbindex ofzo en steeds meer wordt offline geslingerd. Als je iets ouds wil dan gebruik je toch binsearch of nzbindex?

Er zijn veel incompleet, maar heel veel zijn en blijven wel compleet. Ik vind het wel waard.

Alleen merkte ik dat een enorme releases database alles wel trager maakt. Dus ik backfill nu ook niet alles meer. Alleen wat ik nodig heb HD TV+Movies, etc.
XXX doen we maar niet

freak1 schreef op vrijdag 11 januari 2013 @ 11:55:
ongeacht van wat de mening over backfill is, ik wil graag backfillen voor specifieke groepen

maar de vraag blijft, kan ik backfill draaien tegelijk met newznab_screen.sh ?

Ja. Ik had/heb import, backfill, update allemaal tegelijkertijd draaien. En op andere screens ook nog process

[ Voor 22% gewijzigd door kmf op 11-01-2013 12:14 ]

[KorneelB]

ja het werkte bij mij maar niet maar snap nu wel wat ik fout deed.. sukkel die ik ben, ik had keep releases op 2 days staan.. raar dat dat dan niet werkt he

[kmf]

OK. Ik heb mijn regex weer gereviseerd en draai nu de update voor de 3e keer

Ik ben er tevreden over en dus heb ik die dingen doorgestuurd richting de community (send regex)

Als jullie deze willen gebruiken, dan kan je het volgende voor jouw groepen invoeren

Comics

code:

/^.*?"(?P<name>.*?)\.(cbr|cbz|idx|nfo|7z|zip|tar|nzb|par|par2|vol\d{1,4}|t\d{1,3}|u\d{1,3}|r\d{1,3})/iS

Comic files catch on filename-extension starting with " and doesn't care what's after the extension example: "BLABLA" RELEASENAME.cbz.part01.rar

Ebooks

code:

/^.*?"(?P<name>.*?)\.(lit|epub|mobi|m4b|azw\d{0,1}|pdf|chm|idx|nfo|7z|zip|tar|nzb|par|par2|vol\d{1,4}|t\d{1,3}|u\d{1,3}|r\d{1,3})/iS

Ebook files catch on filename-extension starting with " and doesn't care what's after the extension example: "BLABLA" RELEASENAME.epub.part01.rar

Movies&TV

code:

/^.*?"(?P<name>.*?)\.(sample|mkv|avi|mp4|vol|ogm|sfv|web|rmvb|rm|srt|ass|srr|srs|mpg|txt|wmv|ssa|mov|divx|m2ts|ts|rmvb|iso|dmg|sub|idx|nfo|7z|zip|tar|nzb|par|par2|vol\d{1,4}|t\d{1,3}|u\d{1,3}|r\d{1,3})/iS

Movie files catch on filename-extension starting with " and doesn't care what's after the extension example: "BLABLA" RELEASENAME.mkv.part01.rar

Music

code:

/^.*?"(?P<name>.*?)\.(mp3|vol|ogm|flac|wma|aac|iso|cue|m3u|idx|nfo|7z|zip|tar|nzb|par|par2|vol\d{1,4}|t\d{1,3}|u\d{1,3}|r\d{1,3})/iS

Music files catch on filename-extension starting with " and doesn't care what's after the extension example: "BLABLA" RELEASENAME.mp3.part01.rar


Deze heb ik ingezet voor al mijn actieve groepen met ordinal 2. Alle "community regex" heb ik verwijderd.

Daarnaast bij alt.binaries.* heb ik deze

code:

/^(?P<name>.*?)\.(rar)/iS

Archive files RELEASENAME.rar. Just a failsafe for the small, single files which aren't caught.
als ordinal 9


zo heb ik dus alles op filename binnengetrokken.

Met update_parsing worden middels nfo-bestanden de mooiere namen alsnog ingevoerd indien van toepassing.

[Buzzie]

kmf schreef op vrijdag 11 januari 2013 @ 13:57:
OK. Ik heb mijn regex weer gereviseerd en draai nu de update voor de 3e keer

Ik ben er tevreden over en dus heb ik die dingen doorgestuurd richting de community (send regex)

Als jullie deze willen gebruiken, dan kan je het volgende voor jouw groepen invoeren

{knip}

overheen gelezen.

uitzetten van de regex die in NN+ geleverd worden op inactief zetten zou het zelfde moeten doen toch ipv verwijderen van de regex ??

[ Voor 16% gewijzigd door Buzzie op 11-01-2013 14:59 ]

[TripleM]

kmf schreef op vrijdag 11 januari 2013 @ 13:57:
OK. Ik heb mijn regex weer gereviseerd en draai nu de update voor de 3e keer

Ik ben er tevreden over en dus heb ik die dingen doorgestuurd richting de community (send regex)

Als jullie deze willen gebruiken, dan kan je het volgende voor jouw groepen invoeren

[..]

zo heb ik dus alles op filename binnengetrokken.

Met update_parsing worden middels nfo-bestanden de mooiere namen alsnog ingevoerd indien van toepassing.

-edit- Zelf ook nog niet goed gelezen, pardon.

Als ik deze regexes overneem, kan ik dan op een makkelijke manier de releases opnieuw laten maken? Gooi ik ze dan allemaal weg en draai ik update_releases? Maw de groepen purgen en dan update_releases draaien?

Ik snap overigens nog niet helemaal wat dat update_parsing doet, en hoe/hoe vaak je het gebruikt. Iemand die dat kort kan uitleggen?

Buzzie schreef op vrijdag 11 januari 2013 @ 14:46:
[...]
Welke Ordinal heb jij ze gegeven?? allemaal 9??

Alles ordinal 2, behalve die laatste, die is ordinal 9.

kmf, doe jij nog iets bijzonders met de categories, om alles juist in te delen?

[ Voor 35% gewijzigd door TripleM op 11-01-2013 14:58 ]

[zeroday]

Dark_f schreef op vrijdag 11 januari 2013 @ 10:59:
Heeft iemand een goede lijst met groepen die je best activeert? Er zijn er zo veel en ik geraak er niet meer aan uit.

dat ligt eraan waar je interese ligt. Ik heb in mijn NN+ maar 5 groepen. De rest interesseert met weinig of daar gebruik ik dan wel spotweb of nzbindex of binsearch voor.

[zeroday]

Tsurany schreef op vrijdag 11 januari 2013 @ 09:54:
Als ik een serie leuk vind en seizoen 1-3 wil hebben is een backfill handig. Even in Sickbeard instellen dat ik die serie wil en voila, t loopt binnen.

Daar heb ik in dit geval geen eigen NN+ installatie voor nodig. Binnen SB kan ik dan net zo goed lolo gebruiken.

Ik heb nu mijn eigen servertje in gebruik ipv lolo omdat ik dan iets meer kan en wil hameren om een release snel te pakken voordat er weer een DMCA om de hoek is wezen kijken.

[kmf]

Je kan alle bestaande ook inactief zetten, maar ja.. dat zijn er een stuk of 1000 of zo? Even weggooien en de community regex disablen is sneller te doen.

Met categories doe ik niks speciaals, behalve bij groepen waar ik zeker weet waar ze naar toe moeten. (voor de ebooks, comics, mp3-regex laat ik ze wel op de juiste plek zetten natuurlijk)
NN+ heeft zelf een mechanisme om die dingen te sorteren. En update_parsing sorteert het ook nog eens.
Je kan in principe dus ook gewoon mijn regex gebruiken icm alt.binaries.* en al het andere uitschakelen.


update_parsing gaat adhv de gedownloade nfo per release bekijken wat de echte releasenaam is en bij welke categorie het release hoort. Vervolgens past ie de namen en categorieen aan. Is gewoon handigheidje.

[ Voor 6% gewijzigd door kmf op 11-01-2013 16:18 ]

[Verwijderd]

Voor de liefhebbers, heb een blacklist geupload (sql)
https://github.com/nivong/Newznab_blacklist

Feel free to add!

[kmf]

Voor degene die zelf effe regex willen debuggen (of effe zien hoe efficient hun regex is)

Met deze query kan je kijken welke regex er gebruikt is om welk resultaat te krijgen. procattempts geeft aan of er al geprobeerd is om een release te maken van het resultaat.

code:

select  b.name, groupid, regexid, relname, regex, r.ordinal,  groupname, b.id, procstat, procattempts, totalparts, importname from binaries b
inner join releaseregex r on r.id = b.regexid
inner join groups g on g.id = b.groupid
 where  procstat  in (5) order by relname, name

[Yokidrink]

Verwijderd schreef op vrijdag 11 januari 2013 @ 16:35:
Voor de liefhebbers, heb een blacklist geupload (sql)
https://github.com/nivong/Newznab_blacklist

Feel free to add!

en bedankt mooie blacklist al heb ik wel flemish eruit gehaald (neem aan dat het belgs is)
Nog een vraagje, dat update_parsing; ik heb dit nu al een paar keer voorbij zien vliegen maar kan dat bestand niet vinden. Waar verkrijg ik dit?

[ Voor 18% gewijzigd door Yokidrink op 11-01-2013 20:05 ]

[kmf]

Yokidrink schreef op vrijdag 11 januari 2013 @ 20:04:
[...]


en bedankt mooie blacklist al heb ik wel flemish eruit gehaald (neem aan dat het belgs is)
Nog een vraagje, dat update_parsing; ik heb dit nu al een paar keer voorbij zien vliegen maar kan dat bestand niet vinden. Waar verkrijg ik dit?

Misc/testing

[Buzzie]

kmf schreef op vrijdag 11 januari 2013 @ 16:48:
Voor degene die zelf effe regex willen debuggen (of effe zien hoe efficient hun regex is)

Met deze query kan je kijken welke regex er gebruikt is om welk resultaat te krijgen. procattempts geeft aan of er al geprobeerd is om een release te maken van het resultaat.

code:

select  b.name, groupid, regexid, relname, regex, r.ordinal,  groupname, b.id, procstat, procattempts, totalparts, importname from binaries b
inner join releaseregex r on r.id = b.regexid
inner join groups g on g.id = b.groupid
 where  procstat  in (5) order by relname, name

Nou ben ik een noob wat linux en regex betreft maar hoe en waar kan ik dit (mee) testen?
wat heb ik hier voor nodig?

[Tsurany]

Is een SQL query, moet je tegen je database aan gooien.

[Henkske]

Bedankt!.

Ik ga morgen es kieken of het me lukt.

Verwijderd schreef op vrijdag 11 januari 2013 @ 16:35:
Voor de liefhebbers, heb een blacklist geupload (sql)
https://github.com/nivong/Newznab_blacklist

Feel free to add!

[Verwijderd]

SidewalkSuper schreef op vrijdag 11 januari 2013 @ 09:44:
Lol, iedereen maakt zich zo druk om backfill, maar wat de fuck ga je nou helemaal met 2 jaar backfill doen.
Het is toch zo incompleet als de pest omdat je maar een paar groups checkt tov een site als nzbindex ofzo en steeds meer wordt offline geslingerd. Als je iets ouds wil dan gebruik je toch binsearch of nzbindex?

Binsearch of nzbindex zijn alleen maar handig als je vooraf weet wat je zoekt. Als je gewoon door de aangeboden boeken of films wilt browsen om te kijken of er iets leuks tussen zit, heb je daar niets aan. Een backfill van Newznab (of Spotnet) biedt dan uitkomst.

[Oxize]

@Coenen

Is dit een QoQ release? Zo, ja, waarom wordt er niks mee gedaan?

[Mr. Happy]

Oxize schreef op zaterdag 12 januari 2013 @ 14:28:
@Coenen

Is dit een QoQ release? Zo, ja, waarom wordt er niks mee gedaan?

[afbeelding]

dit is geen QoQ-release...

[Coenen]

Idd, zo ziet een QoQ release er ongeveer uit: blablabla S01E11 Xvdi NLsubs-QoQ

[Tsurany]

Van de 28 pagina's aan content is 19 pagina's "other" met namen als Hs1213720p. Horen de community regex dingen dit er niet uit te filteren?

[kmf]

Tsurany schreef op zaterdag 12 januari 2013 @ 17:29:
Van de 28 pagina's aan content is 19 pagina's "other" met namen als Hs1213720p. Horen de community regex dingen dit er niet uit te filteren?

Nee natuurlijk niet. De community regex probeert alleen maar de juiste namen te pakken op basis van wat ze voor handen hebben. subject, filename, nfo bestanden. Maar ze kunnen niet plotseling iets vaags vertalen.

[Tito129]

kmf schreef op zaterdag 12 januari 2013 @ 17:46:
[...]


Nee natuurlijk niet. De community regex probeert alleen maar de juiste namen te pakken op basis van wat ze voor handen hebben. subject, filename, nfo bestanden. Maar ze kunnen niet plotseling iets vaags vertalen.

En juist dat gaat het probleem worden. vage namen. Zag net in spots al iets van nzbmagic.
Weet niet wat het is. Kon er weinig over vinden, behalve dat het windows only is.

[kmf]

Tito129 schreef op zaterdag 12 januari 2013 @ 17:49:
[...]

En juist dat gaat het probleem worden. vage namen. Zag net in spots al iets van nzbmagic.
Weet niet wat het is. Kon er weinig over vinden, behalve dat het windows only is.

Dat is altijd al een probleem. Maar niks aan te doen. Ooit zal er misschien een "vertaal service" komen, maar dan kunnen de auto-dmca-takedowns weer makkelijker werken.

[Verwijderd]

zeroday schreef op vrijdag 11 januari 2013 @ 16:15:
Daar heb ik in dit geval geen eigen NN+ installatie voor nodig. Binnen SB kan ik dan net zo goed lolo gebruiken.

wat is lolo binnen sickbeard? Ik ken lolo helemaal niet terwijl ik sickbeard al tijden gebruik?

[Tsurany]

kmf schreef op zaterdag 12 januari 2013 @ 17:46:
[...]


Nee natuurlijk niet. De community regex probeert alleen maar de juiste namen te pakken op basis van wat ze voor handen hebben. subject, filename, nfo bestanden. Maar ze kunnen niet plotseling iets vaags vertalen.

Nee niet vertalen, maar gewoon negeren. Gewoon niet laten zien. Hier kan niemand wat mee dus waarom indexeren?

Wellicht dat ik weer overstap naar torrents, die hebben geen last van DMCA takedowns en zijn tegenwoordig ook prima te automatiseren.

[Verwijderd]

Verwijderd schreef op zaterdag 12 januari 2013 @ 18:00:
[...]

wat is lolo binnen sickbeard? Ik ken lolo helemaal niet terwijl ik sickbeard al tijden gebruik?

sickbeards newznab kort weg gezegd.

[KorneelB]

even een andere vraag, die fake namen zeg maar, als je die dan met deep rar inspection bekijkt, dan kun je vaak de inhoud zien, en dan via update_parsing.php wordt het weer een mooie release.
helemaal goed zou je zeggen.. helaas doet hij additional post processing on last 100 releases.. ik ben zwaar aan het backfillen, dus heb liever dat hij bijvoorbeeld 1000 releases per keer pakt, of een apart proces wat ik er naast kan draaien... iemand enig idee?

[kmf]

freak1 schreef op zaterdag 12 januari 2013 @ 21:23:
even een andere vraag, die fake namen zeg maar, als je die dan met deep rar inspection bekijkt, dan kun je vaak de inhoud zien, en dan via update_parsing.php wordt het weer een mooie release.
helemaal goed zou je zeggen.. helaas doet hij additional post processing on last 100 releases.. ik ben zwaar aan het backfillen, dus heb liever dat hij bijvoorbeeld 1000 releases per keer pakt, of een apart proces wat ik er naast kan draaien... iemand enig idee?

Ik heb gewoon een aparte script draaien voor de postprocessing.

code:

<?php

require("config.php");
require_once(WWW_DIR."/lib/postprocess.php");

$i=1;
while($i=1)
{
        $postprocess = new PostProcess();
        $postprocess->processAdditional();
}

in update_scripts bewaren als postprocessing.php

en dan aanroepen in een screen met php postprocessing.php

[kmf]

Tsurany schreef op zaterdag 12 januari 2013 @ 19:01:
[...]

Nee niet vertalen, maar gewoon negeren. Gewoon niet laten zien. Hier kan niemand wat mee dus waarom indexeren?

Dat doe je met de blacklist.

Ik index ze gewoon want soms kan je adhv nfo toch de juiste naam (automatisch) goed krijgen.
En ooit gaat deep rar inspection ook wel geintroduceerd worden.

[Tsurany]

kmf schreef op zaterdag 12 januari 2013 @ 21:36:
[...]


Ik heb gewoon een aparte script draaien voor de postprocessing.

code:

<?php

require("config.php");
require_once(WWW_DIR."/lib/postprocess.php");

$i=1;
while($i=1)
{
        $postprocess = new PostProcess();
        $postprocess->processAdditional();
}

in update_scripts bewaren als postprocessing.php

en dan aanroepen in een screen met php postprocessing.php

Dan krijg ik deze error:
95.PHP Warning: unlink(/var/www/newznab/db/sphinxdata/binlog): Is a directory in /var/www/newznab/www/lib/postprocess.php on line 584

kmf schreef op zaterdag 12 januari 2013 @ 21:37:
Dat doe je met de blacklist.

Ik index ze gewoon want soms kan je adhv nfo toch de juiste naam (automatisch) goed krijgen.
En ooit gaat deep rar inspection ook wel geintroduceerd worden.

Hoop dat ze daar snel mee zijn, dat zou een stuk beter werken.

------------------------------------------------

Heb trouwens het idee wat ik te weinig processorkracht heb en daardoor achter de feiten aan loop, het updaten van binaries en updaten van releases gaat te traag om up to date te blijven en snel de nieuwe zaken te indexeren.

[ Voor 11% gewijzigd door Tsurany op 12-01-2013 22:08 ]

[Oxize]

Is er een snelle manier om alle files onder Other-Misc (spamm) te verwijderen? Krijg een lamme hand (111 pagina's) omdat ik het handmatig doe.

[ Voor 5% gewijzigd door Oxize op 12-01-2013 22:35 ]

[Buzzie]

kmf schreef op zaterdag 12 januari 2013 @ 21:36:
[...]


Ik heb gewoon een aparte script draaien voor de postprocessing.

code:

<?php

require("config.php");
require_once(WWW_DIR."/lib/postprocess.php");

$i=1;
while($i=1)
{
        $postprocess = new PostProcess();
        $postprocess->processAdditional();
}

in update_scripts bewaren als postprocessing.php

en dan aanroepen in een screen met php postprocessing.php

en hoe vaak roep jij die aan?? draait deze in een loop?

[kmf]

Tsurany schreef op zaterdag 12 januari 2013 @ 21:43:
[...]

Dan krijg ik deze error:
95.PHP Warning: unlink(/var/www/newznab/db/sphinxdata/binlog): Is a directory in /var/www/newznab/www/lib/postprocess.php on line 584

Heb je wel in de update_scripts directory gezet?

Hoop dat ze daar snel mee zijn, dat zou een stuk beter werken.

------------------------------------------------

Heb trouwens het idee wat ik te weinig processorkracht heb en daardoor achter de feiten aan loop, het updaten van binaries en updaten van releases gaat te traag om up to date te blijven en snel de nieuwe zaken te indexeren.

Je moet dan updaten van releases en binaries parallel doen. Ik heb update releases elke 200s. En update binaries elk 10s (tegen de tijd dat ie klaar is met processen, komt de volgende weer.

[Tsurany]

Jup staat in de update_scripts map.

Maar jij update de releases elke 200 seconden en de binaries elke 10 seconden? Bij mij kan hij het echt niet in 10 seconden doen.

[kmf]

Tsurany schreef op zaterdag 12 januari 2013 @ 23:27:
Jup staat in de update_scripts map.

dan weet ik niet wat er bij jou fout gaat. Diezelfde fout zal je ook moeten krijgen bij normale updates dan.

Maar jij update de releases elke 200 seconden en de binaries elke 10 seconden? Bij mij kan hij het echt niet in 10 seconden doen.

Omgekeerd. releases updaten doet ie vrij lang over. Maar als je je database schoon houdt, dan is het toch wel binnen paar minuten klaar. (daarna neemt ie 10s adempauze en gaat ie weer verder met de nieuwe lading)

Oh, en ik gebruik mijn eigen regex dus, ipv die van de community. Dus ipv 1000+ per groep door te scannen, doe ik "maar" 40 regex matchen. Scheelt ook wat.

[ Voor 11% gewijzigd door kmf op 12-01-2013 23:34 ]

[Tsurany]

Denk dat ik jouw regex ga overnemen, die geven jouw betere resultaten en schijnen sneller te werken. Even uitpluizen hoe die in te stellen zijn.

Wel vaag dat het bij mij dan wel fout gaat. Maar eens kijken of daar niet wat aan te doen is.

[kmf]

Tja, wat voor mij goed werkt hoeft niet te passen bij jou natuurlijk. Zelf effe testen en kijken of je de resultaten goed vindt.

En als je het helemaal snel wilt doen, dan hoef je die regex zelfs maar 1x in te voeren voor alt.binaries.*

Dan gaat NN+ dus maar 4-5x loopen.

[Henkske]

deletereleases.php

Oxize schreef op zaterdag 12 januari 2013 @ 22:28:
Is er een snelle manier om alle files onder Other-Misc (spamm) te verwijderen? Krijg een lamme hand (111 pagina's) omdat ik het handmatig doe.

[TripleM]

kmf schreef op zaterdag 12 januari 2013 @ 21:36:

Ik heb gewoon een aparte script draaien voor de postprocessing.

[..]

in update_scripts bewaren als postprocessing.php

en dan aanroepen in een screen met php postprocessing.php

Hmm bij mij heb ik niet het idee dat er rar inspection wordt gebruikt om te zien of daar NFO's zitten. Is dat wat dit script (ook) doet?

Op de een of andere manier lijkt mijn screen shell script niet te post processen, want hij geeft op die stap totaal geen output en gaat zo door naar de volgende stap. Ik heb jouw script gerund, en die is nu volop bezig. Zo te zien blijft deze aan een stuk door postprocessen, klopt dat?

Ik denk dat ik die tmux scripts van jonnyboy nog es probeer aan te zetten, dat doet ook alles tegelijk in een mooi overzichtelijk scherm. Zou alleen wel willen weten hoe het nou met NFO's uit RARs werkt, of dat wel wordt gedaan.

Tsurany schreef op zaterdag 12 januari 2013 @ 23:54:
Denk dat ik jouw regex ga overnemen, die geven jouw betere resultaten en schijnen sneller te werken. Even uitpluizen hoe die in te stellen zijn.

Wel vaag dat het bij mij dan wel fout gaat. Maar eens kijken of daar niet wat aan te doen is.

Ik had gisteren nog even gesproken met de gast die bezig is met de regexes, en die heeft me afgeraden om alleen kmf's regexes te gebruiken. Voor sommige groepen zou het wel redelijk werken zegt hij, maar voor andere groepen juist helemaal niet. Je gaat dan veel releases missen zegt hij, en krijgt veel junk omdat dingen soms als meerdere releases worden gezien terwijl het bij elkaar hoort.

Ik vind t lastig, ingewikkelde regexes zijn voor mij gewoon echt wat te pittig, maar in de wetenschap dat die kerel continu aan het testen en bijwerken is, hou ik het voorlopig nog maar bij de community regexes.

[ Voor 8% gewijzigd door TripleM op 13-01-2013 01:29 ]

[kmf]

TripleM schreef op zondag 13 januari 2013 @ 01:25:
[...]


Ik had gisteren nog even gesproken met de gast die bezig is met de regexes, en die heeft me afgeraden om alleen kmf's regexes te gebruiken. Voor sommige groepen zou het wel redelijk werken zegt hij, maar voor andere groepen juist helemaal niet. Je gaat dan veel releases missen zegt hij, en krijgt veel junk omdat dingen soms als meerdere releases worden gezien terwijl het bij elkaar hoort.

Ik vind t lastig, ingewikkelde regexes zijn voor mij gewoon echt wat te pittig, maar in de wetenschap dat die kerel continu aan het testen en bijwerken is, hou ik het voorlopig nog maar bij de community regexes.

Dat kan, en dat heb ik dan ook aangegeven met voorbeelden. De zwakke punten zit 'm in de audio gedeelte. Daar kunnen tracks als losse tracks, dus losse releases worden gezien. Maar ik gebruik op audiobooks na geen mp3 dus...

Je moet voor jezelf testen welke het meest geschikt is voor jou.
Zo moeilijk is het niet om nog een installatie of twee van newznab te installeren en domweg 1x updatbinaries te draaien. Heb je gelijk voor een dag of drie aan headers. En dan kan je vergelijken.

[Verwijderd]

Hoi Jongens..... heb zitten zoeken maar kom er effe niet uit misschien weet iemand van jullie wat de melding betekent + misschien een evt oplossing zie hieronder :

PostPrc : Failed fetching rar file
94.93.92.91.90.89.88.87.86.85.8

Thanks in advance

[kmf]

Gewoon wat ie zegt. In dat proces wordt er een rar file gedownload om te checken of deze passworded is.
En die rar file kon ie niet downen. Expired of whatever dus.

Niks aan te doen.

[Buzzie]

weet iemand wat ik aan de volgende melding kan doen??

PostPrc : Performing additional post processing on last 1 releases ...1.sh: /usr/syno/bin/unrar e -ai -ep -c- -id -r -kb -p- -y -inul /volume3/@appstore/newznab/nzbfiles/tmpunrar/rarfile.rar /volume3/@appstore/newznab/nzbfiles/tmpunrar/": not found

/usr/syno/bin/unrar is al toegevoegd aan mijn open_basedir
/volume3 is de plek waar newznab is geinstalleerd

[Verwijderd]

Thanks Kmf voor je antwoord :-)

[kmf]

Buzzie schreef op zondag 13 januari 2013 @ 11:35:
weet iemand wat ik aan de volgende melding kan doen??

PostPrc : Performing additional post processing on last 1 releases ...1.sh: /usr/syno/bin/unrar e -ai -ep -c- -id -r -kb -p- -y -inul /volume3/@appstore/newznab/nzbfiles/tmpunrar/rarfile.rar /volume3/@appstore/newznab/nzbfiles/tmpunrar/": not found

/usr/syno/bin/unrar is al toegevoegd aan mijn open_basedir
/volume3 is de plek waar newznab is geinstalleerd

bestaat deze directory en heeft ie wel voldoende rechten? /volume3/@appstore/newznab/nzbfiles/tmpunrar/

[Buzzie]

kmf schreef op zondag 13 januari 2013 @ 11:58:
[...]


bestaat deze directory en heeft ie wel voldoende rechten? /volume3/@appstore/newznab/nzbfiles/tmpunrar/

de map bestaat met 777 als rechten

[Verwijderd]

Hu wat is er aan de hand? op mijn server en op een heel wat andere servers worden geen releases meer binnen gehaald? (getest op 4 verschillende) Iemand die dit kan bevestigen ? Laatste releases zijn van ongeveer 8 uur geleden.

[Coenen]

De added date van de eerste release van m'n release list is: 2013-01-13 14:34:34.
Als ik in m'n group list kijk, lijken de meeste groepen een 3~4 minuten geleden nog een update gehad te hebben. Dus bij mij lijkt het nog te werken.

[Verwijderd]

Coenen schreef op zondag 13 januari 2013 @ 14:37:
De added date van de eerste release van m'n release list is: 2013-01-13 14:34:34.
Als ik in m'n group list kijk, lijken de meeste groepen een 3~4 minuten geleden nog een update gehad te hebben. Dus bij mij lijkt het nog te werken.

Bij mij het zelfde, groups worden wel geupdate releases worden niet geupdate of hele vage hashes... heb laatste minuut weer 30 shit releases erin gekregen....

dan heb ik het hierover:
as073dse073

[ Voor 3% gewijzigd door Verwijderd op 13-01-2013 14:43 ]

[kmf]

Op een of andere manier zijn boneless en hdtv overspoeld met releases. Voor die twee waren er voor mij meer dan 2 miljoen aan headers te verwerken....

Ik heb ze dus maar even disabled en apart gaan updaten.

[Verwijderd]

kmf schreef op zondag 13 januari 2013 @ 14:46:
Op een of andere manier zijn boneless en hdtv overspoeld met releases. Voor die twee waren er voor mij meer dan 2 miljoen aan headers te verwerken....

Ik heb ze dus maar even disabled en apart gaan updaten.

ben dus niet de enige, hier ook het geval! Hij is nu klaar en nu druppelt alles binnen. Nieuwe techniek van brein ?

[Oxize]

Nee, irritante kleuters die niet weten hoe ze op usenet moeten posten, of van die gasten die usenet ten gronde willen brengen door van die spamm te versturen. Heb voor de gein paar dagen geleden is zo'n release binnen gehaald. Kon er weinig mee.

Jammer dat er zulke trieste lui rondlopen. Hoop dat de regexes van newznab nog beter worden de komende tijd, want er komt nog steeds veel aan 7010-troep binnen.

[kmf]

Tja. dat is wel efficient ja. Je hoeft immers maar 1x up te loaden, met ###-nieuwsgroepen in de "to"-address en je hebt ze allemaal overspoeld

In de tijd dat er hier 10k headers is verwerkt, zijn er weer 10k headers bij gekomen in boneless.

[Verwijderd]

En daarom heb ik boneless ook op gegeven, hopeloze zaak, je mist toch niets. Als je de goede groepen gebruikt.

[KorneelB]

andere vraag even, ik draai een ubuntu server, 4 cores, virtueel.
de ubuntu server ziet mijn 4 cores wel, maar het lijkt wel alsof ik maar max 10 procent van de CPU gebruik.. hij heeft 8 gig geheugen.. is er iets om hem alle cores te laten gebruiken?

[kmf]

freak1 schreef op maandag 14 januari 2013 @ 10:27:
andere vraag even, ik draai een ubuntu server, 4 cores, virtueel.
de ubuntu server ziet mijn 4 cores wel, maar het lijkt wel alsof ik maar max 10 procent van de CPU gebruik.. hij heeft 8 gig geheugen.. is er iets om hem alle cores te laten gebruiken?

In een ander topic over ubuntu zal je waarschijnlijk een betere antwoord krijgen...

[TripleM]

kmf schreef op zaterdag 12 januari 2013 @ 21:37:
[...]

Dat doe je met de blacklist.

Ik index ze gewoon want soms kan je adhv nfo toch de juiste naam (automatisch) goed krijgen.

Dat is waar ik het gisteren nog op IRC over had. Ik zou het eigenlijk handig vinden als je white/blacklisting kon toepassen na update_parsing. Maar dat gebeurt nu in update_binaries, dus als je nu zou willen whitelisten op 720p|1080p ga je een hoop missen dat dankzij update_parsing nog naar boven gaat komen.

Het lastige is dat er wel iets te zeggen is voor het dubbel black/whitelisten, of in ieder geval black/whitelisten op twee momenten. Eén zo vroeg mogelijk (zoals nu in update_binaries) om zoveel mogelijk van de troep er al uit te halen, en één wat later om na update_parsing de nieuwe troep eruit te gooien en/of te whitelisten op basis van termen zoals hierboven. Dus hoe dit het beste kan worden geimplementeerd is lastig.

Een mogelijke oplossing, waar 2 gasten op IRC _misschien_ deze week mee aan de slag gaan, is een extra black/whitelisting script dat je zou kunnen draaien na update_parsing. Maar misschien is er iemand hier die zoiets zou kunnen maken?

Whitelisting wil je volgens mij eigenlijk altijd pas na update_parsing doen, omdat je anders het risico hebt te veel weg te gooien. Dus de beste lange termijn oplossing lijkt mij blacklisting in 2 fases (voor en na update_parsing) en whitelisting alleen na update_parsing?

kmf schreef op zaterdag 12 januari 2013 @ 21:37:
[...]

En ooit gaat deep rar inspection ook wel geintroduceerd worden.

Hoe bedoel je precies? Dat werkt nu toch ook al? Als je deep password inspection aan hebt staan, zou update_parsing ook moeten zoeken naar NFO's in de rar files.

[ Voor 12% gewijzigd door TripleM op 14-01-2013 11:43 ]

[rhoolwerf]

Kan iemand mij helpen?

Ik heb sinds vrijdag Newznab (gratis editie) draaien op losliggende Raspberry Pi.. Performance technisch niet ideaal maar ik heb het alleen maar nodig voor mijn Sickbeard.

Nou is een bepaalde aflevering van vannacht (The Mentalist S05E12) niet binnen gekomen. Bij NZBIndex kan ik 'm wel vinden. In eerste instantie lag het aan mij regex's die niet toereikend waren. Maar als ik via Raw Search zoek kan ik 'm uberhaupt niet vinden, alsof de headers/binaries uberhaupt niet binnen zijn getrokken. Maak ik echter een NZB via NZBIndex, dan gaat het downloaden wel goed. Ik concludeer hieruit dat de binaries wel op de nieuwsserver aanwezig zijn, maar Newznab lijkt ze niet binnen te trekken?

Backfill lijkt vast te lopen aan het einde van een nieuwsgroep dus daar weet ik ook niet van wat ik er mee aan moet.

Kan iemand mij in de juiste richting duwen waar ik moet zoeken en/of wat ik mogelijk verkeerd heb staan?
Zou toch jammer zijn als juist datgeen waar ik Newznab voor wil gebruiken niet betrouwbaar lijkt te werken.


P.S. als ik iets heb genoemd wat niet mag, of juist specifieker moet zijn, dan hoor ik het graag.

[robobeat]

rhoolwerf: dat ligt aan het feit dat je de gratis versie gebruikt, je hebt dan maar beschikking over 2 regex versies. Hiermee filter je alleen simpele releases eruit, meer niet. Dat hij zo een release niet oppakt komt puur omdat hij niet de mogelijkheid heeft om die release te herkennen, en dat komt door de regex'en. Deze bepalen namelijk welke headers wel en niet worden opgeslagen en waar een release van gemaakt word naderhand.

[kmf]

TripleM schreef op maandag 14 januari 2013 @ 11:32:
[...]

Dat is waar ik het gisteren nog op IRC over had. Ik zou het eigenlijk handig vinden als je white/blacklisting kon toepassen na update_parsing. Maar dat gebeurt nu in update_binaries, dus als je nu zou willen whitelisten op 720p|1080p ga je een hoop missen dat dankzij update_parsing nog naar boven gaat komen.

Het lastige is dat er wel iets te zeggen is voor het dubbel black/whitelisten, of in ieder geval black/whitelisten op twee momenten. Eén zo vroeg mogelijk (zoals nu in update_binaries) om zoveel mogelijk van de troep er al uit te halen, en één wat later om na update_parsing de nieuwe troep eruit te gooien en/of te whitelisten op basis van termen zoals hierboven. Dus hoe dit het beste kan worden geimplementeerd is lastig.

Een mogelijke oplossing, waar 2 gasten op IRC _misschien_ deze week mee aan de slag gaan, is een extra black/whitelisting script dat je zou kunnen draaien na update_parsing. Maar misschien is er iemand hier die zoiets zou kunnen maken?

Whitelisting wil je volgens mij eigenlijk altijd pas na update_parsing doen, omdat je anders het risico hebt te veel weg te gooien. Dus de beste lange termijn oplossing lijkt mij blacklisting in 2 fases (voor en na update_parsing) en whitelisting alleen na update_parsing?

Volgens mij werkt de black/whitelist ook NIET als je nzb files importeert helaas. Ik zie namelijk veel dingen terugkomen die eigenlijk er uit geblacked moet worden.

Het is zeker handig om blacklist bij het binnenhalen van parts al te doen (update_binaries)
Want des te minder zooi in parts/binaries tabel, des te sneller het verwerken.
Maar er valt ook te spreken om dat na afloop ook te doen om je releases op te schonen. Maar dat kost natuurlijk per ratio meer moeite. Je moet immers alle releases rond en ook de releases daadwerkelijk weggooien (dus ook de gegenereerde nzb-files)

Hoe bedoel je precies? Dat werkt nu toch ook al? Als je deep password inspection aan hebt staan, zou update_parsing ook moeten zoeken naar NFO's in de rar files.

Wat ik nu heb gezien toont deeprar-inspection de files in de rar. Maar het verandert niet de titel adhv de inhoud van rars. Je kan wel een apart sphinx index hier op loslaten om die bestanden toch te vinden, maar het zal mooier zijn als de titel van de release ook geupdate wordt.

[kmf]

rhoolwerf schreef op maandag 14 januari 2013 @ 14:42:
Kan iemand mij helpen?

Ik heb sinds vrijdag Newznab (gratis editie) draaien op losliggende Raspberry Pi.. Performance technisch niet ideaal maar ik heb het alleen maar nodig voor mijn Sickbeard.

Ik zal als ik jou was eerst eens kijken of ie uberhaupt wat headers heeft binnengetrokken... Ik denk dat een raspberry zo slecht qua performance is, dat ie waarschijnlijk constant headers aan het verwerken is..

[rhoolwerf]

robobeat schreef op maandag 14 januari 2013 @ 15:24:
rhoolwerf: dat ligt aan het feit dat je de gratis versie gebruikt, je hebt dan maar beschikking over 2 regex versies. Hiermee filter je alleen simpele releases eruit, meer niet. Dat hij zo een release niet oppakt komt puur omdat hij niet de mogelijkheid heeft om die release te herkennen, en dat komt door de regex'en. Deze bepalen namelijk welke headers wel en niet worden opgeslagen en waar een release van gemaakt word naderhand.

Ik heb meerdere regexes erin staan (ergens vandaan gedownload) en ik krijg gewoon releases binnen. Het klopt dat deze specifieke aflevering niet voldoet aan de regexes en er dan ook geen release van wordt gemaakt.

Ik had echter verwacht dat ik middels de Raw Search ook binaries kon vinden die niet aan regexes heeft voldaan maar toch ontvangen zijn.
Gooit Newznab alle binaries/headers weg waar geen regex hits (releases) van zijn?

Als dat zo is, dan zou ik nooit via Newznab zelf kunnen achterhalen dat ik releases mis, moet ik dat dan altijd extern verifieren?

kmf schreef op maandag 14 januari 2013 @ 15:33:
[...]


Ik zal als ik jou was eerst eens kijken of ie uberhaupt wat headers heeft binnengetrokken... Ik denk dat een raspberry zo slecht qua performance is, dat ie waarschijnlijk constant headers aan het verwerken is..

De raspberry heeft voor de zes groups die ik indexeer hooguit een paar minuten nodig, aangezien hij middels het newznab_screen_local.sh script elke tien minuten indexeert. Overigens kan ik via Browse zien dat hij prima dingen van een half uur oud heeft maar ook van een paar uur oud, dus vooralsnog verwacht ik dat hij binnentrekken op zich gewoon werkt. Hij staat niet continue te stampen maar moet af en toe ff aan de bak.

[ Voor 25% gewijzigd door rhoolwerf op 14-01-2013 15:36 ]

[kmf]

afhankelijk van je instelling gooit newznab " headers" weg die na x dagen nog niet verwerkt kunnen worden.

Je kan mijn catchall-regexes toevoegen en dan zal je plots veel meer dingen krijgen.

En "raw" search is zoeken naar releases (verwerkte headers die echt een nzb hebben gekregen) en niet door headers.

[ Voor 23% gewijzigd door kmf op 14-01-2013 15:39 ]

[rhoolwerf]

Ik heb via jou gezocht naar een catch-all regex en die toegevoegd, heb ook het indexeren zojuist even geforceerd. Ik kan de aflevering nog steeds niet vinden maar als ik het goed begrijp heeft dat te maken met het feit dat we al een aantal uur later zijn dan het posten van de aflevering.

Kan ik dit middels backfill nog repareren (ter test of 't nu wel goed staat?) Als ik namelijk Backfill dan hangt het process na verloop van tijd zonder dat het systeem iets te doen heeft.

[robobeat]

rhoolwerf schreef op maandag 14 januari 2013 @ 15:35:
Ik had echter verwacht dat ik middels de Raw Search ook binaries kon vinden die niet aan regexes heeft voldaan maar toch ontvangen zijn.
Gooit Newznab alle binaries/headers weg waar geen regex hits (releases) van zijn?

Als dat zo is, dan zou ik nooit via Newznab zelf kunnen achterhalen dat ik releases mis, moet ik dat dan altijd extern verifieren?

zoals kmf al zei worden alleen releases doorzocht. headers die in de DB staan maar niet tot een release zijn gevormd vallen hier buiten. als je kijkt onder de group settings in het admin gedeelte, zie je dat je voor iedere group een header retention kan instellen. dat is hoe lang hij de headers aanhoud zonder release totdat hij deze weer dumpt.

[kmf]

rhoolwerf schreef op maandag 14 januari 2013 @ 15:49:
Ik heb via jou gezocht naar een catch-all regex en die toegevoegd, heb ook het indexeren zojuist even geforceerd. Ik kan de aflevering nog steeds niet vinden maar als ik het goed begrijp heeft dat te maken met het feit dat we al een aantal uur later zijn dan het posten van de aflevering.

Kan ik dit middels backfill nog repareren (ter test of 't nu wel goed staat?) Als ik namelijk Backfill dan hangt het process na verloop van tijd zonder dat het systeem iets te doen heeft.

je kan de groep resetten en dan opnieuw updaten. Bestaande releases blijven behouden.

[Coenen]

@rhoolwerf, je indexed a.b.etc ook?

[rhoolwerf]

kmf schreef op maandag 14 januari 2013 @ 15:51:
[...]


je kan de groep resetten en dan opnieuw updaten. Bestaande releases blijven behouden.

Heb ik gedaan, kom de release nog niet tegen. Ik vraag mij af of dit komt door de regex of door 't feit dat het ondertussen 8 uur geleden gepost is en ik de standaard 50,000 parts ophaal en dat te weinig is.

Coenen schreef op maandag 14 januari 2013 @ 15:55:
@rhoolwerf, je indexed a.b.etc ook?

Nee, maar daar worden de dingen die ik zoek ook niet gepost (althans, wat Binsearch en NZBindex mij vertellen)

[Coenen]

Mijn Newznab zegt van wel. Zet hem er eens bij, met 1~2 dagen backfill.

[TripleM]

kmf schreef op maandag 14 januari 2013 @ 15:30:
Het is zeker handig om blacklist bij het binnenhalen van parts al te doen (update_binaries)
Want des te minder zooi in parts/binaries tabel, des te sneller het verwerken.
Maar er valt ook te spreken om dat na afloop ook te doen om je releases op te schonen. Maar dat kost natuurlijk per ratio meer moeite. Je moet immers alle releases rond en ook de releases daadwerkelijk weggooien (dus ook de gegenereerde nzb-files)

Klopt. Ik denk ook niet dat het anders kan, omdat je op een bepaald moment nu eenmaal in de RARs moet gaan kijken. Het is beter om dat te doen bij wat je denkt dat een decent release kan zijn (de regexes, gecombineerd met blacklists voor de grootste troep). Met de extra info uit de RARs weet je zekerder wat weg kan, en dan zou je kunnen whitelisten op 720p|1080p of wat je maar wilt.

Maar de vraag is dan dus, is er iemand die zoiets in elkaar kan knutselen?

Wat ik nu heb gezien toont deeprar-inspection de files in de rar. Maar het verandert niet de titel adhv de inhoud van rars. Je kan wel een apart sphinx index hier op loslaten om die bestanden toch te vinden, maar het zal mooier zijn als de titel van de release ook geupdate wordt.

Sphinx doet toch niets anders dan een search index maken van de inhoud van je site? Dat heeft dan toch niks te maken met de releases an sich?

[rhoolwerf]

Coenen schreef op maandag 14 januari 2013 @ 16:22:
Mijn Newznab zegt van wel. Zet hem er eens bij, met 1~2 dagen backfill.

a.b.etc toegevoegd, backfill op 2 dagen gezet systemwide, a.b.tv a.b.teevee a.b.multimedia en nog een paar gereset en de backfill ook op 2 dagen gezet. Nu is hij bezig met een rescan en dat zal even gaan duren.. Heb een aantal regexes toegevoegd, inclusief /^.*"(?P<name>The\.Mentalist\.S.*)\.vol.*".*/i specifiek voor die ene aflevering van afgelopen nacht, regex ingesteld voor alle groups. Als hij 't nou nog niet vindt, dan snap ik het eventjes niet meer..

To be continued en op hoop van zegen :-)

[Verwijderd]

Euhm bugje gevonden in newznab denk ik.
getnzb?zip=1
Returnd een lege pagina, hebben meer mensen hier last van ? Deze pagina krijg je als je een serie opvraagt en dan alle afleveringen wilt downloaden.

[kmf]

^ nope. geen probleem hier. Check je errorlog. Kan goed zijn dat je apache-php limiet te laag is.


Ik heb trouwens de process_releases uit elkaar getrokken. Alle stages in principe
1 script zit nu constant de headers te parsen (stage 1)
1 script zit constant volledige binaries te markeren (stage 2)
2 scripts draaien de create releases. 1 voor updates, 1 voor imported.
de updates-script doet ook stage 4 en 6.
2 aparte scripts doet constant stage 5. 1 verwerkt de passwordcheck. 1 verzorgd de nfo download, movie lookup, etc.
1 script is constant aan het verwijderen (maar die kan het niet bij benen. Voor 1 binary die hij verwijdert, zijn er 10 bij gekomen)

Dit werkt super en het snelst eigenlijk. Updates (nieuwste releases) worden heel snel online gezet, ipv dat ie eerst op stage 1 en 2 moet wachten. Tegen de tijd dat de releases zijn gemaakt, staat de volgende partij al klaar om verwerkt te worden.

Ik zal later deze week deze scripts hier plaatsen.

[rhoolwerf]

Vreemd. Ik krijg één van de nu meerdere releases van The Mentalist nu wel binnen, maar nog steeds niet de juiste.. Zelfs met de regex die vrij specifiek voor die hit is geschreven... Heeft iemand nog tips?

[TripleM]

kmf schreef op maandag 14 januari 2013 @ 19:16:
Ik heb trouwens de process_releases uit elkaar getrokken. Alle stages in principe

[..]

Ik zal later deze week deze scripts hier plaatsen.

Hoe laat je deze tegelijk draaien? Op de manier waarop nu bv. zo'n get_binaries_threaded werkt? Of met tmux ofzo? (Let wel, ik ben geen developer ) Ik heb bv. dat tmux script van jonnyboy geprobeerd omdat mensen daar ook heel positief over waren, maar jij zoomt nu eigenlijk in op een deel van het geheel, toch?

[Delsin]

@rhoolwerf kun je niet gewoon met sql bij je database?

Want dan zou je met zo'n query eenvoudig kunnen kijken of je gezochte release misschien nog bij de binaries staat en dus niet door een regex is opgepikt:

SELECT b.ID, b.name, procstat from binaries b
INNER JOIN groups g on g.id = groupID
WHERE g.name = 'alt.binaries.tv'
AND b.name like '%The.Mentalist.S05E12%'

Als ik het goed heb is dit de juiste groep en bestandsnaam. Ik heb de release hier namelijk wel binnengekregen met regex 1277

Als de post hier staat hoef je pas met regexes te gaan spelen

[Verwijderd]

kmf schreef op maandag 14 januari 2013 @ 19:16:
^ nope. geen probleem hier. Check je errorlog. Kan goed zijn dat je apache-php limiet te laag is.


Ik heb trouwens de process_releases uit elkaar getrokken. Alle stages in principe
1 script zit nu constant de headers te parsen (stage 1)
1 script zit constant volledige binaries te markeren (stage 2)
2 scripts draaien de create releases. 1 voor updates, 1 voor imported.
de updates-script doet ook stage 4 en 6.
2 aparte scripts doet constant stage 5. 1 verwerkt de passwordcheck. 1 verzorgd de nfo download, movie lookup, etc.
1 script is constant aan het verwijderen (maar die kan het niet bij benen. Voor 1 binary die hij verwijdert, zijn er 10 bij gekomen)

Dit werkt super en het snelst eigenlijk. Updates (nieuwste releases) worden heel snel online gezet, ipv dat ie eerst op stage 1 en 2 moet wachten. Tegen de tijd dat de releases zijn gemaakt, staat de volgende partij al klaar om verwerkt te worden.

Ik zal later deze week deze scripts hier plaatsen.

Is dit niet wat jonnyboys script doet?

Ik heb trouwens mijn blacklist git bijgewerkt compleet.
https://github.com/nivong/Newznab_blacklist

[rhoolwerf]

Delsin schreef op maandag 14 januari 2013 @ 19:46:
@rhoolwerf kun je niet gewoon met sql bij je database?

Want dan zou je met zo'n query eenvoudig kunnen kijken of je gezochte release misschien nog bij de binaries staat en dus niet door een regex is opgepikt:

SELECT b.ID, b.name, procstat from binaries b
INNER JOIN groups g on g.id = groupID
WHERE g.name = 'alt.binaries.tv'
AND b.name like '%The.Mentalist.S05E12%'

Als ik het goed heb is dit de juiste groep en bestandsnaam. Ik heb de release hier namelijk wel binnengekregen met regex 1277

Als de post hier staat hoef je pas met regexes te gaan spelen

Ik krijg echt alleen de AFG release, niet die van DIMENSION die ik zou verwachten (en bij voorkeur heb wegens betrouwbaarheid)
Zou het te maken kunnen hebben dat mijn newsserver de headers heeft weggehaald (DMCA gedoe bijvoorbeeld) dus die kan ik niet indexeren, maar de binaries zijn er wel dus middels een NZB van een andere bron kan ik het alsnog downloaden?
Of praat ik nu onzin? (ik probeer het indexeren nog te begrijpen )

-- Edit: hij is nog bezig... Ik dacht dat hij klaar was maar nee dus :-)
Vol verwachting klopt ons hart...

[ Voor 4% gewijzigd door rhoolwerf op 14-01-2013 20:20 ]

[kmf]

Verwijderd schreef op maandag 14 januari 2013 @ 19:50:
[...]

Is dit niet wat jonnyboys script doet?

Ik heb trouwens mijn blacklist git bijgewerkt compleet.
https://github.com/nivong/Newznab_blacklist

Nee, die heeft de postproces verdeeld. Ik heb het verwerken zelf verdeeld.

[rhoolwerf]

Ok, nu lijkt de verwerking toch echt af te zijn. Nog steeds geen succes, als ik in MySQL de binaries tabel query op like '%The.Mentalist%' dan vind ik nog steeds de AFG (en een nieuwe lol variant), maar niet die van eerder vannacht.

Weet iemand het volgende:
Zou kunnen dat mijn newsserver de headers heeft weggehaald (DMCA gedoe bijvoorbeeld) zodat ik die niet kan indexeren, maar de binaries zijn er wel dus middels een NZB van een andere bron kan ik het alsnog downloaden?
Of praat ik nu onzin?

Ter info: TweakDSL newsserver. Misschien dat dat van belang kan zijn.

[ Voor 6% gewijzigd door rhoolwerf op 14-01-2013 22:07 . Reden: meer info ]

[SidewalkSuper]

De mogelijkheid om je een pm te sturen staat uit

[Buzzie]

Waar ik nu eigenlijk echt nieuwsgierig naar ben is het volgende.

ik heb o.a. de volgende 3 groepen actief in mijn lijst:

alt.binaries.b4e
alt.binaries.cd.image
alt.binaries.bluray

Ik heb op deze groepen, de regex van kmf gezet,
echter krijg ik er niets op binnen......de vraag is....waarom niet??
Wat ik heb begrepen van newznab is dat de headers worden binnen gehaald en op basis van de regex dat er dan ook releases van worden gemaakt.
Nu heb ik de bestaande regex gebruikt van de community en nu van kmf maar krijg nog steeds niets binnen.

Waarom krijg ik, als ik in de log kijk, bij alt.binaries.bluray de melding dat deze onjuist is en er daardoor niets mee doet??
Ook hier dus de regex van kmf toegevoegd.

bovenstaande groepen heb ik zojuist op 3 en 10 dagen backfill gezet omdat er wel releases op staan.

Wat ik ook graag zou willen weten, of er een programma is, of website, waar je zelf kan knutselen met de regex bestanden want ik snap er geen hol van.
Is het een kwestie van ik zet er een bestaande release in en dit is de regex die hem zou oppakken?

Tevens heb ik update_parsing draaien en ook deeprar scan aan staan.
maar ik krijg nog wel steeds vreemde releases in mijn newznab.
hoe zit dit?

[kmf]

Buzzie schreef op maandag 14 januari 2013 @ 22:27:
Waar ik nu eigenlijk echt nieuwsgierig naar ben is het volgende.

ik heb o.a. de volgende 3 groepen actief in mijn lijst:

alt.binaries.b4e
alt.binaries.cd.image
alt.binaries.bluray

Ik heb op deze groepen, de regex van kmf gezet,
echter krijg ik er niets op binnen......de vraag is....waarom niet??
Wat ik heb begrepen van newznab is dat de headers worden binnen gehaald en op basis van de regex dat er dan ook releases van worden gemaakt.
Nu heb ik de bestaande regex gebruikt van de community en nu van kmf maar krijg nog steeds niets binnen.

Waarom krijg ik, als ik in de log kijk, bij alt.binaries.bluray de melding dat deze onjuist is en er daardoor niets mee doet??
Ook hier dus de regex van kmf toegevoegd.

bovenstaande groepen heb ik zojuist op 3 en 10 dagen backfill gezet omdat er wel releases op staan.

Wat ik ook graag zou willen weten, of er een programma is, of website, waar je zelf kan knutselen met de regex bestanden want ik snap er geen hol van.
Is het een kwestie van ik zet er een bestaande release in en dit is de regex die hem zou oppakken?

Tevens heb ik update_parsing draaien en ook deeprar scan aan staan.
maar ik krijg nog wel steeds vreemde releases in mijn newznab.
hoe zit dit?

Tja.. wat krijg je te zien als je dit er op test?

code:

/^(?P<name>.*)$/i

deze is een soort "raw headers" regex en toont eigenlijk alles.

[Buzzie]

kmf schreef op maandag 14 januari 2013 @ 22:39:
[...]


Tja.. wat krijg je te zien als je dit er op test?

code:

/^(?P<name>.*)$/i

deze is een soort "raw headers" regex en toont eigenlijk alles.

Niets.
Maar heb deze groepen ook nog geen uur geleden gedelete en opnieuw aangemaakt met backfill aan.

maar daarvoor kreeg ik ook niets binnen.....het is tenslotte ook een standaard regex die al in het systeem staat maar ook met jouw catch all regex doet hij niets.
en dat snap ik dus niet

[rhoolwerf]

SidewalkSuper schreef op maandag 14 januari 2013 @ 22:21:
De mogelijkheid om je een pm te sturen staat uit

Staat nu aan, wist niet dat het uit stond. Excuus en ik zie uit naar je DM.

[kmf]

Buzzie schreef op maandag 14 januari 2013 @ 22:56:
[...]

Niets.
Maar heb deze groepen ook nog geen uur geleden gedelete en opnieuw aangemaakt met backfill aan.

maar daarvoor kreeg ik ook niets binnen.....het is tenslotte ook een standaard regex die al in het systeem staat maar ook met jouw catch all regex doet hij niets.
en dat snap ik dus niet

als je met die regex niets krijgt, dan zit er ook niks in. Je kan nog proberen om een selectquery te doen en kijken of je wel wat krijgt.

[Buzzie]

kmf schreef op maandag 14 januari 2013 @ 23:22:
[...]


als je met die regex niets krijgt, dan zit er ook niks in. Je kan nog proberen om een selectquery te doen en kijken of je wel wat krijgt.

maar waarom zit er dan niets in?? dat snap ik dus juist niet

[Verwijderd]

kmf schreef op maandag 14 januari 2013 @ 19:16:
^ nope. geen probleem hier. Check je errorlog. Kan goed zijn dat je apache-php limiet te laag is.

(..)

Even opnieuw gekeken, errorlog is schoon, php error report staat aan (E_STRICT) en memory limiet staat op 512MB....

[_serial_]

Ik heb een keurig nette installatie draaien van Newznab+

Echter ik krijg zelfs met leuke regexps nog steeds meuk zoals :
robtexpas
d2bfea1df9259ff2211065c1cff7440c
c-ddd1605
furty87453idmp4
!Sample
etc

Deze komen allemaal in other>misc terecht

Ik gebruik de regexps van nivong

Wat kan ik hier het beste aan doen ? of beter nog wat doe ik verkeerd

[Verwijderd]

_serial_ schreef op dinsdag 15 januari 2013 @ 19:02:
Ik heb een keurig nette installatie draaien van Newznab+

Echter ik krijg zelfs met leuke regexps nog steeds meuk zoals :
robtexpas
d2bfea1df9259ff2211065c1cff7440c
c-ddd1605
furty87453idmp4
!Sample
etc

Deze komen allemaal in other>misc terecht

Ik gebruik de regexps van nivong

Wat kan ik hier het beste aan doen ? of beter nog wat doe ik verkeerd

Niks, dat is een techniek om brein te omzeilen

Hier wordt aangewerkt, houd je NN+ uptodate met svn update. Ik kan je wat verklappen, er komt binnenkort wat leuks aan

[Oxize]

Hier wordt aangewerkt, houd je NN+ uptodate met svn update. Ik kan je wat verklappen, er komt binnenkort wat leuks aan

Vertel.....

[schumi2004]

Verwijderd schreef op dinsdag 15 januari 2013 @ 19:58:
[...]

Niks, dat is een techniek om brein te omzeilen

Hier wordt aangewerkt, houd je NN+ uptodate met svn update. Ik kan je wat verklappen, er komt binnenkort wat leuks aan

Ik kan wel een gokje doen maar wat ik me afvraag is voor hoe lang zal het duren?
Mijn vermoeden is dat destijds Morganelli gebruik maakte van de tools beschikbaar voor iedereen en wat houd hem tegen dit weer te doen, blijft denk een kat en muis spel.

[Verwijderd]

schumi2004 schreef op dinsdag 15 januari 2013 @ 21:21:
[...]

Ik kan wel een gokje doen maar wat ik me afvraag is voor hoe lang zal het duren?
Mijn vermoeden is dat destijds Morganelli gebruik maakte van de tools beschikbaar voor iedereen en wat houd hem tegen dit weer te doen, blijft denk een kat en muis spel.

Nope update_parsing is aangepast en er is een script geschreven die apart zoekt naar NFO files voor de misc releases en deze dan vervolgens kan laten verwerken door update_parsing waardoor je letterlijk 2x zoveel releases opeens hebt
Op dit moment nog aan het testen, zal een deze dagen via SVN te downloaden zijn.

[kmf]

gatverdamme man. Mijn eerste 10+ pagina's aan movie-releases zijn allemaal bevuild met .exe bestanden.
Groep minsize kan ik ook niet hoger zetten dan 1MB, want er zijn wel valide releases van 1MB...

[ Voor 32% gewijzigd door kmf op 16-01-2013 00:12 ]

[The-Priest-NL]

Eigenlijk zou je per groep de minsize in moeten kunnen stellen. Dat zou denk ik al een hoop schelen.

[kmf]

Ik zei al, er zijn valide 1MB releases die uk wel wilt hebben in die groep. En de exe bestanden zijn 20-30MB

[Lief Adje]

hoe gebruik je svn update nou precies, ik kom er niet uit... skipping geeft hij aan

Fixed, de .svn directory was missend

[ Voor 23% gewijzigd door Lief Adje op 16-01-2013 09:21 ]

[SidewalkSuper]

kmf schreef op woensdag 16 januari 2013 @ 09:03:
Ik zei al, er zijn valide 1MB releases die uk wel wilt hebben in die groep. En de exe bestanden zijn 20-30MB

Rar inspectie en als .exe in rar zit voor tv releases dan delete?