[Ervaringen] Newznab

[kmf]

voor degene die willen weten welke groepen historisch gezien het meest gebruikt worden de afgelopen 6 jaar.

Hier een (huge) screenshot van mijn groepenlijst nadat HET nzb-archief is geimporteerd. Hiermee kan je dus zelf bepalen welke groepen je wilt indexeren.

[Buzzie]

Zijn hier nog meer mensen die de volgende groepen in hun NN+ gebruiken?

alt.binaries.bluray
alt.binaries.blu-ray
alt.binaries.cd.image
alt.binaries.tvseries
alt.binaries.x264

ondanks dat ik de regex gebruik die behoort tot NN+ merk ik dat ik hier heel weinig releases op binnen krijg ondanks dat ik wel zie dat er releases op binnen komen.

iemand een idee?

[Xenophoben]

Waar kan ik die grote nzb database downloaden?

[kmf]

Buzzie schreef op maandag 07 januari 2013 @ 11:57:
Zijn hier nog meer mensen die de volgende groepen in hun NN+ gebruiken?

alt.binaries.bluray
alt.binaries.blu-ray
alt.binaries.cd.image
alt.binaries.tvseries
alt.binaries.x264

ondanks dat ik de regex gebruik die behoort tot NN+ merk ik dat ik hier heel weinig releases op binnen krijg ondanks dat ik wel zie dat er releases op binnen komen.

iemand een idee?

Je meot zelf de regex voor deze groepen (of in a.b.*) aanzetten/aanmaken.

[Pistolebob]

Xenophoben schreef op maandag 07 januari 2013 @ 12:30:
Waar kan ik die grote nzb database downloaden?

Ik neem aan dat je er hier http://newznab.com/chat.html om kan vragen.

[henwy]

Pistolebob schreef op maandag 07 januari 2013 @ 13:39:
[...]

Ik neem aan dat je er hier http://newznab.com/chat.html om kan vragen.

Om bovenstaand antwoord nog even compleet te maken, log in op de chat:

/query newznab !nzbdump YOURNEWZNABID

[Coenen]

@Buzzie; Ik heb wel wat releases op de volgende groepen:
a.b.tvseries: 1081
a.b.x264: 8

De andere groepen die je noemt index ik niet.

henwy schreef op maandag 07 januari 2013 @ 14:33:
[...]


Om bovenstaand antwoord nog even compleet te maken, log in op de chat:

/query newznab !nzbdump YOURNEWZNABID

Dat werkt goed Thx, nu toch ook maar eens gedaan.
De download gaat alleen niet zo snel.

[ Voor 54% gewijzigd door Coenen op 07-01-2013 14:54 ]

[Buzzie]

kmf schreef op maandag 07 januari 2013 @ 12:40:
[...]

Je meot zelf de regex voor deze groepen (of in a.b.*) aanzetten/aanmaken.

@kmf
Deze groepen zijn aangezet in NN+. ze zijn active in elk geval. Dit geldt ook voor de regex van die groepen.

Coenen schreef op maandag 07 januari 2013 @ 14:37:
@Buzzie; Ik heb wel wat releases op de volgende groepen:
a.b.tvseries: 1081
a.b.x264: 8

@Coenen
Dan heb je er meer dan ik.
in 2 weken tijd :
a.b.tvseries: 2
a.b.x264: 3

Heb jij nog iets speciaals gedaan hiervoor ??

Heb het overigens ook met andere groepen die ik gisteren heb toegevoegd.

alleen a.b.teevee loopt lekker

[Coenen]

Ik heb bij mijn weten niks bijzonders gedaan. Ik draai wel met het parsing script en het update_release_groups script. Mogelijk dat ik daardoor meer releases heb, al zouden deze scripts releases moeten renamen, niet direct meer releases toevoegen. Wat ook kan mijn Newznab draait al bijna een maand.

[Anoniem: 323326]

kmf schreef op maandag 07 januari 2013 @ 10:55:
voor degene die willen weten welke groepen historisch gezien het meest gebruikt worden de afgelopen 6 jaar.

Hier een (huge) screenshot van mijn groepenlijst nadat HET nzb-archief is geimporteerd. Hiermee kan je dus zelf bepalen welke groepen je wilt indexeren.

[afbeelding]

super, thanks!

Zie dat je, http://binsearch.info/browse.php?bg=alt.binaries.nl er ook in hebt maar als je daar op kijkt zie je heel veel crypted releases, haalt newznab deze er netjes uit ?

[Elect]

Ik heb een beetje lopen spelen met het copy/pasten van RegEx'en in de a.b.nl group. Deze lijken te werken, maar sluit niet uit dat deze groep een bulk aan zooi binnen gaat krijgen, maar daar is de reset en purge knop voor :-)

code:

/.*?\[(?P<parts>\d{1,3}\/\d{1,3})\].*?\"(?P<name>.*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|web|srt|ass|mpg|txt|zip|wmv|ssa|srr|r\d{1,3}|7z|tar|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|ac3|t\d{1,2}|u\d{1,3})/iS

/^(\[repost\]\ |)(?P<name>[a-z0-9].*?(480|720|810|1080|bluray|dts|dvd|bd25|bd50).*?)(\ |)(((\(|\[)(?P<parts>\d{1,3}\/\d{1,3})(\)|\])(\ |)(\-\ |))|)\".*?\.(mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|web|srt|ass|mpg|txt|zip|wmv|ssa|r\d{1,3}|7z|tar|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|ac3|t\d{1,2}|u\d{1,3})/iS

/.*?(\d{1,3}(\/| of )\d{1,3}).*?\"(?P<name>.*?(720|1080|810|480).*?)\.(m4v|sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|web|srt|ass|mpg|txt|zip|wmv|ssa|r\d{1,3}|7z|tar|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|ac3|t\d{1,2}|u\d{1,3})/iS

/.*?(?P<parts>\d{1,3}\/\d{1,3}).*?\"(?P<name>.*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|web|srt|ass|mpg|txt|zip|wmv|ssa|r\d{1,3}|7z|tar|mov|m2ts|rmvb|iso|dmg|sub|idx|rm|t\d{1,2}|u\d{1,3})/iS

/.*?(?P<parts>\d{1,3}\/\d{1,3}).*?\"(?P<name>.*?(xvid|brrip|264|ac3|720|810|1080|480|mkv).*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|web|srt|ass|mpg|txt|zip|wmv|ssa|r\d{1,3}|7z|tar|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|t\d{1,2}|u\d{1,3})/iS

/^.*?"(?P<name>.*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|web|srt|ass|mpg|txt|zip|wmv|ssa|r\d{1,3}|7z|tar|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|ac3|t\d{1,2}|u\d{1,3})/iS

/^(?P<name>.*?) \- \[(?P<parts>\d{1,3}\/\d{1,3})\] \- \"/i

/^(?P<name>[a-z].*?)(\ |)(\-|)(\ |)\[(?P<parts>\d{1,3}\/\d{1,3})\]/i

[ Voor 3% gewijzigd door Elect op 07-01-2013 18:47 ]

[Oxize]

@KMF: Beetje moeilijk te zien waar Scene releases uitgebracht worden. Ik heb puur intresse in HD en x264 films. De meeste bekende groepen wordt zo zwaar bevuild. Zag veel films uit rond en nabij 1910 voorbij komen.

Beetje jammer dat dat oude prut gepost wordt in zulke groepen . Is niet echt te blacklisten.

Als je goeie groepen met Scene releases weet, laat het me even weten.

@Elect: Welke van die moet je gebruiken dan, en hoe/wat moet je toevoegen?

[ Voor 8% gewijzigd door Oxize op 07-01-2013 18:55 ]

[Tsurany]

Iemand die ervaring heeft met de turnkeylinux oplossing? http://aceshome.com/newznab/
Heb wel wat gevonden in dit topic maar zeer sumier en geen uitgebreide ervaring. Het zou een mooie optie zijn maar werk het net zo goed als een eigen Xampp installatie?

[kmf]

Deze is een goede catchall

code:

/.*?\[(?P<parts>\d{1,3}\/\d{1,3})\].*?\"(?P<name>.*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|web|srt|ass|mpg|txt|zip|wmv|ssa|srr|r\d{1,3}|7z|tar|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|ac3|t\d{1,2}|u\d{1,3})/iS

Daarnaast heb ik ook deze zelf geschreven

code:

/^(?P<name>.*)\.(part\d{1,4}|vol\d{1,4}\+d{0,4}|\d{1,4}|par2).*$/i

Maar die is heel agressief. Dus heeft ie ordinal 9 bij mij. "Als alles mislukt, pak dan die."

Ik heb die dingen ook gesubmit, dus je kan effe tijdje wachten om te zien of ze in de release komt.


Oh, de update_parsing lost veel dingen op met rare namen. Die hernoemt ze adhv nfo.

Er is ook een update_cleaning welke releases opschoont. Maar wat het exact doet weet ik nog niet. Die verwijdert iig releases met rare namen.

[ Voor 35% gewijzigd door kmf op 07-01-2013 19:13 ]

[Oxize]

kmf schreef op maandag 07 januari 2013 @ 19:09:
Deze is een goede catchall

code:

/.*?\[(?P<parts>\d{1,3}\/\d{1,3})\].*?\"(?P<name>.*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|web|srt|ass|mpg|txt|zip|wmv|ssa|srr|r\d{1,3}|7z|tar|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|ac3|t\d{1,2}|u\d{1,3})/iS

En die is voor a.b.nl ?

[kmf]

Die kan je voor a.b.nl gebruiken.

Ik heb het gewoon voor a.b.* gezet. Want het is een catchall. Geen categorie selecteren en newznab zal zelf een categorie kiezen.

[Oxize]

kmf schreef op maandag 07 januari 2013 @ 19:18:
Die kan je voor a.b.nl gebruiken.

Ik heb het gewoon voor a.b.* gezet. Want het is een catchall. Geen categorie selecteren en newznab zal zelf een categorie kiezen.

Welke id heb je hem meegegeven?

[kmf]

Oxize schreef op maandag 07 januari 2013 @ 19:19:
[...]

Welke id heb je hem meegegeven?

id? je geeft geen id door.

[Oxize]

Ah, dat doet ie zelf Laat maar


"1.961.255 in Queue"

Zo eens kijken wat er binnen komt

[ Voor 47% gewijzigd door Oxize op 07-01-2013 19:29 ]

[kmf]

Shit man... ik zit de "missed binaries" the checken welke marked for deletion zijn.

Ik heb net een regex gemaakt voor alle "fout gematchte" regex.

Deze verwerkt alles zo goed dat ik haast helemaal opnieuw wilt beginnen met herindexeren

code:

/^.*?"(?P<name>.*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|web|rmvb|srt|ass|mpg|txt|zip|wmv|ssa|r\d{1,3}|7z|tar|cbr|cbz|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|t\d{1,2}|u\d{1,3})/iS

Als jullie deze toevoegen PER groep, dan krijg je opeens heel wat te zien. Probleem is, de standaard door newznab gekozen regex veroorzaakt deze foute matches. Dus je moet het per groep instellen.

Wie weet hoeveel releases ik hiermee kwijt bent geraakt?....

Deze gaat dus uit van de FILENAME. En niet van de description.

[ Voor 4% gewijzigd door kmf op 07-01-2013 20:02 ]

[Oxize]

kmf schreef op maandag 07 januari 2013 @ 19:53:
Shit man... ik zit de "missed binaries" the checken welke marked for deletion zijn.

Ik heb net een regex gemaakt voor alle "fout gematchte" regex.

Deze verwerkt alles zo goed dat ik haast helemaal opnieuw wilt beginnen met herindexeren

code:

/^.*?"(?P<name>.*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|web|rmvb|srt|ass|mpg|txt|zip|wmv|ssa|r\d{1,3}|7z|tar|cbr|cbz|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|t\d{1,2}|u\d{1,3})/iS

Als jullie deze toevoegen PER groep, dan krijg je opeens heel wat te zien. Probleem is, de standaard door newznab gekozen regex veroorzaakt deze foute matches. Dus je moet het per groep instellen.

Wie weet hoeveel releases ik hiermee kwijt bent geraakt?....

Hmm, ik was net bezig met die andere van je

[kmf]

Oxize schreef op maandag 07 januari 2013 @ 19:57:
[...]

Hmm, ik was net bezig met die andere van je

Die andere moet ordinal 8 krijgen. Deze moet zeker 1 krijgen.

En wees blij dat ik die vertel anders had je moeten wachten tot je iets terugziet in de regex-release

[ Voor 18% gewijzigd door kmf op 07-01-2013 19:59 ]

[Oxize]

Oke heb beide toegevoegd. thanks!

[ Voor 24% gewijzigd door Oxize op 07-01-2013 20:04 ]

[Buzzie]

Coenen schreef op maandag 07 januari 2013 @ 16:24:
Ik heb bij mijn weten niks bijzonders gedaan. Ik draai wel met het parsing script en het update_release_groups script. Mogelijk dat ik daardoor meer releases heb, al zouden deze scripts releases moeten renamen, niet direct meer releases toevoegen. Wat ook kan mijn Newznab draait al bijna een maand.

De mijne draait 2 weken dus dat scheelt ook.....maar zoveel verschil???
Ik heb er nu 2 instaan in a.b.tvseries terwijl ik, als ik de groep bekijk en naar mijn instellingen bekijk, er voor vandaag al zeker 3 bij had moeten hebben krijgen.

wat versta jij trouwens onder het update_release_groups script??

[Coenen]

Een script gemaakt door Splendid, om filenamen om te draaien.

[Buzzie]

Coenen schreef op maandag 07 januari 2013 @ 21:02:
Een script gemaakt door Splendid, om filenamen om te draaien.

@Coenen:
ahhh ok dat script....is dat niet alleen voor QoQ releases dan?

@Elect en @kmf
Dank voor de regex regels.....ik heb ze zojuist ook toegevoegd voor a.b.nl
Jammer dat ze niet werken voor de andere groepen die ik ook graag wil indexeren.
Met de standaard regex die NN+ levert, heb ik er geen hits mee terwijl ik die wel zou moeten hebben.

Hoe maken jullie die regex eigenlijk?? dan ga ik het desnoods zelf is proberen.
goede tutorial zou geweldig zijn.....en niet alleen voor mij denk ik zo?

[ Voor 48% gewijzigd door Buzzie op 07-01-2013 21:11 ]

[Anoniem: 423265]

http://www.regular-expressions.info/

[Elect]

Het gaat nog best aardig die NL groep indexeren. Heb het idee dat ik alsnog wel een hoop mis, maar er staan nu iedergeval 151 releases in van afgelopen 3 dagen.

[kmf]

Buzzie schreef op maandag 07 januari 2013 @ 21:09:
[...]


@Coenen:
ahhh ok dat script....is dat niet alleen voor QoQ releases dan?

@Elect en @kmf
Dank voor de regex regels.....ik heb ze zojuist ook toegevoegd voor a.b.nl
Jammer dat ze niet werken voor de andere groepen die ik ook graag wil indexeren.
Met de standaard regex die NN+ levert, heb ik er geen hits mee terwijl ik die wel zou moeten hebben.

Hoe maken jullie die regex eigenlijk?? dan ga ik het desnoods zelf is proberen.
goede tutorial zou geweldig zijn.....en niet alleen voor mij denk ik zo?

Hoezo werken ze niet voor de andere groepen?

Wat ik deed is gewoon op "test regex" doen. Daar krijg je een enorm ruwe voorbeeld regex die je als basis kan gebruiken. Van daaruit ga je dan meer dingen maken/aanpassen.

[Oxize]

Zie weinig covers (movie, mp3, tv) verschijnen voor de NL groep. Kijk je onder de groep zelf (raw) dan staat er wel genoeg, maar ook redelijk veel spamm.

Veel van de binaries die in die groep komen, bevatten te weinig info, waar newznab niks mee kan.

[ Voor 24% gewijzigd door Oxize op 07-01-2013 21:41 ]

[kmf]

Oxize schreef op maandag 07 januari 2013 @ 21:40:
Zie weinig covers (movie, mp3, tv) verschijnen voor de NL groep. Kijk je onder de groep zelf (raw) dan staat er wel genoeg, maar ook redelijk veel spamm.

Veel van de binaries die in die groep komen, bevatten te weinig info, waar newznab niks mee kan.

Ik weet niet wat je met raw bedoeld? Zijn het wel releasenames?
Covers en indeling is afhankelijk van de postprocessing. Dat wordt per ronde maar 1000 stuks van verwerkt. kan zijn dat ie hoop mist.

Ik heb een script draaien welke constant de postprocessing afvuurt.

[Oxize]

kmf schreef op maandag 07 januari 2013 @ 21:49:
[...]


Ik weet niet wat je met raw bedoeld? Zijn het wel releasenames?
Covers en indeling is afhankelijk van de postprocessing.

Ik bedoel een release zoals "Alles is Familie (2012)", die als cover onder movies komt te staan. Als ik via de search functie onder de groep zelf kijkt, dan staan er genoeg releases, maar deze bevatten te weinig info om release te maken zoals die "Alles is familie (2012)" release met cover en info.

[kmf]

Oxize schreef op maandag 07 januari 2013 @ 22:47:
[...]

Ik bedoel een release zoals "Alles is Familie (2012)", die als cover onder movies komt te staan. Als ik via de search functie onder de groep zelf kijkt, dan staan er genoeg releases, maar deze bevatten te weinig info om release te maken zoals die "Alles is familie (2012)" release met cover en info.

[afbeelding]

Die covers/info pagina wordt gemaakt adhv postprocessing zoals ik al zei. Zolang deze niet verwerkt is, worden ze simpelweg niet getoond.

Er wordt trouwens gezocht mbv nfo en IMDB. Dus de titel moet correct zijn.

[Buzzie]

kmf schreef op maandag 07 januari 2013 @ 21:34:
[...]


Hoezo werken ze niet voor de andere groepen?

Wat ik deed is gewoon op "test regex" doen. Daar krijg je een enorm ruwe voorbeeld regex die je als basis kan gebruiken. Van daaruit ga je dan meer dingen maken/aanpassen.

Ja dat heb ik ook gedaan bij de groepen waar ik het voor getest heb. (zie hieronder)
Ik krijg dan geen enkele hit te zien.
En heb het getest met jouw regex regels als ook met die van Elect

a.b.b4e
a.b.bluray
a.b.blu-ray
a.b.cd.image

[kmf]

Buzzie schreef op maandag 07 januari 2013 @ 23:02:
[...]


Ja dat heb ik ook gedaan bij de groepen waar ik het voor getest heb. (zie hieronder)
Ik krijg dan geen enkele hit te zien.
En heb het getest met jouw regex regels als ook met die van Elect

a.b.b4e
a.b.bluray
a.b.blu-ray
a.b.cd.image

En wat krijg je te zien als je deze "raw"-regex gebruikt voor die groepen?

code:

/^(?P<name>.*)$/i

[Tsurany]

Zo, nu een backfill maken van 30 dagen a.b.teevee, kijken hoe ver ik kom. Draai wel de gratis versie met de regex van github geplukt (https://raw.github.com/ko...master/db/latestregex.sql).
Neem aan dat ik met de plus versie veel meer zal vinden?

[Buzzie]

kmf schreef op maandag 07 januari 2013 @ 23:19:
[...]


En wat krijg je te zien als je deze "raw"-regex gebruikt voor die groepen?

code:

/^(?P<name>.*)$/i

Dan krijg ik alleen bij a.b.blu-ray hits.
bij de andere groepen krijg ik niets te zien ??

[kmf]

Buzzie schreef op dinsdag 08 januari 2013 @ 08:51:
[...]

Dan krijg ik alleen bij a.b.blu-ray hits.
bij de andere groepen krijg ik niets te zien ??

dan heb je helemaal geen parts/binaries in die andere groepen. Niks binnengehaald of zo dus.

[Buzzie]

kmf schreef op dinsdag 08 januari 2013 @ 09:07:
[...]


dan heb je helemaal geen parts/binaries in die andere groepen. Niks binnengehaald of zo dus.

Was het niet zo dat hij pas wat gaat binnen halen bij de juiste regex?

ik zal hem in elk geval toe gaan voegen

[Dr.Energy]

Misschien dat iemand hier het antwoord weet, sinds een paar weken draai ik ook Newznab+, na alleen tvshows te hebben getest heb ik mijn groepen uitgebreid met andere groepen.

Dit ging gewoon goed, sinds een paar dagen kan ik niet meer me binaries updaten, dan krijg ik een NNTP timeout, ik heb al zitten kijken in logs etc maar kan verder niks vinden. Er is niks veranderd in de configuratie, als provider gebruik ik XSNews. Wie kan mij helpen?

p.s. ik heb het maximaal aantal messages al verlaagt naar 5000

Tevens ben ik op zoek naar die gigantische database om te uploaden, ik las ergens dat als je een betaalde gebruiker bent iemand een mail moet sturen, wie weet naar wie ik dit moet sturen?


Processing alt.binaries.teevee
Group alt.binaries.teevee has 724,803 new parts.
First: 258296917 Last: 465239320 Local last: 464514517
Getting 5,001 parts (464514518 to 464519518) - 719,802 in queue
Received 5001 articles of 5001 requested, 1383 blacklisted, 2 not binaries
210 new, 21 updated, 3,616 parts. 0.92 headers, 123.09 update, 124.01 range.
Getting 5,001 parts (464519519 to 464524519) - 714,801 in queue
NNTP connection timed out. Reconnecting...
Received 5001 articles of 5001 requested, 238 blacklisted, 0 not binaries

[ Voor 27% gewijzigd door Dr.Energy op 08-01-2013 09:53 ]

[Mr. Happy]

Dr.Energy schreef op dinsdag 08 januari 2013 @ 09:23:
Misschien dat iemand hier het antwoord weet, sinds een paar weken draai ik ook Newznab+, na alleen tvshows te hebben getest heb ik mijn groepen uitgebreid met andere groepen.

Dit ging gewoon goed, sinds een paar dagen kan ik niet meer me binaries updaten, dan krijg ik een NNTP timeout, ik heb al zitten kijken in logs etc maar kan verder niks vinden. Er is niks veranderd in de configuratie, als provider gebruik ik XSNews. Wie kan mij helpen?

p.s. ik heb het maximaal aantal messages al verlaagt naar 5000

Tevens ben ik op zoek naar die gigantische database om te uploaden, ik las ergens dat als je een betaalde gebruiker bent iemand een mail moet sturen, wie weet naar wie ik dit moet sturen?

het torrentbestand kun je in de chat van nn aanvragen

[Dr.Energy]

@Mr. Happy: Thnx, heb hem!

[Tsurany]

Net van een groep of 5 een backfill aan het opbouwen van 365 dagen. Gaat wel lekker

Zijn de regex van NN+ nu echt de moeite waard tov die Github copy? Neem aan van wel maar wil het wel even zeker weten

[whitecrow]

Dr.Energy schreef op dinsdag 08 januari 2013 @ 09:23:
..
NNTP connection timed out. Reconnecting...
..

Lastig, het kan van alles zijn.

Draai anders optimise_db.php even, misschien dat de data wat te langzaam wordt weggeschreven.
Kan ook een tijdelijke hik zijn bij XSNews.

[kmf]

Buzzie schreef op dinsdag 08 januari 2013 @ 09:14:
[...]


Was het niet zo dat hij pas wat gaat binnen halen bij de juiste regex?

ik zal hem in elk geval toe gaan voegen

Nee. Hij haalt ruwe data binnen op het moment dat een groep actief is.

Maar... afhankelijk van je instellingen kan newznab de ruwe data verwijderen die niet verwerkt kunnen worden.

[Buzzie]

kmf schreef op dinsdag 08 januari 2013 @ 11:22:
[...]


Nee. Hij haalt ruwe data binnen op het moment dat een groep actief is.

Maar... afhankelijk van je instellingen kan newznab de ruwe data verwijderen die niet verwerkt kunnen worden.

Ok....nou de groep was al een poosje actief echter zonder releases of maar heel weinig.
Maar kan me voorstellen dat hij releases wat niet met een regex overeenkomt dat hij die verwijdert.

Nu had jij het gisteren over dat jij naar jouw "Missed Releases" zat te kijken.
Waar deed jij dat?

[Dr.Energy]

whitecrow schreef op dinsdag 08 januari 2013 @ 10:42:
[...]


Lastig, het kan van alles zijn.

Draai anders optimise_db.php even, misschien dat de data wat te langzaam wordt weggeschreven.
Kan ook een tijdelijke hik zijn bij XSNews.

Ik denk dat er iets mis is met mn database, hij blijft heel lang op optimise_db.php true staan, en dan opeens poef weg... Is er een manier om de database gewoon helemaal opnieuw te maken? Wat ik wel pas heb gedaan is die tabellen die vaak worden aangesproken veranderd in innodb engine, hier is het volgens mij fout gegaan.

Het was inderdaad iets met de database, heb de install opnieuw gedraaid en nu kan ik wel weer de binaries ophalen. Heel vreemd. Wat is nu de beste manier op de tabellen om te zetten naar Innodb via phpmyadmin.

[ Voor 14% gewijzigd door Dr.Energy op 08-01-2013 12:36 ]

[Elect]

Ik gebruik myisam en eigenlijk werkt dat ook prima. Voor het geval dat je hem niet wilt omzetten

[thesystem]

kmf schreef op maandag 07 januari 2013 @ 19:53:

code:

/^.*?"(?P<name>.*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|web|rmvb|srt|ass|mpg|txt|zip|wmv|ssa|r\d{1,3}|7z|tar|cbr|cbz|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|t\d{1,2}|u\d{1,3})/iS

Als jullie deze toevoegen PER groep, dan krijg je opeens heel wat te zien. Probleem is, de standaard door newznab gekozen regex veroorzaakt deze foute matches. Dus je moet het per groep instellen.

Hoe bedoel je dat deze moeten worden toegevoegd per groep? Bedoel je dat bij Add Regex in het veld Group iedere groep moet worden ingevuld die ik ook doe indexen?

[Coenen]

Buzzie schreef op maandag 07 januari 2013 @ 21:09:
[...]


@Coenen:
ahhh ok dat script....is dat niet alleen voor QoQ releases dan?

Klopt.

[Oxize]

@Coenen: Waar komen die QoQ releases op binnen dan? a.b.nl?

[Coenen]

Ik heb er even snel een aantal bekeken in bv: a.b.misc en a.b.cores zie ik QoQ releases.

[Oxize]

Jij had daar een speciale script voor?

[Anoniem: 323326]

kmf schreef op maandag 07 januari 2013 @ 19:53:
Shit man... ik zit de "missed binaries" the checken welke marked for deletion zijn.

Ik heb net een regex gemaakt voor alle "fout gematchte" regex.

Deze verwerkt alles zo goed dat ik haast helemaal opnieuw wilt beginnen met herindexeren

code:

/^.*?"(?P<name>.*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|web|rmvb|srt|ass|mpg|txt|zip|wmv|ssa|r\d{1,3}|7z|tar|cbr|cbz|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|t\d{1,2}|u\d{1,3})/iS

Als jullie deze toevoegen PER groep, dan krijg je opeens heel wat te zien. Probleem is, de standaard door newznab gekozen regex veroorzaakt deze foute matches. Dus je moet het per groep instellen.

Wie weet hoeveel releases ik hiermee kwijt bent geraakt?....

Deze gaat dus uit van de FILENAME. En niet van de description.

Werkt maar:
[code]
regex='/^.*?"(?P<name>.*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|web|rmvb|srt|ass|mpg|txt|zip|wmv|ssa|r\d{1,3}|7z|tar|cbr|cbz|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|t\d{1,2}|u\d{1,3})/iS
'
' error=preg_match(): Unknown modifier '
[/code]
(/testing/regexvervy.php)

Ik moet ook wel de spatie weg halen...

[Coenen]

@Oxize, voor die QoQ releases met omgedraaide file namen gebruik ik het scipt van Splendid.

[Oxize]

Coenen schreef op dinsdag 08 januari 2013 @ 22:26:
@Oxize, voor die QoQ releases met omgedraaide file namen gebruik ik het scipt van Splendid.

Zou je die eens willen posten? Gisteren is de update_parsing nog aangepast door newznab.

[kmf]

ik denk dat ik opnieuw ga beginnen met newznab. En dan wel zonder dat ik de communityregex. Die hebben mijn insziens teveel misses. Ik ga liever op mijn "filename"-regex af.

Het probleem is dat je niet goed prioriteit kan geven. Heel veel communityregex hebben namelijk ordinal 1.. oftewel, je moet je eigen dingen op 0 zetten wil je ze een hogere prio geven.

[Anoniem: 323326]

kmf schreef op dinsdag 08 januari 2013 @ 23:07:
ik denk dat ik opnieuw ga beginnen met newznab. En dan wel zonder dat ik de communityregex. Die hebben mijn insziens teveel misses. Ik ga liever op mijn "filename"-regex af.

Het probleem is dat je niet goed prioriteit kan geven. Heel veel communityregex hebben namelijk ordinal 1.. oftewel, je moet je eigen dingen op 0 zetten wil je ze een hogere prio geven.

Wat is een community regex en wat is het probleem met ordinal 0?

Trouwens weet iemand of sphinx search wordt gebruikt voor de search rechts boven of alleen voor de raw search ?

[Tsurany]

Ik heb wat zitten zoeken naar deep rar inspection maar vind geen antwoord op mijn vraag. In hoeverre kan dit gebruikt worden om rare headers om te zetten naar bruikbaar resultaat? Gaat het echt bij alles wat gevonden wordt kijken wat in de rars zit of enkel bij al herkende releases die al gematched zijn met een regex?

[j1nx]

Tsurany schreef op woensdag 09 januari 2013 @ 08:43:
Ik heb wat zitten zoeken naar deep rar inspection maar vind geen antwoord op mijn vraag. In hoeverre kan dit gebruikt worden om rare headers om te zetten naar bruikbaar resultaat? Gaat het echt bij alles wat gevonden wordt kijken wat in de rars zit of enkel bij al herkende releases die al gematched zijn met een regex?

Hij download alleen releases.

Met andere woorden aan het eind van de update rit, wanneer er een nzb gecreeerd is als release, zal hij die voor een klein stukje downloaden en proberen uit te pakken. Vraagt hij om een password dan knikkert hij hem weg, anders OK!

[Tsurany]

Hmm, dat is jammer. Want dan is het voor alsnog erg lastig om een release te matchen die onder een vage header geupload wordt?

[kmf]

Tsurany schreef op woensdag 09 januari 2013 @ 09:34:
Hmm, dat is jammer. Want dan is het voor alsnog erg lastig om een release te matchen die onder een vage header geupload wordt?

Dat is voor een gedeelte opgelost met update_parsing die adhv de nfo de juiste release bij haalt.

Maar ik had ook hetzelfde idee, om de "media info" en "passwordcheck" functionaliteit uit te breiden zodat ie ook de files binnen de rar probeert te achterhalen.

Misschien is dat wel iets om te opperen aan de devvers. (hoewel dat betekent dat ook de DMCA-partijen dezelfde functionaliteit kunnen gebruiken waardoor we nog sneller richting passworded files gaan...)

[robobeat]

kmf schreef op woensdag 09 januari 2013 @ 10:01:
[...]


Dat is voor een gedeelte opgelost met update_parsing die adhv de nfo de juiste release bij haalt.

Maar ik had ook hetzelfde idee, om de "media info" en "passwordcheck" functionaliteit uit te breiden zodat ie ook de files binnen de rar probeert te achterhalen.

Misschien is dat wel iets om te opperen aan de devvers. (hoewel dat betekent dat ook de DMCA-partijen dezelfde functionaliteit kunnen gebruiken waardoor we nog sneller richting passworded files gaan...)

met passworded files lost dat nog steeds niet op, want de rar is wel nog steeds in te zien, en dus is de naam van de file ook te lezen. Dat gaat eerder over naar random hash namen, ook in de uiteindelijke video file, zodat niemand van buitenaf kan inzien wat er in zit.

[kmf]

Weet iemand wat predb eigenlijk doet/waar het voor is?

[Xenophoben]

weet iemand welke poorten ik moet forwarden om de server beschikbaar te maken?

[Tsurany]

Voor http poort 80 en voor https poort 443.

[robobeat]

kmf schreef op woensdag 09 januari 2013 @ 10:28:
Weet iemand wat predb eigenlijk doet/waar het voor is?

wat ik er over terug kan vinden heeft het te maken met een DB die bijgehouden word over valse releases. Releases of groepen die releases uitbrengen die niet gewenst zijn of waar troep in zit. dit zou samen moeten werken met een partij die een nzpre DB bijhoudt. Correct me if I 'm wrong.

[MrOizo2005]

robobeat schreef op woensdag 09 januari 2013 @ 11:05:
[...]


wat ik er over terug kan vinden heeft het te maken met een DB die bijgehouden word over valse releases. Releases of groepen die releases uitbrengen die niet gewenst zijn of waar troep in zit. dit zou samen moeten werken met een partij die een nzpre DB bijhoudt. Correct me if I 'm wrong.

Je ziet inderdaad een lijst met releases die uitgebracht zijn. Als newznab een released matched aan deze database dan zie je hoe lang geleden die release is ge-pre'ed. Dit staat dan bv. bij de film info.

[kmf]

Grmmbl... er zijn van die irritante releases die niet te matchen zijn.

Dingen die ze zo uitvoeren

audiobook.jpg
audiobook 01of 03.mp3
audiobook 02of 03.mp3
audiobook 03of 03.mp3
audiobook.par2
audiobook.par*

Deze zal dan 4 releases maken, namelijk 1met jpg en par*. En daarna voor elke losse mp3 een eigen release...

[Coenen]

Zou je daar niet een apart script voor kunnen/moeten maken? Eentje dedicated voor audiobooks?!
Aan de andere kant, je hebt natuurlijk ook: Browse Audio > Audiobook.
Daar staan, bij mij dan, al een hoop releases.

[kmf]

Niet zonder dat je de releases die wel van goede naam zijn voorzien in de waar gooit. Want om zulke dingen te matchen moet je een heel vrije (niet streng) regex doen. En een vrije regex moet nooit als eerste uitgevoerd worden.

Ik zie niet in hoe dit opgelost kan worden. Tja... dan komen ze er maar als 4 releases in en moet ik ze handmatig combineren tot 1 nzb of zo...


het is natuurlijk zo dat heel veel audiobooks gewoon met een goede titel worden geupload. het is dan geen probleem om die gematcht te krijgen.

Ik ben nu echter bezig om "zoveel mogelijk goede releases"-regex te maken. En die voorbeeld die ik gaf komt dan boven water als "half mislukt"

[ Voor 28% gewijzigd door kmf op 09-01-2013 13:53 ]

[Anoniem: 323326]

kmf schreef op woensdag 09 januari 2013 @ 13:52:
Niet zonder dat je de releases die wel van goede naam zijn voorzien in de waar gooit. Want om zulke dingen te matchen moet je een heel vrije (niet streng) regex doen. En een vrije regex moet nooit als eerste uitgevoerd worden.

Ik zie niet in hoe dit opgelost kan worden. Tja... dan komen ze er maar als 4 releases in en moet ik ze handmatig combineren tot 1 nzb of zo...


het is natuurlijk zo dat heel veel audiobooks gewoon met een goede titel worden geupload. het is dan geen probleem om die gematcht te krijgen.

Ik ben nu echter bezig om "zoveel mogelijk goede releases"-regex te maken. En die voorbeeld die ik gaf komt dan boven water als "half mislukt"

worden de toekomstige regexen ook gedeeld ?

[Oxize]

Ik heb intresse in dat QoQ scriptje van Coenen/Splendid. Geen idee waar ik die regel neer moet zetten, aangezien dat de Newznab jongens het alweer aangepast hebben. Heb gister het wel toegevoegd, maar zie weinig gebeuren.

[ Voor 16% gewijzigd door Oxize op 09-01-2013 15:31 ]

[Anoniem: 323326]

Oxize schreef op woensdag 09 januari 2013 @ 15:30:
Ik heb intresse in dat QoQ scriptje van Coenen/Splendid. Geen idee waar ik die regel neer moet zetten, aangezien dat de Newznab jongens het alweer aangepast hebben. Heb gister het wel toegevoegd, maar zie weinig gebeuren.

Je moet gewoon een script toevoegen, niets aanpassen ? even terug staat een heel script (update_release_groups.php)

Ik heb net gesproken met de maker van de regexes en de update_parsing script en hij geeft aan dat de hased releases gefixt zijn voor hdtv.x264 al 2 weken terug, script moet alleen nog geschreven worden, nog even geduld dus.

Verder werkt hij nu aan de regexes (begint, wanneer geen idee) voor a.b.nl.

[Oxize]

Anoniem: 323326 schreef op woensdag 09 januari 2013 @ 15:46:
[...]
Je moet gewoon een script toevoegen, niets aanpassen ? even terug staat een heel script (update_release_groups.php)

Ja, en daar moet je je newznab path toevoegen. En dat is per besturingssysteem/sql-server verschillend aangezien er 3 mensen daarop met andere paden kwamen.

Ik ken totaal geen php, dus ik zou ook niet weten, hoe ik dat pad daar moet invoeren.

Ik draai xampp onder windows 7 (c:\xampp\htdocs\newznab\)

[kmf]

Anoniem: 323326 schreef op woensdag 09 januari 2013 @ 15:29:
[...]

worden de toekomstige regexen ook gedeeld ?

Ik send ze wel naar newznab en kijken of ze door de release wordt opgepakt.


Bragmoment:
Gisteren dus opnieuw begonnen met een nieuwe installatie en mijn nieuwe "filename"-regexen.

Van de 500.000+ binaries zijn er 400.000 "released". 8000 "title matched" (en de rest nog niet processed)

Released wilt zeggen dat de parts van die binaries voor 97% aanwezig zijn.

Op de vervelende naamgevingen na zijn het ook allemaal goede titles geworden. Mijn wiskunde is niet zo goed, maar dat lijkt me meer dan 95% hitrate?


Toen ik de community-regex gebruikte was er veel meer unmatched
Iets van 20-30%

Ja, toen ik mijn regex er op af stuurde ging het veel beter. Maar ja, dan heb ik al een database met veel foute titels en "verlopen unmatched" binaries... Ik ga dus maar door met deze nieuwe.

[Anoniem: 323326]

kmf schreef op woensdag 09 januari 2013 @ 16:12:
[...]


Ik send ze wel naar newznab en kijken of ze door de release wordt opgepakt.


Bragmoment:
Gisteren dus opnieuw begonnen met een nieuwe installatie en mijn nieuwe "filename"-regexen.

Van de 500.000+ binaries zijn er 400.000 "released". 8000 "title matched" (en de rest nog niet processed)

Released wilt zeggen dat de parts van die binaries voor 97% aanwezig zijn.

Op de vervelende naamgevingen na zijn het ook allemaal goede titles geworden. Mijn wiskunde is niet zo goed, maar dat lijkt me meer dan 95% hitrate?


Toen ik de community-regex gebruikte was er veel meer unmatched
Iets van 20-30%

Ja, toen ik mijn regex er op af stuurde ging het veel beter. Maar ja, dan heb ik al een database met veel foute titels en "verlopen unmatched" binaries... Ik ga dus maar door met deze nieuwe.

Zoals gezegd ken ik de maker van regexes, als je wilt kan ik met hem naar je regexes kijken stuur maar DM.

Oxize schreef op woensdag 09 januari 2013 @ 16:06:
[...]

Ja, en daar moet je je newznab path toevoegen. En dat is per besturingssysteem/sql-server verschillend aangezien er 3 mensen daarop met andere paden kwamen.

Ik ken totaal geen php, dus ik zou ook niet weten, hoe ik dat pad daar moet invoeren.

Ik draai xampp onder windows 7 (c:\xampp\htdocs\newznab\)

Probeer deze is:

code:

<?php
// V0.2 By Splendid

define('FS_ROOT', realpath(dirname(__FILE__)));
require_once (FS_ROOT . "/../../www/config.php");
require_once (FS_ROOT . "/../../www/lib/framework/db.php");
require_once (FS_ROOT . "/../../www/lib/nntp.php");
require_once (FS_ROOT . "/../../www/lib/site.php");
require_once (FS_ROOT . "/../../www/lib/util.php");
require_once (FS_ROOT . "/../../www/lib/releases.php");
require_once (FS_ROOT . "/../../www/lib/nfo.php");
require_once (FS_ROOT . "/../../www/lib/category.php");

$Filecount = 0;
$rescount = 0;
$test = 0;
$db = new DB();


//Full DB
//$res = $db->query("select r.searchname, r.ID as RID, r.categoryID, r.guid, r.postdate, rn.ID as nfoID, g.name as groupname, rf.name as rarfilename from releases r left join releasenfo rn on rn.releaseID = r.ID left join groups g on g.ID = r.groupID left join releasefiles rf on rf.releaseID = r.ID WHERE r.searchname LIKE '%QoQ%'");
//Last 24Hours
$res = $db->query("select r.searchname, r.ID as RID, r.categoryID, r.guid, r.postdate, rn.ID as nfoID, g.name as groupname, rf.name as rarfilename from releases r left join releasenfo rn on rn.releaseID = r.ID left join groups g on g.ID = r.groupID left join releasefiles rf on rf.releaseID = r.ID WHERE r.adddate BETWEEN NOW() - INTERVAL 1 DAY AND NOW() AND r.searchname LIKE '%QoQ%'");

echo "Update searchnames for specific release groups\n";

if ($res) {

    $rescount = sizeof($res);
    
    echo "\nProcessing ".$rescount." release groups\n\n";
    
    foreach($res as $rel) {
    
        $test = 0;
        if ($test == 0) {
        
            $foundName = '';
            $tempname = '';

            $searchname = str_replace('_', ' ', $rel['searchname']);
                
            if(strpos($searchname, 'QoQ-sbu') !== FALSE) {
                $searchname = strrev($searchname);
                $Filecount++;
            }
                
            echo '['.date("H:i:s").'] New SearchName:    '.$searchname."\n";
            echo '['.date("H:i:s").'] Old Name:        '.$rel['searchname']."\n";
            echo '['.date("H:i:s").'] ReleaseID:        '.$rel['RID']."\n";
            
            if ( $rel['searchname'] == $searchname)  {
                
                echo "[".date("H:i:s")."] Status:        Nothing Changed, Not Updating Release\n";
                
            } else  {
                
                echo "[".date("H:i:s")."] Status:        Release Changed, Updating Release\n";
                $db->query(sprintf("UPDATE releases SET searchname = %s WHERE releases.ID = %d", $db->escapeString($searchname), $rel['RID']));
                
            }
            echo "\n";

        }
    }
    
    echo date("H:i:s")."] ".$rescount . " releases checked\n";
    echo date("H:i:s")."] ".$Filecount . " releases updated\n";

} else {
    
    echo date("H:i:s")."] No updates required\n";
    
}

?>

zet hem in je {code]newznab/misc/update_scripts[/code] anders werkt hij niet

[ Voor 62% gewijzigd door Anoniem: 323326 op 09-01-2013 16:21 ]

[Anoniem: 323326]

dubble post kan weg

[ Voor 99% gewijzigd door Anoniem: 323326 op 09-01-2013 16:21 . Reden: dubbele post. ]

[Oxize]

code:

update searchnames for specific release groups
16:24:30] No update required.

[Coenen]

Lijkt me goed, waarschijnlijk geen nieuwe QoQ releases, gewoon lekker mee laten lopen en later nog eens kijken hie die gaat.

[Freekers]

Hoe roepen jullie dat JohnnyBoy script aan bij het opstarten?
Ik wil graag dat het in screen runt, zodat ik af en toe kan checken hoe het loopt.
Dus ik heb dit start_screen.sh script gemaakt:

#!/bin/bash
cd /opt/newznab/misc/update_scripts/nix_scripts/tmux/

# Start server now!
screen -A -m -d -S johnnyboy ./start.sh

Als ik het direct aanroept, werkt het. Zet ik hem zo in de /etc/rc.local:

bash /opt/newznab/misc/update_scripts/nix_scripts/tmux/start_screen.sh

werkt het niet... ik snap er werkelijk geen biet van!

[Anoniem: 323326]

Oxize schreef op woensdag 09 januari 2013 @ 16:25:

code:

update searchnames for specific release groups
16:24:30] No update required.

code:

//Full DB
//$res = $db->query("select r.searchname, r.ID as RID, r.categoryID, r.guid, r.postdate, rn.ID as nfoID, g.name as groupname, rf.name as rarfilename from releases r left join releasenfo rn on rn.releaseID = r.ID left join groups g on g.ID = r.groupID left join releasefiles rf on rf.releaseID = r.ID WHERE r.searchname LIKE '%QoQ%'");
//Last 24Hours
$res = $db->query("select r.searchname, r.ID as RID, r.categoryID, r.guid, r.postdate, rn.ID as nfoID, g.name as groupname, rf.name as rarfilename from releases r left join releasenfo rn on rn.releaseID = r.ID left join groups g on g.ID = r.groupID left join releasefiles rf on rf.releaseID = r.ID WHERE r.adddate BETWEEN NOW() - INTERVAL 1 DAY AND NOW() AND r.searchname LIKE '%QoQ%'");

Veranderd naar:

code:

//Full DB
$res = $db->query("select r.searchname, r.ID as RID, r.categoryID, r.guid, r.postdate, rn.ID as nfoID, g.name as groupname, rf.name as rarfilename from releases r left join releasenfo rn on rn.releaseID = r.ID left join groups g on g.ID = r.groupID left join releasefiles rf on rf.releaseID = r.ID WHERE r.searchname LIKE '%QoQ%'");
//Last 24Hours
//$res = $db->query("select r.searchname, r.ID as RID, r.categoryID, r.guid, r.postdate, rn.ID as nfoID, g.name as groupname, rf.name as rarfilename from releases r left join releasenfo rn on rn.releaseID = r.ID left join groups g on g.ID = r.groupID left join releasefiles rf on rf.releaseID = r.ID WHERE r.adddate BETWEEN NOW() - INTERVAL 1 DAY AND NOW() AND r.searchname LIKE '%QoQ%'");

en hij scant je hele DB, niet alleen de laatste 24 uur.

Freekers schreef op woensdag 09 januari 2013 @ 18:51:
Hoe roepen jullie dat JohnnyBoy script aan bij het opstarten?
Ik wil graag dat het in screen runt, zodat ik af en toe kan checken hoe het loopt.
Dus ik heb dit start_screen.sh script gemaakt:

#!/bin/bash
cd /opt/newznab/misc/update_scripts/nix_scripts/tmux/

# Start server now!
screen -A -m -d -S johnnyboy ./start.sh

Als ik het direct aanroept, werkt het. Zet ik hem zo in de /etc/rc.local:

bash /opt/newznab/misc/update_scripts/nix_scripts/tmux/start_screen.sh

werkt het niet... ik snap er werkelijk geen biet van!

./start.sh

Daarna kom je in TMUX dit is een soort van screen (heel debiel gezegd). Om terug te komen doe je tmux attach (ipv screen -r ID)

Je werkt hier dus niet met screen! Dat kan het script niet hebben.

[Freekers]

Anoniem: 323326 schreef op woensdag 09 januari 2013 @ 21:33:
./start.sh

Daarna kom je in TMUX dit is een soort van screen (heel debiel gezegd). Om terug te komen doe je tmux attach (ipv screen -r ID)

Je werkt hier dus niet met screen! Dat kan het script niet hebben.

Ah kijk, duidelijk! Maar als ik dit ingeef in /etc/rc.local

bash /opt/newznab/misc/update_scripts/nix_scripts/tmux/start.sh

vertikt hij het nog steeds om mee op te starten als de server boot. Welke logfiles kan ik checken waar het fout loopt?

[Anoniem: 323326]

Freekers schreef op woensdag 09 januari 2013 @ 21:44:
[...]


Ah kijk, duidelijk! Maar als ik dit ingeef in /etc/rc.local

bash /opt/newznab/misc/update_scripts/nix_scripts/tmux/start.sh

vertikt hij het nog steeds om mee op te starten als de server boot. Welke logfiles kan ik checken waar het fout loopt?

Wat bedoel je met opstarten, booten van de server? Heb je een error ?
probeer is:
cd /opt/newznab/misc/update_scripts/nix_scripts/tmux <enter>
./start.sh <enter>

Heeft iemand trouwens enig idee waarom bij mij geen previews worden gemaakt? Ffmpeg staat geïnstalleerd en x264 ook gedaan via iozies guide dus met de laatste github versie. Path klopt ook 100%

[ Voor 15% gewijzigd door Anoniem: 323326 op 10-01-2013 08:28 ]

[Dr.Energy]

Ik ben gister helemaal overnieuw begonnen met de installatie van Newznab+ binnen xampp op een windows server bakkie.

Bij het draaien van update_releases.php krijg ik de volgende foutmeldingen:

code:

Warning: mysql_query(): MySQL server has gone away in C:\xampp\htdocs\Newznab\ww
w\lib\framework\db.php on line 49

Warning: mysql_query(): Error reading result set's header in C:\xampp\htdocs\New
znab\www\lib\framework\db.php on line 49
TVRage  : Didnt find Top Chef locally, checking web

Notice: Undefined property: stdClass::$curlproxyaddress in C:\xampp\htdocs\Newzn
ab\www\lib\util.php on line 150

Notice: Undefined property: stdClass::$curlproxytype in C:\xampp\htdocs\Newznab\
www\lib\util.php on line 151

Notice: Undefined property: stdClass::$curlproxyuserpwd in C:\xampp\htdocs\Newzn
ab\www\lib\util.php on line 152

wie of wie kan mij verder helpen? en wat betekent het precies de curlproxy meldingen etc.

[Anoniem: 323326]

Dr.Energy schreef op donderdag 10 januari 2013 @ 11:44:
Ik ben gister helemaal overnieuw begonnen met de installatie van Newznab+ binnen xampp op een windows server bakkie.

Bij het draaien van update_releases.php krijg ik de volgende foutmeldingen:

code:

Warning: mysql_query(): MySQL server has gone away in C:\xampp\htdocs\Newznab\ww
w\lib\framework\db.php on line 49

Warning: mysql_query(): Error reading result set's header in C:\xampp\htdocs\New
znab\www\lib\framework\db.php on line 49
TVRage  : Didnt find Top Chef locally, checking web

Notice: Undefined property: stdClass::$curlproxyaddress in C:\xampp\htdocs\Newzn
ab\www\lib\util.php on line 150

Notice: Undefined property: stdClass::$curlproxytype in C:\xampp\htdocs\Newznab\
www\lib\util.php on line 151

Notice: Undefined property: stdClass::$curlproxyuserpwd in C:\xampp\htdocs\Newzn
ab\www\lib\util.php on line 152

wie of wie kan mij verder helpen? en wat betekent het precies de curlproxy meldingen etc.

http://dev.mysql.com/doc/refman/5.1/en/gone-away.html < dit al gelezen ? Het betekend dat je timeout te lang is met je mysql server.

Je kan proberen:

code:

ini_set('mysql.connect_timeout', 300);
ini_set('default_socket_timeout', 300);

in db.php (als dat niet werkt, voeg het toe bij elke foute bestands

[Dr.Energy]

Nivong,

Ik heb bovenstaande toegevoegt aan db.php in c:\xampp\htdocs\newznab\www\lib\framwork\

Ik krijg nog steeds hetzelfde:

code:

TVRage  : Didnt find Diggers locally, checking web
TVRage  : Found 100% match: "Diggers"
TVRage  : Didnt find Amish Mafia locally, checking web
TVRage  : Found 100% match: "Amish Mafia"

Warning: mysql_query(): MySQL server has gone away in C:\xampp\htdocs\Newznab\ww
w\lib\framework\db.php on line 52

Warning: mysql_query(): Error reading result set's header in C:\xampp\htdocs\New
znab\www\lib\framework\db.php on line 52
TVRage  : Didnt find Bomb Girls locally, checking web

Notice: Undefined property: stdClass::$curlproxyaddress in C:\xampp\htdocs\Newzn
ab\www\lib\util.php on line 150

Notice: Undefined property: stdClass::$curlproxytype in C:\xampp\htdocs\Newznab\
www\lib\util.php on line 151

Notice: Undefined property: stdClass::$curlproxyuserpwd in C:\xampp\htdocs\Newzn
ab\www\lib\util.php on line 152
TVRage  : Found 100% match: "Bomb Girls"

Notice: Undefined property: stdClass::$curlproxyaddress in C:\xampp\htdocs\Newzn
ab\www\lib\util.php on line 150

Wat nu te doen?

[Anoniem: 323326]

Dr.Energy schreef op donderdag 10 januari 2013 @ 12:22:
Nivong,

Ik heb bovenstaande toegevoegt aan db.php in c:\xampp\htdocs\newznab\www\lib\framwork\

Ik krijg nog steeds hetzelfde:

code:

TVRage  : Didnt find Diggers locally, checking web
TVRage  : Found 100% match: "Diggers"
TVRage  : Didnt find Amish Mafia locally, checking web
TVRage  : Found 100% match: "Amish Mafia"

Warning: mysql_query(): MySQL server has gone away in C:\xampp\htdocs\Newznab\ww
w\lib\framework\db.php on line 52

Warning: mysql_query(): Error reading result set's header in C:\xampp\htdocs\New
znab\www\lib\framework\db.php on line 52
TVRage  : Didnt find Bomb Girls locally, checking web

Notice: Undefined property: stdClass::$curlproxyaddress in C:\xampp\htdocs\Newzn
ab\www\lib\util.php on line 150

Notice: Undefined property: stdClass::$curlproxytype in C:\xampp\htdocs\Newznab\
www\lib\util.php on line 151

Notice: Undefined property: stdClass::$curlproxyuserpwd in C:\xampp\htdocs\Newzn
ab\www\lib\util.php on line 152
TVRage  : Found 100% match: "Bomb Girls"

Notice: Undefined property: stdClass::$curlproxyaddress in C:\xampp\htdocs\Newzn
ab\www\lib\util.php on line 150

Wat nu te doen?

Haal die vorige lijnen weg, het staat gewoon in de FAQ van newznab
https://newznab.readthedo...ysql-server-has-gone-away

mensen met ubuntu en die lui zijn;
http://bandofbrothers.3owl.com/nn/nninstall.sh

Runnen en hij installeert alles voor je

[ Voor 4% gewijzigd door Anoniem: 323326 op 10-01-2013 14:07 ]

[Dark_f]

Kan je instellen dat een film een bepaalde grootte moet hebben voor hij in de database komt? Nu staan er films tussen van 150MB....

[Buzzie]

Dark_f schreef op donderdag 10 januari 2013 @ 15:48:
Kan je instellen dat een film een bepaalde grootte moet hebben voor hij in de database komt? Nu staan er films tussen van 150MB....

ja dit kan je doen per groep (mist je NN+ hebt) of als standaard.
Dit doe je bij Edit Site.

[Anoniem: 323326]

Mensen die geen gezeik willen met FFMPEG en x264 en gewoon apt-get install willen gebruiken om previews te hebben, gebruik:

code:

add-apt-repository ppa:jon-severinsson/ffmpeg

[ Voor 3% gewijzigd door Anoniem: 323326 op 10-01-2013 18:01 ]

[Dark_f]

Buzzie schreef op donderdag 10 januari 2013 @ 16:00:
[...]


ja dit kan je doen per groep (mist je NN+ hebt) of als standaard.
Dit doe je bij Edit Site.

Ik heb de NN+ versie. Waar ergens stel je dat in bij Edit site. Ik vind de optie niet.

[Oxize]

Dark_f schreef op donderdag 10 januari 2013 @ 19:30:
[...]


Ik heb de NN+ versie. Waar ergens stel je dat in bij Edit site. Ik vind de optie niet.

Voor alle groepen onder

Edit Site > Minimum File Size to Make a Release:

of

Per groep onder

View Groups > Klik de des betreffende groep aan > Minimum File Size to Make a Release

[Buzzie]

kmf schreef op woensdag 09 januari 2013 @ 16:12:
[...]


Ik send ze wel naar newznab en kijken of ze door de release wordt opgepakt.


Bragmoment:
Gisteren dus opnieuw begonnen met een nieuwe installatie en mijn nieuwe "filename"-regexen.

Van de 500.000+ binaries zijn er 400.000 "released". 8000 "title matched" (en de rest nog niet processed)

Released wilt zeggen dat de parts van die binaries voor 97% aanwezig zijn.

Op de vervelende naamgevingen na zijn het ook allemaal goede titles geworden. Mijn wiskunde is niet zo goed, maar dat lijkt me meer dan 95% hitrate?


Toen ik de community-regex gebruikte was er veel meer unmatched
Iets van 20-30%

Ja, toen ik mijn regex er op af stuurde ging het veel beter. Maar ja, dan heb ik al een database met veel foute titels en "verlopen unmatched" binaries... Ik ga dus maar door met deze nieuwe.

Je mag braggen (goed Nederlands woord ? ) wat je wil maar dat zou ik in elk geval wel geweldig vinden hoor.
Dus dat doe je goed.
Ik ben er in elk geval heel nieuwsgierig naar

[Anoniem: 323326]

Klein scriptje geschreven voor te backfillen:
https://github.com/nivong/newznab_backfill

Wil dit nog uitbreiden met veel meer controle!

[KorneelB]

mogguh!

nog even een stomme vraag;
mijn newznab server was totaal volgelopen.. veel gekut geweest met diskspace en uiteindelijk maar een nieuwe server gebouwd.. niks meer aan te redden aan dat oude ding helaas maar wel 2 jaar aan newznab data kwijt..

nu is de vraag, wat is wijsheid voor backfill.. kan ik backfill.php en het newznab_screen.sh tegelijk draaien?
of is het een dag backfill.php draaien, een keer newznab_screen.sh en dan weer backfill?

[SidewalkSuper]

Lol, iedereen maakt zich zo druk om backfill, maar wat de fuck ga je nou helemaal met 2 jaar backfill doen.
Het is toch zo incompleet als de pest omdat je maar een paar groups checkt tov een site als nzbindex ofzo en steeds meer wordt offline geslingerd. Als je iets ouds wil dan gebruik je toch binsearch of nzbindex?

[Tsurany]

Als ik een serie leuk vind en seizoen 1-3 wil hebben is een backfill handig. Even in Sickbeard instellen dat ik die serie wil en voila, t loopt binnen.

[SidewalkSuper]

Sickbeard heeft dan ook die serie al zelf in de index, en natuurlijk veel completer dan die paar groups die je zelf indexeert. Daar heb je geen backfill van je eigen Newznab voor nodig.

Voor series is het echt 0,0 interessant om in je eigen Newznab een backfill van 2 jaar aan te leggen.
Voor films valt nog wat te zeggen, maar hoe vaak moet je nou tientallen films hebben

[ Voor 34% gewijzigd door SidewalkSuper op 11-01-2013 10:26 ]

[Dark_f]

Heeft iemand een goede lijst met groepen die je best activeert? Er zijn er zo veel en ik geraak er niet meer aan uit.