[Ervaringen] Newznab

[Rick Astley]

Wat is NewzNab?
NewzNab is een NZB Indexer voor Usenet die gebruikt kan worden in combinatie met SickBeard & CouchPotato vanwege de ingebouwde API. NewzNab is Open Source en draait op php, pear en mysql en is zodoende dus multiplatform.

Systeemeisen
NewzNab is nogal vrij resource intensive. Vreet graag geheugen en tijdens het optimizen en updaten van de database mag je CPU ook nog even flink aan de bak.

Handige links:
[Newznab] newznab community's - deel 1
Basic Tutorial on How To Install NewzNab on Ubuntu 12.04 Server (Nginx, Percona)
How to Build Your Own Usenet Indexer (Ubuntu Desktop)
Setting Up NewzNab with Microsoft IIS (Windows)
Newznab on Ubuntu 11.10 Server (Nginx/Apache, MySQL/Percona, Sphinx(Newznab+)
How to backfill newznab safely without bloating your database
HowTo Windows/XAMP install
HowTo Synology NAS

Note: Hints & Links naar NZB Indexers zijn verboden per GoT rules. Discussieer dus alleen over de software aub.

[ Voor 46% gewijzigd door Rick Astley op 29-01-2013 13:05 ]

[Rick Astley]

Coenen schreef op maandag 10 december 2012 @ 14:30:
Ik ´moet´ nu van de standaard upgraden naar de plus versie....

Join the club. In short, dat gaat niet.
Ik ben wederom opnieuw begonnen maar hang nu vast bij Sphinx te installeren:

??

[RVE_NL]

Pff ik probeer Newznab te draaien onder OSx 10.8.2 maar er is iets dat me blijft nekken .
Ik kan de /www/index.php niet in m'n browser bereiken, en newznab dus niet configureren op het volgende adres: http://localhost/~roger/newznab/www/index.php



Het heeft waarschijnlijk met de permissies te maken. Ik kan de newznab folder wel gewoon bereiken (http://localhost/~roger/newznab), de www folder is dan vreemd genoeg niet zichtbaar.



Kan iemand mij vertellen wat ik verkeerd doe of hoe ik het fix?
(uiteraard heb ik msql, php, apache, pear etc. al geinstalleerd)

[ Voor 5% gewijzigd door RVE_NL op 10-12-2012 15:31 ]

[Rick Astley]

MrOizo2005 schreef op dinsdag 11 december 2012 @ 23:54:
Geef de sphinx bin eens aan in de admin settings in newznab, samen met de config

Zou moeten kloppen, toch?

[kmf]

Zoals het nu bij mij is ligt de traagheid vooral in de vele inserts van mysql. (misschien moet ik een ssd gaan inzetten)

Ben nu bezig met 5-6 terminals verschillende scripts aan het draaien.
2 zitten nzb te importeren, 2 zitten de tarballs te extracten, en 3 zitten updates (threaded) te draaien.

MySQL zit wel op innodb nu, dus er draaien zo'n 8-10 insert threads tegelijkertijd.

[ Voor 8% gewijzigd door kmf op 12-12-2012 12:39 ]

[Limbeckx]

[RVE_NL]

senn schreef op donderdag 13 december 2012 @ 12:26:
[...]
RewriteBase staat in de .htaccess (of in je VirtualHost). Serveer je de www/ directory van Newznab in de root van je apache? Zo nee, dan zie je in je httpd logs (/var/log/apache2/error_log) waarschijnlijk 404's op /index.php.

Even de .htaccess openen (newznab/www) en RewriteBase / aanpassen naar RewriteBase newznab/ (bijvoorbeeld)

Wanneer ik in de log kijk zie ik inderdaad de 404's

code:

 [client 127.0.0.1] File does not exist: /Library/WebServer/Documents/Users, referer: http://127.0.0.1/~roger/newznab/www/

Hij lijkt naar de verkeerde locatie te verwijzen, de locatie moet zijn: "(Sites)/newznab/"

Wanneer je een VirtualHost gebruikt zou je in /etc/apache2/ een map sites-enabled/ moeten hebben met een VHOST file, toch? Dit is bij mij niet het geval.



Nu heb ik even in de newznab/www folder gekeken maar daar is ook geen .htaccess file te vinden.



Is het mogelijk gewoon zo'n .htaccess file zelf aan te maken? Of wat raden jullie mij aan?

[ Voor 5% gewijzigd door RVE_NL op 13-12-2012 13:34 ]

[kmf]

LyP0 schreef op maandag 17 december 2012 @ 13:01:
Vanochtend een melding ... disk full, 750Gb disk vol en dat al door een 3-4 tal groepen...
Dit is ziek, misschien toch maar eens beginnen met 30 dagen.
Straks even pruge en opnieuw beginnen.

Je moet dan ook de tabellen gaan optimizen als je dat had uitgezet.

Uiteindelijk zal een release namelijk tot nzb in de www-dir gezet worden. De parts&binaries mogen dan weggedonderd worden.

Na een optimize zal de database heel wat kleiner worden.

Dit zijn mijn groepen overigens. Niet allemaal actief (ik heb maar stuk of 20 actief. Welke ik mogelijk nog ga aanvullen)
Dit zijn de groepen welke via de nzb-imports zijn gemaakt. Oftewel, welke groepen hebben historisch de meeste releases.




Database is na opschoonactie dus ongeveer 14GB groot

[ Voor 26% gewijzigd door kmf op 17-12-2012 13:19 ]

[robbinonline]

Buzzie schreef op maandag 17 december 2012 @ 23:14:
[...]


@Brickman:

na alle problemen die ik gisteren had met mijn Synology heb ik die gelukkig kunnen herstellen door de laatste firmware te installeren.

Echter nu na een nieuwe installatie van de bootstrap e.d. en newznab blijf ik de melding krijgen over pear dat hij die niet kan vinden.
hij staat nu wel in bovenstaande wat ook in de open_basedir staat maar hij doet er niet veel mee.
heeft het nu als ik de andere locaties van pear ook toevoeg aan de open_basedir?

Het probleem zit hem in het php.ini bestand.
Configureer deze zoals op onderstaande afbeelding en pear werkt prima. (regel 804)

[MaNDaRK]

@Buzzie, het kan inderdaad wel een plus versie te pakken

Admin -> Edit Site en dan onder usenet settings:

[Elect]

Ik heb een vreemd probleem met backfillen. Als ik een datum pak welke iets te ver terug in de tijd is dan lukt het hem niet om de 'get next article date' te kiezen. Dit verschilt per groep maar ligt rond de 20/30 dagen.
Het backfill script blijft dan hangen in een oneindige zoektocht welke op uiteindelijk op INF (infinite) blijft doorgaan. Iemand enig idee wat dit zou kunnen zijn?

[Henkske]

Ik kan nou niet echt zeggen dat dat hier veel helpt dat parsing, wel wat maar niet genoeg:)

Vraag:

Ik heb de volgende whitelist active gemaakt op a.b.hdtv.x264:

720|720p|1080|1080p|x264|hdtv



Hoe komt het dan toch dat ik releases krijg die deze info NIET bevatten?

Is er trouwens ook een manier om TV> OTHER releases niet binnen te halen? Ik heb het uitgezet in de EDIT CATEGORIES maar hij blijft deze toch volgooien.

[Elect]

En nog een laatste toevoging aan de blacklist: korsub :-)

[ Voor 44% gewijzigd door Elect op 29-12-2012 08:03 ]

[Xenophoben]

Kan iemand mij mischien helpen?

Ik heb volgens een twaeker blog alles ingesteld alleen ik krijg heel veel vagen namen te zien... Hoe kan ik deze toch goed scannen?

[kmf]

ZO!!! Een hele week lang NZB geimporteerd. En nu eindelijk klaar.
Heb nu een archief tot 5 jaar terug.

Alleen is het wel zo dat de NZB-archief nogal oud is. Ik heb nu een gap van 28 weken. Deze ga ik nog even bijvullen met backfill.

Click for large view


Paar stats.

De grootte van de datadir (dus sphinx database+nzbtjes+covers)
Click for large view


De database zelf is 1.9G na een optimize (parts en binaries heb ik getruncate omdat alles al verwerkt is. Dit is dus puur releases)
Dit is dus de pure database size

Volgens mysql is dit echter:
Click for large view

[ Voor 53% gewijzigd door kmf op 04-01-2013 12:53 ]

[kmf]

voor degene die willen weten welke groepen historisch gezien het meest gebruikt worden de afgelopen 6 jaar.

Hier een (huge) screenshot van mijn groepenlijst nadat HET nzb-archief is geimporteerd. Hiermee kan je dus zelf bepalen welke groepen je wilt indexeren.

[Oxize]

kmf schreef op maandag 07 januari 2013 @ 21:49:
[...]


Ik weet niet wat je met raw bedoeld? Zijn het wel releasenames?
Covers en indeling is afhankelijk van de postprocessing.

Ik bedoel een release zoals "Alles is Familie (2012)", die als cover onder movies komt te staan. Als ik via de search functie onder de groep zelf kijkt, dan staan er genoeg releases, maar deze bevatten te weinig info om release te maken zoals die "Alles is familie (2012)" release met cover en info.

[Oxize]

@Coenen

Is dit een QoQ release? Zo, ja, waarom wordt er niks mee gedaan?

[Oxize]

Krijg sinds vandaag bij het updaten van update_tvschedule.php (om de 20 runs) deze melding:



Hoe los ik dit op?

Ik draai xampp onder win7.

[Oxize]

Krijg een hoop repair meldingen @ a.b.hdtv voordat er parts binnengehaald worden.

Nivong zei, dat ik de groep moest resetten, maar dat heeft niet geholpen.

De repairs komen voordat de parts getelt worden. Ik dacht zelf dat deze melding na een dagje wel weer weggingen maar het worden er steeds meer. Andere groepen krijgen deze verschijnselen ook af en toe.





Draait NN+ onder Xampp/W7. Iemand had het over truncaten. Geen idee hoe ik dat moet doen. Iemand zin in een stap voor stap handleidingtje?

[Elect]

Af en toe klapt bij mij de update_releases.php eruit bij het verwerken van de NFO's.



Hierdoor komt hij ook niet bij het parsen van films voor de covers en lijkt het hele systeem dus niet geupdate te worden (in list view staan ze nog wel allemaal).

Iemand hier ervaring mee?

[Update]
256 MB ram toewijzen aan PHP was niet genoeg. Voor het verwerken van NFO's werkt hij een stuk beter met 512MB

[ Voor 14% gewijzigd door Elect op 04-02-2013 14:34 ]

[kmf]

Sickbeard gebruikt sowieso de RSS-feeds voor newznab-sites. Daar hoef je zelf niks voor in te stellen.



Alleen voor backlogs gaat ie ook op titel zoeken .

[Protax]

Goedenavond,

Ik krijg het volgende als ik Newznab probeer te configureren op mijn Synology NAS.

Preflight Checklist

Checking for Pear:
Cannot find PEAR. To install PEAR follow the instructions at http://pear.php.net/manual/en/installation.php

Ik heb de volgende instructies gevolgd:

http://synology.brickman....-%20install%20Newznab.txt



Is iemand hier eerder tegen aan gelopen, en zo ja hoe je dit opgelost?

Alvast bedankt!

[ Voor 9% gewijzigd door Protax op 07-02-2013 18:19 ]

[Protax]

Helaas

[ Voor 62% gewijzigd door Protax op 08-02-2013 10:01 ]

[Delsin]

Misschien leuk, ik heb even twee regels aangepast om in de browse lists (baffi) een filename uit de rar content weer te kunnen geven direct onder de release naam.

Dit om in 1 oogopslag wat extra informatie te krijgen over releases die een encrypted naam hebben en geen zinvolle nfo bevatten. (Werkt alleen als je rar inspectie aan hebt staan)

Zo ziet dit er met filenames uit:


Door dit aan te passen:

Script browse.tpl, regel 134: voeg dit in:
{if $result.filename != ''}^{{$result.filename}}{/if}

Script lib\releases.php, regel 284: wijzig de query

aan het begin:

• sprintf(" SELECT <<<HIER>>> releases.*, concat(

• sprintf(" SELECT fl.name as filename, releases.*, concat(

aan het einde:

• releases.preID <<<HIER>>> where releases.passwordstatus

• releases.preID left join (select r.name, r.releaseID from releasefiles r INNER JOIN (select max(rf.ID) as ID , rf.releaseID from releasefiles rf group by rf.releaseID) rf ON r.ID = rf.ID) fl on fl.releaseID = releases.ID where releases.passwordstatus


Je ziet, ik pak hier de laatst bekende filename. Dat is puur een gok. Je kunt ook eenvoudig de eerste pakken. Je kunt de pech hebben dat je nu alleen "cover.jpg" of zo te zien krijgt. Alle beschikbare filenames zijn natuurlijk bij de details zichtbaar.

(Ik ga hier uit van nn+, rev. 2756)

[Protax]

Ik heb me key gechecked en dat ziet er goed uit, krijg keurig die 2749 melding.
Als ik de films controleer die jij aangaf, dan kan ik beide niet vinden.

De afgelopen uren heeft hij het volgende binnen gehaald.



Filter op movies ziet er zo uit:

[Protax]

Gisteravond ook CouchPotato geconfigureerd, maar ik loop nu tegen een soort gelijk probleem als voordat ik met NN+ aan de gang ging.

Wat films toegevoegd aan Couch:



Vervolgens worden ze gedownload en dan krijg ik dit soort meldingen in SABnzbd:



Valt hier nou iets aan te doen, of komt dit doordat die posts genuked worden?
Hopelijk kan iemand me helpen, want zo krijg ik alsnog niets binnen.

[Delsin]

Verwijderd schreef op zondag 10 februari 2013 @ 01:04:
Is het jullie ook op gevallen dat de releaser :
[e-mail]
Alleen maar shit post!? Misschien wat om bij de blacklist ge voegen. Wat denken jullie?

Ik zag dat je zocht naar een manier om op deze poster te zoeken. In nn zit wel een voorbereiding voor advanced search maar de code zelf is nooit uitgewerkt.

Voor mijn eigen nn heb ik deze code zelf afgemaakt. Ik gebruik hiervoor full text (vector) search op mijn database maar ik kan dit denk ik best snel omzetten naar een plain sql versie voor mysql.

Het ziet er zo uit:

Eerst de Advanced optie in search.php weer zichtbaar maken:


Dan heb ik het zoek formulier iets aangepast (Zoeken op Filename heb ik weggelaten)


De weergegeven groepnaam en posternaam zijn aanklikbaar en worden direct in het zoekform ingevuld.
Zo kun je snel filteren, dit is een voorbeeld van een gefilterd zoekresultaat:



Heeft het voor jou -of anderen- nut als ik deze code aanpassing even ergens plaats?
Het gaat om twee scripts: search.php en search.tpl (baffi) en een nieuwe functie in releases.php.


(Voor de niet baffi gebruikers zal het ook wel eenvoudig werkend te maken zijn, maar dan moet je zelf nog wat sleutelen aan het search template)

[Protax]

Goedenavond,

Valt hier nog iets aan te doen:



Ik kan niet veel met dat soort posts, maar volgens mij zijn het soms wel goede dingen die ze hernoemd hebben.
Zou leuk zijn om er wat meer info uit te krijgen, en als dit niet kan ze te hiden.

[ Voor 14% gewijzigd door Protax op 13-02-2013 20:20 ]

[Dacuuu]

Gas op die lollie!