[Ervaringen] Newznab

Het is eigenlijk beide: boneless is een 'prullenbak' (van oudsher ontstaan omdat deze groep door de meeste NL providers werd gevoerd), maar er zijn vaak leuke dingen te vinden. Voor mij bv. bladmuziek.

Boneless mag dan misschien een prullenbak zijn, hier staat vrij veel interessante content in.

Offtopic: sowieso krijg ik vaak last van plaatsvervangende schaamte als ik zie hoeveel % usenet upload uit kikkerland komt.

voorlopig nog maar even spotweb als newznab server laten functioneren. kan ik op me gemak even testen met newznab zelf. zie hier

MrOizo2005 wijzigde deze reactie 11-12-2012 18:45 (26%)

quote:

Freekers schreef op dinsdag 11 december 2012 @ 18:12:
Boneless mag dan misschien een prullenbak zijn, hier staat vrij veel interessante content in.

Oh maar ik zeg ook niet dat er geen juweeltjes staan in boneless Een computer met regexen gaat ze er alleen niet uithalen.

De indexer moet daar per ronde de meeste headers ophalen, de meeste headers tegen de regexen aanhouden, zonder dat het iets opleverd.

Zonde van je load en tijd, want dat wat er uit gehaald word door de regex is meestal een cross post van een dedicated groep. Heb je hem nog dubbel ook.

zijn er nog mensen bezig met het opzetten/configureren voor newzbab ?

misschien een idee om met zn alleen te chatten op irc in #newznab ? (let op niet illigale content bespreken hooguit installatie/troubleshoot kwesties)

quote:

AjDuLion schreef op dinsdag 11 december 2012 @ 19:31:
zijn er nog mensen bezig met het opzetten/configureren voor newzbab ?

misschien een idee om met zn alleen te chatten op irc in #newznab ? (let op niet illigale content bespreken hooguit installatie/troubleshoot kwesties)

Er is zelfs een heel topic aan geweid

[Newznab] newznab community's - deel 1

Ik heb net zoals RVE_NL het probleem dat alle pagina's met een 404 error komen, na de installatie werd ik automatisch ingelogd met mijn admin account en kon ik wel aanpassingen doen. Maar toen ik na 2 uur terug kwam was de sessie verlopen en kon ik nergens meer bij.

Heeft er ondertussen al iemand een oplossing voor?

quote:

prochopper91 schreef op dinsdag 11 december 2012 @ 20:24:
Ik heb net zoals RVE_NL het probleem dat alle pagina's met een 404 error komen, na de installatie werd ik automatisch ingelogd met mijn admin account en kon ik wel aanpassingen doen. Maar toen ik na 2 uur terug kwam was de sessie verlopen en kon ik nergens meer bij.

Heeft er ondertussen al iemand een oplossing voor?

Hoogstwaarschijnlijk je rewrites die niet goed gaan. Apache? Check even de logs. Check of je rewrite module aanstaan, en je AllowOverride All (voor .htaccess) in je vhost hebt staan. Daarnaast even kijken of je RewriteBase klopt (gaat uit van /www/ dir in root).

Zo nadat ik 175k "releases" had vanuit 1 group het toch maar even anders aangepakt en de blacklist goed geconfigureerd samen met een minimale filesize maar dat scheelt even een slok op een borrel.

Draait een stuk soepeler door nu kwa updates en is nog sneller ook.

quote:

AjDuLion schreef op dinsdag 11 december 2012 @ 19:31:
zijn er nog mensen bezig met het opzetten/configureren voor newzbab ?

misschien een idee om met zn alleen te chatten op irc in #newznab ? (let op niet illigale content bespreken hooguit installatie/troubleshoot kwesties)

Overigens vind ik dat geen slecht idee, daarom heb is er dus ook zojuist een irc channel aangemaakt op irc.tweakers.net weet je niet hoe irc werkt of heb je geen zin om een client te configureren ?

http://irc.tweakers.net/newznab

Wat voor file size hou je aan?

ik heb nu 100MB ingestelt alleen dan in bites ofc.

quote:

senn schreef op dinsdag 11 december 2012 @ 20:29:
[...]


Hoogstwaarschijnlijk je rewrites die niet goed gaan. Apache? Check even de logs. Check of je rewrite module aanstaan, en je AllowOverride All (voor .htaccess) in je vhost hebt staan. Daarnaast even kijken of je RewriteBase klopt (gaat uit van /www/ dir in root).

AllowOverride All heeft het probleem opgelost, thanks!

Misschien de IRC even als linkje in de startpost bij zetten. Voor de mensen die net inhaken en wat hulp zoeken.

Wat een gedoe hier...ik maar proberen om uit te vogelen waarom ik niet op het adres van sabnzb kwam.... had ik port 60000 gedaan ipv 6000 je hebt soms van die dagen he!
Heeft iemand toevallig de nieuwste regexes van newznab? Even DM aub.

Ik heb hier een rauwe lijst neergezet (soort van howto)
HOWTO

Degene die veel verstand heeft van linux (ubuntu) en zin heeft om mee te helpen met onze nieuwe dienst, PM me even aub.

quote:

ShadowBumble schreef op dinsdag 11 december 2012 @ 08:06:
eerst dkpg -r sphinx doen

dpkg he, niet dkpg

Anyway, ik heb dit gedaan daarna gedaan
code:

nano /etc/apt/sources.list
deb http://ppa.launchpad.net/nilya/sphinxsearch/ubuntu precise main
deb-src http://ppa.launchpad.net/nilya/sphinxsearch/ubuntu precise main 

apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9D8946B16932B16
apt-get update
apt-get install sphinxsearch 

cd /var/www/newznab/misc/sphinx/
./nnindexer.php generate
----> Wrote configuration to: /var/www/newznab/db/sphinxdata/sphinx.conf
which searchd
---> /usr/bin/searchd
./nnindexer.php daemon
----> sh: /usr/local/bin/searchd/searchd: No such file or directory

In dat hele ./nnindexer.php file wordt niet over /usr/locl/bin/ gesproken en komt maar 1 hit van searchd terug:
code:

$search = $sphinx->getSphinxBinPath("searchd");

Zoals je hierboven kunt zien is mijn searchd pad /usr/bin/searchd dus waarom zoekt hij op /usr/local/bin/searchd/searchd?

Thanks!

quote:

Freekers schreef op dinsdag 11 december 2012 @ 23:39:
Zoals je hierboven kunt zien is mijn searchd pad /usr/bin/searchd dus waarom zoekt hij op /usr/local/bin/searchd/searchd?

Thanks!

Geef de sphinx bin eens aan in de admin settings in newznab, samen met de config

MrOizo2005 wijzigde deze reactie 11-12-2012 23:57 (5%)

quote:

MrOizo2005 schreef op dinsdag 11 december 2012 @ 23:54:
Geef de sphinx bin eens aan in de admin settings in newznab, samen met de config

Zou moeten kloppen, toch?

quote:

Freekers schreef op woensdag 12 december 2012 @ 00:00:
[...]


Zou moeten kloppen, toch?
[afbeelding]

/usr/local/bin moet je hebben. Dat is immers de folder waar de binaries staan.

quote:

Freekers schreef op woensdag 12 december 2012 @ 00:00:
[...]


Zou moeten kloppen, toch?
[afbeelding]

Bij mij staat die in: /usr/bin/searchd
ik heb overigens de bin path leeg gelaten.

quote:

kmf schreef op woensdag 12 december 2012 @ 00:01:
/usr/local/bin moet je hebben. Dat is immers de folder waar de binaries staan.

Het kwartje viel nadat ik 'm postte, thanks!

Maar goed, van het ene probleem naar het volgende:
code:

freekje@dinges:/var/www/newznab/misc/sphinx# ./nnindexer.php daemon
Newznab full-text indexer utility

[Wed Dec 12 00:05:37.382 2012] [ 5317] using config file '/var/www/newznab/db/sphinxdata/sphinx.conf'...
FATAL: failed to lock pid file '/var/www/newznab/db/sphinxdata/searchd.pid': Resource temporarily unavailable (searchd already running?)
Sphinx 2.0.7-id64-dev (rel20-r3560)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)

Sphinx 2.0.7-id64-dev (rel20-r3560)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)

Sphinx 2.0.7-id64-dev (rel20-r3560)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)

freekje@dinges:/var/www/newznab/misc/sphinx#

Die FATAL kan vast niet goed zijn? Searchd loopt zover ik weet niet?

quote:

Freekers schreef op woensdag 12 december 2012 @ 00:07:
Die FATAL kan vast niet goed zijn?

Hij is al gestart de deamon, niks aan de hand gewoon doorgaan

Ik heb zelf met sphinx nog wel een mysql connect error. Heel vreemd. Kijk ik morgen wel verder...

Daarnaast krijg ik met backfillen een timeout, van de newsserver dan. Tja, wat moet je dan?

quote:

kmf schreef op woensdag 12 december 2012 @ 00:15:
Daarnaast krijg ik met backfillen een timeout, van de newsserver dan. Tja, wat moet je dan?

probeer de Max Messages eens lager te zetten in de site settings

quote:

MrOizo2005 schreef op woensdag 12 december 2012 @ 00:09:
Hij is al gestart de deamon, niks aan de hand gewoon doorgaan

Ha ok Moet je die Sphinx bij elke reboot handmatig starten of roept Newznab die aan? Zie hem namelijk niet staan in m'n ps -ef output atm..

quote:

Freekers schreef op woensdag 12 december 2012 @ 00:25:
[...]


Ha ok Moet je die Sphinx bij elke reboot handmatig starten of roept Newznab die aan? Zie hem namelijk niet staan in m'n ps -ef output atm..

code:

nano /etc/default/sphinxsearch 
verander "START=no" naar "START=yes"

quote:

MrOizo2005 schreef op woensdag 12 december 2012 @ 00:26:
code:

nano /etc/default/sphinxsearch 
verander "START=no" naar "START=yes"

Thanks! Is dat alles, of moet je nog meer truukjes volgen om Sphinx dan *eindelijk* aan de gang te krijgen? Ik heb jouw writeup even gekeken en die rits aan commando's:
code:

./nnindexer.php daemon
./nnindexer.php index full all
./nnindexer.php index delta all
./nnindexer.php daemon --stop
./nnindexer.php daemon

Heb ik ook gedaan. Was dat het of nog meer?
Misschien het bovenstaande er ook even bijzetten ?

Zal ik inderdaad even doen, is wel een goeie. Maar als je geen errors zag bij full all en delta all dan is het goed neem ik aan

quote:

MrOizo2005 schreef op woensdag 12 december 2012 @ 00:29:
Zal ik inderdaad even doen, is wel een goeie. Maar als je geen errors zag bij full all en delta all dan is het goed neem ik aan

Die liepen goed ja... ben eens benieuwd, snap zelf nog vrij weinig van dat hele Sphinx verhaal behalve dat je het echt moet hebben om bij de pro's te horen

EDIT: Het werkt nog steeds niet naar behoren. Het newznab_screen.sh bestand geeft dit tussendoor als output:
code:

WARNING: failed to open pid_file '/var/www/newznab/db/sphinxdata/searchd.pid'.
indexing index 'releases_delta'...
collected 799 docs, 0.1 MB
sorted 0.4 Mhits, 100.0% done
total 799 docs, 119660 bytes
total 0.541 sec, 220951 bytes/sec, 1475.35 docs/sec
total 3 reads, 0.005 sec, 693.9 kb/call avg, 1.6 msec/call avg
total 13 writes, 0.014 sec, 398.5 kb/call avg, 1.1 msec/call avg
WARNING: indices NOT rotated.

En dat klopt, dat bestandje '/var/www/newznab/db/sphinxdata/searchd.pid' bestaat inderdaad niet.

Dus ik dacht volg die laatste stappen nog maar eens, maar nu geeft ./nnindexer.php daemon de volgende errors:
code:

XXXX:/var/www/newznab/misc/sphinx# ./nnindexer.php daemon
Newznab full-text indexer utility

[Wed Dec 12 07:24:41.878 2012] [24833] using config file '/var/www/newznab/db/sphinxdata/sphinx.conf'...
Sphinx 2.0.7-id64-dev (rel20-r3560)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)

listening on 127.0.0.1:9312
listening on 127.0.0.1:9306
Sphinx 2.0.7-id64-dev (rel20-r3560)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)

precaching index 'releases'
precaching index 'releases_delta'
precaching index 'releasefiles'
WARNING: index 'releasefiles': preload: failed to open /var/www/newznab/db/sphinxdata/releasefiles.sph: No such file or directory; NOT SERVING
precaching index 'releasefiles_delta'
WARNING: index 'releasefiles_delta': preload: failed to open /var/www/newznab/db/sphinxdata/releasefiles_delta.sph: No such file or directory; NOT SERVING
precaching index 'releasenfo'
WARNING: index 'releasenfo': preload: failed to open /var/www/newznab/db/sphinxdata/releasenfo.sph: No such file or directory; NOT SERVING
precaching index 'releasenfo_delta'
WARNING: index 'releasenfo_delta': preload: failed to open /var/www/newznab/db/sphinxdata/releasenfo_delta.sph: No such file or directory; NOT SERVING
precaching index 'nzbs'
precaching index 'predb'
WARNING: index 'predb': preload: failed to open /var/www/newznab/db/sphinxdata/predb.sph: No such file or directory; NOT SERVING
precaching index 'predb_delta'
WARNING: index 'predb_delta': preload: failed to open /var/www/newznab/db/sphinxdata/predb_delta.sph: No such file or directory; NOT SERVING
Sphinx 2.0.7-id64-dev (rel20-r3560)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)

XXX:/var/www/newznab/misc/sphinx#

Niet alles faalt, maar zo te zien alleen de dingen die ik niet geselecteerd heb, dus dat klopt?
Zo ja, hoe krijg ik die eerste error dan weg? Waar staat dat bestandje normaliter?

Thanks

Freekers wijzigde deze reactie 12-12-2012 07:28 (77%)

quote:

MrOizo2005 schreef op dinsdag 11 december 2012 @ 23:19:
Ik heb hier een rauwe lijst neergezet (soort van howto)
HOWTO

Super, ik ga gauw een servertje opzetten met bovenstaande howto.
Ik zoek alleen een howto / best practice van het instellen van newznab zelf.

Iemand?

Luitjes, als je de map /var/www/newznab verwijderd kun je dan helemaal opnieuw beginnen of zijn er nog andere mappen waar hij data opslaat?

Ik had gister namelijk alles geinstalleerd maar het ging fout bij het indexeren. Ik wil nu dus vanaf 0 beginnen maar slaat hij nog ergens anders data op van het indexeren?

Vraagje; onder windows, de runme.bat scripts, hoe hebben jullie die draaien in de achtergrond?
Ik ben het nu aan het testen maar wil het later op een 24/7 pc zetten maar wil niet de scripts aan het runnen hebben op de voorgrond

als je hem vanuit taakplanner laat starten draait het als het goed is op de achtergrond.

Ik heb mijn VM klaar, ben nu bezig met het testen

Als hij door alle testen heen komt, zal ik hem uploaden en de tutorial hier neer plempen

Ben momenteel bezig met het uploaden van mijn VM.

MaNDaRK wijzigde deze reactie 12-12-2012 11:02 (16%)

quote:

Extera schreef op woensdag 12 december 2012 @ 08:11:
[...]


Super, ik ga gauw een servertje opzetten met bovenstaande howto.
Ik zoek alleen een howto / best practice van het instellen van newznab zelf.

Iemand?

Mark ook aan de gang! Top man!

Vanuit a.b.warez komen allerlei zogenaamde hd films binnen van 8mb - 20mb. Hoe kan ik dit voorkomen/eruit filteren. Iemand daar ervaring mee?

Misschien de groep helemaal niet gebruiken? Klinkt niet echt betrouwbaar.

quote:

RobinMM schreef op woensdag 12 december 2012 @ 10:54:
Vanuit a.b.warez komen allerlei zogenaamde hd films binnen van 8mb - 20mb. Hoe kan ik dit voorkomen/eruit filteren. Iemand daar ervaring mee?

Minimum filesize, ik heb alle groepen op 300MB staan. Indexeer toch allemaal maar films en series.

Pizzalucht wijzigde deze reactie 12-12-2012 11:03 (12%)

Ik volg dit initiatief nu vanaf het begin en ben net even aan de slag gegaan met de gratis versie van Newznab en dit heb ik nu werkend. Ik krijg alleen geen releases binnen. Het binnen halen van de binaries en headers draait wel maar tot nu toe zonder enig resultaat.

Heeft iemand een suggestie welke groepen ik kan gebruiken en welke regex'en in kan gebruiken?

Ik heb een paar adressen gekregen met de nzb-archieven van newznab. Daarmee kan je je backfill snel afronden.

Maar helaas mogen die links hier niet gedeeld worden....

quote:

kmf schreef op woensdag 12 december 2012 @ 11:03:
Ik heb een paar adressen gekregen met de nzb-archieven van newznab. Daarmee kan je je backfill snel afronden.

Maar helaas mogen die links hier niet gedeeld worden....

Iedereen met een Plus account kan die adressen vragen op IRC

quote:

Pizzalucht schreef op woensdag 12 december 2012 @ 11:03:
[...]


Iedereen met een Plus account kan die adressen vragen op IRC

ja. Daar had ik ze ook vandaan. Maar om nou te zeggen dat die IRC een goed medium is... Had lange tijd moeten wachten voordat ik die links kon krijgen.

quote:

Borkus schreef op woensdag 12 december 2012 @ 11:00:
welke regex'en in kan gebruiken?

Op pagina 9 van dit topic staat een link naar een regex sql. Geen idee of en hoe het werkt, zelf heb ik de plus.

nzb-archieven ben ik zelf ook nog aan het zoeken.
Het backfillen wil maar niet lukken bij mij (blijft steeds hangen). Straks maar eens op IRC gaan

quote:

kmf schreef op woensdag 12 december 2012 @ 11:03:
Ik heb een paar adressen gekregen met de nzb-archieven van newznab. Daarmee kan je je backfill snel afronden.

Dan heb jij zeker de NZB import nog niet gedraaid Is alles behalve snel

Hierbij de download link naar mijn VM: https://docs.google.com/f...SLRexc0NtcHMwZGppb2M/edit

Voor de username / password combi; graag even een DM

Hierbij de tutorial om newznab te installeren

Maak een nieuwe VM aan met de ISO van: Ubuntu Server 12.04.1 LTS
Ik heb de volgende config gebruikt: 4 Processors / 4Gb RAM / 40Gb HDD

Het volgende wordt geïnstalleerd: Apache2, PHP en MySQL

1. Easy Install door VMWare
Geef hier je gebruikersnaam en wachtwoord op die je wilt gebruiken om in te loggen op de server.

2. Start de VM en Log in

3. Log in als root met het volgende commando:

sudo su

4. Voer de volgende commando's uit (een voor een):

apt-get update
apt-get upgrade

( Hiermee installeer je de laatste patches )

5. Mappen aanmaken waar nzbnab geïnstalleerd wordt

mkdir -p /var/www/newznab
chmod 777 /var/www/newznab

6. Installatie PHP

apt-get install -y php5 php5-dev php-pear

7. Extra packages voor PHP

apt-get install -y php5-gd php5-mysql php5-curl

8. Aanpassingen PHP config

nano /etc/php5/cli/php.ini

Onder Resource Limits:
max_execution_time = 120
memory_limit = -1

Onder Module Settings:
date.timezone = Europe/Amsterdam
(Vergeet niet de ; weg te halen)
Om nano af te sluiten druk op CTRL + X
Geef hierna een Y op (afsluiten & opslaan) gevolgd door Enter
Hierna kom je weer in je terminal

9. MySQL - Database installeren:

apt-get install -y mysql-server-5.5

Tijdens de installatie wordt je gevraagd een MySQL Password op te geven, geef deze op.

apt-get install -y mysql-client-5.5
apt-get install -y libmysqlclient-dev

10. Installatie Apache2

apt-get install -y apache2

11. Aanpassingen PHP config van Apache2

nano /etc/php5/apache2/php.ini

Onder Resource Limits:
max_execution_time = 120
memory_limit = -1

Onder Module Settings:
date.timezone = Europe/Amsterdam
(Vergeet niet de ; weg te halen)

12. Apache configuratie

nano /etc/apache2/sites-available/newznab

Voeg daar het volgende toe aan het bestand:
code:

<VirtualHost *:80>    
    ServerAdmin webmaster@localhost
    ServerName localhost
    
    DocumentRoot /var/www/newznab/www
    ErrorLog /var/log/apache2/error.log    
    LogLevel warn
</VirtualHost>

13. Apache Configuratie inladen (een voor een):

a2dissite default
a2ensite newznab
a2enmod rewrite
service apache2 restart

Hierna krijg je den foutmelding:

Could not reliably determine the server's fully qualified domain name, using 127.0.1.1 for ServerName

Dit is geen probleem.

14. Installatie zip

apt-get install -y unzip

15. Installatie NewzNab (een voor een de commando's invoeren)

wget http://www.newznab.com/newznab-0.2.3.zip
unzip newznab-0.2.3.zip
mv newznab-0.2.3 newznab
mv newznab /var/www/

16. Rechten aanpassen (een voor een)

chmod 777 /var/www/newznab/www/lib/smarty/templates_c
chmod 777 /var/www/newznab/www/covers/movies
chmod 777 /var/www/newznab/www/covers/music
chmod 777 /var/www/newznab/www
chmod 777 /var/www/newznab/www/install
chmod 777 /var/www/newznab/nzbfiles/

17. Controleer je IP adres:

ifconfig

Het ip adres na inet addr is je IP adres, als je hier naar surft krijg je de installatie pagina te zien van newznab

18. Volg de installatie instructies op het scherm.

19. Na de installatie moet de /install map nog worden weg gehaald. Doe dit met het volgende commando:

sudo rm -rf /var/www/newznab/www/install/

20. Klaar

---

Eventueel kan je de volgende opties ook nog installeren:
Lame, voor de muziek info & beluisteren:
(Let op je moet wel root zijn; sudo su)

apt-get install -y lame

Informatie over films:
Hiervoor moet je wel eerst de phython-software-properties installeren

apt-get install -y python-software-properties

Toevoegen media info repository:

add-apt-repository ppa:shiki/mediainfo

Update uitvoeren:

apt-get update

Daadwerkelijke installatie media info:

apt-get install -y mediainfo

* Ik Henk 'm *

Chapeau! Goed werk man.

quote:

MaNDaRK schreef op woensdag 12 december 2012 @ 11:36:
- TUTORIAL -

Heb mijn installatie al draaien, maar alsnog een prima tutorial!

BioHazard wijzigde deze reactie 12-12-2012 11:57 (91%)

Nice gedaan! Maar mensen ga aub niet die hele post quoten xD nu moet ik nog meer scrollen xD

Inderdaad prima tutorial om mee te beginnen voor de mensen die het zelf willen runnen echter wil ik er nog wel bij opmerken dat Apache/MySQL echt een resource vretende combi is in dit geval en je de kans loopt dat zodra je DB groter word MySQL erg traag word.

Klopt helemaal ShadowBumble, maar wat je al zegt; om gewoon eens te kijken hoe het werkt voldoet de tutorial prima (denk ik )

Ik ben ook nog bezig met een deel twee van deze tutorial, waarbij je kan upgraden naar de plus versie van newznab

Heel nice! De stress die het op je systeem uitoefent wordt toch voornamelijk bepaald door aantal dagen retentie dat je instelt? Als ik dan hooguit zelf een enkel dagen retentie zou willen hebben, puur om sickbeard en couchpotato aan te sturen, kan ik dat gewoon met een energie zuining dual core machinetje doen?

quote:

rvandeven schreef op woensdag 12 december 2012 @ 12:24:
Heel nice! De stress die het op je systeem uitoefent wordt toch voornamelijk bepaald door aantal dagen retentie dat je instelt? Als ik dan hooguit zelf een enkel dagen retentie zou willen hebben, puur om sickbeard en couchpotato aan te sturen, kan ik dat gewoon met een energie zuining dual core machinetje doen?

Dat zou inderdaad wel mooi zijn, dan kan je met een beperkte retentie tijd toch gebruik maken van je eigen newznab server zonder al te veel load. En eventueel oudere meuk handmatig opzoeken.

Mijn backfill probleem lijkt opgelost te zijn. Er heeft iemand een fix gegeven op irc voor backfill.php.

De nzb archieven heb ik nog niet gekregen. Zou iemand mij de url kunnen geven (PM) waar ik deze kan vinden?
edit: ontvangen. Dank u!

KDVken wijzigde deze reactie 12-12-2012 13:48 (19%)

Zoals het nu bij mij is ligt de traagheid vooral in de vele inserts van mysql. (misschien moet ik een ssd gaan inzetten)

Ben nu bezig met 5-6 terminals verschillende scripts aan het draaien.
2 zitten nzb te importeren, 2 zitten de tarballs te extracten, en 3 zitten updates (threaded) te draaien.

MySQL zit wel op innodb nu, dus er draaien zo'n 8-10 insert threads tegelijkertijd.

kmf wijzigde deze reactie 12-12-2012 12:39 (8%)

@KDVken, wat was je backfill probleem? Mijn 'probleem' was dat m'n database gigantisch groot werd.

het backfill script liep telkens vast. Het liep voor enkele minuten en dan stond het stil en deed het niets meer.

quote:

ShadowBumble schreef op woensdag 12 december 2012 @ 12:00:
Inderdaad prima tutorial om mee te beginnen voor de mensen die het zelf willen runnen echter wil ik er nog wel bij opmerken dat Apache/MySQL echt een resource vretende combi is in dit geval en je de kans loopt dat zodra je DB groter word MySQL erg traag word.

Lijkt mij verstandig om dan meteen een goed alternatief erbij te zetten Beter meteen goed doen toch?

Alternatief:

Oizo: Newznab+ installatie (ubuntu / nginx / percona)

Ik zal kijken of ik een tutorial kan maken voor de combi Percona & Nginx en natuurlijk een download van de VM

Hierbij meteen een tutorial over de update van newznab naar newznab+

1. Login op je server als root met het commando:

sudo su

2. Verwijder je oude installatie van newznab (je installatie instellingen ben je ook kwijt!)

rm -rf /var/www/newznab

3. Installeer SubVersion met het volgende commando:

apt-get install -y subversion

4. Check de laatste versie van newznab uit:

svn co svn://svn.newznab.com/nn/branches/nnplus /var/www/newznab

Hierbij vraagt hij om een wachtwoord voor 'root', druk hierna op enter en je kan zelf een gebruikersnaam en wachtwoord invullen. Deze gebruikersnaam en wachtwoord staan in je mail nadat je gedoneerd hebt aan het newznab team

5. Aangezien de rechten weer zijn aangepast moet je de juiste mappen weer rechten toekennen:

chmod 777 /var/www/newznab/www/lib/smarty/templates_c
chmod 777 /var/www/newznab/www/covers/movies
chmod 777 /var/www/newznab/www/covers/anime
chmod 777 /var/www/newznab/www/covers/music
chmod 777 /var/www/newznab/www
chmod 777 /var/www/newznab/www/install
chmod 777 /var/www/newznab/nzbfiles/

6. Surf naar je newznab server en volg de instructies op in het scherm.

7. Verwijder de installatie map:

rm -rf /var/www/newznab/www/install

8. Klaar

Vergeet niet je key in te vullen in het admin gedeelte van de website.

Heeft iemand het backfillen al goed voor elkaar gekregen? Ik heb het zowel via de backfill scripts als via de normale update_binaries.php (& update_releases.php) getest. De backfill scripts halen heel veel data op, wat goed lijkt, maar maken hier later geen releases van. Ook hierna update_releases.php runnen geeft mij geen releases voor de backfill van 100 dagen.

Ik ga weer even vers beginnen met een kleine group en ik wil dit even netjes instellen. Wat is de beste manier? Backfill bij group op 100 zetten en in de site settings de days ook op 100 instellen en dan gewoon de update_binaries & update_releases combinatie draaien en geduld hebben?

Edit: Overigens zou ik het liefst natuurlijk eerst een index van een dag hebben, en pas later de oudere parts ophalen. Anders zit je de straks dagen te wachten tot je index eindelijk tot het heden is bijgewerkt. Naar ik begrijp zijn de backfill scripts hier voor bedoeld. Ervaringen?

JJerome wijzigde deze reactie 12-12-2012 13:21 (17%)

quote:

JJerome schreef op woensdag 12 december 2012 @ 13:18:
Heeft iemand het backfillen al goed voor elkaar gekregen? Ik heb het zowel via de backfill scripts als via de normale update_binaries.php (& update_releases.php) getest. De backfill scripts halen heel veel data op, wat goed lijkt, maar maken hier later geen releases van. Ook hierna update_releases.php runnen geeft mij geen releases voor de backfill van 100 dagen.

Ik ga weer even vers beginnen met een kleine group en ik wil dit even netjes instellen. Wat is de beste manier? Backfill bij group op 100 zetten en in de site settings de days ook op 100 instellen en dan gewoon de update_binaries & update_releases combinatie draaien en geduld hebben?

Edit: Overigens zou ik het liefst natuurlijk eerst een index van een dag hebben, en pas later de oudere parts ophalen. Anders zit je de straks dagen te wachten tot je index eindelijk tot het heden is bijgewerkt. Naar ik begrijp zijn de backfill scripts hier voor bedoeld. Ervaringen?

Ik heb het op 10 gezet.. 100 was te ambitieus. Maar nu ben ik gewoon bezig met de nzb-archieven. werkt wellicht wat beter

Bij group op 10 en in settings op 10, en dan geen gebruik maken van de backfill scripts? Kreeg jij dan netjes releases voor alles van de afgelopen 10 dagen?

Nee... gewoon update_binaries draaien voor recente dingen, en backfill voor backfill. Backfill kijkt naar days.

quote:

MaNDaRK schreef op woensdag 12 december 2012 @ 13:08:
Ik zal kijken of ik een tutorial kan maken voor de combi Percona & Nginx en natuurlijk een download van de VM

Hierbij meteen een tutorial over de update van newznab naar newznab+

Ik mis nog steeds het gedeelte over de password check. Ik raad een ieder toch echt aan om dat te configureren, het is namelijk rete irritant dat SB en HP straks protected rars pakken. Waarbij je in CP nog kan zeggen "pak een ander" zit die optie niet in SB en HP.

Ik zal ook geen newznab serevr toevoegen aan mijn CP,SB en HP als ze geen deep rar inspectie hebben.

j1nx wijzigde deze reactie 12-12-2012 13:48 (8%)

Het staat wel in een tutorial beschreven want bij mij draait die al met deed rar inspectie

weet alleen zo niet meer welke tutorial dat is geweest heb er veel gebruikt

quote:

G007 schreef op woensdag 12 december 2012 @ 13:51:
Het staat wel in een tutorial beschreven want bij mij draait die al met deed rar inspectie

weet alleen zo niet meer welke tutorial dat is geweest heb er veel gebruikt

Hij is ook heel belangrijk. Password protected rars is echt een ziekte op usenet en is voor Sickbeard en Headphones echt heel vervelend.

Ik zelf download bijvoorbeeld vrijwel niets meer.

- Een server die Sabnzbd draaid (streaming enabled)
- Een XBMC mediaPC
- Pneumatic usenet streaming plugin
- Newznab addon voor pneumatic

Ik browse bijvoorbeeld gewoon door een lijstje van "laatste gepost", "Featured" of "Most popular". Of gewoon even zoeken. Dat haakt allemaal in op de API van een in te stellen Newznab server.

Zie ik iets leuk, dan kijk ik dat en stream ik het gewoon van usenet.

Het is zeg maar "Icefilms", "Navi-X" of "1-Channel" on steriods. Gewoon 1080p Blueray streamen. Direct kijken zonder ook maar iets te downloaden.

En dan is het mega irritamnt als er passwd protected releases staan. En geloof me, die irritante kinderen op usenet, doen dat dus met elke mogelijk nieuwe film. om leuk te zijn ofzo?

Downloaden is Zooooooooo 2011

Als je de internet verbinding voor hebt is het wel ideaal ja
Maar met 8/1 schiet het niet echt op hahaha

Gelukkig naar kerst op minimaal 50/50 kan niet wachten

quote:

JJerome schreef op woensdag 12 december 2012 @ 13:18:
Heeft iemand het backfillen al goed voor elkaar gekregen? Ik heb het zowel via de backfill scripts als via de normale update_binaries.php (& update_releases.php) getest. De backfill scripts halen heel veel data op, wat goed lijkt, maar maken hier later geen releases van. Ook hierna update_releases.php runnen geeft mij geen releases voor de backfill van 100 dagen.

Ik ga weer even vers beginnen met een kleine group en ik wil dit even netjes instellen. Wat is de beste manier? Backfill bij group op 100 zetten en in de site settings de days ook op 100 instellen en dan gewoon de update_binaries & update_releases combinatie draaien en geduld hebben?

Ja, ik ben al een paar dagen met de backfill over verschillende groepen en releases aan het testen.
Conlusie zover met newznab+:
- Backfill werkt
- Niet alle regex voor alle groepen staan correct. Zo vind a.b.hdtv vrij weinig releases, terwijl als je op binsearch zoekt, ze er gewoon zijn.

Dus, ik zou niet zomaar alles weggooien, maar experimenteren met regex voor de dingen die jij wilt vinden of belangrijk vindt. Met de plus versie is het beheren van de regex veel gemakkelijker, er zit een test mogelijkheid in om op verschillende groepen te testen en toe te voegen.

Daarna kan je alsnog zaken weggooien.

wrong thread, wel nuttige info hier btw

LiquidSmoke wijzigde deze reactie 13-12-2012 07:33 (80%)

quote:

80000 schreef op woensdag 12 december 2012 @ 14:08:
[...]

Ja, ik ben al een paar dagen met de backfill over verschillende groepen en releases aan het testen.
Conlusie zover met newznab+:
- Backfill werkt
- Niet alle regex voor alle groepen staan correct. Zo vind a.b.hdtv vrij weinig releases, terwijl als je op binsearch zoekt, ze er gewoon zijn.

Dus, ik zou niet zomaar alles weggooien, maar experimenteren met regex voor de dingen die jij wilt vinden of belangrijk vindt. Met de plus versie is het beheren van de regex veel gemakkelijker, er zit een test mogelijkheid in om op verschillende groepen te testen en toe te voegen.

Daarna kan je alsnog zaken weggooien.

Ik ben inderdaad in het bezit van de NN+ versie, ik kan daar dus nog mee spelen.
Kun je mij vertellen hoe jij het backfillen uiteindelijk hebt gedaan? Ik dacht de procedure juist te doorlopen maar het geeft niet het verwachte resultaat.

Wat mij juist lijkt maar erg weinig releases opleverde:
- Backfill days bij group op > 1 zetten (was 100 in dit geval, maar ik ga een nieuwe test met 10 doen)
- Normaal update_binaries & releases doorlopen. Wachten tot index opgebouwd is (site-wide settings voorkomen dat de 10 dagen direct opgehaald worden, als ik het goed begrijp).
- Backfill.php gebruiken op de group om de overige 10 dagen binnen te halen
- Update binaries & releases weer laten draaien. update_releases.php zou in dit geval ook releases moeten maken voor de vorige 10 dagen, maar deed dit niet.

Is dit wel de juiste procedure? Dan kan ik uitsluiten dat ik het daar fout doe.

ik heb net gedoneerd voor de plus versie (2hr geleden) en nog steeds geen mail terwijl iedereen op irc zegt dat ze het direct gekregen hebben.. snif

Ik kreeg gister de mail vrijwel direct. Heb jeje spam folder al gechecked?

quote:

j1nx schreef op woensdag 12 december 2012 @ 13:47:
[...]


Ik mis nog steeds het gedeelte over de password check. Ik raad een ieder toch echt aan om dat te configureren, het is namelijk rete irritant dat SB en HP straks protected rars pakken. Waarbij je in CP nog kan zeggen "pak een ander" zit die optie niet in SB en HP.

Ik zal ook geen newznab serevr toevoegen aan mijn CP,SB en HP als ze geen deep rar inspectie hebben.

Ga ik meteen even naar kijken en toevoegen

quote:

JJerome schreef op woensdag 12 december 2012 @ 14:26:
[...]


Ik ben inderdaad in het bezit van de NN+ versie, ik kan daar dus nog mee spelen.
Kun je mij vertellen hoe jij het backfillen uiteindelijk hebt gedaan? Ik dacht de procedure juist te doorlopen maar het geeft niet het verwachte resultaat.

Wat mij juist lijkt maar erg weinig releases opleverde:
- Backfill days bij group op > 1 zetten (was 100 in dit geval, maar ik ga een nieuwe test met 10 doen)
- Normaal update_binaries & releases doorlopen. Wachten tot index opgebouwd is (site-wide settings voorkomen dat de 10 dagen direct opgehaald worden, als ik het goed begrijp).
- Backfill.php gebruiken op de group om de overige 10 dagen binnen te halen
- Update binaries & releases weer laten draaien. update_releases.php zou in dit geval ook releases moeten maken voor de vorige 10 dagen, maar deed dit niet.

Is dit wel de juiste procedure? Dan kan ik uitsluiten dat ik het daar fout doe.

Update_binaries & releases draaien via newznab+ script die bij upstart draait. Deze lijken op pause te staan zodra ik een backfill script draai:

php backfill_date.php 2012-12-07 alt.binaries.hdtv

Tijdens de backfill kan ik al beginnen met regex te testen.Heb bovenstaande ook al met andere groepen gedraaid.

quote:

Coenen schreef op woensdag 12 december 2012 @ 14:33:
Ik kreeg gister de mail vrijwel direct. Heb jeje spam folder al gechecked?

yep, daar zit niets in. ik heb al een mail gestuurd naar de site voor informatie. Ook heb ik een mail confirmatie van paypal dus 't is een beetje vreemd allemaal

edit: bb gecontacteerd in irc.. all ok now :=)

Yokidrink wijzigde deze reactie 12-12-2012 15:00 (6%)

Hoe kun je eigenlijk het best het script laten draaien op een headless server.
Wil namelijk niet constant een sessie naar de debian bak open hebben staan

quote:

Yokidrink schreef op woensdag 12 december 2012 @ 14:36:
[...]


yep, daar zit niets in. ik heb al een mail gestuurd naar de site voor informatie. Ook heb ik een mail confirmatie van paypal dus 't is een beetje vreemd allemaal

Dat is inderdaad gek, hier ging het eigenlijk meteen goed. Hopelijk heb je snel antwoord.

quote:

G007 schreef op woensdag 12 december 2012 @ 14:52:
Hoe kun je eigenlijk het best het script laten draaien op een headless server.
Wil namelijk niet constant een sessie naar de debian bak open hebben staan

Gewoon dmv een cron job. Die zal de scripts dan 1x per xxx aantal minuten runnen.

quote:

Rhizosis schreef op woensdag 12 december 2012 @ 15:02:
[...]


Gewoon dmv een cron job. Die zal de scripts dan 1x per xxx aantal minuten runnen.

Dankje, Dat wist ik dat het via een cronjob kan

Echter bedoel ik meer welk script / commando moet er worden gedraait.
De update binaries & releases of de newznab_screen_local.sh

quote:

G007 schreef op woensdag 12 december 2012 @ 15:09:
[...]


Dankje, Dat wist ik dat het via een cronjob kan

Echter bedoel ik meer welk script / commando moet er worden gedraait.
De update binaries & releases of de newznab_screen_local.sh

Als je alles goed hebt ingesteld zul je het volgende commando uit moeten voeren:
code:

screen newznab_screen_local.sh

Wel even de vars in het script goedzetten.

Voor debian en ubuntu staan de cronjob scripts in de www/misc/cronjobs folder. I can be wrong though.

Thnx voor de info en je heb correct ffkes totaal vergeten

quote:

Yokidrink schreef op woensdag 12 december 2012 @ 14:32:
ik heb net gedoneerd voor de plus versie (2hr geleden) en nog steeds geen mail terwijl iedereen op irc zegt dat ze het direct gekregen hebben.. snif

Het duurde bij 1,5 dag voordat ik de mail binnen kreeg. Dus er kan ook wat tijd overheen gaan. Ze zullen wel veel nieuwe aanvragen te verwerken hebben als ik alle nieuwe initiatieven zie.

ik heb beetje genoeg van het trage inserts. Dus heb ik even de mysql-data dir overgezet op een SSD. Nu gaat het een stuk soepeler

Sorry I do not speak dutch.

I thought about it, and i can help you to have a private Srv so you can do your job.
If you are interested just prive me.

Dat ging inderdaad snel

ik krijg steeds meer het idee dat newznab een beetje dweilen met de kraan open is... net een update_binaries gedaan. Is ie na een uur klaar, moet ie beginnen, gaat ie weer een uur over doen....

Eindelijk het pakketje ook draaiende. Heeft iemand een regex list voor mij ? Als ik deze even kan importeren dan kan ik het systeem voor paar mensen tijdelijk even openzetten ivm testen.
Net gevonden:
https://github.com/kop1/n...master/db/latestregex.sql

nivong wijzigde deze reactie 12-12-2012 19:00 (65%)

Zoek even op regex in dit topic. Er is een linkje met een lijst. Btw, voor 10 GBP krijg je een hele lijst en nog meer functies.

quote:

kmf schreef op woensdag 12 december 2012 @ 18:01:
ik krijg steeds meer het idee dat newznab een beetje dweilen met de kraan open is... net een update_binaries gedaan. Is ie na een uur klaar, moet ie beginnen, gaat ie weer een uur over doen....

LOL, je bent de eerste die het opmerkt.

Moet je voor de gein eens niet opletten waardoor hij s'nachts vast loopt en je dus s'morgen als je hem weer aansligerd ineens een paar ur achter loopt

quote:

kmf schreef op woensdag 12 december 2012 @ 18:01:
ik krijg steeds meer het idee dat newznab een beetje dweilen met de kraan open is... net een update_binaries gedaan. Is ie na een uur klaar, moet ie beginnen, gaat ie weer een uur over doen....

Raar. Hoeveel mbit heb je, en hoeveel groepen?
Bij mij duurt een update ~900sec.

quote:

kmf schreef op woensdag 12 december 2012 @ 18:01:
ik krijg steeds meer het idee dat newznab een beetje dweilen met de kraan open is... net een update_binaries gedaan. Is ie na een uur klaar, moet ie beginnen, gaat ie weer een uur over doen....

Ik heb (nog) geen ervaring met Newznab, dus ik weet niet of ik goed zit, maar als dat komt doordat het ophalen van headers zolang duurt, moet je eens kijken of je op de één of andere manier headercompressie kunt gebruiken. Giganews heeft daar zelfs een proxy-applicatie voor, speciaal voor programma's die het niet standaard ondersteunen. Met die headercompressie gaat het ophalen van (enorme hoeveelheden) headers echt gigantisch veel sneller.

quote:

Ingcharoth schreef op woensdag 12 december 2012 @ 20:46:
[...]


Ik heb (nog) geen ervaring met Newznab, dus ik weet niet of ik goed zit, maar als dat komt doordat het ophalen van headers zolang duurt, moet je eens kijken of je op de één of andere manier headercompressie kunt gebruiken. Giganews heeft daar zelfs een proxy-applicatie voor, speciaal voor programma's die het niet standaard ondersteunen. Met die headercompressie gaat het ophalen van (enorme hoeveelheden) headers echt gigantisch veel sneller.

weet je zeker dat dit in combinatie met giganews werkt?

De headers ophalen is geen probleem. Die komen met maar 2-3Mbit binnen (ik heb er 60).
Die dingen allemaal verwerken en in de database zetten dat duurt lang. Ik heb al een SSD in gebruik daarvoor, maar toch blijf het behelpen.

dit bv... weer 300.000 in de queue...

quote:

Group 2 of 17
Processing alt.binaries.movies
Group alt.binaries.movies has 320,546 new parts.
First: 679367765 Last: 740141912 Local last: 739821366
Getting 3,001 parts (739821367 to 739824367) - 317,545 in queue
Received 3001 articles of 3001 requested, 0 blacklisted, 0 not binaries
32 new, 285 updated, 3,001 parts. 0.44 headers, 17.47 update, 17.91 range.
Getting 3,001 parts (739824368 to 739827368) - 314,544 in queue
Received 3001 articles of 3001 requested, 0 blacklisted, 0 not binaries

Ik ben nu aan het omdraaien. Eerst de stapel nzb verwerken, en dan kijken welke groepen de meeste releases hebben. En dan maar op die groepen abonneren.

kmf wijzigde deze reactie 12-12-2012 21:52 (42%)

zou het graag willen testen, mocht het veel uitmaken kan ik de ophaal frequentie wat omlaag brengen, nu heb ik constant runme draaien. Daar zit een adempauze van 2 minuten in. zou mooi zijn om die adempauze naar 10 minuten te verhogen. En zo kan je je ook nog abonneren op wat groepen die wat minder interessant spul aanbieden.

quote:

Ingcharoth schreef op woensdag 12 december 2012 @ 20:46:moet je eens kijken of je op de één of andere manier headercompressie kunt gebruiken. Giganews heeft daar zelfs een proxy-applicatie voor, speciaal voor programma's die het niet standaard ondersteunen.

Als ik de header compressie aanzet met giganews dan krijg ik onmiddelijk een melding van newznab dat het eigenlijk alleen met astraweb deftig werkt.
Als ik deze melding dan wegklik en gewoon doorga, dan werkt het ophalen niet meer. Group update geeft gewoon error 440: Unexpected response: 'admin not allowed'.

EDIT: getest met giginews accelerator en de proxy werkt.

Mijn newznab geeft echter enorm veel ".server did not return X article(s)" meldingen, waardoor het nog steeds héél lang duurt voor een update te doen

KDVken wijzigde deze reactie 13-12-2012 08:32 (14%)

heb je het geprobeerd met de accelerator?: http://www.giganews.com/accelerator.html

Morgen wordt mijn account weer geactiveerd en ga ik het uittesten.

quote:

RobinMM schreef op woensdag 12 december 2012 @ 21:48:
[...]


weet je zeker dat dit in combinatie met giganews werkt?

quote:

KDVken schreef op woensdag 12 december 2012 @ 22:50:
[...]


Als ik de header compressie aanzet met giganews dan krijg ik onmiddelijk een melding van newznab dat het eigenlijk alleen met astraweb deftig werkt.
Als ik deze melding dan wegklik en gewoon doorga, dan werkt het ophalen niet meer. Group update geeft gewoon error 440: Unexpected response: 'admin not allowed'.

Ik geloof dat Giganews een afwijkend protocol gebruikt. Astraweb bv. gebruikt 'gewoon' xzver/xzhrd, wat tegenwoordig standaard in een aantal newsreaders zit ingebouwd. Maar als ik het goed heb, werkt dat protocol dus niet met Giganews. Vandaar ook dat proxy-progje van Giganews wat je kunt downloaden, waardoor dat met elke newsreader (en waarschijnlijk ook met Newznab als die headers moet ophalen) werkt. Dat is dus die Giganews-Accelerator waar RobinMM het hierboven over heeft. 't-is wel een Windows-progje overigens, dus wat omslachtiger voor gebruik met Newznab.

Ingcharoth wijzigde deze reactie 13-12-2012 00:49 (22%)