[Ervaringen] Newznab

[Rick Astley]

Voorzichtig schopje van mijn onderstaand probleem:

Rick Astley schreef op woensdag 12 december 2012 @ 00:31:
Het werkt nog steeds niet naar behoren. Het newznab_screen.sh bestand geeft dit tussendoor als output:

code:

WARNING: failed to open pid_file '/var/www/newznab/db/sphinxdata/searchd.pid'.
indexing index 'releases_delta'...
collected 799 docs, 0.1 MB
sorted 0.4 Mhits, 100.0% done
total 799 docs, 119660 bytes
total 0.541 sec, 220951 bytes/sec, 1475.35 docs/sec
total 3 reads, 0.005 sec, 693.9 kb/call avg, 1.6 msec/call avg
total 13 writes, 0.014 sec, 398.5 kb/call avg, 1.1 msec/call avg
WARNING: indices NOT rotated.

En dat klopt, dat bestandje '/var/www/newznab/db/sphinxdata/searchd.pid' bestaat inderdaad niet.

Dus ik dacht volg die laatste stappen nog maar eens, maar nu geeft ./nnindexer.php daemon de volgende errors:

code:

XXXX:/var/www/newznab/misc/sphinx# ./nnindexer.php daemon
Newznab full-text indexer utility

[Wed Dec 12 07:24:41.878 2012] [24833] using config file '/var/www/newznab/db/sphinxdata/sphinx.conf'...
Sphinx 2.0.7-id64-dev (rel20-r3560)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)

listening on 127.0.0.1:9312
listening on 127.0.0.1:9306
Sphinx 2.0.7-id64-dev (rel20-r3560)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)

precaching index 'releases'
precaching index 'releases_delta'
precaching index 'releasefiles'
WARNING: index 'releasefiles': preload: failed to open /var/www/newznab/db/sphinxdata/releasefiles.sph: No such file or directory; NOT SERVING
precaching index 'releasefiles_delta'
WARNING: index 'releasefiles_delta': preload: failed to open /var/www/newznab/db/sphinxdata/releasefiles_delta.sph: No such file or directory; NOT SERVING
precaching index 'releasenfo'
WARNING: index 'releasenfo': preload: failed to open /var/www/newznab/db/sphinxdata/releasenfo.sph: No such file or directory; NOT SERVING
precaching index 'releasenfo_delta'
WARNING: index 'releasenfo_delta': preload: failed to open /var/www/newznab/db/sphinxdata/releasenfo_delta.sph: No such file or directory; NOT SERVING
precaching index 'nzbs'
precaching index 'predb'
WARNING: index 'predb': preload: failed to open /var/www/newznab/db/sphinxdata/predb.sph: No such file or directory; NOT SERVING
precaching index 'predb_delta'
WARNING: index 'predb_delta': preload: failed to open /var/www/newznab/db/sphinxdata/predb_delta.sph: No such file or directory; NOT SERVING
Sphinx 2.0.7-id64-dev (rel20-r3560)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)

XXX:/var/www/newznab/misc/sphinx#

Niet alles faalt, maar zo te zien alleen de dingen die ik niet geselecteerd heb, dus dat klopt?
Zo ja, hoe krijg ik die eerste error dan weg? Waar staat dat bestandje normaliter?

Thanks

Nog iets anders: Dat newznab_screen.sh file, roept die ook om de zoveel tijd het script aan om de tables te optimizen?

[Borkus]

Na eerst (redelijk succesvol) aan het stoeien te zijn geweest heb ik besloten te doneren en met Newznab+ aan de slag te gaan. Nu kom ik tijdens de installatie niet voorbij stap 6, als ik op "create admin user" klik krijg ik de volgende foutmelding in m'n browser.

code:

HTTP-fout 500 (Internal Server Error): Er is een onverwachte voorwaarde gevonden toen de server het verzoek wilde uitvoeren

Iemand enig idee wat er mis kan zijn gegaan?

[kmf]

Rick Astley schreef op donderdag 13 december 2012 @ 08:52:
Voorzichtig schopje van mijn onderstaand probleem:


[...]


Nog iets anders: Dat newznab_screen.sh file, roept die ook om de zoveel tijd het script aan om de tables te optimizen?

Ja. Om de halve dag standaard, maar ik heb dat maar even aangepast naar een dag.
Ik denk dat ik dat gedeelte zelfs even gaat herschrijven. Want het script gaat pas de movie-info en zo ophalen als de database geoptimized is.

Optimizen is niet zo handig met innodb (duurt heel lang), dus ik wil dat beetje beperken. Toch zat ruimte.

(ik heb binaries en parts naar innodb overgezet)

[Rick Astley]

kmf schreef op donderdag 13 december 2012 @ 09:05:
Ja. Om de halve dag standaard, maar ik heb dat maar even aangepast naar een dag.
Ik denk dat ik dat gedeelte zelfs even gaat herschrijven. Want het script gaat pas de movie-info en zo ophalen als de database geoptimized is.

Optimizen is niet zo handig met innodb (duurt heel lang), dus ik wil dat beetje beperken. Toch zat ruimte.

(ik heb binaries en parts naar innodb overgezet)

Oke bedankt! Ik zie het inderdaad nu ook staan in de code staan dat hij het aanroept.
Nu alleen nog m'n Sphinx issue en dan ben ik eindelijk 'klaar'

[Pizzalucht]

kmf schreef op donderdag 13 december 2012 @ 09:05:
[...]


Ja. Om de halve dag standaard, maar ik heb dat maar even aangepast naar een dag.
Ik denk dat ik dat gedeelte zelfs even gaat herschrijven. Want het script gaat pas de movie-info en zo ophalen als de database geoptimized is.

Optimizen is niet zo handig met innodb (duurt heel lang), dus ik wil dat beetje beperken. Toch zat ruimte.

(ik heb binaries en parts naar innodb overgezet)

InnoDB maakt eerst een kopie van de tabel, en dat duurt erg lang, zeker als hij groot is.
Ik heb het optimise scriptje gewoon uitgecomment in de screen.sh

[Rick Astley]

Pizzalucht schreef op donderdag 13 december 2012 @ 09:32:
InnoDB maakt eerst een kopie van de tabel, en dat duurt erg lang, zeker als hij groot is.
Ik heb het optimise scriptje gewoon uitgecomment in de screen.sh

Hoe kun je zien of hij aan de gang gaat met InnoDB? Is dat alleen op MySQL of ook op Percona?

[Pizzalucht]

Rick Astley schreef op donderdag 13 december 2012 @ 09:45:
[...]


Hoe kun je zien of hij aan de gang gaat met InnoDB? Is dat alleen op MySQL of ook op Percona?

Ik begrijp je vraag niet helemaal, maar:
De table engine moet je zelf veranderen, deze staat standaard op myisam.
Via SHOW PROCESSLIST; kun je zien of hij aan het optimisen is.
Ook door te "screen -r"en kun je zien of hij aan het optimisen is.

[Rick Astley]

Pizzalucht schreef op donderdag 13 december 2012 @ 09:53:
Ik begrijp je vraag niet helemaal, maar:
De table engine moet je zelf veranderen, deze staat standaard op myisam.
Via SHOW PROCESSLIST; kun je zien of hij aan het optimisen is.
Ook door te "screen -r"en kun je zien of hij aan het optimisen is.

Sorry is misschien een beetje raar omschreven idd, maar waar ik op doelde: Hoe kun je dat InnoDB verhaal aan of uit zetten? Is dat gewoon door die '/optimise_db.php' uit te commentariëren?

[kmf]

Pizzalucht schreef op donderdag 13 december 2012 @ 09:32:
[...]

InnoDB maakt eerst een kopie van de tabel, en dat duurt erg lang, zeker als hij groot is.
Ik heb het optimise scriptje gewoon uitgecomment in de screen.sh

Daarom heb ik de mysql-datadir EN de mysql-tmp dir overgezet naar een SSD. Hopelijk gaat dat wat sneller.

Als je dat optimise uitcomment, dan wordt de last-optimise niet gezet. En dan worden de update-releases (of zo) constant bij elke run uitgevoerd…

[Pizzalucht]

kmf schreef op donderdag 13 december 2012 @ 09:55:
[...]


Daarom heb ik de mysql-datadir EN de mysql-tmp dir overgezet naar een SSD. Hopelijk gaat dat wat sneller.

Als je dat optimise uitcomment, dan wordt de last-optimise niet gezet. En dan worden de update-releases (of zo) constant bij elke run uitgevoerd…

Jawel hoor:

code:

DIFF=$(($CURRTIME-$LASTOPTIMIZE))
if [ "$DIFF" -gt 43200 ] || [ "$DIFF" -lt 1 ]
then
        LASTOPTIMIZE=`date +%s`
        #/usr/bin/php5 ${NEWZNAB_PATH}/optimise_db.php
        /usr/bin/php5 ${NEWZNAB_PATH}/update_tvschedule.php
        /usr/bin/php5 ${NEWZNAB_PATH}/update_theaters.php
fi

Die 2 php scriptjes hebben toch niet zoveel te maken met releases, maar ze draaien wel gewoon.

[Pizzalucht]

Rick Astley schreef op donderdag 13 december 2012 @ 09:54:
[...]


Sorry is misschien een beetje raar omschreven idd, maar waar ik op doelde: Hoe kun je dat InnoDB verhaal aan of uit zetten? Is dat gewoon door die '/optimise_db.php' uit te commentariëren?

"Dat InnoDB verhaal?"
Ik blijf het vaag vinden
http://superuser.com/ques...-db-from-myisam-to-innodb

[kmf]

Pizzalucht schreef op donderdag 13 december 2012 @ 09:57:
[...]


Jawel hoor:

code:

DIFF=$(($CURRTIME-$LASTOPTIMIZE))
if [ "$DIFF" -gt 43200 ] || [ "$DIFF" -lt 1 ]
then
        LASTOPTIMIZE=`date +%s`
        #/usr/bin/php5 ${NEWZNAB_PATH}/optimise_db.php
        /usr/bin/php5 ${NEWZNAB_PATH}/update_tvschedule.php
        /usr/bin/php5 ${NEWZNAB_PATH}/update_theaters.php
fi

Die 2 php scriptjes hebben toch niet zoveel te maken met releases, maar ze draaien wel gewoon.

Het gaat om $LASTOPTIMIZE. Deze zal waarschijnlijk door optimize_db gezet worden? Of is dat een lokale variabele? Ik heb dat scriptje nog niet goed doorgenomen.
Zit nog in todolist.


edit: even remote ingelogd om te checken. $lastoptimize is dus een lokale variabele van het script. Kan dus genegeerd worden. Mooi

[ Voor 8% gewijzigd door kmf op 13-12-2012 10:11 ]

[Rick Astley]

Pizzalucht schreef op donderdag 13 december 2012 @ 09:58:
"Dat InnoDB verhaal?"
Ik blijf het vaag vinden
http://superuser.com/ques...-db-from-myisam-to-innodb

Pizzalucht schreef op donderdag 13 december 2012 @ 09:57:

code:

DIFF=$(($CURRTIME-$LASTOPTIMIZE))
if [ "$DIFF" -gt 43200 ] || [ "$DIFF" -lt 1 ]
then
        LASTOPTIMIZE=`date +%s`
        #/usr/bin/php5 ${NEWZNAB_PATH}/optimise_db.php
        /usr/bin/php5 ${NEWZNAB_PATH}/update_tvschedule.php
        /usr/bin/php5 ${NEWZNAB_PATH}/update_theaters.php
fi

Dat moest ik weten

[kmf]

Rick Astley schreef op donderdag 13 december 2012 @ 09:54:
[...]


Sorry is misschien een beetje raar omschreven idd, maar waar ik op doelde: Hoe kun je dat InnoDB verhaal aan of uit zetten? Is dat gewoon door die '/optimise_db.php' uit te commentariëren?

Ik denk dat je snel even naar kmf in "[Newznab] newznab community's - deel 1" moet gaan en iemand snel een DM moet sturen

[j1nx]

Rick Astley schreef op donderdag 13 december 2012 @ 08:52:
Voorzichtig schopje van mijn onderstaand probleem:

WARNING: failed to open pid_file '/var/www/newznab/db/sphinxdata/searchd.pid'.

Een pid file in linux een een text bestand waarin het process nummer staat van de deamon. Een juist opgestarte deamon gebruikt die file dan ook om te checken of hij al draait. Als je bevoorbeeld de deamon stopt met een init script, dan zal hij het process nummer daarin utlezen, dat process killen en dan de file weer weggooien.

Aangezien je de deamon start als een normale user, vraag ik me af of die user ook naar die folder kan en daar iets weg kan schrijven. Doe eens het volgende commando met de zelfde user als waarmee je de deamon start.

touch /var/www/newznab/db/sphinxdata/test.txt

Faalt dat, om maakt hij netjes een leeg bestand aan?

[j1nx]

kmf schreef op donderdag 13 december 2012 @ 09:59:
[...]


Het gaat om $LASTOPTIMIZE. Deze zal waarschijnlijk door optimize_db gezet worden? Of is dat een lokale variabele? Ik heb dat scriptje nog niet goed doorgenomen.
Zit nog in todolist.

Het staat er gewoon;

code:

LASTOPTIMIZE=`date +%s`

[Rick Astley]

j1nx schreef op donderdag 13 december 2012 @ 10:08:
Een pid file in linux een een text bestand waarin het process nummer staat van de deamon. Een juist opgestarte deamon gebruikt die file dan ook om te checken of hij al draait. Als je bevoorbeeld de deamon stopt met een init script, dan zal hij het process nummer daarin utlezen, dat process killen en dan de file weer weggooien.

Aangezien je de deamon start als een normale user, vraag ik me af of die user ook naar die folder kan en daar iets weg kan schrijven. Doe eens het volgende commando met de zelfde user als waarmee je de deamon start.

touch /var/www/newznab/db/sphinxdata/test.txt

Faalt dat, om maakt hij netjes een leeg bestand aan?

Bedankt voor je reply.
Het gedrag wat jij omschrijft kan ik bevestigen. Hij maakt heel soms wel een pid file aan en verwijdert deze daarna, om vervolgens te gaan zeuren

Ik draai alles onder 'root' (foei, ja ja ik weet het) dus rechten zouden geen issues mogen zijn.

touch /var/www/newznab/db/sphinxdata/test.txt

Verliep dan ook zonder problemen . Er staat nu inderdaad een leeg bestand

Ik heb sphinx al eens opnieuw geïnstalleerd maar ook dat mocht niet baten.

Thanks!

[kmf]

j1nx schreef op donderdag 13 december 2012 @ 10:11:
[...]


Het staat er gewoon;

code:

LASTOPTIMIZE=`date +%s`

Ja, ik keek er 5 secondes na man. Zat dingen te doen met die andere update-scripts.

[Jonkol]

Ik draai al een goed jaar newznab, en heb er al meer dan 1.2year retentie inzitten. Is er iemand die weet hoe de spots uit spotweb ook te integreren zijn in newznab?

[RobinMM]

je kan spotweb en newznab gewoon naast elkaar gebruiken, of wil je dat niet?

[Jonkol]

Was eigenlijk niet mijn bedoeling, aangezien graag mijn newznab zo compleet mogelijk wil maken.
Naast elkaar draaien ze nu al, leuke tijdelijke oplossing, maar ik heb het idee dat sb en cp makkelijker zoeken in newznab dan in spotweb.

[kmf]

Jonkol schreef op donderdag 13 december 2012 @ 11:06:
Was eigenlijk niet mijn bedoeling, aangezien graag mijn newznab zo compleet mogelijk wil maken.
Naast elkaar draaien ze nu al, leuke tijdelijke oplossing, maar ik heb het idee dat sb en cp makkelijker zoeken in newznab dan in spotweb.

Als je spotweb alleen voor NL-dingen gebruikt kan je het net zo goed gescheiden houden. sb en cp kunnen daar toch niet mee omgaan.

En voor de paar en-releases.. ik heb meer vertrouwen in newznab dan spotweb wat betreft "recentheid"

[Rick Astley]

kmf schreef op donderdag 13 december 2012 @ 11:08:
En voor de paar en-releases.. ik heb meer vertrouwen in newznab dan spotweb wat betreft "recentheid"

SpotWeb haalt toch alleen alles wat 'gespot' is en dus indexeert alleen de groep free.pt of heb ik het nu mis?
NewzNab pakt gewoon alle groepen die jij selecteert.

[kmf]

Rick Astley schreef op donderdag 13 december 2012 @ 11:15:
[...]


SpotWeb haalt toch alleen alles wat 'gespot' is en dus indexeert alleen de groep free.pt of heb ik het nu mis?
NewzNab pakt gewoon alle groepen die jij selecteert.

Klopt. Dus spotweb is per definitie trager

[RobinMM]

ik gebruik spotweb ook voor nederlands materiaal, en ben daar zeer tevreden over.

[G007]

Rick Astley schreef op donderdag 13 december 2012 @ 10:14:
[...]


Bedankt voor je reply.
Het gedrag wat jij omschrijft kan ik bevestigen. Hij maakt heel soms wel een pid file aan en verwijdert deze daarna, om vervolgens te gaan zeuren

Ik draai alles onder 'root' (foei, ja ja ik weet het) dus rechten zouden geen issues mogen zijn.

touch /var/www/newznab/db/sphinxdata/test.txt

Verliep dan ook zonder problemen . Er staat nu inderdaad een leeg bestand

Ik heb sphinx al eens opnieuw geïnstalleerd maar ook dat mocht niet baten.

Thanks!

Ik heb het zeflde probleem ook net gehad en opgelost
Ik weet niet of je een handleiding hebt gevolgd en of daar ook sphinxdata moest geinstalleerd worden en in de /etc/default/sphinxdata op yes gezet moest worden
Als dat zo is denk ik dat de je de daemon van sphinxdata een keer moet stoppen.
Daarna in de map van newznab opnieuw de nnindexer.php daemon moet draaien

Daarna ging het bij mij goed misschien helpt het jou verder.

[Jonkol]

Spotweb gebruik ik voor de handmatige zoekacties, en newznab voor de geautomatiseerde shizzle. Dat werkt allemaal prima, maar de spotweb spots in newznab, tja waarom, gewoon omdat het kan denk ik. Heeft iemand hier een scriptje voor oid?

[Rick Astley]

G007 schreef op donderdag 13 december 2012 @ 11:19:
Ik heb het zeflde probleem ook net gehad en opgelost
Ik weet niet of je een handleiding hebt gevolgd en of daar ook sphinxdata moest geinstalleerd worden en in de /etc/default/sphinxdata op yes gezet moest worden
Als dat zo is denk ik dat de je de daemon van sphinxdata een keer moet stoppen.
Daarna in de map van newznab opnieuw de nnindexer.php daemon moet draaien

Daarna ging het bij mij goed misschien helpt het jou verder.

Bedankt voor je reply.
Ik heb deze handleiding gevolgd: http://newznab.readthedocs.org/en/latest/misc/sphinx/
Ik heb sphinx geinstalleerd via apt-get install en geen custom map genomen, gewoon de standaard map.

Wat bedoel je precies met ' in de /etc/default/sphinxdata op yes gezet worden' ? Dat bestandje bestaat bij mij niet

Ik heb deze reeks aan commando's al eens een paar keer laten lopen maar het probleem blijft bestaan:

./nnindexer.php daemon
./nnindexer.php index full all
./nnindexer.php index delta all
./nnindexer.php daemon --stop
./nnindexer.php daemon

Thanks!

[Pizzalucht]

Rick Astley schreef op donderdag 13 december 2012 @ 11:29:
[...]


Bedankt voor je reply.
Ik heb deze handleiding gevolgd: http://newznab.readthedocs.org/en/latest/misc/sphinx/
Ik heb sphinx geinstalleerd via apt-get install en geen custom map genomen, gewoon de standaard map.

Wat bedoel je precies met ' in de /etc/default/sphinxdata op yes gezet worden' ? Dat bestandje bestaat bij mij niet

Ik heb deze reeks aan commando's al eens een paar keer laten lopen maar het probleem blijft bestaan:

./nnindexer.php daemon
./nnindexer.php index full all
./nnindexer.php index delta all
./nnindexer.php daemon --stop
./nnindexer.php daemon

Thanks!

Even voor de zekerheid: generate.php gedraaid?
Ik zie trouwens in je logs dat je alleen warnings hebt. Had ik ook op het begin, volgens mij is dat als je nog nooit inserts hebt gedaan.

[ Voor 8% gewijzigd door Pizzalucht op 13-12-2012 11:34 ]

[Hari-Bo]

Ik ben nu bezig om Newznab aan de gang te krijgen op een HP N40L Microserver met maar 4GB aan geheugen in combinatie met OpenMediaVault. En ik merk dat memory een aardig issue aan het worden is, want deze server schakelt elke nacht uit omdat ik 's nachts toch niets mee doen. Maar zodra deze weer opstart is Newznab flink aan het stampen en dat blijft continue doorgaan, kan ik op één of andere manier het geheugen verbruik naar beneden krijgen?

[G007]

In de /etc/default/sphinxsearch kun je aangeven of of sphinx gestart moet worden tijdens de reboot van het systeem.

Als deze op yes staat kan het zijn dat er al een daemon draait van sphinx

[Limbeckx]

Hari-Bo schreef op donderdag 13 december 2012 @ 11:37:
Ik ben nu bezig om Newznab aan de gang te krijgen op een HP N40L Microserver met maar 4GB aan geheugen in combinatie met OpenMediaVault. En ik merk dat memory een aardig issue aan het worden is, want deze server schakelt elke nacht uit omdat ik 's nachts toch niets mee doen. Maar zodra deze weer opstart is Newznab flink aan het stampen en dat blijft continue doorgaan, kan ik op één of andere manier het geheugen verbruik naar beneden krijgen?

Tof dat je het aan de praat hebt gekregen op OMV. Ik heb het ook geprobeerd maar ik draai al een webpagina ernaast en ik moet even uitzoeken hoe ik twee sites naast elkaar kan hosten icm apache en omv...

[Jonkol]

Ik heb inmiddels alles in OMV geintegreerd, incl spotweb en newznab. Op dit moment newznab nog in een Windows installatie draaien, moet zeggen dat de performance niet slecht is.

[kmf]

Hari-Bo schreef op donderdag 13 december 2012 @ 11:37:
Ik ben nu bezig om Newznab aan de gang te krijgen op een HP N40L Microserver met maar 4GB aan geheugen in combinatie met OpenMediaVault. En ik merk dat memory een aardig issue aan het worden is, want deze server schakelt elke nacht uit omdat ik 's nachts toch niets mee doen. Maar zodra deze weer opstart is Newznab flink aan het stampen en dat blijft continue doorgaan, kan ik op één of andere manier het geheugen verbruik naar beneden krijgen?

Ik heb newznab ook draaien op een HP N40L Microserver. Ubuntu dan. En wel met 10GB ram. je kan beter even wat extra geheugen inprikken. Want een beetje performance mag ook wel.

[RobinMM]

Ik ben aan het testen met giganews en de accelarator en astraweb met compressed headers. Haal er 100000 per keer op, lijkt geen verschil in te zitten tussen beiden. Had er eerlijk gezegd meer van verwacht.

[Verwijderd]

Rick Astley schreef op donderdag 13 december 2012 @ 11:29:
[...]

cd /var/www/newznab/misc/sphinx
./nnindexer.php generate
./nnindexer.php daemon
./nnindexer.php index full all
./nnindexer.php index delta all
./nnindexer.php daemon --stop
./nnindexer.php daemon

Vergeet niet de generate te doen. Die geeft ook aan waar de conf wordt weggeschreven. En dat pad moet je in je newznab instellen ook (onder de sphinx settings).

Mocht het bestandje niet bestaan onder de /etc map, dan misschien even opnieuw het pakket installeren?

[ Voor 33% gewijzigd door Verwijderd op 13-12-2012 11:58 ]

[Hari-Bo]

kmf schreef op donderdag 13 december 2012 @ 11:56:
[...]


Ik heb newznab ook draaien op een HP N40L Microserver. Ubuntu dan. En wel met 10GB ram. je kan beter even wat extra geheugen inprikken. Want een beetje performance mag ook wel.

Dat is een optie, maar ik wil eigelijk mijn fysieke resources niet uitbreiden om één applicatie te kunnen draaien, dat wordt een nogo. Vandaar dat ik nu aan het kijken ben naar mogelijkheden om het één en ander te kunnen fine tunen.

[kmf]

RobinMM schreef op donderdag 13 december 2012 @ 11:58:
Ik ben aan het testen met giganews en de accelarator en astraweb met compressed headers. Haal er 100000 per keer op, lijkt geen verschil in te zitten tussen beiden. Had er eerlijk gezegd meer van verwacht.

Zoals ik al zei. De bottleneck zal niet zozeer de headers zijn. Het is het parsen van de headers en inserten in de database die het proces traag maakt.

[RobinMM]

kmf schreef op donderdag 13 december 2012 @ 11:59:
[...]


Zoals ik al zei. De bottleneck zal niet zozeer de headers zijn. Het is het parsen van de headers en inserten in de database die het proces traag maakt.

hier valt dan in principe weinig aan te doen?

[KDVken]

Bij mij zijn het de ".server did not return 1 article(s)" berichten die alles traag maken.
Is er geen optie om die repair uit te zetten?

[kmf]

Hari-Bo schreef op donderdag 13 december 2012 @ 11:59:
[...]


Dat is een optie, maar ik wil eigelijk mijn fysieke resources niet uitbreiden om één applicatie te kunnen draaien, dat wordt een nogo. Vandaar dat ik nu aan het kijken ben naar mogelijkheden om het één en ander te kunnen fine tunen.

je kan natuurlijk mysql en apache (of percona en nginx) afdwingen om minder geheugen te gebruiken. Maar als je al weet dat ze eigenlijk een tekort hebben en je gaat het nog meer knijpen.

[kmf]

RobinMM schreef op donderdag 13 december 2012 @ 12:01:
[...]


hier valt dan in principe weinig aan te doen?

Ik denk dat als de code van de inserts wordt gewijzigd en er bulk inserts wordt gebruikt, dat het wel beter zal gaan. Dat wil ik later nog testen.

(ik heb het iig voor nu wat sneller laten lopen door de mysql-directories op een SSD te zetten)

Dat vraag ik me eigenlijk nu wel af... hoe zit het met updates van newznab? moet je die niet zelf binnenhalen?

[Coenen]

KDVken schreef op donderdag 13 december 2012 @ 12:02:
Bij mij zijn het de ".server did not return 1 article(s)" berichten die alles traag maken.
Is er geen optie om die repair uit te zetten?

Ik had er gister iets van 30k, dat lijkt nu 'vanzelf' over te zijn.

BTW, over snelheid, ik draai met SSD, ook dan duren grote updates best lang.

[Hari-Bo]

kmf schreef op donderdag 13 december 2012 @ 12:02:
[...]


je kan natuurlijk mysql en apache (of percona en nginx) afdwingen om minder geheugen te gebruiken. Maar als je al weet dat ze eigenlijk een tekort hebben en je gaat het nog meer knijpen.

Dan kan ik dit project voorlopig afschieten, ga nog wel rommelen in een vm.

[j1nx]

Rick Astley schreef op donderdag 13 december 2012 @ 10:14:
[...]


Bedankt voor je reply.
Het gedrag wat jij omschrijft kan ik bevestigen. Hij maakt heel soms wel een pid file aan en verwijdert deze daarna, om vervolgens te gaan zeuren

Ik draai alles onder 'root' (foei, ja ja ik weet het) dus rechten zouden geen issues mogen zijn.

touch /var/www/newznab/db/sphinxdata/test.txt

Verliep dan ook zonder problemen . Er staat nu inderdaad een leeg bestand

Ik heb sphinx al eens opnieuw geïnstalleerd maar ook dat mocht niet baten.

Thanks!

Als je dat gedrag hebt dan draai je dus meerdere keren de deamon en zitten ze tegen elkaar te beuken.

zoeken even alle processen die ermee te maken hebben op met het commando

ps ax

Je kunt elk process dan stoppen met

kill -9 <processnr>

Waarschijnlijk heb je dan ook de deamon opstarten via een officieel init script. Kijk eens in /etc/default/ of je daar een config file voor sphinx of searchd ziet. Daar staat een enabled optie misschien op "Yes".

[j1nx]

kmf schreef op donderdag 13 december 2012 @ 12:02:
[...]
je kan natuurlijk mysql en apache (of percona en nginx) afdwingen om minder geheugen te gebruiken. Maar als je al weet dat ze eigenlijk een tekort hebben en je gaat het nog meer knijpen.

Je moet zo en zo de database configuratie aanpassen. De standaard my.cnf is namelijk verre van optimaal voor menigeen server. (Hij heeft gewoon wat average settings voor een 1-2 GB machine)

Als jij 4, 6, 8 of Meer aan GB's hebt, maar je doet verder niets met je config file? Dan kun je net zo goed er maar 2 GB in stoppen.

Een beetje stabiele goed getunede server heb je niet na het instaleren van alleen ubuntu en de verschillende packages.

[senn]

j1nx schreef op donderdag 13 december 2012 @ 12:11:
[...]


Je kunt elk process dan stoppen met

kill -9 <processnr>

-9 is niet aan te raden bij DB gerelateerde processen; beter gewoon

kill pid

Evt. daarna -9.

[RobinMM]

Ja ik draai het ook op een ssd. En op zich gaat het updaten van de huidige headers met het runme script prima. Alleen backfill is dus nog wel een zure appel.

[kmf]

j1nx schreef op donderdag 13 december 2012 @ 12:16:
[...]


Je moet zo en zo de database configuratie aanpassen. De standaard my.cnf is namelijk verre van optimaal voor menigeen server. (Hij heeft gewoon wat average settings voor een 1-2 GB machine)

Als jij 4, 6, 8 of Meer aan GB's hebt, maar je doet verder niets met je config file? Dan kun je net zo goed er maar 2 GB in stoppen.

Een beetje stabiele goed getunede server heb je niet na het instaleren van alleen ubuntu en de verschillende packages.

Voorlopig is mijn mysql alleen dingen aan het wegschrijven. Ik heb de my.cnf wel aangepast om de query cache en zo te verhogen. Maar dat heeft weinig nut met inserts...

[j1nx]

kmf schreef op donderdag 13 december 2012 @ 12:20:
[...]


Voorlopig is mijn mysql alleen dingen aan het wegschrijven. Ik heb de my.cnf wel aangepast om de query cache en zo te verhogen. Maar dat heeft weinig nut met inserts...

Hij doet niet alleen inserts bij het updaten hoor.

Of ben je echt alleen maar headers aan het ophalen?

[ Voor 7% gewijzigd door j1nx op 13-12-2012 12:21 ]

[RVE_NL]

RVE_NL schreef op maandag 10 december 2012 @ 20:18:
...Ik dacht ga eens de webinterface bekijken maar op iedere mogelijke link (Login, Registrer, Site map etc.) krijg ik de 404 Not Found melding:

Not Found
The requested URL /Users/Roger/Sites/newznab/www/index.php was not found on this server.

Coenen schreef op maandag 10 december 2012 @ 20:28:
...@RVE/NL, klinkt als een rewrite issue, heb je de (of een) Rewrite module aan?

Yup ik heb deze in de httpd.conf aan (staat in OSx standaard aan)
LoadModule rewrite_module libexec/apache2/mod_rewrite.so

Coenen schreef op maandag 10 december 2012 @ 20:28:
Let op, Controleer even of je RewriteBase goed staat (hij redirect default alles naar /index.php)
Na het importeren van de .htaccess moest ik de web.config even naar de www folder verplaatsen om uberhaupt weer op m´n newznab site te kunnen komen.

Ik ben geen expert op dit gebied maar ik vermoed dat het probleem hierin zit. Zou iemand mij kunnen vertellen hoe en waar ik de RewriteBase kan aanpassen of maken?

[ Voor 5% gewijzigd door RVE_NL op 13-12-2012 12:23 ]

[RobinMM]

j1nx schreef op donderdag 13 december 2012 @ 12:20:
[...]


Hij doet niet alleen inserts bij het updaten hoor.

Of ben je echt alleen maar headers aan het ophalen?

Heb je advies hoe ik mijn my.cnf beter kan instellen, op dit moment heb ik er er nog niks aan gedaan. Qua werkgeheugen kan ik 4 tot 6gb inzetten.

[senn]

RVE_NL schreef op donderdag 13 december 2012 @ 12:21:
[...]


[...]


Yup ik heb deze in de httpd.conf aan (staat in OSx standaard aan)
LoadModule rewrite_module libexec/apache2/mod_rewrite.so


[...]


Ik ben geen expert op dit gebied maar ik vermoed dat het probleem hierin zit. Zou iemand mij kunnen vertellen hoe en waar ik de RewriteBase kan aanpassen of maken?

RewriteBase staat in de .htaccess (of in je VirtualHost). Serveer je de www/ directory van Newznab in de root van je apache? Zo nee, dan zie je in je httpd logs (/var/log/apache2/error_log) waarschijnlijk 404's op /index.php.

Even de .htaccess openen (newznab/www) en RewriteBase / aanpassen naar RewriteBase newznab/ (bijvoorbeeld)

[DeadMetal]

Puur uit interesse: waarom installeren jullie Newznab? Wat wil je ermee bereiken, of wat kan je ermee wat je voorheen niet kon bereiken op een andere manier?

[kmf]

j1nx schreef op donderdag 13 december 2012 @ 12:20:
[...]


Hij doet niet alleen inserts bij het updaten hoor.

Of ben je echt alleen maar headers aan het ophalen?

De paar selects zijn verwaarloosbaar. Ik heb de queries gelogd, en 99% zijn inserts.


ik heb wel even de code nagepluist. De nzb-importmodified.php kan makkelijk aangepast worden om bulkinserts te doen. Gaan we vanmiddag eens even proberen.

[ShadowBumble]

DeadMetal schreef op donderdag 13 december 2012 @ 12:47:
Puur uit interesse: waarom installeren jullie Newznab?

Omdat menig tweakers mening zal zijn : " Omdat het kan. "

Wat wil je ermee bereiken, of wat kan je ermee wat je voorheen niet kon bereiken op een andere manier?

Je creeerd onafhankelijkheid van iemand of van een bepaalde website door het zelf te doen, hierdoor kom je dus niet voor de verrassing te staan ( aangezien dit ontsprongen is uit het plotseling neerhalen van andere websites ) dat opeens de helft van je automatisering het niet meer doet en je het alsnog handmatig moet doen.

[BlaBla1973]

DeadMetal schreef op donderdag 13 december 2012 @ 12:47:
Puur uit interesse: waarom installeren jullie Newznab? Wat wil je ermee bereiken, of wat kan je ermee wat je voorheen niet kon bereiken op een andere manier?

Lees de TS eens?

[kmf]

Op dit moment heb ik de volgende tabellen als innodb staan
parts
binaries
partrepairs

deze veroorzaakten locks tijdens het headeren via de echte headers en/of de nzb-import

[tcviper]

Ben ik de enige die met de installatie wel alles ziet binnenkomen maar bijv veel tv series en nieuwe films niet ziet binnenkomen. gebruiken zoals boneless en misc zouden volgens ftdworld net juist die dingen moete hebben. Heeft dit te maken met die regex dingen (ja we gebruiken plus), en zo ja, wat moet er verandert worden dan?

[MrOizo2005]

tcviper schreef op donderdag 13 december 2012 @ 13:16:
Ben ik de enige die met de installatie wel alles ziet binnenkomen maar bijv veel tv series en nieuwe films niet ziet binnenkomen. gebruiken zoals boneless en misc zouden volgens ftdworld net juist die dingen moete hebben. Heeft dit te maken met die regex dingen (ja we gebruiken plus), en zo ja, wat moet er verandert worden dan?

Heb je wel je ID in de newznab settings gezet?

[tcviper]

Jazeker staat erin en er zijn een hoop regex settings voor alle groepen. Maar bijv bij boneless stond alleen ISO en Programmas.

[MrOizo2005]

tcviper schreef op donderdag 13 december 2012 @ 13:21:
Jazeker staat erin en er zijn een hoop regex settings voor alle groepen. Maar bijv bij boneless stond alleen ISO en Programmas.

probeer eens a.b.teevee en a.b.multimedia ?

[RVE_NL]

senn schreef op donderdag 13 december 2012 @ 12:26:
[...]
RewriteBase staat in de .htaccess (of in je VirtualHost). Serveer je de www/ directory van Newznab in de root van je apache? Zo nee, dan zie je in je httpd logs (/var/log/apache2/error_log) waarschijnlijk 404's op /index.php.

Even de .htaccess openen (newznab/www) en RewriteBase / aanpassen naar RewriteBase newznab/ (bijvoorbeeld)

Wanneer ik in de log kijk zie ik inderdaad de 404's

code:

 [client 127.0.0.1] File does not exist: /Library/WebServer/Documents/Users, referer: http://127.0.0.1/~roger/newznab/www/

Hij lijkt naar de verkeerde locatie te verwijzen, de locatie moet zijn: "(Sites)/newznab/"

Wanneer je een VirtualHost gebruikt zou je in /etc/apache2/ een map sites-enabled/ moeten hebben met een VHOST file, toch? Dit is bij mij niet het geval.



Nu heb ik even in de newznab/www folder gekeken maar daar is ook geen .htaccess file te vinden.



Is het mogelijk gewoon zo'n .htaccess file zelf aan te maken? Of wat raden jullie mij aan?

[ Voor 5% gewijzigd door RVE_NL op 13-12-2012 13:34 ]

[tcviper]

MrOizo2005 schreef op donderdag 13 december 2012 @ 13:22:
[...]


probeer eens a.b.teevee en a.b.multimedia ?

Die heb ik ook allebei erin staan maar vind erg weinig binnenkomen.

[j1nx]

tcviper schreef op donderdag 13 december 2012 @ 13:27:
[...]


Die heb ik ook allebei erin staan maar vind erg weinig binnenkomen.

Kijk eens bij FTDworld naar een van de films die je mist naar de bestandsnaam en vraag je dan eens af of de regex die eruit zou kunnen vissen.

[tcviper]

...

[ Voor 95% gewijzigd door tcviper op 13-12-2012 13:34 ]

[j1nx]

<nvm>

[ Voor 88% gewijzigd door j1nx op 13-12-2012 13:35 ]

[j1nx]

Ik weet van beide de bestandsnaam niet, want ben geen lid. Kan je van beide de bestandsnaam eens posten en in welke groep ze moeten staan?

[tcviper]

Filename : modern.family.410.720p-dimension
Extensions : rar(34),
Newsgroups : alt.binaries.multimedia
alt.binaries.teevee


Filename : QoQ-sbuSLN.462x.p0801.2102.repooL-REPOST.part01.rar t/m QoQ-sbuSLN.462x.p0801.2102.repooL-REPOST.part190.rar
Extensions : rar(190), PAR2(22), nzb(1), par2(1),
Newsgroups : alt.binaries.boneless
alt.binaries.misc

[senn]

RVE_NL schreef op donderdag 13 december 2012 @ 13:25:
[...]


Wanneer ik in de log kijk zie ik inderdaad de 404's

code:

 [client 127.0.0.1] File does not exist: /Library/WebServer/Documents/Users, referer: http://127.0.0.1/~roger/newznab/www/

Hij lijkt naar de verkeerde locatie te verwijzen, de locatie moet zijn: "(Sites)/newznab/"

Wanneer je een VirtualHost gebruikt zou je in /etc/apache2/ een map sites-enabled/ moeten hebben met een VHOST file, toch? Dit is bij mij niet het geval.

[afbeelding]

Nu heb ik even in de newznab/www folder gekeken maar daar is ook geen .htaccess file te vinden.

[afbeelding]

Is het mogelijk gewoon zo'n .htaccess file zelf aan te maken? Of wat raden jullie mij aan?

.htaccess hoort er volgens mij bij te zitten (deze is hidden in je Finder, dat weet je?). Probeer in Terminal ls -al /Users/Roger/Sites/newznab/

Desalniettemin, mijn .htaccess:

code:

RewriteEngine on
#RewriteBase /

# Do not process images or CSS files further
RewriteRule \.(css|jpe?g|gif|png|js|ico|mp3)$ - [L]

# Leave /admin and /install static
RewriteRule ^(admin|install).*$ - [L]

# Rewrite web pages to one master page
RewriteRule ^([^/\.]+)/?$ index.php?page=$1 [QSA,L]
RewriteRule ^([^/\.]+)/([^/]+)/?$ index.php?page=$1&id=$2 [QSA,L]
RewriteRule ^([^/\.]+)/([^/]+)/([^/]+)/? index.php?page=$1&id=$2&subpage=$3 [QSA,L]

VirtualHost heb je in principe niet nodig (is wel mooier dan .htaccess, maar ach).

Wat betreft de locatie van je apache-root; OS X heeft een iets complexere apache config dan de gemiddelde default van een Linux distro. Als je in je Sites terecht wil komen moet je volgens mij http://localhost/~User gebruiken; dit zou dan ook je RewriteBase moeten zijn (evt. de tilde geexpandeerd).

[BlackBurn]

Ik heb momenteel het probleem met Newznab, dat de headers netjes binnen worden gehaald, maar dat er geen releases worden toegevoegd.

Het enige wat opvalt:

code:

TheTVDB : Looking up last 150 releases
TheTVDB : Celebrity Rehab with Dr.Drew 06x10 Not found
TheTVDB : Emily Owens M D 01x04 Not found
TheTVDB : beauty and the beast 2012 01x06 Not found
TheTVDB : Scandal US 02x06 Not found
TheTVDB : XIII The Series 02x01 Not found
TheTVDB : Watchdog Daily 01x03 Not found

Verder geen foutmeldingen o.i.d.

[j1nx]

tcviper schreef op donderdag 13 december 2012 @ 13:37:
Filename : modern.family.410.720p-dimension
Extensions : rar(34),
Newsgroups : alt.binaries.multimedia
alt.binaries.teevee


Filename : QoQ-sbuSLN.462x.p0801.2102.repooL-REPOST.part01.rar t/m QoQ-sbuSLN.462x.p0801.2102.repooL-REPOST.part190.rar
Extensions : rar(190), PAR2(22), nzb(1), par2(1),
Newsgroups : alt.binaries.boneless
alt.binaries.misc

Die eerste zou hij denk toch moeten pakken. Mits je inderdaad alle headers te pakken heb gekregen. Als jij nog >10% van de headers mist om welke reden dan ook dat ziet jouw newznab install hem nog als incompleet.

Die tweede hoef ik denk toch niet over te hebben of wel?

[j1nx]

BlackBurn schreef op donderdag 13 december 2012 @ 13:46:
Het enige wat opvalt:

code:

TheTVDB : Looking up last 150 releases
TheTVDB : Celebrity Rehab with Dr.Drew 06x10 Not found
TheTVDB : Emily Owens M D 01x04 Not found
TheTVDB : beauty and the beast 2012 01x06 Not found
TheTVDB : Scandal US 02x06 Not found
TheTVDB : XIII The Series 02x01 Not found
TheTVDB : Watchdog Daily 01x03 Not found

Verder geen foutmeldingen o.i.d.

http://thetvdb.com/?strin...istseries&function=Search

Die shows worden niet geresolved omdat TheTVDB ze niet kent. Ze dan dan dus als binaries in de groep misc denk ik.

[BlackBurn]

j1nx schreef op donderdag 13 december 2012 @ 14:02:
[...]


http://thetvdb.com/?strin...istseries&function=Search

Die shows worden niet geresolved omdat TheTVDB ze niet kent. Ze dan dan dus als binaries in de groep misc denk ik.

K, maar ik wilde hier meer mee aangeven dat behalve deze meldingen ik geen rare- en/of foutmeldingen krijg.

Maar sinds gisteren worden er geen nieuwe releases meer toegevoegd. (Overigens de plus versie)

[Edd]

Dan zou ik toch even je groepen nakijken, want ik heb vandaag gewoon releases binnengekregen

[RVE_NL]

senn schreef op donderdag 13 december 2012 @ 13:40:
[...]


.htaccess hoort er volgens mij bij te zitten (deze is hidden in je Finder, dat weet je?). Probeer in Terminal ls -al /Users/Roger/Sites/newznab/

Desalniettemin, mijn .htaccess:

code:

RewriteEngine on
#RewriteBase /

# Do not process images or CSS files further
RewriteRule \.(css|jpe?g|gif|png|js|ico|mp3)$ - [L]

# Leave /admin and /install static
RewriteRule ^(admin|install).*$ - [L]

# Rewrite web pages to one master page
RewriteRule ^([^/\.]+)/?$ index.php?page=$1 [QSA,L]
RewriteRule ^([^/\.]+)/([^/]+)/?$ index.php?page=$1&id=$2 [QSA,L]
RewriteRule ^([^/\.]+)/([^/]+)/([^/]+)/? index.php?page=$1&id=$2&subpage=$3 [QSA,L]

VirtualHost heb je in principe niet nodig (is wel mooier dan .htaccess, maar ach).

Wat betreft de locatie van je apache-root; OS X heeft een iets complexere apache config dan de gemiddelde default van een Linux distro. Als je in je Sites terecht wil komen moet je volgens mij http://localhost/~User gebruiken; dit zou dan ook je RewriteBase moeten zijn (evt. de tilde geexpandeerd).

Ach stom, met een . ervoor is het natuurlijk een hidden file .

Dus .htaccess file gevonden, RewriteBase toegevoegd, geen effect. Ook met tilde geëxpandeerd, het # voor RewriteBase heb ik uiteraard weggehaald.

code:

RewriteEngine on
RewriteBase /Users/Roger/Sites/newznab

# Do not process images or CSS files further
RewriteRule \.(css|jpe?g|gif|png|js|ico)$ - [L]

# Leave /admin and /install static
RewriteRule ^(admin|install).*$ - [L]

# Rewrite web pages to one master page
RewriteRule ^([^/\.]+)/?$ index.php?page=$1 [QSA,L]
RewriteRule ^([^/\.]+)/([^/]+)/?$ index.php?page=$1&id=$2 [QSA,L]
RewriteRule ^([^/\.]+)/([^/]+)/([^/]+)/? index.php?page=$1&id=$2&subpage=$3 [QSA,L]

Wanneer ik in de apache error log kijk, lijkt het alsof het .htaccess bestand compleet genegeerd wordt.

code:

 File does not exist: /Library/WebServer/Documents/Users, referer: http://127.0.0.1/~roger/newznab/www/

Is er eigenlijk al iemand die Newznab werkend heeft op OSX (Mountain Lion), je zou toch denken dat dit niet zo moeilijk kan wezen.

[senn]

RVE_NL schreef op donderdag 13 december 2012 @ 14:26:
[...]


Ach stom, met een . ervoor is het natuurlijk een hidden file .

Dus .htaccess file gevonden, RewriteBase toegevoegd, geen effect. Ook met tilde geëxpandeerd, het # voor RewriteBase heb ik uiteraard weggehaald.

code:

RewriteEngine on
RewriteBase /Users/Roger/Sites/newznab

# Do not process images or CSS files further
RewriteRule \.(css|jpe?g|gif|png|js|ico)$ - [L]

# Leave /admin and /install static
RewriteRule ^(admin|install).*$ - [L]

# Rewrite web pages to one master page
RewriteRule ^([^/\.]+)/?$ index.php?page=$1 [QSA,L]
RewriteRule ^([^/\.]+)/([^/]+)/?$ index.php?page=$1&id=$2 [QSA,L]
RewriteRule ^([^/\.]+)/([^/]+)/([^/]+)/? index.php?page=$1&id=$2&subpage=$3 [QSA,L]

Wanneer ik in de apache error log kijk, lijkt het alsof het .htaccess bestand compleet genegeerd wordt.

code:

 File does not exist: /Library/WebServer/Documents/Users, referer: http://127.0.0.1/~roger/newznab/www/

Is er eigenlijk al iemand die Newznab werkend heeft op OSX (Mountain Lion), je zou toch denken dat dit niet zo moeilijk kan wezen.

.htaccess wordt genegeerd als AllowOverride None aanstaat; deze moet naar AllowOverride All (in /etc/apache2/httpd.conf, binnen de correcte VirtualHost/Directory context).

[RVE_NL]

senn schreef op donderdag 13 december 2012 @ 14:34:
[...]
.htaccess wordt genegeerd als AllowOverride None aanstaat; deze moet naar AllowOverride All (in /etc/apache2/httpd.conf, binnen de correcte VirtualHost/Directory context).

Ik heb het nog even voor de zekerheid gecheck, AllowOverride staat bij mij in zowel de httpd.conf als in user.conf (Roger.conf) op All

code:

<Directory />
    Options Indexes MultiViews FollowSymLinks
    AllowOverride All
    Order deny,allow
    Deny from all
</Directory>

Ik heb apache ook al even geherstart (sudo apachectl restart) zonder effect.

[Rhizosis]

RVE_NL schreef op donderdag 13 december 2012 @ 14:51:
[...]


Ik heb het nog even voor de zekerheid gecheck, AllowOverride staat bij mij in zowel de httpd.conf als in user.conf (Roger.conf) op All

code:

<Directory />
    Options Indexes MultiViews FollowSymLinks
    AllowOverride All
    Order deny,allow
    Deny from all
</Directory>

Ik heb apache ook al even geherstart (sudo apachectl restart) zonder effect.

apachectl? 'Apache2' de service al gerestart?

[RVE_NL]

Rhizosis schreef op donderdag 13 december 2012 @ 14:52:
[...]
apachectl? 'Apache2' de service al gerestart?

Voor de zekerheid ook een complete system reboot gedaan, zonder effect.

[senn]

RVE_NL schreef op donderdag 13 december 2012 @ 15:00:
[...]

Voor de zekerheid ook een complete system reboot gedaan, zonder effect.

Kan je uberhaupt de /admin/ pagina bereiken van Newznab?

[Quindor]

Ik heb dat ook met die 'encrypted' namen die voorbij komen waarvan wel uiteindelijk de files IN de NZB te lezen zijn. Hij index'ed dit ook wel, vind deze middels sphinx (zware look inside NZB optie), maar dan nog maakt hij er uiteindelijk geen release van volgens mij.

Als ik vervolgens naar dezelfde files kijk op nzbs.org dan zijn ze wel gewoon plain text goed te lezen. Iemand een idee hoe we dat in onze newznab installaties ook voor elkaar kunnen krijgen?

Ik snap dat ze 'encrypted' posts maken vanwege spotnet en om de autoriteiten het moeilijker te maken, maar als we deze niet in newznab kunnen krijgen is dat best wel een groot issue.

Iemand een idee hoe je dat fixed? Of die namen ergens vandaan kunt trekken?

[MrOizo2005]

Quindor schreef op donderdag 13 december 2012 @ 15:23:
Iemand een idee hoe je dat fixed? Of die namen ergens vandaan kunt trekken?

Ben ik ook wel benieuwd naar

[senn]

Quindor schreef op donderdag 13 december 2012 @ 15:23:
Ik heb dat ook met die 'encrypted' namen die voorbij komen waarvan wel uiteindelijk de files IN de NZB te lezen zijn. Hij index'ed dit ook wel, vind deze middels sphinx (zware look inside NZB optie), maar dan nog maakt hij er uiteindelijk geen release van volgens mij.

Als ik vervolgens naar dezelfde files kijk op nzbs.org dan zijn ze wel gewoon plain text goed te lezen. Iemand een idee hoe we dat in onze newznab installaties ook voor elkaar kunnen krijgen?

Ik snap dat ze 'encrypted' posts maken vanwege spotnet en om de autoriteiten het moeilijker te maken, maar als we deze niet in newznab kunnen krijgen is dat best wel een groot issue.

Iemand een idee hoe je dat fixed? Of die namen ergens vandaan kunt trekken?

Ik ben bang dat het niet kan. Als het wel zou kunnen is het idee van de obfuscation namelijk weg; ook de authoriteiten kunnen Newznab installeren.

[MaNDaRK]

Aan de hand van de tutorial van MrOizo2005, onze held! Heb ik een nieuwe VM gemaakt

Zie mijn blog voor alle details: MaNDaRK's Blog: Tutorial NewzNab+ Installatie (Ubuntu / Percona / Nginx ) & Download VM

[Yokidrink]

hoe werkt het nu precies met the blacklist feature?
momenteel heb ik het volgende als inhoud maar ik krijg een ton errors:

[e-mail]|[e-mail]|[e-mail]|[e-mail]|[e-mail]|[e-mail]|[e-mail]

[Rhizosis]

Yokidrink schreef op donderdag 13 december 2012 @ 16:12:
hoe werkt het nu precies met the blacklist feature?
momenteel heb ik het volgende als inhoud maar ik krijg een ton errors:

[e-mail]|[e-mail]|[e-mail]|[e-mail]|[e-mail]|[e-mail]|[e-mail]

Waarschijnlijk omdat het geen valide regex is. Bij regexen moet je rekening houden met speciale symbolen. Zoals @ en .
Sla hier de documentatie eens op na.

[tcviper]

Iemand hier interested om eens te kijken naar de settings zoals ik ze heb? kan serieus wat hulp gebruiken om alles goed te hebben staan. PM me even aub.

[Rhizosis]

tcviper schreef op donderdag 13 december 2012 @ 16:44:
Iemand hier interested om eens te kijken naar de settings zoals ik ze heb? kan serieus wat hulp gebruiken om alles goed te hebben staan. PM me even aub.

Het klinkt alsof er iets fout gaat.
Kun je ons iets meer van error meldingen / warnings voorzien?

[Yokidrink]

Rhizosis schreef op donderdag 13 december 2012 @ 16:44:
[...]


Waarschijnlijk omdat het geen valide regex is. Bij regexen moet je rekening houden met speciale symbolen. Zoals @ en .
Sla hier de documentatie eens op na.

hm ja, regex is nieuw voor mij maar als ik het goed begrijp is @ een special char en moet ie vooraf gegaan worden door een blackslash dus blaat\@domain\.com ?

[Mr. Happy]

MaNDaRK schreef op donderdag 13 december 2012 @ 16:06:
Aan de hand van de tutorial van MrOizo2005, onze held! Heb ik een nieuwe VM gemaakt

Zie mijn blog voor alle details: MaNDaRK's Blog: Tutorial NewzNab+ Installatie (Ubuntu / Percona / Nginx ) & Download VM

Ik heb 'm net gedownload en geprobeerd uit te pakken.
Helaas geeft ie een crc-fout op Virtual Disk-s001.vmdk...

[Rhizosis]

Yokidrink schreef op donderdag 13 december 2012 @ 17:01:
[...]


hm ja, regex is nieuw voor mij maar als ik het goed begrijp is @ een special char en moet ie vooraf gegaan worden door een blackslash dus blaat\@domain\.com ?

Exact. Overigens weet ik ook niet of het nodig is om al die dingen te blacklisten.
Als je een kleinere selectie wilt hebben met films bijv. zou het beste ge-whitelist kunnen worden op de kwaliteit die vaak in de naam staat: "DVDRip", "XVID", "X264"... enz.

[Yokidrink]

Rhizosis schreef op donderdag 13 december 2012 @ 17:11:
[...]


Exact. Overigens weet ik ook niet of het nodig is om al die dingen te blacklisten.
Als je een kleinere selectie wilt hebben met films bijv. zou het beste ge-whitelist kunnen worden op de kwaliteit die vaak in de naam staat: "DVDRip", "XVID", "X264"... enz.

het probleem ligt hem meer in posters die junk dumpen, vandaar de blacklist.
overigens lijkt het te werken:

Group alt.binaries.multimedia has 279,344 new parts.
First: 1128936597 Last: 1128937109 Local last: 1128657765
Getting 60,001 parts (1128657766 to 1128717766) - 219,343 in queue
Received 59975 articles of 60001 requested, 18774 blacklisted, 0 not binaries
Server did not return 26 article(s).
500 bin adds...1000 bin adds...
1,384 new, 160 updated, 41,199 parts. 308.06 headers, 9.25 update, 317.32 range.

Getting 60,001 parts (1128717767 to 1128777767) - 159,342 in queue

[Pizzalucht]

Quindor schreef op donderdag 13 december 2012 @ 15:23:
Ik heb dat ook met die 'encrypted' namen die voorbij komen waarvan wel uiteindelijk de files IN de NZB te lezen zijn. Hij index'ed dit ook wel, vind deze middels sphinx (zware look inside NZB optie), maar dan nog maakt hij er uiteindelijk geen release van volgens mij.

Als ik vervolgens naar dezelfde files kijk op nzbs.org dan zijn ze wel gewoon plain text goed te lezen. Iemand een idee hoe we dat in onze newznab installaties ook voor elkaar kunnen krijgen?

Ik snap dat ze 'encrypted' posts maken vanwege spotnet en om de autoriteiten het moeilijker te maken, maar als we deze niet in newznab kunnen krijgen is dat best wel een groot issue.

Iemand een idee hoe je dat fixed? Of die namen ergens vandaan kunt trekken?

Bij mij indexed hij die ook, maar daarvoor moet ik wel echt zoeken op het woord, meestal staan ze in de categorie "misc" van tv. Jammer dat sickbeard niet op naam zoekt, maar specifiek op serie-id, episode en season. Er moet dus een update komen in newznab die de releases parsed uit de filenames, niet uit de posttitel.

[Rick Astley]

G007 schreef op donderdag 13 december 2012 @ 11:19:
/etc/default/sphinxdata

G007 schreef op donderdag 13 december 2012 @ 11:39:
/etc/default/sphinxsearch

j1nx schreef op donderdag 13 december 2012 @ 12:11:
Waarschijnlijk heb je dan ook de deamon opstarten via een officieel init script. Kijk eens in /etc/default/ of je daar een config file voor sphinx of searchd ziet. Daar staat een enabled optie misschien op "Yes".

Die eerste had ik niet maar die tweede wel Typo neem ik aan
Stond inderdaad op Yes. Heb dit veranderd naar No en gereboot. Even kijken wat hij doet...
EDIT: Nee hoor, nog steeds hetzelfde. Er gaat hier dadelijk nog iets door het raam..

Pizzalucht schreef op donderdag 13 december 2012 @ 11:33:
Even voor de zekerheid: generate.php gedraaid?
Ik zie trouwens in je logs dat je alleen warnings hebt. Had ik ook op het begin, volgens mij is dat als je nog nooit inserts hebt gedaan.

Ja, generate.php in het begin gedraaid
Klopt, maar die warning dat hij dat searchd.pid file niet kan openen zou niet mogen.

Verwijderd schreef op donderdag 13 december 2012 @ 11:58:
En dat pad moet je in je newznab instellen ook (onder de sphinx settings).

Mocht het bestandje niet bestaan onder de /etc map, dan misschien even opnieuw het pakket installeren?

Pad is ingesteld in NewzNab en klopt (handmatig gechecked).
Sphinx heb ik reeds opnieuw geinstalleerd (apt-get install --reinstall sphinxsearch en daarna deze tutorial: http://newznab.readthedocs.org/en/latest/misc/sphinx/) maar het probleem blijft

j1nx schreef op donderdag 13 december 2012 @ 12:11:
Als je dat gedrag hebt dan draai je dus meerdere keren de deamon en zitten ze tegen elkaar te beuken.

Staat er helaas niet tussen:

......
 1717 ?        S      0:00 upstart-udev-bridge --daemon
 1726 ?        Ss     0:00 /sbin/udevd --daemon
 2708 ?        S      0:00 /sbin/udevd --daemon
 2709 ?        S      0:00 /sbin/udevd --daemon
 2837 ?        S      0:00 upstart-socket-bridge --daemon
 2890 ?        S      0:00 [jbd2/sda2-8]
 2891 ?        S<     0:00 [ext4-dio-unwrit]
 2912 ?        Ss     0:00 /usr/sbin/sshd -D
 2936 tty2     Ss+    0:00 /sbin/getty -8 38400 tty2
 2939 ?        Ss     0:00 cron
 2954 ?        S      0:00 /usr/sbin/syslogd --no-forward
 3256 ?        S      0:10 [flush-8:0]
 3263 ?        Ss     0:00 /usr/sbin/exim4 -bd -q30m
 3305 ?        S      0:00 /bin/sh /usr/bin/mysqld_safe
 3362 ?        Sl   135:31 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-di
 3449 ?        Ss     0:00 nginx: master process /usr/sbin/nginx
 3450 ?        S      0:01 nginx: worker process
 3451 ?        S      0:01 nginx: worker process
 3452 ?        S      0:01 nginx: worker process
 3453 ?        S      0:01 nginx: worker process
 3525 ?        Ss     0:01 php-fpm: master process (/etc/php5/fpm/php-fpm.conf)
 3528 ?        S      0:30 php-fpm: pool www
 3581 ?        S      0:21 /usr/sbin/tor
 3734 ?        S      0:29 php-fpm: pool www
 3774 tty1     Ss+    0:00 /sbin/getty -8 38400 tty1
 3870 ?        Ss     0:00 SCREEN
 3871 pts/2    Ss+    0:00 /bin/bash
 5452 ?        Ss     0:02 SCREEN
 5453 pts/0    Ss     0:00 /bin/bash
 8522 pts/0    S+     0:00 sh newznab_screen_local.sh
28045 pts/0    R+     1:56 /usr/bin/php5 /var/www/newznab/misc/update_scripts/update_releases.p
28135 ?        Ss     0:00 sshd: root@pts/1
28159 pts/1    Ss     0:00 -bash
28170 pts/1    S+     0:00 screen
28171 ?        Ss     0:00 SCREEN
28172 pts/3    Ss     0:00 /bin/bash
28222 pts/3    R+     0:00 ps ax

[Pizzalucht]

Ik ben even op bezoek geweest in de IRC, ik heb te horen gekregen dat het maken van releases op basis van bestandsnamen in dev is. Je kan het bestandje vinden in "/misc/testing/update_parsing.php".
Ga het zo even testen.

[MaNDaRK]

Mr. Happy schreef op donderdag 13 december 2012 @ 17:02:
[...]

Ik heb 'm net gedownload en geprobeerd uit te pakken.
Helaas geeft ie een crc-fout op Virtual Disk-s001.vmdk...

Hmmm, dat is niet zo mooi , ik zal hem morgen opnieuw even uploaden

[RVE_NL]

senn schreef op donderdag 13 december 2012 @ 15:12:
[...]
Kan je uberhaupt de /admin/ pagina bereiken van Newznab?

De startpagina "met welcome to newznab" wel
De admin pagina kan ik nu niet meer benaderen omdat ik niet meer ingelogd ben, deze heeft de 1e x wel gewerkt uiteraard. Toen heb ik ook nieuwsgroepen kunnen selecteren etc.

[Mr. Happy]

MaNDaRK schreef op donderdag 13 december 2012 @ 18:51:
[...]

Hmmm, dat is niet zo mooi , ik zal hem morgen opnieuw even uploaden

Geen haast hoor
Ik heb ondertussen zelf een VM in elkaar geflanst.

Zijn er, naast de regex-regels, echt redenen om de betaalde versie te nemen?
De extra's heb ik bekeken op de site van newznab, maar wat levert daadwerkelijk toegevoegde waarde?

[RobinMM]

Coenen schreef op donderdag 13 december 2012 @ 12:06:
[...]

Ik had er gister iets van 30k, dat lijkt nu 'vanzelf' over te zijn.

BTW, over snelheid, ik draai met SSD, ook dan duren grote updates best lang.

Dit komt omdat het script 5 keer probeerd parts te repairen, daarna stopt hij met het ophalen van die parts. En zijn dus ook die meldingen weg.