[Ervaringen] Newznab

[Dacuuu]

Verwijderd schreef op zaterdag 26 januari 2013 @ 21:57:
Coenen is al een paar keer voorbij gekomen hier wel goed opletten hé ! hehe

En SRT maakt het nu helemaal gek, ze gaan fake NZB's posten die dan vervolgense andere NZB's weer openen om die te downloaden! Lekker dan zo mis je ALLES omdat je bijvoorbeeld bij couch let op de minimale grote van een release!
klote SRT, begin ze steeds vervelender te vinden.... Naja QOQ blijft nog steeds goed bezig!

Edit:
Na zoeken doen ze dit nu enige tijd al, 9 dagen ongeveer. Ik heb het gehad met SRT, snap dat je het een beetje wilt beveiligen maar dit slaat echt 3x nergens op. Zelfs vanuit spotnet kan je het niet meer normaal downloaden, ga dan lekker torrents posten.

Ja of allemaal gezeur dat het ge'dcma'd is. Wat wil je dan? Vind het een goede zet zo.

[Mr. Happy]

Coenen schreef op zaterdag 26 januari 2013 @ 21:12:
Ik had de volgende foutmelding in de Admin Hangout van newznab.
- MySql my.cnf setting group_concat_max_len is too low, should be >= 8192.
- MySql my.cnf setting max_allowed_packet is too low, should be >= 12582912.

Ik heb deze twee variabelen toevoegd aan my.ini en de MySql service gerestart. Nu zijn ze weg.
Ik had ze tot nu toe nog niet gezien, omdat ik de 'welkomst' tekst nooit had weggeklikt.

Ik gebruik percona (geinstalleerd volgens een handleiding) en heb hierdoor geen my.cnf...
Kan ik in /etc gewoon een my.cnf maken met deze 2 regels en werkt alles dan verder naar behoren of moet ik deze 2 regels ergens anders toevoegen??

[Coenen]

Het lijkt erop dat je zelf een my.cnf moet maken, zie: http://stackoverflow.com/...e-is-perconas-my-cnf-file. Ik zelf draai niet met Percona, dus geen garantie.

[Mr. Happy]

Coenen schreef op zondag 27 januari 2013 @ 14:42:
Het lijkt erop dat je zelf een my.cnf moet maken, zie: http://stackoverflow.com/...e-is-perconas-my-cnf-file. Ik zelf draai niet met Percona, dus geen garantie.

daar lijkt het wel op...
heb de file zelf aangemaakt en de waardes daar in gezet.
nu nog even wachten tot alle panes gestopt zijn en dan de service herstarten...

[Buzzie]

Coenen schreef op vrijdag 25 januari 2013 @ 16:23:
Ik doe geen Predb, kan je die eens uitzetten? Als test.
Na stage 7, doe ik update_parsing.php
Misschien helpt dit? Anders weet ik het ook niet.

probleem is inmiddels opgelost.
had een script in mijn startscript staan die niet meer bestaat
en dan stopt hij

[MaakmeGek]

Wie kan mij verder helpen met de jonnyboy tmux script.

Zodra ik het opstart krijg ik linksbovenin netjes te zien hoe groot m'n DB is hoeveel NFO's enz enz en wordt ook netjes om de zoveel tijd ververst, maar de rest van de panes blijven angstig leeg. Geen binary updates, er wordt niets geprocessed, niets geparsed.

Ook windows 1 en 2 blijven leeg maar de rest htop, mytop, nmon noem het maar op draaien wel weer goed.

Aan mijn dir structuur is niets veranderd dus is zoals het out of the box hoort te zijn. Ik weet dus niet waar ik het moet zoeken.

[Verwijderd]

Een vraagje..

Mijn newznab heeft een lange tijd goed gewerkt, maar ik moest op een gegeven moment de harde schijven wisselen.

Ik heb dan de huidige newznab configuratie gebackupped, en opnieuw geinstalleerd.

Nu mijn eigenlijke vraag:

De laatste dagen loopt mijn newznab installatie precies achter de feiten aan, of indexeert niet meer goed. Ik heb als voorbeeld een tvserie genomen en die opgezocht in de raw search. Daar vind ik de serie, helemaal compleet, met pars. Maar wanneer ik deze aflevering op de website wil zoeken, of bvb via sickbeard, dan is deze aflevering nergens te vinden.

Heeft iemand een idee wat dit kan zijn, of begin ik gewoon maar beter terug van 0 ?

Hopelijk weet iemand hier iets voor...

[Elect]

Volgens mij zit in de nieuwe update_parsing.php ook de QUQ code. Dan is de update_release_groups.php door Splendit ook niet meer nodig.

code:

            //QoQ releases
            if (preg_match('/^QoQ\-(.*)$/', $rel['name']))
            {
                $foundName = strrev( $rel['name'] );
                $methodused = "QoQ";
                determineCategory($rel,$foundName,$methodused);
            }

Een andere vraag. Na het draaien van update_parsing.php, waarbij hij alle namen omzet, zie ik ze door middel van een search nog steeds niet terug. Ik zag bijvoorbeeld de naam 'citadel kaka' voorbij komen, maar deze is vervolgens niet terug te vinden.

Iemand enig idee waarom dit is?

[ Voor 28% gewijzigd door Elect op 28-01-2013 14:34 ]

[Elect]

Ik heb het windows update scripts ietswat aangepast (Win2008R2, IIS, MySQL. Werkt als een zonnetje). Voor de liefhebbers:

PHP:

set optimise=14

set limit=111111111111111111111111

:Top
CD..
php.exe update_database_version.php
php.exe update_binaries.php
php.exe backfill_inc.php
php.exe update_releases.php
CD win_scripts

set /a optimise=%optimise%+1
if %optimise%==15 goto optimise
:OptimiseDone

set /a Update=%Update%+1
if %Update%==15 goto Update
:updateDone

Sleep 900

GOTO TOP

:Optimise
CD..
php.exe update_release_groups.php
CD..
cd testing
php.exe update_parsing.php
php.exe removespecial.php
php.exe updateCategories.php
php.exe update_cleanup.php
cd ..
cd update_scripts
php.exe optimise_db.php
set optimise=0
CD win_scripts
GOTO OptimiseDone

:Update
CD..
php.exe update_tvschedule.php
php.exe update_theaters.php
php.exe update_predb.php
python c:\Python27\Scripts\subliminal -m -l nl -l en -a 1w f:\video
set Update=0
CD win_scripts
GOTO updateDone

Ik kan de originele pagina voor de incrementele backfill in Windows niet meer vinden, dus hierbij de code. Noem hem backfill_inc.php en roep hem aan in het runme.bat bestand in de win_scripts.

PHP:

<?php
define('FS_ROOT', realpath(dirname(__FILE__)));
require_once(FS_ROOT."/../../www/config.php");
require_once(FS_ROOT."/../../www/lib/framework/db.php");
require_once(FS_ROOT."/../../www/lib/releases.php");
require_once(FS_ROOT."/../../www/lib/sphinx.php");
require_once(FS_ROOT."/../../www/lib/backfill.php");

function do_releases() {
    $releases = new Releases;
    $sphinx = new Sphinx();
    $releases->processReleases();
    $sphinx->update();
}

function get_count($db) {
    $sql = "select COUNT(*) AS ToDo from releases r left join category c on c.ID = r.categoryID where (r.passwordstatus between -6 and -1) or (r.haspreview = -1 and c.disablepreview = 0)";
    $res= $db->query($sql);
    return $res[0]['ToDo'];
}

//this is the maximum days the script will go up to. change it if you desire
$backfill_target = 365;

// See what the lowest group is set to
$db = new Db;
$sql = "SELECT backfill_target FROM groups WHERE active=1 ORDER BY backfill_target ASC LIMIT 1";
$res= $db->query($sql);
$lowest = $res[0]['backfill_target'];

// If all groups have been backfilled stop.
if ($backfill_target <= $lowest) {
  echo "BackFill : All groups have been backfilled to target\n";
  exit;
}

// Get group names to backfill, prevents wasting time trying ones that are up to date
$grouplist = array();
$sql = "SELECT name, backfill_target FROM groups WHERE active=1 AND backfill_target <= '$lowest'";
$res= $db->queryDirect($sql);
while ($row = $db->getAssocArray($res)) { $grouplist[] = $row["name"]; }

// Increase the backfill by a day for the oldest group(s)
// This will allow groups to catch up so retention is the same for the whole site
// so if group ages are 1,3,5,7 it will go 2,3,5,7 -> 3,3,5,7 -> 4,4,5,7 -> 5,5,5,7 -> 6,6,6,7 -> 7,7,7,7 -> 8,8,8,8....
$sql = "UPDATE groups SET backfill_target=backfill_target+1 WHERE active=1 AND backfill_target < '$backfill_target' AND backfill_target <= '$lowest'";
$res= $db->query($sql);

//get binaries
foreach ($grouplist as $name) {
    $backfill = new Backfill();
    $backfill->backfillAllGroups($name);
}

/* optioneel. doe ik in een update_Releases erna */
//process releases
//$proc = do_releases();

//if there are still releases to process run again
//$count = get_count($db);
//while ($count > 0) { 
//  do_releases();
//  $count = get_count($db);
//}
?>

[ Voor 55% gewijzigd door Elect op 28-01-2013 21:20 ]

[kmf]

Elect schreef op maandag 28 januari 2013 @ 14:32:
Volgens mij zit in de nieuwe update_parsing.php ook de QUQ code. Dan is de update_release_groups.php door Splendit ook niet meer nodig.

code:

            //QoQ releases
            if (preg_match('/^QoQ\-(.*)$/', $rel['name']))
            {
                $foundName = strrev( $rel['name'] );
                $methodused = "QoQ";
                determineCategory($rel,$foundName,$methodused);
            }

Een andere vraag. Na het draaien van update_parsing.php, waarbij hij alle namen omzet, zie ik ze door middel van een search nog steeds niet terug. Ik zag bijvoorbeeld de naam 'citadel kaka' voorbij komen, maar deze is vervolgens niet terug te vinden.

Iemand enig idee waarom dit is?

Gebruik je sphinx? heb je die een re-index gegeven? Update_parsing komt meestal na de normale updates namelijk.

[Elect]

Nee, ik gebruik niet de sphinx. Ik zie het voordeel niet zo voor een eigen server en de beperkte winst die dit oplevert. Maar ik blijf het vreemd vinden dat update_parsing dan geen toegevoegde waarde heeft.

Kun je eens kijken of jij wel een release kan vinden met de woorden 'citadel kaka' of 'blood vampire'?

[MaNDaRK]

Mochten jullie na een update witte pagina's krijgen, dan kan dat liggen aan een database verschil

Als je in de map "misc/update_scripts" kijkt, staat daar een bestand: "update_database_version.php". Als je die draait dan werkt alles weer als vanouds!

[Verwijderd]

Elect schreef op maandag 28 januari 2013 @ 15:42:
Nee, ik gebruik niet de sphinx. Ik zie het voordeel niet zo voor een eigen server en de beperkte winst die dit oplevert. Maar ik blijf het vreemd vinden dat update_parsing dan geen toegevoegde waarde heeft.

Kun je eens kijken of jij wel een release kan vinden met de woorden 'citadel kaka' of 'blood vampire'?

update_parsing heeft enige toegevoegde waarde. Ik moest het ook effe drie keer nalezen Open update_parsing.php in je favorite editor en change het volgende :

/// The following value either shows or hides the releases that failed to find a$
$debug = false;
/// Set this to true to see fails

/// The following value sets either echo's the results or applies the changes.
$echo = false;
/// Set this to true to echo only

Dus het moet op false staan pfff Zie zin The following value sets either echo's the results or applies the changes om gek van te worden soms

Hopelijk maakt het voor je een verschil. Hier doet hij wat het moet doen

[ Voor 7% gewijzigd door Verwijderd op 28-01-2013 20:21 ]

[Elect]

Thnx greetingsb! Dat gaat een wereld van verschil maken! Dan heb ik er ook echt 100 keer overheen gelezen. Ik had ook echt nooit zo'n functie verwacht..

[henwy]

Let op dat het bij de update_cleanup ook zo is. Had er zelf ook helemaal over heen gelezen.

[Buzzie]

Zijn er mensen hier die ook echt in de gaten houdt wat het script allemaal doet???

Als ik namelijk mijn script laat gaan en in de gaten houdt wat deze doet dan krijg ik bij postproccesing allemaal van dit soort meldingen:

PostPrc : Performing additional post processing on last 1 releases ...1.sh: /usr/syno/bin/unrar e -ai -ep -c- -id -r -kb -p- -y -inul /volume3/@appstore/newznab/nzbfiles/tmpunrar/rarfile.rar /volume3/@appstore/newznab/nzbfiles/tmpunrar/": not found

Dit heb ik bij zowel unrar als ffmpeg.
Ik heb de map ook al een keer hernoemd zonder de @ er in.
De map bestaat en de hele map heb ik ook al alle rechten gegeven. chmod 777
enige wat ik zie is dat rarfile.rar niet bestaat maar ik heb begrepen dat deze pas wordt aangemaakt bij de postprocessing.

snap er niets van.

[kmf]

Ik hou de scripts wel in de gaten. Bij mij komt het regelmatig voor dat een rar niet gedownload kan worden. Maar not found ben ik niet tegengekomen.

[Buzzie]

kmf schreef op dinsdag 29 januari 2013 @ 12:01:
Ik hou de scripts wel in de gaten. Bij mij komt het regelmatig voor dat een rar niet gedownload kan worden. Maar not found ben ik niet tegengekomen.

Heb je misschien wel een idee wat het kan zijn?
Heb jij bijvoorbeeld wel een rarfile.rar bestand in die map?

[kmf]

die rarfile.rar zal na afronding weggegooid worden, dus ik heb in tmpunrar niks na afloop natuurlijk

Maar jouw probleem lijkt er op dat /volume3/@appstore/newznab/nzbfiles/tmpunrar/ gewoon niet bestaat?

kan je het pad niet veranderen naar /tmp ?

[Freekers]

Mannen, ik ben wederom weer een tijdje afwezig geweest. Ben een paar dagen ziek geweest en het gewone leven gaat ook gewoon door. Ik zal dit topic maar weer eens gaan doorspitten om te kijken wat er allemaal gebeurd is sinds m'n laatste bezoek
Nieuwe links staan iig in de startpost, op verzoek. Ben bezig met een FAQ te maken voor de in TS zoals 'Waar haal ik die nzb archives vandaan waar iedereen het over heeft'. Suggesties (met antwoorden) zijn welkom

[ Voor 30% gewijzigd door Freekers op 29-01-2013 13:06 ]

[Buzzie]

kmf schreef op dinsdag 29 januari 2013 @ 12:47:
die rarfile.rar zal na afronding weggegooid worden, dus ik heb in tmpunrar niks na afloop natuurlijk

Maar jouw probleem lijkt er op dat /volume3/@appstore/newznab/nzbfiles/tmpunrar/ gewoon niet bestaat?

kan je het pad niet veranderen naar /tmp ?

Ik heb het pad veranderd naar /tmp en de instellingen in NN+ aangepast,
in de postprocessing zie je nu ook de verwijzing maar ik krijg nog steeds dezelfde fout.

[Verwijderd]

Elect schreef op maandag 28 januari 2013 @ 14:32:
Volgens mij zit in de nieuwe update_parsing.php ook de QUQ code. Dan is de update_release_groups.php door Splendit ook niet meer nodig.

code:

            //QoQ releases
            if (preg_match('/^QoQ\-(.*)$/', $rel['name']))
            {
                $foundName = strrev( $rel['name'] );
                $methodused = "QoQ";
                determineCategory($rel,$foundName,$methodused);
            }

Een andere vraag. Na het draaien van update_parsing.php, waarbij hij alle namen omzet, zie ik ze door middel van een search nog steeds niet terug. Ik zag bijvoorbeeld de naam 'citadel kaka' voorbij komen, maar deze is vervolgens niet terug te vinden.

Iemand enig idee waarom dit is?

Dit is alweer oud, werkt niet meer. Ben bezig met wat hulp om dit werkend te krijgen

[KorneelB]

hmm, is er een methode om makkelijk te kijken hoeveel postprocessing er nog moet?

heb nu de postprocessing op 3000 releases staan, maar wil wel eens weten hoeveel releases er eigenlijk nog geprocessed moeten worden..
en daarmee bedoel ik dus de deep rar inspection

[ Voor 10% gewijzigd door KorneelB op 29-01-2013 15:30 ]

[Buzzie]

freak1 schreef op dinsdag 29 januari 2013 @ 15:30:
hmm, is er een methode om makkelijk te kijken hoeveel postprocessing er nog moet?

heb nu de postprocessing op 3000 releases staan, maar wil wel eens weten hoeveel releases er eigenlijk nog geprocessed moeten worden..
en daarmee bedoel ik dus de deep rar inspection

zoiets bedoel je?

//Add the following 2 lines
		$data = $db->query(sprintf("select COUNT(*) AS ToDo from releases r left join category c on c.ID = r.categoryID where (r.passwordstatus between -6 and -1) or (r.haspreview = -1 and c.disablepreview = 0)"));
		$total = $data[0]['ToDo'];

//These lines aren't changed
		$result = $db->query(sprintf("select r.ID, r.guid, r.name, c.disablepreview from releases r 
			left join category c on c.ID = r.categoryID
			where (r.passwordstatus between %d and -1)
			or (r.haspreview = -1 and c.disablepreview = 0) order by r.adddate desc limit %d ", ($maxattemptstocheckpassworded + 1) * -1, $numtoProcess));
		
		$iteration = $rescount = sizeof($result);
		if ($rescount > 0)
		{
//Change this next line
			echo "PostPrc : Performing additional post processing on last ".$rescount." of ".$total." releases ...";		

aanpassen in postprocess.php

Performing additional post processing on last 100 of 175 releases ...

[KorneelB]

Buzzie schreef op dinsdag 29 januari 2013 @ 15:42:
[...]


zoiets bedoel je?

//Add the following 2 lines
		$data = $db->query(sprintf("select COUNT(*) AS ToDo from releases r left join category c on c.ID = r.categoryID where (r.passwordstatus between -6 and -1) or (r.haspreview = -1 and c.disablepreview = 0)"));
		$total = $data[0]['ToDo'];

//These lines aren't changed
		$result = $db->query(sprintf("select r.ID, r.guid, r.name, c.disablepreview from releases r 
			left join category c on c.ID = r.categoryID
			where (r.passwordstatus between %d and -1)
			or (r.haspreview = -1 and c.disablepreview = 0) order by r.adddate desc limit %d ", ($maxattemptstocheckpassworded + 1) * -1, $numtoProcess));
		
		$iteration = $rescount = sizeof($result);
		if ($rescount > 0)
		{
//Change this next line
			echo "PostPrc : Performing additional post processing on last ".$rescount." of ".$total." releases ...";		

aanpassen in postprocess.php

Performing additional post processing on last 100 of 175 releases ...

lol... processing additional post processing on last 3000 of 243208 releases..

dat loopt dus nog wel even..

[Verwijderd]

henwy schreef op dinsdag 29 januari 2013 @ 09:53:
Let op dat het bij de update_cleanup ook zo is. Had er zelf ook helemaal over heen gelezen.

thanks

[Oxize]

Krijg een hoop repair meldingen @ a.b.hdtv voordat er parts binnengehaald worden.

Nivong zei, dat ik de groep moest resetten, maar dat heeft niet geholpen.

De repairs komen voordat de parts getelt worden. Ik dacht zelf dat deze melding na een dagje wel weer weggingen maar het worden er steeds meer. Andere groepen krijgen deze verschijnselen ook af en toe.





Draait NN+ onder Xampp/W7. Iemand had het over truncaten. Geen idee hoe ik dat moet doen. Iemand zin in een stap voor stap handleidingtje?

[Coenen]

Die zou ik ook wel kunnen gebruiken. Ik heb op dit moment ook een hoop van de repairs. Ik dacht eigenljk dat ie dat repairen na X keer op zou geven.

Ik ben nog even aan het zoeken geweest (http://newznab.readthedocs.org/en/latest/readme/):

Missing Parts

When headers are requested from the usenet provider, they are asked for in number ranges e.g. 1-1000, 1001-2000 etc. For various reasons sometimes the provider does not return a header, this is not always because the header does not exist, there may be some synchronization going on at the providers end. If a header is requested but not returned, we store a record of this in the table partrepair. Each time update_binaries is run an attempt is made to go back and get the missing parts. If after five attempts the parts can still not be obtained, Newznab gives up. When update_releases runs, if a release is seen to have missing parts it will not be released until four hours after it was uploaded to usenet. this is so a chance has been made to repair all missing parts. After four hours a release will be created anyway and its down to the quality of the PAR files to determine whether a release can be correctly unpacked.

Na 5 keer zou ie het op moeten geven, maar ik heb het gevoel dat dat niet gebeurd.

[ Voor 79% gewijzigd door Coenen op 30-01-2013 21:04 ]

[Edd]

Had ik van de week ook last van, hou zou het inderdaad 5x moeten proberen. Maar bij mij ging hij 11 miljoen headers ophalen vanuit hdtv.... Zorgde ervoor dat het script brak. Heb via phpmyadmin de tabel partrepair leeggegooid. Daarna draaide hij weer als een zonnetje..

[Oxize]

Moest van Nivong table parts en binaries truncaten, en daarna de groepen resetten. Heb nu ook geen last meer.

[Raven__NL]

Coenen schreef op woensdag 30 januari 2013 @ 20:54:
Die zou ik ook wel kunnen gebruiken. Ik heb op dit moment ook een hoop van de repairs. Ik dacht eigenljk dat ie dat repairen na X keer op zou geven.

Ik ben nog even aan het zoeken geweest (http://newznab.readthedocs.org/en/latest/readme/):
[...]

Na 5 keer zou ie het op moeten geven, maar ik heb het gevoel dat dat niet gebeurd.

Doet die ook niet vanwege een bug, je kan het eventueel zelf verhelpen door:

* Edit www\lib\binaries.php
* Zoek naar"
#$db->query(sprintf("UPDATE partrepair SET attempts=attempts+1 WHERE ID=%d LIMIT 1", $item['ID']));

en verwijder de #

Je kan daar ook eventueel de attempts instellen als je iets anders als 5 wilt

[Coenen]

Ik heb hem net de '#' weggehaald, vanmiddag maar eens kijken of ik dan minder repairs heb.

Er is ook weer een SVN update: Rev 2743 -- Modified update_parsing.phpdonderdag 31 januari 2013 1:51
Straks ook maar eens updaten.

[ Voor 42% gewijzigd door Coenen op 31-01-2013 10:14 ]

[Verwijderd]

Raven__NL schreef op donderdag 31 januari 2013 @ 07:06:
[...]


Doet die ook niet vanwege een bug, je kan het eventueel zelf verhelpen door:

* Edit www\lib\binaries.php
* Zoek naar"
#$db->query(sprintf("UPDATE partrepair SET attempts=attempts+1 WHERE ID=%d LIMIT 1", $item['ID']));

en verwijder de #

Je kan daar ook eventueel de attempts instellen als je iets anders als 5 wilt

En zo te zien voor de linux boys staat het al goed en kun je het hier terugvinden

sudo nano /var/www/newznab/www/lib/binaries.php

Thanks voor de tip

[Verwijderd]

Kleine update, de nieuwe QoQ releases worden bijna allemaal gepakt bij mij binnenkort weer even met sy praten want hij matched niet alles nog...

Daarna is het copy pasten voor SRT.

[ini]

zou newznab ook op een synology ds 410 kunnen draaien of is ie daar te traag voor? ik heb er al sabnzb, sickbeard en couchpotatoe en spotweb op draaien zonder problemen. doel zou voor tv series aan sickbeard te kunnen voeden.

[Verwijderd]

ini schreef op donderdag 31 januari 2013 @ 13:43:
zou newznab ook op een synology ds 410 kunnen draaien of is ie daar te traag voor? ik heb er al sabnzb, sickbeard en couchpotatoe en spotweb op draaien zonder problemen. doel zou voor tv series aan sickbeard te kunnen voeden.

Probeer het zou ik zeggen, ik weet dat er iemand hier is geweest die hem op ze PI heeft draaien

[kmf]

Ik heb me er niet verder in verdiept, maar is het mogelijk dat als je nzb naar sab stuurt vanaf newznab, dat deze wel automatisch in de juiste categorie van sab wordt gegooid? Nu komt het op de grote hoop...

[Brickman]

ini schreef op donderdag 31 januari 2013 @ 13:43:
zou newznab ook op een synology ds 410 kunnen draaien of is ie daar te traag voor? ik heb er al sabnzb, sickbeard en couchpotatoe en spotweb op draaien zonder problemen. doel zou voor tv series aan sickbeard te kunnen voeden.

Ik heb hem zelf draaien op m'n DS410 en dat gaat wel redelijk. Je moet alleen niet teveel groepen willen bijhouden.

[Coenen]

Verwijderd schreef op donderdag 31 januari 2013 @ 13:38:
Kleine update, de nieuwe QoQ releases worden bijna allemaal gepakt bij mij binnenkort weer even met sy praten want hij matched niet alles nog...

Daarna is het copy pasten voor SRT.

Zonder extra scripts, zoals bv van Splendid?

[Verwijderd]

Coenen schreef op donderdag 31 januari 2013 @ 16:20:
[...]

Zonder extra scripts, zoals bv van Splendid?

update_parsing komt hij uiteraard gewoon terecht

[Coenen]

Is de a.b.misc groep een belangrijke? Er moet bij mij veel gerepareerd worden in deze groep:

Group 12 of 14
Processing alt.binaries.misc
Repair: supposed to repair 4731 parts.
Repair: + 886835504-888683559 (11 missing, 1848055 articles overhead)

Helaas lukt dit niet, er gebeurd een hele tijd niks en dan stopt ie. Terwijl ie nog group 13 en 14 moet doen. Hij knalt er gewoon uit. Ik heb deze group al gereset en gepurged, maar ik blijf met die repairs zitten. Daar wil ik vanaf...
Ik heb de wijzig (# weghalen) gedaan om na 5 reparatie pogingen het op te geven, maar dit lijkt ook niet te werken.

[Oxize]

@Coenen: gewoon truncaten die handel (parts tabel en binaries tabel) en spul weer resetten.

[Verwijderd]

QoQ gefixt en een deel van SRT ook, update kunnen jullie binnenkort verwachten

[ Voor 4% gewijzigd door Verwijderd op 31-01-2013 20:38 . Reden: toch niet helemaal... ]

[Oxize]

Verwijderd schreef op donderdag 31 januari 2013 @ 20:06:
QoQ gefixt en een deel van SRT ook, update kunnen jullie binnenkort verwachten

Mooi mooi, want er komt al weken niks binnen.

[Verwijderd]

Oxize schreef op donderdag 31 januari 2013 @ 20:47:
[...]


Mooi mooi, want er komt al weken niks binnen.

Als het goed is wel alleen zie je ze niet

[Coenen]

Oxize schreef op donderdag 31 januari 2013 @ 19:58:
@Coenen: gewoon truncaten die handel (parts tabel en binaries tabel) en spul weer resetten.

Done, eindelijk van die repairs af.

[Tsurany]

Ik heb constant problemen met gecrashte scripts, erg vervelend. Als je "screen sh newznab_screen.sh" uitvoert krijg je enkel screen has disconnected als foutmelding. Niet zo heel handig met problem solving. Meestal zijn het problemen als could not connect, already connected of nntp request timed out.
Ga vandaag weer runnen en even alle foutmeldingen kopieren, kijken of er wat aan gedaan kan worden.

Dit krijg ik met update_binaries_threaded.php

code:

PHP Fatal error:  Uncaught exception 'NNTPException' with message 'Cannot connect to server news.sunnyusenet.com (nonssl) : Already connected, disconnect first!' in /var/www/newznab/www/lib/nntp.php:28
Stack trace:
#0 /var/www/newznab/www/lib/binaries.php(250): Nntp->doConnect()
#1 /var/www/newznab/www/lib/binaries.php(190): Binaries->scan(Object(Nntp), Array, 1094124622, 1094174622)
#2 /var/www/newznab/misc/update_scripts/update_binaries.php(16): Binaries->updateGroup(NULL, Array)
#3 {main}
  thrown in /var/www/newznab/www/lib/nntp.php on line 28

Ik heb 8 lijntjes voor SABnzbd ingesteld en heb er in totaal 20, dan moet dit toch geen probleem opleveren? Kan je ergens in Newznab instellen hoeveel lijntjes hij maximaal gebruikt? Heb nu het maximaal aantal threads op 5 gezet, kijken of dat beter wrekt.


Edit: En bij 5 threads ook nog gewoon dezelfde error, wtf? Komt dat door de crappy usenetprovider of is er een ander probleem?

[ Voor 56% gewijzigd door Tsurany op 01-02-2013 09:53 ]

[Henkske]

Allen,

Komt iemand deze error misschien bekend voor?

error indexing NZB: sphinxql: syntax error, unexpected $undefined, expecting ',' or ')' near '[21325]-[#a.b.hdtv.x264@EFNet]-[ BLABLA.2000.WS.DC.720p.BluRay.x264-NODLABS ]-[01/62] - \"BLABLA2000.ws.dc.720p.bluray.x264-nodlabs.jpg\" yEnc (1/1) (1/1) (1/1) [21325]-[#a.b.hdtv.x264@EFNet]-[ BLABLA.2000.WS.DC.720p.BluRay.x264-NODLABS ]-[01/9] - \"BLABLA.2000.ws.dc.720p.bluray.x264-nodlabs.par2\" yEnc (1/1) (1/1) (1/1) [21325]-[#a.b.hdtv.x264@EFNet]-[ BLABLA.2000.WS.DC.720p.BluRay.x264-NODLA

Deze melding krijg ik zodra ik ./nnindexer.php index full all uitvoer. Dit gaat voor ong 10min door met TIG andere releases. Ik heb het vermoeden dat het iets te maken heeft met imported NZB's maar ik weet het helaas niet zeker.

[Elect]

Af en toe klapt bij mij de update_releases.php eruit bij het verwerken van de NFO's.



Hierdoor komt hij ook niet bij het parsen van films voor de covers en lijkt het hele systeem dus niet geupdate te worden (in list view staan ze nog wel allemaal).

Iemand hier ervaring mee?

[Update]
256 MB ram toewijzen aan PHP was niet genoeg. Voor het verwerken van NFO's werkt hij een stuk beter met 512MB

[ Voor 14% gewijzigd door Elect op 04-02-2013 14:34 ]

[zeroday]

Tsurany schreef op vrijdag 01 februari 2013 @ 08:27:
Ik heb constant problemen met gecrashte scripts, erg vervelend. Als je "screen sh newznab_screen.sh" uitvoert krijg je enkel screen has disconnected als foutmelding. Niet zo heel handig met problem solving. Meestal zijn het problemen als could not connect, already connected of nntp request timed out.
Ga vandaag weer runnen en even alle foutmeldingen kopieren, kijken of er wat aan gedaan kan worden.

Dit krijg ik met update_binaries_threaded.php

code:

PHP Fatal error:  Uncaught exception 'NNTPException' with message 'Cannot connect to server news.sunnyusenet.com (nonssl) : Already connected, disconnect first!' in /var/www/newznab/www/lib/nntp.php:28
Stack trace:
#0 /var/www/newznab/www/lib/binaries.php(250): Nntp->doConnect()
#1 /var/www/newznab/www/lib/binaries.php(190): Binaries->scan(Object(Nntp), Array, 1094124622, 1094174622)
#2 /var/www/newznab/misc/update_scripts/update_binaries.php(16): Binaries->updateGroup(NULL, Array)
#3 {main}
  thrown in /var/www/newznab/www/lib/nntp.php on line 28

Ik heb 8 lijntjes voor SABnzbd ingesteld en heb er in totaal 20, dan moet dit toch geen probleem opleveren? Kan je ergens in Newznab instellen hoeveel lijntjes hij maximaal gebruikt? Heb nu het maximaal aantal threads op 5 gezet, kijken of dat beter wrekt.


Edit: En bij 5 threads ook nog gewoon dezelfde error, wtf? Komt dat door de crappy usenetprovider of is er een ander probleem?

staat deze usenetprovider het connecten via verschillende IP's wel toe?
Ik kan me voorstellen dat je draadjes niet op zijn, maar wel dat ze het niet toestaan dat 2 externe IP's op hetzelfde account tegelijkertijd bezig gaan (account sharing?)

[Tsurany]

Account sharing staan ze gewoon toe, maar deze connecties komen wel allemaal van hetzelfde externe IP adres.

[henwy]

Kan iemand mij wellicht vertellen wat deze melding inhoud?

code:

PHP Warning: unlink(/var/www/newznab/nzbfiles/tmpunrar/tmp1): Is a directory in /var/www/newznab/www/lib/postprocess.php on line 593

[Coenen]

@Tsurany, met 1 thread binaries update doen gaat ook fout? Kan je een andere newsprovider proberen?
Doe ook even een search in dit topic, het komt me bekend voor.

Weer een hoop nieuwe problemen zeg. Die van mij heeft vannacht goed z'n best gedaan. Op 3 van de 4 series heeft ie vooor me gedaan.

[Verwijderd]

Same here goed gewerkt .... alle series binnen die we volgen.

[eXisTa]

Wat gebeurt er wanneer een release op je usenet-provider door een DMCA takedown niet meer beschikbaar is. Wordt dan dan wel door de backfill van Newznab opgenomen als release?

[Oxize]

eXisTa schreef op zaterdag 02 februari 2013 @ 13:36:
Wat gebeurt er wanneer een release op je usenet-provider door een DMCA takedown niet meer beschikbaar is. Wordt dan dan wel door de backfill van Newznab opgenomen als release?

Ja, alleen is hij dan niet meer compleet.

[eXisTa]

Ik zag de vraag een paar keer voorbij komen. Wat is NZPre? Het is een dienst om releases die niet goed zijn te nuken en releases officiëel te maken.
De diensten zijn ergens binnen de diepe krochten van het wereldwijde web te vinden.

[Pistolebob]

Dus NZPre kan misschien http://predb.me/ gebruiken?

[Verwijderd]

Verwijderd schreef op vrijdag 01 februari 2013 @ 19:59:
Same here goed gewerkt .... alle series binnen die we volgen.

Daar heb ik dus wat problemen mee. Sickbeard heeft bij de searchproviders de newznab server staan en ook is de API key ingevuld. Maar het enige dat resulteert is lang zoeken.

[Verwijderd]

Verwijderd schreef op zondag 03 februari 2013 @ 13:17:
[...]

Daar heb ik dus wat problemen mee. Sickbeard heeft bij de searchproviders de newznab server staan en ook is de API key ingevuld. Maar het enige dat resulteert is lang zoeken.

Am1go begrijp ik eruit dat er niks word gevonden ?... Sickbeard heeft neiging om dingen (settings) te onthouden.
Heb zelf de newznab server toegevoegd en heb hem als eerste search provider gezet. Na het saven van de settings heb ik ook sickbeard herstart. In mijn search provider settings staat alleen een newznab server en een spotweb server aangevinkt.

[kmf]

Verwijderd schreef op zondag 03 februari 2013 @ 13:17:
[...]

Daar heb ik dus wat problemen mee. Sickbeard heeft bij de searchproviders de newznab server staan en ook is de API key ingevuld. Maar het enige dat resulteert is lang zoeken.

Bij normaal dagelijks spul zoekt sickbeard niks, deze leest dan gewoon de rss-feeds van newznab uit.
Check dus of die rss-feed werkt

Bij backlogs gaat sickbeard (en couchpotato) daadwerkelijk een zoekopdracht uitvoeren. Als je geen sphinx hebt kan dat vrij heftig zijn voor je database.

[Verwijderd]

Verwijderd schreef op zondag 03 februari 2013 @ 20:41:
[...]


Am1go begrijp ik eruit dat er niks word gevonden ?... Sickbeard heeft neiging om dingen (settings) te onthouden.
Heb zelf de newznab server toegevoegd en heb hem als eerste search provider gezet. Na het saven van de settings heb ik ook sickbeard herstart. In mijn search provider settings staat alleen een newznab server en een spotweb server aangevinkt.

Klopt hij vindt niets. Had de settings al veranderd, een herstart gedaan en zelfs een update.

kmf schreef op zondag 03 februari 2013 @ 21:29:
[...]


Bij normaal dagelijks spul zoekt sickbeard niks, deze leest dan gewoon de rss-feeds van newznab uit.
Check dus of die rss-feed werkt

Bij backlogs gaat sickbeard (en couchpotato) daadwerkelijk een zoekopdracht uitvoeren. Als je geen sphinx hebt kan dat vrij heftig zijn voor je database.

Heb je de rss url gebruikt als verwijzing naar de newznab server; dat heb ik nl niet gedaan.

[Tsurany]

screen sh newznab_screen.sh
Repair: + 2339428479-2339428561 (2 missing, 82 articles overhead)
Server did not return 2 article(s).
Repair: + 2339429282-2339429940 (2 missing, 658 articles overhead)
Server did not return 2 article(s).
Repair: + 2339430201-2339430357 (2 missing, 156 articles overhead)
Server did not return 2 article(s).
Repair: + 2339432173-2339432270 (2 missing, 97 articles overhead)
Server did not return 2 article(s).
Repair: + 2339433166-2339433789 (5 missing, 623 articles overhead)
Server did not return 5 article(s).
Repair: + 2339434060-2339434912 (8 missing, 852 articles overhead)
Server did not return 8 article(s).
Repair: + 2339435184-2339435964 (7 missing, 780 articles overhead)
Server did not return 7 article(s).
Repair: + 2339436299-2339436676 (3 missing, 377 articles overhead)
Server did not return 3 article(s).
Repair: + 2339437199-2339437371 (9 missing, 172 articles overhead)
Server did not return 9 article(s).
Repair: repaired 0.
Repair: cleaned 16 parts.
Group alt.binaries.hdtv.x264 has 31,044,215 new parts.
First: 1229543362 Last: 2370487142 Local last: 2339442927
Getting 500,001 parts (2339442928 to 2339942928) - 30,544,214 in queue

En dan helemaal niks meer, wtf? Heb het idee dat Newznab alleen maar problematisch draait en geen idee waarom...

[Oxize]

@Tsurany: partsrepair, parts, binaries table truncaten en alle groepen resetten in NN+ en je hebt er geen last meer van. Geen idee hoe je dit onder linux moet doen. Als het goed is kan je dat via de sql-query doen.

Ik had dezelfde meldingen zoals jouw, en nu al halve week geen last meer.

[Coenen]

@Tsurany; Mijn Newznab kan er soms ook lang over doen om parts te getten. En idd wat Oxize zegt. Heb ik vorige week ook gedaan (op aanraden van Oxize ) Ik heb nu nog wel wat repairs, maar minder als daarvoor. Plus je database wordt ook gelijk een stuk kleiner.

[[Deva]]

Veel geleerd en gelezen door het lurken hierzo.. Ik moet echter de handdoek in de ring gooien i.v.m. té trage hardware. Ik kan het gewoon niet bijbenen om alle groepen up to date te houden.

Hierbij bied ik dan ook mijn Newznab te koop aan.

Daarnaast de vraag of ik mee mag liften op iemand die de groepen wel up to date kan houden

[kmf]

Alle groepen volgen kan in pivesfeer niet echt lijkt me.

Maar... Verkopen

[Tsurany]

Het is gelukt, ben benieuwd of er nog problemen gaan optreden

[[Deva]]

kmf schreef op maandag 04 februari 2013 @ 19:56:
Alle groepen volgen kan in pivesfeer niet echt lijkt me.

Maar... Verkopen

Mjah, ik had alleen de "nodige" groepen voor Couch en Sickbeard. Maar dat zijn bij elkaar toch nog genoeg groepen.

Aangezien ik niets meer doe met mijn Newznab key, verkoop ik hem.

[Oxize]

[Deva] schreef op maandag 04 februari 2013 @ 19:38:
Veel geleerd en gelezen door het lurken hierzo.. Ik moet echter de handdoek in de ring gooien i.v.m. té trage hardware. Ik kan het gewoon niet bijbenen om alle groepen up to date te houden.

Hierbij bied ik dan ook mijn Newznab te koop aan.

Daarnaast de vraag of ik mee mag liften op iemand die de groepen wel up to date kan houden

Pm me maar. Heb maar 14 groepen.

a.b.blu-ray
a.b.console.ps3
a.b.cores
a.b.games.xbox360
a.b.hdtv
a.b.hdtv.x264
a.b.inner-sanctum
a.b.movies
a.b.mpeg.video.music
a.b.multimedia
a.b.multimedia.anime.highspeed
a.b.nl
a.b.teevee
a.b.x264

[[Deva]]

Welke groepen zijn nu daadwerkelijk echt belangrijk voor Couch/Headphones/Sickbeard? Ik kom overal weer verschillende tegen.

Als ik de lijst van 14 zo zie.. heb ik aardig wat meer erin staan

[SidewalkSuper]

a.b.etc is ook belangrijk, daar staan heel veel hernoemde in.

[ Voor 41% gewijzigd door SidewalkSuper op 04-02-2013 20:21 ]

[Oxize]

[Deva] schreef op maandag 04 februari 2013 @ 20:18:
Welke groepen zijn nu daadwerkelijk echt belangrijk voor Couch/Headphones/Sickbeard? Ik kom overal weer verschillende tegen.

Als ik de lijst van 14 zo zie.. heb ik aardig wat meer erin staan

Voor wat betreft (sickbeard) tv shows heb je aan hdtv,hdtv x264 en de nederlandse ab.nl genoeg.
Anime groepen voor alle anime series.

Voor couchpotato de standaard (movie,x264) movie groepen.

Je kan wel alle groepen activeren, maar dan heb je veel meer spamm, releases die al binnegehaald worden in voorgaande groepen.

Ik heb over die 14 groepen gekeken waar redelijk nieuw spul binnen kwam bij grote indexers. De groepen die ik heb, voldoen aan al mijn eisen en mijn 15+ users.

@sidewalk: a.b.etc: komt te weinig op binnen. hdtv en hdtx.x264 doen hetzelfde.

[SidewalkSuper]

@Oxize
Op a.b.etc komt juist heel veel binnen, alle shows die je op teevee mist, die zijn alleen hernoemd dus je moet wel de goede settings hebben om het eruit te halen.

[Oxize]

SidewalkSuper schreef op maandag 04 februari 2013 @ 20:32:
@Oxize
Op a.b.etc komt juist heel veel binnen, alle shows die je op teevee mist, dat is alleen hernoemd dus je moet wel de goede settings hebben om het eruit te halen.

Ja, en daar zijn we afhankelijk van regexes. Pak ik nzb.su (newznab) als voorbeeld, dan zijn er afgelopen dagen weinig releases daarop binnen gekomen.

Maargoed ik heb het hem aangeboden. Zijn genoeg anders gasten die met meer groepen draaien. Dan moet hij daar maar gaan kijken en een invite krijgen.

En 2de probleem is dat mensen constant hun releases een andere naam geven, waarop de regexes daarop weer moeten aangepast worden. Goeie regexes schrijven doe je niet zomaar even. Gaat heel veel tijd in zitten.

[ Voor 15% gewijzigd door Oxize op 04-02-2013 20:39 ]

[SidewalkSuper]

Afgelopen dagen idd relatief weinig releases, andere weken echter minstens 3-4 per dag die in geen andere groep zo snel als daar geupload werden.

Vandaag iig 4, waarvan 1 die nog nergens anders stond

[ Voor 17% gewijzigd door SidewalkSuper op 04-02-2013 20:53 ]

[Tsurany]

Ik begin het helemaal zat te worden. Ding blijft constant hangen, gebeurt niks meer en er is zo enorm weinig te troubleshooten. Er is ook amper CPU usage maar het proces is niet afgelopen, wtf?

[kmf]

Doe eens show processlist in mysql enkijk of ie niet bezig is dingen in te voegen

[Verwijderd]

Verwijderd schreef op zondag 03 februari 2013 @ 21:50:
[...]

Klopt hij vindt niets. Had de settings al veranderd, een herstart gedaan en zelfs een update.


[...]

Heb je de rss url gebruikt als verwijzing naar de newznab server; dat heb ik nl niet gedaan.

Am1go nee gebuik gewoon ons domein dus geen rss feeds. wat zeg de log van sickbeard ?

[kmf]

Sickbeard gebruikt sowieso de RSS-feeds voor newznab-sites. Daar hoef je zelf niks voor in te stellen.



Alleen voor backlogs gaat ie ook op titel zoeken .

[SidewalkSuper]

Sinds kort is a.b.frogs ook heel belangrijk geworden

[KorneelB]

hmm.. beetje raar maar er was eerste een wijziging die je in postprocessing moest doen om te laten zien hoeveel rar files er nog gedownload moesten woredn voordat hij bij was, maar dat lijkt ineens niet meer te werken?

heeft iemand de nieuwe versie?
wil dus graag zien als hij "fetching rar files" gaat doen, hoeveel er nog unprocessed zijn.

[Oxize]

Tsurany schreef op maandag 04 februari 2013 @ 22:59:
Ik begin het helemaal zat te worden. Ding blijft constant hangen, gebeurt niks meer en er is zo enorm weinig te troubleshooten. Er is ook amper CPU usage maar het proces is niet afgelopen, wtf?

Toevallig een Hdnectar.com release voorbij zien komen? Een of andere grappemaker heeft een release van 400-500GB op usenet geplaatst, waardoor heel wat newznab indexers onderuit vliegen (de mijnes niet )

Update release script blijft daar dan op hangen.

Je moet dan in je newznab zoeken naar de hdnectar.com release. Eenmaal gevonden (waarschijnlijk in releaese table) kan je deze verwijderen. Daarna een keer optimize database draaien, en het draait weer vrolijk door.

Laat we het hopen dat dit het is, zo niet, kom dan even op de chat van newznab, dan helpen we je daar wel verder.

[Verwijderd]

Verwijderd schreef op dinsdag 05 februari 2013 @ 09:45:
[...]


Am1go nee gebuik gewoon ons domein dus geen rss feeds. wat zeg de log van sickbeard ?

Heb het problem gevonden. Newznab is nog niet echt gevuld (mijn server heet Twirl) en ik heb usenet-crawler toegevoegd maar ben nog geen bff en heb dus denk ik geen volledige search toegang.

Feb-05 17:24:52 ERROR SEARCHQUEUE-RSS-SEARCH :: Error loading Usenet Crawler URL: http://usenet-crawler.com...=tvsearch&cat=5040%2C5030

---

Feb-05 18:24:36 INFO SEARCHQUEUE-RSS-SEARCH :: No needed episodes found on the RSS feeds
Feb-05 18:24:30 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Sick Beard Index cache and updating with new information
Feb-05 18:24:22 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Usenet Crawler cache and updating with new information
Feb-05 18:24:16 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Twirl cache and updating with new information
Feb-05 18:24:15 INFO SEARCHQUEUE-RSS-SEARCH :: Searching all providers for any needed episodes
Feb-05 18:24:15 INFO SEARCHQUEUE-RSS-SEARCH :: Beginning search for new episodes on RSS
Feb-05 18:24:15 INFO SEARCHQUEUE-RSS-SEARCH :: Changing all old missing episodes to status WANTED
Feb-05 18:23:20 ERROR SEARCHQUEUE-BACKLOG-265283 :: Error loading Sick Beard Index URL: http://lolo.sickbeard.com...axage=500&cat=5030%2C5040
Feb-05 18:23:20 WARNING SEARCHQUEUE-BACKLOG-265283 :: URL error [Errno 110] Connection timed out while loading URL http://lolo.sickbeard.com...axage=500&cat=5030%2C5040
Feb-05 18:22:57 INFO CHECKVERSION :: No scene exceptions update needed
Feb-05 18:22:56 INFO SEARCHQUEUE-BACKLOG-265283 :: Searching for stuff we need from Salamander season 1
Feb-05 18:22:55 INFO BACKLOG :: Seeing if we need any episodes from Salamander season 1
Feb-05 18:22:55 INFO BACKLOG :: Seeing if we need any episodes from Packed to the Rafters season 5
Feb-05 18:22:55 INFO CHECKVERSION :: Check scene exceptions update
Feb-05 18:22:55 INFO CHECKVERSION :: Version checking is disabled, not checking for the newest version
Feb-05 18:22:55 INFO BACKLOG :: Running limited backlog on recently missed episodes only
Feb-05 17:25:08 INFO SEARCHQUEUE-RSS-SEARCH :: No needed episodes found on the RSS feeds
Feb-05 17:25:02 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Sick Beard Index cache and updating with new information
Feb-05 17:24:52 ERROR SEARCHQUEUE-RSS-SEARCH :: Error loading Usenet Crawler URL: http://usenet-crawler.com...=tvsearch&cat=5040%2C5030
Feb-05 17:24:52 WARNING SEARCHQUEUE-RSS-SEARCH :: Timed out while loading URL http://usenet-crawler.com...=tvsearch&cat=5040%2C5030
Feb-05 17:24:16 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Twirl cache and updating with new information
Feb-05 17:24:16 INFO SEARCHQUEUE-RSS-SEARCH :: Searching all providers for any needed episodes
Feb-05 17:24:16 INFO SEARCHQUEUE-RSS-SEARCH :: Beginning search for new episodes on RSS
Feb-05 17:24:16 INFO SEARCHQUEUE-RSS-SEARCH :: Changing all old missing episodes to status WANTED
Feb-05 16:24:48 INFO SEARCHQUEUE-RSS-SEARCH :: No needed episodes found on the RSS feeds
Feb-05 16:24:41 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Sick Beard Index cache and updating with new information
Feb-05 16:24:22 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Usenet Crawler cache and updating with new information

[Tsurany]

Niet voorbij zien komen, welke groep zou dat zijn en hoe oud issie?

In ieder geval lijkt het nu allemaal wel te lopen, aantal parts per keer omlaag gehaald naar 20.000, dat scheelt toch een stuk heb ik het vermoeden. Bottleneck is op dit moment CPU, maar als ik dit gewoon voor een groep of 7 goed en betrouwbaar kan laten draaien is een server upgrade te overdenken. Zolang de tijd om te updaten maar minder is dan de periode die hij moet updaten. Als ik in een dag tot 3 dagen terug kan updaten zal hij uiteindelijk gewoon bij kunnen blijven

[Coenen]

SidewalkSuper schreef op dinsdag 05 februari 2013 @ 16:11:
Sinds kort is a.b.frogs ook heel belangrijk geworden

Ik wou het net gaan roepen. Vanochtend zag ik dat daar ook series gepost werden. Ik heb hem vanochtend toegevoegd, maar ik heb nog geen releases.

Was hier niet iemand met RSS problemen? Ik zie net dat er een SVN update is:

code:

Rev 2747 -- baffi theme including wrong variable names for RSS.maandag 4 februari 2013 12:51

[ Voor 22% gewijzigd door Coenen op 05-02-2013 21:34 ]

[Delsin]

@Coenen: als je nog geen releases hebt. Welke regexes heb je dan toegevoed voor frogs?
Ik heb die van alt.binaries.tv gecopieerd en heb met de eerste run van 50.000 parts al 45 complete releases.

Als je regexes via sql wilt copieeren kan dat bijv. met zo'n soort query:

insert into releaseregex (groupname, regex, ordinal, status, description, "categoryID")
select 'alt.binaries.frogs', regex, ordinal, status, description, "categoryID"
from releaseregex where groupname = 'alt.binaries.tv'

(postgresql, misschien even met de quotes rommelen voor andere databases)

[Delsin]

Coenen schreef op dinsdag 05 februari 2013 @ 19:22:
[...]

Was hier niet iemand met RSS problemen? Ik zie net dat er een SVN update is:

code:

Rev 2747 -- baffi theme including wrong variable names for RSS.maandag 4 februari 2013 12:51

Bij mij werkte die update niet. De rss verwijzingen in de rssdesc.tpl stonden allemaal in hoofdletters.
Terwijl de index page kleine letters verwacht.

Ik heb ze zelf even aangepast tot de volgende update, rss werkt dan:
In update:
<code><a href="{$smarty.const.WWW_TOP}/RSS?t=0&dl=1&i={$userdata.ID}&r=
Aangepast:
<code><a href="{$smarty.const.WWW_TOP}/rss?t=0&dl=1&i={$userdata.ID}&r=

[Elect]

Oxize schreef op dinsdag 05 februari 2013 @ 18:21:
[...]


Toevallig een Hdnectar.com release voorbij zien komen? Een of andere grappemaker heeft een release van 400-500GB op usenet geplaatst, waardoor heel wat newznab indexers onderuit vliegen (de mijnes niet )

Update release script blijft daar dan op hangen.

Je moet dan in je newznab zoeken naar de hdnectar.com release. Eenmaal gevonden (waarschijnlijk in releaese table) kan je deze verwijderen. Daarna een keer optimize database draaien, en het draait weer vrolijk door.

Laat we het hopen dat dit het is, zo niet, kom dan even op de chat van newznab, dan helpen we je daar wel verder.

Die van mij wel, maar als je in PHP.ini instelt dat hij 512 MB geheugen mag gebruiken is het in orde

[Tsurany]

Mijne staat op -1, leek me het meest praktisch, dan gebruikt hij de maximale 1GB die de VM gekregen heeft

Edit: Toch de hdnectar.com release voorbij zien komen, deze verwijderd (gewoon vanuit de webinterface, dat werd bedoeld toch?) en optimise_db.php gedraaid. Benieuwd of het nu beter gaat, hij was vannacht toch gecrasht.

[ Voor 50% gewijzigd door Tsurany op 06-02-2013 09:37 ]

[Verwijderd]

Verwijderd schreef op dinsdag 05 februari 2013 @ 18:58:
[...]


Heb het problem gevonden. Newznab is nog niet echt gevuld (mijn server heet Twirl) en ik heb usenet-crawler toegevoegd maar ben nog geen bff en heb dus denk ik geen volledige search toegang.

Feb-05 17:24:52 ERROR SEARCHQUEUE-RSS-SEARCH :: Error loading Usenet Crawler URL: http://usenet-crawler.com...=tvsearch&cat=5040%2C5030

---

Feb-05 18:24:36 INFO SEARCHQUEUE-RSS-SEARCH :: No needed episodes found on the RSS feeds
Feb-05 18:24:30 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Sick Beard Index cache and updating with new information
Feb-05 18:24:22 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Usenet Crawler cache and updating with new information
Feb-05 18:24:16 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Twirl cache and updating with new information
Feb-05 18:24:15 INFO SEARCHQUEUE-RSS-SEARCH :: Searching all providers for any needed episodes
Feb-05 18:24:15 INFO SEARCHQUEUE-RSS-SEARCH :: Beginning search for new episodes on RSS
Feb-05 18:24:15 INFO SEARCHQUEUE-RSS-SEARCH :: Changing all old missing episodes to status WANTED
Feb-05 18:23:20 ERROR SEARCHQUEUE-BACKLOG-265283 :: Error loading Sick Beard Index URL: http://lolo.sickbeard.com...axage=500&cat=5030%2C5040
Feb-05 18:23:20 WARNING SEARCHQUEUE-BACKLOG-265283 :: URL error [Errno 110] Connection timed out while loading URL http://lolo.sickbeard.com...axage=500&cat=5030%2C5040
Feb-05 18:22:57 INFO CHECKVERSION :: No scene exceptions update needed
Feb-05 18:22:56 INFO SEARCHQUEUE-BACKLOG-265283 :: Searching for stuff we need from Salamander season 1
Feb-05 18:22:55 INFO BACKLOG :: Seeing if we need any episodes from Salamander season 1
Feb-05 18:22:55 INFO BACKLOG :: Seeing if we need any episodes from Packed to the Rafters season 5
Feb-05 18:22:55 INFO CHECKVERSION :: Check scene exceptions update
Feb-05 18:22:55 INFO CHECKVERSION :: Version checking is disabled, not checking for the newest version
Feb-05 18:22:55 INFO BACKLOG :: Running limited backlog on recently missed episodes only
Feb-05 17:25:08 INFO SEARCHQUEUE-RSS-SEARCH :: No needed episodes found on the RSS feeds
Feb-05 17:25:02 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Sick Beard Index cache and updating with new information
Feb-05 17:24:52 ERROR SEARCHQUEUE-RSS-SEARCH :: Error loading Usenet Crawler URL: http://usenet-crawler.com...=tvsearch&cat=5040%2C5030
Feb-05 17:24:52 WARNING SEARCHQUEUE-RSS-SEARCH :: Timed out while loading URL http://usenet-crawler.com...=tvsearch&cat=5040%2C5030
Feb-05 17:24:16 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Twirl cache and updating with new information
Feb-05 17:24:16 INFO SEARCHQUEUE-RSS-SEARCH :: Searching all providers for any needed episodes
Feb-05 17:24:16 INFO SEARCHQUEUE-RSS-SEARCH :: Beginning search for new episodes on RSS
Feb-05 17:24:16 INFO SEARCHQUEUE-RSS-SEARCH :: Changing all old missing episodes to status WANTED
Feb-05 16:24:48 INFO SEARCHQUEUE-RSS-SEARCH :: No needed episodes found on the RSS feeds
Feb-05 16:24:41 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Sick Beard Index cache and updating with new information
Feb-05 16:24:22 INFO SEARCHQUEUE-RSS-SEARCH :: Clearing Usenet Crawler cache and updating with new information

Lukt het nu ?

[Buzzie]

Delsin schreef op dinsdag 05 februari 2013 @ 21:46:
@Coenen: als je nog geen releases hebt. Welke regexes heb je dan toegevoed voor frogs?
Ik heb die van alt.binaries.tv gecopieerd en heb met de eerste run van 50.000 parts al 45 complete releases.

Als je regexes via sql wilt copieeren kan dat bijv. met zo'n soort query:

insert into releaseregex (groupname, regex, ordinal, status, description, "categoryID")
select 'alt.binaries.frogs', regex, ordinal, status, description, "categoryID"
from releaseregex where groupname = 'alt.binaries.tv'

(postgresql, misschien even met de quotes rommelen voor andere databases)

Krijg helaas een foutmelding

#1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '"categoryID") select 'alt.binaries.frogs', regex, ordinal, status, description,' at line 1

PHPMyAdmin met MySQL overigens

[Coenen]

Delsin schreef op dinsdag 05 februari 2013 @ 21:46:
@Coenen: als je nog geen releases hebt. Welke regexes heb je dan toegevoed voor frogs?
Ik heb die van alt.binaries.tv gecopieerd en heb met de eerste run van 50.000 parts al 45 complete releases.

Als je regexes via sql wilt copieeren kan dat bijv. met zo'n soort query:

insert into releaseregex (groupname, regex, ordinal, status, description, "categoryID")
select 'alt.binaries.frogs', regex, ordinal, status, description, "categoryID"
from releaseregex where groupname = 'alt.binaries.tv'

(postgresql, misschien even met de quotes rommelen voor andere databases)

Ik heb (nog) geen regexes toegevoegd, dit heb ik tot nu toe nog nooit gedaan. Ik dacht even, dat doe ik wel met de hand..... dat valt even tegen, het zijn er meer dan ik dacht.

Zo'n query uitvoeren heb bv ook nog nooit gedaan....

[Mr. Happy]

Buzzie schreef op woensdag 06 februari 2013 @ 11:04:
[...]


Krijg helaas een foutmelding

#1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '"categoryID") select 'alt.binaries.frogs', regex, ordinal, status, description,' at line 1

PHPMyAdmin met MySQL overigens

haal de "" weg bij categoryID en het werkt...

[Buzzie]

Mr. Happy schreef op woensdag 06 februari 2013 @ 12:02:
[...]

haal de "" weg bij categoryID en het werkt...

Thanks !!

[Verwijderd]

Verwijderd schreef op dinsdag 05 februari 2013 @ 18:58:
[...]
(..)

Ik zou je post even aanpassen, je API staat erin

Delsin schreef op dinsdag 05 februari 2013 @ 21:54:
[...]


Bij mij werkte die update niet. De rss verwijzingen in de rssdesc.tpl stonden allemaal in hoofdletters.
Terwijl de index page kleine letters verwacht.

Ik heb ze zelf even aangepast tot de volgende update, rss werkt dan:
In update:
<code><a href="{$smarty.const.WWW_TOP}/RSS?t=0&dl=1&i={$userdata.ID}&r=
Aangepast:
<code><a href="{$smarty.const.WWW_TOP}/rss?t=0&dl=1&i={$userdata.ID}&r=

Verwijder je cache (/db/cache/*).

Buiten dat, bedankt voor de frogs groep! Ik zie dat sy nog niet mijn correctie in update_parsing heeft doorgevoerd maar dat komt omdat ik tegen wat problemen ook ben aangelopen. Nu nog de fix vinden..

Voor de nerds onder ons:
Het probleem:
Hij indexeert het rar archief en slaat hier 5 files van op in de database (deze worden weergegeven op je website) het enige is, dit is random. Nu mis je dus behoorlijk vaak de echt movie of serie file (.mkv). Als hij deze niet heeft werkt mijn update_parsing methode niet, dit moet ergens aangepast worden. Geen idee waar alleen nog.

Verder snap ik echt neit waarom iedereen zoveel problemen heeft met de regexen, alle regexen in NN+ zijn tot nu toe perfect. Ik heb er laatst een stel getest en deze creeern of wel incomplete releases of gewoon weg fake releases.

Je moet je focussen op de parsing

[ Voor 37% gewijzigd door Verwijderd op 06-02-2013 13:22 ]

[Coenen]

Mij is het ook gelukt, ik heb er alleen nu een stuk of 8 regexen dubbel. Voor mij moest er nog even een ; achteraan om het command line te kunnen doen.

Alleen nu het volgende, stopt het dan nooit? Ik zag net het volgende:

code:

Updating: 15 groups - Using compression? Yes
Group 1 of 15
Processing alt.binaries.misc
Repair: supposed to repair 4731 parts.
Repair: + 886835504-888683559 (11 missing, 1848055 articles overhead)

Hierna kapt ie ermee, volgens mij door de te grote articles overhead. Is dit weer een keer:
TRUNCATE parts;
Truncate binaries;
En weer gaan? Ik heb de misc groep nu gedeactiveerd, ik zag dat er bv ook geen releases in zaten.

[Verwijderd]

Coenen schreef op woensdag 06 februari 2013 @ 13:18:
Mij is het ook gelukt, ik heb er alleen nu een stuk of 8 regexen dubbel. Voor mij moest er nog even een ; achteraan om het command line te kunnen doen.

Alleen nu het volgende, stopt het dan nooit? Ik zag net het volgende:

code:

Updating: 15 groups - Using compression? Yes
Group 1 of 15
Processing alt.binaries.misc
Repair: supposed to repair 4731 parts.
Repair: + 886835504-888683559 (11 missing, 1848055 articles overhead)

Hierna kapt ie ermee, volgens mij door de te grote articles overhead. Is dit weer een keer:
TRUNCATE parts;
Truncate binaries;
En weer gaan? Ik heb de misc groep nu gedeactiveerd, ik zag dat er bv ook geen releases in zaten.

Je group even resetten!
bijvoorbeeld:
update groups set backfill_target=0, first_record=0, first_record_postdate=null, last_record=0, last_record_postdate=null, last_updated=null

[Coenen]

Dat kan niet via de webinterface?

[Verwijderd]

Coenen schreef op woensdag 06 februari 2013 @ 13:23:
Dat kan niet via de webinterface?

Dat kan, ligt een beetje aan hoeveel vrijje tijd je hebt en hoeveel groups ik doe het liever in een batch aangezien het bij mij wel even kost om het handmatig te doen.

admin>groups en dan (mits baffi theme) res drukken (gele knop)