[Ervaringen] Newznab

[Buzzie]

Henkske schreef op zondag 03 maart 2013 @ 11:45:
@ Buzzie,

Bedankt voor je reactie. Ik zal es gaan kijken naar de misc_sorter.

Het update_parsing heb ik uiteraard aangepast:)

Ok mooi....maar nogmaals....als er een update is geweest bij NN en die heeft ook dat script aangepast....dan zul je hem weer zelf moeten aanpassen.

[Slurpgeit]

Of gewoon dit draaien na elke svn up (voor de linux users, dan):

sed -i 's/$echo = true;/$echo = false;/' /path/to/newznab/misc/testing/update_parsing.php

[ Voor 8% gewijzigd door Slurpgeit op 04-03-2013 00:34 ]

[lexi1986]

Ik heb mijn newznab eindelijk goed draaien maar krijg bij sommige groepen nog een error:

alt.binaries.boneless has invalid numbers. Have you set the backfill days amount?

Backfill days staat op 1

Als ik backfill_date.php en dan 10 dagen terug doe pakt hij hem ook niet krijg ik een zelfde error. Iemand enig idee?

[Coenen]

@Nivong; Wat doet de misc_sorter? Ligt eens een tipje van de sluier op.

[CyberJack]

Buzzie schreef op zaterdag 02 maart 2013 @ 22:03:
Daarnaast.....kijk ook even op de on officiele forum van newznab op newznabforums.com en zoek naar misc_sorter van ugo

Wat een "gevaarlijk" script (in ieder geval de misc_sorter2).
Je moet aanpassingen doen aan de queries welke onderaan in het script staan, anders worden bijvoorbeeld alle TV>HD releases kleiner dan 1.5GB omgezet naar TV>SD releases.

Ik heb de categorie TV>SD niet aan staan en na iedere update worden releases in deze categorie automatisch weggegooid. Als ik dit script gedraaid had zonder eerst goed te kijken wat het deed had ik een hoop releases zonder goede reden weggegooid.

[Tsurany]

Daarnaast, 20 minuten aan HD content kan prima minder dan 1,5GB zijn. Beetje vage criteria.

[Verwijderd]

Buzzie, ik weet niet waar jij leest dat newznabforums.com het officele forum is, voorzover ik weet wordt dit gerunt door users van de community.

Pas dus op met wat je hier vindt.

@coenen, ik heb geen misc_sorting script. Neem aan dat je die van het forum bedoeld, deze gebruik ik niet.

edit:
Net geregisteerd op het forum en het is meer een support forum dan dat er echt iets wordt gedaan. Klinkt misschien heel stom maar er zitten mensen tussen die dingen maken zonder dat ze ergens verstand van hebben...

[ Voor 61% gewijzigd door Verwijderd op 04-03-2013 15:00 ]

[kmf]

helaas geldt dat voor alles wat met newznab te maken heeft. Alles wat niet van de svn komt, is een mod, en dus puur op eigen risico.

Maar ik moet zeggen dat zo'n forum, ook al is het gerund door gebruikers, best goed is.
De chat vind ik het meest irritant om te gebruiken voor vragen e.d. Voor sommige knowledge dingen is een forum simpelweg beter.

[Buzzie]

Verwijderd schreef op maandag 04 maart 2013 @ 14:41:
Buzzie, ik weet niet waar jij leest dat newznabforums.com het officele forum is, voorzover ik weet wordt dit gerunt door users van de community.

Pas dus op met wat je hier vindt.

Nivong, ik heb nergens gezegd dat dit het officiele forum is.....dit is het inderdaad niet.
Ik denk dat je het woordje "on" niet hebt gelezen in mijn tekst

Overigens heb ik dit script draaien en moet zeggen dat ik er geen problemen mee heb....maar dat is inderdaad persoonlijk natuurlijk.

En inderdaad pas op met aanpassingen als je niet weet wat je doet.
Wel worden hier leuke dingen gepost die absoluut wel mooi zijn kwa aanpassingen en goede werkende regex die niet in NN zelf staan.

[Verwijderd]

Buzzie, excuses inderdaad over het woordje on gelezen correcte spelling is trouwens:
onofficiële vandaar waarschijnlijk.

[Coenen]

cyberjack77 schreef op maandag 04 maart 2013 @ 11:11:
[...]
Wat een "gevaarlijk" script (in ieder geval de misc_sorter2).
Je moet aanpassingen doen aan de queries welke onderaan in het script staan, anders worden bijvoorbeeld alle TV>HD releases kleiner dan 1.5GB omgezet naar TV>SD releases.

Dat klinkt niet als een script wat ik wil gebruiken.

[Verwijderd]

lexi1986 schreef op maandag 04 maart 2013 @ 00:45:
Ik heb mijn newznab eindelijk goed draaien maar krijg bij sommige groepen nog een error:

alt.binaries.boneless has invalid numbers. Have you set the backfill days amount?

Backfill days staat op 1

Als ik backfill_date.php en dan 10 dagen terug doe pakt hij hem ook niet krijg ik een zelfde error. Iemand enig idee?

Heb hetzelfde bij alt.binaries.nl. Ook nog geen idee om het op te lossen. Heb de groep al gepurged, deleted etc. Geen resultaat.

[lexi1986]

Verwijderd schreef op maandag 04 maart 2013 @ 20:50:
[...]

Heb hetzelfde bij alt.binaries.nl. Ook nog geen idee om het op te lossen. Heb de groep al gepurged, deleted etc. Geen resultaat.

Ook daar heb ik problemen inderdaad, ik snap er ook niks van. zelfde gedaan als wat jij hebt en binaries_update.php gedraaid maar niets helpt. Ik zou graag ook de boneless groep willen hebben omdat daar veel in gepost word.

Iemand enig idee?

[Buzzie]

alt.binaries.boneless wordt niet echt ondersteund door NewzNab omdat er ook heel veel rotzooi gepost wordt.
in dit geval ben je echt afhankelijk van regex voor die groep door derden.

[lexi1986]

Buzzie schreef op dinsdag 05 maart 2013 @ 09:55:
alt.binaries.boneless wordt niet echt ondersteund door NewzNab omdat er ook heel veel rotzooi gepost wordt.
in dit geval ben je echt afhankelijk van regex voor die groep door derden.

Ok thnx ga ik eens even zoeken of ik iets kan vinden.

[Coenen]

Henkske schreef op zaterdag 02 maart 2013 @ 21:35:
Veel TVSHOWS in de ETC map hebben een numerieke releasename terwijl de inhoud van de rars de juiste benaming heeft

Om nog even op die numerieke releases terug te komen. Ik sprak vandaag een Duitse ex-collega, die vertelde mij dat je voor die numerieke release hier moet zijn: http://ghost-of-usenet.org/
Dit zijn wel duitstalige releases, dus opzich niet zo interessant voor ons.

[Verwijderd]

Zo testen is klaar nieuwe update is live heren

[whitecrow]

Verwijderd schreef op dinsdag 12 maart 2013 @ 09:03:
Zo testen is klaar nieuwe update is live heren

Ziet er netjes uit

Nu opzoek naar public keys

[Coenen]

Als ik zo even snel kijk is het een flinke update. Public keys?

[Verwijderd]

Coenen schreef op dinsdag 12 maart 2013 @ 10:10:
Als ik zo even snel kijk is het een flinke update. Public keys?

Spotnab allows systems to share information based on discovery and approval of sources. With Spotnab you can fetch comments (and potentially other information) from other newznab sources and apply them to your own. Enabling Spotnab will cause a public and private key pair to be generated, and encrypted comments will be posted to usenet. Approve spotnab sources via the admin > view spotnab sources option.
Just enable all spotnab options and leave everything else alone, after a couple passes of update_releases you should see at least one source in view Spotnab sources, which you can enable if you want.

i.a.w. Auto-discover

just enable spotnab, and run update_releases it'll do the rest. don't fill stuff out

edit:
Als ik het goed zie zit nu eindelijk de QoQ fix erin, petje fix en de 3D fix erin die ik al maanden geleden gesubmit heb...!

edit2:
Mijn laatste weiziging is niet door gevoerd.
Verander:

code:

if (preg_match('/Q\-sbuSLN.*/i', $file, $matches4))

Naar:

code:

if (preg_match('/Q\-sbus.*/i', $file, $matches4))

[ Voor 15% gewijzigd door Verwijderd op 12-03-2013 14:55 ]

[kmf]

spotnab sources blijft lekker leeg (weer zo'n mooie update waarvan 1 men niet weet hoe het werkt, 2 hoe je het werkend moet krijgen, 3 nergens documentatie over bestaat)

edit: hard processSpotnab() aangeroepen zodat ie initieel start.

[ Voor 17% gewijzigd door kmf op 12-03-2013 16:19 ]

[Elect]

@Nivong
Waar wil je dat ik die wijziging doorvoer?

[Verwijderd]

kmf schreef op dinsdag 12 maart 2013 @ 16:08:
spotnab sources blijft lekker leeg (weer zo'n mooie update waarvan 1 men niet weet hoe het werkt, 2 hoe je het werkend moet krijgen, 3 nergens documentatie over bestaat)

edit: hard processSpotnab() aangeroepen zodat ie initieel start.

Indeed...... ze weten ons wel altijd weer gek te maken.....

[Verwijderd]

Verwijderd schreef op dinsdag 12 maart 2013 @ 14:46:
[...]

Spotnab allows systems to share information based on discovery and approval of sources. With Spotnab you can fetch comments (and potentially other information) from other newznab sources and apply them to your own. Enabling Spotnab will cause a public and private key pair to be generated, and encrypted comments will be posted to usenet. Approve spotnab sources via the admin > view spotnab sources option.
Just enable all spotnab options and leave everything else alone, after a couple passes of update_releases you should see at least one source in view Spotnab sources, which you can enable if you want.

i.a.w. Auto-discover

just enable spotnab, and run update_releases it'll do the rest. don't fill stuff out

edit:
Als ik het goed zie zit nu eindelijk de QoQ fix erin, petje fix en de 3D fix erin die ik al maanden geleden gesubmit heb...!

edit2:
Mijn laatste weiziging is niet door gevoerd.
Verander:

code:

if (preg_match('/Q\-sbuSLN.*/i', $file, $matches4))

Naar:

code:

if (preg_match('/Q\-sbus.*/i', $file, $matches4))

En hoe ga ik het enablen spotnab ? thanks in advance...

[Buzzie]

Verwijderd schreef op dinsdag 12 maart 2013 @ 18:30:
[...]

En hoe ga ik het enablen spotnab ? thanks in advance...

Via admin -> Edit Site
mocht je niet de standaard theme gebruiken dan eerst even naar deze schakelen.

[Coenen]

Morgen maar eens een update sessie houden.

[Verwijderd]

Elect schreef op dinsdag 12 maart 2013 @ 16:19:
@Nivong
Waar wil je dat ik die wijziging doorvoer?

Je update parsing uiteraard

[Coenen]

Zo, ik ben ook weer up to date. Eens kijken wat dat Spotnab gaat doen.

Je hoeft ook geen user name en email op te geven?

Echo in Update_Parsing moet toch ook weer naar False gezet worden?!
Moet ik verder nog dingen veranderen?

[ Voor 12% gewijzigd door Coenen op 13-03-2013 16:37 ]

[Buzzie]

Coenen schreef op woensdag 13 maart 2013 @ 16:30:
Zo, ik ben ook weer up to date. Eens kijken wat dat Spotnab gaat doen.

Je hoeft ook geen user name en email op te geven?

Echo in Update_Parsing moet toch ook weer naar False gezet worden?!
Moet ik verder nog dingen veranderen?

Update_Parsing hoefde ik niets aan te veranderen......was merged

[Delsin]

Coenen schreef op woensdag 13 maart 2013 @ 16:30:
Je hoeft ook geen user name en email op te geven?

Echo in Update_Parsing moet toch ook weer naar False gezet worden?!
Moet ik verder nog dingen veranderen?

Ben ook met spotnab aan het testen. Heb username en mail zo gelaten als in dat alpha script wat Nivong ooit aanwees. Loopt sinds gisteravond en heb nu net mijn eerste twee commentaren binnen (en 21 sources discovered). Op mijn test instantie heb ik mijn eigen commentaar echter nog niet terug gezien.

Qua aanpassen, alleen als bijv. baffi gebruikt moet je even zorgen dat die nieuwe spotnab setting ook in het menu opgenomen is. Anders kun je spotnab niet goed gebruiken:

Ik heb het zo opgenomen in \templates\baffi\views\admin\adminmenu.tpl:

code:

<ul class="navigator">
  <li class="active">SpotNab<span class="divider">/</span></li>
  <li><a href="{$smarty.const.WWW_TOP}/spotnab-list.php">View</a> <a style="padding:0;" href="{$smarty.const.WWW_TOP}/spotnab-edit.php?action=add">Add</a>
  </li>
</ul>

Verder heb ik met supernews nu ook de header compressie kunnen activeren. Werkt in elk geval wel, of het veel bandbreedte scheelt moet ik nog uitzoeken.

[Tsurany]

Afgelopen 24 uur geen nieuwe releases gekregen na de SVN update als ik op de Newznab site kijk. Wat kan er mis gegaan zijn? T proces loopt wel gewoon door.

[Coenen]

Ik heb nu 5 sources en nog geen commentaren. Username en email heb ik niet ingevuld, als het goed is werk ik nu annoniem.

[Delsin]

Coenen schreef op woensdag 13 maart 2013 @ 19:26:
Ik heb nu 5 sources en nog geen commentaren. Username en email heb ik niet ingevuld, als het goed is werk ik nu annoniem.

Heb je al wel testing/spotnab.php -g gestart? (5000 records per run).

Als je al je releases van gid's hebt voorzien kun je daarna eens een testing/spotnab.php -r geven om het laden van commentaren vanaf het begin te starten.

Zonder die -g doet het update process dit ook wel maar slechts in heel kleine blokjes. Dat gaat erg lang duren.

@Tsurany: Geen problemen gehad na de upgrade met releases maken.

Heb je de database patches al wel toegepast?

Of zijn er bij de svn update misschien conflicten opgetreden? Met een conflict in een php file zal dat script niet meer draaien. (Dit kan alleen als je zelf wijzigingen had gemaakt in php)
Check de svn status van de scripts directories eens. Wie weet wat je tegenkomt.

[Buzzie]

is het handig om spotnab.php -g regelmatig te doen of is 1x voldoende en doet hij dan altijd 5000 records per run?

[Delsin]

Net zo vaak draaien tot ie niets meer doet en je hele database is voorzien van gids.

Nieuwe releases daar zorgt het update process wel voor.

[Buzzie]

ok thanks

ga ik mijn script wel aanpassen dat hij dat om de 12 uur doet ofzo....net als optimize db en schedules van tv en bios

[Delsin]

Kun je het niet beter eenmalig een hele nacht laten lopen?
Update doet de nieuwe releases wel bij elke run.

Het process loopt al je nzb's langs en haalt daar een uniek id uit. Dat id moet in de database omdat het bij iedereen het zelfde is. Daarna zijn commentaren pas aan releases te linken. Eenmaal gevuld is het dus wel klaar.

Zelf moet ik nog +- 300k records. Heb de waarde van 5000 in spotnab gewijzigd en laat vanacht het script gewoon draaien tot ie klaar is.

[Tsurany]

Hoe kan ik de database update scripts draaien? En is er enig manier om achter te komen welke ik moet draaien? Geen idee wanneer ik hem geïnstalleerd heb en welke updates ik nu dus moet doen.

De developers van Newznab blinken absoluut niet uit in documentatie, valt erg tegen.

[Delsin]

Tsurany schreef op woensdag 13 maart 2013 @ 20:28:
Hoe kan ik de database update scripts draaien? En is er enig manier om achter te komen welke ik moet

Als je dat nog niet hebt gedaan het script "update_database_version.php" in de directory misc\update_scripts draaien. Het script zoekt zelf uit welke patches er nog moeten worden toegepast.

Je database patchlevel staat in je site tabel, deze zou nu op $Rev: 2800 $ moeten staan als je bij bent.

[Coenen]

Delsin schreef op woensdag 13 maart 2013 @ 20:02:
[...]

Heb je al wel testing/spotnab.php -g gestart? (5000 records per run).

Als je al je releases van gid's hebt voorzien kun je daarna eens een testing/spotnab.php -r geven om het laden van commentaren vanaf het begin te starten.

Zonder die -g doet het update process dit ook wel maar slechts in heel kleine blokjes. Dat gaat erg lang duren.

Ik heb nu een erg meer sources. Wel allemaal inactive.
Hmm, even niet handig, denk ik, namelijk twee keer het update proces gestart...
Kan ik ondertussen nog wel releases updaten?

[ Voor 60% gewijzigd door Coenen op 13-03-2013 21:26 ]

[Tsurany]

Ah thnx, hij doet het weer

Nu nog even uitvogelen of hij die gemiste dag automatisch binnen haalt of dat ik dit zelf moet laten doen.

[Delsin]

Coenen schreef op woensdag 13 maart 2013 @ 21:15:
[...]

Ik heb nu een erg meer sources. Wel allemaal inactive.
Hmm, even niet handig, denk ik, namelijk twee keer het update proces gestart...
Kan ik ondertussen nog wel releases updaten?

Bedoel je dat je het reguliere update process twee keer gestart hebt?

Dat is volgens mij niet goed,want dan beide de zelfde records binnenhalen en krijg je dubbelingen denk ik.

(Meerdere updates voor verschillende groepen kan natuurlijk wel naast elkaar).

[Coenen]

Ik had twee keer spotnab.php -g gestart.

Is dit erg:

code:

................................................................................
............................................................ 0 release(s) update
d
Spotnab : Discovery ...... 18074 record(s) back.........2013-03-13 21:22:28 ERRO
R - Failed Segment Fetch: /m8SbsFDetcRLVBStqgHLWOjBwvfQHT.01.1362198024@sample.c
om ...
................................................................................
............2013-03-13 21:22:36 ERROR - Failed Segment Fetch: /dA9uw04lpNFpafukQ
[e-mail] ...

[Delsin]

Tsurany schreef op woensdag 13 maart 2013 @ 21:16:
Ah thnx, hij doet het weer

Nu nog even uitvogelen of hij die gemiste dag automatisch binnen haalt of dat ik dit zelf moet laten doen.

Als je geen releases hebt gehad is er een redelijke kans dat het process weer doorgaat vanaf het tijdstip dat het mis ging. Is een beetje afhankelijk van welk script er niet heeft gewerkt sinds de svn update.

Ik zou de last update timestamp per groep eens even in de gaten houden en kijken hoeveel records per groep je nu er binnenkomen (het update process laat zien hoeveel records er nog in de queue zitten). Als je flinke hoeveelheden ziet loopt alles vanzelf al weer binnen.

[Delsin]

Coenen schreef op woensdag 13 maart 2013 @ 21:26:
Ik had twee keer spotnab.php -g gestart.

Is dit erg:

code:

................................................................................
............................................................ 0 release(s) update
d
Spotnab : Discovery ...... 18074 record(s) back.........2013-03-13 21:22:28 ERRO
R - Failed Segment Fetch: /m8SbsFDetcRLVBStqgHLWOjBwvfQHT.01.1362198024@sample.c
om ...
................................................................................
............2013-03-13 21:22:36 ERROR - Failed Segment Fetch: /dA9uw04lpNFpafukQ
[e-mail] ...

Ah, ik snap al wat je bedoelde (Ik dacht dat je het reguliere update process 2 keer had gestart)
Nee, dit is niet erg volgens mij, maar ook spotnab.php moet je niet meerdere keren tegelijk starten.

Als je dat toch doet gaan beide scripts de zelfde verzameling records updaten en dus ook de zelfde nzb's uitpakken. Dan kun je makkelijk zulke fouten zien. In het beste geval gaat het effectief alleen maar langzamer.

Het is toch maar een eenmalig process, laat er gewoon 1 een nachtje draaien.

[Coenen]

Het updaten van GID's met het spotnab.php script stopt toch na een x aantal updates? Dat gebeurd er tenminste bij mij als ik hem met -g draai..Ik draai hem nog een keer handmatig, dan ga ik weer releases etc doen. Aangezien ik vannacht m'n newznab weer up to date ndoig heb.

[Delsin]

Dat klopt, standaard 5000 per run. Maar op regel 286 van het script zou je het aantal even kunnen aanpassen. Dit staat er nu:

$spotnab->processGID(5000);

Even tellen hoeveel releases nog van een gid moeten worden voorzien:

select count(*) from releases where gid is null

En aanpassen naar bijv. zoiets:

$spotnab->processGID(330000);

De tijd zit vooral in het uitpakken en scannen van de nzb's. Je database heeft het er niet echt druk mee. Vandaar dat ik dit zo heb opgelost en rustig laat doordraaien.


Edit: gaat nog sneller dan ik dacht. Mijn script moest 330.000 records. Heb ik rond 8 gestart en is nu net klaar.

[ Voor 10% gewijzigd door Delsin op 13-03-2013 21:59 ]

[Coenen]

Ik heb vannacht m'n Newsnab gewoon laten draaien. Vanochtend nog even het spotnab.php script gedraait, maar die was zo klaar. Dus ik denk dat ik ook klaar ben.

Al m'n sources zijn inactive, dat lijkt me niet juist. Of is dat bij iedereen zo?

[ Voor 21% gewijzigd door Coenen op 14-03-2013 07:14 ]

[kmf]

Ik had geen zin om scripts aan te passen, dus heb ik maar dit gedaan voor een nachtje

code:

&&  php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g &&  php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g &&  php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g &&  php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g && php spotnab.php -g

[Delsin]

Coenen schreef op donderdag 14 maart 2013 @ 07:13:
Al m'n sources zijn inactive, dat lijkt me niet juist. Of is dat bij iedereen zo?

Je moet de sources actief maken voor ze wat gaan doen.

Bij mij werkt het ook nog niet helemaal lekker. De ene server heb ik commentaren.
Op de test server blijft alles op 0 (maar wel veel sources). Als ik daar zelf een commentaar post zie ik die op de ander server wel terug.

Lijkt iets te zijn met het decoderen van de berichten maar daar ben ik nog niet uit.

[Delsin]

Gevonden waarom de commentaren op 0 bleven ondanks veel dicovered sources.

De kolom releaseID in releasecomment stond in de mysql database op NOT NULL zonder default.
Het spotnab script vult deze kolom niet, want het gid is de nieuwe key.

Effect was dat de commenteren niet geinsert werden in de database.

Volgens het schema.sql is dit de standaard definitie:

code:

  `releaseID` INT(11) UNSIGNED NOT NULL,

Ik heb gezocht of ik een patch gemist heb, maar ik zie nergens een wijziging op deze kolom.

Met een alter heb ik het opgelost:

code:

ALTER TABLE releasecomment CHANGE `releaseID` `releaseID` INT(11) UNSIGNED  NULL DEFAULT NULL

Als je dus ziet dat je wel veel sources, 0 commentaren maar de lastupdated kolom is wel gevuld check dan de definitie van dit veld eens.


Mijn andere server had ik dit probleem niet. Hier had ik al met het oude script uit github gespeeld. In dat script stond deze definitie:

code:

ALTER TABLE `releasecomment` ADD  `sourceID` BIGINT UNSIGNED NOT NULL DEFAULT 0 AFTER  `ID` ;

Vandaar dat die wel commentaren opsloeg

Als iemand dit nog eens kan checken of het echt een bug is of dat ik iets gemist heb. Dan kunnen we het even als bugje melden.

[Coenen]

Ik zie in mijn schema.sql ook: "`releaseID` INT(11) UNSIGNED NOT NULL,"
Hoe of waar heb je die alter gedaan?

//edit: Is dit iets wat je op je database moet doen? Met bv de MySQL Command Line Client?


Ik heb veel sources, allemaal inactive, 0 comments, last broadcast, last update beide n/a.

code:

source description  current status  comments    last broadcast  last update     options
nntp-1234   inactive    0   n/a     n/a     edit delete
nntp-2345   inactive    0   n/a     n/a     edit delete
nntp-3456   inactive    0   n/a     n/a     edit delete

Ik denk wel dat dit een bug is.

[ Voor 9% gewijzigd door Coenen op 14-03-2013 20:05 ]

[Delsin]

Coenen schreef op donderdag 14 maart 2013 @ 19:55:
Ik zie in mijn schema.sql ook: "`releaseID` INT(11) UNSIGNED NOT NULL,"
Hoe of waar heb je die alter gedaan?

Ik heb veel sources, allemaal inactive, 0 comments, last broadcast, last update beide n/a.

code:

source description  current status  comments    last broadcast  last update     options
nntp-1234   inactive    0   n/a     n/a     edit delete
nntp-2345   inactive    0   n/a     n/a     edit delete
nntp-3456   inactive    0   n/a     n/a     edit delete

Ik denk wel dat dit een bug is.

Dat 'Alter table .. Change...' statement heb ik via een sql window rechtstreeks op de database uitgevoerd.
Heb je iets van Myphpadmin of Mysql workbench geinstalleerd? Dan kun je het sql statement zo uitvoeren.

De sources moet je wel active maken door een keer op "inactive" te klikken.

Met een simpel sql statement kun je ook direct alle sources op active zetten:

code:

update spotnabsources set active = 1 where active = 0

//edit: commandline kan ook.

code:

mysql newznab --user=newznabuser --password=moeilijkwachtwoord

ALTER TABLE releasecomment CHANGE `releaseID` `releaseID` INT(11) UNSIGNED  NULL DEFAULT NULL;

Puntcomma achter het statement zorgt voor het uitvoeren.

[ Voor 11% gewijzigd door Delsin op 14-03-2013 20:14 ]

[Coenen]

Ik had nog wat toegevoegd aan m'n vorige post:

//edit: Is dit iets wat je op je database moet doen? Met bv de MySQL Command Line Client?

Het antwoord daarop is dus ja.

M'n sources zijn nu active, wie bedenkt dat? Dat je op "inactive" moet of kan klikken?!
Ik laat hem nu eerst even een uurtje draaien, voor dat ik dat 'Alter table .. change ..." statement ga doen.
Eerst even kijken wat er gebeurd.

[Delsin]

Coenen schreef op donderdag 14 maart 2013 @ 20:17:
M'n sources zijn nu active, wie bedenkt dat? Dat je op "inactive" moet of kan klikken?!

Ik heb dat al omgedraaid in het script, default active. Straks -als er eg veel sources zijn- kun je denk ik wel een deel inactive zetten.

Heb je al wel spotnab -r uitgevoerd? Dan zie je bij de volgende update cycle al of het werkt. Anders moet je
wachten tot er weer een nieuw comment langskomt.

[bmaster001]

Kan je dat spotnab.php -g commando draaien terwijl ook de dagdagelijkse updatescripts draaien? Of zet ik die een paar uur stop tot het spotnab script overal de id's ingevuld heeft?

[djbarney]

bij mij verschijnen er na een kleine 24 uur draaien geen sources, krijg ook geen commentaren binnen dus..

ik heb spotnab -g nog draaien, die moet nog een kleine 800.000 releases afwerken voor die klaar is. Enig idee waarom ik geen sources zie?

[Coenen]

Ik heb net een spotnab -r gedaan. Helaas kom ik er net achter dat ik sinds gisteravond geen updates meer heb gedaan..... M'n bat file liep niet....dus ik heb een behoorlijke achterstand.

Gister kreeg ik beetje bij beetje sources, na een aantal keer spotnab -g en spotnab -r te doen.

Bij Edit site, Spotnab Settings alles op yes gezet?

Tijdens de normale updates wordt ook een spotnab update gedaan. Dus je doet ze dan dubbel.
Ik ben er gister niet helemaal uitgekomen of dit nu een probleem was. Dus ik heb de normale updates even gestopt en ben spotnab updates gaan doen. Dat duurde niet zo heel erg lang. Ik was dus alleen vergeten om m'n normale updates weer te starten....

[bmaster001]

Heb hier ook al wel eens iets dergelijks gehad... mijn newznab draait in een virtuele machine momenteel, en als m'n windows host 's nachts plots beslist van te herstarten omwille van updates, sja, dan start die VM niet automatisch natuurlijk :-/

[djbarney]

Coenen schreef op donderdag 14 maart 2013 @ 20:49:
Ik heb net een spotnab -r gedaan. Helaas kom ik er net achter dat ik sinds gisteravond geen updates meer heb gedaan..... M'n bat file liep niet....dus ik heb een behoorlijke achterstand.

Gister kreeg ik beetje bij beetje sources, na een aantal keer spotnab -g en spotnab -r te doen.

Bij Edit site, Spotnab Settings alles op yes gezet?

Tijdens de normale updates wordt ook een spotnab update gedaan. Dus je doet ze dan dubbel.
Ik ben er gister niet helemaal uitgekomen of dit nu een probleem was. Dus ik heb de normale updates even gestopt en ben spotnab updates gaan doen. Dat duurde niet zo heel erg lang. Ik was dus alleen vergeten om m'n normale updates weer te starten....

yes, alles staat aan, username / email ook maar ff ingevuld met random waardes, alleen de key velden zijn leeg, maar dat schijnt zo te horen.. wanneer ik spotnab.php -d doe vindt hij ook geen sources.. ik krijg dan alleen:

spotnab.php -d
Discovering... Spotnab : Discovery 0 new and 0 updated source(s).
Done

wat doet discovery bij jullie?

[bmaster001]

wat doet discovery bij jullie?

Ben er ook nog maar net mee aan 't prutsen, maar dit is wat hij momenteel zegt:

Discovering... Spotnab : Discovery ..+ 1 new and 2 updated source(s).
Done

[Coenen]

Ik heb username en email leeg gelaten.

[djbarney]

ik heb nog geen idee wat het was, apache reset zorgde er in mijn geval voor dat het werkte.. heb nu 58 new and 79 updated source(s). das n stuk beter

[Coenen]

Ik moet zo even die ALTER TABLE doen.

Ik heb een hoop sources, die nu active zijn, sommige hebben ook een datum bij last update staan, maar ik heb nog geen comments.

//edit, ik heb nu 1 comment.

[ Voor 11% gewijzigd door Coenen op 15-03-2013 08:09 ]

[Buzzie]

Kan iemand mij vertellen hoe ik via PHPMyAdmin kan zien of de database of table corrupt is?
via sql command ?

mijn update lijkt nu te hangen op 1 releases namelijk

Starting release update process (2013-03-15 09:36:46)
Using latest regex revision 2749
Stage 1 : Applying regex to binaries
Stage 2 : Marking binaries where all parts are available
Stage 3 : Creating releases from complete binaries
Stage 4 : Finished processing nfos
Stage 5 : Deleting releases less than 95 complete
Stage 5 : Post processing started
PostPrc : Performing additional post processing on last 1 releases ...1.
NfoProc : Complete 0 NFOs detected from 0 scanned NZB files.
PostPrc : Updating GID in releases table 0 release(s) updated
Spotnab : Discovery 0 new and 0 updated source(s).
Spotnab : 56 source(s)...
PostPrc : Deleting 0 audio previews older than 60 days
TVRage : Looking up 2 releases using local and web
TVRage : Didnt find bf1 The Block All Stars AU locally, checking web
TVRage : Didnt find bf1 The Block All Stars AU locally, checking web
PostPrc : Attempting to categorise 10 Other-Misc releases
Stage 6 : Aggregating Files
Stage 7 : Deleting unused binaries and parts
Stage 7 : Complete - 0 rows affected
Done : Added 0 releases

PostPrc : Continuing Processing 1 releases to go

dit doet hij namelijk al een paar uur

[Coenen]

Je kan dit proberen: mysqlcheck --all-databases -uroot -pJEPASSWORD -r
Je hebt 'update_database_version.php' gedaan? Na het updaten van je Newznab.

[Elect]

Delsin schreef op donderdag 14 maart 2013 @ 11:58:
Gevonden waarom de commentaren op 0 bleven ondanks veel dicovered sources.

De kolom releaseID in releasecomment stond in de mysql database op NOT NULL zonder default.
Het spotnab script vult deze kolom niet, want het gid is de nieuwe key.

Effect was dat de commenteren niet geinsert werden in de database.

Volgens het schema.sql is dit de standaard definitie:

code:

  `releaseID` INT(11) UNSIGNED NOT NULL,

Ik heb gezocht of ik een patch gemist heb, maar ik zie nergens een wijziging op deze kolom.

Met een alter heb ik het opgelost:

code:

ALTER TABLE releasecomment CHANGE `releaseID` `releaseID` INT(11) UNSIGNED  NULL DEFAULT NULL

Als je dus ziet dat je wel veel sources, 0 commentaren maar de lastupdated kolom is wel gevuld check dan de definitie van dit veld eens.


Mijn andere server had ik dit probleem niet. Hier had ik al met het oude script uit github gespeeld. In dat script stond deze definitie:

code:

ALTER TABLE `releasecomment` ADD  `sourceID` BIGINT UNSIGNED NOT NULL DEFAULT 0 AFTER  `ID` ;

Vandaar dat die wel commentaren opsloeg

Als iemand dit nog eens kan checken of het echt een bug is of dat ik iets gemist heb. Dan kunnen we het even als bugje melden.

Dit was voor mij de oplossing :-)

[Delsin]

Elect schreef op vrijdag 15 maart 2013 @ 10:54:
[...]
Dit was voor mij de oplossing :-)

Maar dit heeft niet te maken met hangen op releases. Dit is echt alleen voor commentaren inserten.
Is jou server niet gewoon een enorme release van bijv. hdnectar of zo aan het processen?

Als ik in de code kijk zou je met deze query eens even kunnen kijken met welke release jou update zo druk is:

code:

select r.ID, r.guid, r.name, c.disablepreview from releases r
left join category c on c.ID = r.categoryID
where 
(r.passwordstatus between 10 and -1) or 
(r.haspreview = -1 and c.disablepreview = 0) order by r.postdate desc

//edit: query was voor postgres. nu voor mysql

[ Voor 4% gewijzigd door Delsin op 15-03-2013 11:34 ]

[Buzzie]

Delsin schreef op vrijdag 15 maart 2013 @ 11:33:
[...]


Maar dit heeft niet te maken met hangen op releases. Dit is echt alleen voor commentaren inserten.
Is jou server niet gewoon een enorme release van bijv. hdnectar of zo aan het processen?

Als ik in de code kijk zou je met deze query eens even kunnen kijken met welke release jou update zo druk is:

code:

select r.ID, r.guid, r.name, c.disablepreview from releases r
left join category c on c.ID = r.categoryID
where 
(r.passwordstatus between 10 and -1) or 
(r.haspreview = -1 and c.disablepreview = 0) order by r.postdate desc

//edit: query was voor postgres. nu voor mysql

Thankss... die laat inderdaad een release zien.
hoe kan ik die nu verwijderen?
en zou dan alles weer door moeten lopen?

[Elect]

Ik heb geen problemen met de nieuwe versie en het processen van release. De enige keer dat hij bij mij bleef hangen op processing was als PHP te weinig geheugen toegewezen had gekregen...

[Coenen]

Kan je ergens zien wat je usernaam is? Of anders, wie is nntp-e007, die geeft mij veel comments.

[Delsin]

Van nntp-34eb komen er ook al ruim 300. Volgens mij is dit de gegenereerde naam die je bij site edit ook terugziet. Maar zonder dat de eigenaar van dat site bekend maakt wat zijn naampje is kom je er niet achter wat van welke server is.

[Delsin]

Buzzie schreef op vrijdag 15 maart 2013 @ 11:49:
[...]
Thankss... die laat inderdaad een release zien.
hoe kan ik die nu verwijderen?
en zou dan alles weer door moeten lopen?

Weet niet of het nog nodig is (was aan het werk), ik vermoed ook dat het bij de password check fout gaat en dat dit een heel grote release is (niet genoeg geheugen beschikbaar voor php of zo).

Als je weet welke release het is zou je die gewoon op naam kunnen zoeken en deleten.

Als je de release toch wilt behouden is het wat lastiger. Ik denk dat je dan in de database het haspreview veld en password status moet gaan manipuleren zodat het post process deze release beschouwd als afgehandeld.

[Buzzie]

Delsin schreef op vrijdag 15 maart 2013 @ 18:04:
[...]

Weet niet of het nog nodig is (was aan het werk), ik vermoed ook dat het bij de password check fout gaat en dat dit een heel grote release is (niet genoeg geheugen beschikbaar voor php of zo).

Als je weet welke release het is zou je die gewoon op naam kunnen zoeken en deleten.

Als je de release toch wilt behouden is het wat lastiger. Ik denk dat je dan in de database het haspreview veld en password status moet gaan manipuleren zodat het post process deze release beschouwd als afgehandeld.

geen idee of het door password check komt.
maar hoe kan ik die release vinden en hoe kan ik die verwijderen?? ik wil hem NIET houden in elk geval.

met die sql query vindt hij wel wat.....maar dan?

[Delsin]

Als je post process nog steeds hangt moet je met die query steeds de zelfde release zien.
In de query zit het name veld, als het goed is zou je daarmee de release gewoon via je newznab search moeten kunnen vinden en deleten.

[Buzzie]

Delsin schreef op vrijdag 15 maart 2013 @ 20:38:
Als je post process nog steeds hangt moet je met die query steeds de zelfde release zien.
In de query zit het name veld, als het goed is zou je daarmee de release gewoon via je newznab search moeten kunnen vinden en deleten.

Als ik de query inderdaad uitvoer dan vindt hij 1 release.
als ik daar de naam van pak "d0723a639c17fd45cad9b4b55ade5192" en deze bij raw search doe in NN dan vindt hij niets?

[Delsin]

Met raw search zoek je in de binaries die nog niet omgezet zijn in release. Dit is al een release die nog post processing nodig heeft. Deze zou je met de normale search moeten kunnen vinden.

Ik heb die release ook, is slechts 81MB groot en bevat wat mp3'tjes met black metal. Dit is geen mega release waar je post processing op zou mogen struikelen. Ik hoop dat dit echt je probleem release is.

[Buzzie]

ik heb de release gezocht op die naam in de database van phpmyadmin en stond bij releases.
heb hem daar verwijderd en gaat nu wel verder......dank je voor de hulp

[Delsin]

Elect schreef op vrijdag 15 maart 2013 @ 10:54:
[...]


Dit was voor mij de oplossing :-)

Nog even terugkomen op dit verhaal met niet nullable releaseID waardoor de commentaren tabel leeg blijft. Het lijkt er op dat wat ik gevonden heb niet het hele verhaal is.

Het blijkt dat wanneer een mysql database in strict mode draait (zoals mijn db bijv.) een query die niet aan alle condities voldoet faalt. De comments insert canceld dus op het niet invoegen van releaseID.

Voor databases die geen strict mode actief hebben insert het record gewoon. Dit geeft wel warning maar het veld releaseID zal met een 0 gevuld worden.

Thracky en l2g uit het irc kanaal hebben aangegeven dat de default value eigenlijk 0 zou moeten zijn.
Het klopt dus dat deze niet in het schema of de db updates zit, ze vertrouwen hier op gedrag van de database.

Qua workaround -mocht je je database in strict mode draaien- zou dit dus een betere oplossing zijn:

code:

-- Eerst de null velden op 0 zetten
update releasecomment set releaseID = 0 where releaseID is null;

-- Nu een NOT null en DEFAULT 0 op de kolom zetten
ALTER TABLE releasecomment CHANGE `releaseID` `releaseID` INT(11) UNSIGNED  NOT NULL DEFAULT 0;

Met dit commando kun je eventueel zien hoe je database ingesteld is:

code:

SELECT @@GLOBAL.sql_mode;

Ik ben nog iets geks op het spoor, maar dat moet nog bevestigd. Het lijkt er op dat het spotnab script commentaren mist omdat het de postdatum van het commentaar vergelijkt met de laatste check van de spotnabsource. Aangezien wij hier niet op utc leven kunnen we posts missen.

Ik heb een check in het spotnab script gewijzigd en dat geeft me een verviervoudiging van het totaal aantal commentaren in de database. Het leuke is dat je kunt controleren wat je mist door met een usernet programma de groep a.b.backup te headeren. Kijk naar de Poster adressen en je ziet zo wat commentaren zijn en welke je in de laatste minuten wel/niet hebt ontvangen.

Nog niets van bevestigd, maar voor wie zelf wil experimenteren, de check op regel 1303...
(wel een backup maken voordat je gaat rommelen hé )

Nog een laatste opmerking hierover. In a.b.backup worden ook binary posts geplaatst, als je een volledige reload wilt doen moet je ook even je FETCH_MAXIMUM_HEADERS verhogen anders krijg je niet alles meer binnen.

[whitecrow]

Delsin schreef op zondag 17 maart 2013 @ 21:58:
[...]
Nog even terugkomen op dit verhaal met niet nullable releaseID

Ik had al wel wat comments na het veranderen van NULL naar 0, maar ik zal de rest ook controleren, thanks.

[Coenen]

Ik heb ook een strict database, dus ik heb de nieuwe workaround uitgevoerd.
De check in het spotnab script is me nog niet gelukt. Mijn spotnab.php is maar 341 regels lang...

[_serial_]

Iemand deze meldingen ook in sphinx ?

error indexing NZB: sphinxql: syntax error, unexpected $undefined, expecting ',' or ')' near

[Delsin]

Coenen schreef op maandag 18 maart 2013 @ 11:46:
Ik heb ook een strict database, dus ik heb de nieuwe workaround uitgevoerd.
De check in het spotnab script is me nog niet gelukt. Mijn spotnab.php is maar 341 regels lang...

Dat is het andere spotnab script. Ik bedoel die in de lib directory.

[_serial_]

Iemand een idee waarom een release name zoals "d2XGA3oItnhpcVa0c25d5s09F6p7VxZp" niet naar een normale naam wordt gezet als de NFO wel de juiste info heeft ?

Het betreft een JBinUp post.
Ook de RAR file heeft de juiste naam.

Ik gebruik de update_parsing.php uit testing release.

[Coenen]

Delsin schreef op maandag 18 maart 2013 @ 14:53:
[...]

Dat is het andere spotnab script. Ik bedoel die in de lib directory.

Gevonden. Kan je ook aangeven wat je veranderd hebt? Het zal een correctie zijn op het verschil van 1 uur wat wij hebben met de UTC tijd. Maar hoe?

(Ik had het net zo goed gelijk kunnen vragen, maar wou het eerst zelf vinden/proberen, kan er helaas geen chocola van maken....)

[Delsin]

Coenen schreef op maandag 18 maart 2013 @ 16:23:
[...]

Gevonden. Kan je ook aangeven wat je veranderd hebt? Het zal een correctie zijn op het verschil van 1 uur wat wij hebben met de UTC tijd. Maar hoe?

(Ik had het net zo goed gelijk kunnen vragen, maar wou het eerst zelf vinden/proberen, kan er helaas geen chocola van maken....)

Ik heb uiteindelijk gewoon die check uitgeschakeld. Er lijkt me inderdaad een correctie nodig, maar ik zie ook commentaren met datums in het verleden die wel degelijk voor recente releases zijn. En die wil ik toch ook wel graag binnen krijgen.. Verderop zit nog een een mechanisme om dubbelingen te voorkomen dus je krijgt toch niets dubbel in je database.

[Delsin]

_serial_ schreef op maandag 18 maart 2013 @ 15:09:
Iemand een idee waarom een release name zoals "d2XGA3oItnhpcVa0c25d5s09F6p7VxZp" niet naar een normale naam wordt gezet als de NFO wel de juiste info heeft ?

Het betreft een JBinUp post.
Ook de RAR file heeft de juiste naam.

Ik gebruik de update_parsing.php uit testing release.

Waarom het update parsing script deze niet pakt is omdat de update_parsing voor het bepalen van een releaseaam gebaseerd is op een regex. Als je de bewuste nfo met deze regex matched:

([a-z0-9\ ]+)\.{1,}(\:|\[)(?P<name>.*)(\s{2}|\s{1})

Dan komt alles er uit behalve de title. Dit omdat tussen title en dubbelepunt geen punt voorkomt.
En net "title" is het belangrijkste matchings criterium.

Je kunt de regex wel gaan aanpassen, maar dat kun je eigenlijk niet doen op basis van 1 nfo. Er zijn veel verschillende notaties in omloop. Zou je een . achter de title en voor de : plaatsen matched deze nfo al beter. Update_parsing obv regexes in een database -net als release regexes- zou eigenlijk een beter idee zijn.


Qua filename komt er ook niets uit omdat de filename match naast de filename naar nog iets zoekt.
Een vast "release group format" of zaken als 1080, hdtv.x264 etc. Ook dit zit helaas niet in de filename.


Kortom, lang verhaal, maar met precies deze release schiet het update_parsing tekort.


Je search aanpassen zodat deze naast releasenaam ook op filename zoekt heeft bij mij veel beter geholpen dan te proberen dit update_parsing script perfect te krijgen.

[Coenen]

Ik heb nu een nachtje zonder de UTC tijd check gedraaid, maar ik heb niet het idee dat dit meer comments opgeleverd heeft. Ik heb er ook niet veel meer nodig, al m'n series zijn vannacht via mijn Newznab gevonden.

[Delsin]

Het zal op 1 nacht ook niet zo'n verschil maken. Je merkt het verschil heel direct wanneer je leeg begint want dan zie je aan de aantallen hoeveel je mist (factor vier).

Ik ga maar uit van de het idee dat elk commentaar wat gepost is na 'mijn' laatste check (lastarticle kolom in spotnabsources) voor mij een geldig commentaar is. Ongeacht de post datum die zo'n header dan zou hebben.

Als je wilt controleren (zeg maar de paranoia mode ) kun je a.b.backup headeren en de posts vergelijken met wat je in je database hebt (voor enabled sources). Zo kwam ik er ook achter dat ik commentaren miste.

[Coenen]

Paranoia ben ik niet, meer is wel beter.
Als al m'n series via m'n Newznab binnenkomen dan is het goed. Voor andere dingen kan ik nog de SuperSearch van Newsleecher gebruiken.

[Delsin]

Is er misschien iemand die enig idee heeft wat dit voor posts zijn?

code:

"131629[33/90] - "131629-2.38" yEnc"
"131629[34/90] - "131629-2.39" yEnc"
"131629[35/90] - "131629-2.4" yEnc"
"131629[37/90] - "131629-2.41" yEnc"
"131629[36/90] - "131629-2.40" yEnc"
"131629[38/90] - "131629-2.42" yEnc"
etc.

Kom ze regelmatig tegen in a.b.mom. Maar ik kan er kop noch staart aan vinden.
Af en toe zijn er wel par sets waarin je kunt zien wat hier in zou moeten zitten.
Ik neem aan het dat groepen van rar's zijn. Maar waar is het begin en hoe werkt die nummering?

Als het niets is kan ik ze wel blacklisten met deze regex:

\d{1,6}\[\d{0,4}\/\d{0,4}\]\ - \"\d{1,6}-\d{1}\.\d{1,2}\" yEnc

Scheelt dan in elk geval een boel headers binnenhalen.

[Coenen]

131629-0 lijkt een serie te zijn (s01e01), 1080p kwaliteit, in totaal bijna 4GB. Ik zie ook nog een 131629-1 en 131629-2 dat zullen andere afleveringen zijn.

[Delsin]

Het lijkt er inderdaad op dat 131629-n een release is.

Het is me gelukt om een bijhorende par te vinden en dan blijken het allemaal hernoemde rar's te zijn.
quickpar kan ze weer renamen, en er zit zelfs een info bij. Maar ook die heeft zo'n fijne naam.

Heb wel gezien dat 131629-2 "The Other Son (2012)" is. Maar ik mis nu nog 10 files.

Denk dat ik er toch maar eens releases van ga maken.

[Delsin]

Heb ze omgezet naar releases nn+ pakt zelf de nfo's er al tussenuit.

Deze is bijv. netjes als release toegevoegd en direct met de juiste releasenaam:

131412-0.0 = "Rise.Of.The.Footsoldier.bla bla"

Voor wie er wat aan heeft, heb deze regex er voor gemaakt:

code:

/^\d{1,6}\[(?P<parts>\d{1,3}\/\d{1,3})\] - \"(?P<name>.*)\.(\d{1,2}|rar|vol\d{1,4}\+\d{0,4}\.par2)\" yEnc/iSU

[Coenen]

Dan moet je wel a.b.mom indexen met NN. Is dit nu de groep waar alle films ingedumpt worden?
BTW, met SuperSearch van Newsleecher kon ik aan de hand van het nummer alles zo vinden. De files hebben geen .rar extensie maar je kan ze gewoon openen met winrar.
Ik zal hem van het weekend, of morgen, eens toevoegen.

//Edit, Ik heb a.b.mom toegevoegd, inclusief regex. Bij het checken van de regex zag wel dat er al een heleboel regexen zijn voor a.b.mom.

[ Voor 18% gewijzigd door Coenen op 22-03-2013 16:50 ]

[Verwijderd]

Sinds een paar dagen zie ik nzb's binnenkomen die 0,00MB, 100% zijn met data erin. Als ik ze download, dan krijg ik dus wel een download van bv 500 MB.
Ik heb al een svn update gedaan, zelfs de server herstart maar geen resultaat.

Iemand bekend met het problem?

[Coenen]

Het zegt mij niets.

[Delsin]

Even geteld in mijn database, ik heb ook geen 0MB releases.
Nog gekke errors in je php log misschien?

[Verwijderd]

ja, de beroemde 'compilation failed'.
Als ik in de testing map de fix_filesize.php draai dan worden alle 0MB's wel 'gevuld' maar ik heb op de groepen een minimum size staan dus in dit geval komt er geen release binnen
Heb nu de min. file size dus maar van de groepen gegooid.

[wauwwie]

Ik heb NN+ al enige tijd soepel draaien in mijn Server 2012 VM. Maar ik stoorde mij een beetje aan de bagger windows threaded script. Dus heb ik zelf wat gebrouwen in Powershell. Het werkt prima op mijn servertje.

De scripting bestaat uit twee delen, een main script (update_threaded.ps1) en een welke voor elke thread (run-newznabupdate.ps1) opgestart wordt. Ik start het script update_threaded.ps1 elke 15 min via de task scheduler en laat er 4 parallel draaien (aantal instelbaar). Laatste 5 regels ouptut van elke thread wordt in de eventlog geplaatst.

Ik heb van tevoren een nieuwe Eventlog en de bijbehorende sources per nieuwsgroep aangemaakt (vb: new-eventlog -logname "Newznab" -Source "alt.binaries.teevee").

Beide scripts staan in de newznab\misc\update_scripts\win_scripts folder

Update_threaded.ps1

code:

# Update binaries threaded
# Run this script from the task scheduler

$maxjobs = 3 # Number of concurrent jobs
$jobs = 0 # Starting value
$basefolder = "F:\IIS\newznab\misc\update_scripts" # Change to updatescripts folder

# Finding all groups which must be updated
# Change user and pass in command
$groups = invoke-command {E:\MySQL\bin\mysql.exe -uuser -ppassword -e "SELECT name FROM groups WHERE active = 1" -s -N newznab}

$action = "update_binaries.php"

foreach ( $group in $groups) {
    $jobs += 1
        
    # Start-Job jobs runs in a different userspace than the main script!!!
    # Starting the actual job
    
    # Setting argmumentlist for script. 
    $command = $basefolder, $action, $group
    $jobname = $group.replace("alt.binaries.","")
    start-job -name $jobname -ScriptBlock {F:\IIS\newznab\misc\update_scripts\win_scripts\run-newznabupdate.ps1 $args[0] $args[1] $args[2]} -ArgumentList $command

    while (((get-job | ? { $_.state -like "Running"}).count) -gt $maxjobs) {
        sleep -Milliseconds 200
        }
    $jobs = $i - 1
    
    cls
    Write-Host "Running jobs:`n"
    get-job | ? { $_.state -eq "Completed" } | remove-job
    get-job | sort id 

# Waiting for the remaining jobs to be completed since the last command was send to the jobs list
# Display the last running jobs until all jobs are completed.
# Just displaying this as a sort of console, If running as a task you could remove the display of the status
do {
    cls
    Write-Host "Waiting for remaining jobs to be completed:`n"
    get-job | ? { $_.state -eq "Completed" } | remove-job
    get-job | sort id
#   $currentjobs = get-job  | sort id 
#   foreach ($job in $currentjobs) {
#       $info = receive-job -id $job.id -keep
#       write-host $job.name -foregroundcolor green
#       $info[($info.length-5)..($info.length-1)]
#       }

    sleep -Milliseconds 200

    }

while ((@(get-job | ? { $_.state -like "Running"}).count) -gt 0)

# All is done

    cls
    Write-Host "`nRunning jobs: All groups updated`n" -ForegroundColor Green
    Write-Host "Starting updating of releases"
    
    # Mapping a new drive to the PHP folder. Just looks cool!
    new-PSDrive -Name php -PSProvider Filesystem -Root "C:\Program Files (x86)\PHP\v5.4" | out-null
    cd $basefolder
    $ur = & php:\php-newznab.exe F:\IIS\newznab\misc\update_scripts\update_releases.php
    
    $a = ($ur[($ur.count-15)..($ur.count)]) | out-string
    Write-EventLog -LogName "Newznab" -Source "UpdateReleases" -EntryType Information -EventId 1 -Message $a
        
    #Done
    exit

run-newznabupdate.ps1

code:

# function run-newznabupdate {
# Wrapper for PHP
# Copy-paste the php.exe and rename it to php-newznab.exe. Makes is easier to identify running process.

# Use following parameters for input
param([string]$basefolder,[string]$action, [string]$group)


# Mapping a new drive to the PHP folder. Just looks cool!
new-PSDrive -Name php -PSProvider Filesystem -Root "C:\Program Files (x86)\PHP\v5.4" | out-null

# Checking for correct ending, and if needed remove ending "\"
$basefolder = $basefolder.trimend("\")

# Base dir for the scripts, the scripts needs this
cd $basefolder
$actionc = $basefolder + "\" + $action

# Execute the command
$p = & php:\php-newznab.exe $actionc $group

#Write last results to the eventlog
$a = ($p[($p.count-5)..($p.count)]) | out-string
$g = $group.replace("alt.binaries.","a.b.")

# Still no good way to test if the source allready exist or not. Assuming it does exists.
#if ([system.diagnostics.eventlog]::SourceExists($g) -eq $false) { new-eventlog -logname "Newznab" -Source $g }
new-eventlog -logname "Newznab" -Source $g 
Write-EventLog -LogName "Newznab" -Source $g -EntryType Information -EventId 1 -Message $a