[Ervaringen] Newznab

[FutureCow]

Had verkeerde topic erbij gepakt. Hierbij dus nogmaals de vraag:

Ik heb een nieuwe server geïnstalleerd en wil graag de hele database van bijna een jaar overzetten van de oude naar de nieuwe server. Welke bestanden/database moet ik overzetten zodat newznab gewoon lekker doorgaat?

[tcviper]

Nvm, lekker handig dat je hier niet een reply kan deleten

[ Voor 195% gewijzigd door tcviper op 02-12-2013 12:42 ]

[KorneelB]

het klinkt alsof nzedb the way to go is.. ik heb momenteel een nn+ installatie draaien op een ubuntu server.
ik heb ook een nzedb installatie draaien op een tweede ubuntu server.. is het nu mogelijk om de hele boel te migreren vanaf server 1 naar server 2? dit omdat die nn+ installatie wel heel erg veel releases al heeft...

of zeggen jullie dom idee, nn+ is beter?

[kmf]

NN+ vind ik dus slechter dan nzedb. Ik was echter helemaal opnieuw begonnen omdat ik de releases van NN+ niet al te best vind.

Maar als je het toch wilt gaan doen: op nzedb's forum zijn er wat topics erover te vinden. De veiligstee lijkt me echter nog steeds: alle nzb exporteren en dan importeren in nzedb

[Oxize]

Spotnab discovery blijft op 0 staan. Vind geen sources. En nu?

Heb spotnab puur ingesteld om posts binnen te halen. Werkt het bij jullie wel?

[Coenen]

Ik heb voor Spotnab alles (3) op yes staan. Ik heb een hele zooi sources.
Bij sommige releases heb ik commentaar (posts).

[Oxize]

Staat bij mij allemaal aan, maar er komt niks binnen. Blijft allemaal op 0 staan. Geen discovery, geen sources. Niks nada. Hij vind gewoon niks.

[Coenen]

Geen idee, ik heb het lang geleden aangezet en verder niet naar de instellingen omgekeken. Je krijgt geen lijstje met sources die inactive zijn? Als je inactive zijn dan moet je nog even op inactive klikken dan gaan ze naar active. Dan gaat er wat gebeuren.

[Edd]

Heb je in het Edit Site gedeelte de Discovery voor Spotnab aangezet?

[Coenen]

Heeft iemands nog wel eens een SVN update gedaan? Ik heb het echt al tijden niet meer gedaan.
Dus ik loop behoorlijk achter.... M'n Newznab draait goed, opzich. Alleen heb ik vandaag even m'n database een trap gegeven. (truncate parts, partrepair en binaries) Het eea liep niet echt meer lekker.

[Rowdy.nl]

Jep, vandaag nog. Laatste revisie is 3172. (tenminste, voor de betaalde variant)

[Buzzie]

Coenen schreef op donderdag 27 maart 2014 @ 11:16:
Heeft iemands nog wel eens een SVN update gedaan? Ik heb het echt al tijden niet meer gedaan.
Dus ik loop behoorlijk achter.... M'n Newznab draait goed, opzich. Alleen heb ik vandaag even m'n database een trap gegeven. (truncate parts, partrepair en binaries) Het eea liep niet echt meer lekker.

gebeurd bij mij automatisch.....kijk er eigenlijk al heel lang niet meer naar omdat hij nog steeds prima werkt en ik het alleen voor mezelf en een paar vrienden gebruik en dan index ik alleen voor series.

versie 3176 nu overigens hier

[Coenen]

Ik ben net aan het updaten geweest. Helaas doet de webinterface het nu niet meer.
Voor de rest lijkt ie nog wel te werken.

De install pagina lijkt nog wel te werken. Er is nog hoop.

Inmiddels maar volledig opnieuw begonnen.....
Dus ook een nieuwe database. Dat is aan de ene kant wel jammer, aan de andere kant scheelt het een hoop repairs die om de een of andere reden nooit gerepaired werden.

Damn, er gaat toch het eea mis, deze link " http://localhost:8085/www/apihelp" doet het niet...
Of wel ik kan geen nieuwe API key genereren voor SickBeard.

Ik moest de 'web.config' file nog terug zetten, nu zou alles weer normaal moeten werken.

[ Voor 80% gewijzigd door Coenen op 29-03-2014 21:26 ]

[Buzzie]

Fijn dat alles weer werkt

[KorneelB]

hmm,sinds vanmorgen ineens vastgelopen..

creating releases from complete binairies.

en daar hangt hij al een uur op. optimise_database.php gedraait maar kom niet verder. iemand anders dit al gehad?

[Coenen]

Het komt mij niet bekend voor. Is rebooten een optie? Of draait ie alweer?

[Buzzie]

Nee mij ook niet. Draait bij mij al maanden als een zonnetje.
Maar ik gebruik hem dan ook maar voor 4 groepen

[Coenen]

Hmmm, m'n MySQL database is weer niet bereikbaar. Het lijkt ook steeds vaker te gebeuren.
Het is een kwestie de MySQL service starten. Als iemand een suggestie heeft, graag. Zo maar eens in de logs duiken.

[RickDB]

Coenen schreef op zondag 20 april 2014 @ 20:52:
Hmmm, m'n MySQL database is weer niet bereikbaar. Het lijkt ook steeds vaker te gebeuren.
Het is een kwestie de MySQL service starten. Als iemand een suggestie heeft, graag. Zo maar eens in de logs duiken.

Wat wel eens voorkomt is dat de PHP processen leken en je dus out of memory bent (staat dan in je syslog), als je innoDB gebruikt kan het ook zijn dat je log size te groot ingesteld staat.
Aangezien het na verloop van tijd gebeurt gok ik dus op een memory leak, de laatste stock versie is ook vrij beroerd (met spam/mismatches) en heb daardoor mijn eigen mod gemaakt op basis van NN-tmux ( https://github.com/DariusIII/newznab-tmux )

De NN-tmux mod zelf is zeer buggy en wordt niet onderhouden door een top programmeur (veel stomme fouten), dus als je deze gaat draaien altijd zorgen voor goede backups en code nalopen.

[Coenen]

@RickDB, het is begonnen na m'n update van Newznab nog niet zo lang geleden. Ik heb nog niet goed in detail kunnen kijken, maar het lijkt mis te gaan als er repair gedaan wordt. Uit m'n event viewer:

code:

Found 9 of 0 rows when repairing '.\newznab_01\partrepair'

For more

Zo heb ik nog 3 foutmeldingen.

Veder nog:

code:

Faulting application name: mysqld.exe, version: 0.0.0.0, time stamp: 0x504a572c
Faulting module name: mysqld.exe, version: 0.0.0.0, time stamp: 0x504a572c
Exception code: 0xc0000005
Fault offset: 0x00000000003379d6
Faulting process id: 0x2864
Faulting application start time: 0x01cf5ccb712f7bf3
Faulting application path: C:\Program Files\MySQL\MySQL Server 5.1\bin\mysqld.exe
Faulting module path: C:\Program Files\MySQL\MySQL Server 5.1\bin\mysqld.exe
Report Id: 9ff

Er is nu zo'n 5GB aan geheugen in gebruik en 2.8GB beschikbaar. Die 5GB is wat aan de hoge kant, maar opzich zou nu, net na een start van mySQL, er nog genoeg vrij moeten zijn.

Ik blijf nog wel even stock draaien. Als ie draait, draait ie goed, 9 van 10 series worden gevonden met mijn Newznab.

[ Voor 5% gewijzigd door Coenen op 22-04-2014 19:47 ]

[RickDB]

Wat je kan is dan doen is alles behalve binaries/parts/partsrepair converten naar innoDB dan weet je in ieder geval dat na zo'n crash je belangrijke data niet corrupt raakt.

Wat ik voorheen deed om de tabellen te binaries/parts tabellen te krimpen is een aantal keer update_releases.php los draaien om ervoor te zorgen dat alles erin zit en ge-postprocessed is en vervolgens bij mysql dan:

TRUNCATE `parts`;
TRUNCATE `partrepair`;
TRUNCATE `binaries`;

Dan zijn deze weer leeg en als die vervolgens dan nog steeds crashed kan je dit uitsluiten

[Coenen]

Hij draait nu al weer een paar dagen goed. Als ie weer onderuit gaat, ga die tabellen truncaten.

Net maar eens de truncate gedaan. Ik had heel veel parts repair.
Plus hij was nog een paar keer onderuit gegaan.

Er gaat weer wat nieuws mis:

NfoProc : Scanning hdQF5iNSMnW8Af0L9o - nfo missing.
NfoProc : Retrieval .....++ss
NfoProc : Complete 2 NFOs detected from 437 scanned NZB files.
Spotnab : 111 source(s)...
Spotnab : 1 source(s)...

Hier blijft ie dan op hangen. ik heb al even zitten zoeken hoe ik dat spotnab gebeuren kan uitzetten.
Maar dat is me nog niet gelukt.

Ik ben al een stapje veder met:

C:\inetpub\wwwroot\newznab\misc\testing>php.exe spotnab.php -r
Soft Reseting Spotnab... Done

[ Voor 94% gewijzigd door Coenen op 22-05-2014 21:10 . Reden: nieuw probleem, wat alweer opgelost lijkt. ]

[KorneelB]

goedemorgen;

tijd om maar weer eens wat leven hier in de brouwerij te brengen..

mijn newznab loopt prima, maar ik zie veel releases gewoon niet omdat ze dan gehashed zijn.
nzedb schijnt hier dus beter mee om te gaan, dus daar maar een servertje mee ingericht.
nu draai ik die met tmux, dus die script lopen, maar ik snap niet helemaal wat da tstatus scherm nu betekend?
heeft iemand daar een tutorial of uitleg voor?

nog tips voor nzedb?

[zeroday]

Iemand een tip om releases ouder dan 21 dagen te verwijderen uit de database?
ik werk met de tmux tool die alles processed

[KorneelB]

ligt d edevelopment voor newznab gewoon al een half jaar stil nu?

[Dacuuu]

zeroday schreef op vrijdag 24 oktober 2014 @ 08:18:
Iemand een tip om releases ouder dan 21 dagen te verwijderen uit de database?
ik werk met de tmux tool die alles processed

Met nzedb weet ik dit. NN weet ik het niet.

Edit: Nzedb: /misc/testing/release/delete_releases.php

[ Voor 9% gewijzigd door Dacuuu op 24-10-2014 12:28 ]

[zeroday]

Dacuuu schreef op vrijdag 24 oktober 2014 @ 10:25:
[...]


Met nzedb weet ik dit. NN weet ik het niet.

Edit: Nzedb: /misc/testing/release/delete_releases.php

thanks
dat ik daar moest zoeken wist ik .. maar daar staat de query niet ..
dus zelf even lopen te pielen

$sql = "SELECT ID FROM releases WHERE adddate < DATE_SUB( NOW( ) , INTERVAL 1 MONTH )";

vond ik wel een mooie ;-)

[zeroday]

zeroday schreef op zaterdag 25 oktober 2014 @ 08:10:
[...]


thanks
dat ik daar moest zoeken wist ik .. maar daar staat de query niet ..
dus zelf even lopen te pielen

$sql = "SELECT ID FROM releases WHERE adddate < DATE_SUB( NOW( ) , INTERVAL 1 MONTH )";

vond ik wel een mooie ;-)

Update .. en later kom je erachter dat je 1 kleine K instelling was vergeten zodat je script het zelf wel automatisch doet .. <zucht>

[Coenen]

Hier gaat weer iets niet helemaal lekker, al een tijdje loopt m'n Newznab niet zo lekker, ik heb al een keer wat tables gedumpt, maar nog steeds loopt ie niet fijn.

Gister zag ik dat MySQL rond de 10G aan temp files op m'n C schijf aan het maken was.
Dit was tijdens: "Stage 3 : Creating releases from complete binaries" Dus de temp folder voor MySQL naar D verplaatst. Hij mag 100GB aan temp files maken, ik had helaas niet iets minder beschikbaar. Na snel wat ruimte gemaakt te hebben, werd er verder niet meer ruimte gebruikt.
Hij is nu ongeveer 12 uur bezig met "Stage 3 : Creating releases from complete binaries" er wordt alleen maar gelezen van de tmp files, ik wacht het nog even af, maar ik ga, denk ik, toch maar eens afbreken.En de temp files weggooien.

Edit 12-11-2014, update,
Ik heb gisteravond m'n database maar gedumped. Na een nieuwe newznab install gedaan te hebben draait ie weer. Moest nog wel een nieuwe API key in Sickbeard invullen.

Edit 17-11-2-14,
Inmiddels loopt m'n Newznab weer lekker, het gros van de series wordt gevonden via mijn Newznab.
Ik heb nog wel een keer gehad dat MySQL er mee gestopt was.

[ Voor 19% gewijzigd door Coenen op 17-11-2014 08:09 ]

[Coenen]

Sinds vanochtend/vannacht kan ik geen NZB files meer downloaden vanaf m'n Newznab server. Sickbeard vind de NZB, geeft hem door aan SABnzdb, die geeft aan wait blabla en gaat verder niks downloaden. Ook handmatig werkt het niet. Ik heb nog geen idee waarom het misgaat. Van het weekend wel een hoop updates gedownload en geinstalleerd. Voor de rest niks veranderd.

Iemand enig idee? Ik ben aan het zoeken, maar ik vrees een moeilijke zoektocht.


Het is me gelukt om het te fixen, ik weet alleen niet precies wat het nu was.....
Ik heb een database repair gedaan en de locatie van de nzb opnieuw ingevuld. De tmprar folder veranderd en de website in IIS even opnieuw gestart. Nu lijkt hij weer te werken. Ben blij.

[ Voor 23% gewijzigd door Coenen op 20-12-2014 17:30 . Reden: probleem opgelost. ]

[KorneelB]

ik ben ondertussen wel klaar met newznab.. overgegaan naar nzedb.

loopt heel lekker, maar heb het gevoel dat ik iets mis qua optimalisatie..

draait op een bakje met 8 cores en 16 gig geheugen.. en is redelijk traag..

iemand die me kan helpen met optimalisatie?

[KorneelB]

ok, dan een subtiele kick

indien iemand kan helpen met optimaliseren.. fijn!

ik zit dus met een interessante situatie..
backfill staat uit maar heeft lang aangestaan.

Tmux zegt me nu, onder de monitoring pane;

in process : 3.273.566 misc and 1.709.554 TV ..
in database zitten ook al een 2 miljoen voor TV maar die 1.7 miljoen voor TV stijgt alleen maar.. langzaam aan..
is er een manier om dit sneller te laten verwerken?

[FREAKJAM]

Ik wil me ook eens wagen aan NzedB en ik vraag me af hoe groot gemiddeld een database kan worden. Ik lees dat in principe een database niet zo heel groot hoeft te worden (je dient hem zelf goed te onderhouden/optimizen).

Reden dat ik dit vraag:
Ik heb op dit moment een ESXi bak draaien (32GB ram met Xeon 1230v3 cpu).

Ik store op dit moment mijn virtual machines rechtstreeks op mijn SSD (datastore). Ik heb nog ~120GB vrij aan ruimte op deze SSD. Dit zou voldoende moeten zijn voor de VM + SQL db, maar ik kan hem eventueel mijn ZFS storage gebruiken om hier deze specifieke VM + dB op te slaan (ik draai 63xTB in een RAIDZ2 setup).

Wat raden jullie aan? De boel op SSD zetten of op mijn ZFS storage? Wanneer ik het ga opslaan op mijn ZFS storage is het namelijk van belang dat je de boel dan goed inricht en eigenlijk een SLOG dient te gebruiken, anders is de performance niet zo heel best. Ik ben een beetje bang dat de NZedB veel schrijfacties doet op een dag naar mijn SSD en dat zie ik ook niet zo zitten.

[ Voor 5% gewijzigd door FREAKJAM op 23-02-2015 19:47 ]

[Anoniem: 665387]

Hallo mensen,

Ben na ongeveer een jaar weer begonnen met een Ubuntu server met daarop Newznab+

Alles netjes geinstalleerd. De member key ingevuld. Krijg alleen geen releases toegevoegd. Zelfs als ik de groepen op 10 dagen backfill zet dan komen er nog geen releases tevoorschijn. Iemand een idee?

Heb Giganews en Easyusenet als newsproviders. Allebei hetzelfde verhaal.

Hoor graag van iemand.

[Anoniem: 665387]

De eerste 20 hebben mazzel.

-knip

[ Voor 25% gewijzigd door Anoniem: 665387 op 31-03-2015 07:45 ]

[Coenen]

M'n Newznab heeft weer kuren....
Nu krijg ik: Error Regex File Does Not Exist or Unable to Connect
Zou er bij Newznab wat aan de hand zijn?

[Coenen]

Sinds een paar weken kan ik bijna niks meer vinden met m'n Newznab server. Moet ik bepaalde (nieuwe) groepen toevoegen?