[Ervaringen] Newznab

[Coenen]

@Oxize, waren jou vragen al beantwoord?
Volgens mij moet je het als volgt zien, @all als ik fout heb laat het me weten:

Header Retention: Tijd dat headers bewaard worden om er releases (NZB files) van te maken. Als je deze op een hoog aantal dagen instelt kan je een tijd terug met het maken van releases, maar je database kan erg groot worden.

Release Retention: Tijd dat Releases bewaard worden. Ik ben van plan deze op bv 100 dagen te gaan zetten aangezien het opslaan van NZB's niet veel ruimte in beslag neemt. Plus je wilt uiteindelijk via je releases (NZB's) downloaden.

Minimal files to make an release: dit is een optie om te voorkomen dat Newznab te snel een release gaat maken. BV, een film zal uit meerdere rar files bestaan. Maar een spam bericht kan al uit 1 file bestaan.

Ik denk dat je in het begin een beetje zal moeten spelen met de diverse settings.
Maar begin rustig, ga niet gelijk de header retention op 100 dagen zetten of gelijk 20 groepen aanzetten.
Anders ben je de komende dagen alleen headers aan het downloaden. Terwijl je (waarschijnlijk) zo snel mogelijk de nieuwste uploads wilt gaan indexen.

Update; Ik heb de volgnde woorden aan m'n blacklist toegevoegd: 'German|GERMAN|Dubbed|DUBBED"
Ik zat even door m'n releases heen te bladeren en ik zag een beetje te veel Duits naar m'n zin. Ik had er nog niet bij stilgestaan dat de Blacklist wel een case sensitive zou kunnen zijn.

Ik zie nu trouwens ook meer van die Hashed releases. Alsof m'n Parse Update script niet meer lekker loopt.
Later nog eens naar kijken.

[ Voor 15% gewijzigd door Coenen op 31-12-2012 15:58 ]

[Verwijderd]

Om het iets simpler te maken:
Header Retention:
1.5 dagen (default) is de release na 1.5 dag nog niet compleet (eg uploaded). Niks mee doen en weggooien.

Release Retention:
Hoelang bewaar JIJ je releases

Minimal files to make an release
Duidelijker omschreven kan niet

Coenen schreef op maandag 31 december 2012 @ 14:27:
@Oxize, waren jou vragen al beantwoord?
Volgens mij moet je het als volgt zien, @all als ik fout heb laat het me weten:

Header Retention: Tijd dat headers bewaard worden om er releases (NZB files) van te maken. Als je deze op een hoog aantal dagen instelt kan je een tijd terug met het maken van releases, maar je database kan erg groot worden.

Release Retention: Tijd dat Releases bewaard worden. Ik ben van plan deze op bv 100 dagen te gaan zetten aangezien het opslaan van NZB's niet veel ruimte in beslag neemt. Plus je wilt uiteindelijk via je releases (NZB's) downloaden.

Minimal files to make an release: dit is een optie om te voorkomen dat Newznab te snel een release gaat maken. BV, een film zal uit meerdere rar files bestaan. Maar een spam bericht kan al uit 1 file bestaan.

Ik denk dat je in het begin een beetje zal moeten spelen met de diverse settings.
Maar begin rustig, ga niet gelijk de header retention op 100 dagen zetten of gelijk 20 groepen aanzetten.
Anders ben je de komende dagen alleen headers aan het downloaden. Terwijl je (waarschijnlijk) zo snel mogelijk de nieuwste uploads wilt gaan indexen.

Update; Ik heb de volgnde woorden aan m'n blacklist toegevoegd: 'German|GERMAN|Dubbed|DUBBED"
Ik zat even door m'n releases heen te bladeren en ik zag een beetje te veel Duits naar m'n zin. Ik had er nog niet bij stilgestaan dat de Blacklist wel een case sensitive zou kunnen zijn.

Ik zie nu trouwens ook meer van die Hashed releases. Alsof m'n Parse Update script niet meer lekker loopt.
Later nog eens naar kijken.

[kmf]

Nou, ik vind zelf "minimal files" eigenlijk een hele vage term.
Ik kan het als volgt interpreteren:

book.zip = 1 file
book_part01.rar, book_part02.rar = 1 file, want book
book_part01.rar, book_part02.rar = 2 files, want 2 parts.

Voor de veiligheid zal je dus altijd kiezen voor 1 file. Maar dan heb je dus ook alle kleine bestandjes als release.

[Verwijderd]

kmf schreef op maandag 31 december 2012 @ 21:23:
Nou, ik vind zelf "minimal files" eigenlijk een hele vage term.
Ik kan het als volgt interpreteren:

book.zip = 1 file
book_part01.rar, book_part02.rar = 1 file, want book
book_part01.rar, book_part02.rar = 2 files, want 2 parts.

Voor de veiligheid zal je dus altijd kiezen voor 1 file. Maar dan heb je dus ook alle kleine bestandjes als release.

Deze optie moet je algemeen op 1 zetten (anders mis je lossess mp3 files) en verder per groep specificeren.

gelukkig nieuw jaar trouwens allen!

[Coenen]

Gelukkig Nieuwjaar, dat er maar lekker ge'indexed gaat worden.

[Polyphemus]

Gelukkig nieuwjaar iedereen

Voor de liefhebbers van wat experimenteren onder Linux:

https://github.com/jonnyboy/newznab-tmux

Deze Jonnyboy heeft wat scripts aangepast en d.m.v. tmux een 7-schermig console screen gefabriekt, zodat er meerdere taken tegelijk kunnen lopen.

[Mr. Happy]

Polyphemus schreef op dinsdag 01 januari 2013 @ 19:28:
Gelukkig nieuwjaar iedereen

Voor de liefhebbers van wat experimenteren onder Linux:

https://github.com/jonnyboy/newznab-tmux

Deze Jonnyboy heeft wat scripts aangepast en d.m.v. tmux een 7-schermig console screen gefabriekt, zodat er meerdere taken tegelijk kunnen lopen.

Wat is het voordeel hiervan??
Bij screen hoef je alleen screen te installeren en hiermee de commando's te starten (ik ben voornamelijk Windows-minded, dus ik ken niet alle Linux-tools enz)...

--------
Heb 'm net geprobeerd, maar krijg bij ./start.sh geen resultaat....

[ Voor 7% gewijzigd door Mr. Happy op 01-01-2013 20:54 ]

[Buzzie]

Zijn hier mensen die alt.binaries.nl gebruiken??
zo ja zouden die dan even hun regex kunnen posten?

ik heb hier helaas geen regex voor

thanks !!

[Polyphemus]

Mr. Happy schreef op dinsdag 01 januari 2013 @ 20:34:
[...]

Wat is het voordeel hiervan??
Bij screen hoef je alleen screen te installeren en hiermee de commando's te starten (ik ben voornamelijk Windows-minded, dus ik ken niet alle Linux-tools enz)...

--------
Heb 'm net geprobeerd, maar krijg bij ./start.sh geen resultaat....

Goede vraag, ik ben het nog aan het uitvinden

Ik kreeg hem in eerste instantie ook niet aan de praat (deed niets), maar na het installeren van 'mytop' (mysql monitor) en bwm-ng deed ie het wel.

Het ziet er wel grappig uit, en je hebt multi-threading updaten en incremental backfillen etc. Diverse zaken draaien parallel.

Het scherm kun je net als bij screen met Ctrl-A D detachen en dan in de achtergrond laten draaien.

[Mr. Happy]

Polyphemus schreef op dinsdag 01 januari 2013 @ 21:37:
[...]


Goede vraag, ik ben het nog aan het uitvinden

Ik kreeg hem in eerste instantie ook niet aan de praat (deed niets), maar na het installeren van 'mytop' (mysql monitor) en bwm-ng deed ie het wel.

Het ziet er wel grappig uit, en je hebt multi-threading updaten en incremental backfillen etc. Diverse zaken draaien parallel.

Het scherm kun je net als bij screen met Ctrl-A D detachen en dan in de achtergrond laten draaien.

Moest je ze allebei installeren, want ik had alleen bwm-ng geïnstalleerd??
(was ook de enige die enabled was)

[Polyphemus]

Mr. Happy schreef op dinsdag 01 januari 2013 @ 21:49:
[...]

Moest je ze allebei installeren, want ik had alleen bwm-ng geïnstalleerd??
(was ook de enige die enabled was)

Niet dat ik me goed kan herinneren, het was laat gisteren toen ik het probeerde ... Ik kreeg m pas aan de praat toen ik mytop geinstalleerd had, en inderdaad nog niet geenabled had.

Wat me ook opviel is dat de sed commando's in de readme het ook niet fatsoenlijk deden; ik heb de betreffende bestanden zelf aangepast (betrof commentaar weghalen). Ik weet niet of die auteur het zelf inmiddels ook ontdekt heeft... De auteur gooit z'n git repo meerdere keren per dag helemaal overhoop, omdat ie net begonnen is.

[Mr. Happy]

Polyphemus schreef op dinsdag 01 januari 2013 @ 21:56:
[...]


Niet dat ik me goed kan herinneren, het was laat gisteren toen ik het probeerde ... Ik kreeg m pas aan de praat toen ik mytop geinstalleerd had, en inderdaad nog niet geenabled had.

Wat me ook opviel is dat de sed commando's in de readme het ook niet fatsoenlijk deden; ik heb de betreffende bestanden zelf aangepast (betrof commentaar weghalen). Ik weet niet of die auteur het zelf inmiddels ook ontdekt heeft... De auteur gooit z'n git repo meerdere keren per dag helemaal overhoop, omdat ie net begonnen is.

Thanks..
Ik zal de repo de komende dagen in de gaten houden, zelf die bestanden aan gaan passen gaat me op dit moment meer ellende opleveren, denk ik, dan dat het oplost

[Verwijderd]

Buzzie schreef op dinsdag 01 januari 2013 @ 21:13:
Zijn hier mensen die alt.binaries.nl gebruiken??
zo ja zouden die dan even hun regex kunnen posten?

ik heb hier helaas geen regex voor

thanks !!

Regexes worden bij elke update auto binnen gehaald. Mits je nn+ hebt anders heb je niks. Veder snappen volgens mij heel weinig van regexes dus kan is klein dat je custom dingen krijgt ;-)

[Buzzie]

Verwijderd schreef op woensdag 02 januari 2013 @ 02:23:
[...]

Regexes worden bij elke update auto binnen gehaald. Mits je nn+ hebt anders heb je niks. Veder snappen volgens mij heel weinig van regexes dus kan is klein dat je custom dingen krijgt ;-)

ik heb ook nn+ maar geen regex voor alt.binaries.nl helaas . of uk kijk er overheen

[Elect]

a.b.nl heeft idd maar 1 regex regex. Het is wachten tot iemand ze maakt of creatief genoeg is om ze van a.b.m.x264 (oid) kopieert, interesse?

[Verwijderd]

lol net van ext4 naar ext3 over gegaan voor de database, wat een verademing, systeem loopt niet meer vast en de database vliegt door ze querys!

[Buzzie]

Elect schreef op woensdag 02 januari 2013 @ 11:08:
a.b.nl heeft idd maar 1 regex regex. Het is wachten tot iemand ze maakt of creatief genoeg is om ze van a.b.m.x264 (oid) kopieert, interesse?

Uiteraard heb ik interesse. als je hem wil posten dan graag

[schumi2004]

Elect schreef op woensdag 02 januari 2013 @ 11:08:
a.b.nl heeft idd maar 1 regex regex. Het is wachten tot iemand ze maakt of creatief genoeg is om ze van a.b.m.x264 (oid) kopieert, interesse?

Dat zou toch niet zo moeilijk moeten zijn of zie ik het verkeerd?
Als je toegang hebt tot de regex van a.b.m.x264 dan moet deze met niet al teveel moeite toch aan te passen zijn voor a.b.nl ?

[Xenophoben]

Wat is nu de beste group om een hoge backfill te doen voor amerikaanse series?

[B2]

Xenophoben schreef op woensdag 02 januari 2013 @ 16:25:
Wat is nu de beste group om een hoge backfill te doen voor amerikaanse series?

alt.binaries.teevee

[Ultimation]

Waar meet ik nu echt de grootte van mijn database:

1. Wanneer ik deze query uitvoer in MySQL Workbench

SQL:

SELECT table_schema "database", 
sum( data_length + index_length ) / 1024 / 
1024 "Data Base Size in MB", 
sum( data_free )/ 1024 / 1024 "Free Space in MB" 
FROM information_schema.TABLES 
GROUP BY table_schema ; 

database        Database Size In MB  Free Space in MB
newznab     1710.75815964           22948.01461029

2. In Debug in het admin menu van NZBIndexer krijg ik dit:

code:

anidb Index Size (0.00 MB) Data Size (0.00 MB)
animetitles Index Size (2.13 MB) Data Size (2.12 MB)
binaries Index Size (14.06 MB) Data Size (14.52 MB)
binaryblacklist Index Size (0.00 MB) Data Size (0.00 MB)
bookinfo Index Size (0.00 MB) Data Size (0.00 MB)
category Index Size (0.00 MB) Data Size (0.00 MB)
consoleinfo Index Size (0.00 MB) Data Size (0.00 MB)
content Index Size (0.00 MB) Data Size (0.00 MB)
episodeinfo Index Size (2.73 MB) Data Size (11.50 MB)
forumpost Index Size (0.01 MB) Data Size (0.00 MB)
genres Index Size (0.00 MB) Data Size (0.00 MB)
groups Index Size (0.02 MB) Data Size (0.01 MB)
menu Index Size (0.00 MB) Data Size (0.00 MB)
movieinfo Index Size (0.06 MB) Data Size (0.53 MB)
musicinfo Index Size (0.05 MB) Data Size (0.35 MB)
partrepair Index Size (0.02 MB) Data Size (0.02 MB)
parts Index Size (811.44 MB) Data Size (637.81 MB)
predb Index Size (0.00 MB) Data Size (0.00 MB)
releaseaudio Index Size (0.08 MB) Data Size (0.23 MB)
releasecomment Index Size (0.00 MB) Data Size (0.00 MB)
releaseextrafull Index Size (0.03 MB) Data Size (6.59 MB)
releasefiles Index Size (0.92 MB) Data Size (1.13 MB)
releasenfo Index Size (0.30 MB) Data Size (15.72 MB)
releaseregex Index Size (0.02 MB) Data Size (0.26 MB)
releases Index Size (6.04 MB) Data Size (6.00 MB)
releasesubs Index Size (0.02 MB) Data Size (0.01 MB)
releasevideo Index Size (0.03 MB) Data Size (0.20 MB)
roleexcat Index Size (0.00 MB) Data Size (0.00 MB)
site Index Size (0.01 MB) Data Size (0.00 MB)
sphinx Index Size (0.00 MB) Data Size (0.00 MB)
thetvdb Index Size (0.01 MB) Data Size (0.21 MB)
tvrage Index Size (0.30 MB) Data Size (39.01 MB)
upcoming Index Size (0.00 MB) Data Size (0.12 MB)
usercart Index Size (0.00 MB) Data Size (0.00 MB)
userdownloads Index Size (0.00 MB) Data Size (0.00 MB)
userexcat Index Size (0.00 MB) Data Size (0.00 MB)
userinvite Index Size (0.00 MB) Data Size (0.00 MB)
usermovies Index Size (0.00 MB) Data Size (0.00 MB)
userrequests Index Size (0.02 MB) Data Size (0.03 MB)
userroles Index Size (0.00 MB) Data Size (0.00 MB)
users Index Size (0.00 MB) Data Size (0.00 MB)
userseries Index Size (0.00 MB) Data Size (0.00 MB)

Totalsize (1.54 GB)

3. Mijn ibdata1 bestand is ongeveer 11Gb

[Xenophoben]

B2 schreef op woensdag 02 januari 2013 @ 16:33:
[...]


alt.binaries.teevee

Thanks dan gaan we die maar is backfillen

[Xenophoben]

Kan iemand mij mischien helpen?

Ik heb volgens een twaeker blog alles ingesteld alleen ik krijg heel veel vagen namen te zien... Hoe kan ik deze toch goed scannen?

[kmf]

Ultimation schreef op woensdag 02 januari 2013 @ 16:57:
Waar meet ik nu echt de grootte van mijn database:


3. Mijn ibdata1 bestand is ongeveer 11Gb

ibdata1 zal nooit verkleinen. Je moest file_per_table gebruiken en daarna optimizen. zie ergens mijn post voor howto

[ Voor 5% gewijzigd door kmf op 02-01-2013 18:36 ]

[Coenen]

Xenophoben schreef op woensdag 02 januari 2013 @ 18:22:
Kan iemand mij mischien helpen?

Ik heb volgens een twaeker blog alles ingesteld alleen ik krijg heel veel vagen namen te zien... Hoe kan ik deze toch goed scannen?
[afbeelding]

Je kan het "update_parsing.php" script draaien, dan heb je minder van die hashed releases.

[Xenophoben]

Coenen schreef op woensdag 02 januari 2013 @ 20:51:
[...]

Je kan het "update_parsing.php" script draaien, dan heb je minder van die hashed releases.

Dit heb ik al gedaan, echter zonder resultaat... Moet ik iets aanpassen aan dit script?

[Ultimation]

kmf schreef op woensdag 02 januari 2013 @ 18:36:
[...]


ibdata1 zal nooit verkleinen. Je moest file_per_table gebruiken en daarna optimizen. zie ergens mijn post voor howto

Zie ergens mijn post..? Dit topic of elders?

[Oxize]

Coenen schreef op maandag 31 december 2012 @ 14:27:
@Oxize, waren jou vragen al beantwoord?
Volgens mij moet je het als volgt zien, @all als ik fout heb laat het me weten:

Header Retention: Tijd dat headers bewaard worden om er releases (NZB files) van te maken. Als je deze op een hoog aantal dagen instelt kan je een tijd terug met het maken van releases, maar je database kan erg groot worden.

Release Retention: Tijd dat Releases bewaard worden. Ik ben van plan deze op bv 100 dagen te gaan zetten aangezien het opslaan van NZB's niet veel ruimte in beslag neemt. Plus je wilt uiteindelijk via je releases (NZB's) downloaden.

Minimal files to make an release: dit is een optie om te voorkomen dat Newznab te snel een release gaat maken. BV, een film zal uit meerdere rar files bestaan. Maar een spam bericht kan al uit 1 file bestaan.

Ik denk dat je in het begin een beetje zal moeten spelen met de diverse settings.
Maar begin rustig, ga niet gelijk de header retention op 100 dagen zetten of gelijk 20 groepen aanzetten.
Anders ben je de komende dagen alleen headers aan het downloaden. Terwijl je (waarschijnlijk) zo snel mogelijk de nieuwste uploads wilt gaan indexen.

Update; Ik heb de volgnde woorden aan m'n blacklist toegevoegd: 'German|GERMAN|Dubbed|DUBBED"
Ik zat even door m'n releases heen te bladeren en ik zag een beetje te veel Duits naar m'n zin. Ik had er nog niet bij stilgestaan dat de Blacklist wel een case sensitive zou kunnen zijn.

Ik zie nu trouwens ook meer van die Hashed releases. Alsof m'n Parse Update script niet meer lekker loopt.
Later nog eens naar kijken.

Zeer duidelijk! Dank je.

Loopt hier allemaal netjes. Database ongeveer 5GB groot met 12 groepen. Backfill van ongeveer 10 dagen nu.

Draait nu ook online (private). Moet alleen wat aan die spamm ( XNDKJDFE files) en blacklist doen.

[ Voor 5% gewijzigd door Oxize op 03-01-2013 12:38 ]

[Coenen]

Xenophoben schreef op donderdag 03 januari 2013 @ 08:55:
[...]

Dit heb ik al gedaan, echter zonder resultaat... Moet ik iets aanpassen aan dit script?

Ik heb het de laatste niet uitvoerig meer gechecked, maar in het begin leek het parsing script iniedergeval een deel van die hashed release te pakken. Je zou verwachten dat de makers van Newznab dit script blijven updaten zodat je zoveel mogelijk die hashed release kan omzetten.
Nog wat anders, ik wel eens van die hashed releases gedownload, dat waren duitse varianten. Ik wil niet gelijk zeggen dat al die hashed releases Duits zijn, maar als het gros het dat wel is kan ik er niet wakker van liggen.

@Oxize, dat klinkt niet verkeerd de grootte van die Database, lijkt me netjes.

[ Voor 5% gewijzigd door Coenen op 03-01-2013 13:58 ]

[Oxize]

Hoe moet ik mijn newznab eigenlijk updaten? Haalt het zelf updates op bij Newznab of moet ik dat via die svn doen, en de bestanden vervangen?

[Coenen]

In principe met SVN, als je SVN geinstalleerd hebt, dan is het rechtermuistoets en SVN update.
Dan worden alle files die geupdate zijn vervangen.

[Ultimation]

Even wat statistiek zo tussendoor, benieuwd wat dit betekend en dat de rest zon beetje haalt.

collected 1611 docs, 9.8mb
sorted 0.8 Mhits, 100.0% done
total 1611 docs, 9772676 bytes
total 0.436 sec, 22413880 bytes/sec, 3694,86 docs/sec
total 3 reads, 0.000 sec, 752.0 kb/call avg, 0.03 msec/call avg
total 51 writes, 0.009 sec, 290.0 kb/call avg, 0.1 msec/call avg

16 groups, 200 dagen backfill (waarom? geen idee), 1550 dagen retention, max messages 20,000, 3,19Gb database volgens Percona en newznab.

[ Voor 23% gewijzigd door Ultimation op 03-01-2013 17:59 ]

[Oxize]

3.19GB de hele sql map?

Hoe groot is de newznab map onder htdocs?

[Ultimation]

Oxize schreef op donderdag 03 januari 2013 @ 18:07:
3.19GB de hele sql map?

Hoe groot is de newznab map onder htdocs?

administrator@nzbindexer:/var/www$ du -hs
2.6G	.

[Oxize]

Dat is wel heel netjes. Heb je alle 200 dagen al gebackfilled? Dat honderderen miljoenen parts. Dat is niet in een paar dagen gedaan.

Mijn sql-data map is nu na een optimize 2.04GB en newzmap onder htdocs 691MB.

@All:Trouwens iedereen die op moment een newznab server heeft draaien, kennen de irritante spamm files, die lijken op "ANBNVDDHFDDJFD" of "AJAKKJ AJKLJ". Als ik bij releases kijk, komen deze allemaal netjes in Other - Misc.

Is het niet mogelijk om deze op 1 of andere manier na 1 dag te verwijderen (liefst nog eerder). In de categorie Other - Misc staat toch niks bezonders. Heb je gelijk een groot aantal spamm files kwijt.

Blacklisten op deze files kan je toch niet.

[ Voor 55% gewijzigd door Oxize op 03-01-2013 18:57 ]

[Verwijderd]

Oxize schreef op donderdag 03 januari 2013 @ 18:22:
(..)
@All:Trouwens iedereen die op moment een newznab server heeft draaien, kennen de irritante spamm files, die lijken op "ANBNVDDHFDDJFD" of "AJAKKJ AJKLJ". Als ik bij releases kijk, komen deze allemaal netjes in Other - Misc. (..)

code:

^[^.^ ]{10,20}$
Removing stupid names: like XA7MY 20121226 016

zoiets?
ps hele zooi nieuwe regexes zijn released

Xenophoben schreef op woensdag 02 januari 2013 @ 18:22:
Kan iemand mij mischien helpen?

Ik heb volgens een twaeker blog alles ingesteld alleen ik krijg heel veel vagen namen te zien... Hoe kan ik deze toch goed scannen?
[afbeelding]

update_parsing.php gebruiking (testing)

[ Voor 34% gewijzigd door Verwijderd op 03-01-2013 19:24 ]

[Oxize]

Als ik SVN Checkout uitvoer, moet de hele sql-server plat?

code:

Rev 2612 -- Regex Update
donderdag 3 januari 2013 16:32
sy -- 1 file(s) modified
Regex Update~ /branches/nnplus/db/plusregex.sql

[ Voor 99% gewijzigd door Oxize op 03-01-2013 20:10 ]

[kmf]

Ultimation schreef op donderdag 03 januari 2013 @ 11:41:
[...]


Zie ergens mijn post..? Dit topic of elders?

In dit topic heb ik een korte howto geschreven. Zoek even op innodb dan zal je het wel vinden denk ik.

[Ultimation]

Ik draai op Percona. Wanneer ik een my.cnf toevoeg aan /etc/mysql dan wilt Percona ineens niet meer starten. Wanneer ik dat bestand verwijder doet hij het prima. Verder is mij onduidelijk welk configuratie bestand Percona nu precies gebruikt.


EDIT: nog wat statistiek

Group 10 of 16
Processing alt.binaries.multimedia
Attempting to repair 548 parts....
1060 parts repaired.
Group alt.binaries.multimedia has 68,311 new parts.
First: 1114691643 Last: 1234693827 Local last: 1234625516
Getting 20,001 parts (1234625517 to 1234645517) - 48,310 in queue
Received 20001 articles of 20001 requested, 0 blacklisted, 0 not binaries
145 new, 34 updated, 20,001 parts. 6.23 headers, 27.07 update, 33.30 range.
Getting 20,001 parts (1234645518 to 1234665518) - 28,309 in queue
Received 20001 articles of 20001 requested, 0 blacklisted, 0 not binaries
442 new, 34 updated, 19,999 parts. 5.86 headers, 28.34 update, 34.19 range.
Getting 20,001 parts (1234665519 to 1234685519) - 8,308 in queue
Received 20001 articles of 20001 requested, 0 blacklisted, 0 not binaries
201 new, 90 updated, 20,001 parts. 6.17 headers, 26.85 update, 33.02 range.
Getting 8,308 parts (1234685520 to 1234693827) - 0 in queue
Received 7684 articles of 8308 requested, 0 blacklisted, 0 not binaries
Server did not return 624 article(s).
84 new, 34 updated, 7,684 parts. 3.87 headers, 9.58 update, 13.45 range.
Group processed in 118.01 seconds

[ Voor 71% gewijzigd door Ultimation op 03-01-2013 20:36 ]

[Oxize]

Bij xampp is dat (mysql) my.ini. Jij moet een soortgelijk ini file hebben.

Vergeet niet om daar de volgende 2 regels toe te voegen:

code:

max_allowed_packet= 32M
group_concat_max_len = 8M

Je scripts verlopen dan iets sneller

[ Voor 54% gewijzigd door Oxize op 03-01-2013 20:39 ]

[Ultimation]

Oxize schreef op donderdag 03 januari 2013 @ 20:35:
Bij xampp is dat (mysql) my.ini. Jij moet een soortgelijk ini file hebben.

Dat klopt. Ik draai hier Ubuntu Server 12.04 met Percona en ngix. Dus daar veranderd iets.

Percona maakt na de installatie geen my.cnf bestand aan. Het is mij ook even een raadsel waar ik die moet vinden of moet aanmaken daar waar hij wel goed word opgepakt.

Hmm het lijkt erop dat bij de laatste update iets niet goed is gegaan?

Starting release update process (2013-01-03 20:38:48)
Updated regexes to revision 2615
Stage 1 : Applying regex to binaries
PHP Notice:  Undefined offset: 1 in /var/www/newznab/www/lib/releases.php on line 1594
PHP Notice:  Undefined offset: 1 in /var/www/newznab/www/lib/releases.php on line 1594
PHP Notice:  Undefined offset: 1 in /var/www/newznab/www/lib/releases.php on line 1594
PHP Notice:  Undefined offset: 1 in /var/www/newznab/www/lib/releases.php on line 1594
PHP Notice:  Undefined offset: 1 in /var/www/newznab/www/lib/releases.php on line 1594
PHP Notice:  Undefined offset: 1 in /var/www/newznab/www/lib/releases.php on line 1594
PHP Notice:  Undefined offset: 1 in /var/www/newznab/www/lib/releases.php on line 1594

[ Voor 53% gewijzigd door Ultimation op 03-01-2013 20:41 ]

[Elect]

Als ik het bij Percona goed heb begrepen moet je zelf een my.cnf aanmaken in de /etc/ folder. MySQL zal automatisch een aantal paden, waardonder die, controleren op het bestaan van zo'n .cfg bestand.

[Oxize]

Dat had ik namelijk ook, maar ik moest dus niet zoeken in die my.cnf, maar in my.ini (my-huge.ini, my-large,ini, etc) en die staat in de root van mysql.

Weet niet of dat ook voor linux en ander OSsen geld.

[ Voor 27% gewijzigd door Oxize op 03-01-2013 20:41 ]

[Ultimation]

Oke bedankt voor de feedback.

Ik heb via tools.percona.com een config file aangemaakt. Deze heb ik geprobeerd in de /etc/mysql map te zetten als my.cnf. Ik denk dat een aantal van de paden niet goed staan.

# Generated by Percona Configuration Wizard (http://tools.percona.com/) version REL5-20120208
# Configuration name nzbindexer generated for xxxx at 2013-01-03 10:55:57

[mysql]

# CLIENT #
port                           = 3306
socket                         = /var/lib/mysql/mysql.sock

[mysqld]

# GENERAL #
user                           = mysql
default_storage_engine         = InnoDB
socket                         = /var/lib/mysql/mysql.sock
pid_file                       = /var/lib/mysql/mysql.pid

# MyISAM #
key_buffer_size                = 32M
myisam_recover                 = FORCE,BACKUP

# SAFETY #
max_allowed_packet             = 16M
max_connect_errors             = 1000000
innodb                         = FORCE
innodb_strict_mode             = 1

# DATA STORAGE #
datadir                        = /var/lib/mysql/

# BINARY LOGGING #
log_bin                        = /var/lib/mysql/mysql-bin
expire_logs_days               = 14
sync_binlog                    = 1

# CACHES AND LIMITS #
tmp_table_size                 = 32M
max_heap_table_size            = 32M
query_cache_type               = 0
query_cache_size               = 0
max_connections                = 500
thread_cache_size              = 50
open_files_limit               = 65535
table_definition_cache         = 4096
table_open_cache               = 4096

# INNODB #
innodb_flush_method            = O_DIRECT
innodb_log_files_in_group      = 2
innodb_log_file_size           = 128M
innodb_flush_log_at_trx_commit = 1
innodb_file_per_table          = 1
innodb_buffer_pool_size        = 1456M

# LOGGING #
log_error                      = /var/lib/mysql/mysql-error.log
log_queries_not_using_indexes  = 1
slow_query_log                 = 1
slow_query_log_file            = /var/lib/mysql/mysql-slow.log

[Buzzie]

Verwijderd schreef op donderdag 03 januari 2013 @ 19:21:
[...]


ps hele zooi nieuwe regexes zijn released

Net geupdate naar Revision 2615

helaas nog geen regex voor alt.binaries.nl
wel al gevraagd aan sy op de chat.
dus als mensen zich geroepen voelen........graag

Overigens heb ik met de volgende groepen ook problemen ondanks dat ik de originele regex gebruik in nn+

alt.binaries.bluray
alt.binaries.blu-ray
alt.binaries.cd.image
alt.binaries.tvseries
alt.binaries.x264

voor Bluray groepen heb ik staan dat deze minaal 20GB groot moeten zijn en voor cd.image 200mb
de rest is default maar na een dikke week nog geen releases ??

iemand een idee?

[ Voor 36% gewijzigd door Buzzie op 03-01-2013 20:53 ]

[Oxize]

De mijnes ziet er zo uit:

code:

# Example MySQL config file for small systems.
#
# This is for a system with little memory (<= 64M) where MySQL is only used
# from time to time and it's important that the mysqld daemon
# doesn't use much resources.
#
# You can copy this file to
# C:/xampp/mysql/bin/my.cnf to set global options,
# mysql-data-dir/my.cnf to set server-specific options (in this
# installation this directory is C:/xampp/mysql/data) or
# ~/.my.cnf to set user-specific options.
#
# In this file, you can use all long options that a program supports.
# If you want to know which options a program supports, run the program
# with the "--help" option.

# The following options will be passed to all MySQL clients
[client] 
# password       = your_password 
port            = 3306 
socket          = "C:/xampp/mysql/mysql.sock"


# Here follows entries for some specific programs 

# The MySQL server
[mysqld]
port= 3306
socket = "C:/xampp/mysql/mysql.sock"
basedir = "C:/xampp/mysql" 
tmpdir = "C:/xampp/tmp" 
datadir = "C:/xampp/mysql/data"
pid_file = "mysql.pid"
# enable-named-pipe
key_buffer = 16M
max_allowed_packet = 32M
group_concat_max_len = 8M
default-time-zone = "Europe/Berlin" 
table_cache = 64
sort_buffer_size = 512K
net_buffer_length = 8K
read_buffer_size = 256K
read_rnd_buffer_size = 512K
myisam_sort_buffer_size = 8M
log_error = "mysql_error.log"

# Change here for bind listening
# bind-address="127.0.0.1" 
# bind-address = ::          # for ipv6

# Where do all the plugins live
plugin_dir = "C:/xampp/mysql/data/lib/plugin/" 

# Don't listen on a TCP/IP port at all. This can be a security enhancement,
# if all processes that need to connect to mysqld run on the same host.
# All interaction with mysqld must be made via Unix sockets or named pipes.
# Note that using this option without enabling named pipes on Windows
# (via the "enable-named-pipe" option) will render mysqld useless!
# 
# commented in by lampp security
#skip-networking
skip-federated

# Replication Master Server (default)
# binary logging is required for replication
# log-bin deactivated by default since XAMPP 1.4.11
#log-bin=mysql-bin

# required unique id between 1 and 2^32 - 1
# defaults to 1 if master-host is not set
# but will not function as a master if omitted
server-id   = 1

# Replication Slave (comment out master section to use this)
#
# To configure this host as a replication slave, you can choose between
# two methods :
#
# 1) Use the CHANGE MASTER TO command (fully described in our manual) -
#    the syntax is:
#
#    CHANGE MASTER TO MASTER_HOST=<host>, MASTER_PORT=<port>,
#    MASTER_USER=<user>, MASTER_PASSWORD=<password> ;
#
#    where you replace <host>, <user>, <password> by quoted strings and
#    <port> by the master's port number (3306 by default).
#
#    Example:
#
#    CHANGE MASTER TO MASTER_HOST='125.564.12.1', MASTER_PORT=3306,
#    MASTER_USER='joe', MASTER_PASSWORD='secret';
#
# OR
#
# 2) Set the variables below. However, in case you choose this method, then
#    start replication for the first time (even unsuccessfully, for example
#    if you mistyped the password in master-password and the slave fails to
#    connect), the slave will create a master.info file, and any later
#    change in this file to the variables' values below will be ignored and
#    overridden by the content of the master.info file, unless you shutdown
#    the slave server, delete master.info and restart the slaver server.
#    For that reason, you may want to leave the lines below untouched
#    (commented) and instead use CHANGE MASTER TO (see above)
#
# required unique id between 2 and 2^32 - 1
# (and different from the master)
# defaults to 2 if master-host is set
# but will not function as a slave if omitted
#server-id       = 2
#
# The replication master for this slave - required
#master-host     =   <hostname>
#
# The username the slave will use for authentication when connecting
# to the master - required
#master-user     =   <username>
#
# The password the slave will authenticate with when connecting to
# the master - required
#master-password =   <password>
#
# The port the master is listening on.
# optional - defaults to 3306
#master-port     =  <port>
#
# binary logging - not required for slaves, but recommended
#log-bin=mysql-bin


# Point the following paths to different dedicated disks
#tmpdir = "C:/xampp/tmp"
#log-update = /path-to-dedicated-directory/hostname

# Uncomment the following if you are using BDB tables
#bdb_cache_size = 4M
#bdb_max_lock = 10000

# Comment the following if you are using InnoDB tables
#skip-innodb
innodb_data_home_dir = "C:/xampp/mysql/data"
innodb_data_file_path = ibdata1:10M:autoextend
innodb_log_group_home_dir = "C:/xampp/mysql/data"
#innodb_log_arch_dir = "C:/xampp/mysql/data"
## You can set .._buffer_pool_size up to 50 - 80 %
## of RAM but beware of setting memory usage too high
innodb_buffer_pool_size = 16M
innodb_additional_mem_pool_size = 2M
## Set .._log_file_size to 25 % of buffer pool size
innodb_log_file_size = 5M
innodb_log_buffer_size = 8M
innodb_flush_log_at_trx_commit = 1
innodb_lock_wait_timeout = 50

## UTF 8 Settings
#init-connect=\'SET NAMES utf8\'
#collation_server=utf8_unicode_ci
#character_set_server=utf8
#skip-character-set-client-handshake
#character_sets-dir="C:/xampp/mysql/share/charsets"

[mysqldump]
quick
max_allowed_packet = 16M

[mysql]
no-auto-rehash
# Remove the next comment character if you are not familiar with SQL
#safe-updates

[isamchk]
key_buffer = 20M
sort_buffer_size = 20M
read_buffer = 2M
write_buffer = 2M

[myisamchk]
key_buffer = 20M
sort_buffer_size = 20M
read_buffer = 2M
write_buffer = 2M

[mysqlhotcopy]
interactive-timeout

[Ultimation]

Elect schreef op donderdag 03 januari 2013 @ 20:40:
Als ik het bij Percona goed heb begrepen moet je zelf een my.cnf aanmaken in de /etc/ folder. MySQL zal automatisch een aantal paden, waardonder die, controleren op het bestaan van zo'n .cfg bestand.

In de /etc/ map of /etc/mysql?

En my.cnf of my.cfg?

Gaat volgens mij iets niet goed:

PHP Notice:  Undefined property: stdClass::$curlproxyaddress in /var/www/newznab/www/lib/util.php on line 150
PHP Notice:  Undefined property: stdClass::$curlproxytype in /var/www/newznab/www/lib/util.php on line 151
PHP Notice:  Undefined property: stdClass::$curlproxyuserpwd in /var/www/newznab/www/lib/util.php on line 152
PHP Notice:  Undefined property: stdClass::$curlproxyaddress in /var/www/newznab/www/lib/util.php on line 150
PHP Notice:  Undefined property: stdClass::$curlproxytype in /var/www/newznab/www/lib/util.php on line 151
PHP Notice:  Undefined property: stdClass::$curlproxyuserpwd in /var/www/newznab/www/lib/util.php on line 152
PHP Notice:  Undefined property: stdClass::$curlproxyaddress in /var/www/newznab/www/lib/util.php on line 150
PHP Notice:  Undefined property: stdClass::$curlproxytype in /var/www/newznab/www/lib/util.php on line 151
PHP Notice:  Undefined property: stdClass::$curlproxyuserpwd in /var/www/newznab/www/lib/util.php on line 152
TVRage  : Didnt find Gold Rush locally, checking web

[ Voor 61% gewijzigd door Ultimation op 03-01-2013 20:50 ]

[Coenen]

Oxize schreef op donderdag 03 januari 2013 @ 19:51:
Als ik SVN Checkout uitvoer, moet de hele sql-server plat?

code:

Rev 2612 -- Regex Update
donderdag 3 januari 2013 16:32
sy -- 1 file(s) modified
Regex Update~ /branches/nnplus/db/plusregex.sql

Ik heb deze file over de oude heen gekopieerd.Daarna wel even IIS ge-restart.

[Oxize]

Coenen schreef op donderdag 03 januari 2013 @ 21:02:
[...]

Ik heb deze file over de oude heen gekopieerd.Daarna wel even IIS ge-restart.

Trouwens dat was niet de enigste file die was geupdate, er waren ook nog 2 andere bestanden (update_parsing.php en removespecial.php) in testing geupdate .

[Coenen]

Klopt. Die removespecial heb ik vandaag geupdate. Ik heb SVN niet op m'n server draaien waarop Newznab draait, dus ik doe een SVN update op een andere machine en dan kopier ik de nieuwe files naar m'n server.

[dmrazor]

Freekers schreef op maandag 10 december 2012 @ 16:12:
[...]

Wat is een leuke API limit per 24 uur? 1024?

Waar stel je in vredesnaam die API limit in? Ik loop momenteel met mijn Sickbeard steeds tegen:

2013-01-02 04:13:57.012585 SEARCHQUEUE-RSS-SEARCH :: Unknown error given from NZB.xxyy.nl: Request limit reached
2013-01-02 04:13:57.012824 SEARCHQUEUE-RSS-SEARCH :: Authentication error: Your authentication info for NZB.xxyy.nl is incorrect, check your config

fouten aan bij de newznab+ server van een vriend van me. We hebben al oeverloos lopen zoeken, maar in de Site admin interface is niets te vinden en het whitelisten van mijn IP adres helpt ook al niet. Zit die setting ergens in een configfile verstopt?

Tips (en een oplossing zeker ) van harte welkom!

Cheers,

Raz.

[Oxize]

Bij User roles (helemaal onderaan bij admin gedeelte) > View Roles > Request Limit

[ Voor 78% gewijzigd door Oxize op 04-01-2013 01:00 ]

[Verwijderd]

heren heren heren toch...

paar antwoorden:
/etc/mysql/my.cnf is voor percona. Wel even al je onzinnige dingen uitcommente bijvoorbeeld:

code:

port                           = 3306
socket                         = /var/lib/mysql/mysql.sock

[mysqld]

# GENERAL #
user                           = mysql
default_storage_engine         = InnoDB
socket                         = /var/lib/mysql/mysql.sock
pid_file                       = /var/lib/mysql/mysql.pid

Verder kan je die regexes.sql gewoon uitvoeren in je database, heb je helemaal geen restart voor nodig en voor zover ik weet heeft het geen zin om hem te overschrijven lokaal aangezien het geen database is maar SQL commandos.

Verder kan (en mag) je percona niet vergelijken met mysql (zonder percona optimalisatie) ook niet naar de cnf bestanden kijken!

[ Voor 8% gewijzigd door Verwijderd op 04-01-2013 01:53 ]

[Elect]

Is het niet zo dat het script 'update-releases.php' automatisch de RegEx'en update als je je NN+ code hebt ingevuld?

[zeroday]

Elect schreef op vrijdag 04 januari 2013 @ 08:08:
Is het niet zo dat het script 'update-releases.php' automatisch de RegEx'en update als je je NN+ code hebt ingevuld?

yep, wel bij mij ..

[henwy]

Mijn privé newznab heeft de afgelopen weken prima gedraaid, maar sinds een paar dagen doet mijn optimizedb er ca. 5/6 uur over om te voltooien .

Nou draai ik niet de snelste server (2core 1.8GHz, 4GB RAM) met apache en mysql. Er staan 18 groupen aan voor TV en film.

code:

Header retention: 1.5
Release Retention: 900
Minimum Files to Make a Release: 1 (aantal groepen op 2)
Minimum File Size to Make a Release: 52000000 (hoger dan x GB bij Hidef groepen)
Minimum Completion Percent to Make a Release: 95

binaries Index Size (1.11 GB) Data Size (1.20 GB)
parts Index Size (18.33 GB) Data Size (21.81 GB)

Zou ik snelheidswinst halen met het gebruik van percona? Die 5/6 uur optimizen lijkt me echt te lang .

[Ultimation]

Volgens mij gaat er iets niet helemaal goed.

administrator@nzbindexer:~$ sudo service mysql restart
 * Stopping MySQL (Percona Server) mysqld                                [ OK ] 
 * Starting MySQL (Percona Server) database server mysqld                [ OK ] 
 * Checking for corrupt, not cleanly closed and upgrade needing tables.
administrator@nzbindexer:~$ ERROR 144 (HY000) at line 1: Table './newznab/releaseextrafull' is marked as crashed and last (automatic?) repair failed
ERROR 144 (HY000) at line 1: Table './newznab/releasefiles' is marked as crashed and last (automatic?) repair failed

EDIT:

Probleem opgelost..

administrator@nzbindexer:/var/lib/mysql$ sudo  myisamchk -r newznab/releaseextrafull
- recovering (with sort) MyISAM-table 'newznab/releaseextrafull'
Data records: 0
- Fixing index 1
Data records: 4415
administrator@nzbindexer:/var/lib/mysql$ sudo  myisamchk -r newznab/releasefiles- recovering (with sort) MyISAM-table 'newznab/releasefiles'
Data records: 0
- Fixing index 1
Delete link points outside datafile at 1438580
Delete link points outside datafile at 1440536
Delete link points outside datafile at 1441556
Delete link points outside datafile at 1442088
- Fixing index 2
- Fixing index 3
Data records: 17761

[ Voor 35% gewijzigd door Ultimation op 04-01-2013 11:07 ]

[whitecrow]

Ultimation schreef op vrijdag 04 januari 2013 @ 10:47:
Volgens mij gaat er iets niet helemaal goed.

administrator@nzbindexer:~$ sudo service mysql restart
 * Stopping MySQL (Percona Server) mysqld                                [ OK ] 
 * Starting MySQL (Percona Server) database server mysqld                [ OK ] 
 * Checking for corrupt, not cleanly closed and upgrade needing tables.
administrator@nzbindexer:~$ ERROR 144 (HY000) at line 1: Table './newznab/releaseextrafull' is marked as crashed and last (automatic?) repair failed
ERROR 144 (HY000) at line 1: Table './newznab/releasefiles' is marked as crashed and last (automatic?) repair failed

In je mysql\bin directory even een .bat bestand aanmaken met deze regel:

mysqlcheck --all-databases -uUSERNAME -pPASSWORD -r

Dit .bat bestandje repareerd gecrashde tabellen. (meestal)
Zit geen spatie tussen -uUSERNAME of -pPASSWORD btw.

Hierna zou die foutmelding verdwenen moeten zijn.

edit:

Had je edit niet gezien

[Ultimation]

Maar we gaan door! Volgende probleem, zijn er wel erg veel ineens . Google levert niet echt iets zinnigs op.

PostPrc : Performing additional post processing on last 100 releases ...100.99.98.97.96.95.94.93.92.91.90.89.88.87.86.85.84.83.82.81.80.
PostPrc : Failed fetching rar file
79.78.
PostPrc : Failed fetching rar file
77.
[...]
PostPrc : Failed fetching rar file
58.
PostPrc : Failed fetching rar file
57.56.
PostPrc : Failed fetching rar file
55.PostPrc : Failed fetching rar file
54.53.52.
[...]
PostPrc : Failed fetching rar file
41.40.39.38.37.36.35.34.33.
PostPrc : Couldnt fetch sample

PostPrc : Failed fetching rar file
32.
PostPrc : Couldnt fetch sample

PostPrc : Failed fetching rar file
31.
PostPrc : Couldnt fetch sample

PostPrc : Failed fetching rar file
30.29.28.27.26.25.24.23.22.21.20.19.18.17.16.15.14.13.12.11.10.9.8.7.6.5.4.3.2.1.

[henwy]

Heb je nzbs geimporteerd? Als dat zo is kan het zijn dat de bestanden gewoon niet meer staan bij je nieuwsprovider. Dacht dat dat het was iig.

[Verwijderd]

henwy schreef op vrijdag 04 januari 2013 @ 10:17:
Mijn privé newznab heeft de afgelopen weken prima gedraaid, maar sinds een paar dagen doet mijn optimizedb er ca. 5/6 uur over om te voltooien .

Nou draai ik niet de snelste server (2core 1.8GHz, 4GB RAM) met apache en mysql. Er staan 18 groupen aan voor TV en film.

code:

Header retention: 1.5
Release Retention: 900
Minimum Files to Make a Release: 1 (aantal groepen op 2)
Minimum File Size to Make a Release: 52000000 (hoger dan x GB bij Hidef groepen)
Minimum Completion Percent to Make a Release: 95

binaries Index Size (1.11 GB) Data Size (1.20 GB)
parts Index Size (18.33 GB) Data Size (21.81 GB)

Zou ik snelheidswinst halen met het gebruik van percona? Die 5/6 uur optimizen lijkt me echt te lang .

Hier met percona ook last van..... hele server locked en niks is bruikbaar..... heb hem uitgezet en elke zondag nacht gaat hij hier nu aan

[ Voor 12% gewijzigd door Verwijderd op 04-01-2013 12:16 ]

[kmf]

ZO!!! Een hele week lang NZB geimporteerd. En nu eindelijk klaar.
Heb nu een archief tot 5 jaar terug.

Alleen is het wel zo dat de NZB-archief nogal oud is. Ik heb nu een gap van 28 weken. Deze ga ik nog even bijvullen met backfill.

Click for large view


Paar stats.

De grootte van de datadir (dus sphinx database+nzbtjes+covers)
Click for large view


De database zelf is 1.9G na een optimize (parts en binaries heb ik getruncate omdat alles al verwerkt is. Dit is dus puur releases)
Dit is dus de pure database size

Volgens mysql is dit echter:
Click for large view

[ Voor 53% gewijzigd door kmf op 04-01-2013 12:53 ]

[Verwijderd]

Hu kan je je parts truncate nadat je releases hebt verwerkt? Heb je die niet nodig voor je sabnzb ?

[ Voor 24% gewijzigd door Verwijderd op 04-01-2013 13:17 ]

[Oxize]

Verwijderd schreef op vrijdag 04 januari 2013 @ 13:17:
Hu kan je je parts truncate nadat je releases hebt verwerkt? Heb je die niet nodig voor je sabnzb ?

Vraag ik me ook af, onder Windhoos (xampp)

Kan iemand wijs worden uit die runme.bat? Wanneer wordt die optimize gestart?

Edit: Na 300 runme.bat loops?

[ Voor 17% gewijzigd door Oxize op 04-01-2013 13:25 ]

[kmf]

Als parts, binaries en partrepair HELEMAAL verwerkt zijn, (Dat wilt zeggen ondertussen zijn er geen nieuwe parts bijgekomen omdat je de update_binaries gestopt hebt) dan mogen de tabellen weggegooid worden.

Wat NN+ doet is namelijk het volgende:
alle headers in parts stoppen
deze headers in binaries verwerken
deze binaries checken of alle parts aanwezig zijn
van deze binaries een echte release maken. Oftewel, een fysieke nzb in je www-dir.

Daarna mogen parts+binaries gewoon leeggegooid worden (als echt alles verwerkt is)

(dit betekent ook dat je niet zomaar de database van iemand anders kan lenen/repliceren en er mee klaar zijn. Je hebt ook de nzb-bestanden nodig...)

[dmrazor]

Oxize schreef op vrijdag 04 januari 2013 @ 00:51:
Bij User roles (helemaal onderaan bij admin gedeelte) > View Roles > Request Limit

Super, dank je!

[henwy]

Verwijderd schreef op vrijdag 04 januari 2013 @ 12:15:
[...]

Hier met percona ook last van..... hele server locked en niks is bruikbaar..... heb hem uitgezet en elke zondag nacht gaat hij hier nu aan

Shellscripting is nou niet echt mijn sterkste punt, kan iemand mij vertellen wat ik hieronder kan veranderen zodat mijn optimizedb bijvoorbeeld 1x in de 5 dagen of elke zondag gaat lopen? De update schedule en theater wil ik dan wel houden.

code:

#!/bin/sh
# call this script from within screen to get binaries, processes releases and
# every half day get tv/theatre info and optimise the database

set -e

export NEWZNAB_PATH="/var/www/newznab/misc/update_scripts"
export NEWZNAB_SLEEP_TIME="60" # in seconds
LASTOPTIMIZE=`date +%s`

while :

 do
CURRTIME=`date +%s`
cd ${NEWZNAB_PATH}
php ${NEWZNAB_PATH}/update_binaries_threaded.php
php ${NEWZNAB_PATH}/update_releases.php
php /var/www/newznab/misc/testing/update_parsing.php
php ${NEWZNAB_PATH}/update_release_groups.php
php /var/www/newznab/www/admin/nzb-importmodified.php /import_nzb/ true
php ${NEWZNAB_PATH}/update_releases.php

DIFF=$(($CURRTIME-$LASTOPTIMIZE))
if [ "$DIFF" -gt 43200 ] || [ "$DIFF" -lt 1 ]
then
LASTOPTIMIZE=`date +%s`
echo "STAGE SPECIAL: Optimizing DB, updating schedule and theators"
php ${NEWZNAB_PATH}/optimise_db.php
php ${NEWZNAB_PATH}/update_tvschedule.php
php ${NEWZNAB_PATH}/update_theaters.php
fi

echo "waiting ${NEWZNAB_SLEEP_TIME} seconds..."
sleep ${NEWZNAB_SLEEP_TIME}

done

[Verwijderd]

43200 veranderen 43200 is in seconde dacht ik ?

kmf schreef op vrijdag 04 januari 2013 @ 13:25:
Als parts, binaries en partrepair HELEMAAL verwerkt zijn, (Dat wilt zeggen ondertussen zijn er geen nieuwe parts bijgekomen omdat je de update_binaries gestopt hebt) dan mogen de tabellen weggegooid worden.

Wat NN+ doet is namelijk het volgende:
alle headers in parts stoppen
deze headers in binaries verwerken
deze binaries checken of alle parts aanwezig zijn
van deze binaries een echte release maken. Oftewel, een fysieke nzb in je www-dir.

Daarna mogen parts+binaries gewoon leeggegooid worden (als echt alles verwerkt is)

(dit betekent ook dat je niet zomaar de database van iemand anders kan lenen/repliceren en er mee klaar zijn. Je hebt ook de nzb-bestanden nodig...)

Dus als ik het ook goed zie, bij update_releases.php, stap 7e verwijderd hij de meeste parts al ?

[ Voor 89% gewijzigd door Verwijderd op 04-01-2013 14:44 ]

[kmf]

Verwijderd schreef op vrijdag 04 januari 2013 @ 14:44:
43200 veranderen 43200 is in seconde dacht ik ?


[...]

Dus als ik het ook goed zie, bij update_releases.php, stap 7e verwijderd hij de meeste parts al ?

In principe wel, als die stap goed uitgevoerd kan worden. Het is namelijk een heel zware query en bij grote databases gaat dat over z'n nek. Bij mij is het in ieder geval nooit gelukt en/of duurde te lang, dus heb ik mijn eigen opschoonscript geschreven (zie elders dit topic)

maar als alle binaries verwerkt zijn, dan is het sneller om zelf de tabellen leeg te gooien. Er bestaat natuurlijk wel een kans dat je een paar releases gaat missen omdat zij nog incompleet waren op het moment van leeggooien, maar dat vind ik de tijdwinst wel waard.

[Freekers]

Mannen, allereerst nog de beste wensen voor 2013. Vandaag mag het nog
Ten tweede, excuus voor mijn lange afwezigheid. Druk met vanalles en nog wat! Ik heb terug gelezen tot waar ik ben afgehaakt. Mooi om te zien dat er zoveel activiteit en bedrevenheid is wat betreft NewzNab!

As we speak ben ik mijn Newznab installatie aan het verhuizen naar een nieuwe server die wat meer kracht aan boord heeft. Tegelijkertijd wilde ik mijn database van MyISAM naar InnoDB converteren... Voor iedereen die hetzelfde idee had: Doe het niet. Als je perse InnoDB wilt, begin opnieuw. Ik heb die hele DB 3x geconverteerd. 3x zegt hij OK, maar drie keer is het hele zaakje gewoon niet fatsoenlijk overgezet. Sommige tabellen zijn gewoon leeg....

Tijdens mijn afwezigheid zijn er een aantal scripts gepost. Welke van deze scripts is aan te raden om te gebruiken? Ik neem aan dat sommige scripts hetzelfde doen als anderen, dus om ze nou allemaal te gebruiken lijkt mij dubbelop:

Splendid schreef op maandag 24 december 2012 @ 11:16:
[Script]

Henkske schreef op donderdag 27 december 2012 @ 16:12:
Ik gebruik de laatste 2 dagen dit script:

https://github.com/jonnyb...blob/master/my_newznab.sh

Elect schreef op donderdag 27 december 2012 @ 14:45:
[Nog meer scripts]

Coenen schreef op donderdag 27 december 2012 @ 09:48:
[Nog een script]

Welke moet ik nemen?

G007 schreef op donderdag 13 december 2012 @ 21:06:
Mocht het dan nog niet werken wil ik wel een keer voor je kijken als dat kan en mag op je systeem

Onder het motto 'beter laat dan nooit'... J1nx heeft er inmiddels naar gekeken. Alsnog bedankt voor je aanbod!

kmf schreef op dinsdag 18 december 2012 @ 15:58:
Even een pre-release van mijn cleanup scripts.

Is dit nog steeds de laatste nieuwe versie?

Raven__NL schreef op zaterdag 22 december 2012 @ 15:01:
Heb hier een andere Windows tutorial gevonden, misschien handig om in de 1e post erbij te zetten?

http://www.tiag.me/installing-newznab-with-xampp-on-windows/

Komt voor elkaar!

ShadowBumble schreef op dinsdag 18 december 2012 @ 14:34:

mysql -r <user> -p
use <database_voor_newznab>;
TRUNCATE parts;

Hiermee gooi je alleen de tabel parts leeg.

Waarom zou je dat willen doen?

[Verwijderd]

Freekers schreef op vrijdag 04 januari 2013 @ 15:54:
Mannen, allereerst nog de beste wensen voor 2013. Vandaag mag het nog
Ten tweede, excuus voor mijn lange afwezigheid. Druk met vanalles en nog wat! Ik heb terug gelezen tot waar ik ben afgehaakt. Mooi om te zien dat er zoveel activiteit en bedrevenheid is wat betreft NewzNab!

As we speak ben ik mijn Newznab installatie aan het verhuizen naar een nieuwe server die wat meer kracht aan boord heeft. Tegelijkertijd wilde ik mijn database van MyISAM naar InnoDB converteren... Voor iedereen die hetzelfde idee had: Doe het niet. Als je perse InnoDB wilt, begin opnieuw. Ik heb die hele DB 3x geconverteerd. 3x zegt hij OK, maar drie keer is het hele zaakje gewoon niet fatsoenlijk overgezet. Sommige tabellen zijn gewoon leeg....

Tijdens mijn afwezigheid zijn er een aantal scripts gepost. Welke van deze scripts is aan te raden om te gebruiken? Ik neem aan dat sommige scripts hetzelfde doen als anderen, dus om ze nou allemaal te gebruiken lijkt mij dubbelop:

(..)

Jij ook nog de beste wensen en welkom back!

https://github.com/jonnyboy/newznab-tmux

Deze gebruik ik en het is een wonder script! Doet alles voor je aka zijn alle boven genoemde scripts netjes in 1 script verwerkt

en truncate doe je om je optimise te versnellen met een halve dag

kmf schreef op vrijdag 04 januari 2013 @ 15:54:
[...]


In principe wel, als die stap goed uitgevoerd kan worden. Het is namelijk een heel zware query en bij grote databases gaat dat over z'n nek. Bij mij is het in ieder geval nooit gelukt en/of duurde te lang, dus heb ik mijn eigen opschoonscript geschreven (zie elders dit topic)

maar als alle binaries verwerkt zijn, dan is het sneller om zelf de tabellen leeg te gooien. Er bestaat natuurlijk wel een kans dat je een paar releases gaat missen omdat zij nog incompleet waren op het moment van leeggooien, maar dat vind ik de tijdwinst wel waard.

Je kan toch ook in batches van 5000 deleten via sql of mis ik iets ?

ps al eerder gevraagd maar duidelijk antwoord was het niet, waar met NN+ haal je dat NZB archive vandaan ?

[ Voor 33% gewijzigd door Verwijderd op 04-01-2013 19:35 ]

[kmf]

De standaard delete probeert in een keer alles weg te gooien. Not a good idea.

Ik heb daarom een eigen script geschreven om in batches weg te gooien.

in de chat van newznab kan je die archief aanvragen.

[ Voor 15% gewijzigd door kmf op 04-01-2013 19:42 ]

[Verwijderd]

kmf schreef op vrijdag 04 januari 2013 @ 19:42:
De standaard delete probeert in een keer alles weg te gooien. Not a good idea.

Ik heb daarom een eigen script geschreven om in batches weg te gooien.

in de chat van newznab kan je die archief aanvragen.

DELETE FROM parts LIMIT 500000;
daar ben k nu mee bezig

edit:
stom! je kan ook gewoon de table exporten (NIET JE DATA!) dan drop j ehem en importeer je weer, mather of seconds

[ Voor 14% gewijzigd door Verwijderd op 04-01-2013 20:13 ]

[kmf]

als het voor je werkt, prima

[Buzzie]

Buzzie schreef op donderdag 03 januari 2013 @ 20:45:
[...]


Net geupdate naar Revision 2615

helaas nog geen regex voor alt.binaries.nl
wel al gevraagd aan sy op de chat.
dus als mensen zich geroepen voelen........graag

Overigens heb ik met de volgende groepen ook problemen ondanks dat ik de originele regex gebruik in nn+

alt.binaries.bluray
alt.binaries.blu-ray
alt.binaries.cd.image
alt.binaries.tvseries
alt.binaries.x264

voor Bluray groepen heb ik staan dat deze minaal 20GB groot moeten zijn en voor cd.image 200mb
de rest is default maar na een dikke week nog geen releases ??

iemand een idee?

Iemand misschien die mij hiermee kan helpen??

thanksss

ivm de vele statistieken en code's nogmaals even geplaatst

[Verwijderd]

Uhm uit het niets krijg ik op eens op de site:
Password: Unknown
Run op linux server had dit begin vandaag niet? We moet de eigenaar zijn van de tmpunrar folder? Root (waar ik in run) of www-data ?

edit:
opeens doet hij het weer?

[ Voor 8% gewijzigd door Verwijderd op 04-01-2013 22:35 ]

[Freekers]

kmf schreef op vrijdag 04 januari 2013 @ 12:37:
ZO!!! Een hele week lang NZB geimporteerd. En nu eindelijk klaar.
Heb nu een archief tot 5 jaar terug.

Zou je deze database wellicht willen sharen met ons? Ik heb eventueel wel bandbreedte beschikbaar waar je het zaakje naar mag uppen

Verwijderd schreef op vrijdag 04 januari 2013 @ 17:51:
Jij ook nog de beste wensen en welkom back!

https://github.com/jonnyboy/newznab-tmux

Deze gebruik ik en het is een wonder script! Doet alles voor je aka zijn alle boven genoemde scripts netjes in 1 script verwerkt

en truncate doe je om je optimise te versnellen met een halve dag

Thanks!
Ik zie dat dat script verwijst naar een ander script dat MyISAM naar InnoDB kan converteren. Werkt dat wel fatsoenlijk?

Ik heb het boeltje namelijk nu verhuisd naar een nieuwe server, maar MyISAM naar InnoDB kreeg ik niet voor elkaar.

En ofcourse heb ik weer iets gesloopt, maar heb geen diee hoe ik het moet oplossen omdat ik er niet aan ben geweest. Het newznab_screen_local.sh (update script) gaat niet verder/loopt niet meer en laat continue deze error zien:

code:

PHP Warning:  mysql_fetch_assoc() expects parameter 1 to be resource, boolean given in /var/www/newznab/www/lib/binaries.php on line 451

Het probleem is dus dat ik niet aan dat script geweest ben.....

[Verwijderd]

Freekers schreef op zaterdag 05 januari 2013 @ 10:48:
[...]


Zou je deze database wellicht willen sharen met ons? Ik heb eventueel wel bandbreedte beschikbaar waar je het zaakje naar mag uppen


[...]


Thanks!
Ik zie dat dat script verwijst naar een ander script dat MyISAM naar InnoDB kan converteren. Werkt dat wel fatsoenlijk?

Ik heb het boeltje namelijk nu verhuisd naar een nieuwe server, maar MyISAM naar InnoDB kreeg ik niet voor elkaar.

En ofcourse heb ik weer iets gesloopt, maar heb geen diee hoe ik het moet oplossen omdat ik er niet aan ben geweest. Het newznab_screen_local.sh (update script) gaat niet verder/loopt niet meer en laat continue deze error zien:

code:

PHP Warning:  mysql_fetch_assoc() expects parameter 1 to be resource, boolean given in /var/www/newznab/www/lib/binaries.php on line 451

Het probleem is dus dat ik niet aan dat script geweest ben.....

Vraag 1: geen idee, ik werk met InnoDB maar je kan in edit_these.sh aangeven of je InnoDB gebruikt of MyISAM (false = MyISAM)

Vraag 2: database probleem, optimise_database.php true runnen en geduld hebben

[Oxize]

Pfff, wordt moe van die a.b.4-all groep. Constant binaries die passworded zijn, of andere onzin. Blijkt ook heel veel spamm op binnen te komen, terwijl vanweek er nog netjes hd content op binnen kwam. Ik haal hem hier eruit en staat op mijn lijstje geblacklist.

Blacklist:

code:

german|German|Password|GERMAN|korsub|danish|flemish|french|swedish|
swesub|deutsch|xxx|XXX|norwegian|\.ita\

[ Voor 21% gewijzigd door Oxize op 05-01-2013 13:09 ]

[kmf]

Freekers schreef op zaterdag 05 januari 2013 @ 10:48:
[...]


Zou je deze database wellicht willen sharen met ons? Ik heb eventueel wel bandbreedte beschikbaar waar je het zaakje naar mag uppen

Je hebt niks aan de database, want je zal ook de gebruikte nzb's moeten hebben

[Verwijderd]

kmf schreef op zaterdag 05 januari 2013 @ 13:47:
[...]


Je hebt niks aan de database, want je zal ook de gebruikte nzb's moeten hebben

Nogmaals, waar komt die nzb archive vandaaan bij NN+ ?

[kmf]

Verwijderd schreef op zaterdag 05 januari 2013 @ 14:01:
[...]

Nogmaals, waar komt die nzb archive vandaaan bij NN+ ?

Volgens mij heb ik het al 3x gezegd. Je moet naar de chatroom van newznab gaan om deze aan te vragen.

[kmf]

Kan iemand me even helpen met een regex?

Ik zie deze bestanden

Concert.2011.BluRay.720p.2Audio.DTS.x264-beAst.mkv.045
Concert.2011.BluRay.720p.2Audio.DTS.x264-beAst.mkv.046
Concert.2011.BluRay.720p.2Audio.DTS.x264-beAst.mkv.vol001+02.PAR2

Hoe kan ik hier een regex voor bakken?

[Freekers]

kmf schreef op zaterdag 05 januari 2013 @ 13:47:
Je hebt niks aan de database, want je zal ook de gebruikte nzb's moeten hebben

Duidelijk, thanks!

Verwijderd schreef op zaterdag 05 januari 2013 @ 12:19:
Vraag 2: database probleem, optimise_database.php true runnen en geduld hebben

Thanks! Gedaan en die error is weg
Ik heb er echter 2 nieuwe voor in de plaats gekregen:

PHP Notice:  Undefined offset: 1 in /var/www/newznab/www/lib/releases.php on line 1594

sh: 1: /usr/bin/indextool: not found
PHP Notice:  Undefined index: total-documents in /var/www/newznab/www/lib/sphinx.php on line 331
Updating delta indexes
Updating 'releases'
sh: 1: /usr/bin/indexer: not found

Die eerste is ook weer zo'n vage, aangezien ook dit weer een standaard script betreft.
Die tweede is Sphinx die weer eens denkt grappig te zijn.

[ Voor 12% gewijzigd door Freekers op 05-01-2013 15:24 ]

[Verwijderd]

Goedemiddag,

Het lukt mij maar niet om Newznab plus te installeren op mijn Synology NAS, als ik onderstaande instructie uit Brickman's install Guide voor NN+ volg, wordt Newznab classic i.p.v NN+ geïnstalleerd:

# Run Installer
# It is now time to configure Newznab. This is done via a web-based installer.
# Open up http://localhost/newznab/install in a web browser (or whatever the address/IP address
# is of your server) and follow the guided steps.

In de email van Newznab staat: newznab+ can be accessed via svn at svn://svn.newznab.com/nn/branches/nnplus

Ik moet in Tortoise checkout van SVN link doen, maar het lukt mij niet om dit goed op de NAS te krijgen zodat ik NN+ kan installeren
Denk dat ik fundamentele kennis van SVN mis om dit in goede banen te leiden.
Heeft iemand dit probleem ook gehad en weten op te lossen?
Alvast bedankt !

[Delsin]

Vorige week ook een newznab servertje opgezet, ik draai dit nu onder windows 2012, iis en mariadb op een raid50. Werkt prima op zich. Maar ik probeer er nu een andere database onder te plaatsen. Zijn daar al mensen mee bezig geweest? Ik heb Postgresql voor het grootste deel nu wel aan de praat, alleen ik hou enkele queries over die ik nog niet goed geconverteerd krijg.

Maar met name de upsert's zijn me nog een raadsel. Als ik het mysql schema lees kunnen deze queries eigenlijk helemaal nooit werken en doen ze effectief alleen inserts (misschien is dat ook wel zo, maar hoe meet je dat)

Dit is een voorbeeld uit book.php:

SQL:

    INSERT INTO bookinfo  (`title`, `asin`, <snip>)  VALUES (%s,%s,<snip>)
    ON DUPLICATE KEY UPDATE  `title` = %s,  `asin` = %s,  <snip>

Normaal zou je dit ongeveer zo vertalen:

SQL:

with upsert as ( 
   UPDATE  `title` = %s,  `asin` = %s,  <snip> 
   WHERE key ... ???? ... returning id)
   INSERT INTO bookinfo  (`title`, `asin`, <snip>)  VALUES (%s,%s,<snip>)
   WHERE NOT EXISTS (SELECT 1 FROM upsert)

Alleen in het mysql schema ligt er alleen een unieke key op het ID veld wat in de code helemaal geen parameter is. Toevallig iemand een idee hoe je die ON DUPLICATE KEY UPDATE wel moet lezen?

[Delsin]

Verwijderd schreef op zaterdag 05 januari 2013 @ 16:44:
Ik moet in Tortoise checkout van SVN link doen, maar het lukt mij niet om dit goed op de NAS te krijgen zodat ik NN+ kan installeren
Denk dat ik fundamentele kennis van SVN mis om dit in goede banen te leiden.

Van je NAS weet ik niets, maar kun je niet gewoon de files naar je pc uitchecken en dan copieeren naar je NAS. Als je TortoiseSVN al geinstalleerd hebt kun je dat als het goed is vanaf een commandline:

Maak ergens een lege directory:
Dosbox openen:
c>svn checkout <url uit de nn+ mail> --username <username uit mail> --password <wachtwoord uit mail>

Dat zou genoeg moeten zijn om alle files binnen te krijgen.

Moet ook via explorer kunnen door rechts klik op lege directory.
Dan moet de optie "SVN checkout" beschikbaar zijn.
Daar kun je weer het url van de mail invullen en daarna user en password.
Let op dat het wachtwoord anders is als de username.

[Brickman]

Verwijderd schreef op zaterdag 05 januari 2013 @ 16:44:
Goedemiddag,

Het lukt mij maar niet om Newznab plus te installeren op mijn Synology NAS, als ik onderstaande instructie uit Brickman's install Guide voor NN+ volg, wordt Newznab classic i.p.v NN+ geïnstalleerd:

# Run Installer
# It is now time to configure Newznab. This is done via a web-based installer.
# Open up http://localhost/newznab/install in a web browser (or whatever the address/IP address
# is of your server) and follow the guided steps.

In de email van Newznab staat: newznab+ can be accessed via svn at svn://svn.newznab.com/nn/branches/nnplus

Ik moet in Tortoise checkout van SVN link doen, maar het lukt mij niet om dit goed op de NAS te krijgen zodat ik NN+ kan installeren
Denk dat ik fundamentele kennis van SVN mis om dit in goede banen te leiden.
Heeft iemand dit probleem ook gehad en weten op te lossen?
Alvast bedankt !

Raar!

De link naar de svn server die ik in de HowTo gebruik is dezelfde als diegene die jij hier post.

[Verwijderd]

@Delsin:
>Toevallig iemand een idee hoe je die ON DUPLICATE KEY UPDATE wel moet lezen?

Misschien wordt deze query ook gebruikt als je bijv. de titel van een boek wijzigt.. Dan stuur je nl. wel een al bestaande key mee en zal het record worden geupdatet...

[Delsin]

Hmm. dan zou id toch nog steeds onderdeel moeten zijn van de query.
Er zijn verder geen unique indexes op de tabellen aanwezig.

Ik ga maar eens proberen de queries te loggen en zo zien wat ze doen.

[Verwijderd]

Delsin schreef op zaterdag 05 januari 2013 @ 17:01:
[...]

Van je NAS weet ik niets, maar kun je niet gewoon de files naar je pc uitchecken en dan copieeren naar je NAS. Als je TortoiseSVN al geinstalleerd hebt kun je dat als het goed is vanaf een commandline:

Maak ergens een lege directory:
Dosbox openen:
c>svn checkout <url uit de nn+ mail> --username <username uit mail> --password <wachtwoord uit mail>

Dat zou genoeg moeten zijn om alle files binnen te krijgen.

Moet ook via explorer kunnen door rechts klik op lege directory.
Dan moet de optie "SVN checkout" beschikbaar zijn.
Daar kun je weer het url van de mail invullen en daarna user en password.
Let op dat het wachtwoord anders is als de username.

Bedankt Delsin, ik ga met jouw tips aan de slag.

[Verwijderd]

Raar!

De link naar de svn server die ik in de HowTo gebruik is dezelfde als diegene die jij hier post.
[/quote]


Dat klopt inderdaad Brickman, maar de webbrowser install veroorzaakt bij mij het probleem.Keer op keer wordt dan Newznab Classic geïnstalleerd.

Open up http://localhost/newznab/install in a web browser (or whatever the address/IP address
# is of your server) and follow the guided steps.

[Oxize]

Verwijder die map is helemaal dan, en haal dan opnieuw de svn binnen. Zodra je dat gedaan hebt, kan je de installatie starten en wanneer je klaar bent kan je je key invoeren bij admin > edit site > newznab id.

Je kan bij de installatie volgens mij niet zien of het een NN versie is, of een NN+. Dat kan je pas zien zodra het geinstalleerd is (classis heeft geen newznab id entry). Het enigste verschil bij de Classic en de Plus is de regexes en je newznab id, cache support, rar, etc.

Vraagje aan de anderen?

Iemand een idee hoe ik die ouderwetse(charlie chaplin) oer-films (19xx - 1990) eruit kan filteren die soms bij releases zitten?

[ Voor 25% gewijzigd door Oxize op 05-01-2013 21:15 ]

[Night89]

Zo ik heb ook mijn hele vrije week opgeofferd om dit uit te vogelen, extra spannend want een 99.9% Linux noob.

Heb het eerst getest op mijn eigen workstation (windows, via wampp) en dit ging best aardig (Met NN+).

Ik wil het nu op mijn readynas ultra proberen (geen ideee of dat te langzaam is of niet, maar gewoon proberen, gaat het echt niet heb ik nog wel de onderdelen van een amd64 3000+ ofzo waar ik een servertje uit bouw.)

Nu ben ik zover dat:
Mysql
Php 5.3
Root Acces
Geregeld is.

Apache staat er al op (De netgear frontview software draait er ook op), dus dat maakt het nog eens gecompliceerder, als de webserver echt om zeep help kom ik dus ook niet in de NAS, en heb ik een probleem

ik krijg de de WWW map niet te zien, zodra ik de .htaccess file eruit delete wel, maar daar moet ik vast nog wat instellen?

in HTTPD.conf moet ik ook nog een en ander instellen, alleen ik kom er niet uit wat precies. de ene tut. zegt
dat invoegen, de ander weer dat, er is geen precieze handleiding voor readynas.

en dan ook nog in Virtual.conf ( een vhost aanmaken?)

dir is /c/www/newznab/www/

Kan iemand mij op weg helpen?

Als dit bij voorbaat een verloren zaak is om dit op een nas te zetten hoor ik het ook graag!

(PHP.ini settings en chmod staat allemaal goed)

[Oxize]

Weet alleen hoe je dit onder windows moet instellen, maar niet onder Linux, maar google doet wonderen.

http://www.thegeekstuff.com/2011/07/apache-virtual-host/
http://www.labtestproject..._server_on_fedora_11.html

en

http://www.linuxquestions...ts-how-to-use-4175441373/

[ Voor 17% gewijzigd door Oxize op 06-01-2013 19:41 ]

[Night89]

Onderstaand mijn Virtual.conf dit is standaard (en dan werkt frontview) (wat is de code-tag?)

#vers=2
<VirtualHost _default_:80>
SSLEngine off
RewriteEngine on
RewriteRule ^/(.*)$ https://%{SERVER_NAME}/$1 [R,L]
</VirtualHost>


Als ik nou een newznab vhost toevoeg ziet het er zo uit:

#vers=2
<VirtualHost _default_:80>
SSLEngine off
RewriteEngine on
RewriteRule ^/(.*)$ https://%{SERVER_NAME}/$1 [R,L]
</VirtualHost>

<VirtualHost *:80>
ServerName newznab
DocumentRoot "/www/newznab/www"
<Directory /www/newznab/www>
AllowOverride All
ReWriteEngine On
</Directory>
</VirtualHost>


En dan werkt geen van beide meer, krijg na de apache restart deze melding:

[Sun Jan 06 21:48:25 2013] [warn] _default_ VirtualHost overlap on port 80, the first has precedence


Al haal ik _default_ weg, maakt niet uit, tevens werkt de frontview page dan ook niet meer..

heb zo goed als alle sites al gehad via google (behalve de onderste, thnx anyway) en ik kom er niet uit..

[Tsurany]

Ik wil m'n eigen installatie op gaan zetten, tutorials gevonden. Even de plus versie aanschaffen en dan aan de gang. Wat denken jullie qua sizing? 2GB RAM met 10GB HDD en een X2 4850e processor genoeg om fatsoenlijk aan de gang te gaan? Gok dat het opzetten van een backlog wat tijd en moeite zal kosten maar dat is in een weekje wel te doen als we er vanuit gaan dat ik de populaire TV serie groepen pak? En dan is het gewoon dagelijks bijhouden en dat moet met deze specs wel kunnen lijkt me?

[Oxize]

Ja, dat gaat wel lukken. Mijn webserver (Asus EeeBox) draait op een Intel Atom 330 1.6GHZ met 2GB Ram met een 120GB SSD (ja ik weet het, sql op ssd ). Op moment neemt newznab zelf nog geen 1GB in met 12 nieuwsgroepen en een backfill van 30 dagen.

Kan je een hele tijd mee vooruit.

Als je gaat backfillen, doe dit dan rustig. Per paar nieuwsgroepen per keer, anders heb je kans dat je sql-database het niet meer aankan.

[ Voor 19% gewijzigd door Oxize op 06-01-2013 23:36 ]

[Tsurany]

Dus voor 300 dagen zit je op een GB of ~10, dat moet wel lukken Thnx, gaan we eens rustig kijken en proberen

[henwy]

Tsurany schreef op zondag 06 januari 2013 @ 23:40:
Dus voor 300 dagen zit je op een GB of ~10, dat moet wel lukken Thnx, gaan we eens rustig kijken en proberen

Ik zou proberen iets meer ruimte dan 10GB weg zetten. Zodra je alles hebt draaien en wat meer wilt kan de database snel groeien. Helemaal als je nog een tijdje terug gaat backfilen of wat meer groepen wilt gaan toevoegen. Ik zit na een maand op ongeveer 60GB met ca. 20 groepen en ben nog niet halverwege met het importeren van films en series uit het nzb archief. De folder waar mijn nzbfiles worden opgeslagen is al 4GB.

[ Voor 4% gewijzigd door henwy op 07-01-2013 10:26 ]