Waar haal jij de Nzb archives vandaan?kmf schreef op maandag 17 december 2012 @ 09:16:
Ik moet zeggen dat ik vrij tevreden ben met mijn setup nu.
Ik heb een HP40L microserver met ubuntu, apache en mysql.
10GB RAM. OS staat op HDD, Mysql op een Crucial M4 van 128GB
MySQL is innodb, met Inno-file per table.
Afgelopen week heb ik 380.000 releases verwerkt. Allemaal van de nzb-archives. Ik denk dat ik nu ongeveer 50% heb verwerkt. Dus ongeveer 2-3 jaar aan materiaal.
Ik laat de database elke keer tot 80GB groeien, en dan optimize ik de database weer. Deze wordt dan weer rond de 15GB.
De update scripts heb ik wel wat aangepast.
Ik draai nu een custom cleanup script. Deze blijft op de achtergrond de verwerkte en dubbele parts opschonen (procstate =4 of 6)
Ik heb een aparte script welke de geselecteerde groepen blijft refreshen. Maar dan alleen update_binaries_threaded.php
Ik heb een stuk of 10 threads lopen, welke de nzb-archives importeert.
Daarnaast draait een script welke de releases doorvoert. (deze is de traagste omdat deze een enorme bak aan backfills moet verwerken.)
:strip_icc():strip_exif()/u/298667/crop564da5f628b8b_cropped.jpeg?f=community)
Kon ik toch niet weten
? Check je DM.Thanks voor de uitleg.
Voor Newznab+ donateurs only.
🔋 MG Marvel R Luxury 70kWh | ☀️ 2225Wp oost, 1580Wp zuid, 2225Wp west | 🌡️ Daikin 3,5kW + 3x 2,5kW l/l & Ariston Nuos Split 270L l/w warmtepomp
:strip_icc():strip_exif()/u/3961/crop5db704370db74.jpeg?f=community)
Ik kan hem ook niet vinden (ben donateur). Waar staat de file precies?:
[...]
Kon ik toch niet weten
Thanks voor de uitleg.
[...]
Voor Newznab+ donateurs only.
:strip_icc():strip_exif()/u/184727/ic.tweakimg.net.jpg?f=community)
Ik ben ermee aan de slag gegaan, maar ik vraag me af wat het verschil is met deze methode die ik voorbij heb zien komen:
sudo mysql -p use newznab; ALTER TABLE parts ENGINE = INNODB; ALTER TABLE binaries ENGINE = INNODB; ALTER TABLE partrepair ENGINE = INNODB; quit
Maar natuurlijk. Ik zal sowieso de OP binnenkort updaten. De afgelopen week is veel gebeurd in Newznab land, dus is het misschien ook handig om wat duidelijkheid te scheppen over zaken zoals deze:
(Zie antwoord van Kmf, hij was me net voor
kmf in "[Ervaringen] Newznab")
🔋 MG Marvel R Luxury 70kWh | ☀️ 2225Wp oost, 1580Wp zuid, 2225Wp west | 🌡️ Daikin 3,5kW + 3x 2,5kW l/l & Ariston Nuos Split 270L l/w warmtepomp
/u/141707/crop61b9b8ef862c4_cropped.png?f=community)
🔋 MG Marvel R Luxury 70kWh | ☀️ 2225Wp oost, 1580Wp zuid, 2225Wp west | 🌡️ Daikin 3,5kW + 3x 2,5kW l/l & Ariston Nuos Split 270L l/w warmtepomp
🔋 MG Marvel R Luxury 70kWh | ☀️ 2225Wp oost, 1580Wp zuid, 2225Wp west | 🌡️ Daikin 3,5kW + 3x 2,5kW l/l & Ariston Nuos Split 270L l/w warmtepomp
🔋 MG Marvel R Luxury 70kWh | ☀️ 2225Wp oost, 1580Wp zuid, 2225Wp west | 🌡️ Daikin 3,5kW + 3x 2,5kW l/l & Ariston Nuos Split 270L l/w warmtepomp
Verwijderd
zo jongens loopt nu lekker hier 
database begint aardig te vullen, mis alleen alle 3D films op dit moment, in welke groep worden deze gepost?
database begint aardig te vullen, mis alleen alle 3D films op dit moment, in welke groep worden deze gepost?
Verwijderd
Ik probeer nog maar één groep te vullen, maar ik krijg steeds constant "Getting next article date... -INF" bij het uitvoeren van /newznab/misc/update_scripts/nix_scripts/newznab_screen_local.sh
Heb ik gewoon niet genoeg geduld, of doe ik iets ontzettend fout?
Nogmaals uitvoeren en ik krijg: Stage 1 : Applying regex to binaries
Dat zal wel even duren op een Atom doosje ja
Heb ik gewoon niet genoeg geduld, of doe ik iets ontzettend fout?
Nogmaals uitvoeren en ik krijg: Stage 1 : Applying regex to binaries
Dat zal wel even duren op een Atom doosje ja
[ Voor 20% gewijzigd door Verwijderd op 17-12-2012 18:19 ]
Verwijderd
Dat valt wel mee hoor:
Ik probeer nog maar één groep te vullen, maar ik krijg steeds constant "Getting next article date... -INF" bij het uitvoeren van /newznab/misc/update_scripts/nix_scripts/newznab_screen_local.sh
Heb ik gewoon niet genoeg geduld, of doe ik iets ontzettend fout?
Nogmaals uitvoeren en ik krijg: Stage 1 : Applying regex to binaries
Dat zal wel even duren op een Atom doosje ja
ligt een beetje aan hoeveel hij er binnen heeft gehaald...Heeft er iemand een regexe voor nederlandse releases? denk aan QOQ en SRT, TVFREAKS etc
Ik heb nu:
code:
1
| /^.*?QoQ.*?\[(?P<parts>\d{1,3}\/\d{1,3})\].*?\"(?P<name>.*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|srt|ass|mpg|txt|zip|wmv|ssa|r\d{1,3}|7z|tar|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|ac3|t\d{1,2}|u\d{1,3})/iS |
code:
1
| /^.*?SRT.*?\[(?P<parts>\d{1,3}\/\d{1,3})\].*?\"(?P<name>.*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|srt|ass|mpg|txt|zip|wmv|ssa|r\d{1,3}|7z|tar|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|ac3|t\d{1,2}|u\d{1,3})/iS |
code:
1
| /^.*?TVFREAKS.*?\[(?P<parts>\d{1,3}\/\d{1,3})\].*?\"(?P<name>.*?)\.(sample|mkv|Avi|mp4|vol|ogm|par|rar|sfv|nfo|nzb|srt|ass|mpg|txt|zip|wmv|ssa|r\d{1,3}|7z|tar|mov|divx|m2ts|rmvb|iso|dmg|sub|idx|rm|ac3|t\d{1,2}|u\d{1,3})/iS |
Maar bij mij laat hij niks zien (db is nog niet zo vol) wie kan dit testen?
[ Voor 19% gewijzigd door Verwijderd op 17-12-2012 18:59 ]
/u/345718/ding.png?f=community)
/u/3842/w55.JPG?f=community)
Verwijderd
Ik weet niet of die vraag aan mij gericht was
maar bij deze:11 groepen
a.b.cores
a.b.etc
a.b.hdtv
a.b.hdtv.x264
a.b.misc
a.b.movies
a.b.multimedia
a.b.multimedia.tv
a.b.teevee
a.b.tvseries
a.b.x264
Dit kan natuurlijk nog veranderen, naar gelang er genoeg gevonden wordt... Backfillen doe ik niet. Er wordt tegenwoordig toch veel sneller gewist op de usenetservers (op vraag van de studios) dus heeft het op zich geen zin om gegevens van jaren terug gaan bij te houden... Enkele maanden is voor mij op dit moment al meer als voldoende.
Verwijderd
Het rare van het verhaal is, dat een ander usenetprogramma zoals bvb newsleecher of grabit, dezelfde poorten gebruiken, en toch zonder problemen "buiten" raken. Of heb je met andere programma's vroeger ook al problemen gehad?:
[...]
Doet ie ook niet.
Ik kreeg op mijn windows test server ook zo'n socks foutmelding, dat had te maken dat ik de juiste extensions niet had aangezet. als je op linux zit zou dit ook niet het geval mogen zijn...
voor elke nfo wordt daadwerkelijk de nfo opgehaald van de newsserver. Meerdere keren als het eerst niet lukt.
En nee, je kan daar niks aan doen helaas... gelukkig is het alleen traag als je heel veel backfilled of importeerd
En nee, je kan daar niks aan doen helaas... gelukkig is het alleen traag als je heel veel backfilled of importeerd
[ Voor 19% gewijzigd door kmf op 18-12-2012 00:12 ]
One thing's certain: the iPad seriously increases toilet time.. tibber uitnodigingscode: bqufpqmp
Haha laat dat nou net de bedoeling zijn:gelukkig is het alleen traag als je heel veel backfilled of importeerd
Ik ben ook de nzb-archive files aan het importeren!
Verwijderd
-edit
Snel reggen want ik zet hem over een half uur uit!
Snel reggen want ik zet hem over een half uur uit!
[ Voor 13% gewijzigd door Verwijderd op 18-12-2012 00:40 ]
:strip_exif()/u/8422/waarschuwing.gif?f=community)
:strip_icc():strip_exif()/u/232412/profiel_img_tweakers.jpg?f=community)
Het probleem zit hem in het php.ini bestand.
Configureer deze zoals op onderstaande afbeelding en pear werkt prima. (regel 804)
Ga niet uit van het haalbare, maar van het denkbare
Helaas kan je daar niet omheen. Naja, vast wel. Ik ben op dat onderdeel nog niet ingedoken. ik vind mijn huidige setup wel acceptabel namelijk. Gewoon deze week even alles goed opzetten. Hierna gaat het vast wel sneller met normale updates.:
[...]
Haha laat dat nou net de bedoeling zijn
One thing's certain: the iPad seriously increases toilet time.. tibber uitnodigingscode: bqufpqmp
Welk onderdeel van niet delen van indexers heb je niet begrepen?:
-edit
Snel reggen want ik zet hem over een half uur uit!
🔋 MG Marvel R Luxury 70kWh | ☀️ 2225Wp oost, 1580Wp zuid, 2225Wp west | 🌡️ Daikin 3,5kW + 3x 2,5kW l/l & Ariston Nuos Split 270L l/w warmtepomp
:strip_icc():strip_exif()/u/26315/bleh.jpg?f=community)
Helaas.....ook met deze aanpassing blijf ik de melding krijgen in newznab dat hij Pear niet kan vinden.
NAS heeft geen herstart nodig toch of wel?
Ik heb de gehele IPKG opnieuw gedaan en ook bovenstaande zojuist nog gedaan helaas zonder succes
Zal de NAS even rebooten maar lijkt me niet nodig?
EDIT: Blijkbaar wel nodig want alles is nu groen
apache restart was ook voldoende.
:
[...]
Helaas.....ook met deze aanpassing blijf ik de melding krijgen in newznab dat hij Pear niet kan vinden.
NAS heeft geen herstart nodig toch of wel?
[...]
Ik heb de gehele IPKG opnieuw gedaan en ook bovenstaande zojuist nog gedaan helaas zonder succes
Zal de NAS even rebooten maar lijkt me niet nodig?
EDIT: Blijkbaar wel nodig want alles is nu groen
Gadget-freakz.com. Feedback en tips zijn welkom.
:strip_icc():strip_exif()/u/108990/crop5954e0a770919_cropped.jpeg?f=community)
Technical enthousiast on a budget - DiY Tutorials, How-To's and Information on how to do things yourself, better & cheaper - The Dutch way.
:strip_icc():strip_exif()/u/353335/crop58cbe9abc06ba_cropped.jpeg?f=community)
Verwijderd
Newznab draait nu , maar nu wil ik de verbinding met couchpotato/sickbeard opzetten...
De api instellingen staan correct, de http://ip_address/ en de api key staan erin, maar als ik nu in couchpotato een film wil starten (die al mooi gevonden werd door mijn eigen newznab install - heel leuk ) dan krijg ik de volgende foutmelding in de couchpotato log:
[.core.downloaders.sabnzbd] Failed sending release, probably wrong HOST: Traceback (most recent call last): HTTPError: HTTP Error 401: Unauthorized
Iemand CP al werkend gekregen?
Opgelost: sabnbzd heeft dus 2 verschillende poorten, een voor het http verkeer (8080) en een voor het https verkeer (9090) en als je dan http://ip_address:9090 doet, dan komt er dus niks binnen
De api instellingen staan correct, de http://ip_address/ en de api key staan erin, maar als ik nu in couchpotato een film wil starten (die al mooi gevonden werd door mijn eigen newznab install - heel leuk
) dan krijg ik de volgende foutmelding in de couchpotato log:[.core.downloaders.sabnzbd] Failed sending release, probably wrong HOST: Traceback (most recent call last): HTTPError: HTTP Error 401: Unauthorized
Iemand CP al werkend gekregen?
Opgelost: sabnbzd heeft dus 2 verschillende poorten, een voor het http verkeer (8080) en een voor het https verkeer (9090) en als je dan http://ip_address:9090 doet, dan komt er dus niks binnen
[ Voor 15% gewijzigd door Verwijderd op 18-12-2012 21:15 . Reden: Opgelost ]
:strip_icc():strip_exif()/u/12670/BMW523i-icon.jpg?f=community){kind=icon}
Ehm... je beseft wel dat je nu een hoop binaries heb zonder parts?:
[...]
Gedaan.. ik gebruik hiervoor phpmyadmin.. lekker makkelijk
One thing's certain: the iPad seriously increases toilet time.. tibber uitnodigingscode: bqufpqmp
Absoluut is die er al. Bij de NN+ versie kun je in de misc folder het php script: backfill_date.php vinden
Hier moet je de datum als argument meegeven. Bijv. tot 10 Juli 2012 wordt dit:
code:
1
| screen php backfill_date.php 2012-07-10 |
Succes
Bedankt, ik heb het geprobeerd maar hij script sluit gelijk weer af, waar preices moet ik dat stukje code plaatsen::
[...]
Absoluut is die er al. Bij de NN+ versie kun je in de misc folder het php script: backfill_date.php vinden
Hier moet je de datum als argument meegeven. Bijv. tot 10 Juli 2012 wordt dit:
code:
Succes
<?php
/*
DESCRIPTION:
This script is an alternative to backfill.php.
It allows you to backfill based on a specific date, bypassing
the "backfill target" setting for each group, used by backfill.php
PURPOSE:
If you are backfilling many groups over a long span of time, the # of days
set as your backfill target can become quickly outdated, resulting in
potential gaps in your database. In this case, it may be more practical
to specify a date explicity and just let the backfill work from there.
USAGE:
$ php backfill_date.php 2011-05-15
=> Script will backfill ALL active groups from May 15, 2011
$ php backfill_date.php 2011-05-15 alt.binaries.games.xbox
=> Script will backfill ONLY a.b.games.xbox from May 15, 2011
*/
backfill_date.php 2002-04-27
require("config.php");
require_once(WWW_DIR."/lib/backfill.php");
$time = strtotime($argv[1]);
if (($time > 1) && ($time < time())) {
$groupName = (isset($argv[2]) ? $argv[2] : '');
$backfill = new Backfill();
$backfill->backfillAllGroups($groupName, strtotime($argv[1]));
} else {
echo "You must provide a backfill date in the format YYYY-MM-DD to use backfill_date.php\n";
echo "example: backfill_date.php 2002-04-27 alt.binaries.games.xbox\n";
echo "This will backfill your index with everything posted to a.b.g.x since April 27, 2002";
echo "If you choose not to provide a groupname, all active groups will be backfilled.\n";
echo "\nIf you do not want to use a date, use the backfill.php script instead.\n";
}
?>
:strip_icc():strip_exif()/u/68433/jikkefox_small.jpg?f=community)
Technical enthousiast on a budget - DiY Tutorials, How-To's and Information on how to do things yourself, better & cheaper - The Dutch way.
Persoonlijk zou ik voor linux gaan, al was het allemaal om het feit dat hoeveelheid documentatie ietwat groter is.
Ik ben nu al een week flink aan het knoeien met mijn eigen newznab server en ik moet zeggen dat het al aardig goed werkt. Hij draait nu ca. een week en ik ben druk bezig met het importeren van nzbs. Merk nu wel dat mijn huis tuin en keukenservertje hier misschien niet de beste keus voor was, de swap (4GB intern) word continue aangesproken en dan zijn het ook nog trage IDE schijven
.
:strip_icc():strip_exif()/u/46516/crop5d6a9111f00ea_cropped.jpeg?f=community)
Ik heb echter geen ervaring met linux... wel Windows Server. Is dit te doen als linux noob?:
[...]
Persoonlijk zou ik voor linux gaan, al was het allemaal om het feit dat hoeveelheid documentatie ietwat groter is.
Ik ben nu al een week flink aan het knoeien met mijn eigen newznab server en ik moet zeggen dat het al aardig goed werkt. Hij draait nu ca. een week en ik ben druk bezig met het importeren van nzbs. Merk nu wel dat mijn huis tuin en keukenservertje hier misschien niet de beste keus voor was, de swap (4GB intern) word continue aangesproken en dan zijn het ook nog trage IDE schijven
Verwijderd
Op zich is het set & forget, maar in het begin is het natuurlijk wel even zoeken. Er zijn al een hele hoop tutorials uit, hoe je dit allemaal kan configureren, maar die zijn overwegend geschreven voor linux. Je gaat dus zowiezo meer antwoorden op je vragen vinden als je linux pakt..:
[...]
Ik heb echter geen ervaring met linux... wel Windows Server. Is dit te doen als linux noob?
En kijk, lukt het je dan na wat proberen toch niet, kan je nog altijd Windows gebruiken niet?
Ben er al uit
Oorzaak is als je in je profile settings "View Music Page" en "View Book Page" aan hebt staan terwijl er nog geen lookups gelukt zijn (Only shows music/books with known lookup info)Dat er geen lookups gelukt waren lag aan mijn Amazon API keys die niet werkte
@ mr happy: beiden geprobeerd (als argument een boek naam), kreeg opeens een response ipv Failed
[ Voor 8% gewijzigd door Simkin op 19-12-2012 22:17 ]