[Ervaringen] Newznab

[Phyxion]

200 man zal geen probleem zijn hoor, anders heb je wel een erg trage server

Met invites, iets van 0,50-1 euro / maand moet redelijk zijn toch (minimaal een half jaar oid)? Is de server dan down dan ben je vrijwel niks kwijt.

[ Voor 49% gewijzigd door Phyxion op 11-12-2012 11:52 ]

[jarco5000]

Gaat er ergens iemand komen die de boel een beetje coördineert?

[White_Collar]

tcviper was toch bezig met het opzetten van een server?

[FabianNL]

Phyxion schreef op dinsdag 11 december 2012 @ 11:49:
200 man zal geen probleem zijn hoor, anders heb je wel een erg trage server

Met invites, iets van 0,50-1 euro / maand moet redelijk zijn toch (minimaal een half jaar oid)? Is de server dan down dan ben je vrijwel niks kwijt.

Van servers heb ik echt totaal geen verstand, helemaal niet van een Newznab, geen idee dus hoeveel mensen die kunnen verwerken

En 1 euro per maand lijkt mij inderdaad prima, is dat zelfs niet wat weinig voor degene welke de server beheert? Inderdaad, invite is X euro donderen en gaan met die banaan. Klinkt als makkelijk werkbaar!

jarco5000 schreef op dinsdag 11 december 2012 @ 11:54:
Gaat er ergens iemand komen die de boel een beetje coördineert?

Wat denk je dat we met z'n allen hier aan het doen zijn?

White_Collar schreef op dinsdag 11 december 2012 @ 11:56:
tcviper was toch bezig met het opzetten van een server?

Onder andere inderdaad, volgens mij heeft tcviper een goede/serieuze server evenals Freekers. Daarnaast een hoop andere 'kleinere', welke misschien stiekem ook wel groot zijn?

[ Voor 3% gewijzigd door FabianNL op 11-12-2012 12:01 ]

[ShadowBumble]

White_Collar schreef op dinsdag 11 december 2012 @ 11:56:
tcviper was toch bezig met het opzetten van een server?

Naar mijn weten draaien er inmiddels al een stuk of 7 indexers nu

Ik draai momenteel newznab+ in mijn ESXi test enviroment, maar die is niet van buitenaf benaderbaar althans nog niet ben nu een test run aan het doen met 2 groups op 30 Dagen backfill.

Vanmorgen had ik iets meer dan een database van ruim 3500 releases uit die 2 groups en hij was nog hard bezig.

[ Voor 38% gewijzigd door ShadowBumble op 11-12-2012 12:02 ]

[kingpol]

is dit een soort binsearch? maar dan lokaal?

[S401]

En ik ben ook bereid om te doneren. Gelijk me even aangemeld via spreadsheet. Ik las al dat de Synology te zwak, anders had ik graag mee geholpen. En ik ben best bereid 1-5 euro in de maand te doneren.

[Phyxion]

FabianNL schreef op dinsdag 11 december 2012 @ 12:00:
[...]


Van servers heb ik echt totaal geen verstand, helemaal niet van een Newznab, geen idee dus hoeveel mensen die kunnen verwerken

En 1 euro per maand lijkt mij inderdaad prima, is dat zelfs niet wat weinig voor degene welke de server beheert? Inderdaad, invite is X euro donderen en gaan met die banaan. Klinkt als makkelijk werkbaar!


[...]


Wat denk je dat we met z'n allen hier aan het doen zijn?


[...]


Onder andere inderdaad, volgens mij heeft tcviper een goede/serieuze server evenals Freekers. Daarnaast een hoop andere 'kleinere', welke misschien stiekem ook wel groot zijn?

Voor 1 € / maand een nieuwe server, waarschijnlijk niet (afhankelijk van hoeveel mensen erop zitten). Voor mensen die al een server hebben staan (zoals ik) en om het er even naast te draaien is het wel te doen.

kingpol schreef op dinsdag 11 december 2012 @ 12:00:
is dit een soort binsearch? maar dan lokaal?

Ja, soort van BS.

[ Voor 8% gewijzigd door Phyxion op 11-12-2012 12:05 ]

[MrOizo2005]

Phyxion schreef op dinsdag 11 december 2012 @ 12:05:
[...]
Voor 1 € / maand een nieuwe server, waarschijnlijk niet (afhankelijk van hoeveel mensen erop zitten). Voor mensen die al een server hebben staan (zoals ik) en om het er even naast te draaien is het wel te doen.


[...]

Ja, soort van BS.

Idem, heb ook een eigen server draaien, draai newznab er nu naast.

[FDMK]

Ik heb geen dikke pijp liggen thuis maar kan ook wel een vm in elkaar rammelen maar dan heb ik wel wat requirements nodig Datastore is te krap atm.

[Apie!]

Ik ben misschien wel bereid om te doneren, maar ben nogal paranoia mbt mijn nick in een online spreadsheetje met als titel 'Newznab - donateurs'

Dit is ook niet echt wat je noemt, een besloten forum oid.

[ Voor 17% gewijzigd door Apie! op 11-12-2012 12:08 ]

[White_Collar]

Apie! schreef op dinsdag 11 december 2012 @ 12:08:
Ik ben misschien wel bereid om te doneren, maar ben nogal paranoia mbt mijn nick in een online spreadsheetje met als titel 'Newznab - donateurs'

Dit is ook niet echt wat je noemt, een besloten forum oid.

fixed

[ShadowBumble]

Rooke schreef op dinsdag 11 december 2012 @ 12:07:
Ik heb geen dikke pijp liggen thuis maar kan ook wel een vm in elkaar rammelen maar dan heb ik wel wat requirements nodig Datastore is te krap atm.

Mijn VM is momenteel ingesteld op 2x 1.6Ghz met 2048Mb geheugen, ik heb wel een dikke verbinding thuis liggen, en mijn exact setup van welke daemons staat ergens in het topic ( ben te lui om het op te zoeken ).

Nu test runs aan het doen ( zoals zovelen ) zal ik eens gaan kijken om hem eventueel open te zetten voor invite en dan eerst met een kleine groep eens goed testen, wat de load & bandwidth doet.

[ItsValium]

Load op mijn test vm valt me heel goed mee, enkel heb ik de datastore wat te klein bemeten Als de donaties een tweetal euro per maand per gebruiker zijn dan ben ik bereid om een private server op degelijke hardware en in mijn datacenterracks te draaien, op voorwaarde dat er genoeg gebruikers zijn

[jarco5000]

FabianNL schreef op dinsdag 11 december 2012 @ 12:00:

[...]


Wat denk je dat we met z'n allen hier aan het doen zijn?

Ik had gewoon de indruk dat iedereen wat newsnab(+) installaties aan het doen was.

Ik had de gedachte dat er echt een centraal initiatief zou zijn waar iedereen zijn schouders desgewenst kon onderzetten. Heb ik dat verkeerd begrepen?

[Ultimation]

Iedereen zit te werken met MySQL. Is het niet mogelijk om PostgreSQL of Oracle te gebruiken? Schaalt wat beter dan MySQL.

[Dennism]

heb me ook opgegeven, ben nu ff aant testen op mijn syno na wat gekloot maar dat gaat niet heel vlot

[senn]

Ultimation schreef op dinsdag 11 december 2012 @ 12:19:
Iedereen zit te werken met MySQL. Is het niet mogelijk om PostgreSQL of Oracle te gebruiken? Schaalt wat beter dan MySQL.

Ik ben bezig het zooitje draaiende te krijgen op Drizzle. Met betrekking tot schaalbaarheid: hoe groot wil jij je community maken? De meeste query's (vanuit Sickbeard/CouchPotato) kan je simpel cachen.

[marnix1977]

draaien krijgen is volgens mij niet zo heel lastig. Misschien ook handig om te kijken wel groepen je gaat indexen en natuurlijk die regex dingen.

Van de week maar even de betaalde versie nemen. Net ff zitten testen met de normale versie en loopt best aardig.

[Ultimation]

Gaat eerder om dat de database ook +25Gb kan worden. Dan begint MySQL toch wel een beetje te haperen.

[MrOizo2005]

Ultimation schreef op dinsdag 11 december 2012 @ 12:40:
Gaat eerder om dat de database ook +25Gb kan worden. Dan begint MySQL toch wel een beetje te haperen.

Valt mee, heb zelf al databases van 80+ GB draaien, en dat gaat nog goed. Maarja ik weet niet of de database van Newznab knap in elkaar zit

[AjDuLion]

hier op een vm draaien met 8 core's op 3,2 ghz en 8gb ram.. enig wat mij niet aanstaat is dat je bij langere releases al snel tegen honderden GB's aan data aanloopt en het is volgens mij nergens makkelijk te ''delen''

zou mooi zijn als je meerdere servers hebt waarvan er een p2p database is, valt er ergens een servertje uit dan draait alles vrolijk door.

momenteel alles op apache en mysql lopen maar zag al dat er wat performance issues zijn met mysql dus misschien ook overstappen op wat anders en dat testen.

[Damian]

Coenen schreef op dinsdag 11 december 2012 @ 11:21:
@BioHazard, mocht je wat regexen willen hebben;


[...]

ik ben echt een linux prutser , hoe zet ik deze erin?

[BioHazard]

Damian schreef op dinsdag 11 december 2012 @ 12:53:
[...]


ik ben echt een linux prutser , hoe zet ik deze erin?

Ik heb uiteindelijk de echt SQL file gevonden ipv HTML gemaskeerd als SQL. Die SQL file kan je simpelweg via bijv PHPMyadmin injecteren in je Newznab database.

De SQL file die ik heb gebruikt: Klik

[ Voor 14% gewijzigd door BioHazard op 11-12-2012 12:57 ]

[BlaBla1973]

Ook ik ben bereid om te doneren.
Gelijk aangemeld via spreadsheet...

Als de kosten 1-3 euro per maand zijn .. NP

[ Voor 7% gewijzigd door BlaBla1973 op 11-12-2012 13:18 ]

[Joshu]

Na de hele ochtend in gelezen te hebben ben ik ook maar eens aan de gang gegaan.
Voor mij gaat het maar om een paar series en eventueel een film op dit moment dus heel groots ga ik het niet aan pakken denk ik.
Heb niet veel ervaring met dit alles maar het draaide zo op WHS2011.
Naar het hele Sphinx verhaal heb ik nog niet gekeken.
Mocht er iemand vragen hebben over de installatie op WHS2011 dan laat maar weten.

Op dit moment is hij bezig om de eerste headers binnen te halen en op mijn I3 3.2Ghz + 8Gb ram merk ik er weinig van om heel eerlijk te zijn .
ben dus ook meteen begonnen (na wat tests) met 18 groepen 100 dagen retentie.

Heb ook maar even meteen het excellijstje aangevuld want een backup is nooit mis.

[kmf]

Ik hoop dat er een lijstje met te indexeren groepen komt. Geen idee welke groepen je nou moet hebben tegenwoordig...

[Coenen]

Lol, mijn set up is praktisch hetzelfde als die van jouw Joshu.
Ook WHS2011, een i3 met 8GB geheugen.

[senn]

Damian schreef op dinsdag 11 december 2012 @ 12:53:
[...]


ik ben echt een linux prutser , hoe zet ik deze erin?

Je kan ook in je Newznab settings even de 'Latest Regex Lookup URL:' wijzigen naar die URL en update_releases.php draaien.

[senn]

kmf schreef op dinsdag 11 december 2012 @ 13:04:
Ik hoop dat er een lijstje met te indexeren groepen komt. Geen idee welke groepen je nou moet hebben tegenwoordig...

Als je dit topic doorzoekt op boneless vind je een rijtje die mij is aangeraden; in die groepen kan ik in principe alles vinden.

[kmf]

senn schreef op dinsdag 11 december 2012 @ 13:06:
[...]


Als je dit topic doorzoekt op boneless vind je een rijtje die mij is aangeraden; in die groepen kan ik in principe alles vinden.

Had ik al gedaan, maar ik kan die rijtje niet vinden waar je naar refereert? Maar dat lijkt me ook wel een mooie lijstje voor de TS denk ik.

[MrOizo2005]

Backlog op een paar bekende groepen lopen nu: 1550 days
Kijken hoe groot de database gaat worden

[senn]

kmf schreef op dinsdag 11 december 2012 @ 13:07:
[...]


Had ik al gedaan, maar ik kan die rijtje niet vinden waar je naar refereert? Maar dat lijkt me ook wel een mooie lijstje voor de TS denk ik.

Multimedia, Teevee, a.b.tv, a.b.boneless, a.b.hdtv

[Joshu]

Coenen schreef op dinsdag 11 december 2012 @ 13:05:
Lol, mijn set up is praktisch hetzelfde als die van jouw Joshu.
Ook WHS2011, een i3 met 8GB geheugen.

Hoe bevalt de load bij jou?
Af en toe zie ik een piek in het CPU gebruik tot max 60% en verder zie ik er eigenlijk helemaal niets aan.
Zou er nog iets te behalen vallen door het gebruik van Sphinx?

Ik laat wel even iets achter hoe groot de database hier geworden is, hij zal de komende tijd echter nog wel druk bezig zijn.

[ShadowBumble]

Ultimation schreef op dinsdag 11 december 2012 @ 12:40:
Gaat eerder om dat de database ook +25Gb kan worden. Dan begint MySQL toch wel een beetje te haperen.

Daarom heb ik ook percura draaien das een optimized fork van mySQL die daar dus geen problemen mee heeft

[Freekers]

Dit topic is echt booming. Mooi om alle initiatieven te zien. Ik ben momenteel niet in de buurt van een pc dus zal straks even alle posts nalopen ook met name het donatie gedeelte. Kom ik op terug.

[AjDuLion]

ik ben voornamelijk benieuwd of iemand een oplossing heeft om een (hetzij gesloten/vpn) oplossing heeft om een database te delen zodat niet iedereen zelf hoeft te zoeken maar wel alsnog een fallback kan zijn.

[robobeat]

zo, samen, ik sta compleet open voor dit soort ideeën. donatie is gedaan naar ze, dus de plus versie ga ik ook draaien. Zelf draai ik thuis een halve HTPC / server die ik hier wel voor aan kan zetten, maar eerst even kijken wat de load is. anders word het een VM op mijn eigen bak. maar consider me part of this, eventueel door middel van donatie en server. gelwedig initiatief! misschien wel een idee om dit ergens anders te bespreken? IRC, eigen forum, etc?

zelf beschik ik over een ziggo AIO plus verbinding, dus mijn up is niet super.

[Rhizosis]

Ik ga deze installatie vanavond in gang zetten. Waarschijnlijk houd ik deze privé, but who knows! Als ik de tijd kan vinden in de toekomst om het wat grootster op te zetten, dan laat ik het weten.

[Phyxion]

AjDuLion schreef op dinsdag 11 december 2012 @ 13:23:
ik ben voornamelijk benieuwd of iemand een oplossing heeft om een (hetzij gesloten/vpn) oplossing heeft om een database te delen zodat niet iedereen zelf hoeft te zoeken maar wel alsnog een fallback kan zijn.

Dat zou inderdaad ideaal zijn, eigenlijk wil je minimaal daily backup hebben als fallback.

[ShadowBumble]

Heeft iedereen eigenlijk al een goedwerkende filter wat duitse franse spanish en dergelijke eruit filterd ?
Enige dingen die ik wil zien is Nederlands of Engels en meer niet.

Ik heb geen idee hoe groot de DB is na 2 Groups 30dagen backfill indexeren maar als die klaar zijn dan moet ik nog een group of 8 toevoegen.

[Coenen]

Ik ben van het weekend in no-time over de 25GB heen gegaan. Nu (sinds gister begonnen) met 10 groepen een database van 300MB. Van het weekend had ik voor sommige groepen de backfill days op 100 staan en ik had het backfill script gedraaid. Nu doe ik het rustig aan, met backfill days op 1 en GEEN backfill script.

Ik zie nu tijdens een sleep al een load van 16%, ik gebruik m´n server ook als workstation.
Tijdens een binaries update zag ik hem pieken op ongeveer 55%
In totaal nu zo´n 4GB geheugen in gebruik, maar dat is niet alleen van newznab.

Sphinx heb ik nog niet draaien. Daar moet-wil ik nog naar kijken. Ik heb nog geen idee wat dat voor mij gaat doen. Ik wil Newznab nu alleen even puur voor TV series gebruiken.

BTW, vooralsnog was Sick Beard als search provider sneller dan mijn newznab.

[InflatableMouse]

had het al eerder gevraagd maar het gaat zo snel ... (nog geen antwoord gezien ..).

Met hoeveel draadjes update newznab en (waar) kan ik dat aanpassen?

[ShadowBumble]

Freekers schreef op dinsdag 11 december 2012 @ 13:20:
Dit topic is echt booming. Mooi om alle initiatieven te zien. Ik ben momenteel niet in de buurt van een pc dus zal straks even alle posts nalopen ook met name het donatie gedeelte. Kom ik op terug.

Zeker erg leuk om te zien inderdaad,

AjDuLion schreef op dinsdag 11 december 2012 @ 13:23:
ik ben voornamelijk benieuwd of iemand een oplossing heeft om een (hetzij gesloten/vpn) oplossing heeft om een database te delen zodat niet iedereen zelf hoeft te zoeken maar wel alsnog een fallback kan zijn.

Ik denk zeker dat dit gaat gebeuren eigenlijk en dat je dit moet zien als de fase kennis opdoen, ik zal me daarin eens alvast verdiepen. Ik weet zeker dat ik igg zo al 2 of 3 mensen ken met wie ik kan gaan peeren als het up and running is zoals ik wil.

[ItsValium]

ShadowBumble schreef op dinsdag 11 december 2012 @ 13:33:
[...]


Zeker erg leuk om te zien inderdaad,


[...]


Ik denk zeker dat dit gaat gebeuren eigenlijk en dat je dit moet zien als de fase kennis opdoen, ik zal me daarin eens alvast verdiepen. Ik weet zeker dat ik igg zo al 2 of 3 mensen ken met wie ik kan gaan peeren als het up and running is zoals ik wil.

Als het zover komt kan ik ook zeker 'peeren'

[Coenen]

Ik had je vraag gezien, maar ik heb geen idee, je kan in config.php je newsserver opgeven, maar niet de hoeveelheid draadjes. Ik gebruik nu Astraweb voor Newznab en voor het download gebruik ik Supernews (met Astraweb als backup). Dan gebruik ik niet te veel draadjes.

ShadowBumble schreef op dinsdag 11 december 2012 @ 13:27:
Heeft iedereen eigenlijk al een goedwerkende filter wat duitse franse spanish en dergelijke eruit filterd ?
Enige dingen die ik wil zien is Nederlands of Engels en meer niet.

Ik heb geen idee hoe groot de DB is na 2 Groups 30dagen backfill indexeren maar als die klaar zijn dan moet ik nog een group of 8 toevoegen.

Ik heb de volgende `Binary Black/Whitelist List`: german|danish|flemishfrench|swedish|swesub|deutsch|nl\.?sub|norwegian|\.ita\.

Dit lijkt de meeste rommel er wel uit te filteren.

[yrew]

Ik lees net ergens dat er iemand een DMCA takedown checker gebouwd heeft die tegen meerdere usp's aan checkt of de release nog compleet is. Altijd handig.

[InflatableMouse]

Oke ik heb even gezocht, kan iemand die 'maxchildren' feature mischien testen? zou namelijk een hele boel schelen als we met meerdere draadjes kunnen updaten:

code:

Updating Index (populating binaries + parts)
--------------------------------------------

The recommended way to schedule updates is via the dos and unix start scripts
in ``/path/to/newznab/misc/update_scripts/``.  Make sure you set the paths
correctly for your installation.  If you are running on unix environment, there
is an experimental multithreaded update binaries script named
``update_binaries_threaded.php`` and ``backfill_threaded.php``.  You can alter
the number of threads used by editing the ``maxChildren`` setting.  For more
information on updating and backfilling, see the docs for
:doc:`update scripts <misc/update_scripts>`.

[ShadowBumble]

Coenen schreef op dinsdag 11 december 2012 @ 13:34:
Ik heb de volgende `Binary Black/Whitelist List`: german|danish|flemishfrench|swedish|swesub|deutsch|nl\.?sub|norwegian|\.ita\.

Dit lijkt de meeste rommel er wel uit te filteren.

Vreemd ik zag igg dat er nog wel wat meuk doorheen kwam maar dat zal ik later wel even bijwerken dan.

Tevens zag ik over het replicatie gedeelte dat dit niet eens echt heel moeilijk is om op te zetten hier staat precies beschreven.

http://www.howtoforge.com/mysql_master_master_replication

en dit is dan master-master replication ( nog steeds master/slave configuratie zo te zien ) maar daarmee kan je wel meerdere clusters opzetten.

dit vereist overigens zo te zien wel een redelijke opzet voor VPN verbindingen onderling aangezien je niet over het Internet wil gaan syncen.

InflatableMouse schreef op dinsdag 11 december 2012 @ 13:40:
Oke ik heb even gezocht, kan iemand die 'maxchildren' feature mischien testen? zou namelijk een hele boel schelen als we met meerdere draadjes kunnen updaten:

code:

Updating Index (populating binaries + parts)
--------------------------------------------

The recommended way to schedule updates is via the dos and unix start scripts
in ``/path/to/newznab/misc/update_scripts/``.  Make sure you set the paths
correctly for your installation.  If you are running on unix environment, there
is an experimental multithreaded update binaries script named
``update_binaries_threaded.php`` and ``backfill_threaded.php``.  You can alter
the number of threads used by editing the ``maxChildren`` setting.  For more
information on updating and backfilling, see the docs for
:doc:`update scripts <misc/update_scripts>`.

Ik zal hem vanavond zeker even checken

[ Voor 36% gewijzigd door ShadowBumble op 11-12-2012 13:42 ]

[kmf]

Coenen schreef op dinsdag 11 december 2012 @ 13:34:
Ik had je vraag gezien, maar ik heb geen idee, je kan in config.php je newsserver opgeven, maar niet de hoeveelheid draadjes. Ik gebruik nu Astraweb voor Newznab en voor het download gebruik ik Supernews (met Astraweb als backup). Dan gebruik ik niet te veel draadjes.


[...]


Ik heb de volgende `Binary Black/Whitelist List`: german|danish|flemishfrench|swedish|swesub|deutsch|nl\.?sub|norwegian|\.ita\.

Dit lijkt de meeste rommel er wel uit te filteren.

Filter je dan niet nl er ook uit?

En helaas zijn er best veel releases die german/deutsch zijn, maar wel dual language. Dus om die ook weg te halen?

[MrOizo2005]

kmf schreef op dinsdag 11 december 2012 @ 13:46:
[...]


Filter je dan niet nl er ook uit?

En helaas zijn er best veel releases die german/deutsch zijn, maar wel dual language. Dus om die ook weg te halen?

Zo heb ik hem, heb de nl subs erin laten zitten
german|danish|flemishfrench|swedish|swesub|deutsch|norwegian|\.ita\.

[Coenen]

Ik heb nu iniedergeval geen Duitse of Franse meuk, deze had ik wel van het week, zonder blacklisting.
Waarschijnlijk filter ik nu NL ook uit, zal het eens zonder proberen.
Opzich zou het geen probleem moeten zijn, ik ben opzoek naar TV series, de NL sub komt later wel met Auto-sub.

@MrOizo2005, tussen flemish en france moet je nog even zo´n recht opstaand streepje zetten.

[ Voor 15% gewijzigd door Coenen op 11-12-2012 13:50 ]

[MrOizo2005]

Coenen schreef op dinsdag 11 december 2012 @ 13:49:
@MrOizo2005, tussen flemish en france moet je nog even zo´n recht opstaand streepje zetten.

ow idd thanks !

[Dennism]

verkeerde

[ Voor 92% gewijzigd door Dennism op 11-12-2012 13:56 ]

[Coenen]

@Dennism, uhmmm, zit je wel in het juiste topic.

[Quindor]

Hoe zit het met de NZB's die alleen een nummer hebben en de rest van de info in de NZB file?

Zonder sphinx aan te hebben staan kwamen deze helemaal niet naar voren. Met sphinx wel, maar hebben ze nog steeds alleen de nummers en niet de release informatie.

Zoek maar eens naar "2 broke". Bij nzbs.org vind je netjes de afleveringen met de juiste naam, etc..

Als ik dat bij mijn eigen newznab installatie doe zie ik zonder sphinx niets en met sphinx (nfo meenemen) zie ik wel het nummer naar voren komen, maar dan nog vind sickbeard niet dat hij daarvan kan downloaden.

Iemand een idee hoe je dat fixed?

[UltraSub]

Ja dat viel me net ook al op.... Benieuwd of iemand weet hoe dat zit..

[ShadowBumble]

Moet je dan niet NZB scanning doen of iets dergelijks ?

[Apie!]

Bij mij verdween dat door sphinx te installeren zoals hier staat: ShadowBumble in "[Ervaringen] Newznab"

Edit: ik draai newznab nu op Ubuntu 11.04 icm MySQL en nginx

[ Voor 19% gewijzigd door Apie! op 11-12-2012 14:34 ]

[Cyleo]

Gave actie, hier in huis ook al blinde paniek toen nzbmatrix er uit lag. Misschien een idee met de OP te updaten met wat er nu wordt opgezet? Ben niet te beroerd om te doneren maar zie nu door de bomen het bos niet meer nu ik net kom binnen vallen

[kmf]

Het backfillen. gaat dat een beetje intelligent? Dus dat ie alleen dingen pakt welke ie nog niet heeft, of gaat ie alles helemaal opnieuw binnentrekken?

Het ziet er naar uit dat het de laatste is.... de queue blijft even groot na een flinke backlog-sessie...

[ShadowBumble]

Cyleo schreef op dinsdag 11 december 2012 @ 14:59:
Gave actie, hier in huis ook al blinde paniek toen nzbmatrix er uit lag. Misschien een idee met de OP te updaten met wat er nu wordt opgezet? Ben niet te beroerd om te doneren maar zie nu door de bomen het bos niet meer nu ik net kom binnen vallen

Zal ik dan maar even het initiatief hierin nemen :

- EDIT word een apart topic na controle met GoT Moderators, of er gebeurd niks omdat het niet mag

Deze tables kunnen in het aparte topic als voorbeeld genomen worden

Indexer Status Table:

User:	Role:	Status Indexer
Kees	Indexer	Testing/Online/Offline

Member Status Table:

User:	Geintresseerd als:	Invite Status:
Jantje	Member	Invited/of niet

Basis Regels :

1) Geen URL posting
2) Er word niet gesproken over wel of niet doneren das iets tussen jouw en de indexer.
3) Handhaaf de regels van Tweakers

[ Voor 13% gewijzigd door ShadowBumble op 11-12-2012 15:27 ]

[RobinMM]

kmf schreef op dinsdag 11 december 2012 @ 15:03:
Het backfillen. gaat dat een beetje intelligent? Dus dat ie alleen dingen pakt welke ie nog niet heeft, of gaat ie alles helemaal opnieuw binnentrekken?

Het ziet er naar uit dat het de laatste is.... de queue blijft even groot na een flinke backlog-sessie...

Volgens mij gaat hij dan elke keer een x aantal dagen terug.

[White_Collar]

Zal ik een nieuw topic opstarten met dit initiatief? Ik denk dat een apart topic beter is.

[BioHazard]

White_Collar schreef op dinsdag 11 december 2012 @ 15:13:
Zal ik een nieuw topic opstarten met dit initiatief? Ik denk dat een apart topic beter is.

Goed plan, de werking van Newznab en het initiatief apart houden.

[White_Collar]

Ik schrijf een nieuw topic, moment

[ShadowBumble]

Als ik jullie was zou ik eerst even met een Modje daarover overleggen of dat uberhaupt eigenlijk wel mag in ieder geval kan het checken met staff in geen geval kwaad

[Apie!]

Misschien even afstemmen met een modje

^^ wat hij zegt

[ Voor 26% gewijzigd door Apie! op 11-12-2012 15:15 ]

[White_Collar]

Yup, ik was al een pm aan het schrijven

[RobinMM]

Kan iemand mij duidelijk vertellen wat hier mee bedoeld word, gaat over batch files waarmee ik via taakplanner het updaten kan automatiseren.

Inlcuded in this folder are batch files for windows users.
You MUST set your system path to include the PHP path.

Otherwise at the top of each batch file add the line
set Path=“C:\yourpathtoPHP\”

Dit is hoe de batch file eruit ziet:

CD..
php.exe update_binaries.php
quit

[FabianNL]

White_Collar schreef op dinsdag 11 december 2012 @ 15:16:
Yup, ik was al een pm aan het schrijven

Apart topic met daarin 'het initiatief' is inderdaad wel een goed plan! Blijft het iets overzichtelijker en makkelijker om wat op te zetten met z'n allen.

[yrew]

waar kun je de minimum file size filter instellen eigelijk?

[schumi2004]

Zomaar ff tussendoor, is er al iets live ? (voor mij dan )

[White_Collar]

schumi2004 schreef op dinsdag 11 december 2012 @ 15:54:
Zomaar ff tussendoor, is er al iets live ? (voor mij dan )

Daar is het topic waar ik aan het schrijven ben juist voor

[Lief Adje]

White_Collar schreef op dinsdag 11 december 2012 @ 15:55:
[...]


Daar is het topic waar ik aan het schrijven ben juist voor

Schiet eens op dan

[rvandeven]

Ik heb net ook even de hele thread doorgespit. Net als vele van jullie ook een voormalig Matrix gebruiker, die hard op zoek is naar alternatieven. Ik heb zelf weinig verstand van server hosting, ik was al heel blij dat ik ooit sickbeard aan de gang heb gekregen en was van plan deze week een mac mini aan te schaffen als xbmc + usenet box voor in de woonkamer. Ik ben dan ook zeer benieuwd naar de aparte topic, aangezien ik begrepen heb dat het lokaal runnen van newznab nogal wat hardware, bandbreedte en technisch vernuft vergt. Mocht er iets opgezet worden heb ik zeer zeker interesse.

[Coenen]

@yrew, Edit Site, bij usenet settings, Minimum File Size to Make a Release.

@RobinMM, ik heb nu continu ´runme.bat´ zodat Newznab eerst een update binaries doet om daarna een release update te doen.

[yrew]

thnx. is er ook een manier om bij user searches een minimum size op te geven? Hij komt wel terug in de results (http://newznab.readthedocs.org/en/latest/misc/api/) maar kun je hem ook als parameter meegeven?

[White_Collar]

[Newznab] newznab community's - deel 1

[RobinMM]

@ Coenen: Die wil ook graag laten draaien maar ik moet blijkbaar ergens het pad naar php vermelden. Het is me niet helemaal duidelijk hoe ik dit in de batch file moet zetten. Kan jij verlichting brengen?

[Quindor]

RobinMM schreef op dinsdag 11 december 2012 @ 16:11:
@ Coenen: Die wil ook graag laten draaien maar ik moet blijkbaar ergens het pad naar php vermelden. Het is me niet helemaal duidelijk hoe ik dit in de batch file moet zetten. Kan jij verlichting brengen?

Dat is een beetje basic windows kennis. Er vanuitgaande dat je in Windows 7/Win2k8R2 zit. Control Panel, System, Advanced System Settings, Environment Variables. Daar kun je vervolgens achter het bestande PATH variable het extra pad erbij zetten. Aparte entries moeten gescheiden worden met een " ; ".

[Coenen]

Zo heb ik het idd gedaan. Thx Quindor.

[ShadowBumble]

White_Collar schreef op dinsdag 11 december 2012 @ 16:11:
[Newznab] newznab community's - deel 1

Thanks.

Heren vanaf nu gaan we het alleen nog hebben hier over de technische werking en het opzetten van newznab voor opgezette community's verwijs ik naar het zojuist aangemaakte topic hiervoor ( staat in de quote )

[Puck]

Ik kan eventueel wel wat design & front-end development werk doen zodat het er ook nog een beetje leuk uitziet

Excuses, zag de link naar andere topic te laat!

[ Voor 20% gewijzigd door Puck op 11-12-2012 16:34 ]

[MrOizo2005]

Puck schreef op dinsdag 11 december 2012 @ 16:32:
Ik kan eventueel wel wat design & front-end development werk doen zodat het er ook nog een beetje leuk uitziet

Excuses, zag de link naar andere topic te laat!

Een vernieuwende theme zou natuurlijk nooit weg zijn

[UltraSub]

Hmm.. Inmiddels een aantal groups met backlog van 30 dagen laten lopen. Database zit op ~4GB nu. Ik denk ik zoek eens of ik Dexter kan vinden, of Sons of Anarchy van vorige week. Vind nog mooi niks. Toch wel raar. Volgens mij heb ik of niet de goede groups, of er zit nog iets niet helemaal lekker, of ik heb gewoon te weinig geduld...

[MrOizo2005]

code:

a.b.0day.stuffz
a.b.apps.stuffz
a.b.ath
a.b.audio.warez
a.b.b4e
a.b.b4e.erotica
a.b.big
a.b.bloaf
a.b.boneless
a.b.cd.image
a.b.cd.image.playstation2.dvdiso
a.b.comp
a.b.console.ps3
a.b.cores
a.b.dc
a.b.dgma
a.b.divx
a.b.drummers
a.b.dvd
a.b.dvd.english
a.b.dvdr
a.b.emulators.mame
a.b.erotica
a.b.erotica.divx
a.b.ftn
a.b.games
a.b.games.nintendo3ds
a.b.games.nintendods
a.b.games.wii
a.b.games.xbox
a.b.games.xbox360
a.b.gamez.isoz
a.b.ghosts
a.b.hd.eng.moviez
a.b.hdtv
a.b.hdtv.x264
a.b.ijsklontje
a.b.illuminaten
a.b.inner-sanctum
a.b.ipod.videos.tvshows
a.b.mac
a.b.mom 
a.b.moovee
a.b.movies
a.b.movies.divx
a.b.movies.xvid
a.b.mp3
a.b.mpeg.video.music
a.b.multimedia
a.b.multimedia.cartoons
a.b.nintendo.ds
a.b.nintendo.wii
a.b.nl
a.b.nordic.dvdr
a.b.nospam.cheerleaders
a.b.scary.exe.files
a.b.sony.psp
a.b.sounds.flac
a.b.sounds.mp3
a.b.sounds.mp3.complete_cd
a.b.sounds.mp3.dance
a.b.sounds.mp3.rap-hiphop.mixtapes
a.b.teevee
a.b.test
a.b.test.yenc
a.b.town
a.b.tv
a.b.tv.deutsch
a.b.tv.deutsch.dokumentation
a.b.tv.swedish
a.b.tvseries
a.b.uzenet
a.b.warez
a.b.warez.ibm-pc.0-day
a.b.wb
a.b.wii.gamez
a.b.wmvhd
a.b.worms
a.b.x
a.b.x264
a.b.xbox360.gamez
dk.binaer.film
dk.binaer.tv

Dit is de groepenlijst van 1 van de bekende index sites, mag geen namen noemen volgens mij
in de admin » bulkadd groups en plakken maar...

[Freekers]

MrOizo2005 schreef op dinsdag 11 december 2012 @ 16:45:

code:

dikke lijst die je db zo vol trekt

Dit is de groepenlijst van 1 van de bekende index sites, mag geen namen noemen volgens mij
in de admin » bulkadd groups en plakken maar...

Niet aan te raden om mee te beginnen. Begin eerst eens met een paar groepen en breidt dan uit. Sowieso is bovenstaande lijst nogal ambitieus en vraagt een serieus dikke server.

[Coenen]

@MrOizo2005, Gebruik jij deze lijst? Zo ja, hoe lang duurt een rondje binaries updaten? Ik heb nu maar 10 groepen om het snel te houden en om m´n database klein te houden.

Multimedia en teevee hebben mij nog de meeste releases opgeleverd. Boneless gek genoeg nog niets

[ Voor 22% gewijzigd door Coenen op 11-12-2012 16:54 ]

[ShadowBumble]

Freekers schreef op dinsdag 11 december 2012 @ 16:51:
[...]


Niet aan te raden om mee te beginnen. Begin eerst eens met een paar groepen en breidt dan uit. Sowieso is bovenstaande lijst nogal ambitieus en vraagt een serieus dikke server.

Inderdaad opzich is het geen slechte lijst maar dan praat je wel over een meer profi server en datacenter ophangen.

[Verwijderd]

Misschien een idee om je te beperken tot video?

[RobinMM]

wat veel tijd kost is iedere keer missing parts opnieuw proberen binnen te halen (dit wordt tot 5 keer geprobeerd..), het ophalen van de nieuwste headers kost in mijn ogen niet heel veel tijd.

Ik geloof dat wanneer je astra web gebruikt om headers op te halen dat het nog veel sneller gaat.

[ Voor 30% gewijzigd door RobinMM op 11-12-2012 17:05 ]

[MrOizo2005]

Coenen schreef op dinsdag 11 december 2012 @ 16:52:
@MrOizo2005, Gebruik jij deze lijst? Zo ja, hoe lang duurt een rondje binaries updaten? Ik heb nu maar 10 groepen om het snel te houden en om m´n database klein te houden.

Multimedia en teevee hebben mij nog de meeste releases opgeleverd. Boneless gek genoeg nog niets

Nee ik gebruik de complete lijst zeer zeker niet. Maar inderdaad zoals aangegeven heb je een pittige machine nodig om alles bij te houden. Ik gebruik deze lijst liever om een referentie lijst te hebben. Je kan zelf wel bekijken welke groepen je interesseren.

[InflatableMouse]

Dus wat is nu de beste backend voor een grote db? Inno of MySQL? Een andere?

Waar heb je dat sphinx voor nodig? Dat werkt alleen met MySQL begrijp ik?

[ Voor 4% gewijzigd door InflatableMouse op 11-12-2012 17:11 ]

[Verwijderd]

ShadowBumble schreef op dinsdag 11 december 2012 @ 16:55:
[...]


Inderdaad opzich is het geen slechte lijst maar dan praat je wel over een meer profi server en datacenter ophangen.

Ik vind 't eigenlijk erg weinig, het zijn maar 83 groepen (ok, wel de grootste en populairste). Maar bv. Binsearch heeft al ruim 3000 groepen. Ik hou van overkill, maar ik begrijp dat zoiets (voor privé) thuis op een (dikke) dedicated (consumenten) server niet eens mogelijk is?

[j1nx]

Coenen schreef op dinsdag 11 december 2012 @ 16:52:

Multimedia en teevee hebben mij nog de meeste releases opgeleverd. Boneless gek genoeg nog niets

Dit is niet zo gek, ik zal het uitleggen.

In Multimedia en Teevee, posten voornamelijk de release groepen die zich houden aan bepaalde naam conventies. Daar staat vrijwel altijd de naam van de serie, het seizoens / episode nummer, omschrijving, kwaliteit, release groep naam, etc etc.

a.b.boneless is maar een prullebak waar jan en alleman maar wat ingooit. Zo ook de wannabee posters, die zich niet houden aan naam conventies. Daar zijn geen regexen tegen opgewassen.

Zeker de Nederlanders maken er echt een zooitje van; Bestanden als "gevangenis-afbraak" ipv prisonbreak of "Boel witte honden met zwarte stipjes" ipv 101 damatiers

FTD (rip) werd in de rest van de wereld niet voor niets "Fuck The Dutch" genoemd.

Met andere worden, je wil je database niet eens vervuilen met troep uit boneless, vaak zijn het repost met ingebranden subs of spam met hele text bestanden voor reclame erbij etc etc.

[Ultimation]

j1nx schreef op dinsdag 11 december 2012 @ 17:58:
[...]

Zeker de Nederlanders maken er echt een zooitje van; Bestanden als "gevangenis-afbraak" ipv prisonbreak of "Boel witte honden met zwarte stipjes" ipv 101 damatiers

Opzicht is dit geen slecht idee. De titel/omschrijving van het bestand moet overeen komen met een bestaande film oid voordat een bedrijf een Takedown-request mag indienen dacht ik te lezen.

Wikipedia: Online Copyright Infringement Liability Limitation Act

Maar goed als je het zaakje niet wilt vervuilen is het een goed idee te kijken welke groups kwalitatief zijn en je juist wel wilt hebben.

[ Voor 9% gewijzigd door Ultimation op 11-12-2012 18:05 ]

[Verwijderd]

Maar als je je aan de orginele naam houdt loop je weer meer kans dat je posts verwijderd worden door takedown-requests, da's het dilemma.

[InflatableMouse]

j1nx schreef op dinsdag 11 december 2012 @ 17:58:
a.b.boneless is maar een prullebak waar jan en alleman maar wat ingooit. Zo ook de wannabee posters, die zich niet houden aan naam conventies.

Ik had daar echt een hekel aan, posts waren niet te vinden tenzij je ftd oid gebruikte om de namen uit te halen.

Helaas gaat het er nu naar toe dat men niets-zeggende namen moet gaan gebruiken en via een gesloten gemeenschap nzb's moeten gaan delen oid.

[Coenen]

Fuck The Dutch, die kende ik nog niet. Dat Boneless een van de grootste groepen was wist ik wel, ik had me alleen nog niet gerealiseerd dat het eigenlijk een prullenbak was. Vroeger, kon ik er altijd wel leuke dingen vinden. Eerst wat headeren en dan kijken wat er tussen zit.
Dus eigenlijk kan ik nu boneless er beter uit gooien.