[Newznab] newznab community's - deel 1

[LED-Maniak]

Dan ben je dus nu al te laat, gezien het op het WWW staat in een te indexeren deel van het forum.

[Anoniem: 423265]

(als het om mij gaat) Ik heb meerdere ip's

[XBL]

Ik ben erg benieuwd of het lukt om een goede Nederlandse usenet indexer op te zetten. Zou erg praktisch zijn, want hoewel nzbs.org goed werkt, mis ik wel een handige comments van nzbmatrix.

Wel zie ik nu meerdere initiatieven (meerdere newznab sites), terwijl het me handiger lijkt om dat onder één noemer te scharen? Of is newznab te clusteren oid? Overigens heb ik heb server capaciteit over op een 100/100 linkje in een DC (kan mss naar 1000/1000, maar lijkt me niet echt nodig voor een service als dit) wat prima gebruikt kan worden voor een project als dit.

Over de toegang: zolang je het klein houdt is er niet veel aan de hand. Handhavers hebben meestal niet zoveel interesse in de kleine vissen, zeker als die relatief onbekend zijn. Zelf zou ik kiezen om een aantal GoTters die actief bezig zijn met dit gebeuren lid te maken van de site(s) en hen vervolgens een zooi invites te laten sturen naar wie zij denken die erin moeten. Later kan je dan regels bedenken voor nieuwe mensen. Ik denk namelijk dat je sowieso niet direct een enorme userbase wilt, maar eerst wil testen met een kleinere groep.

Maar dit zijn slecht mijn twee eurocentjes .

EDIT:

Anoniem: 423265 schreef op dinsdag 11 december 2012 @ 18:34:
(als het om mij gaat) Ik heb meerdere ip's

Desnoods hang je alles achter een paar Russische VPSjes, betaald met bitcoin en alleen beheerd via tor .

[ Voor 10% gewijzigd door XBL op 11-12-2012 18:38 ]

[Anoniem: 423265]

XBL schreef op dinsdag 11 december 2012 @ 18:36:
[...]

Over de toegang: zolang je het klein houdt is er niet veel aan de hand. Handhavers hebben meestal niet zoveel interesse in de kleine vissen, zeker als die relatief onbekend zijn.

Dat dacht ik ook altijd, maar als je de desbetreffende berichten op de FP leest, zie je dat het vaak releatief onbekende sites zijn, die aangepakt worden.

EDIT:

[...]

Desnoods hang je alles achter een paar Russische VPSjes, betaald met bitcoin en alleen beheerd via tor .

Is al vaker geprobeerd, maar zolang de eigenaar/opdrachtgever in NL zit, kan Brein nog steeds moeilijk doen.

[Freekers]

Denken we nou niet te diep na? Ik bedoel SpotWeb en haar publieke clones is ook gewoon al een half jaar in de lucht zonder dat BREIN er ruchtbaarheid aan geeft? Sowieso, DCMA is er toch niet voor niets? Zolang jij zelf maar niet de content erop plaatst dan ben je niet verantwoordelijk voor de acties van je gebruiker en als je maar aan de DCMA requests voldoet door de illegale content te verwijderen, is er toch niets aan de hand?
Kleine shoutout naar j1nx btw. Die heeft een tijdje een publieke Newznab gedraaid. Wellicht kan hij ons vertellen of hij problemen heeft gehad.

[CK3v1N]

thisegzz schreef op dinsdag 11 december 2012 @ 18:25:
Het is wel duidelijk dat er geen controle is of iemand te vertrouwen is of niet, zelfs al zou je overgaan op invites-only of donateurs-only, dan kan er altijd een verkeerd persoon tussendoor glippen. Besloten forum of open forum maakt daarbij ook niets uit; badguys die dat willen vinden wel een manier om er te komen.

Maar als iemand van Brein een donatie schenkt, maakt hij zich ook schuldig aan datgene waar hij een ander zou voor "straffen"

[XBL]

Anoniem: 423265 schreef op dinsdag 11 december 2012 @ 18:41:
Dat dacht ik ook altijd, maar als je de desbetreffende berichten op de FP leest, zie je dat het vaak releatief onbekende sites zijn, die aangepakt worden.

De indexers die recent zijn gesloten zijn nzbmatrix en newzbin2, ik heb de laatste tijd geen andere voorbij zien komen geloof ik... We hebben het hier over index sites, niet providers.

Anoniem: 423265 schreef op dinsdag 11 december 2012 @ 18:41:
Is al vaker geprobeerd, maar zolang de eigenaar/opdrachtgever in NL zit, kan Brein nog steeds moeilijk doen.

Vandaar Russisch, met bitcoin betaald en alleen beheer via tor. Niemand die weet wie de opdrachtgever is. Ik zei het half als een grapje, maar het is serieus een manier om brein e.d. te ontwijken. Maar goed, ik betwijfel of er echt interesse is vanuit brein e.d. om moeilijk te vinden indexers aan te pakken. Bij torrent sites schiet het ook niet op en ik heb zelfs nog niets gezien van private trackers die offline getrokken zijn.

[Anoniem: 423265]

Freekers schreef op dinsdag 11 december 2012 @ 18:45:
Denken we nou niet te diep na? Ik bedoel SpotWeb en haar publieke clones is ook gewoon al een half jaar in de lucht zonder dat BREIN er ruchtbaarheid aan geeft?

Spotweb is moeilijk aan te pakken omdat Brein niet weet waar de aanklacht naartoe moet. Maar sommige publieke spotnet/web sites zijn wel down door toedoen van Brein.

Sowieso, DCMA is er toch niet voor niets? Zolang jij zelf maar niet de content erop plaatst dan ben je niet verantwoordelijk voor de acties van je gebruiker en als je maar aan de DCMA requests voldoet door de illegale content te verwijderen, is er toch niets aan de hand?
Kleine shoutout naar j1nx btw. Die heeft een tijdje een publieke Newznab gedraaid. Wellicht kan hij ons vertellen of hij problemen heeft gehad.

Zie de bv. arresten van FTD vs. Brein, of Eyeworks vs. FTD. Ook linken naar content kan gevoelig liggen.

[Ultimation]

Ik stem ook op The Russian Bitcoin Anonymus Index!

[Anoniem: 423265]

XBL schreef op dinsdag 11 december 2012 @ 18:48:
[...]


Vandaar Russisch, met bitcoin betaald en alleen beheer via tor. Niemand die weet wie de opdrachtgever is. Ik zei het half als een grapje, maar het is serieus een manier om brein e.d. te ontwijken. Maar goed, ik betwijfel of er echt interesse is vanuit brein e.d. om moeilijk te vinden indexers aan te pakken. Bij torrent sites schiet het ook niet op en ik heb zelfs nog niets gezien van private trackers die offline getrokken zijn.

Yep, maar als je één steek laat vallen (bv. mailverkeer) waardoor je te achterhalen valt, kan het lastig worden. Alles moet lopen via landen die niet samenwerken met auteursrechtenorganisaties. Vooralsnog niet onmogelijk, maar tijdrovend en kostbaar (bij veel traffic).

[Ultimation]

Gewoon de domeinnamen en de primaire indexer onderbrengen in Rusland.

[j1nx]

nooit problemen gehad met brein. onder nl server op een nl ip met nl domein.

De enige reden dat ik sloot / moest sluiten is omdat 2000+ die dagelijks vanwege de api met zijn alle tegen de database staan te beuken te veel was voor een Poweredge 2850, dual 1550 cpu met maar 4 Gb. Op een gegeven moment moet je database queries in het geheugen gaan houden, dat vraagt my.cnf tweaks voor een veelvoud van de 4gb.

Kon ook mensen eraf knikkeren, maar wie wel en wie niet vond ik uiteindelijk een oneerlijk spelletje. Dus dan allemaal niet meer inclusief mezelf

[Freekers]

Anoniem: 423265 schreef op dinsdag 11 december 2012 @ 18:51:
Maar sommige publieke spotnet/web sites zijn wel down door toedoen van Brein.

De grootste 3 die ik ken zijn er nog steeds. Eentje heeft zelfs de ballen om het ding gewoon in de US te hosten.

[Anoniem: 423265]

Freekers schreef op dinsdag 11 december 2012 @ 18:59:
[...]


De grootste 3 die ik ken zijn er nog steeds. Eentje heeft zelfs de ballen om het ding gewoon in de US te hosten.

Maar nzbspots bv. niet meer. Het klopt dat lang niet iedereen wordt aangepakt, maar je hebt nooit zekerheid. En ik vermoed dat Brein ook niet alles wil schoonvegen, want dan hebben ze zélf geen bestaansrecht (en Kuik geen dik salaris) meer

[robobeat]

is er iemand al bezig met het opzetten van een eigen forum/chat over dit geheel? is geen slecht idee om dit los te koppelen van tweakers.

daarnaast komen er allerlei goede, geweldige ideeën langs, maar moet het in totaal ook haalbaar zijn voor ons (nou denk ik dat het, gezien ons tweakers, niet direct een probleem is ). Een gesloten systeem met invites only en screening achteraf kan al een groot deel afvangen lijkt me. Zelf ben ik ook beheerder geweest van een forum waar dit soort info werd "besproken" en dan ga je al gauw naar dit soort oplossingen om die gedachteloze massa op een afstand te houden.

Daarnaast ben ik er van overtuigd dat er zat mensen hier zijn die hun steentje willen bijdragen.

Is het misschien niet een idee om het geheel op te zetten zoals TPB laatst heeft gedaan?
nieuws: The Pirate Bay stapt over op cloud-hosting

of denk ik nu te ver?

[ItsValium]

@ robobeat, we zijn al met een paar hieraan bezig, echter publiek zullen we (nog) geen info vrijgeven

[Anoniem: 423265]

robobeat schreef op dinsdag 11 december 2012 @ 19:11:
[...]

Is het misschien niet een idee om het geheel op te zetten zoals TPB laatst heeft gedaan?
nieuws: The Pirate Bay stapt over op cloud-hosting

of denk ik nu te ver?

Nee hoor, da's pas wanneer je ook de cloud zelf gaat hosten

[ShadowBumble]

Ik heb mezelf even uit de lijst gehaalt graag member/indexer verzoeken richting White_Collar we lopen momenteel elkaars werk ongedaan te maken door de TS te editten.

Ik heb de mijne geupdate dus mochten de mensen die niet zijn afgewezen en nog geen reactie hebben gehad of wel reactie hebben gehad nog niet in de lijst voorkomen dan graag nogmaals een dm richting white_collar.

[White_Collar]

robobeat schreef op dinsdag 11 december 2012 @ 19:11:
is er iemand al bezig met het opzetten van een eigen forum/chat over dit geheel? is geen slecht idee om dit los te koppelen van tweakers.

daarnaast komen er allerlei goede, geweldige ideeën langs, maar moet het in totaal ook haalbaar zijn voor ons (nou denk ik dat het, gezien ons tweakers, niet direct een probleem is ). Een gesloten systeem met invites only en screening achteraf kan al een groot deel afvangen lijkt me. Zelf ben ik ook beheerder geweest van een forum waar dit soort info werd "besproken" en dan ga je al gauw naar dit soort oplossingen om die gedachteloze massa op een afstand te houden.

Daarnaast ben ik er van overtuigd dat er zat mensen hier zijn die hun steentje willen bijdragen.

Is het misschien niet een idee om het geheel op te zetten zoals TPB laatst heeft gedaan?
nieuws: The Pirate Bay stapt over op cloud-hosting

of denk ik nu te ver?

Er lopen momenteel meerdere projecten zie ook Community/indexers. Hoe kleiner de indexers hoe minder interessant het is om neer te halen

[Ultimation]

White_Collar schreef op dinsdag 11 december 2012 @ 19:16:
[...]


Er lopen momenteel meerdere projecten zie ook Community/indexers. Hoe kleiner de indexers hoe minder interessant het is om neer te halen

Ik stem nog steeds op de anonieme met bitcoins betaalde server in Rusland!

[Freekers]

Ultimation schreef op dinsdag 11 december 2012 @ 19:20:
Ik stem nog steeds op de anonieme met bitcoins betaalde server in Rusland!

Ik heb een heel ander idee in gedachte. Maar voordat ik roep wat, wil ik eerst kijken of het haalbaar is.
Is in ieder geval vrij makkelijk te realiseren heb ik het idee

[ronaldhofstee]

Niet omdat ik er van houd om mieren te neuken, maar er staat een klein typefoutje onderaan in de TS:

White_Collar schreef op dinsdag 11 december 2012 @ 16:10:

Ons doel hiermee is relatief simpel, en dat is de eendags vliegen af te vangen en niet de mensen die hier al langer rondlopen. Ik ga er even vanuit dat iedere indexer , members dezelfde username als op GoT laat houden maar inpreciepe in principe is de indexer hier vrij in. Persoonlijk zou ik dat wel doen.

Lees ook even de Forum FAQ #hkvoorwaarden.

[Apie!]

Ultimation schreef op dinsdag 11 december 2012 @ 19:20:
[...]


Ik stem nog steeds op de anonieme met bitcoins betaalde server in Rusland!

En het domein dan? Die staat toch ook nog steeds op naam van de indexer? En daarnaast, hoe vind je een betrouwbare russische VPS aanbieder?

[ Voor 10% gewijzigd door Apie! op 11-12-2012 20:38 ]

[ShadowBumble]

ronaldhofstee schreef op dinsdag 11 december 2012 @ 20:27:
Niet omdat ik er van houd om mieren te neuken, maar er staat een klein typefoutje onderaan in de TS:


[...]

fixed

_{spelling nazi}

[Anoniem: 423265]

<sub>Het is spellingnazi.

http://www.spatiegebruik.nl/</sub>

[ShadowBumble]

offtopic

stik

hoe dan ook voor de mensen die graag live chat doen :

irc.tweakers.net channel #newznab

of voor de luie mensen onderons

http://irc.tweakers.net/newznab

voor de browser versie.

[XBL]

Apie! schreef op dinsdag 11 december 2012 @ 20:35:
En het domein dan? Die staat toch ook nog steeds op naam van de indexer? En daarnaast, hoe vind je een betrouwbare russische VPS aanbieder?

Gewoon IP onthouden of hang er een gratis forwarder aan (dyndns oid). Betrouwbaar is natuurlijk wat lastig als je 'cash' betaald. Vandaar ook dat ik suggereerde om een dergelijke VPS als loadbalancer-achtig front te gebruiken of enkel de GUI te laten draaien. Als je dan gedoe krijgt met de VPS, kan je vrij gemakkelijk switchen van aanbieder (je hoeft enkel wat statische bestanden te uploaden).

Maar dat hele verhaal van een Russische aanbieder was vanaf mijn kant meer gekscherend. Ik heb zelf een tijdje een publieke TV nzb index gedraaid (met een zeer brak PHP script ) en heb daar nooit gedonder mee gehad. Ook ken ik verder geen enkel verhaal van besloten sites (private torrent trackers, private usenet indexers, etc) die aangepakt zijn door brein/andere handhavers. Volgens mij hoef je je dus helemaal niet druk te maken over vage opzetjes om uit handen van brein te blijven, maar kan je het altijd als noodgreep gebruiken mocht er wel gedoe komen (op verzoek van brein oid trek je dan de site offline en zet de source online, zodat iemand anders het elders -anoniem- weer kan aanslingeren).

[Anoniem: 423265]

dyndns is een UK bedrijf, dus niet zonder meer 'veilig'

[Ultimation]

Dan kan ik nog wel een link leggen vanaf mijn eigen domein naar dat IP-adres. Het domein is dan wel van mijn maar wat er achter schuil gaat niet.

Zelfde als al die Wikileaks mirrors die toen werden opgezet.

[Anoniem: 55347]

Kun iemand mij toevoegen als member op de lijst? Ben ondertussen wel bezig om uit te dokteren hoe alles werkt en zelf lokaal indexen te proberen. Wel leuk lees materiaal zo :-)

[XBL]

Anoniem: 423265 schreef op dinsdag 11 december 2012 @ 20:52:
dyndns is een UK bedrijf, dus niet zonder meer 'veilig'

Maar ik kan daar wel anoniem een domein opzetten. En als zij daar geen zin meer in hebben, dan zijn er nog tig andere oplossingen die hetzelfde doen. Desnoods gebruik je tinyurl.com.

[Anoniem: 423265]

XBL schreef op dinsdag 11 december 2012 @ 20:57:
[...]

Maar ik kan daar wel anoniem een domein opzetten. En als zij daar geen zin meer in hebben, dan zijn er nog tig andere oplossingen die hetzelfde doen. Desnoods gebruik je tinyurl.com.

Zolang je voor je verbinding naar die sites maar geen IP gebruikt waaraan je te achterhalen bent. Niet dat ik meteen moeilijkheden verwacht, maar als het erom spant is het beter dat dat soort info gewoon niet voor handen is, dan kunnen 'ze' er ook niet om vragen, mocht het in hun opkomen (of hebben ze er niks aan). Better safe than sorry

[HyperActivE]

Ik heb wel wat contacten in Rusland om zoiets op te zetten hoor
Tevens kan ik zelf ook nog wel wat russisch dus misschien hun niet eens nodig..

Edoch, lijkt mij wat overdreven.. Mogelijk als je gezeur krijgt kun je altijd nog dat soort noodgrepen doen.

[Anoniem: 423265]

Het is waarschijnlijk overdreven. Maar je weet het maar nooit, ik lees wel vaker bv. op de FP berichten waarvan ik denk WTF
Daarom is alles wat je makkelijk kunt voorkomen iig mooi meegenomen

[CK3v1N]

Freekers schreef op dinsdag 11 december 2012 @ 19:28:
[...]


Ik heb een heel ander idee in gedachte. Maar voordat ik roep wat, wil ik eerst kijken of het haalbaar is.
Is in ieder geval vrij makkelijk te realiseren heb ik het idee

Ik ben benieuwd.

[Anoniem: 323326]

Wat een gedoe hier...ik maar proberen om uit te vogelen waarom ik niet op het adres van sabnzb kwam.... had ik port 60000 gedaan ipv 6000....
Heeft iemand de nieuwste regexes van newznab? Even DM aub. (thanks freekers, gaat lekker vanavond)

[ Voor 10% gewijzigd door Anoniem: 323326 op 11-12-2012 21:38 ]

[Freekers]

Anoniem: 323326 schreef op dinsdag 11 december 2012 @ 21:36:
Wat een gedoe hier...ik maar proberen om uit te vogelen waarom ik niet op het adres van sabnzb kwam.... had ik port 60000 gedaan ipv 6000....
Heeft iemand de nieuwste regexes van newznab? Even DM aub.

Zhe wrong topic sir!

[Joster]

Bookmarked en DM verstuurd.

[XBL]

Anoniem: 423265 schreef op dinsdag 11 december 2012 @ 21:04:
Zolang je voor je verbinding naar die sites maar geen IP gebruikt waaraan je te achterhalen bent. Niet dat ik meteen moeilijkheden verwacht, maar als het erom spant is het beter dat dat soort info gewoon niet voor handen is, dan kunnen 'ze' er ook niet om vragen, mocht het in hun opkomen (of hebben ze er niks aan). Better safe than sorry

Uiteraard. Zou beetje stom zijn om allemaal moeilijke dingen te doen om de site anoniem te maken, maar dan te vergeten zelf anoniem te zijn. Tor en tormail ftw .

[Ultimation]

Ik zie dat mijn DM nog niet verwerkt is?

[kmf]

Ik zal haast zeggen dat als je iets als community wilt starten, zorg er dan eerst voor dat je gezamenlijk de prerequisites van een goede newznab index voor elkaar krijgt.
En dat wilt zeggen (nu ik newznab draaiende heb thuis):
1) een wiki achtig iets om de regex te delen.
2) de seeding nzb-archief te delen zodat elk newznab-instantie zeer snel opgezet kan worden.
3) een goede (lees: betere) tutorial om newznab aan de praat te krijgen.

Als iedereen zelf makkelijk newznab kan inzetten, dan heb je pas een stevige basis. En dan kan je een NUTTIGE community opzetten.
Nu is dit meer een opsomming van mensen die zelf niet in staat zijn een newznab-instantie op te zetten...

[Anoniem: 323326]

Is het niet een idee om een vmware the share? Ik draai het allemaal binnen mijn vmware (althans bijna, newznab is redelijk aan de praat alleen vind niets!)

[HyperBart]

Ik denk dat er meer heil te vinden is in de kennis en kunde van LaSi, wat de installatie van Usenet gerelateerde software question driven automatiseert op Ubuntu...

[White_Collar]

Ultimation schreef op dinsdag 11 december 2012 @ 23:22:
Ik zie dat mijn DM nog niet verwerkt is?

Excuses het waren er zo veel (1 per 20 seconde) dat het amper bij te houden viel.
Ik heb je direct toegevoegd!

[.je]

Is dit wel helemaal slim? Hoewel het misschien een private indexer is, zie ik me nog niet helemaal in hoe jij straks alle dcma requests af gaat handelen (mochten deze ooit komen).

Tevens kost het nogal aardig wat bandbreedte. Hoe wil je dit bekostigen? Om donaties vragen? Advertenties op je site zetten?

Je weet toch dat advertenties al verschillende sites de das om heeft gedraaid?!

[HyperBart]

Voor zover ik het begrepen hebt boeit voor Nederlanders DMCA geen zier. Dikke vinger en rustig verder doen . Hmm, blijkbaar moeten we hier wel aan DCMA voldoen...

En er zijn hier blijkbaar nogal wat fanatiekelingen die op de een of andere manier ergens virtuele of fysieke hosting beschikbaar hebben, ignorance is bliss wat dat betreft denk ik

[ Voor 18% gewijzigd door HyperBart op 12-12-2012 00:33 ]

[Freekers]

HyperBart schreef op woensdag 12 december 2012 @ 00:31:
Voor zover ik het begrepen hebt boeit voor Nederlanders DMCA geen zier. Dikke vinger en rustig verder doen

Hoor ik hier iemand die we als contactpersoon en eigenaar voor het domein en server mogen opgeven ?

[HyperBart]

Haha, ik weet eigenlijk niet hoe het hier in België zit .

maar nu even serieus: als je die domeinnaam hebt, ben je dan aansprakelijk voor alles wat er op staat of hoe zit dat?

[ Voor 51% gewijzigd door HyperBart op 12-12-2012 00:34 ]

[.je]

DCMA geldt ook voor ons.

[ Voor 78% gewijzigd door .je op 12-12-2012 00:34 ]

[HyperBart]

Morgen eens horen op JuridischForum.be

[.je]

Het meest vervelende zijn de DCMA requests, waarvan een groot aantal automatisch kan worden verzonden naar index sites en waar index sites zich verplicht zijn om aan te houden; Dat wil zeggen OF het verwijderen OF het negeren (en een rechtzaak riskeren).

Iedereen kan vast lezen waar NZBMatrix door genekt is. Aldus door eigen zeggen, ik gok namelijk dat ze wel iets anders hebben afgesproken met partijen om niet vervolgd te worden, o.a.

[XBL]

Hoewel wil je DMCA takedown verzoeken krijgen als je site alleen toegankelijk is voor genodigden?

Volgens mij zit niet iedereen op dezelfde golflengte qua wat de plannen zijn.

[Anoniem: 423265]

Mocht je ze dan tóch krijgen, dan weet je in ieder geval dat je een mol er tussen hebt zitten

[Hari-Bo]

Ik zie dat ik nog niet aan de lijst toegevoegd ben als potentieel user, terwijl ik gister middag wel een DM heb verstuurd.

[Freekers]

Wie draait er hier overigens TOR?

[FabianNL]

PM is verstuurd!
Kan helaas weinig aanbieden qua skills of server, maar juich het initiatief wel voor de volle 100% toe! Houd het dan zeker in de gaten en mocht ik iets ergens kunnen bijdragen, dan doe ik het graag!

[Limbeckx]

Als er schijfruimte nodig is, kan ik helpen (bv voor nzbs) heb een server met 3TB ruimte nog vrij en 2 mbit upload. Het houdt niet over maar het is wat, zullen we maar zeggen

[ShadowBumble]

Ik ga vanavond alles even opnieuw doen na de nummerous tweaks en optimzers die ik gedaan had werd alles nog netjes opgehaalt in releases gepropt echter werd er niks meer gecommuniceerd in de database

Kortom installatie om zeep geholpen

[BlaBla1973]

Dm en bookmarked.

(geen lid van hk, want ik heb geen liefdesproblemen )

[Freekers]

ShadowBumble schreef op woensdag 12 december 2012 @ 09:44:
Ik ga vanavond alles even opnieuw doen na de nummerous tweaks en optimzers die ik gedaan had werd alles nog netjes opgehaalt in releases gepropt echter werd er niks meer gecommuniceerd in de database

Kortom installatie om zeep geholpen

Als je dan even bij zou kunnen houden hoe je precies Sphinx aan de gang krijgt/hebt gekregen zou dat super zijn Dat ligt me namelijk gigantisch op de maag.

[ShadowBumble]

Freekers schreef op woensdag 12 december 2012 @ 09:59:
[...]


Als je dan even bij zou kunnen houden hoe je precies Sphinx aan de gang krijgt/hebt gekregen zou dat super zijn Dat ligt me namelijk gigantisch op de maag.

Prima doe ik vanavond wel even dan

[rvandeven]

Ik sta overigens twee keer op de lijst, ik gooi mijn eigen ruiten in want ik sta 1 keer met de comment 'let op niet heel erg lang lid", overigens is dat sinds augustus dit jaar, voorheen gewoon als 'guest', dus niet snel lid geworden om aan dit initiatief mee te doen. Ik sta daar vlakbij nog een keer op de lijst zonder aantekening/comment, wat mijn kansen tot lidmaatschap zouden vergroten. Ik wil iniedergeval gerust financieel bijdragen, was bij nzbmatrix ook zo, dus nu ook geen probleem.

[Dajo]

FabianNL schreef op woensdag 12 december 2012 @ 08:42:
PM is verstuurd!
Kan helaas weinig aanbieden qua skills of server, maar juich het initiatief wel voor de volle 100% toe! Houd het dan zeker in de gaten en mocht ik iets ergens kunnen bijdragen, dan doe ik het graag!

Hier sluit ik mij volledig bij aan.

[ShadowBumble]

rvandeven schreef op woensdag 12 december 2012 @ 10:17:
Ik sta overigens twee keer op de lijst, ik gooi mijn eigen ruiten in want ik sta 1 keer met de comment 'let op niet heel erg lang lid", overigens is dat sinds augustus dit jaar, voorheen gewoon als 'guest', dus niet snel lid geworden om aan dit initiatief mee te doen. Ik sta daar vlakbij nog een keer op de lijst zonder aantekening/comment, wat mijn kansen tot lidmaatschap zouden vergroten. Ik wil iniedergeval gerust financieel bijdragen, was bij nzbmatrix ook zo, dus nu ook geen probleem.

Oja ? Waar dan

_gefixed

[XBL]

Freekers schreef op woensdag 12 december 2012 @ 08:33:
Wie draait er hier overigens TOR?

Ik. Op dit moment alleen non-exit relay van 2mbit, geen exit node meer want ik vond de abuse berichten niet tof. Misschien dat ik em ooit weer eens exit maak, met een hevige filter op de exit ports.

[MaNDaRK]

Wie trouwens zelf een community wil opzetten, maar geen tijd heeft voor de installatie, kan hier een VM downloaden die al geheel is geinstalleerd

Ook vind je daar een tutorial over de installatie van newznab

[Dacuuu]

MaNDaRK schreef op woensdag 12 december 2012 @ 11:40:
Wie trouwens zelf een community wil opzetten, maar geen tijd heeft voor de installatie, kan hier een VM downloaden die al geheel is geinstalleerd

Ook vind je daar een tutorial over de installatie van newznab

Pc hier staat niet 24/7 aan. Maar een pracht tut!

[CrashandBurn76]

Ook gelijk deze thread maar even gebookmarked en een DM verstuurd. Ben zelf thuis ook wel aan het knutselen, maar mijn kennis is beperkt. Echter, wel weer een mooie kans om nieuwe kennis te vergaren.

[Pompi]

Vind het een intressante ontwikkeling en zal dus beide Newznab topics volgen, want ik mis net als andere denk ik nzbmatrix. Heb dus ook een DM gestuurd

[n0fragger]

Heb me ook aangemeld, ga de software aan de hand van de tutorial in Tweakblog ook maar even zelf installeren. Zeker interessant deze ontwikkeling ! Bookmarked !

[DinaDani]

Klinkt goed! DM verstuurd.

[Anoniem: 323326]

Ik zoek 1 iemand die even het systeem van buiten af wilt testen. DM aub. Je moet op de lijst staan van post #1.

Genoeg testers.

[ Voor 31% gewijzigd door Anoniem: 323326 op 12-12-2012 19:41 ]

[EvtK]

Fijn topic dit, goed te zien dat initiatieven worden opgepakt. Ik stuur een DM, wordt graag member. Als ik iets kan doen, testen of iets dergelijks, dan hoor ik het graag.

Succes allen!

[LiquidSmoke]

Ook DM en bookmarked, ben benieuwd hoeveel indexen er nu de komende weken de kop op gaan steken en welke er betrouwbaar/krachtig genoeg zijn om te overleven.

[kmf]

Ik doe ook maar een DM. Ik heb al prive een newznab-server ingericht en draaiende, maar zoals ik in kmf in "[Ervaringen] Newznab" schreef... als individueel is het haast niet te doen om de headers bij te houden.

Een backup-service is altijd handig voor groepen die ik niet kan indexeren.

[Joshu]

Hier draait het geheel nu sinds dinsdag en het loopt allemaal wel redelijk volgens mij.
Bijna 2700 indexen uit 15 groepen begint het geheel vorm te krijgen en ik zie ook steeds vaker nu interessante dingen terugkomen.
Nog steeds geen tijd gehad voor Sphinx en het eventueel optimaliseren, hopelijk in de vakantie.

Donderdag en zondag komen de belangrijke testen als er weer een aan series aankomen

[Coenen]

Vannacht is Arrow bij mij niet gelukt. Net wel handmatig wel een versie gevonden.

[DarkAllMan]

Coenen schreef op donderdag 13 december 2012 @ 10:00:
Vannacht is Arrow bij mij niet gelukt. Net wel handmatig wel een versie gevonden.

Same here!

[CK3v1N]

Ik denk dat Arrow sowieso een probleemgeval is. De 720p HDTV versie was bij mij nooit volledig.

[Anoniem: 8733]

In dit geval komt het omdat "Pijl" in een niet "reguliere" groep gepost is.De meeste 'indexers' nemen de groep waar deze nu bijvoorbeeld te vinden is niet mee.

[SidewalkSuper]

Dat zal wel veel vaker gaan gebeuren, van die niet reguliere groepen.
Had hem ook niet binnen, maar met 1 manual search alsnog gepakt

[ Voor 33% gewijzigd door SidewalkSuper op 13-12-2012 11:23 ]

[Coenen]

Ik heb hem inmiddels ook, 3 keer, ook maar een torrent gestart.

[Ultimation]

Ik heb dit idee een met White Collar besproken.

Ik zie een soort van community waarbij Tweakers met hun (thuis)servers delen van het usenet indexeren. Alle geïndexeerde gegevens komen samen in 1 grote index waar alle Tweakers gebruik van maken.

We zouden een lijst met alle content/groups/indexen die we in onze "master" Index zouden willen hebben kunnen maken (waar een bepaalde factor aan meegeven word qua grootte) waar Tweakers zich op in kunnen schrijven. Tweakers met krachtige servers zouden de grootste indexen kunnen doen, of die kunnen verdelen over meerdere Tweakers.

Het is denk ik handig om indexen 2-3x te verdelen over Tweakers, mocht bij iemand de server platgaan dan word deze content toch nog geïndexeerd en doorgeschoven aan de "master" index.

Om te voorkomen dat niet Tweakers of ongewenste personen lucht krijgen van de index moet deze geheim gehouden worden. Op welke manier moet nog worden uitgezocht. Plannen kunnen hier wel gesmeed worden maar technische details mogen niet lekken.

Aantal vereisten:
- VPN verbindingen tussen de masterindex en de indexers/gebruikers.
- Er moet sowieso geld gedoneerd worden voor de servers die echt geld kosten; de niet thuisservers.
- De "community" mag nooit openbaar worden.

Er moet onderzoek gedaan worden naar hoe dit het beste is op te zetten. Gezien een hoop van de gegevens geïndexeerd word in MySQL moeten we uitgaan van een vorm van MySQL replicatie. Helaas ben ik niet helemaal thuis in deze materie maar van wat ik van de MySQL docs begrijp zou het een omgekeerd master/slave model moeten zijn.

Hierbij is de "master" index slave van alle "slave" indexen. De "slave" indexen indexeren immers een bepaalde content/groups/indexen en alle informatie komt samen in de master index. Daarnaast, omdat het werk van 1 content/group/index over meerdere "slave" indexen word verdeeld, gekeken worden wat je met duplicate data word gedaan. Wanneer er geen problemen zijn betekend dat er 2-3 "slave" indexen dezelfde gegevens indexeren.

Daarnaast vraag ik mij wat het probleem is bij het bestaande NZB index verhaal. Is dat de mogelijk om te downloaden word gefaciliteerd? Dat je de mogelijkheid hebt om een NZB bestand te downloaden waarmee je kan downloaden? Is het NZB bestand dan eigenlijk het probleem? Mocht dat zo zijn dan zou bovenstaand verhaal nog iets veranderen:

Alle MySQL databases worden 1 groot cluster (master/master) waarbij replicatie 2-kanten op gaat. Iedereen indexeerd een of meerdere content/groups/indexen en gooit die in eigen database. Er staan nergens NZB bestanden, alleen MySQL data. Misschien dat deze gegevens te gebruiken zijn om weer een NZB bestand van te maken of om deze gegevens direct door te spelen aan Couchpotato, Sickbeard, Sabnzdb+ e.d. Hierdoor neem je het NZB bestand weg waardoor je geen (directe) mogelijkheid creëert om te downloaden.

Enige probleem hierin is dat als je een grapjas hebt die besluit:

code:

DROP * FROM *

te doen alles weg is. Daar moet dus ook nog over na gedacht worden.

Laat maar horen wat ieder hiervan denkt!

[ozzykillbirdy]

Coenen schreef op donderdag 13 december 2012 @ 10:00:
Vannacht is Arrow bij mij niet gelukt. Net wel handmatig wel een versie gevonden.

Ging bij mij ook niet goed met spotweb als newznab ingesteld, dus kan andere oorzaak hebben.

[Freekers]

Ultimation schreef op donderdag 13 december 2012 @ 11:40:
- Er moet sowieso geld gedoneerd worden voor de servers die echt geld kosten; de niet thuisservers.

Dit is alvast iets om in het achterhoofd te houden:
www.isgenoeg.nl

[ShadowBumble]

Freekers schreef op donderdag 13 december 2012 @ 11:43:
[...]


Dit is alvast iets om in het achterhoofd te houden:
www.isgenoeg.nl

Waarvan de eerste 3 niet van toepassing zijn

[Coenen]

Ik vind dit wel het mooiste stuk.

Ultimation schreef op donderdag 13 december 2012 @ 11:40:
Er staan nergens NZB bestanden, alleen MySQL data. Misschien dat deze gegevens te gebruiken zijn om weer een NZB bestand van te maken of om deze gegevens direct door te spelen aan Couchpotato, Sickbeard, Sabnzdb+ e.d. Hierdoor neem je het NZB bestand weg waardoor je geen (directe) mogelijkheid creëert om te downloaden.

Je hebt als indexer alleen MySQL data. Daaruit moeten gebruikers dan zelf releases (aka NZB's) maken?

[XBL]

Klinkt goed Ultimation. Ik zou echter niet MySQL replication gebruiken, maar er een laagje tussen doen.

Ik weet niet precies hoe newznab de database bewerkt, maar wat je kan doen is enkel insert statements accepteren. Voordeel daarvan is dat je altijd nog andere features zou kunnen toevoegen die simpelweg niet in MySQL bestaan. Dit hoeft nu allemaal niet heel moeilijk te zijn, een simpel pythonscriptje volstaat.

[AjDuLion]

percona is als cluster te draaien zo kan iedereen als het goed is doen wat ultimatum zegt

[kmf]

replicatie zal niet lukken. Alle newznab clients zullen hun eigen indices (primary keys if you will) gebruiken. Dan krijg je een enorme zooi als je dat wilt repliceren.

Je kan dan beter of met clusters werken, of dat iedereen per groep indexeert en direct op de database wegschrijft.

[ Voor 25% gewijzigd door kmf op 13-12-2012 11:54 ]

[Ultimation]

Freekers schreef op donderdag 13 december 2012 @ 11:43:
[...]


Dit is alvast iets om in het achterhoofd te houden:
www.isgenoeg.nl

Zit je dan niet met bandbreedte die betaald moet worden? Als er Tweakers zijn die soort gelijke servers met soort gelijke verbindingen hebben kan dat toch ook? Neemt weer wat kosten weg..

€5,- per TB. Moet genoeg zijn lijkt me..

Coenen schreef op donderdag 13 december 2012 @ 11:48:
Ik vind dit wel het mooiste stuk.


[...]


Je hebt als indexer alleen MySQL data. Daaruit moeten gebruikers dan zelf releases (aka NZB's) maken?

Ja dat is het idee. Hoe dat precies werkt weet ik niet. Maar er zijn vast wel knappe koppen die iets kunnen maken?

XBL schreef op donderdag 13 december 2012 @ 11:48:
Klinkt goed Ultimation. Ik zou echter niet MySQL replication gebruiken, maar er een laagje tussen doen.

Ik weet niet precies hoe newznab de database bewerkt, maar wat je kan doen is enkel insert statements accepteren. Voordeel daarvan is dat je altijd nog andere features zou kunnen toevoegen die simpelweg niet in MySQL bestaan. Dit hoeft nu allemaal niet heel moeilijk te zijn, een simpel pythonscriptje volstaat.

Laagje er tussen is een goede inderdaad. Misschien dat de bestaande index software aangepast kan worden dat deze via SOAP/REST/JSON/WebSocket e.d. content naar eigen en externe DB pushed? UUID + keys nodig voor verificatie, alles via VPN verbindingen.

AjDuLion schreef op donderdag 13 december 2012 @ 11:51:
percona is als cluster te draaien zo kan iedereen als het goed is doen wat ultimatum zegt

Even zien hoe dat met veiligheid zit..?

[XBL]

Ultimation schreef op donderdag 13 december 2012 @ 11:56:
Laagje er tussen is een goede inderdaad. Misschien dat de bestaande index software aangepast kan worden dat deze via SOAP/REST/JSON/WebSocket e.d. content naar eigen en externe DB pushed? UUID + keys nodig voor verificatie, alles via VPN verbindingen.

Als je VPN gebruikt hoef je geen moeilijke keys te doen, maar geef je elke server een eigen account. Ik zou alleen even kijken wat minder resource intensief is: alles via HTTPS of alles via losse VPN verbindingen. Mijn gevoel zegt dat SSL een stuk minder zwaar is. Ik geloof niet dat een VPN verbinding voor deze opzet veel meer voordelen biedt.

[j1nx]

Je kan in linux gewoon encrypted tunnels opzetten naar elkaar. Je zet alle MySQL servers dan dus gewoon in hun eigen virtuele LAN. Syncen gebeurt dan gewoon zoals je meerdere database servers in je LAN ook zal syncen.

[Ultimation]

XBL schreef op donderdag 13 december 2012 @ 12:01:
[...]

Als je VPN gebruikt hoef je geen moeilijke keys te doen, maar geef je elke server een eigen account. Ik zou alleen even kijken wat minder resource intensief is: alles via HTTPS of alles via losse VPN verbindingen. Mijn gevoel zegt dat SSL een stuk minder zwaar is. Ik geloof niet dat een VPN verbinding voor deze opzet veel meer voordelen biedt.

Ik denk dat het hierin belangrijker is dat het verkeerd niet kan worden bekeken. Daarbij geeft een VPN verbinding iets meer zekerheid dan HTTPS denk ik. Unieke verbinding per server, misschien om de veiligheid te vergroten moet elke indexer zichzelf identificeert. Zo kan ook een beetje bij gehouden worden hoeveel werk een indexer doet. Dan kan je een soort van credits aan een Tweaker geven die veel werk doet.

[Coenen]

@J1nx, moet je wel Linux draaien. Ik draai nu met WHS2011. Maar ook die zou encrypted tunnels moeten kunnen doen. Anders heb ik nog een Fortigate Firewall staan die het zeker kan.

[j1nx]

Coenen schreef op donderdag 13 december 2012 @ 12:09:
@J1nx, moet je wel Linux draaien. Ik draai nu met WHS2011. Maar ook die zou encrypted tunnels moeten kunnen doen. Anders heb ik nog een Fortigate Firewall staan die het zeker kan.

Tsja heb MySQL op windows nooit echt begrepen. Windows heeft andere betere SQL servers.

[Ultimation]

Coenen schreef op donderdag 13 december 2012 @ 12:09:
@J1nx, moet je wel Linux draaien. Ik draai nu met WHS2011. Maar ook die zou encrypted tunnels moeten kunnen doen. Anders heb ik nog een Fortigate Firewall staan die het zeker kan.

We zouden een virtuele machine kunnen uitdelen die je in een hypervisior naar keuze kan installeren en draaien. Dan is de software geheel goed geconfigureerd. Enige wat dan rest is configuratie.

[XBL]

Ultimation schreef op donderdag 13 december 2012 @ 12:06:

Ik denk dat het hierin belangrijker is dat het verkeerd niet kan worden bekeken. Daarbij geeft een VPN verbinding iets meer zekerheid dan HTTPS denk ik. Unieke verbinding per server, misschien om de veiligheid te vergroten moet elke indexer zichzelf identificeert. Zo kan ook een beetje bij gehouden worden hoeveel werk een indexer doet. Dan kan je een soort van credits aan een Tweaker geven die veel werk doet.

Als je API alleen bereikbaar is via HTTPS, is het hardstikke veilig. VPN is vooral leuk als je meerdere dingen wilt doen op een verbinding. Loggen (en authenticeren) doe je met behulp van keys in de requests.

Op zich is VPN ook een prima oplossing, ik denk alleen dat het een stuk minder schaalbaar is als je voor elke server een aparte verbinding moet open houden. Let er verder ook op als je alle VPN clients in hetzelfde vlan stopt, ze elkaars verkeer kunnen zien. Mocht er een mol zijn, kan dat consequenties voor iedereen hebben. Dit heeft echter weer veel meer te maken met hoeveel gebruikers van elkaar mogen weten, dan technische beveiliging.

[ennekke]

XBL schreef op donderdag 13 december 2012 @ 12:27:
[...]

Als je API alleen bereikbaar is via HTTPS, is het hardstikke veilig. VPN is vooral leuk als je meerdere dingen wilt doen op een verbinding. Loggen (en authenticeren) doe je met behulp van keys in de requests.

Op zich is VPN ook een prima oplossing, ik denk alleen dat het een stuk minder schaalbaar is als je voor elke server een aparte verbinding moet open houden. Let er verder ook op als je alle VPN clients in hetzelfde vlan stopt, ze elkaars verkeer kunnen zien. Mocht er een mol zijn, kan dat consequenties voor iedereen hebben. Dit heeft echter weer veel meer te maken met hoeveel gebruikers van elkaar mogen weten, dan technische beveiliging.

Je was me voor, maar ik deel deze mening. HTTPS is naar mijn gevoel veiliger dan een VPN met iedereen delen.

[PenguinPower]

Je kan al het HTTP/HTTPS verkeer via cloudflare laten lopen. In dat geval is de werkelijke server ook lastiger te traceren. (zolang je direct maar hernoemd)

De onderlinge communicatie voor de mysql dumps/synchronisatie(?) kan dan natuurlijk het makkelijkst gebruikt maken van ssh tunnels. Dit moet dan op een apart subdomein wat niet wordt geproxied door cloudflare...