Ah, that explains, thanks.
ik woon zelf niet in nederland maar mijn vrouw vind het wel leuk om nederlandse releases te zien. is er een a.b. group die specifiek nl spul heeft?
Probeer is reboot dan nnindexer.php daemonFreekers schreef op donderdag 13 december 2012 @ 17:40:
[...]
[...]
[...]
Die eerste had ik niet maar die tweede welTypo neem ik aan
Stond inderdaad op Yes. Heb dit veranderd naar No en gereboot. Even kijken wat hij doet...
EDIT: Nee hoor, nog steeds hetzelfde. Er gaat hier dadelijk nog iets door het raam..
[...]
Ja, generate.php in het begin gedraaid
Klopt, maar die warning dat hij dat searchd.pid file niet kan openen zou niet mogen.
[...]
Pad is ingesteld in NewzNab en klopt (handmatig gechecked).
Sphinx heb ik reeds opnieuw geinstalleerd (apt-get install --reinstall sphinxsearch en daarna deze tutorial: http://newznab.readthedocs.org/en/latest/misc/sphinx/) maar het probleem blijft
[...]
Staat er helaas niet tussen:
( check voor de zekerheid dat sphinxsearh gestop is voordat je de daemon start
/etc/init.d/sphinxsearch stop
en dan de kijken of het wel werkt
Mocht het dan nog niet werken wil ik wel een keer voor je kijken als dat kan en mag op je systeem
Cool, dat betekend dat ze er iig wel mee bezig zijn! Top!Pizzalucht schreef op donderdag 13 december 2012 @ 18:34:
Ik ben even op bezoek geweest in de IRC, ik heb te horen gekregen dat het maken van releases op basis van bestandsnamen in dev is. Je kan het bestandje vinden in "/misc/testing/update_parsing.php".
Ga het zo even testen.
Wat ik me wel afvraag is hoe nzbs.org dit op dit moment dan al wel doet. Want overal staat dat nzbs.org gebaseerd is op newznab, maar die hebben dan schijnbaar toch nog wat meer custom code erin zitten. Hopelijk komt dat snel beschikbaar.
Er zijn wel een aantal voordelen zoals het gebruik van caching e.d.Mr. Happy schreef op donderdag 13 december 2012 @ 19:15:
[...]
Geen haast hoor![]()
Ik heb ondertussen zelf een VM in elkaar geflanst.
Zijn er, naast de regex-regels, echt redenen om de betaalde versie te nemen?
De extra's heb ik bekeken op de site van newznab, maar wat levert daadwerkelijk toegevoegde waarde?
Volgens de website zijn dit de aanpassingen:
- Increased support
- Thumbnailing from available archive types
- Memcache/apc support
- Full rar archive file listings
- Mediainfo integration
- CMS type role limits
- Sphinx MySql search support
Dat lijstje had ik ook gezien.MaNDaRK schreef op donderdag 13 december 2012 @ 21:39:
[...]
Er zijn wel een aantal voordelen zoals het gebruik van caching e.d.
Volgens de website zijn dit de aanpassingen:
- Increased support
- Thumbnailing from available archive types
- Memcache/apc support
- Full rar archive file listings
- Mediainfo integration
- CMS type role limits
- Sphinx MySql search support
Wat ik me afvraag is of memcache/apc support en Sphinx echt toegevoegde waarde hebben als er maar 2/3 personen van zo'n servertje gebruik maken en wat de interessante extra's Idie niet expliciet benoemd zijn) zijn?
[ Gathering of Tweakers ] [ GitHub ]
Sphinx zal zeker wel belangrijk zijn, maar dan alleen bij backlogs en directe searches van SB of CP. Om een release te vinden in een enorme database is niet iets dat zonder performancedegredatie kan gebeuren.Mr. Happy schreef op donderdag 13 december 2012 @ 22:04:
[...]
Dat lijstje had ik ook gezien.
Wat ik me afvraag is of memcache/apc support en Sphinx echt toegevoegde waarde hebben als er maar 2/3 personen van zo'n servertje gebruik maken en wat de interessante extra's Idie niet expliciet benoemd zijn) zijn?
Met sphinx is een zeer zware taak weggehaald zodat je database meer tijd heeft voor het bijhouden van releases.
Het heeft dus zelfs voor 1 persoon die gebruik maakt al toegevoegde waarde.
One thing's certain: the iPad seriously increases toilet time.. tibber uitnodigingscode: bqufpqmp
Al in de log gekeken? Het probleem dat ik had, is dat ik nog een 'mkdir binlog' moest maken, omdat die niet was gemaakt en omdat de daemon daar dus een fatal error op kreeg.
EDIT: Ja, ik weet het wel zeker. bij het generaten heb je een pad opgegeven (php nnindexer.php generate /path/to/folder), daarin moet je nog een mkdir doen. In dezelfde map zul je een searchd.log vinden, daar staan de errors, mocht je nog andere problemen hebben.
[ Voor 30% gewijzigd door jeffreytigch op 14-12-2012 01:02 ]
Verwijderd
Heb op het moment een NN+ installatie draaien met zo'n 40 fokkers als gebruikers. Ik moet zeggen. Het gaat als de brandweer.
Mooi, maar ik zie helaas je naam niet staan in het andere NN topic.Verwijderd schreef op vrijdag 14 december 2012 @ 01:03:
Heb op het moment een NN+ installatie draaien met zo'n 40 fokkers als gebruikers. Ik moet zeggen. Het gaat als de brandweer.
En er staat een nieuwe VM onlineMaNDaRK schreef op donderdag 13 december 2012 @ 18:51:
[...]
Hmmm, dat is niet zo mooi, ik zal hem morgen opnieuw even uploaden
https://docs.google.com/open?id=0B8yZeQXSLRexc3pJU1VrU1lzWkk
Verwijderd
Welk topic?ennekke schreef op vrijdag 14 december 2012 @ 08:36:
[...]
Mooi, maar ik zie helaas je naam niet staan in het andere NN topic.
Zag toevallig het topic in de Active Topics staan. Zeer interessant. Ik maak nu alleen gebruik van nzbs.org omdat ik scene releases wil hebben. Wat ik zo uit het topic haal heb je daar sowieso de plus versie voor nodig omdat deze meer regexp's past.
Ik heb een host met genoeg TB's aan storage aan een 100/100 lijntje, dus daar ga ik het op inrichten. Wordt een installatie op CentOS, waarbij we waarschijnlijk over niet al te lange tijd gaan migreren naar Fedora.
Het e.e.a inclusief complete commando's wil ik een blog gaan bijhouden.
Ik heb een host met genoeg TB's aan storage aan een 100/100 lijntje, dus daar ga ik het op inrichten. Wordt een installatie op CentOS, waarbij we waarschijnlijk over niet al te lange tijd gaan migreren naar Fedora.
Het e.e.a inclusief complete commando's wil ik een blog gaan bijhouden.
Excuses: dit topic bedoelde ik:
[Newznab] newznab community's - deel 1
[ Voor 10% gewijzigd door ennekke op 14-12-2012 11:34 ]
B2 er zijn al enkele writeups gedaan, dus mss heb je daar ook wat aan met het uitvogelen
Heeft iemand een lijstje met aangeraden groepen, met name voor films en series?
In de eerste instantie is het toch voornml. bedoeld voor Sickbeard en Couchpotato.
In de eerste instantie is het toch voornml. bedoeld voor Sickbeard en Couchpotato.
If it is broken, fix it. If it ain't broken, make it better!
Zag ik inderdaad, maar die zijn volgens mij vaak gericht op Ubuntu. Ik zie in het andere topic ook dat er een community met replicating sql servers opgericht gaat worden. Ook interessant.SidewalkSuper schreef op vrijdag 14 december 2012 @ 11:39:
B2 er zijn al enkele writeups gedaan, dus mss heb je daar ook wat aan met het uitvogelen
Mwah, replicating zal het niet worden, dat is gewoon ruk in mysqlB2 schreef op vrijdag 14 december 2012 @ 11:47:
[...]
Zag ik inderdaad, maar die zijn volgens mij vaak gericht op Ubuntu. Ik zie in het andere topic ook dat er een community met replicating sql servers opgericht gaat worden. Ook interessant.
Ik lees het inderdaad, zover was ik nog niet in het topic. Ik zal het daar ook nog even aangeven, maar ik wil wel bijdragen qua (gecertificeerde) linux skills en evt host.Pizzalucht schreef op vrijdag 14 december 2012 @ 11:50:
[...]
Mwah, replicating zal het niet worden, dat is gewoon ruk in mysql
[ Voor 18% gewijzigd door B2 op 14-12-2012 11:51 ]
er word gekeken naar een client-master setup met meerdere indexers, meer kan ik er ook niet over zeggen (omdat er nog gekeken word of dit viable genoeg is en goed werkt).
[ Voor 8% gewijzigd door robobeat op 29-12-2012 19:21 ]
Huh?, mijn database is van ~3GB naar 475MB terug? Das wel fijn, zou de database optimizer aan de gang zijn geweest?
Staat een pagina of twee terugBlackBurn schreef op vrijdag 14 december 2012 @ 11:44:
Heeft iemand een lijstje met aangeraden groepen, met name voor films en series?
In de eerste instantie is het toch voornml. bedoeld voor Sickbeard en Couchpotato.
Wat dacht je van raw bin/posts en headers zijn gedelete, en alleen de gevormde releases zijn nog aanwezigCoenen schreef op vrijdag 14 december 2012 @ 12:31:
Huh?, mijn database is van ~3GB naar 475MB terug? Das wel fijn, zou de database optimizer aan de gang zijn geweest?
"Allow me to shatter your delusions of grandeur."
Klopt, maar dit waren er nog best veel, ik hoopte dat er ook lijstje was met max. 10 ofzo met de belangrijkste voor de twee categoriën series en movies.
If it is broken, fix it. If it ain't broken, make it better!
Die van mij hebben? Ik heb nu +/- 3,5GB..Coenen schreef op vrijdag 14 december 2012 @ 12:31:
Huh?, mijn database is van ~3GB naar 475MB terug? Das wel fijn, zou de database optimizer aan de gang zijn geweest?
Even een vraagje. Ben ik de enige die releases krijgt die lijken op een string van random characters of hash?
Of is dit een tijdelijk iets en wordt dit aangepast zodra de release compleet is?
[ Voor 9% gewijzigd door Edd op 14-12-2012 13:50 ]
-
Ik heb nu een database van 40GB. Netto volgens MySQL. Qua data echter is dit 69GB.
Ik was gisteren opnieuw begonnen. Dit keer op de juiste manier. De juiste tabellen op InnoDB gezet, zo ingesteld dat InnoDB per tabel databestanden moet maken.
En dan maar 10 threads laten lopen. Van de NZB-archives.
Nu is de script aan het draaien sinds vanochtend om de importen te verwerken tot releases en hopelijk de tabellen middels optimisen te verkleinen.
Daarmee kan ik een goed beeld vormen van welke groepen het belangrijkst zijn.
Ik was gisteren opnieuw begonnen. Dit keer op de juiste manier. De juiste tabellen op InnoDB gezet, zo ingesteld dat InnoDB per tabel databestanden moet maken.
En dan maar 10 threads laten lopen. Van de NZB-archives.
Nu is de script aan het draaien sinds vanochtend om de importen te verwerken tot releases en hopelijk de tabellen middels optimisen te verkleinen.
Daarmee kan ik een goed beeld vormen van welke groepen het belangrijkst zijn.
One thing's certain: the iPad seriously increases toilet time.. tibber uitnodigingscode: bqufpqmp
Wow, dat is echt groot. Ik dacht misschien eens proberen op een Amazon EC2 free AWS instance te zetten, zou dat lukken?
Een tweaker zoekt altijd op Google, ik zou dat ook beter moeten doen :)
Wat is er mis met het optimizen van de database? Ik had een database van 8.5Gb en is nu terug naar iets onder de 500Mb.. Alleen de parts worden toch maar verwijderd en de overhead?
Op InnoDB wert dat wat anders. Met de standaard instellingen zal alles in 1 ibdata-file komen. Als je dan deletes doet en dan een optimize, wordt eigenlijk de indexes opnieuw gemaakt en toegevoegd aan dezelfde ibdata. Die zal dus alleen groter worden.joosthaarman schreef op vrijdag 14 december 2012 @ 22:08:
Wat is er mis met het optimizen van de database? Ik had een database van 8.5Gb en is nu terug naar iets onder de 500Mb.. Alleen de parts worden toch maar verwijderd en de overhead?
One thing's certain: the iPad seriously increases toilet time.. tibber uitnodigingscode: bqufpqmp
Ik heb mijn Newznab op CentOS gehad, vanmorgen toevallig verwijderd. Hou er rekening mee dat je community packages nodig gaat zijn als je multi threaded de posts wil ophalen. Daar heb je POSIX (yum install php-posix) en PCNTL (zou standaard in PHP beschikbaar moeten zijn) voor nodig namelijk. Oh, en Pear vanwege Net_NNTP.B2 schreef op vrijdag 14 december 2012 @ 11:33:
Zag toevallig het topic in de Active Topics staan. Zeer interessant. Ik maak nu alleen gebruik van nzbs.org omdat ik scene releases wil hebben. Wat ik zo uit het topic haal heb je daar sowieso de plus versie voor nodig omdat deze meer regexp's past.
Ik heb een host met genoeg TB's aan storage aan een 100/100 lijntje, dus daar ga ik het op inrichten. Wordt een installatie op CentOS, waarbij we waarschijnlijk over niet al te lange tijd gaan migreren naar Fedora.
Het e.e.a inclusief complete commando's wil ik een blog gaan bijhouden.
Daarnaast moet open_basedir uit, omdat anders de installatie van Newznab Pear niet kan vinden, voor de rest is er weinig spectaculairs aan.
[ Voor 9% gewijzigd door CH4OS op 14-12-2012 23:28 ]
gvdm. De "delete unused binaries" (fase7)-query is zo lomp dat deze gewoon niet wilt werken op m'n db.
Dit was de delete-query
In mijn geval zal ie 17.689.220 records moeten weggooien. Dat lukt 'm dus never nooit niet op de manier zoals de query is opgebouwd.
Heb zelf maar een nieuwe script geschreven om datzelfde voor elkaar te krijgen. Maar dan binary voor binary.
Dit was de delete-query
code:
1
2
3
4
5
| DELETE parts, binaries FROM parts LEFT JOIN binaries ON binaries.ID = parts.binaryID LEFT JOIN releasenfo rn ON rn.binaryID = binaries.ID WHERE (binaries.procstat IN (4, 6) AND (rn.binaryid IS NULL OR (rn.binaryid IS NOT NULL AND rn.nfo IS NOT NULL))) OR binaries.dateadded < '2012-12-13 22:14:19' - INTERVAL 36 HOUR |
In mijn geval zal ie 17.689.220 records moeten weggooien. Dat lukt 'm dus never nooit niet op de manier zoals de query is opgebouwd.
Heb zelf maar een nieuwe script geschreven om datzelfde voor elkaar te krijgen. Maar dan binary voor binary.
[ Voor 7% gewijzigd door kmf op 15-12-2012 03:35 ]
One thing's certain: the iPad seriously increases toilet time.. tibber uitnodigingscode: bqufpqmp
Zie constant mijn newznab geupdate worden, maar ik kan nog steeds geen Dexter vinden en een Sons of Anarchy bijvoorbeeld. Juiste groups zouden actief moeten zijn. Ook verrassend te zien dat lolo.sickbeard eigenlijk altijd de nzb's levert, terwijl die qua prio onder mijn eigen staat. Simpelweg omdat de mijne ze (nog) niet heeft. Raar, want verder lijkt het allemaal goed te werken... Binnenkort eens onderzoeken.
Ik heb ongeveer hetzelfde gezien; dat Sickbeard sneller is. Maar de gebeuren nu ook 'gekke' dingen; ze posten in andere groepen. Of het lijkt later te gebeuren. Fringe in 720p heb ik nog niet kunnen vinden, wel een 480p versie. En ik zie nu ook heel veel releases met zo'n hashed file name, zo'n file naam waar een normaal mens niks mee kan.
lolo is newznab indexer, ik heb al sinds mei een plus versie draaien. maar door updates en niet gebruik van het ding ging het afgelopen week mis. Na frisse database inderdaad: weinig regexjes.. gelukkig bleek ik in de /db/ folder nog en sql te hebben staan met een berg regexen. na een dag wachten de ID gekregen en hoppa.. iets van 1300 entries in de database voor regexen ..
Ik index voor mezelf, alleen tv series. Aangezien lolo als eerste staat bij mij doet mijn newznab eigelijk weinig. ;-) want lolo heeft ze eerder als ik (omdat ie eerder staat). Daarnaast krijg je niet alle releases binnen (voor TV) series. Zo kwamen de 2 broke girls niet goed binnen, vampire diaires en arrow ..
tsja.. dan moe je dus alsnog een goed alternatief hebben naast newznab ..
ben benieuwd (heb nu een transmission erachter gehangen om vanaf een torrent site de missende series maar te krijgen) Liever 2 minuten bezig, handmatig te verplaatsen en te hernoemen dan ze niet hebben ;-) ..
Ik index voor mezelf, alleen tv series. Aangezien lolo als eerste staat bij mij doet mijn newznab eigelijk weinig. ;-) want lolo heeft ze eerder als ik (omdat ie eerder staat). Daarnaast krijg je niet alle releases binnen (voor TV) series. Zo kwamen de 2 broke girls niet goed binnen, vampire diaires en arrow ..
tsja.. dan moe je dus alsnog een goed alternatief hebben naast newznab ..
ben benieuwd (heb nu een transmission erachter gehangen om vanaf een torrent site de missende series maar te krijgen) Liever 2 minuten bezig, handmatig te verplaatsen en te hernoemen dan ze niet hebben ;-) ..
There are no secrets, only information you do not yet have
Even voor de echter tweakers onder jullie die nog sneller willen dan de percona en nginx.
Het loont om de php-fpm door een sock te laten lopen ipv van de loopback interface.
/etc/php5/fpm/pool.d/www.conf
Vervang
Met
En dan natuurlijk in je nginx config file
En het loont ook om varnish er voor te gooien. Dat is even te groot om zo hier nu neer te gooien, maar de echte tweaker weet wel hoe;
Wikipedia: Varnish (software)
De backend php can ook wel een accelerator gebruiken. APC is op dit moment denk ik de way to go. In ubuntu is het tegenwoordig gewoon een package installeren; php-apc
Als je eenmaal alles hebt draaien, dan moet je het geheugen optimaliseren. Eerst nginx een beetje terug draaien met processen en goed uit rekenen hoeveel geheugen je moet toekennen. Dan de rest van het geheugen toe kennen aan mysql. Voor beide zal je echt jezelf in moeten lezen, want daar kan je een heel forum mee vullen.
Het loont om de php-fpm door een sock te laten lopen ipv van de loopback interface.
/etc/php5/fpm/pool.d/www.conf
Vervang
listen = 127.0.0.1:9000
Met
listen = /dev/shm/php-fpm-www.sock
En dan natuurlijk in je nginx config file
fastcgi_pass unix:/dev/shm/php-fpm-www.sock;
En het loont ook om varnish er voor te gooien. Dat is even te groot om zo hier nu neer te gooien, maar de echte tweaker weet wel hoe;
Wikipedia: Varnish (software)
De backend php can ook wel een accelerator gebruiken. APC is op dit moment denk ik de way to go. In ubuntu is het tegenwoordig gewoon een package installeren; php-apc
Als je eenmaal alles hebt draaien, dan moet je het geheugen optimaliseren. Eerst nginx een beetje terug draaien met processen en goed uit rekenen hoeveel geheugen je moet toekennen. Dan de rest van het geheugen toe kennen aan mysql. Voor beide zal je echt jezelf in moeten lezen, want daar kan je een heel forum mee vullen.
Technical enthousiast on a budget - DiY Tutorials, How-To's and Information on how to do things yourself, better & cheaper - The Dutch way.
Blegh als ik dit allemaal zo lees heb ik in de toekomst steeds minder zin om gebruik te maken van nieuwsgroepen,.. moet je zometeen overal reageren om de juiste hash-codes te vinden. Moet je gaan betalen om lid te worden van Release groupen of iets dergelijks.
Wat is eigenlijk de minimum requirement van een gemiddelde newznab server?
Wil het wellicht ook wel eens proberen te draaien, just for fun en om te leren. Maar dan moet mijn machine het wel aankunnen natuurlijk.
Wil het wellicht ook wel eens proberen te draaien, just for fun en om te leren. Maar dan moet mijn machine het wel aankunnen natuurlijk.
Heeft iemand een overzicht van groepen voor mij, uitgesplits adv inhoud? Een overzicht, zeg maar.MrOizo2005 schreef op dinsdag 11 december 2012 @ 16:45:
code:
1 2 3 a.b.0day.stuffz a.b.apps.stuffz ...
Gemiddeld, wat is gemiddeld. Hoeveel groepen wil je gaan indexeren, m.a.w. welke content wil je indexeren, wil je het alleen zelf gebruiken.. etc.Nicap schreef op zaterdag 15 december 2012 @ 17:14:
Wat is eigenlijk de minimum requirement van een gemiddelde newznab server?
Wil het wellicht ook wel eens proberen te draaien, just for fun en om te leren. Maar dan moet mijn machine het wel aankunnen natuurlijk.
Als je zelf een indexer wil opzetten om je wekelijkse series te vinden (en dus maar 1-2 groepen hoeft te indexeren), kan dit op elke PC die de afgelopen 8 jaar is gemaakt.
Verwijderd
En als je iets als Binsearch zou willen, wat voor hardware zou zoiets (bij benadering) vergen (cpu, mem)?
Verwijderd in "[Ervaringen] Newznab"
Verwijderd in "[Ervaringen] Newznab"
Verwijderd
Ik krijg dit sinds gisteren.
Starting release update process (2012-12-16 09:18:25)
Using latest regex revision 2513
Stage 1 : Applying regex to binaries
PHP Notice: Undefined offset: 1 in /var/www/newznab/www/lib/releases.php on line 1594
PHP Notice: Undefined offset: 1 in /var/www/newznab/www/lib/releases.php on line 1594
PHP Notice: Undefined offset: 1 in /var/www/newznab/www/lib/releases.php on line 1594
PHP Notice: Undefined offset: 1 in /var/www/newznab/www/lib/releases.php on line 1594
je praat dan over meerdere high end servers.Verwijderd schreef op zondag 16 december 2012 @ 01:18:
En als je iets als Binsearch zou willen, wat voor hardware zou zoiets (bij benadering) vergen (cpu, mem)?
Verwijderd in "[Ervaringen] Newznab"
Technical enthousiast on a budget - DiY Tutorials, How-To's and Information on how to do things yourself, better & cheaper - The Dutch way.
De groepen met films, series en muziek vooral. Geen idee hoeveel groepen dat ongeveer zijn. Spellen en de rest heb ik geen interesse in.senn schreef op zondag 16 december 2012 @ 00:14:
[...]
Gemiddeld, wat is gemiddeld. Hoeveel groepen wil je gaan indexeren, m.a.w. welke content wil je indexeren, wil je het alleen zelf gebruiken.. etc.
Als je zelf een indexer wil opzetten om je wekelijkse series te vinden (en dus maar 1-2 groepen hoeft te indexeren), kan dit op elke PC die de afgelopen 8 jaar is gemaakt.
Ik ga het wel gewoon proberen en kijk wel waar ik kom. Het is voornamelijk voor mezelf en wat vienden.
Ik heb een verzameling gemaakt van regexen voor groepen die niet in Newznab zelf staan, mischien is het handig dat je deze link in de TS opneemt?
Private Bits: Newznab Regex entries voor nieuwe groepen
Private Bits: Newznab Regex entries voor nieuwe groepen
Zojuist heb ik ook geprobeerd een Newznab server op te zetten, maar het wil nog niet echt lukken met het ophalen van posts.
Als ik bij de Usenet server de gegevens van Eweka neerzet is hij zo (lees 1 minuut) klaar maar haalt hij niks op.
Gebruik ik de server van Ziggo dan duurt het enorm lang maar krijg ik soms socket error's
Ik heb als testgroep a.b.boneless gebruikt, daar zou genoeg in moeten staan.
Zijn er mensen die het wel werkend hebben met Eweka?
Als ik bij de Usenet server de gegevens van Eweka neerzet is hij zo (lees 1 minuut) klaar maar haalt hij niks op.
Gebruik ik de server van Ziggo dan duurt het enorm lang maar krijg ik soms socket error's
Ik heb als testgroep a.b.boneless gebruikt, daar zou genoeg in moeten staan.
Zijn er mensen die het wel werkend hebben met Eweka?
Net op de IRC voor elkaar gekregen dat "misc/testing/update_parsing.php" ook de geupdate releases gaat updaten met film/serie informatie. Op dit moment past hij de releasenaam aan, maar de informatie in de release blijft weg, hierdoor pakt sickbeard hem nog niet goed, ookal is hij geupdate.
Zou binnenkort in de plus svn moeten staan
Wat anders:
Ik update 124 groepen, elke 5 minuten, een update duurt ongeveer ~100 seconden.
Zou binnenkort in de plus svn moeten staan
Wat anders:
Ik update 124 groepen, elke 5 minuten, een update duurt ongeveer ~100 seconden.
[ Voor 12% gewijzigd door Pizzalucht op 16-12-2012 15:35 ]
Verwijderd
Zou je even kunnen toelichten, welke hardware je hiervoor gebruikt en hoe je alles hebt geconfigureerd? Ik "volg" nu 13 groepen, wel op een VM (4 cores, 2gb geheugen, 127Gb diskspace) en per updateronde duurt dit makkelijk een half uur, als het al niet meer is...Pizzalucht schreef op zondag 16 december 2012 @ 15:34:
Net op de IRC voor elkaar gekregen dat "misc/testing/update_parsing.php" ook de geupdate releases gaat updaten met film/serie informatie. Op dit moment past hij de releasenaam aan, maar de informatie in de release blijft weg, hierdoor pakt sickbeard hem nog niet goed, ookal is hij geupdate.
Zou binnenkort in de plus svn moeten staan
Wat anders:
Ik update 124 groepen, elke 5 minuten, een update duurt ongeveer ~100 seconden.
Voor zover ik weet heb ik alle optimalistaties gedaan die ik kon vinden... Ook heb ik al geprobeerd om de update_binaries_threaded.php te gebruiken in plaats van de gewone update_binaries.php, maar op zich is daar niet veel winst mee te boeken.
Avast bedankt
Ik ben op basis van deze website bezig om newznab op mijn synology te installeren om te kijken of dat een beetje goed daat.
http://www.synology-forum...topic.php?t=11793&p=61674
echter krijg ik deze foutmelding bij het uitvoeren van het volgende commando:
wget -O /volume1/@appstore/.apache_conf/apache.conf https://dl.dropbox.com/u/...s/apache_conf/apache.conf --no-check-certificate
wget unrecognized option --no-check-certificate
iemand enig idee??
http://www.synology-forum...topic.php?t=11793&p=61674
echter krijg ik deze foutmelding bij het uitvoeren van het volgende commando:
wget -O /volume1/@appstore/.apache_conf/apache.conf https://dl.dropbox.com/u/...s/apache_conf/apache.conf --no-check-certificate
wget unrecognized option --no-check-certificate
iemand enig idee??
@BuzzieBuzzie schreef op zondag 16 december 2012 @ 16:30:
Ik ben op basis van deze website bezig om newznab op mijn synology te installeren om te kijken of dat een beetje goed daat.
http://www.synology-forum...topic.php?t=11793&p=61674
echter krijg ik deze foutmelding bij het uitvoeren van het volgende commando:
wget -O /volume1/@appstore/.apache_conf/apache.conf https://dl.dropbox.com/u/...s/apache_conf/apache.conf --no-check-certificate
wget unrecognized option --no-check-certificate
iemand enig idee??
De laatste versie van de handleiding is hier te vinden.
Er zaten nog wat fouten en die moeten er nu uit zijn gehaald.
Thinkpad T500 | Synology HowTo's (CouchPotato, Sickbeard, Periscope, Headphones)
Thanks man !!!Brickman schreef op zondag 16 december 2012 @ 16:34:
[...]
@Buzzie
De laatste versie van de handleiding is hier te vinden.
Er zaten nog wat fouten en die moeten er nu uit zijn gehaald.
gaan we straks weer verder.
heb je al mensen met ervaringen die dit op hun Synology hebben draaien?
Heeft iemand een oplossing voor deze foutmelding:
Processing alt.binaries.multimedia
Could not select group (bad name?): alt.binaries.multimedia
Ik zit op giganews
En, waarom heb ik het gevoel dat ik nu geen 30 dagen retentie heb. Ik heb ook de groep a.b.teevee toegevoegd, daar zitten nu 50 releases in, dat lijkt me toch een stuk meer te moeten zijn? Backfilldays staat op '30' ingesteld
Processing alt.binaries.multimedia
Could not select group (bad name?): alt.binaries.multimedia
Ik zit op giganews
En, waarom heb ik het gevoel dat ik nu geen 30 dagen retentie heb. Ik heb ook de groep a.b.teevee toegevoegd, daar zitten nu 50 releases in, dat lijkt me toch een stuk meer te moeten zijn? Backfilldays staat op '30' ingesteld
[ Voor 40% gewijzigd door sus op 16-12-2012 18:00 ]
je hebt waarschijnlijk een timeout. Effe max messages even beperken tot iets van 5000.sus schreef op zondag 16 december 2012 @ 17:58:
Heeft iemand een oplossing voor deze foutmelding:
Processing alt.binaries.multimedia
Could not select group (bad name?): alt.binaries.multimedia
Ik zit op giganews
En, waarom heb ik het gevoel dat ik nu geen 30 dagen retentie heb. Ik heb ook de groep a.b.teevee toegevoegd, daar zitten nu 50 releases in, dat lijkt me toch een stuk meer te moeten zijn? Backfilldays staat op '30' ingesteld
en releases is sterk afhankelijk van de regex. zonder de juiste regex krijg je nooit wat te zien.
One thing's certain: the iPad seriously increases toilet time.. tibber uitnodigingscode: bqufpqmp
Quadcore 3Ghz, 4GB ram. 5,5TB diskspace. MySQL engine is innodb. Weet je zeker dat je niet aan het backfillen bent oid? En wat is je internet/usenet provider snelheid?Verwijderd schreef op zondag 16 december 2012 @ 15:56:
[...]
Zou je even kunnen toelichten, welke hardware je hiervoor gebruikt en hoe je alles hebt geconfigureerd? Ik "volg" nu 13 groepen, wel op een VM (4 cores, 2gb geheugen, 127Gb diskspace) en per updateronde duurt dit makkelijk een half uur, als het al niet meer is...
Voor zover ik weet heb ik alle optimalistaties gedaan die ik kon vinden... Ook heb ik al geprobeerd om de update_binaries_threaded.php te gebruiken in plaats van de gewone update_binaries.php, maar op zich is daar niet veel winst mee te boeken.
Avast bedankt
En waar zit je meeste tijd in? Processen of updaten van binaries? Ik heb ffmpeg/mediainfo uit gezet.
Brickman schreef op zondag 16 december 2012 @ 16:34:
[...]
@Buzzie
De laatste versie van de handleiding is hier te vinden.
Er zaten nog wat fouten en die moeten er nu uit zijn gehaald.
code:
1
2
3
| # Control Panel -> Web Services -> PHP Settings: # Under "Select PHP extension": Make sure that # the following items are checked: gd, mysql, openssl, zip, zlib |
Als we hier ook 'memcached' enablen, kunnen we dan niet simpelweg die caching methode gebruiken? Of heeft dat zowiezo geen zin met de beperkingen van de syno?
En hoeveel zin heeft een newznab server zonder het volgende?
# ToDo:
code:
1
| # - Add a cron job that runs in the background to retrieve the new releases |
[ Voor 11% gewijzigd door witchdoc op 16-12-2012 19:14 ]
Verwijderd
Dedicated dusPizzalucht schreef op zondag 16 december 2012 @ 19:03:
[...]
Quadcore 3Ghz, 4GB ram. 5,5TB diskspace. MySQL engine is innodb. Weet je zeker dat je niet aan het backfillen bent oid? En wat is je internet/usenet provider snelheid?
En waar zit je meeste tijd in? Processen of updaten van binaries? Ik heb ffmpeg/mediainfo uit gezet.
Ga ik zeker ook is proberen op wat hardware die ik nog liggen heb. Tabellen staan ook op innoDb (3 toch) en voor zover ik weet ben ik niet aan het backfillen. ("Where to start groups" staat op 1 dag)
De releases komen goed binnen, alleen het "verwerken" ervan verloopt enorm traag. FFmpeg enz staat ook allemaal uit.
Ben je direct gestart met die serveropzet, of had je ook eerst een VM of dergelijke? Kwestie om te weten of je een enorm snelheidsverschil merkte toen je op de 3Ghz server zat.
Ik heb een scriptje met while loop in screen draaien, dus dat loopt ook al lekker.witchdoc schreef op zondag 16 december 2012 @ 19:12:
[...]
code:
1 2 3 # Control Panel -> Web Services -> PHP Settings: # Under "Select PHP extension": Make sure that # the following items are checked: gd, mysql, openssl, zip, zlib
Als we hier ook 'memcached' enablen, kunnen we dan niet simpelweg die caching methode gebruiken? Of heeft dat zowiezo geen zin met de beperkingen van de syno?
En hoeveel zin heeft een newznab server zonder het volgende?
# ToDo:
code:
1 # - Add a cron job that runs in the background to retrieve the new releases
Thinkpad T500 | Synology HowTo's (CouchPotato, Sickbeard, Periscope, Headphones)
Share pleaseBrickman schreef op zondag 16 december 2012 @ 19:46:
[...]
Ik heb een scriptje met while loop in screen draaien, dus dat loopt ook al lekker.
Nog een probleempje dat ik ondervind met jouw guide:
https://newznab.domein.tld/install/step1.php?
Checking for Pear:
Cannot find PEAR. To install PEAR follow the instructions at http://pear.php.net/manual/en/installation.php Error
Terwijl het toch echt installed zou moeten zijn:
code:
1
2
3
4
| synstorage> ipkg install php-pear -nodeps Package php-pear (5.2.17-2) installed in root is up to date. Nothing to be done Successfully terminated. |
Al bestaat die /opt/share/pear directory die je ons aan het path laat toevoegen niet? Ik vermoed dus dat ie elders neegezet wordt?
Staat nu in de HowTo erbij.witchdoc schreef op zondag 16 december 2012 @ 20:16:
[...]
Share please
Nog een probleempje dat ik ondervind met jouw guide:
https://newznab.domein.tld/install/step1.php?
Checking for Pear:
Cannot find PEAR. To install PEAR follow the instructions at http://pear.php.net/manual/en/installation.php Error
Terwijl het toch echt installed zou moeten zijn:
code:
1 2 3 4 synstorage> ipkg install php-pear -nodeps Package php-pear (5.2.17-2) installed in root is up to date. Nothing to be done Successfully terminated.
Al bestaat die /opt/share/pear directory die je ons aan het path laat toevoegen niet? Ik vermoed dus dat ie elders neegezet wordt?
Zou je het volgende kunnen draaien:
find / -name pear
Eens kijken waar bij jou PEAR verstop is.
Thinkpad T500 | Synology HowTo's (CouchPotato, Sickbeard, Periscope, Headphones)
Brickman schreef op zondag 16 december 2012 @ 20:26:
[...]
Staat nu in de HowTo erbij.
Zou je het volgende kunnen draaien:
find / -name pear
Eens kijken waar bij jou PEAR verstop is.
ik krijg dezelfde foutmelding.witchdoc schreef op zondag 16 december 2012 @ 20:16:
[...]
Share please
Nog een probleempje dat ik ondervind met jouw guide:
https://newznab.domein.tld/install/step1.php?
Checking for Pear:
Cannot find PEAR. To install PEAR follow the instructions at http://pear.php.net/manual/en/installation.php Error
Terwijl het toch echt installed zou moeten zijn:
code:
1 2 3 4 synstorage> ipkg install php-pear -nodeps Package php-pear (5.2.17-2) installed in root is up to date. Nothing to be done Successfully terminated.
Al bestaat die /opt/share/pear directory die je ons aan het path laat toevoegen niet? Ik vermoed dus dat ie elders neegezet wordt?
dit is mijn locatie voor Pear
DiskStation1812> find / -name pear
/volume1/@optware/share/pear
/volume1/@optware/tmp/pear
/volume1/@optware/bin/pear
geen idee hoe ik het zwarte kader kan gebruiken
code:
1
2
| synstorage> find / -name pear synstorage> |
geetf niks dus
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
| synstorage> find / -iname \*pear\* /volume1/@appstore/MailStation/roundcubemail/program/lib/PEAR5.php /volume1/@appstore/MailStation/roundcubemail/program/lib/PEAR.php /volume1/@optware/lib/ipkg/info/php-pear.prerm /volume1/@optware/lib/ipkg/info/php-pear.postinst /volume1/@optware/lib/ipkg/info/php-pear.list /volume1/@optware/lib/ipkg/info/php-pear.control /volume1/@optware/etc/pear.conf /volume1/@optware/etc/pearkeys find: /proc/24030: No such file or directory find: /proc/24031: No such file or directory /opt/lib/ipkg/info/php-pear.prerm /opt/lib/ipkg/info/php-pear.postinst /opt/lib/ipkg/info/php-pear.list /opt/lib/ipkg/info/php-pear.control /opt/etc/pear.conf /opt/etc/pearkeys |
Die zwarte dingen krijg je door je tekst tussen {cmd}{/cmd} tags te zetten.. maar dan met rechte haken [ en ]. Probeer zijn tekst maar eens te quoten, dan zie je het gebruik wel.
[ Voor 11% gewijzigd door witchdoc op 16-12-2012 20:32 ]
Ik heb nu /volume1/@optware/share/pear toegevoegd ipv /opt/share/pear.
Welke php packages heb je geinstalleerd?
Anders dan maar eens verwijderen en op nieuw installeren
Welke php packages heb je geinstalleerd?
ipkg list_installed | grep php
Anders dan maar eens verwijderen en op nieuw installeren
ipkg remove php-pear ipkg install php-pear -nodeps
[ Voor 10% gewijzigd door Brickman op 16-12-2012 20:34 ]
Thinkpad T500 | Synology HowTo's (CouchPotato, Sickbeard, Periscope, Headphones)
Thanks....ik zie het,witchdoc schreef op zondag 16 december 2012 @ 20:30:
code:
1 2 synstorage> find / -name pear synstorage>
geetf niks dus
Die zwarte dingen krijg je door je tekst tussen {cmd}{/cmd} tags te zetten.. maar dan met rechte haken [ en ]. Probeer zijn tekst maar eens te quoten, dan zie je het gebruik wel.
overigens krijg ik nu foutmeldingen als ik mijn open basedir probeer aan te passen?
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
| synstorage> ipkg list_installed | grep php php-pear - 5.2.17-2 - PHP Extension and Application Repository synstorage> ipkg remove php-pear Removing package php-pear from root... Successfully terminated. synstorage> ipkg install php-pear -nodeps Installing php-pear (5.2.17-2) to root... Downloading http://ipkg.nslu2-linux.org/feeds/optware/syno-i686/cross/unstable/php-pear_5.2.17-2_i686.ipk Configuring php-pear //opt/lib/ipkg/info/php-pear.postinst: line 12: /opt/bin/php: not found mv: can't rename '/opt/etc/pear.conf': No such file or directory Successfully terminated. synstorage> |
En als ik het even nakijk kreeg ik die can't rename error ook de eerste keer dat'k het installeerde.
[ Voor 7% gewijzigd door witchdoc op 16-12-2012 20:37 ]
Brickman schreef op zondag 16 december 2012 @ 20:33:
Ik heb nu /volume1/@optware/share/pear toegevoegd ipv /opt/share/pear.
Welke php packages heb je geinstalleerd?
ipkg list_installed | grep php
Anders dan maar eens verwijderen en op nieuw installeren
ipkg remove php-pear ipkg install php-pear -nodeps
DiskStation1812> ipkg list_installed | grep php php - 5.2.17-2 - The php scripting language php-curl - 5.2.17-2 - libcurl extension for php php-pear - 5.2.17-2 - PHP Extension and Application Repository DiskStation1812>
DiskStation1812> ipkg remove php-pear Removing package php-pear from root... Successfully terminated. DiskStation1812> ipkg install php-pear -nodeps Installing php-pear (5.2.17-2) to root... Downloading http://ipkg.nslu2-linux.org/feeds/optware/syno-i686/cross/unstable/php-pear_5.2.17-2_i686.ipk Configuring php-pear [PEAR] Archive_Tar - installed: 1.3.7 [PEAR] Console_Getopt - installed: 1.2.3 [PEAR] Structures_Graph- installed: 1.0.3 [PEAR] XML_Util - installed: 1.2.1 [PEAR] PEAR - installed: 1.9.1 Wrote PEAR system config file at: /opt/etc/pear.conf You may want to add: /opt/share/pear to your php.ini include_path Successfully terminated. DiskStation1812>
[ Voor 35% gewijzigd door Buzzie op 16-12-2012 20:37 ]
Dan met PHP installeren en daarna verwijderen:
Zo moet het wel goed gaan.
@Buzzie: Bestaat /opt/share/pear nu wel?
ipkg install php-pear # Install PHP PEAR required for nntp ipkg remove php -force-depends # Remove the php part
Zo moet het wel goed gaan.
@Buzzie: Bestaat /opt/share/pear nu wel?
[ Voor 9% gewijzigd door Brickman op 16-12-2012 20:41 ]
Thinkpad T500 | Synology HowTo's (CouchPotato, Sickbeard, Periscope, Headphones)
@Brickman,
Ik wilde de locatie van mijn pear aanpassen in mijn open basedir echter kreeg ik keer op keer een failed bericht.
Daarna Pear verwijderd en opnieuw geinstalleerd en dat ging goed zoals je hierboven kan zien.
echter start nu newznab install niet meer op ??
Ik wilde de locatie van mijn pear aanpassen in mijn open basedir echter kreeg ik keer op keer een failed bericht.
Daarna Pear verwijderd en opnieuw geinstalleerd en dat ging goed zoals je hierboven kan zien.
echter start nu newznab install niet meer op ??
to be edited
"Checking for Pear: OK"
Success
Toch wel stiekem een beetje jaloers op je syno/linux kunsten
Anyway, weer maar eens van harte bedankt brickman.
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
| synstorage> ipkg remove php-pear Removing package php-pear from root... Successfully terminated. synstorage> ipkg list_installed | grep php synstorage> ipkg install php-pear Installing php-pear (5.2.17-2) to root... Downloading http://ipkg.nslu2-linux.org/feeds/optware/syno-i686/cross/unstable/php-pear_5.2.17-2_i686.ipk Installing php (5.2.17-2) to root... Downloading http://ipkg.nslu2-linux.org/feeds/optware/syno-i686/cross/unstable/php_5.2.17-2_i686.ipk Installing bzip2 (1.0.6-1) to root... Downloading http://ipkg.nslu2-linux.org/feeds/optware/syno-i686/cross/unstable/bzip2_1.0.6-1_i686.ipk Installing libxml2 (2.7.8-1) to root... Downloading http://ipkg.nslu2-linux.org/feeds/optware/syno-i686/cross/unstable/libxml2_2.7.8-1_i686.ipk Installing libxslt (1.1.26-2) to root... Downloading http://ipkg.nslu2-linux.org/feeds/optware/syno-i686/cross/unstable/libxslt_1.1.26-2_i686.ipk Installing gdbm (1.8.3-4) to root... Downloading http://ipkg.nslu2-linux.org/feeds/optware/syno-i686/cross/unstable/gdbm_1.8.3-4_i686.ipk Installing libdb (4.2.52-3) to root... Downloading http://ipkg.nslu2-linux.org/feeds/optware/syno-i686/cross/unstable/libdb_4.2.52-3_i686.ipk Installing pcre (8.31-1) to root... Downloading http://ipkg.nslu2-linux.org/feeds/optware/syno-i686/cross/unstable/pcre_8.31-1_i686.ipk Installing libstdc++ (6.0.9-6) to root... Downloading http://ipkg.nslu2-linux.org/feeds/optware/syno-i686/cross/unstable/libstdc++_6.0.9-6_i686.ipk Installing cyrus-sasl-libs (2.1.23-2) to root... Downloading http://ipkg.nslu2-linux.org/feeds/optware/syno-i686/cross/unstable/cyrus-sasl-libs_2.1.23-2_i686.ipk Installing openldap-libs (2.3.43-2) to root... Downloading http://ipkg.nslu2-linux.org/feeds/optware/syno-i686/cross/unstable/openldap-libs_2.3.43-2_i686.ipk Configuring bzip2 update-alternatives: Linking //opt/bin/bzip2 to /opt/bin/bzip2-bzip2 Configuring cyrus-sasl-libs Configuring gdbm Configuring libdb Configuring libstdc++ Configuring libxml2 Configuring libxslt Configuring openldap-libs Configuring pcre Configuring php Configuring php-pear [PEAR] Archive_Tar - installed: 1.3.7 [PEAR] Console_Getopt - installed: 1.2.3 [PEAR] Structures_Graph- installed: 1.0.3 [PEAR] XML_Util - installed: 1.2.1 [PEAR] PEAR - installed: 1.9.1 Wrote PEAR system config file at: /opt/etc/pear.conf You may want to add: /opt/share/pear to your php.ini include_path Successfully terminated. synstorage> ipkg remove php -force-depends Removing package php from root... Successfully terminated. synstorage> find / -iname pear /tmp/pear /tmp/pear/download/PEAR-1.9.1/PEAR /volume1/@optware/bin/pear /volume1/@optware/share/pear /volume1/@optware/share/pear/PEAR /volume1/@optware/share/pear/data/PEAR /volume1/@optware/share/pear/doc/PEAR /opt/bin/pear /opt/share/pear /opt/share/pear/PEAR /opt/share/pear/data/PEAR /opt/share/pear/doc/PEAR synstorage> ipkg list_installed | grep php php-pear - 5.2.17-2 - PHP Extension and Application Repository synstorage> |
"Checking for Pear: OK"
Success
Toch wel stiekem een beetje jaloers op je syno/linux kunsten
Anyway, weer maar eens van harte bedankt brickman.
[ Voor 206% gewijzigd door witchdoc op 16-12-2012 20:58 ]
Wil je de volgende keer ook de error mee te posten? Dan weet ik meteen wat er fout gaat.Buzzie schreef op zondag 16 december 2012 @ 20:47:
@Brickman,
Ik wilde de locatie van mijn pear aanpassen in mijn open basedir echter kreeg ik keer op keer een failed bericht.
Daarna Pear verwijderd en opnieuw geinstalleerd en dat ging goed zoals je hierboven kan zien.
echter start nu newznab install niet meer op ??
Probeer de open_basedir naar z'n default terug te zetten door hem uit te vinken en op apply te klikken en het venster sluiten. Daarna weer aanzetten en de newznab toevoegingen erbij zetten.
Thinkpad T500 | Synology HowTo's (CouchPotato, Sickbeard, Periscope, Headphones)
De foutmelding luidt:Brickman schreef op zondag 16 december 2012 @ 20:57:
[...]
Wil je de volgende keer ook de error mee te posten? Dan weet ik meteen wat er fout gaat.
Probeer de open_basedir naar z'n default terug te zetten door hem uit te vinken en op apply te klikken en het venster sluiten. Daarna weer aanzetten en de newznab toevoegingen erbij zetten.
The Operation Failed. Please Login to DSM again and retry (995)
Dit gebeurt ook bij het uitzetten van die open_basedir
Ga me NAS ff herstarten denk
NAS na 71 dagen herstart maar ook dan nog deze foutmelding.
echter zie ik dat het wel opgeslagen wordt
maar mijn newznab krijg ik niet meer gestart
Vreemd....ook Putty en WinSCP reageren niet meer....krijg geen verbinding.
SB em Sab werken wel goed ???
heb al 2x herstart
Brickman schreef op zondag 16 december 2012 @ 20:40:
Dan met PHP installeren en daarna verwijderen:
ipkg install php-pear # Install PHP PEAR required for nntp ipkg remove php -force-depends # Remove the php part
Zo moet het wel goed gaan.
@Buzzie: Bestaat /opt/share/pear nu wel?
DiskStation1812> find / -name pear /volume1/@optware/share/pear /volume1/@optware/bin/pear
[ Voor 47% gewijzigd door Buzzie op 16-12-2012 22:01 ]
Inderdaad dedicated, staat hier in de meterkast.Verwijderd schreef op zondag 16 december 2012 @ 19:34:
[...]
Dedicated dus![]()
Ga ik zeker ook is proberen op wat hardware die ik nog liggen heb. Tabellen staan ook op innoDb (3 toch) en voor zover ik weet ben ik niet aan het backfillen. ("Where to start groups" staat op 1 dag)
De releases komen goed binnen, alleen het "verwerken" ervan verloopt enorm traag. FFmpeg enz staat ook allemaal uit.
Ben je direct gestart met die serveropzet, of had je ook eerst een VM of dergelijke? Kwestie om te weten of je een enorm snelheidsverschil merkte toen je op de 3Ghz server zat.
Ben hier gelijk mee begonnen, dus performance op een VM weet ik niet.
Hoe zit het met je internetsnelheid en usenet provider snelheid? Want als je password checking aan hebt staan haalt hij volgens mij 1 part of(oid).
Al gevonden, ik moest de backfill.php nog draaien om alles van de afgelopen dagen binnen te trekkenkmf schreef op zondag 16 december 2012 @ 18:04:
[...]
je hebt waarschijnlijk een timeout. Effe max messages even beperken tot iets van 5000.
en releases is sterk afhankelijk van de regex. zonder de juiste regex krijg je nooit wat te zien.
Waar kan ik die max messages aanpassen, die zie ik nergens terug in de opties. Overigens, ook de instellingen voor de usenet provider zie ik nergens, is dat niet via de webinterface aan te passen?
Ik zou heel graag je 101 gebruiker willen wordenVerwijderd schreef op zondag 16 december 2012 @ 23:39:
Heb nu een tijdje test gedraaid thuis op een VM en 100 gebruikers en dat gaat als de brandweer.
Hmm hij draait nu ook hier voor de 2e keer binnen een vm... krijg alleen sphinx niet werkend.
Net n beetje mee gespeeld en per ongeluk 17 groepen met 1600 dagen het backfill'en...
vraag me af hoe lang dit gaat duren...
sommige groepen hebben n que van rond 100.000.000, ben benieuwd.
Net n beetje mee gespeeld en per ongeluk 17 groepen met 1600 dagen het backfill'en...
vraag me af hoe lang dit gaat duren...
sommige groepen hebben n que van rond 100.000.000, ben benieuwd.
ik voel me lekkaah !!!
Verwijderd
Hoe PM ik je hier? Ben FOK gewend.BlacKstaR- schreef op zondag 16 december 2012 @ 23:42:
[...]
Ik zou heel graag je 101 gebruiker willen worden![]()
![]()
Verwijderd
Nieuwe bestelling gedaan:
16 GB
AMD Opteron™ 1385
4 x 2.7 GHz
2 x 2000 GB
Als de brandweer morgen.
16 GB
AMD Opteron™ 1385
4 x 2.7 GHz
2 x 2000 GB
Als de brandweer morgen.
Verwijderd
Dit gaat ongeveer 4 jaar duren. Suc6!LyP0 schreef op zondag 16 december 2012 @ 23:45:
Hmm hij draait nu ook hier voor de 2e keer binnen een vm... krijg alleen sphinx niet werkend.
Net n beetje mee gespeeld en per ongeluk 17 groepen met 1600 dagen het backfill'en...
vraag me af hoe lang dit gaat duren...
sommige groepen hebben n que van rond 100.000.000, ben benieuwd.
doe ikVerwijderd schreef op maandag 17 december 2012 @ 00:55:
Ik zie daar niets. Behalve je profiel knop.
Mail me maar. monnojanssen@gmail.com
Uiteraard niet ontopic, maar ik kan geen PB naar je sturen. Maar zou ik ook kans maken om toegang te krijgen tot deze newznab server.
Bos Stern Service Onafhankelijke Mercedes-Benz dienstverlening; diagnose, codering, retrofit, sleutelservice. ECU en tuning alle merken welkom. Projecten
Prachtig deze getallen natuurlijk, maar tot op heden heb ik maar weinig van dit soort servers voorbij zien komen. Desondanks er genoeg posts in dit topic zijn van mensen met servers van 12 cores, 4 ExaByte aan RAM een 12 Yottabytes aan opslag. In ieder geval succes!Verwijderd schreef op maandag 17 december 2012 @ 00:03:
Nieuwe bestelling gedaan:
16 GB
AMD Opteron™ 1385
4 x 2.7 GHz
2 x 2000 GB
Als de brandweer morgen.
🔋 MG Marvel R Luxury 70kWh | ☀️ 2225Wp oost, 1580Wp zuid, 2225Wp west | 🌡️ Daikin 3,5kW + 3x 2,5kW l/l & Ariston Nuos Split 270L l/w warmtepomp
Ik moet zeggen dat ik vrij tevreden ben met mijn setup nu.
Ik heb een HP40L microserver met ubuntu, apache en mysql.
10GB RAM. OS staat op HDD, Mysql op een Crucial M4 van 128GB
MySQL is innodb, met Inno-file per table.
Afgelopen week heb ik 380.000 releases verwerkt. Allemaal van de nzb-archives. Ik denk dat ik nu ongeveer 50% heb verwerkt. Dus ongeveer 2-3 jaar aan materiaal.
Ik laat de database elke keer tot 80GB groeien, en dan optimize ik de database weer. Deze wordt dan weer rond de 15GB.
De update scripts heb ik wel wat aangepast.
Ik draai nu een custom cleanup script. Deze blijft op de achtergrond de verwerkte en dubbele parts opschonen (procstate =4 of 6)
Ik heb een aparte script welke de geselecteerde groepen blijft refreshen. Maar dan alleen update_binaries_threaded.php
Ik heb een stuk of 10 threads lopen, welke de nzb-archives importeert.
Daarnaast draait een script welke de releases doorvoert. (deze is de traagste omdat deze een enorme bak aan backfills moet verwerken.)
Ik heb een HP40L microserver met ubuntu, apache en mysql.
10GB RAM. OS staat op HDD, Mysql op een Crucial M4 van 128GB
MySQL is innodb, met Inno-file per table.
Afgelopen week heb ik 380.000 releases verwerkt. Allemaal van de nzb-archives. Ik denk dat ik nu ongeveer 50% heb verwerkt. Dus ongeveer 2-3 jaar aan materiaal.
Ik laat de database elke keer tot 80GB groeien, en dan optimize ik de database weer. Deze wordt dan weer rond de 15GB.
De update scripts heb ik wel wat aangepast.
Ik draai nu een custom cleanup script. Deze blijft op de achtergrond de verwerkte en dubbele parts opschonen (procstate =4 of 6)
Ik heb een aparte script welke de geselecteerde groepen blijft refreshen. Maar dan alleen update_binaries_threaded.php
Ik heb een stuk of 10 threads lopen, welke de nzb-archives importeert.
Daarnaast draait een script welke de releases doorvoert. (deze is de traagste omdat deze een enorme bak aan backfills moet verwerken.)
One thing's certain: the iPad seriously increases toilet time.. tibber uitnodigingscode: bqufpqmp
Verwijderd
En je ziet het niet zitten om deze handelingen in een tutorial te gieten?kmf schreef op maandag 17 december 2012 @ 09:16:
Ik moet zeggen dat ik vrij tevreden ben met mijn setup nu.
Ik heb een HP40L microserver met ubuntu, apache en mysql.
10GB RAM. OS staat op HDD, Mysql op een Crucial M4 van 128GB
MySQL is innodb, met Inno-file per table.
Afgelopen week heb ik 380.000 releases verwerkt. Allemaal van de nzb-archives. Ik denk dat ik nu ongeveer 50% heb verwerkt. Dus ongeveer 2-3 jaar aan materiaal.
Ik laat de database elke keer tot 80GB groeien, en dan optimize ik de database weer. Deze wordt dan weer rond de 15GB.
De update scripts heb ik wel wat aangepast.
Ik draai nu een custom cleanup script. Deze blijft op de achtergrond de verwerkte en dubbele parts opschonen (procstate =4 of 6)
Ik heb een aparte script welke de geselecteerde groepen blijft refreshen. Maar dan alleen update_binaries_threaded.php
Ik heb een stuk of 10 threads lopen, welke de nzb-archives importeert.
Daarnaast draait een script welke de releases doorvoert. (deze is de traagste omdat deze een enorme bak aan backfills moet verwerken.)
Ben nu momenteel in 1 test bezig in een VM (linux) maar dat gaat traag (heel vriendelijk uitgedrukt)
Ben ook nog een 2de test bezig op een dedicated windows server (XAMMP) en dat gaat al een pak sneller, dus zou nog een derde en laatste test willen draaien, met linux dedicated, alvorens alles gaat blijven draaien.
Linux is the way to go als je alles hier opvolgt, maar waarom loopt mijn XAMMP box dan 20 keer sneller met het binnenhalen/updaten dan die linux? Kan dit echt alleen maar liggen aan het feit dat deze op een VM draait? (2Gb ram, 4 cores...)
Ik draai hem ook onder een Windows VM. Moet zeggen dat de performance mij niet tegenvalt.
Business Intelligence Consultant
Ik ga dit ooit nog wel in een tutorial zetten (hopelijk komt er ergens een goede verzamelplek voor dit soort meuk).
Eerst even dingen afronden.
newznab heeft veel, heel veel ram nodig. En een hele snelle disk. Daar zit 'm echt de bottleneck vind ik. Tuurlijk, als je snelle CPU hebt, dan gaan sommige dingen sneller (regex), maar ram en disk zijn toch echt de vertragende factoren.
Eerst even dingen afronden.
newznab heeft veel, heel veel ram nodig. En een hele snelle disk. Daar zit 'm echt de bottleneck vind ik. Tuurlijk, als je snelle CPU hebt, dan gaan sommige dingen sneller (regex), maar ram en disk zijn toch echt de vertragende factoren.
One thing's certain: the iPad seriously increases toilet time.. tibber uitnodigingscode: bqufpqmp
Same here!Hari-Bo schreef op maandag 17 december 2012 @ 08:19:
[...]
Uiteraard niet ontopic, maar ik kan geen PB naar je sturen. Maar zou ik ook kans maken om toegang te krijgen tot deze newznab server.
Eigenlijk moeten de mensen die om toegang en invites vragen op het forum zelf een permban krijgen op alle newznab servers. Volgens mij is het al meerdere malen gezegd dat er niet openlijk om gevraagd dient te worden.
MonnoJanssen zie ik niet in de lijst met indexer in het community topic staan, dus ik wacht wel geduldig af. Wellicht een tip voor hem om zich daar ook aan te melden als indexer?
Vanochtend een melding ... disk full, 750Gb disk vol en dat al door een 3-4 tal groepen...
Dit is ziek, misschien toch maar eens beginnen met 30 dagen.
Straks even pruge en opnieuw beginnen.
Qua performance moet ik zeggen dat het ook niet tegen valt hoor, draai het op een vm op esxi 5.1
Er draait nog een andere ubuntu machine om dingen op uit te proberen voordat ik deze in de werkende omgeving doorvoer.
Qua hardware:
intel i3 530
dfi p55 t3eh9
10Gb ram (2x1gb en 2x 4gb)
samsung hd753lj (absolut niet de snelste dus)
ik denk er over om deze hardware stevig te upgraden en mijn freenas ook te virtualiseren. Moet alleen nog uitzoeken hoe het zit met de bestaande disks, deze zijn zfs en zitten vol. Deze data wil ik niet verliezen.
Qua toekomstige setup twijfel ik nog over een sandy brigde E setup...
Dit is ziek, misschien toch maar eens beginnen met 30 dagen.
Straks even pruge en opnieuw beginnen.
Qua performance moet ik zeggen dat het ook niet tegen valt hoor, draai het op een vm op esxi 5.1
Er draait nog een andere ubuntu machine om dingen op uit te proberen voordat ik deze in de werkende omgeving doorvoer.
Qua hardware:
intel i3 530
dfi p55 t3eh9
10Gb ram (2x1gb en 2x 4gb)
samsung hd753lj (absolut niet de snelste dus)
ik denk er over om deze hardware stevig te upgraden en mijn freenas ook te virtualiseren. Moet alleen nog uitzoeken hoe het zit met de bestaande disks, deze zijn zfs en zitten vol. Deze data wil ik niet verliezen.
Qua toekomstige setup twijfel ik nog over een sandy brigde E setup...
ik voel me lekkaah !!!
Inderdaad. Mensen, stop met het vragen EN aanbieden van Invites. Dadelijk gaat dit topic dicht en zijn alle indexers die technische hulp nodig hebben nog verder van huis. Uiteindelijk heb je alleen maar jezelf ermee.Nicap schreef op maandag 17 december 2012 @ 11:10:
Eigenlijk moeten de mensen die om toegang en invites vragen op het forum zelf een permban krijgen op alle newznab servers. Volgens mij is het al meerdere malen gezegd dat er niet openlijk om gevraagd dient te worden.
Als je indexer bent, zorg dat je in dit topic in de OP vermeld staat als Indexer: [Newznab] newznab community's - deel 1
Dan moet er iets flink fout zijn gegaan. Ik indexeer een groep of 15 en ben ook nog eens aan het backfillen (mbv de torrent voor newznab+ donateurs). Ik gebruik op dit moment ca 200GB aan HDD ruimte en die blijft momenteel vrij stabiel.LyP0 schreef op maandag 17 december 2012 @ 13:01:
Vanochtend een melding ... disk full, 750Gb disk vol en dat al door een 3-4 tal groepen...
Dit is ziek, misschien toch maar eens beginnen met 30 dagen.
Straks even pruge en opnieuw beginnen.
[ Voor 39% gewijzigd door Freekers op 17-12-2012 13:12 ]
🔋 MG Marvel R Luxury 70kWh | ☀️ 2225Wp oost, 1580Wp zuid, 2225Wp west | 🌡️ Daikin 3,5kW + 3x 2,5kW l/l & Ariston Nuos Split 270L l/w warmtepomp
Je moet dan ook de tabellen gaan optimizen als je dat had uitgezet.LyP0 schreef op maandag 17 december 2012 @ 13:01:
Vanochtend een melding ... disk full, 750Gb disk vol en dat al door een 3-4 tal groepen...
Dit is ziek, misschien toch maar eens beginnen met 30 dagen.
Straks even pruge en opnieuw beginnen.
Uiteindelijk zal een release namelijk tot nzb in de www-dir gezet worden. De parts&binaries mogen dan weggedonderd worden.
Na een optimize zal de database heel wat kleiner worden.
Dit zijn mijn groepen overigens. Niet allemaal actief (ik heb maar stuk of 20 actief. Welke ik mogelijk nog ga aanvullen)
Dit zijn de groepen welke via de nzb-imports zijn gemaakt. Oftewel, welke groepen hebben historisch de meeste releases.


Database is na opschoonactie dus ongeveer 14GB groot
[ Voor 26% gewijzigd door kmf op 17-12-2012 13:19 ]
One thing's certain: the iPad seriously increases toilet time.. tibber uitnodigingscode: bqufpqmp
Ik zou hier graag wat meer over te weten komen. Met name het hele innodb verhaal is mij vaag. Hoe weet ik of ik innoDB gebruik? Tevevens verneem ik graag (en waarschijnlijk met mij anderen) hoe je deze 'magie' toepastkmf schreef op maandag 17 december 2012 @ 13:14:
Je moet dan ook de tabellen gaan optimizen als je dat had uitgezet.
Uiteindelijk zal een release namelijk tot nzb in de www-dir gezet worden. De parts&binaries mogen dan weggedonderd worden.
Na een optimize zal de database heel wat kleiner worden.
Dan kan ik dat ook verwerken in mijn nieuwe tutorial.kmf schreef op maandag 17 december 2012 @ 09:16:
MySQL is innodb, met Inno-file per table.
Thanks!
🔋 MG Marvel R Luxury 70kWh | ☀️ 2225Wp oost, 1580Wp zuid, 2225Wp west | 🌡️ Daikin 3,5kW + 3x 2,5kW l/l & Ariston Nuos Split 270L l/w warmtepomp
(je had me gewoon een invite moeten sturen om je mee te helpen)Freekers schreef op maandag 17 december 2012 @ 13:17:
[...]
Ik zou hier graag wat meer over te weten komen. Met name het hele innodb verhaal is mij vaag. Hoe weet ik of ik innoDB gebruik? Tevevens verneem ik graag (en waarschijnlijk met mij anderen) hoe je deze 'magie' toepast:
Maar kort gezegd (ik ga later nog wel een tutorial schrijven)
2 manieren:
1) je bekijkt de tabellen in een mysqltool zoals Navicat Mysql of de vaker gebruikte phpmyadmin.
2) je logt in op je database en voert deze query uit
SHOW TABLE STATUS;
Hiermee krijg je een overzicht van al je tabel en de engine waar die op zit.
Als je dit in je my.cnf zet, dan krijg je een inno per tabel.
code:
1
2
3
4
| [mysqld] innodb_file_per_table #innodb_log_file_size=1G #innodb_buffer_pool_size=4G |
Mogelijk moet je je bestaande tabel wel eerst omzetten naar myisam en dan weer innodb om dat mogelijk te maken.
Ik had het bij de start al gedaan, dus alles werd mooi gesplitst.
Wat je ook kan doen is EERST een backup maken (mysqldump) van je bestaande databases (waarvan parts, binaries al in innodb).
Mysql stoppen
De ibdata weggooien.
Mysql starten en dan de backup restoren.
Na afloop heb je innofiles per tabel. Dat betekent dat je WEL kan optimizen, en je tabel ook echt kleiner wordt. (1 grote innofile betekent dat alle acties deze alleen groter maken)
Ik hoop dat het hier in de firstpost komt. We hebben een centrale plek nodig.Dan kan ik dat ook verwerken in mijn nieuwe tutorial.
Thanks!
One thing's certain: the iPad seriously increases toilet time.. tibber uitnodigingscode: bqufpqmp