SpotWeb - Webbased Spotnet - deel 2

[nii3k]

Mensen,

ik was net bezig met het installeren van spotweb, echter loop ik tegen het volgende aan.



zoals jullie zien heb ik alleen de mogelijkheid 'Change preferences' en niet de overige 2 Settings / User & group management zoals hier

wat doe ik fout?

[Verwijderd]

Je hebt niet genoeg rechten

[raven22]

Repi3 schreef op vrijdag 14 maart 2014 @ 14:21:
mensen die problemen hebben met een rood kruis bij het klikken op het groene pijltje naar sab?
Heb al de rechten gecontroleerd en eens nieuwe AP key aangemaaakt, maar helpt niet

ja, soms wel soms niet, ben er niet achter waar het aan ligt.

[nii3k]

Verwijderd schreef op vrijdag 14 maart 2014 @ 16:23:
Je hebt niet genoeg rechten

ik ben de admin?

[Deem]

niek87 schreef op vrijdag 14 maart 2014 @ 18:06:
[...]


ik ben de admin?

schijnbaar niet. Change Preferences is ook alleen beschikbaar voor normale users. De rest niet.

[nii3k]

Deem schreef op vrijdag 14 maart 2014 @ 19:08:
[...]

schijnbaar niet. Change Preferences is ook alleen beschikbaar voor normale users. De rest niet.

100% zeker dat ik ingelogd ben met de Admin account, zo maar eens de installatie vanaf 0 weer opnieuw doen

[raven22]

niek87 schreef op vrijdag 14 maart 2014 @ 19:18:
[...]


100% zeker dat ik ingelogd ben met de Admin account, zo maar eens de installatie vanaf 0 weer opnieuw doen

ik ben ook ingelogd als admin (enige gebruiker) en heb hetzelfde zo nu en dan

[red_arrow]

Spotweb/net wordt op dit moment aardig vol gespamd met spots genaamd: 'Tim kuiks Oplossing' geplaatst door verschillende afzenders.
De meeste spots zijn ook nog eens niet te openen om de afzender te blacklisten.

Ik kan me herinneren dat dat al eens eerder is gebeurd, en er toen een oplossing voor was.

[Mr_Blobby]

red_arrow schreef op zaterdag 15 maart 2014 @ 17:41:
Spotweb/net wordt op dit moment aardig vol gespamd met spots genaamd: 'Tim kuiks Oplossing' geplaatst door verschillende afzenders.
De meeste spots zijn ook nog eens niet te openen om de afzender te blacklisten.

Ik kan me herinneren dat dat al eens eerder is gebeurd, en er toen een oplossing voor was.

Ik heb voor mezelf een cronjob gemaakt die na de retrieve een php script uitvoert om deze te verwijderen:

PHP:

<?php
// Create connection
$con=mysqli_connect("localhost","spotweb","username","password");

// Check connection
if (mysqli_connect_errno($con)) {
    echo "Failed to connect to MySQL: " . mysqli_connect_error();
} else {
    $query = "SELECT COUNT(*) FROM `spots` WHERE `title` = 'Tim kuiks Oplossing'";
    $result = mysqli_query($con,$query);
    $row = $result->fetch_row();
    echo "Current number of records with spam 'Tim kuiks Oplossing' " . $row[0] . "\n";
    echo "Deleting spamrecords (maximum 30000) ...";
    $query = "DELETE FROM `spots` WHERE `title` = 'Tim kuiks Oplossing' LIMIT 30000";
    $result = mysqli_query($con,$query);
    echo " done\n";
    mysqli_close($con);
}    
?>

De uitvoer van dit script leidt ik naar een logbestandje zodat ik kan zien hoeveel en òf de spammer nog bezig is.

Ik hoor graag of er een betere of elegantere oplossing is.

[Hulliee]

Ik heb nu iets heel vreemds op mijn spotweb draaiende op m'n Syno NAS:
alle recente (film)spots tonen de titel "Tim Kuiks Oplossing" en zijn niet te openen.
Wie heeft dit ook?

[Verwijderd]

Lees eens 2 posts terug...

[Hulliee]

Verwijderd schreef op zaterdag 15 maart 2014 @ 18:36:
Lees eens 2 posts terug...

Sorry, ik zie het nu ook

[devil-strike]

Lijkt mij meer op een hack ofzo, jammer dat het weer zo moet.

[Hulliee]

devil-strike schreef op zaterdag 15 maart 2014 @ 18:41:
Lijkt mij meer op een hack ofzo, jammer dat het weer zo moet.

Dat dacht ik ook..
Ik heb nu mijn spotweb database opgeschoond middels:
DELETE FROM `spots` WHERE `title` = 'Tim kuiks Oplossing'

De spots zijn eruit nu.

Kan het liggen aan de nieuwsprovider? Ik zit bij XLNed.

[ Voor 8% gewijzigd door Hulliee op 15-03-2014 18:46 ]

[NeHoX]

In spotnet kan ik op de Tim kuiks Oplossing wel rechtermuisknop doen en dan toevoegen aan zwarte lijst

[Verwijderd]

NeHoX schreef op zaterdag 15 maart 2014 @ 19:08:
In spotnet kan ik op de Tim kuiks Oplossing wel rechtermuisknop doen en dan toevoegen aan zwarte lijst

Inderdaad, ik kon de spots ook openen en blacklisten. Nu draaien ik wel niet de meest up to date versie van spotweb

[harley]

was al bang dat iemand hier had zitten klooien op mijn pc

[LiquidSmoke]

Hm,

Irri mannetje inderdaad...

code:

INSERT INTO `spotteridblacklist` (`spotterid`, `ouruserid`, `origin`, `idtype`, `doubled`) VALUES
('lTah3w', -1, 'external', 1, 0);

Doet wonderen, spots zelf lijken corrupt en kun je daarom niet openen om te blacklisten...

[ Voor 20% gewijzigd door LiquidSmoke op 15-03-2014 20:12 ]

[pven]

LiquidSmoke schreef op zaterdag 15 maart 2014 @ 20:11:
Hm,

Irri mannetje inderdaad...

code:

INSERT INTO `spotteridblacklist` (`spotterid`, `ouruserid`, `origin`, `idtype`, `doubled`) VALUES
('lTah3w', -1, 'external', 1, 0);

Doet wonderen, spots zelf lijken corrupt en kun je daarom niet openen om te blacklisten...

Mooie oplossing. Dank!

[vanaalten]

Sinds gisteren lukt het niet meer om spots binnen te halen. De boel hier draait al maandenlang probleemloos en is up-to-date ('master' branch, git pull geeft niets nieuws). Database engine = pdo_mysql.

In eerste instantie kreeg ik de foutmelding "PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 1089738 bytes) in /home/spotweb/spotweb/lib/services/Format/Services_Format_Parsing.php on line 45."
Daarna heb ik in php.ini de memory limiet verhoogd van 128MB naar 1024MB. Dat helpt, maar nu krijg ik:

code:

sudo -u www-data /usr/bin/php retrieve.php | sudo -u www-data /usr/bin/tee -a /var/log/spotweb/retrieve.log
Last retrieve at Sat 15 Mar 2014 03:26:57 PM CET
Retrieving new Spots from server newsreader29.eweka.nl...
Appr. Message count:    1990516
First message number:   2
Last message number:    1990518
Current article number: 1984373

Retrieving 1984373 till 1985374 (parsed: 1000, in DB: 1, signed: 0, invalid: 3, rtntn.skip: 0, mod: 186, full: 811, total: 1001)

SpotWeb v0.67.28.31 on PHP v5.4.4-14+deb7u8 crashed

Fatal error occured retrieving reports:
  HY000: 2006: MySQL server has gone away



#0 /home/spotweb/spotweb/lib/dao/Base/Dao_Base_Spot.php(480): dbeng_pdo->batchInsert(Array, 'INSERT INTO spo...', Array, Array)
#1 /home/spotweb/spotweb/lib/dao/Base/Dao_Base_Spot.php(435): Dao_Base_Spot->addFullSpots(Array)
#2 /home/spotweb/spotweb/lib/services/Retriever/Services_Retriever_Spots.php(543): Dao_Base_Spot->addSpots(Array, Array)
#3 /home/spotweb/spotweb/lib/services/Retriever/Services_Retriever_Base.php(227): Services_Retriever_Spots->process(Array, '1984373', 1985374, 1394971661.3531)
#4 /home/spotweb/spotweb/lib/services/Retriever/Services_Retriever_Base.php(319): Services_Retriever_Base->loopTillEnd('1984373', '1000')
#5 /home/spotweb/spotweb/retrieve.php(154): Services_Retriever_Base->perform()
#6 {main}

Wat heb ik geprobeerd:
1) mysqlrepair op de database; geen verbetering.
2) optimize voor diskspace met "OPTIMIZE TABLE `commentsxover` , `spotstatelist` , `nntp` , `spots` , `spotsfull`;"
3) bovenstaande 'insert' om de bovengenoemde spammer tegen te gaan.

Nog steeds dezelfde error, helaas. Googlen naar 'mysql server has gone away' gaf deze pagina, en omdat m'n retrieve nog geen kwartier duurt gok ik dat ik over een 32MB limiet ga.

Iemand ideeën hoe ik dit kan oplossen, dan wel verder kan debuggen? Ik ben compleet leek op PHP en MySQL gebied - wellicht dat het tijd is om een ticket op GitHub voor dit issue te maken?


Edit:
Nog even wat verder gezocht en geprobeerd:

database engine naar 'mysql' i.p.v. 'pdo_mysql': geen verschil;

In MySQL my.cnf de settings wait_timeout op 28800 gezet en max_allowed_packet op 128MB (was 16MB) gezet.
Resultaat: niet meer de 'mysql server has gone away', maar nu weer een PHP fatal error 'Allowed memory size of 1073741824 bytes exhausted (tried to allocate 2179477 bytes) in /home/spotweb/spotweb/lib/dbeng/dbeng_pdo.php on line 229'.

Tja, ik kan wel aan de gang blijven met PHP memory ophogen, maar volgens mij zit er iets goed mis. Iemand ideeën?

[ Voor 9% gewijzigd door vanaalten op 16-03-2014 14:20 ]

[gielie]

vanaalten schreef op zondag 16 maart 2014 @ 13:34:
Sinds gisteren lukt het niet meer om spots binnen te halen. De boel hier draait al maandenlang probleemloos en is up-to-date ('master' branch, git pull geeft niets nieuws).

Iemand ideeën?

Ik heb hetzelfde probleem, Ik heb al een nieuwe database aangemaakt maar die loopt binnen tot een paar dagen terug dan loopt ie vast.

code:

Endor> /usr/bin/php retrieve.php --force
Removing Spot information which is beyond retention period,, done
Last retrieve at Fri 14 Mar 2014 09:01:38 PM CET
Retrieving new Spots from server reader.extremeusenet.nl...
Appr. Message count:    1124811
First message number:   1670671
Last message number:    2795482
Current article number: 2773567

Retrieving 2773567 till 2778568

SpotWeb v0.67.28.31 on PHP v5.5.9 crashed

Fatal error occured retrieving reports:
  23000: 1062: Duplicate entry '[e-mail]-2' for key 'idx_cache_1'



#0 /volume1/web/spotweb/lib/dbeng/dbeng_pdo.php(74): dbeng_pdo->exec('INSERT INTO cac...', Array)
#1 /volume1/web/spotweb/lib/dao/Base/Dao_Base_Cache.php(379): dbeng_pdo->modify('INSERT INTO cac...', Array)
#2 /volume1/web/spotweb/lib/dao/Base/Dao_Base_Cache.php(458): Dao_Base_Cache->saveCache('BTk0AQk2lR0Xo4Q...', 2, false, 0, '<?xml version="...')
#3 /volume1/web/spotweb/lib/services/Providers/Services_Providers_Nzb.php(67): Dao_Base_Cache->saveNzbCache('BTk0AQk2lR0Xo4Q...', '<?xml version="...', false)
#4 /volume1/web/spotweb/lib/services/Retriever/Services_Retriever_Spots.php(478): Services_Providers_Nzb->fetchNzb(Array)
#5 /volume1/web/spotweb/lib/services/Retriever/Services_Retriever_Base.php(227): Services_Retriever_Spots->process(Array, 2773567, 2778568, 1394977165.6555)
#6 /volume1/web/spotweb/lib/services/Retriever/Services_Retriever_Base.php(319): Services_Retriever_Base->loopTillEnd(2773567, '5000')
#7 /volume1/web/spotweb/retrieve.php(154): Services_Retriever_Base->perform()
#8 {main}

Ik zelf denk dat dit te maken heeft met de DDOS op veel usenet sites icm de vele valse posts van Brein.

[vanaalten]

Er zijn ondertussen al twee issues op GitHub geopend die hiermee te maken lijken te hebben:
Memory leak & crash on retrieve
Crash on retrieve
en die worden ook al druk onderzocht door 'spotweb':

I'm investigating it more closely, a malicious spot has been posted which triggers something in Spotweb

Ofwel: even afwachten en dan binnenkort waarschijnlijk een 'git pull' doen om het te verhelpen.

[henv]

de 2 problemen die zijn ontstaan heb ik met de volgende wokarounds tijdelijk opgelost

excausted
memory_limit=1024 in php.ini

mysql gone away
max_allowed_packet = 256M in my.cnf

post ophalen binnen spotweb van 1000 naar 100 gezet.

!!maak als het mogelijk is wel eerst een backup / dump omdat het nog weleens kan als je iets in my.cnf aanpast dat mysql het niet meer doet

deze 2 breng ik weer terug naar originele setting als het probleem is opgelost door spotweb

[gielie]

henv schreef op zondag 16 maart 2014 @ 16:11:
de 2 problemen die zijn ontstaan heb ik met de volgende wokarounds tijdelijk opgelost

excausted
memory_limit=1024 in php.ini

mysql gone away
max_allowed_packet = 256M in my.cnf

post ophalen binnen spotweb van 1000 naar 100 gezet.

!!maak als het mogelijk is wel eerst een backup / dump omdat het nog weleens kan als je iets in my.cnf aanpast dat mysql het niet meer doet

deze 2 breng ik weer terug naar originele setting als het probleem is opgelost door spotweb

Mooie tip, ik ga dit proberen en afwachten tot de fix er is.

[Webjunkie]

ivm m'n spotweb problemen (zie vorige pagina) 2 dagen geleden maar een nieuwe git versie gecloned en m'n database opnieuw opgebouwd, maar nu geen problemen.
spo(s)ts komen netjes binnen enzo..

dus ehh.. don't fix it because it ain't broke..

[ Voor 11% gewijzigd door Webjunkie op 16-03-2014 17:22 ]

[mkleinman]

Ik heb vanmiddag Spotweb geinstalleerd op een VM ( Virtualbox ) met als OS Ubuntu 12.04 LTS. Installatie ging vlekkeloos en ik kan http://<server>/spotweb/api?t=c ook benaderen. Ook de normale webinterface werkt prima.

Echter zodra ik via Sickbeard probeer wat te vinden dan zie ik in de logs:

code:

2014-03-16 18:03:16 SEARCHQUEUE-MANUAL-SEARCH :: Error loading Spotweb 244 URL: http://server/spotweb/api?ep=11&apikey=key&limit=100&t=tvsearch&season=2&rid=8172&maxage=1100&cat=5030%2C5040
2014-03-16 18:03:16 SEARCHQUEUE-MANUAL-SEARCH :: No data returned from http://server/spotweb/api?ep=11&apikey=key&limit=100&t=tvsearch&season=2&rid=8172&maxage=1100&cat=5030%2C5040

Als ik op de machine inlog dan zie ik dat mysqld in de stress schiet en 99% load neemt tot de timeout. Ook via Firefox vergelijkbaar en dan krijg ik uiteindelijk een lege pagina.

Ik heb 2048mb memory toegekend aan de VM en de machine waar alles op draait is ook snel zat.

Ik heb in config.ini van Sickbeard de socket timeout verhoogd naar 240 seconden maar dit mocht ook niet baten.

Iemand enig idee wat ik nog kan doen om dit op te lossen?

[CH4OS]

vanaalten schreef op zondag 16 maart 2014 @ 15:52:
Er zijn ondertussen al twee issues op GitHub geopend die hiermee te maken lijken te hebben:
Memory leak & crash on retrieve
Crash on retrieve
en die worden ook al druk onderzocht door 'spotweb':

[...]

Ofwel: even afwachten en dan binnenkort waarschijnlijk een 'git pull' doen om het te verhelpen.

Werkt het wel dan, als je minder spots tegelijk ophaalt? Afgelopen weekend is er - zoals reeds meerdere malen vermeld in dit topic - een spam actie geweest. Verlaag dus het aantal spots die je ophaalt en probeer het opnieuw. Waarschijnlijk werkt het dan wel, was ook hier de 'oplossing'.

Daarna even met PHPMyAdmin in Spotweb database de eerder gegeven query

SQL:

INSERT INTO `spotteridblacklist` (`spotterid`, `ouruserid`, `origin`, `idtype`, `doubled`) VALUES
('lTah3w', -1, 'external', 1, 0);

uitvoeren.

[vanaalten]

Ondertussen de tip van henv uitgevoerd en daarmee slaagt de retrieve nu wel. Spammer even blacklisten en we kunnen weer verder.

Maar goed, als je Github's issues volgt dan lijkt het toch wel een soort-van bug te zijn, dus binnenkort komt er hopelijk een structurele fix hiervoor uit.

[henv]

er is inmiddels een fix verkrijgbaar

[mkleinman]

Misschien stomme vraag, maar hoe kan ik updaten? Ik heb geen enkele ervaring met Github projecten

[vanaalten]

mkleinman schreef op zondag 16 maart 2014 @ 21:13:
Misschien stomme vraag, maar hoe kan ik updaten? Ik heb geen enkele ervaring met Github projecten

Hoe heb je 'm oorspronkelijk geinstalleerd? Ook via 'git', of op een andere manier?

Indien via 'git', dan zou een 'git pull' commando in de Spotweb-directory het al kunnen doen.

[mkleinman]

Niet via GIT geinstalleerd.

Deze tutorial gevolgd: https://github.com/spotwe...ts-%28precise-pangolin%29

code:

wget https://github.com/spotweb/spotweb/tarball/master
tar -xvzf master
sudo mv spotweb-spotweb-* /var/www/spotweb
rm master

Edit:

Ik vond deze URL ook: https://github.com/spotweb/spotweb/wiki/Performance-tips

Heb intussen mijn db verwijderd, comments uitgezet en DB geconverteerd naar InnoDB. Hopelijk werkt dat. Ik kan merken dat het laden van de spots nu behoorlijk trager is ( 15 seconden vs 3 seconden per 5001 records ). Hopelijk is straks de query performance beter.

[ Voor 60% gewijzigd door mkleinman op 16-03-2014 21:45 ]

[CH4OS]

vanaalten schreef op zondag 16 maart 2014 @ 19:46:
Ondertussen de tip van henv uitgevoerd en daarmee slaagt de retrieve nu wel. Spammer even blacklisten en we kunnen weer verder.

Maar goed, als je Github's issues volgt dan lijkt het toch wel een soort-van bug te zijn, dus binnenkort komt er hopelijk een structurele fix hiervoor uit.

Hopelijk heb je wel back-ups gemaakt. De tips van henv waren slechts een work-around, zoals dat mooi heet.

[LiquidSmoke]

Nog meer mensen problemen na de fix van gister op Github?

Er worden wel nieuwe spots aan de DB toegevoegd, maar zijn niet te openen...

Als ik dan terugga naar het overzicht loopt het complete apache log vol:

code:

127.0.0.1 - - [17/Mar/2014:07:34:27 +0100] "GET /?page=render&tplname=comment&messageid=LZJjbhXD0EUf3AmUwFaki%40spot.net&pagenr=112&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:27 +0100] "GET /?page=render&tplname=comment&messageid=MEqmGdLoCmwolQmUwK7Y1%40spot.net&pagenr=128&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:27 +0100] "GET /?page=render&tplname=comment&messageid=LZJjbhXD0EUf3AmUwFaki%40spot.net&pagenr=113&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:27 +0100] "GET /?page=render&tplname=comment&messageid=MEqmGdLoCmwolQmUwK7Y1%40spot.net&pagenr=129&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:27 +0100] "GET /?page=render&tplname=comment&messageid=u9qtiOb3A182O4lUwufm2%40spot.net&pagenr=93&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:27 +0100] "GET /?page=render&tplname=comment&messageid=LZJjbhXD0EUf3AmUwFaki%40spot.net&pagenr=114&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:27 +0100] "GET /?page=render&tplname=comment&messageid=MEqmGdLoCmwolQmUwK7Y1%40spot.net&pagenr=130&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:27 +0100] "GET /?page=render&tplname=comment&messageid=u9qtiOb3A182O4lUwufm2%40spot.net&pagenr=94&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:27 +0100] "GET /?page=render&tplname=comment&messageid=LZJjbhXD0EUf3AmUwFaki%40spot.net&pagenr=115&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:27 +0100] "GET /?page=render&tplname=comment&messageid=MEqmGdLoCmwolQmUwK7Y1%40spot.net&pagenr=131&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:27 +0100] "GET /?page=render&tplname=comment&messageid=u9qtiOb3A182O4lUwufm2%40spot.net&pagenr=95&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:27 +0100] "GET /?page=render&tplname=comment&messageid=LZJjbhXD0EUf3AmUwFaki%40spot.net&pagenr=116&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=MEqmGdLoCmwolQmUwK7Y1%40spot.net&pagenr=132&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=LZJjbhXD0EUf3AmUwFaki%40spot.net&pagenr=117&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=u9qtiOb3A182O4lUwufm2%40spot.net&pagenr=96&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=MEqmGdLoCmwolQmUwK7Y1%40spot.net&pagenr=133&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=LZJjbhXD0EUf3AmUwFaki%40spot.net&pagenr=118&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=u9qtiOb3A182O4lUwufm2%40spot.net&pagenr=97&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=MEqmGdLoCmwolQmUwK7Y1%40spot.net&pagenr=134&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=LZJjbhXD0EUf3AmUwFaki%40spot.net&pagenr=119&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=u9qtiOb3A182O4lUwufm2%40spot.net&pagenr=98&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=MEqmGdLoCmwolQmUwK7Y1%40spot.net&pagenr=135&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=LZJjbhXD0EUf3AmUwFaki%40spot.net&pagenr=120&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=u9qtiOb3A182O4lUwufm2%40spot.net&pagenr=99&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=MEqmGdLoCmwolQmUwK7Y1%40spot.net&pagenr=136&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=LZJjbhXD0EUf3AmUwFaki%40spot.net&pagenr=121&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=u9qtiOb3A182O4lUwufm2%40spot.net&pagenr=100&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=MEqmGdLoCmwolQmUwK7Y1%40spot.net&pagenr=137&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=LZJjbhXD0EUf3AmUwFaki%40spot.net&pagenr=122&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:28 +0100] "GET /?page=render&tplname=comment&messageid=u9qtiOb3A182O4lUwufm2%40spot.net&pagenr=101&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:29 +0100] "GET /?page=render&tplname=comment&messageid=MEqmGdLoCmwolQmUwK7Y1%40spot.net&pagenr=138&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:29 +0100] "GET /?page=render&tplname=comment&messageid=LZJjbhXD0EUf3AmUwFaki%40spot.net&pagenr=123&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:29 +0100] "GET /?page=render&tplname=comment&messageid=u9qtiOb3A182O4lUwufm2%40spot.net&pagenr=102&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:29 +0100] "GET /?page=render&tplname=comment&messageid=LZJjbhXD0EUf3AmUwFaki%40spot.net&pagenr=124&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:29 +0100] "GET /?page=render&tplname=comment&messageid=MEqmGdLoCmwolQmUwK7Y1%40spot.net&pagenr=139&perpage=10 HTTP/1.1" 200 216
127.0.0.1 - - [17/Mar/2014:07:34:29 +0100] "GET /?page=render&tplname=comment&messageid=u9qtiOb3A182O4lUwufm2%40spot.net&pagenr=103&perpage=10 HTTP/1.1" 200 216

Spots van voor de fix zijn geen probleem lijkt het wel.

/edit:

Nu ook een foutmelding, geen idee hoe die naar voren kwam:

code:

Notice: Undefined property: Services_Providers_FullSpot::$_daoFactory in /opt/lampp/htdocs/spotweb/lib/services/Providers/Services_Providers_FullSpot.php on line 44

Fatal error: Call to a member function getSpotDao() on a non-object in /opt/lampp/htdocs/spotweb/lib/services/Providers/Services_Providers_FullSpot.php on line 44

/edit2:
Ah, het lijkt bij de usenetprovider te liggen (Sunny) voor een gedeelte... Meer mensen problem atm?

[ Voor 3% gewijzigd door LiquidSmoke op 17-03-2014 08:20 ]

[slommer]

LiquidSmoke schreef op maandag 17 maart 2014 @ 07:36:
Nog meer mensen problemen na de fix van gister op Github?
/edit2:
Ah, het lijkt bij de usenetprovider te liggen (Sunny) voor een gedeelte... Meer mensen problem atm?

Had hier hetzelfde (ook sunny). hij update wel de lijst maar mag geen spots zien nieuwe als ong 1 day en 1 uur. ff geswitched naar xs4all maar dat lijkt ook niet te helpen
github 20min geleden geupdate dus niet zeker of dat het probleem is.

--edit
terug naar vorige versie gegaan en het werkt weer normaal.
als het goed is via (maar niet helemaal thuis in git):

code:

git checkout v20140103

[ Voor 13% gewijzigd door slommer op 17-03-2014 10:18 ]

[LiquidSmoke]

slommer schreef op maandag 17 maart 2014 @ 09:46:
[...]

Had hier hetzelfde (ook sunny). hij update wel de lijst maar mag geen spots zien nieuwe als ong 1 day en 1 uur. ff geswitched naar xs4all maar dat lijkt ook niet te helpen
github 20min geleden geupdate dus niet zeker of dat het probleem is.

--edit
terug naar vorige versie gegaan en het werkt weer normaal.
als het goed is via (maar niet helemaal thuis in git):

code:

git checkout v20140103

Gekke is dat sommige spots soms wel en soms niet openen...

Werken spots die geimporteerd zijn met de nieuwe update ook nog gewoon?

/edit: Die werken dan wel weer ja.

Het heeft toch iets te maken met flushen naar disk; als ik minder dan 16mb vrij ram heb dan gaat het fout, heb ik meer vrij lijkt het wel goed te gaan...

Rechtenkwestie?

[ Voor 13% gewijzigd door LiquidSmoke op 17-03-2014 10:49 ]

[Binnetie]

Mijn Spotweb wordt ook niet meer geupdate. Nu las ik een oplossing door een query te draaien op de database:

SQL:

INSERT INTO `spotteridblacklist` (`spotterid`, `ouruserid`, `origin`, `idtype`, `doubled`) VALUES
('lTah3w', -1, 'external', 1, 0);

Kan ik deze query gewoon kopieren in mijn PHPmyadmin menu (tabblad query opbouwen)?



En dan werkt het weer? Ik kan namelijk niet via ssh of telnet connecten naar de VPS waar Spotweb op staat geïnstalleerd.

[ Voor 13% gewijzigd door Binnetie op 17-03-2014 11:40 ]

[mkleinman]

Ik ben intussen weer een paar stappen verder met het optimaliseren van MySQL. Ik heb de VM meer geheugen toegekend. MySQL geoptimaliseerd met een auto my.cnf creator ( vond ik via een tweakblog ).

Verder bij het testen merkte ik dat de maxage= parameter veel impact heeft op de performance. Sickbeard stond bij mij ingesteld op een retention van 1100 dagen ( Eweka standaard ) maar dit vertraagd enorm. Bij 100 dagen is de query "snel" ( 4 sec ) en dat loopt exponentieel op. Logisch eigenlijk; Des te meer spots/tijd hij moet doorzoeken des te langer doet hij er over.

Voor nieuwe series is dit werkbaar maar voor oudere series niet echt die langer geleden gepost zijn.

Wat me trouwens opvalt is dat InnoDB in my.cnf maximaal 2G geheugen toegewezen krijgt. Echter volgens TOP is er nog ruim 2gb geheugen vrij op de machine. Iemand een idee hoe ik meer in memory kan laten cachen voor MySQL?

* mkleinman is Oracle DB man, geen MySQL

[ Voor 3% gewijzigd door mkleinman op 17-03-2014 12:16 ]

[Hulliee]

Binnetie schreef op maandag 17 maart 2014 @ 11:39:
Mijn Spotweb wordt ook niet meer geupdate. Nu las ik een oplossing door een query te draaien op de database:

SQL:

INSERT INTO `spotteridblacklist` (`spotterid`, `ouruserid`, `origin`, `idtype`, `doubled`) VALUES
('lTah3w', -1, 'external', 1, 0);

Kan ik deze query gewoon kopieren in mijn PHPmyadmin menu (tabblad query opbouwen)?

[afbeelding]

En dan werkt het weer? Ik kan namelijk niet via ssh of telnet connecten naar de VPS waar Spotweb op staat geïnstalleerd.

Je kan het SQL insert-statement invoeren in de 2e tab links (SQL) en uitvoeren.

[Binnetie]

Heb ik gedaan en al die spam-dingen zijn er tussenuit. Nu nog even wachten tot hij de spots weer binnenhaalt.

[mkleinman]

Ik heb de query boven water die zo verrekte traag werkt.

Onderstaande query doet er 32 seconden over.

code:

SELECT  s.id AS id,
        s.messageid AS messageid,
        s.category AS category,
        s.poster AS poster,
        l.download as downloadstamp, 
        l.watch as watchstamp,
        l.seen AS seenstamp,
        s.subcata AS subcata,
        s.subcatb AS subcatb,
        s.subcatc AS subcatc,
        s.subcatd AS subcatd,
        s.subcatz AS subcatz,
        s.title AS title,
        s.tag AS tag,
        s.stamp AS stamp,
        s.moderated AS moderated,
        s.filesize AS filesize,
        s.spotrating AS rating,
        s.commentcount AS commentcount,
        s.reportcount AS reportcount,
        s.spotterid AS spotterid,
        s.editstamp AS editstamp,
        s.editor AS editor,
        f.verified AS verified,
        COALESCE(bl.idtype, wl.idtype, gwl.idtype) AS idtype
        ,  MATCH(s.title) AGAINST ('+\"Gold Rush\" +S04 +E11' IN BOOLEAN MODE) AS searchrelevancy1,  MATCH(s.title) AGAINST ('+\"Gold Rush\" +S04E11' IN BOOLEAN MODE) AS searchrelevancy0
FROM spots AS s  LEFT JOIN spotstatelist AS l on ((s.messageid = l.messageid) AND (l.ouruserid = 3)) 
LEFT JOIN spotsfull AS f ON (s.messageid = f.messageid) 
LEFT JOIN spotteridblacklist as bl ON ((bl.spotterid = s.spotterid) AND ((bl.ouruserid = 3) OR (bl.ouruserid = -1)) AND (bl.idtype = 1))
LEFT JOIN spotteridblacklist as wl on ((wl.spotterid = s.spotterid) AND ((wl.ouruserid = 3) AND (wl.idtype = 2)))
LEFT JOIN spotteridblacklist as gwl on ((gwl.spotterid = s.spotterid) AND ((gwl.ouruserid = -1) AND (gwl.idtype = 2)))  WHERE (bl.spotterid IS NULL)  AND (((s.category = 0) AND (s.subcatz = 'z1|') AND ( ((s.subcata = 'a0|')  OR (s.subcata = 'a1|')  OR (s.subcata = 'a2|')  OR (s.subcata = 'a3|')  OR (s.subcata = 'a10|')  OR (s.subcata = 'a4|')  OR (s.subcata = 'a6|')  OR (s.subcata = 'a7|')  OR (s.subcata = 'a8|')  OR (s.subcata = 'a9|') ) ) ) OR ((s.category = 0) AND (s.subcatz = 'z0|') AND ( ((s.subcata = 'a0|')  OR (s.subcata = 'a1|')  OR (s.subcata = 'a2|')  OR (s.subcata = 'a3|')  OR (s.subcata = 'a10|')  OR (s.subcata = 'a4|')  OR (s.subcata = 'a6|')  OR (s.subcata = 'a7|')  OR (s.subcata = 'a8|')  OR (s.subcata = 'a9|') ) ) ) OR ((s.category = 0) AND (s.subcatz = 'z2|') AND ( ((s.subcata = 'a0|')  OR (s.subcata = 'a1|')  OR (s.subcata = 'a2|')  OR (s.subcata = 'a3|')  OR (s.subcata = 'a10|')  OR (s.subcata = 'a4|')  OR (s.subcata = 'a6|')  OR (s.subcata = 'a7|')  OR (s.subcata = 'a8|')  OR (s.subcata = 'a9|') ) ) ) OR ((s.category = 0) AND (s.subcatz = 'z3|') AND ( ((s.subcata = 'a0|')  OR (s.subcata = 'a1|')  OR (s.subcata = 'a2|')  OR (s.subcata = 'a3|')  OR (s.subcata = 'a10|')  OR (s.subcata = 'a4|')  OR (s.subcata = 'a6|')  OR (s.subcata = 'a7|')  OR (s.subcata = 'a8|')  OR (s.subcata = 'a9|') ) ) ))  
 AND ( (s.stamp > 1308655195)  AND  (s.filesize > 0)  
 AND  ( ( MATCH(s.title) AGAINST ('+\"Gold Rush\" +S04E11' IN BOOLEAN MODE))  
  OR  ( s.title LIKE '%Gold Rush%' AND  s.title LIKE '%S04%' AND  s.title LIKE '%E11%' 
 AND  MATCH(s.title) AGAINST ('+\"Gold Rush\" +S04 +E11' IN BOOLEAN MODE)) ) ) 
ORDER BY s.reversestamp ASC, searchrelevancy0 DESC, searchrelevancy1 DESC LIMIT 26 OFFSET 0;

Met name de LIKE %% constructies lijken mij persoonlijk de performance om zeep te helpen.

[supernova]

Kan geen enkele spot meer openen na de laatste update, krijg de melding:

Er is een fout opgetreden bij het laden van de pagina, u wordt automatisch teruggestuurd naar het overzicht...

Wel gevonden dat er 3 jaar geleden ook een fout in spotweb zat, maar die hebben ze toen gefixt..
Maar ik kan nu geen enekele spot meer openen. Ook het downloaden via sabnzbd lukt niet..

ZIjn er meer personen die daar last van hebben... Normaal werkt Spotweb perfect... Maar nu na de laatste update en heb nog steeds geen oplossing kunnen vinden. En om nu opnieuw te gaan installeren of zo..

Een database check geeft ook geen problemen aan... Log files geven mij nog geen duidelijkheid.. Ben ook niet zo thuis in PHP

[ Voor 31% gewijzigd door supernova op 17-03-2014 17:16 ]

[Mabili]

supernova schreef op maandag 17 maart 2014 @ 14:18:
Kan geen enkele spot meer openen na de laatste update, krijg de melding:

Er is een fout opgetreden bij het laden van de pagina, u wordt automatisch teruggestuurd naar het overzicht...

Wel gevonden dat er 3 jaar geleden ook een fout in spotweb zat, maar die hebben ze toen gefixt..
Maar ik kan nu geen enekele spot meer openen. Ook het downloaden via sabnzbd lukt niet..

ZIjn er meer personen die daar last van hebben... Normaal werkt Spotweb perfect... Maar nu na de laatste update en heb nog steeds geen oplossing kunnen vinden. En om nu opnieuw te gaan installeren of zo..

Een database check geeft ook geen problemen aan... Log files geven mij nog geen duidelijkheid.. Ben ook niet zo thuis in PHP

Ja hier idem..
Ik had voordat ik mijn Synology ging updaten naar DSM5 een spotweb git pull uitgevoerd.
Spots worden netjes met een cronjob retrieve binnen gehaald, alleen lukt het niet meer nieuwe spots te openen zonder de melding "Er is een fout opgetreden bij het laden van de pagina, u wordt automatisch teruggestuurd naar het overzicht..." te zien. Helaas zelf ook nog geen oplossing kunnen vinden.

[mkleinman]

Ik heb de oorzaak gevonden.

Op de 1 of andere manier komt er dit in de query erbij:

code:

  (
      ( s.category = 0) AND 
      (s.subcatz = 'z1|') AND 
      ( ((s.subcata = 'a0|')  OR (s.subcata = 'a1|')  OR 
         (s.subcata = 'a2|')  OR (s.subcata = 'a3|')  OR 
         (s.subcata = 'a10|')  OR (s.subcata = 'a4|')  OR 
         (s.subcata = 'a6|')  OR (s.subcata = 'a7|')  OR 
         (s.subcata = 'a8|')  OR (s.subcata = 'a9|') ) 
     ) 
   ) OR ((s.category = 0) AND 
     (s.subcatz = 'z0|') AND 
     ( ((s.subcata = 'a0|')  OR 
        (s.subcata = 'a1|')  OR 
        (s.subcata = 'a2|')  OR 
        (s.subcata = 'a3|')  OR 
        (s.subcata = 'a10|')  OR 
        (s.subcata = 'a4|')  OR 
        (s.subcata = 'a6|')  OR 
        (s.subcata = 'a7|')  OR 
        (s.subcata = 'a8|')  OR 
        (s.subcata = 'a9|') ) ) ) OR 
    ((s.category = 0) AND 
         (s.subcatz = 'z2|') AND 
         ( ((s.subcata = 'a0|')  OR 
            (s.subcata = 'a1|')  OR 
            (s.subcata = 'a2|')  OR 
            (s.subcata = 'a3|')  OR 
            (s.subcata = 'a10|')  OR 
            (s.subcata = 'a4|')  OR 
            (s.subcata = 'a6|')  OR 
            (s.subcata = 'a7|')  OR 
            (s.subcata = 'a8|')  OR 
            (s.subcata = 'a9|') ) ) ) 
        OR ((s.category = 0) AND 
          (s.subcatz = 'z3|') AND ( 
            ((s.subcata = 'a0|')  OR 
             (s.subcata = 'a1|')  OR 
             (s.subcata = 'a2|')  OR 
             (s.subcata = 'a3|')  OR 
             (s.subcata = 'a10|')  OR 
             (s.subcata = 'a4|')  OR 
             (s.subcata = 'a6|')  OR 
             (s.subcata = 'a7|')  OR 
             (s.subcata = 'a8|')  OR 
             (s.subcata = 'a9|') ) ) ))

Met dit deel in de code doet hij er 24 seconden over om twee resultaten te vinden. Haal ik dit deel weg ( effectief de hele spots tabel doorzoeken met een testbased index dan doet hij er slechts 6 over. Dit is nog niet heel snel maar een stuk sneller dan die 24.

Alleen waar wordt dit in de code bepaald?

[henv]

ik zie op github in een van de topics iemand met hetzelfde probleem van herleiden.
je zou daar even kunnen kijken, in andere topics word ook genoemd dat iemand problemen had met rechten van de cache dir (deze kon geen plaatjes meer laden) en een melding van spotweb zelf:
There was a merge error between the mediainfo branch and this one which caused this error. Has been fixed in the latest commit.

dus misschien even kijken of je helemaal up to date, verder misschien daarna upgrade.php draaien en de rechten op cache dir nakijken. anders op github melden

@cptchaos waren idd workarounds en heb zelf de settings na laatste update weer terug gezet

[mkleinman]

henv schreef op maandag 17 maart 2014 @ 20:07:
ik zie op github in een van de topics iemand met hetzelfde probleem van herleiden.
je zou daar even kunnen kijken, in andere topics word ook genoemd dat iemand problemen had met rechten van de cache dir (deze kon geen plaatjes meer laden) en een melding van spotweb zelf:
There was a merge error between the mediainfo branch and this one which caused this error. Has been fixed in the latest commit.

dus misschien even kijken of je helemaal up to date, verder misschien daarna upgrade.php draaien en de rechten op cache dir nakijken. anders op github melden

Heb je een issuenummer voor me? Ga ik ff kijken. Ik heb gisteren met wget de master gepakt. Dus die zou aardig up to date moeten zijn

[supernova]

Heb net een update binnen gehaald en voor mij doet hij het weer...
Kan spots weer openen en zie ook de plaatjes weer.. Verder zijn er nog wat kleine dingen aangepast...

Doet het weer perfect.. (heb wel een db update gedaan)

[ Voor 56% gewijzigd door supernova op 17-03-2014 20:23 ]

[UltraSub]

Hier ook nu, wel een awful lot of "We are under memory pressure..." meldingen tijdens retrieve

[LiquidSmoke]

Laatste commit gepulled en alles werkt weer naar behoren

Afgelopen dag besteed om de db te herbouwen met met table_per_file optie, posts tot 2 jaar te bewaren en de metadata na 1 jaar te verwijderen.

Na de optimalisatie queries is de DB nu 1GB en flitsend snel

[Binnetie]

Bij mij wil hij nog steeds niet updaten. Ik heb wel de spam er tussenuit kunnen krijgen.

Mijn Spotweb staat op een VPS van een vriend. Nu is het zo dat ik Spotweb wil gaan updaten. Ik heb alleen geen toegang tot de VPS met SSH/telnet etc.
Het enige wat ik kan is via cronjob vanuit Directadmin wat doen. Ik heb Spotweb destijds geïnstalleerd door de files te downloaden van de Spotweb website en deze op de VPS te zetten via FTP. Daarna de install.php gedaan.

Hoe kan ik nu eenvoudig Spotweb updaten met behoud van een paar users en hoe kan ik nu een database update draaien?

Dit staat nu in een cronjob:

30* * * * /usr/local/bin/php -f /home/binnetie/domains/domein.nl/public_html/spotweb/retrieve.php >/dev/null 2>&1

Update elke 30 minuten

[Rikkiz0r]

Ik heb zojuist mijn server opnieuw geinstalleerd, en ik krijg nu elke keer bij het retrieven deze error:

code:

Retrieving 78491 till 83492, found 4999 reports in 0.68 seconds


SpotWeb v0.67.28.31 on PHP v5.5.10 crashed

Fatal error occured retrieving reports:
  22007: 1292: Truncated incorrect DOUBLE value: '[e-mail]'



#0 /usr/local/www/apache24/data/spotweb/lib/dbeng/dbeng_pdo.php(74): dbeng_pdo->exec('UPDATE spots ??...', Array)
#1 /usr/local/www/apache24/data/spotweb/lib/dao/Base/Dao_Base_Spot.php(304): dbeng_pdo->modify('UPDATE spots ??...')
#2 /usr/local/www/apache24/data/spotweb/lib/services/Retriever/Services_Retriever_Reports.php(132): Dao_Base_Spot->updateSpotReportCount(Array)
#3 /usr/local/www/apache24/data/spotweb/lib/services/Retriever/Services_Retriever_Base.php(227): Services_Retriever_Reports->process(Array, 78491, 83492, 1395151585.8961)
#4 /usr/local/www/apache24/data/spotweb/lib/services/Retriever/Services_Retriever_Base.php(319): Services_Retriever_Base->loopTillEnd('0', '5000')
#5 /usr/local/www/apache24/data/spotweb/retrieve.php(206): Services_Retriever_Base->perform()
#6 {main}

Hebben hier meer mensen last van? Spotweb is de nieuwste versie (master branch).

Edit:

Heb nu dus geswitch naar de mediainfo branch, die gaf bij upgrade-db.php een error dus heb ik vervolgens handmatig php files gepatched zodat de database nu net iets anders geupgraded word en nu draait het prima.

Betreft deze issue:
https://github.com/spotweb/spotweb/issues/2022

[ Voor 10% gewijzigd door Rikkiz0r op 18-03-2014 15:50 ]

[Binnetie]

Gisteravond nog bezig geweest om alles aan te passen.
Ik ga maar een nieuwe installatie doen op de VPS, en wil dit dan gelijk via git doen zodat ik makkelijk kan updaten.
Heb toegang via SSH kunnen krijgen van die vriend van me. Er was geen git geinstalleerd. Dit heb ik gedaan via deze link: http://blog.justin.kelly....ur-home-directory-how-to/ en dat is gelukt.
Alleen wanneer ik iets via git wil installeren krijg ik de melding via 'unkown command', ik voer dit commando uit: git clone https://github.com/spotweb/spotweb.git
Hoe kan dit nu?

Voorheen had ik de installatie gedaan door gewoon de zip file via ftp uit te pakken op de webserver in de map Spotweb. Wanneer ik nu een update wil doen kan ik de meest recente versie downloaden en de bestanden overschrijven. Welke bestande moet ik alleen niet overschrijven om de settings en users te behouden? settings.php en welke nog meer?

[vanaalten]

Binnetie schreef op woensdag 19 maart 2014 @ 11:26:
Ik ga maar een nieuwe installatie doen op de VPS, en wil dit dan gelijk via git doen zodat ik makkelijk kan updaten.
Heb toegang via SSH kunnen krijgen van die vriend van me. Er was geen git geinstalleerd. Dit heb ik gedaan via deze link: http://blog.justin.kelly....ur-home-directory-how-to/ en dat is gelukt.

Wat voor OS draait er op die VPS? Beter gezegd, had je git niet via een software-repository kunnen installeren i.p.v. vanuit source compileren?

Alleen wanneer ik iets via git wil installeren krijg ik de melding via 'unkown command', ik voer dit commando uit: git clone https://github.com/spotweb/spotweb.git
Hoe kan dit nu?

... git installeren is dan toch niet gelukt? Die HowTo had als laatste een test om te controleren of de install gelukt was, "~/opt/bin/git --version"... die gaf een correct resultaat?

En mijn eerste gok: ~/opt/bin staat vast niet in je $PATH zoekpad, dus "git clone ..." weet de git-executable niet te vinden; "~/opt/bin/git clone ...." zal wellicht wel werken.

Maar beter is het om git vanuit een software-repository te installeren, dan worden zoekpaden en zo ook meteen goed gezet. Debian of Ubuntu toevallig? Dan "sudo apt-get install git' doen.

[Binnetie]

Dat weet ik zo niet welke OS erop draait, ik meende Linux. Ga het even navragen!
Bedankt voor de tips, zal deze ook proberen....

Edit:
Er draait Centos 6.5 op. VPS staat bij Transip. Zijn de commando's dan anders?

[ Voor 25% gewijzigd door Binnetie op 19-03-2014 20:01 ]

[vanaalten]

Binnetie schreef op woensdag 19 maart 2014 @ 19:54:
Er draait Centos 6.5 op. VPS staat bij Transip. Zijn de commando's dan anders?

Zeker, Centos gebruikt - van wat ik zo terugvind - 'yum' als package manager.

En even zoeken naar 'yum install git' gaf mij deze pagina. Ben zelf niet thuis in Centos, dus kan je er verder niet mee helpen... sorry!

[Binnetie]

vanaalten schreef op woensdag 19 maart 2014 @ 12:45:
[...]

Wat voor OS draait er op die VPS? Beter gezegd, had je git niet via een software-repository kunnen installeren i.p.v. vanuit source compileren?

[...]

... git installeren is dan toch niet gelukt? Die HowTo had als laatste een test om te controleren of de install gelukt was, "~/opt/bin/git --version"... die gaf een correct resultaat?

En mijn eerste gok: ~/opt/bin staat vast niet in je $PATH zoekpad, dus "git clone ..." weet de git-executable niet te vinden; "~/opt/bin/git clone ...." zal wellicht wel werken.

Maar beter is het om git vanuit een software-repository te installeren, dan worden zoekpaden en zo ook meteen goed gezet. Debian of Ubuntu toevallig? Dan "sudo apt-get install git' doen.

Zo is het wel gelukt om te installeren. Bedankt! Het is iets meer werk om de locatie van git in te tikken, maar ach hoe vaak doe je dat nu?
Nu eens kijken wanneer de eerste spots weer verschijnen.

[DeTjuk]

UltraSub schreef op maandag 17 maart 2014 @ 20:42:
Hier ook nu, wel een awful lot of "We are under memory pressure..." meldingen tijdens retrieve

Net een verse installatie gedaan op nieuw systeem.

Bij retrieven alleen maar We are under memory pressure meldingen.

Iemand hier een oplossing voor?

update
Mijn oude installatie doet het wel gewoon. Deze is al een tijd niet bijgewerkt. Ligt het dan aan de nieuwste versie die ik nu heb gedownload?

[ Voor 17% gewijzigd door DeTjuk op 20-03-2014 15:02 . Reden: aanvullende info ]

[HappyChainsaw]

Ik heb gisteren ook de fix van henv tijdelijk overgenomen omdat ie er sinds zondag steeds uit klapte bij het updaten. De laatste versie van de main branch staat erop. Het lijkt erop dat er de laatste dagen meer en meer foute spots worden gedumpt waar spotweb enorm op staat te stampen. Retrieven duurt nu een factor 2000x keer zo lang als normaal. Maar het pruttelt wel door, dat wel. Dit is op een CentOS 6.5 pc met redelijke specs.

[spotwebuser@server spotweb]# git pull
Already up-to-date.
[spotwebuser@server spotweb]# php ./retrieve.php
Last retrieve at Thu 20 Mar 2014 06:17:39 AM CET
Retrieving new Spots from server newsserver...
Appr. Message count: 1127510
First message number: 1670671
Last message number: 2798181
Current article number: 2775609

Retrieving 2775609 till 2775710 (parsed: 43, in DB: 58, signed: 0, invalid: 0, rtntn.skip: 0, mod: 43, ful l: 0, total: 101) in 0.68 seconds
Retrieving 2775710 till 2775811 (parsed: 39, in DB: 62, signed: 0, invalid: 2, rtntn.skip: 0, mod: 37, ful l: 0, total: 101) in 0.56 seconds
Retrieving 2775811 till 2775912 (parsed: 31, in DB: 70, signed: 0, invalid: 1, rtntn.skip: 0, mod: 30, ful l: 0, total: 101) in 0.53 seconds

Dit is voor mijn servertje een vrij normale snelheid.
Maar dan komen die corrupte spots:

<knip>
Retrieving 2791365 till 2791466 (parsed: 98, in DB: 3, signed: 0, invalid: 98, rtntn.skip: 0, mod: 0, full : 98, total: 101) in 1612.94 seconds
Retrieving 2791466 till 2791567 (parsed: 98, in DB: 3, signed: 0, invalid: 98, rtntn.skip: 0, mod: 0, full : 98, total: 101) in 1606 seconds
Retrieving 2791567 till 2791668 (parsed: 96, in DB: 5, signed: 0, invalid: 93, rtntn.skip: 0, mod: 3, full : 93, total: 101) in 1527 seconds
Retrieving 2791668 till 2791769 ...

[Binnetie]

Kan je ook zien hoe het retrieven verloopt? Die van mij is nu posts aan het binnen halen nadat ik alles opnieuw heb geinstalleerd. Maar kan je ook met telnet inloggen en da het proces volgen?

Hier is de VPS ook erg langzaam nu...

[ Voor 9% gewijzigd door Binnetie op 20-03-2014 16:16 ]

[DeTjuk]

Wat je wel kunt doen, is via ssh/telnet, of hoe je ook maar op je nas/server/pc inlogt vanuit de dir waar je spotweb hebt geinstalleerd (/var/www/spotweb) het command php retrieve.php geven. Dan zie je precies wat ie doet.

Als het update al is begonnen vanuit de webinterface, kun je denk ik het proces niet meer volgen. Misschien dat er iets wordt opgeslagen in een log? Geen idee van.

[MikeOO]

Kan natuurlijk ook zijn dat het probleem bij je news provider zit.
Zelf heb ik de laatste spotweb versie maar retrieve gaat zonder probleem al voor maanden.

Je kan ook achter je retrieve commando dit plaatsen.

code:

>> /volume1/web/spotweb/errors.log

Dan wordt de retrieve constant gelogt kun je altijd snel bekijken wanneer en wat er fout is gegaan.

Je kan het beste even een topic starten bij Spotweb github dan kan de maker eens kijken of er mogelijk iets aan te doen is.

[ Voor 24% gewijzigd door MikeOO op 21-03-2014 08:28 ]

[CH4OS]

HappyChainsaw schreef op donderdag 20 maart 2014 @ 15:48:
Ik heb gisteren ook de fix van henv tijdelijk overgenomen omdat ie er sinds zondag steeds uit klapte bij het updaten. De laatste versie van de main branch staat erop. Het lijkt erop dat er de laatste dagen meer en meer foute spots worden gedumpt waar spotweb enorm op staat te stampen. Retrieven duurt nu een factor 2000x keer zo lang als normaal. Maar het pruttelt wel door, dat wel. Dit is op een CentOS 6.5 pc met redelijke specs.

[spotwebuser@server spotweb]# git pull
Already up-to-date.
[spotwebuser@server spotweb]# php ./retrieve.php
Last retrieve at Thu 20 Mar 2014 06:17:39 AM CET
Retrieving new Spots from server newsserver...
Appr. Message count: 1127510
First message number: 1670671
Last message number: 2798181
Current article number: 2775609

Retrieving 2775609 till 2775710 (parsed: 43, in DB: 58, signed: 0, invalid: 0, rtntn.skip: 0, mod: 43, ful l: 0, total: 101) in 0.68 seconds
Retrieving 2775710 till 2775811 (parsed: 39, in DB: 62, signed: 0, invalid: 2, rtntn.skip: 0, mod: 37, ful l: 0, total: 101) in 0.56 seconds
Retrieving 2775811 till 2775912 (parsed: 31, in DB: 70, signed: 0, invalid: 1, rtntn.skip: 0, mod: 30, ful l: 0, total: 101) in 0.53 seconds

Dit is voor mijn servertje een vrij normale snelheid.
Maar dan komen die corrupte spots:

<knip>
Retrieving 2791365 till 2791466 (parsed: 98, in DB: 3, signed: 0, invalid: 98, rtntn.skip: 0, mod: 0, full : 98, total: 101) in 1612.94 seconds
Retrieving 2791466 till 2791567 (parsed: 98, in DB: 3, signed: 0, invalid: 98, rtntn.skip: 0, mod: 0, full : 98, total: 101) in 1606 seconds
Retrieving 2791567 till 2791668 (parsed: 96, in DB: 5, signed: 0, invalid: 93, rtntn.skip: 0, mod: 3, full : 93, total: 101) in 1527 seconds
Retrieving 2791668 till 2791769 ...

Volgens mij heb onlangs hier in het topic ook al een bericht over gezien. Enige wat ik me kan bedenken is het aantal te retrieven spots omlaag zetten, zijn waarschijnlijk die spam spots van afgelopen week.

[HappyChainsaw]

Dat stukje log was met het aantal te retrieven spots al omlaag gezet van 1000 naar 100. Ach, ik denk dat ik dit maar eens aangrijp om de db (7GB inmiddels) te legen en hem lekker vers opnieuw laat vullen vanaf vandaag. Zo vaak zoek ik niet in de geschiedenis en we hebben de bekende indexing sites ook nog.

[Binnetie]

Die van mij is eindelijk klaar met updaten van alles.

Ik zie alleen deze error op het eind nadat hij alles opgehaald heeft (retrieve.php):

Non-fatal: Updating black/whitelist failed, most likely unreachable!Expiring deb
Starting to create statistics

Iemand die weet hoe die error te herstellen is?

[MikeOO]

Binnetie schreef op zondag 23 maart 2014 @ 12:24:
Die van mij is eindelijk klaar met updaten van alles.

Ik zie alleen deze error op het eind nadat hij alles opgehaald heeft (retrieve.php):


[...]


Iemand die weet hoe die error te herstellen is?

Domein waar deze lijsten op staan is al een tijdje offline. Kun je dus niets aan doen en wachten of het weer online komt.
- blacklist (http://jij.haatmij.nl/spotnet/blacklist.txt)
- whitelist (http://jij.haatmij.nl/spotnet/whitelist.txt)

[daroy]

Ik heb sinds een tijd een probleem met Spotweb dat ik als ik iets wil intypen in de zoekbalk dat het menu daaronder (met de verschillende categorieën) niet meer veranderd in het menu waar ik vinkjes kan zetten in welke categorieën ik wil zoeken. Dit maakt het zoeken behoorlijk lastig.

Spotweb draait bij mij op een Synology nas en de zoekfunctie heeft tot een aantal weken geleden prima gewerkt. Open ik op mijn pc een publieke spotweb installatie ergens op het internet werkt de zoekoptie ook zoals het moet, het lijkt me dus geen browser probleem.

Heeft iemand enig idee waar ik dit moet zoeken?

[MikeOO]

daroy schreef op maandag 24 maart 2014 @ 13:32:
Ik heb sinds een tijd een probleem met Spotweb dat ik als ik iets wil intypen in de zoekbalk dat het menu daaronder (met de verschillende categorieën) niet meer veranderd in het menu waar ik vinkjes kan zetten in welke categorieën ik wil zoeken. Dit maakt het zoeken behoorlijk lastig.

Spotweb draait bij mij op een Synology nas en de zoekfunctie heeft tot een aantal weken geleden prima gewerkt. Open ik op mijn pc een publieke spotweb installatie ergens op het internet werkt de zoekoptie ook zoals het moet, het lijkt me dus geen browser probleem.

Heeft iemand enig idee waar ik dit moet zoeken?

Probeer toch eens een andere browser of dan het probleem er nog steeds is.
Of test indien mogeijk eens op een andere pc puur om de dingen uit te sluiten.

Heb je Spotweb naar de laatste versie bijgewerkt met Git Pull en daarna je database bijwerken met /usr/bin/php upgrade-db.php

Check ook Install.php van Spotweb of alles op OK staat. Kan zijn dat er iets ontbreekt.

Ook kun je als je IPKG hebt geinstalleerd de volgende commando's geven.
IPKG Update
IPKG Upgrade

Dan wordt alles naar de laatste versie bijgewerkt.

[daroy]

Andere browser geprobeerd (Firefox) zelfde probleem.

Ik heb spotweb via de SPK van Martijn de Vries geïnstalleerd en dit is de laatste versie.

Install.php gecheckt en alleen Open base dir heeft een melding dat de map niet leeg is en dit een probleem KAN veroorzaken. Deze melding had ik ook bij de installatie en in het begin heeft de zoekfunctie wel goed gewerkt.


Het gekke is dat het eerst op mijn werk niet meer wou maar toen thuis nog wel gewoon correct werkte. Op het werk maakte we toen nog gebruik van IE9 en ik dacht dat het wellicht daar aan ligt. Tegenwoordig zitten we op het werk ook met IE11 (netzo als thuis) maar het wou hier nog steeds niet werken. Sinds kort werkt het thuis dus ook niet meer.

[MikeOO]

daroy schreef op dinsdag 25 maart 2014 @ 13:10:
Andere browser geprobeerd (Firefox) zelfde probleem.

Ik heb spotweb via de SPK van Martijn de Vries geïnstalleerd en dit is de laatste versie.

Install.php gecheckt en alleen Open base dir heeft een melding dat de map niet leeg is en dit een probleem KAN veroorzaken. Deze melding had ik ook bij de installatie en in het begin heeft de zoekfunctie wel goed gewerkt.


Het gekke is dat het eerst op mijn werk niet meer wou maar toen thuis nog wel gewoon correct werkte. Op het werk maakte we toen nog gebruik van IE9 en ik dacht dat het wellicht daar aan ligt. Tegenwoordig zitten we op het werk ook met IE11 (netzo als thuis) maar het wou hier nog steeds niet werken. Sinds kort werkt het thuis dus ook niet meer.

Probleem kan zijn dat de SPK van Martijn mogelijk niet de nieuwste versie is. Op zich niet een groot probleem maar ja kan Spotweb alleen bijwerken als Martijn deze bijwerkt of door een Git Pull te gaan doen.

Kan zijn dat je door Spotweb bij te werken naar de laatste versie de problemen ook verdwenen zijn.
Ik weet niet wanneer deze versie voor het laatst is bijgewerkt namelijk en een tijdje terug is Spotweb overgaan naar een andere database en hiervoor moet je dus ook de database upgrade uitvoeren.

ALs je IPKG hebt geinstalleerd dan toch eens de opties van mijn vorige reactie uitvoeren om Spotweb naar de nieuwste versie bij te werken en database te upgraden.

ALs je IPKG niet gebruikt dan verzoek indienen bij Martijn of hij een nieuwe versie zou kunnen maken.

Of Spotweb verwijderen en een keer opnieuw installeren. Er kan niet echt veel fout gaan en dat het ineens niet meer goed werkt is toch ergens aan de NAS kant lijkt mij aangezien het nu op meerdere plekken niet meer goed werkt.

[Staatslot]

Ik heb gisteren mijn spotweb naar de laatste versie gezet, truncate op de cache tabel gedaan en upgrade-db gedraaid.

Als ik nu een retrieve doe krijg ik alleen maar (uiteraard met wisselende article numbers):
[code]getBody(): Failed to retrieve article: <[e-mail]>[/code]

Ik heb gemerkt als ik het vinkje bij "retrieve full spots" uitzet dat het wel goed gaat.
Is dit een bug of heb ik iets niet goed gedaan? Vind het namelijk wel prettig als ik de volledige spots kan binnenhalen.

Nevermind, waarschijnlijk wel gevonden. Cache ging niet meer naar DB maar naar disk, die daarvoor 100% bereikte en daardoor corrupt werd..

[ Voor 24% gewijzigd door Staatslot op 26-03-2014 21:52 ]

[daroy]

MikeOO schreef op woensdag 26 maart 2014 @ 08:09:
[...]


Probleem kan zijn dat de SPK van Martijn mogelijk niet de nieuwste versie is. Op zich niet een groot probleem maar ja kan Spotweb alleen bijwerken als Martijn deze bijwerkt of door een Git Pull te gaan doen.

Kan zijn dat je door Spotweb bij te werken naar de laatste versie de problemen ook verdwenen zijn.
Ik weet niet wanneer deze versie voor het laatst is bijgewerkt namelijk en een tijdje terug is Spotweb overgaan naar een andere database en hiervoor moet je dus ook de database upgrade uitvoeren.

ALs je IPKG hebt geinstalleerd dan toch eens de opties van mijn vorige reactie uitvoeren om Spotweb naar de nieuwste versie bij te werken en database te upgraden.

ALs je IPKG niet gebruikt dan verzoek indienen bij Martijn of hij een nieuwe versie zou kunnen maken.

Of Spotweb verwijderen en een keer opnieuw installeren. Er kan niet echt veel fout gaan en dat het ineens niet meer goed werkt is toch ergens aan de NAS kant lijkt mij aangezien het nu op meerdere plekken niet meer goed werkt.

Ten eerste bedankt voor je hulp. Ik ga deze week eens proberen mijn Spotweb installatie te verwijderen en helemaal opnieuw te beginnen voordat ik Martijn lastig ga vallen. Ik zal mijn bevindingen hier plaatsen.

[MikeOO]

daroy schreef op woensdag 26 maart 2014 @ 13:12:
[...]


Ten eerste bedankt voor je hulp. Ik ga deze week eens proberen mijn Spotweb installatie te verwijderen en helemaal opnieuw te beginnen voordat ik Martijn lastig ga vallen. Ik zal mijn bevindingen hier plaatsen.

Misschien toch overwegen om je NAS te voorzien van een bootstrap. Hierdoor kun je zelf dingen installeren. Is niet echt ingewikkeld als is enige kennies van Putty en WinSCP wel handig.

Hierna kun je de Spotweb zelf bijwerken en ben je niet mee zo afhankelijk van SPK die niet zijn bijgewerkt.

[renzo4000]

hmmm sinds vannacht update mijn spotweb niet meer ... Gezien de onderstaande melding, ligt dit aan mijn nieuwsprovider sunnyusenet?


SpotWeb v0.58.25.29 on PHP v5.5.9 crashed

Fatal error occured while connecting to the newsserver:
(211) Unexpected response [response: "1134614 1670671 2805284 free.pt"]


#0 /volume1/web/spotweb/NNTP/Protocol/Client.php(620): Net_NNTP_Protocol_Client->throwError('Unexpected resp...', 211, '1134614 1670671...')
#1 /volume1/web/spotweb/NNTP/Protocol/Client.php(1771): Net_NNTP_Protocol_Client->_handleUnexpectedResponse(211)
#2 /volume1/web/spotweb/NNTP/Client.php(1000): Net_NNTP_Protocol_Client->cmdXOver('2791193-2792193')
#3 /volume1/web/spotweb/lib/SpotNntp.php(46): Net_NNTP_Client->getOverview('2791193-2792193')
#4 /volume1/web/spotweb/lib/retriever/SpotRetriever_Abs.php(157): SpotNntp->getOverview(2791193, 2792193)
#5 /volume1/web/spotweb/lib/retriever/SpotRetriever_Abs.php(230): SpotRetriever_Abs->loopTillEnd(2790193, '1000')
#6 /volume1/web/spotweb/retrieve.php(160): SpotRetriever_Abs->perform()
#7 {main}

[Dr_Hell]

Ik heb pas de mediainfo branche binnengehaald via git, maar als ik dan de instructies van hier uitvoer loop ik vast. De upgrade-db loopt nog goed, maar de stap daarna doet niet wat hij moet doen:

Bij het uitvoeren van recreate-collections.php krijg ik direct onderstaande melding en er lijkt verder niets te gebeuren.

code:

$ sudo -u www-data php recreate-collections.php 
string(5) "ASCII"
bool(true)
object(Dto_CollectionInfo)#11 (9) {
  ["title":"Dto_CollectionInfo":private]=>
  string(19) "The glee project e5"
  ["season":"Dto_CollectionInfo":private]=>
  NULL
  ["episode":"Dto_CollectionInfo":private]=>
  NULL
  ["year":"Dto_CollectionInfo":private]=>
  NULL
  ["mcId":"Dto_CollectionInfo":private]=>
  NULL
  ["id":"Dto_CollectionInfo":private]=>
  NULL
  ["catType":"Dto_CollectionInfo":private]=>
  int(5)
  ["partsCurrent":"Dto_CollectionInfo":private]=>
  NULL
  ["partsTotal":"Dto_CollectionInfo":private]=>
  NULL
}

Heeft iemand enig idee wat er aan de hand is en hoe ik dit kan verhelpen?

De database was voor de switch verder gewoon gevuld en bij de tijd, spotweb draait op Ubuntu 12.04.

[smeerbartje]

Wat is het doel van die mediainfo branch?

[renzo4000]

renzo4000 schreef op donderdag 27 maart 2014 @ 09:02:
hmmm sinds vannacht update mijn spotweb niet meer ... Gezien de onderstaande melding, ligt dit aan mijn nieuwsprovider sunnyusenet?


SpotWeb v0.58.25.29 on PHP v5.5.9 crashed

Fatal error occured while connecting to the newsserver:
(211) Unexpected response [response: "1134614 1670671 2805284 free.pt"]


#0 /volume1/web/spotweb/NNTP/Protocol/Client.php(620): Net_NNTP_Protocol_Client->throwError('Unexpected resp...', 211, '1134614 1670671...')
#1 /volume1/web/spotweb/NNTP/Protocol/Client.php(1771): Net_NNTP_Protocol_Client->_handleUnexpectedResponse(211)
#2 /volume1/web/spotweb/NNTP/Client.php(1000): Net_NNTP_Protocol_Client->cmdXOver('2791193-2792193')
#3 /volume1/web/spotweb/lib/SpotNntp.php(46): Net_NNTP_Client->getOverview('2791193-2792193')
#4 /volume1/web/spotweb/lib/retriever/SpotRetriever_Abs.php(157): SpotNntp->getOverview(2791193, 2792193)
#5 /volume1/web/spotweb/lib/retriever/SpotRetriever_Abs.php(230): SpotRetriever_Abs->loopTillEnd(2790193, '1000')
#6 /volume1/web/spotweb/retrieve.php(160): SpotRetriever_Abs->perform()
#7 {main}

Ik heb een git pull gedaan en een upgrade van de db. Dit is allemaal goed verlopen en kon daarna weer retrieven. Kennelijk ging hij nog een hoop oudere posts ophalen die miste. Uiteindelijk klapt spotweb er weer uit met bovenstaande melding. Het ligt klaarblijkelijk niet aan de nieuwsserver maar aan spotweb zelf. Een google zoektocht levert bij mij nog niet veel helderheid. Iemand anders die dit probleem herkent?

EDIT: probleem opgelost door de settings aan te passen bij prestaties (ophalen per van 1000 naar 500 gezet)

[Verwijderd]

Stomme vraag misschien maar hoe verwijder ik een tag filter die ik heb toegevoegd (via de post en dan + naast de poster z'n naam)?

Edit; ik zie ze al in de database staan

[ Voor 16% gewijzigd door Verwijderd op 28-03-2014 15:06 ]

[GAITii]

Iemand die mij kan vertellen wat de makkelijkste manier is om SpotWeb op mijn Windows server te updaten? Wil graag namelijk mijn instellingen wel bewaren enzo...

Is het gewoon nieuwe downloaden -> bestanden overschrijven (op dbsettings.inc.php na) -> upgrade-db.php uitvoeren en klaar?

[gielie]

Ik heb een probleem met mijn spotweb op mijn synology nas dat hij zo ontzettend traag is.
Ik had spotweb al jaren goed draaien tot ik afgelopen weekend spotweb opnieuw ging installeren via ipkg (master branch).
Hele installatie verloopt goed, retrieve gaat ook goed (niet langzaam) maar dan.

Het laden van de pagina gaat echt enorm traag en het zoeken ook.
Ik vermoed dat dit iets met de database te maken heeft en/of de nieuwe mariaDB die op de nas draait.
Verdere programma's zoals SB, nzbget CP draaien verder zonder problemen.

Heeft iemand een oplossing/tips om mijn spotweb te optimaliseren.

[ Voor 6% gewijzigd door gielie op 01-04-2014 13:05 ]

[MikeOO]

gielie schreef op dinsdag 01 april 2014 @ 13:03:
Ik heb een probleem met mijn spotweb op mijn synology nas dat hij zo ontzettend traag is.
Ik had spotweb al jaren goed draaien tot ik afgelopen weekend spotweb opnieuw ging installeren via ipkg (master branch).
Hele installatie verloopt goed, retrieve gaat ook goed (niet langzaam) maar dan.

Het laden van de pagina gaat echt enorm traag en het zoeken ook.
Ik vermoed dat dit iets met de database te maken heeft en/of de nieuwe mariaDB die op de nas draait.
Verdere programma's zoals SB, nzbget CP draaien verder zonder problemen.

Heeft iemand een oplossing/tips om mijn spotweb te optimaliseren.

Je zou dit kunnne proberen
PrivateBits: Spotweb traag? Tune je MySQL!

Of de laatste regel uit deze
https://github.com/spotwe...ance-tips#tune-your-mysql

Maar opzich zou Spotweb het laden van de pagina niet traag moeten laden. Als het om de inhoud van een post gaat kan ik mij dat nog wel voorstellen.

Helaas vermeld je er niet bij op wat voor apparaat Spotweb draait want daar kan het probleem ook aan liggen. Dat SB etc wel goed draait zegt niet heel veel aangezien deze geen goedgevulde database gebruiken zoals Spotweb.

Check ook of geen update beschikbaar is voor de MariaDB. Bij Synology was er nl na installatie van Spotweb ook een update beschikbaar.

[MiTM]

Nevermind. Probleem is opgelost

[ Voor 94% gewijzigd door MiTM op 02-04-2014 19:36 ]

[gielie]

MikeOO schreef op woensdag 02 april 2014 @ 08:33:
[...]
Helaas vermeld je er niet bij op wat voor apparaat Spotweb draait.

Toch wel, eerste regel, synology dus.
Ik ga die tips, die ik al had gezien maar eerder niet nodig had omdat spotweb snel genoeg werkte, proberen.

Zoals ik al aangaf draaide spotweb al tijden erg goed (zonder extra tweaks) maar nu dus na her installatie heel erg traag in het laden.

[gielie]

MiTM schreef op woensdag 02 april 2014 @ 17:31:
Nevermind. Probleem is opgelost

Wat was je probleem dan? en hoe heb je het opgelost?
Kunnen andere mensen misschien nog iets van leren, als je de vraagstelling weg haalt en geen oplossing weergeeft krijgen we de vraag hier misschien nog een keer.

[MikeOO]

gielie schreef op woensdag 02 april 2014 @ 17:41:
[...]

Toch wel, eerste regel, synology dus.

lezen blijft soms moeilijk.

[RubenDJ]

Ik gebruik al een tijdje Spotweb als newznab provider voor Sickbeard. Soms gaat dat goed, maar niet altijd daarom heb ik de Sickbeard indexer ook nog aan staan.
Die rammelt nu ook een beetje en nu bleek gisteren dat Agents of SHIELD s01e16 niet automatisch is gedownload. Als ik deze handmatig opzoek in Spotweb staat deze er gewoon. Via de newznab api is deze echter niet te vinden door Sickbeard en ik vraag me af waarom niet. Dit is de url die door SickBeard wordt gebruikt:

code:

http://server/spotweb/api?ep=16&apikey=blabla&limit=100&t=tvsearch&season=1&rid=32656&maxage=500&cat=5030%2C5040

Die returned een XML zonder resultaten.
Als ik uit de season=1 param weghaal zie ik een grote MySQL error die er wel op wijst dat hij naar de betreffende serie zoekt.

Iemand een idee?

[Newjersey]

Ik krijg sinds een tijdje weer de melding dat mijn blacklist en whitelist corrupted zijn. Nu heb ik de volgende queries gedraaid (kwam ik tegen op Google):

DELETE FROM cache WHERE resourceid = '052932decd7824ac015ceb96564ed032';
DELETE FROM cache WHERE resourceid = '57ebb22ade76ad4b198c398b27e83582';

maar dit werkt niet. Iemand nog een ander idee?

[MikeOO]

RubenDJ schreef op vrijdag 04 april 2014 @ 14:34:
Ik gebruik al een tijdje Spotweb als newznab provider voor Sickbeard. Soms gaat dat goed, maar niet altijd daarom heb ik de Sickbeard indexer ook nog aan staan.
Die rammelt nu ook een beetje en nu bleek gisteren dat Agents of SHIELD s01e16 niet automatisch is gedownload. Als ik deze handmatig opzoek in Spotweb staat deze er gewoon. Via de newznab api is deze echter niet te vinden door Sickbeard en ik vraag me af waarom niet. Dit is de url die door SickBeard wordt gebruikt:

code:

http://server/spotweb/api?ep=16&apikey=blabla&limit=100&t=tvsearch&season=1&rid=32656&maxage=500&cat=5030%2C5040

Die returned een XML zonder resultaten.
Als ik uit de season=1 param weghaal zie ik een grote MySQL error die er wel op wijst dat hij naar de betreffende serie zoekt.

Iemand een idee?

Test het eens met

code:

http://server/spotweb/api?t=c

Je krijgt dan een XML pagina te zien. Als dat goed gaat dan werkt de Newznab goed anders zul je moeten onderzoeken waar het niet goed zit.
https://github.com/spotwe...tweb-als-Newznab-Provider

Gebruik dit ook en merk ook dat ik vrij vaak een foutmelding krijg. Een test van een link gaat dan ook niet echt lekker. Zover ik kan achterhalen is dit omdat het gewoon te lang duurt voor er een reactie komt. Soms doet hij het inderdaad wel goed.

Het zou mooi zijn als hier een oplossing voor komt maar dit speelt al zo lang dat ik eerder denk dat het systeem waarop Spotweb draait sneller moet zijn om dit goed te laten werken. Vooral het geheugen zal bepalend zijn hoe snel een query wordt uitgevoerd om zo resultaten te geven. Als het systeem al druk is met andere taken dan duurt het te lang met gevolg foutmeldingen.

Ik ga het nu testen met een DS214+ en hoop daarmee dat het beter gaat.

[ Voor 13% gewijzigd door MikeOO op 05-04-2014 08:28 ]

[Mirx_NL]

RubenDJ schreef op vrijdag 04 april 2014 @ 14:34:

code:

http://server/spotweb/api?ep=16&apikey=blabla&limit=100&t=tvsearch&season=1&rid=32656&maxage=500&cat=5030%2C5040

Die returned een XML zonder resultaten.


Iemand een idee?

Wat gebeurd er als je meerdere categorieën toevoegd? Misschien dat hij bijvoorbeeld in 5000, 5020, of 5050 gekomen is.

Category:: CAT_PARENT_TV = 5000;
Category:: CAT_TV_FOREIGN = 5020;
Category:: CAT_TV_SD = 5030;
Category:: CAT_TV_HD = 5040;
Category:: CAT_TV_OTHER = 5050;
Category:: CAT_TV_SPORT = 5060;
Category:: CAT_TV_ANIME = 5070;

[ Voor 23% gewijzigd door Mirx_NL op 07-04-2014 13:19 ]

[RubenDJ]

MikeOO schreef op vrijdag 04 april 2014 @ 16:03:
Test het eens met

code:

http://server/spotweb/api?t=c

Je krijgt dan een XML pagina te zien. Als dat goed gaat dan werkt de Newznab goed anders zul je moeten onderzoeken waar het niet goed zit.
https://github.com/spotwe...tweb-als-Newznab-Provider

Hier heb ik geen problemen mee, zoals ik al aangaf werkt het meestal goed (zeg maar 98%) maar soms is een bepaalde episode gewoon niet te vinden. Dat vind ik juist het rare... Overigens draai ik het hele zaakje op een Windows servertje dus heb capaciteit genoeg en ervaar nooit problemen met beschikbaarheid of traagheid.

Mirx_NL schreef op maandag 07 april 2014 @ 13:17:
Wat gebeurd er als je meerdere categorieën toevoegd? Misschien dat hij bijvoorbeeld in 5000, 5020, of 5050 gekomen is.
[...]

Bedankt voor de tip maar het maakt helaas niet uit
Daaraan kan ik nog toevoegen dat het toch niet om alleen deze ene episode blijkt te gaan, ik kan van die hele serie (Agents of SHIELD) geen resultaten vinden.

[ Voor 15% gewijzigd door RubenDJ op 07-04-2014 23:32 ]

[Rowdy.nl]

RubenDJ schreef op maandag 07 april 2014 @ 19:35:

[...]

Bedankt voor de tip maar het maakt helaas niet uit
Daaraan kan ik nog toevoegen dat het toch niet om alleen deze ene episode blijkt te gaan, ik kan van die hele serie (Agents of SHIELD) geen resultaten vinden.

Agents of S.H.I.E.L.D. worden op mijn Spotweb iig als Marvel Agents of S H I E L D S##E## Title weergegeven. Misschien een verkeerde query?

[RubenDJ]

Rowdy.nl schreef op dinsdag 08 april 2014 @ 13:17:
[...]

Agents of S.H.I.E.L.D. worden op mijn Spotweb iig als Marvel Agents of S H I E L D S##E## Title weergegeven. Misschien een verkeerde query?

Via Newznab werkt dat anders, namelijk middels de &rid= parameter in de URL, dit zou volgens mij het TVRage ID moeten zijn. In het geval van deze serie dus 32656. En voor zover ik het kan vinden klopt dit ID wel. Op tvrage.com vind ik het niet terug maar een snelle google levert wel bekende combinaties op.

Zou Spotweb deze ID misschien niet/verkeerd gekoppeld hebben? Misschien kan iemand eens een handmatige query doen op dat ID?

code:

http://<servernaam>/spotweb/api?ep=16&apikey=<apikey>&limit=100&t=tvsearch&season=1&rid=32656&maxage=500&cat=5030%2C5040

Update: hmm vannacht is ep 17 van de serie automatisch binnengelopen, alhoewel de betreffende link nog steeds geen resultaten geeft. Kennelijk is het Sickbeard toch gelukt 'm te vinden in Spotweb, al kan ik in de logs niet vinden hoe precies.

[ Voor 13% gewijzigd door RubenDJ op 10-04-2014 20:46 ]

[MikeOO]

RubenDJ schreef op dinsdag 08 april 2014 @ 13:56:

Update: hmm vannacht is ep 17 van de serie automatisch binnengelopen, alhoewel de betreffende link nog steeds geen resultaten geeft. Kennelijk is het Sickbeard toch gelukt 'm te vinden in Spotweb, al kan ik in de logs niet vinden hoe precies.

Kijk in Sickbeard bij History en dan kun je zien bij wie de download vandaan komt.
Mogelijk dat via een andere weg is gevonden.

[RubenDJ]

MikeOO schreef op vrijdag 11 april 2014 @ 08:10:
Kijk in Sickbeard bij History en dan kun je zien bij wie de download vandaan komt.
Mogelijk dat via een andere weg is gevonden.

Momenteel is Spotweb mijn enige newznab provider, dus dat kan niet missen
Vraag is alleen welke API-url heeft Sickbeard gebruikt, dat kan ik niet terugvinden.

[MikeOO]

RubenDJ schreef op vrijdag 11 april 2014 @ 08:51:
[...]

Momenteel is Spotweb mijn enige newznab provider, dus dat kan niet missen
Vraag is alleen welke API-url heeft Sickbeard gebruikt, dat kan ik niet terugvinden.

Sickbeard laat dit verder niet zien. Je kan hooguit in SB in de logfile kijken maar dan zal je de URL niet in terugvinden.

[MikeOO]

Ik probeer een backup van Spotweb terug te zetten op mijn nieuwe Synology.
Backup maken ging prima maar terugzetten helaas niet.

code:

bzip2 -c -d spotweb.sql.bz2 | mysql spotweb

Ik voer het commando uit in de folder waar het bestand spotweb.sql.bz2 staat.

Dan krijg ik de foutmelding
su: unknown user bzip2
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)

Kan weinig info verder vinden hoe je dit kunt oplossen. Wie kan mij wat ik fout doe.

Update: opgelost met

code:

bzip2 -c -d spotweb.sql.bz2 |  mysql -u root -p spotweb

[ Voor 11% gewijzigd door MikeOO op 12-04-2014 13:04 ]

[marc08]

ik krijg momenteel de volgende fout melding als ik spotweb probeer te gebruiken. Het is mij niet duidelijk waar het probleem nu zit en google levert ook niks.

Iemand zo een idee wat het probleem is? En hoe dit op te lossen?

Ik krijg de volgende melding als ik naar spotweb ga en zo nu en dan kom ik er wel op, maar als ik iets opzoek en aanklik krijg ik de melding : error while loading this page.

Unable to connect to database:
SQLSTATE[HY000] [2002] Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (111)


Please make sure your database server is up and running and your connection parameters are set

[Cartman!]

Dat google niks oplevert geloof ik niks van. De foutmelding zegt het al een beetje, je MySQL server is down of je instellingen in spotweb kloppen niet.

[ Voor 34% gewijzigd door Cartman! op 12-04-2014 21:13 ]

[marc08]

Cartman! schreef op zaterdag 12 april 2014 @ 21:13:
Dat google niks oplevert geloof ik niks van. De foutmelding zegt het al een beetje, je MySQL server is down of je instellingen in spotweb kloppen niet.

laat ik het anders zeggen, ik ben niet bekend met de foutmelding en wat google mij verteld ook niet.

Ik weet niet eens wat een mysql server is.

[MikeOO]

marc08 schreef op zaterdag 12 april 2014 @ 21:18:
[...]


laat ik het anders zeggen, ik ben niet bekend met de foutmelding en wat google mij verteld ook niet.

Ik weet niet eens wat een mysql server is.

Als je niet bekend bent met SQL dan zul je je daar in moeten verdiepen. Op Tweakers verwachten we dat je zelf ook actief bezig bent met het zoeken naar oplossingen.

Tevens ontbreekt er in je topic enige uitleg waar je dit allemaal op draait, Windows / Linux of een NAS. Probeer altijd zoveel mogelijk informatie te geven aangezien wij niet kunnen raden wat je gebruikt.

SQL is een databaseprogramma. Hierin slaat spotweb zijn gegevens op die met een Retrieve worden binnengehaald. Spotweb maakt een verbinding met SQL als je Spotweb opent of een post opent. Dit lukt dus niet altijd bij jouw en dan krijg je deze foutmelding.

Nu is het zoeken waardoor dit komt en daar zul je dus via Google de mogelijk oplossing moeten vinden. Er is geen pasklare oplossing voor en de oorzaak kan door diverse dingen gebeuren.

Mogelijk dat je hiermee weer een stukje verder komt en zul je ook direct lezen dat deze fout diverse oorzaken kan hebben.
http://anthologyoi.com/ca...rver-through-socketerror/

[ Voor 18% gewijzigd door MikeOO op 13-04-2014 07:47 ]

[Njay]

Een tip voor de synology gebruikers die spotweb als newznab willen gebruiken in sickbeard

edit de init.pyc file en zet de socket time out naar 300

dit lost het op.

let wel op na een update moet je altijd handmatig de timeout verhogen