SpotWeb - Webbased Spotnet

[Postmen]

quote:

Postmen schreef op donderdag 20 oktober 2011 @ 12:13:
[...]


Dank je voor je snelle antwoord! Echter:

Ik had als laatste regel in de ownsettings het volgende:
code:

);
LEGE REGEL
LEGE REGEL

De extra witregels heb ik weggehaald, dit hielp niet. Daarna de ?> toegevoegd, ook dit helpt niet. Nog een suggestie?

Probleem is opgelost na een nieuwe git pull!

[raven22]

Is het mogelijk een plugin van Spotweb te maken voor Openmediavault (het 'nieuwe freenas' gebaseerd op debian).

[bassiexp]

Je kan hem ook zelf er naast installeren met de install guide van ubuntu.

Ik denk alleen dat je even de poort van de OMV WebGUI moet veranderen.
Maar misschien kan je ook wel naar /spotweb toe

[Royz]

Hebben jullie enig idee waar ik dit moet zoeken? Als ik een spot wil rapporteren als spam, of als ik doe spot uploaden, dan krijg ik de melding notloggedin;

ik ben uiteraard wel ingelogd, als admin. Mis ik ergens een autorisatie misschien?

En bij hoeveel rapporteringen verdwijnt een spot uit spotweb? of doe ik nu een aanname?

Royz wijzigde deze reactie 22-10-2011 00:15 (17%)

[CH4OS]

quote:

raven22 schreef op vrijdag 21 oktober 2011 @ 19:35:
Is het mogelijk een plugin van Spotweb te maken voor Openmediavault (het 'nieuwe freenas' gebaseerd op debian).

Als Openmediavault een API beschikbaar stelt, moet dat niet al te moeilijk zijn lijkt me. Ik mis alleen het voordeel hiervan (ik ken Openmedivavault dan ook niet). En niets of niemand staan jou in de weg om zelf iets te gaan maken natuurlijk.

[raven22]

quote:

CptChaos schreef op zaterdag 22 oktober 2011 @ 11:00:
[...]
Als Openmediavault een API beschikbaar stelt, moet dat niet al te moeilijk zijn lijkt me. Ik mis alleen het voordeel hiervan (ik ken Openmedivavault dan ook niet). En niets of niemand staan jou in de weg om zelf iets te gaan maken natuurlijk.

Openmediavault is een compleet operating system om een nas te beheren. Het is juist ontworpen met de mogelijkheid van plugins. Helaas ben ik qua linux slechts een gebruiker en heb slechts beperkte kennis ervan.
Ik weet niet hoe lastig het is een plugin te maken. www.openmediavault.org

En een link naar het forum mbt de plugins: https://sourceforge.net/a...2252a073a9c992ab4c681da27

raven22 wijzigde deze reactie 22-10-2011 12:29 (11%)

[Caveman]

Ik heb wat problemen met de filters, de wiki klopt niet meer want alles staat kennelijk in de db. Nu ben ik wel aan het knoeien geweest op de pagina "voorkeuren wijzigen" maare dat wil niet helemaal lukken. bv xml van de filters gedownload bewerkt en weer geupload, maar dan krijg ik een berg fout meldingen.

Ik heb de subcats onder boeken verwijderd, maar die wil ik weer terug hebben. Toe nu toe met weinig succes. De knop herstel naar herstel naar standaard waarden werkt niet goed. Kan iemand me even in de goede richting wijzen.

Ik moet wel zeggen dat er puik werk is geleverd, ik had al maanden niet meer geupdate, in de mijn oude versie had ik een db van 80 MB, geen comments ect. (anders ging wat stroperig worden) Ik heb nu een maar eens een full db gemaakt van ~1,2 Gieg op mijn eenvoudige synology en hij draait nog als een zonnetje

Caveman wijzigde deze reactie 22-10-2011 13:40 (22%)

[Mr_Blobby]

Na een update en upgrade van de database kan ik een heleboel posts van de afgelopen weken niet meer zien.
Als ik op "Reset filters" klik, blijkt hier het gat te zitten:


Dus ongeveer 3 weken aan posts kan ik niet meer zien.

Mr_Blobby wijzigde deze reactie 22-10-2011 13:54 (12%)

[vanaalten]

quote:

Caveman schreef op zaterdag 22 oktober 2011 @ 12:52:
Ik moet wel zeggen dat er puik werk is geleverd, ik had al maanden niet meer geupdate, in de mijn oude versie had ik een db van 80 MB, geen comments ect. (anders ging wat stroperig worden) Ik heb nu een maar eens een full db gemaakt van ~1,2 Gieg op mijn eenvoudige synology en hij draait nog als een zonnetje

Kan ik bevestigen, ben vorige week overgegaan op een full-DB en merk geen verschil in performance

[Webjunkie]

net gepulled en de upgrade-db is nu al zo'n 10 minuten bezig (op een i3 met ssd) en ik vraag me af wat er gebeurt als retrieve.php nu gaat draaien.
kan je dan je db weggooien of draait retrieve.php niet als er een upgrade bezig is?

edit: hmm..
na de pull zijn de comments niet meer zichtbaar.
tenminste, bij sommige dan.
bij SUPER 8 (2011) 1080P X264 NL SUBBED - bradje horen 18 comments te staan, maar spotweb laat niets zien.

heeft zich automagisch opgelost

@mr_blobby
bij mij zit dat gat er niet.

Webjunkie wijzigde deze reactie 22-10-2011 19:39 (38%)

[hhoekstra]

Spotweb is dit weekend weer lekker bezig

Net even het post van spots getest en werkt best mooi.

+ Quick menu eigen spots
+ Blacklist users

Nice

[punisher.nl]

Ik ben met leafnode aan het stoeien, hij is geinstallerd en dat lijkt te werken maar in spotweb komen geen spots binnen. Heeft er iemand een howto voor leafnode in combinatie met spotweb of kan mij vertellen wat de ontbrelkende sleutel is? Heb de filters van Nightspirit ook gebruikt voor leafnode.

[Nightspirit]

quote:

punisher.nl schreef op zondag 23 oktober 2011 @ 01:16:
Ik ben met leafnode aan het stoeien, hij is geinstallerd en dat lijkt te werken maar in spotweb komen geen spots binnen. Heeft er iemand een howto voor leafnode in combinatie met spotweb of kan mij vertellen wat de ontbrelkende sleutel is? Heb de filters van Nightspirit ook gebruikt voor leafnode.

Al leafnode bezig is met retrieven zie je nog niets terug. De eerste keer kan dat wel even duren

[punisher.nl]

Ben er al sinds gisteren mee bezig en een hele nacht gedraaid maar geen success, heb leafnode op 5 dagen gezet om het te testen. Er komen wel comment binnen maar geen headers.


Retrieving new Spots from server 127.0.0.1...
Spots in database: 0
Appr. Message count: 0
First message number: 2
Last message number: 2
Current message: 2

Processed a total of 0 spots
Finished retrieving spots.

Retrieving new comments from server 127.0.0.1...
Looking for articlenumber for messageid
Appr. Message count: 117
First message number: 3
Last message number: 120
Current message: 120

Processed a total of 0 comments
Finished retrieving comments.

Retrieving new reports from server 127.0.0.1...
Looking for articlenumber for messageid
Appr. Message count: 95
First message number: 3
Last message number: 98
Current message: 98

Processed a total of 0 reports
Finished retrieving reports.

[witteveder]

ik heb teruglezend in dit topic voorbij zien komen hoe de mobile interface uit te zetten voor de ipad, maar ik heb geen idee hoe dit uit te voeren en krijg het dus niet voor elkaar... Misschien wil iemand dit nog eens in super makkelijke instructies vertellen?

[Nightspirit]

quote:

witteveder schreef op zondag 23 oktober 2011 @ 07:56:
ik heb teruglezend in dit topic voorbij zien komen hoe de mobile interface uit te zetten voor de ipad, maar ik heb geen idee hoe dit uit te voeren en krijg het dus niet voor elkaar... Misschien wil iemand dit nog eens in super makkelijke instructies vertellen?

PHP:

$settings['templates']['autodetect'] = false;

https://github.com/spotwe...ipad-aan-of-uit-te-zetten

[witteveder]

quote:

Nightspirit schreef op zondag 23 oktober 2011 @ 08:18:
[...]
PHP:

$settings['templates']['autodetect'] = false;

https://github.com/spotwe...ipad-aan-of-uit-te-zetten

bedankt, daarmee zou het moeten lukken.

[Webjunkie]

zijn er meer mensen die deze errors krijgen bij sickbeard?

2011-10-22 10:19:48.516000 SEARCHQUEUE-RSS-SEARCH :: Error trying to load Spotweb RSS feed: undefined entity: line 910, column 36

2011-10-22 07:19:35.935000 SEARCHQUEUE-RSS-SEARCH :: Error trying to load Spotweb RSS feed: undefined entity: line 592, column 36

[Nightspirit]

quote:

Webjunkie schreef op zondag 23 oktober 2011 @ 09:09:
zijn er meer mensen die deze errors krijgen bij sickbeard?

2011-10-22 10:19:48.516000 SEARCHQUEUE-RSS-SEARCH :: Error trying to load Spotweb RSS feed: undefined entity: line 910, column 36

2011-10-22 07:19:35.935000 SEARCHQUEUE-RSS-SEARCH :: Error trying to load Spotweb RSS feed: undefined entity: line 592, column 36

Nee, nergens last van

[Webjunkie]

aha, maar even wachten tot spotweb wakker wordt dan

[Polyphemus]

Ik heb net een git pull gedaan, maar bij het draaien van retrieve.php gaat het erg mis hier (upgrade-dp.php heb ik ook al gedraaid):
code:

Retrieving 2366378 till 2367376 (parsed 541 headers, 533 full, verified 0, moderated 0, skipped 0 of 842 total messages)
PHP Notice:  Undefined index: filesize in /var/www/spotweb/lib/SpotDb.php on line 1258
PHP Notice:  Undefined index: poster in /var/www/spotweb/lib/SpotDb.php on line 1264
PHP Notice:  Undefined index: tag in /var/www/spotweb/lib/SpotDb.php on line 1266
PHP Notice:  Undefined index: subcata in /var/www/spotweb/lib/SpotDb.php on line 1267
PHP Notice:  Undefined index: subcatb in /var/www/spotweb/lib/SpotDb.php on line 1268
PHP Notice:  Undefined index: subcatc in /var/www/spotweb/lib/SpotDb.php on line 1269
PHP Notice:  Undefined index: subcatd in /var/www/spotweb/lib/SpotDb.php on line 1270
PHP Notice:  Undefined index: messageid in /var/www/spotweb/lib/SpotDb.php on line 1274
PHP Notice:  Undefined index: category in /var/www/spotweb/lib/SpotDb.php on line 1278
PHP Notice:  Undefined index: subcatz in /var/www/spotweb/lib/SpotDb.php on line 1283
PHP Notice:  Undefined index: stamp in /var/www/spotweb/lib/SpotDb.php on line 1284
PHP Notice:  Undefined index: stamp in /var/www/spotweb/lib/SpotDb.php on line 1285


Fatal error occured retrieving messages:
  Error executing query: Duplicate entry '' for key 'idx_spots_1'


#0 /var/www/spotweb/lib/dbeng/dbeng_abs.php(88): dbeng_mysql->rawExec('INSERT INTO spo...')
#1 /var/www/spotweb/lib/dbeng/dbeng_mysql.php(115): dbeng_abs->exec('INSERT INTO spo...', Array)
#2 /var/www/spotweb/lib/SpotDb.php(1286): dbeng_mysql->modify('INSERT INTO spo...', Array)
#3 /var/www/spotweb/lib/retriever/SpotRetriever_Spots.php(248): SpotDb->addSpots(Array, Array)
#4 /var/www/spotweb/lib/retriever/SpotRetriever_Abs.php(123): SpotRetriever_Spots->process(Array, '2366378', 2367376)
#5 /var/www/spotweb/retrieve.php(106): SpotRetriever_Abs->loopTillEnd('2366378', 1000)
#6 {main}

[Rowdy.nl]

Ook een probleem hier, bij mij loopt ie vast op id '1719114', maar dan in de tabel nntp...

Als ik ga spieken in de MySQL database in de tabel nntp heb ik daar drie records; 'comments', 'news.lightningusenet.com' en 'reports'. Bij de eerste twee staat 1719114 als 'maxarticleid'...?

Van de indexen op die tabel zijn 1 en 2 gelijk (unique column server) en de 3e is een unique index op maxarticle id. heb 2 en 3 weggemikt; hij hobbeld nu zo te zien netjes door...

Tevens een issue aangemaakt op GitHub...

Rowdy.nl wijzigde deze reactie 23-10-2011 11:06 (134%)

[punisher.nl]

quote:

punisher.nl schreef op zondag 23 oktober 2011 @ 01:27:
Ben er al sinds gisteren mee bezig en een hele nacht gedraaid maar geen success, heb leafnode op 5 dagen gezet om het te testen. Er komen wel comment binnen maar geen headers.

Heb hem aan de praat, de free.pt nieuwsgroep werdt niet aangemaakt, heb deze handmating aangemaakt en de database is aan het vullen.

[gerbenp]

Ik draai op de commit g570eaf1 op dit moment, maar als ik inlog als admin krijg ik helemaal niks te zien, alleen de balk waarin je kan zoeken, spots kan toevoegen en de gebruiker die ingelogd is, ik kan er op klikken. Maar voor de rest kan ik geen spots openen. Iemand ook hier last van? Ik draai op Google Chrome, ik heb dit probleem ook met Firefox 7 en Internet Explorer 9. Wat valt hier aan te doen? Op nieuwste pulls heb ik dit ook gehad. Hij werkt een tijdje, daarna niet meer. Adblock heb ik zelfs geprobeerd uit te schakelen, en hielp niet.

[hhoekstra]

PHP:

<?php


$host = 'localhost';//meestal localhost 
$user = '*****'; // Gebruiker van mysql DB
$ww = '***'; // het wachtwoord van de mysql DB
$db = 'spotweb'; // Database 


mysql_connect($host, $user, $ww) or die("Connectie met Database mislukt");
mysql_select_db($db) or die("Fout bij het selecteren van de database");




$bestand = file_get_contents("http://www.magikhulp.nl/blacklist_spot/blacklist.txt");
$exp = explode("\n", $bestand);





foreach($exp as $blacklist){


$sql = mysql_query("SELECT userid FROM spotteridblacklist WHERE userid = '".$blacklist."'") or die(mysql_error());
$num = mysql_num_rows($sql);

if(empty($num)){

    mysql_query("INSERT INTO spotteridblacklist (userid, ouruserid, origin) VALUES ('".$blacklist."', '-1', 'Geimporteerd door blacklistscript !!')");
    echo "Userid: ".$blacklist." toegevoegd.<br>";

}
else{

echo "Userid: ".$blacklist." staat al op de blacklist.<br>";

}


}




?>

Net even een simpel scriptje gemaakt die de blacklist importeert van haatmij.nl

[LeechGuy]

@gerbenp

Gebruik je toevallig sabnzbd of nzbget en draait deze op dit moment niet? Van sabnzbd weet ik het niet zeker, maar het gedrag wat je beschrijft komt overeen met wat ik zie als bij mij nzbget niet draait. Moet ik nog is een keer fixen

[vanaalten]

quote:

hhoekstra schreef op zaterdag 22 oktober 2011 @ 23:17:
Spotweb is dit weekend weer lekker bezig

Net even het post van spots getest en werkt best mooi.

+ Quick menu eigen spots
+ Blacklist users

Is dat blacklisten op username, of user-ID?

[hhoekstra]

quote:

vanaalten schreef op zondag 23 oktober 2011 @ 19:08:
[...]

Is dat blacklisten op username, of user-ID?

ID

[gerbenp]

quote:

LeechGuy schreef op zondag 23 oktober 2011 @ 18:44:
@gerbenp

Gebruik je toevallig sabnzbd of nzbget en draait deze op dit moment niet? Van sabnzbd weet ik het niet zeker, maar het gedrag wat je beschrijft komt overeen met wat ik zie als bij mij nzbget niet draait. Moet ik nog is een keer fixen

Ik gebruik nzbget inderdaad, maar hij draait gewoon. Dan doet 'ie dit nog steeds. Ik zit wel op 0.8.0, kan het mee te maken hebben?
EDIT: Na een restart is het weer zichtbaar inderdaad, vreemd is het wel.

gerbenp wijzigde deze reactie 23-10-2011 19:34 (9%)

[Garreth]

Retrieven comments
Ik ben bezig de spotweb database opnieuw op te bouwen. Het retrieven van de posts ging redelijk snel, in ca. 45 minuten (geen full spots). Het retrieven van de comments gaat echter erg langzaam. Ik heb uitgerekend dat het ca.36 uur duurt voor ik ze allemaal binnen heb.
Weet iemand of het mogelijk is alleen de comments van b.v. de laatst week op te halen? Of een mogelijkheid om het retrieven te versnellen?

[hhoekstra]

In de tabel NNTP het volgende neer zetten. Haalt hij alleen de nieuwe comments op (denk ik). De oude comments gaat hij dan niet meer ophalen.

[Xaero]

quote:

hhoekstra schreef op zondag 23 oktober 2011 @ 20:23:
In de tabel NNTP het volgende neer zetten. Haalt hij alleen de nieuwe comments op (denk ik). De oude comments gaat hij dan niet meer ophalen.

[afbeelding]

Werkt volgens mij niet. Hij kijkt alsnog in de database wat de laatste is. En op de server. Als hij er alsnog veel mist, retrieved ie alsnog vanaf het laatste wat in de database staat.

Correct me if i'm wrong.

[hhoekstra]

quote:

Xaero schreef op zondag 23 oktober 2011 @ 20:30:
[...]


Werkt volgens mij niet. Hij kijkt alsnog in de database wat de laatste is. En op de server. Als hij er alsnog veel mist, retrieved ie alsnog vanaf het laatste wat in de database staat.

Correct me if i'm wrong.

Zou goed kunnen

Hij kan natuurlijk ook vragen of iemand de command DB even inpakt en hem op usenet gooit

[Xaero]

quote:

mysqldump -u username -p database tabellen | gzip > outputfile.sql.gz

Hiermee maak je een dump van je spotweb database. En daarna gzipt ie hem ook nog is even. Scheelt hier zo'n 800mb .
Dus bijvoorbeeld:
mysqldump -u root -p spotweb commentsfull commentsxover reportsxover spots spotsfull | gzip > outputfile.sql.gz

maakt een dump van commentsfull, commentxover, reportsxover, spots en spotsfull in de database 'spotweb' en logt in met gebruikersnaam root

Xaero wijzigde deze reactie 24-10-2011 09:32 (22%)

[MikeOO]

quote:

Mr_Blobby schreef op zaterdag 22 oktober 2011 @ 13:52:
Na een update en upgrade van de database kan ik een heleboel posts van de afgelopen weken niet meer zien.
Als ik op "Reset filters" klik, blijkt hier het gat te zitten:

[afbeelding]
Dus ongeveer 3 weken aan posts kan ik niet meer zien.

Ik heb hier ook last van. Vorige week al een keer gehad maar loste zichzelf op.
Nu log ik net weer in en zie ik weer alleen maar spots van 3 weken en ouder terwijl gisteren alles nog actueel was.

Handmatig updaten werkt ook niet lekker. Hij is direct klaar en er komt niets bij.
Ik heb de Synology opnieuw opgestart. Nog steeds de oude spots
Daarna nogmaals op update geklikt en nu ging hij weer aan de slag en is hij wel weer goed.

Vreemd waarom dit gebeurt. Ik had net wel weer een Git Pull gedaan.

MikeOO wijzigde deze reactie 24-10-2011 08:02 (20%)

[witteveder]

Ik doe nu effe een update, maar het probleem van het missen van 2-3 weken aan nieuwste spots, had ik ook een paar keer gehad. Bij mij lostte ik dat op door in spotweb op update te klikken, daarna zag ik alles weer.

[Maranello]

quote:

witteveder schreef op maandag 24 oktober 2011 @ 08:08:
Ik doe nu effe een update, maar het probleem van het missen van 2-3 weken aan nieuwste spots, had ik ook een paar keer gehad. Bij mij lostte ik dat op door in spotweb op update te klikken, daarna zag ik alles weer.

Dat duid erop dat ze wel aanwezig zijn in de database maar dat ze niet zichtbaar zijn in Spotweb. Als ik het goed heb haalt de update/retrieve enkel de berichten op met een id hoger dan die van je laatste update, dus dat gat laat die altijd open als ze er echt niet zouden zijn. Waarschijnlijk een weergave bug.

Maranello wijzigde deze reactie 24-10-2011 10:09 (6%)

[Nightspirit]

quote:

Maranello schreef op maandag 24 oktober 2011 @ 10:05:
[...]
Dat duid erop dat ze wel aanwezig zijn in de database maar dat ze niet zichtbaar zijn in Spotweb. Als ik het goed heb haalt de update/retrieve enkel de berichten op met een id hoger dan die van je laatste update, dus dat gat laat die altijd open als ze er echt niet zouden zijn. Waarschijnlijk een weergave bug.

Dat duidt juist niet op een weergave-bug..? Ophalen (=retrieve.php) vult de database aan!

[Maranello]

quote:

Nightspirit schreef op maandag 24 oktober 2011 @ 10:13:
[...]

Dat duidt juist niet op een weergave-bug..? Ophalen (=retrieve.php) vult de database aan!

Ik bedoelde eigenlijk de berichten hierboven die het hebben over een "gat", witteveder heeft het volgens mij alleen over de laatste spots dan vult die inderdaad aan. In dat eerste geval is het toch zo dat Spotweb de spots in het gat niet vult bij een update, omdat die altijd vanaf de laatst opgehaalde spotid werkt?

[Joao]

Windows Spotweb Panel:

V0.2


Werkt samen met git portable/mysql/php.exe
Github portable is mee gepakt.

Link

settings.dat moet aangepast worden.

[witteveder]

quote:

Maranello schreef op maandag 24 oktober 2011 @ 10:36:
[...]
Ik bedoelde eigenlijk de berichten hierboven die het hebben over een "gat", witteveder heeft het volgens mij alleen over de laatste spots dan vult die inderdaad aan. In dat eerste geval is het toch zo dat Spotweb de spots in het gat niet vult bij een update, omdat die altijd vanaf de laatst opgehaalde spotid werkt?

Ik vermoed ook een weergave bug aangezien ik met crontab een paar keer per dag retrieve draai. Ik heb nu 2 (3?) keer gehad dat ik de laatste weken niet meer zag (dus de meest recente post was dan van 11-12 dagen oud). Klikte ik dan even op update in spotweb, dan zag ik de nieuwere dingen ook weer.

Voor de duidelijkheid, de posts tot 11-12 dagen oud zaten er eerder wel in, want ik kijk paar keer per week even in spotweb en check dan de laatste posts even.

[woest85]

quote:

Nightspirit schreef op maandag 24 oktober 2011 @ 10:13:
[...]

Dat duidt juist niet op een weergave-bug..? Ophalen (=retrieve.php) vult de database aan!

Mwah, er zit wel ergens een bugje lijkt me. Ik zie op mijn desktop namelijk wel alle spots t/m vandaag, echter op mijn laptop is de nieuwste spot van 30-09.

//edit
Ik kom er niet uit hoe dit probleem veroorzaakt wordt. Ik log op beide machine's met de gebruiker admin in, heb ook browser-cache's leeggegooid. Ik test nog ff verder. ( na het updaten na de laatste versie, db-upgrade loopt nog)

woest85 wijzigde deze reactie 24-10-2011 19:30 (24%)

[ceekee]

Sinds de laatste updates krijg ik de volgende error tijdens het retrieven van comments:
code:

Retrieving new Spots from server reader.xsnews.nl...
Spots in database:      233150
Looking for articlenumber for messageid
Searching from 454246 to 459247
Appr. Message count:    459247
First message number:   0
Last message number:    459247
Current message:        459246

Retrieving 459246 till 459248 (parsed 1 headers, 0 full, verified 1, moderated 0, skipped 0 of 2 total messages)
Processed a total of 2 spots
Finished retrieving spots.

Retrieving new comments from server reader.xsnews.nl...
Looking for articlenumber for messageid
Searching from 2805780 to 2810781
Searching from 2800780 to 2805781
Searching from 2795780 to 2800781
Searching from 2790780 to 2795781
Searching from 2785780 to 2790781
Searching from 2780780 to 2785781
Searching from 2775780 to 2780781
Searching from 2770780 to 2775781
Appr. Message count:    2810781
First message number:   0
Last message number:    2810781
Current message:        2774632

Retrieving 2774632 till 2775633, found 1001 comments


SpotWeb v0.44.9.20 crashed

Fatal error occured while connecting to the newsserver:
  (400) Unexpected response: 'reader.xsnews.nl: Idle timeout.' [response: "reader.xsnews.nl: Idle timeout."]


Updating retrieve status in the database

Finished retrieving comments.

Iemand een idee?

[Nightspirit]

quote:

ceekee schreef op dinsdag 25 oktober 2011 @ 12:07:
Sinds de laatste updates krijg ik de volgende error tijdens het retrieven van comments:
code:

Retrieving new Spots from server reader.xsnews.nl...
Spots in database:      233150
Looking for articlenumber for messageid
Searching from 454246 to 459247
Appr. Message count:    459247
First message number:   0
Last message number:    459247
Current message:        459246

Retrieving 459246 till 459248 (parsed 1 headers, 0 full, verified 1, moderated 0, skipped 0 of 2 total messages)
Processed a total of 2 spots
Finished retrieving spots.

Retrieving new comments from server reader.xsnews.nl...
Looking for articlenumber for messageid
Searching from 2805780 to 2810781
Searching from 2800780 to 2805781
Searching from 2795780 to 2800781
Searching from 2790780 to 2795781
Searching from 2785780 to 2790781
Searching from 2780780 to 2785781
Searching from 2775780 to 2780781
Searching from 2770780 to 2775781
Appr. Message count:    2810781
First message number:   0
Last message number:    2810781
Current message:        2774632

Retrieving 2774632 till 2775633, found 1001 comments


SpotWeb v0.44.9.20 crashed

Fatal error occured while connecting to the newsserver:
  (400) Unexpected response: 'reader.xsnews.nl: Idle timeout.' [response: "reader.xsnews.nl: Idle timeout."]


Updating retrieve status in the database

Finished retrieving comments.

Iemand een idee?

"reader.xsnews.nl: Idle timeout." lijkt me toch een duidelijke melding..?

[ceekee]

Ja, dat wel.

Maar ophalen van de headers gaat goed alleen de comments worden niet geupdate

[Nightspirit]

Het is dan ook een zeldzaamheid dat je 1000+ spots in 1 batch ophaalt, waar dat bij comments nog weleens wil voorkomen.
PHP:

#
# Hoeveel verschillende headers (van danwel spots, reports danwel comments) moeten er per keer opgehaald worden? 
# Als je regelmatig timeouts krijgt van retrieve.php, vrelaag dan dit aantal
#
$settings['retrieve_increment'] = 1000;

[elevator]

Overigens is het wel heel raar dat dat zo langzaam is, comments ophalen is bij mij juist het snelste wat retrieve.php doet

[Polyphemus]

quote:

elevator schreef op dinsdag 25 oktober 2011 @ 12:34:
Overigens is het wel heel raar dat dat zo langzaam is, comments ophalen is bij mij juist het snelste wat retrieve.php doet

Hier doet retrieve.php 1,5 minuten over 1000 comments

[Senaxx]

Wie kan mij helpen aan de query om de pr0n in de database volledig te verwijderen. Volgens berichten in dit topic moet alle pr0n tegenwoordig in subcatz z4 zitten, maar ik heb wel degelijk pr0n in andere categorieen zitten.
code:

SELECT title FROM spots
WHERE category = '0' and subcatz = 'z3|';

dit levert mij maar 10 records op, maar er zit toch wel degelijk meer in de db.


De query op de wiki is volgensmij niet meer up to date (verwijderd bij mij althans geen records) Ik maak alleen gebruik van de spots tabel (en haal geen fullspots en / of comments op). Wie o wie kan me aan de juiste query helpen?

Senaxx wijzigde deze reactie 25-10-2011 14:18 (16%)

[Nightspirit]

quote:

Senaxx schreef op dinsdag 25 oktober 2011 @ 14:16:
Wie kan mij helpen aan de query om de pr0n in de database volledig te verwijderen. Volgens berichten in dit topic moet alle pr0n tegenwoordig in subcatz z4 zitten, maar ik heb wel degelijk pr0n in andere categorieen zitten.
code:

SELECT title FROM spots
WHERE category = '0' and subcatz = 'z3|';

dit levert mij maar 10 records op, maar er zit toch wel degelijk meer in de db.


De query op de wiki is volgensmij niet meer up to date (verwijderd bij mij althans geen records) Ik maak alleen gebruik van de spots tabel (en haal geen fullspots en / of comments op). Wie o wie kan me aan de juiste query helpen?

Pr0n is z3
Wiki klopt volgens mij nog wel, maar als jij in die query z3 in z4 hebt omgezet wordt er niets verwijderd nee

[Senaxx]

quote:

Nightspirit schreef op dinsdag 25 oktober 2011 @ 14:21:
[...]

Pr0n is z3
Wiki klopt volgens mij nog wel, maar als jij in die query z3 in z4 hebt omgezet wordt er niets verwijderd nee

Jij als code submitter weet het beter als ik ik dacht ergens in een comment gelezen te hebben dat het in z4 omgezet was. Maar anyway als ik

http://url.com/spotweb/?page=index&search[tree]=cat0_z3

uitvoer kom ik nu nog maar 8 records tegen.. deze zijn van een gebruiker genaamt "user" in de HDDVD categorie. Blijkbaar is die query dus in een eerder stadium al wel eens een x goed gegaan en zit er verder geen pr0n meer in de database?

[Nightspirit]

Klinkt aannemelijk (aangezien op mijn spotweb diezelfde query een partij natte rommel geeft waar je U tegen zegt )

[Senaxx]

quote:

Nightspirit schreef op dinsdag 25 oktober 2011 @ 14:30:
Klinkt aannemelijk (aangezien op mijn spotweb diezelfde query een partij natte rommel geeft waar je U tegen zegt )

Ik had even een retrieve gedaan, en er was weer wat nieuwe pr0n bij gekomen. Via phpmyadmin eventjes de volgende query gedraaid:
code:

DELETE FROM spots
WHERE category = '0' and subcatz = 'z3|'

PhpMyAdmin zegt:
0 rij(en) verwijderd. ( Query duurde 4.0406 sec )
DELETE FROM spots WHERE category = '0' AND subcatz = 'z3|'

Vervolgens ga ik weer naar
http://url.com/spotweb/?page=index&search[tree]=cat0_z3

en nu verschijnt er geen pr0n meer.. dus ik denk dat ik daar de fout ben in gegaan. Ondankt dat PHPMyAdmin zegt dat er geen rijen verwijderd zijn, zijn ze stiekum dus toch wel weg

[elevator]

quote:

Polyphemus schreef op dinsdag 25 oktober 2011 @ 12:52:
Hier doet retrieve.php 1,5 minuten over 1000 comments

Klinkt eigenlijk alsof je ergens met je MySQL ofzo een serieus probleem hebt, kijk anders eens of je daar iets ziet?

[Polyphemus]

Ik heb 'gewoon' een standaard LAMP install van Ubuntu 11.10 server x64 gedaan. MySQL draait zoals standaard out-of-the-box...

[slommer]

iemand enig idee wat dit probleem veroorzaakt?
draai retrieve via crontab op centos en aantal keer per dag krijg ik in de mail de volgende errors meerdere keren:
PHP Notice: Undefined offset: 9 in /var/www/html/spotweb/lib/SpotSigning.php on line 144
PHP Notice: Undefined offset: 7 in /var/www/html/spotweb/NNTP/Client.php on line 1004

En vervolgens zie ik als laatste spot die van 3 weken terug. had probleem al eerder meer leek opgelost.
als crontab nog aantal keer laat draaien (wisselt per keer) dan komt er moment dat hij de rest van die 3 weken weer ophaalt.

tips zou mooi zijn of gewoon ff db legen en opnieuw beginnen?

[bassiexp]

quote:

Polyphemus schreef op dinsdag 25 oktober 2011 @ 12:52:
[...]

Hier doet retrieve.php 1,5 minuten over 1000 comments

Probeer eens uit te voeren wat Nightspirit al zei: Nightspirit in "SpotWeb - Webbased Spotnet". en dan de recieve increment op 500 zetten of iets dergelijks

Heb net bij mij geklokt en mijn asus 1000h doet over 70 spots, 1019 comments en 40 reports: 2 Minuten en 26 Seconden.

Ik denk dat dat jouw usenet provider de time-out lager heeft staan.

Op mijn virtuele testbak komt het in een paar tellen binnen

bassiexp wijzigde deze reactie 25-10-2011 21:19 (14%)
Reden: Iets aardiger:-)

[Polyphemus]

quote:

bassiexp schreef op dinsdag 25 oktober 2011 @ 21:15:
[...]


Probeer eens uit te voeren wat Nightspirit al zei: Nightspirit in "SpotWeb - Webbased Spotnet". en dan de recieve increment op 500 zetten of iets dergelijks

Heb net bij mij geklokt en mijn asus 1000h doet over 70 spots, 1019 comments en 40 reports: 2 Minuten en 26 Seconden.

Ik denk dat dat jouw usenet provider de time-out lager heeft staan.

Op mijn virtuele testbak komt het in een paar tellen binnen

Dank voor de tip, ik ga ermee experimenteren

[ceekee]

quote:

Nightspirit schreef op dinsdag 25 oktober 2011 @ 12:19:
Het is dan ook een zeldzaamheid dat je 1000+ spots in 1 batch ophaalt, waar dat bij comments nog weleens wil voorkomen.
PHP:

#
# Hoeveel verschillende headers (van danwel spots, reports danwel comments) moeten er per keer opgehaald worden? 
# Als je regelmatig timeouts krijgt van retrieve.php, vrelaag dan dit aantal
#
$settings['retrieve_increment'] = 1000;

Ik heb de increment op 250 gezet en nu lopen de comments goed binnen. Bedankt voor de tip.


Ik heb nu wel de volgende foutmelding:
code:

Retrieving 459566 till 459622
Notice: Undefined variable: dbidList in /share/MD0_DATA/.qpkg/SpotWeb/spotweb/lib/retriever/SpotRetriever_Spots.php on line 98
 (parsed 55 headers, 0 full, verified 51, moderated 4, skipped 0 of 56 total messages)
Processed a total of 56 spots
Finished retrieving spots.

Deze zal wel opgelost zijn bij de volgende git pull

[Nightspirit]

quote:

ceekee schreef op woensdag 26 oktober 2011 @ 09:49:
Deze zal wel opgelost zijn bij de volgende git pull

Ja, ik heb de fix al klaargezet

[gdl]

Ik gebruik al een tijdje tot volle tevredenheid Spotweb geinstalleerd op een SUSE Linux machine waarop ook sabnzbd draait.

Het enige "probleem" wat ik heb is dat als ik een nzb file naar sabnzbd stuur en sabnzbd al bezig is met een andere download, de nieuwe nzb niet in de queue wordt gezet. Iemand enig idee hoe dit komt?

[Nightspirit]

Je lijntjes zijn al in gebruik en daardoor kan de nzb niet van de newsserver gehaald worden. Tip: lees volgende keer eerst het topic door voor je een vraag stelt of gebruik de zoekfunctie. Tip 2: verlaag het aantal lijntjes in sab met 1.

[Garreth]

De laatste tijd merk ik dat afbeeldingen bij spots vaak niet worden geladen. Er blijft dan staan "loading image".

Als ik de url van de afbeelding in de browser plak verschijnt de volgende afkeuring:
Fatal error: Call to undefined function curl_init() in C:\xampp\htdocs\Spotweb\lib\SpotsOverview.php on line 209.

Dit is niet bij alle spots het geval. Bij ca. 1/3 deel van de spots wordt de afbeelding wel gewoon geladen.

Weet iemand of ik wellicht ergens een instelling moet aanpassen?

[elevator]

quote:

Garreth schreef op woensdag 26 oktober 2011 @ 21:25:
De laatste tijd merk ik dat afbeeldingen bij spots vaak niet worden geladen. Er blijft dan staan "loading image".

Als ik de url van de afbeelding in de browser plak verschijnt de volgende afkeuring:
Fatal error: Call to undefined function curl_init() in C:\xampp\htdocs\Spotweb\lib\SpotsOverview.php on line 209

Geeft jouw 'testinstall.php' alles op OK?

[Garreth]

quote:

elevator schreef op woensdag 26 oktober 2011 @ 21:28:
[...]

Geeft jouw 'testinstall.php' alles op OK?

Ja, alles ok, behalve curl

[marcop23]

quote:

Garreth schreef op woensdag 26 oktober 2011 @ 21:25:
De laatste tijd merk ik dat afbeeldingen bij spots vaak niet worden geladen. Er blijft dan staan "loading image".

Als ik de url van de afbeelding in de browser plak verschijnt de volgende afkeuring:
Fatal error: Call to undefined function curl_init() in C:\xampp\htdocs\Spotweb\lib\SpotsOverview.php on line 209.

Dit is niet bij alle spots het geval. Bij ca. 1/3 deel van de spots wordt de afbeelding wel gewoon geladen.

Weet iemand of ik wellicht ergens een instelling moet aanpassen?

Bij een vriend heb ik precies hetzelfde. Het kan heel irritant zijn, aangezien je bij sommige spots gewoon een plaatje wil. Volgens testinstall.php is curl aanwezig, net als volgens phpinfo()

[Garreth]

quote:

Garreth schreef op woensdag 26 oktober 2011 @ 21:34:
[...]


Ja, alles ok, behalve curl

Dat was het dus. Ik heb de curl extentie aangezet in php.ini, en nu laden de plaatjes.
Ik was op het verkeerde been gezet doordat in de info in testinstall bij curl staat: "Notify My Android / Notifo / Prowl / Twitter". Omdat ik notificaties niet gebruik dacht ik curl niet nodig te hebben.
Overigens vreemd dat sommige plaatjes wel werden geladen en andere weer niet.

Bedankt elevator.

Garreth wijzigde deze reactie 26-10-2011 21:47 (7%)

[Garreth]

quote:

marcop23 schreef op woensdag 26 oktober 2011 @ 21:36:
[...]


Bij een vriend heb ik precies hetzelfde. Het kan heel irritant zijn, aangezien je bij sommige spots gewoon een plaatje wil. Volgens testinstall.php is curl aanwezig, net als volgens phpinfo()

Staat bij je vriend in php.ini "allow_url_fopen" op "On"? Als dat niet het geval is laden afbeeldingen ook niet.

[Nightspirit]

quote:

Garreth schreef op woensdag 26 oktober 2011 @ 21:44:
[...]

Dat was het dus. Ik heb de curl extentie aangezet in php.ini, en nu laden de plaatjes.
Ik was op het verkeerde been gezet doordat in de info in testinstall bij curl staat: "Notify My Android / Notifo / Prowl / Twitter". Omdat ik notificaties niet gebruik dacht ik curl niet nodig te hebben.
Overigens vreemd dat sommige plaatjes wel werden geladen en andere weer niet.

Oei! Die info heeft geklopt, maar heb ik daarna onjuist gemaakt. Ik zal die text even wegmaken

Sommige plaatjes komen van je usenet-provider af (geen curl nodig). Andere plaatjes komen van het web af (wel curl nodig). Dat verklaart iig waarom sommige plaatjes het wel deden.

[Xaero]

Oefff. Ben nu comments_full aan het doen. Om toch de meest complete database te hebben . Duurtttt lannnggggg. f

[Nightspirit]

quote:

Xaero schreef op donderdag 27 oktober 2011 @ 21:43:
Oefff. Ben nu comments_full aan het doen. Om toch de meest complete database te hebben . Duurtttt lannnggggg. f

Ja. Eerst had ik de $settings['retrieve_full'] ook op comments toegepast, maar nadat ik een paar uur comments aan het retrieven was geweest heb ik het maar $settings['retrieve_full_comments'] erbij verzonnen Ik vind het prima, maar niet iedereen heeft dat ervoor over natuurlijk

[Xaero]

quote:

Nightspirit schreef op donderdag 27 oktober 2011 @ 21:45:
[...]

Ja. Eerst had ik de $settings['retrieve_full'] ook op comments toegepast, maar nadat ik een paar uur comments aan het retrieven was geweest heb ik het maar $settings['retrieve_full_comments'] erbij verzonnen Ik vind het prima, maar niet iedereen heeft dat ervoor over natuurlijk

zou het sneller zijn als jij jou commentsfull tabel zou exporteren en ik importeren?. Dan alles retrieven via me provider?

[MrOizo2005]

Net een git pull gedaan, maar zie dat retrieve.php een error geeft.
code:

PHP Warning:  file_get_contents(http://jij.haatmij.nl/spotnet/blacklist.txt): failed to open stream: HTTP request failed! HTTP/1.1 403 Forbidden
 in /var/www/spotweb/retrieve.php on line 279
Error, can't update blacklist!

Meer mensen hier last van?

[Xaero]

Kan je de url wel gewoon openen? Kan zijn dat door DNS de nieuwe webserver voor de blacklist nog neit helemaal optimaal werkt..

[MrOizo2005]

quote:

Xaero schreef op vrijdag 28 oktober 2011 @ 09:51:
Kan je de url wel gewoon openen? Kan zijn dat door DNS de nieuwe webserver voor de blacklist nog neit helemaal optimaal werkt..

Thanks denk dat dat het idd is.
Via XS4ALL geeft de ping: 93.190.137.65
en via Ziggo (Spotnet locatie) geeft hij een ander IP: 31.170.163.174

Gaat nu wel lukken, idd DNS probleem.

[Polyphemus]

Ik snap iets niet

Als ik een nzb-tje wil versturen via mijn browser (= een andere pc waar Spotweb en sabnzbd niet op draaien) van Spotweb naar sabnzbd (deze staan op dezelfde machine), dan geeft de Apache error log:
code:

[Fri Oct 28 15:10:37 2011] [error] [client 192.168.1.20] PHP Warning:  stream_socket_client():
unable to connect to 1://sslreader.eweka.nl:563 (Invalid argument) 
in /var/www/spotweb/NNTP/Protocol/Client.php on line 586, referer: http://192.168.1.101/?
sortdir=ASC&sortby=&search%5Bvalue%5D%5B%5D=Titel%3A%3D%3Arammstein

Hij wil dus niet connecten naar Eweka?

[psvjw]

quote:

Polyphemus schreef op vrijdag 28 oktober 2011 @ 15:15:
Ik snap iets niet

Als ik een nzb-tje wil versturen via mijn browser (= een andere pc waar Spotweb en sabnzbd niet op draaien) van Spotweb naar sabnzbd (deze staan op dezelfde machine), dan geeft de Apache error log:
code:

[Fri Oct 28 15:10:37 2011] [error] [client 192.168.1.20] PHP Warning:  stream_socket_client():
unable to connect to 1://sslreader.eweka.nl:563 (Invalid argument) 
in /var/www/spotweb/NNTP/Protocol/Client.php on line 586, referer: http://192.168.1.101/?
sortdir=ASC&sortby=&search%5Bvalue%5D%5B%5D=Titel%3A%3D%3Arammstein

Hij wil dus niet connecten naar Eweka?

Moet 1://sslreader.eweka.nl:563 niet http://sslreader.eweka.nl:563 zijn?

[Polyphemus]

quote:

psvjw schreef op vrijdag 28 oktober 2011 @ 16:00:
[...]


Moet 1://sslreader.eweka.nl:563 niet http://sslreader.eweka.nl:563 zijn?

Dat lijkt mij ook, maar ik heb die '1:' niet in de config of waar dan ook gezet

[elevator]

In je NNTP setup (ownsettings.php) heb je 'enc' op 'true' gezet in plaats van op een van de geldige waardes.

[Polyphemus]

quote:

elevator schreef op vrijdag 28 oktober 2011 @ 19:47:
In je NNTP setup (ownsettings.php) heb je 'enc' op 'true' gezet in plaats van op een van de geldige waardes.

Inderdaad! Dank je!

[Nightspirit]

quote:

Xaero schreef op donderdag 27 oktober 2011 @ 21:47:
[...]


zou het sneller zijn als jij jou commentsfull tabel zou exporteren en ik importeren?. Dan alles retrieven via me provider?

Nope, ben zelf ook nog bezig

[bassiexp]

quote:

Xaero schreef op donderdag 27 oktober 2011 @ 21:47:
[...]


zou het sneller zijn als jij jou commentsfull tabel zou exporteren en ik importeren?. Dan alles retrieven via me provider?

Ik zou best wel de commentfull, commentsxover, reportsxover, spots en spotsfull, willen dumpen in sql en online gooien, op rapidshare of usenet zelf of zoiets.

Heb een tweede spotweb aangemaakt en die staat vanaf nul te retrieven met alles er op en er aan.
Ben nou op "6 maanden, 4 weken" denk nog een dag misschien 2/3 (tis een traag dingetje).

[Nightspirit]

quote:

bassiexp schreef op zaterdag 29 oktober 2011 @ 02:30:
[...]


Ik zou best wel de commentfull, commentsxover, reportsxover, spots en spotsfull, willen dumpen in sql en online gooien, op rapidshare of usenet zelf of zoiets.

Heb een tweede spotweb aangemaakt en die staat vanaf nul te retrieven met alles er op en er aan.
Ben nou op "6 maanden, 4 weken" denk nog een dag misschien 2/3 (tis een traag dingetje).

Het "alles ophalen en opslaan" is nog niet helemaal af hoor

[bassiexp]

He jammer, nou moest ik toch een nieuwe full retrieve doen (verkeerde database aan het spelen).
Maar het aanbod staat nog steeds, kan later ook nog met de full comments (wanneer die klaar is)

Kan zowiezo wel leuk zijn voor een fresh install en je geen backup hebt (zoals ik hiervoor )

[Xaero]

Heb wel gemerkt als je een database van zegmaar 2gb wil gaan importeren dat MySQL toch flink zit te stampen . Ondanks de 8GB en hexacore in me server..

[Mr. Happy]

Ik krijg wel heel veel van deze meldingen in de error-log van php

quote:

[29-Oct-2011 21:40:40] PHP Notice: Undefined offset: 9 in D:\spotweb\lib\SpotsOverview.php on line 346
[29-Oct-2011 21:40:40] PHP Warning: Invalid argument supplied for foreach() in D:\spotweb\lib\SpotsOverview.php on line 346
[29-Oct-2011 21:40:40] PHP Notice: Undefined offset: 9 in D:\spotweb\lib\SpotsOverview.php on line 370
[29-Oct-2011 21:40:40] PHP Warning: Invalid argument supplied for foreach() in D:\spotweb\lib\SpotsOverview.php on line 370

Geen idee hoe dit op te lossen...
Uiteraard wel eea nagezocht, maar krijg het niet opgelost...

Overigens heb ik nu m'n retrieve_increment op 10 staan en nog komt ie met een timeout... (weet niet of er relevantie is)...

Mr. Happy wijzigde deze reactie 29-10-2011 22:01 (8%)

[guho]

Als ik naar comments kijk, zie ik dit:
Fatal error: Call to undefined method SpotDb::addCommentsFull() in D:\Apps\Internet\xampp\htdocs\spotweb\lib\SpotsOverview.php on line 130

heb net git pull, upgrade_db en retrieve gedaan.

Andere vraag: testinstall zegt 'not ok' voor curl, hoewel in php.ini deze extensie aanstaat. Enig idee?

update: ik zie het al in spotdb heet hij addFullComments elders wordt gepoogd addCommentsFull aan te roepen.

guho wijzigde deze reactie 30-10-2011 03:04 (14%)

[Royz]

Vreemd, ik heb ineens een gat van een maand in mijn spotweb. Hebben meer Lightning gebruikers hier last van? Heb begrepen dat het hier aan kan liggen

[Mr_Blobby]

quote:

Royz schreef op zondag 30 oktober 2011 @ 13:15:
Vreemd, ik heb ineens een gat van een maand in mijn spotweb. Hebben meer Lightning gebruikers hier last van? Heb begrepen dat het hier aan kan liggen

Yep: https://github.com/spotweb/spotweb/issues/1088

[Royz]

quote:

Mr_Blobby schreef op zondag 30 oktober 2011 @ 13:32:
[...]
Yep: https://github.com/spotweb/spotweb/issues/1088

hmm ok thx. ik vroeg me al af waarom ik steeds een notify kreeg met 203045 spots geupdate. ik dacht dat dat getal gewoon niet klopte

[jb044]

Mijn spotweb vertoont met grote regelmaat grote gaten, dwz er zijn een x aantal recente spots en dan is er ineens een gat en gaat het verder met spots van x dagen geleden. Vaak 1 dag maar meer komt ook voor. Probleem herstelt zich niet uit zichzelf, maar wel als ik handmatig maxarticleid in de nntp tabel op 0 zet en retrieve.php een initiële run laat doen.

Het gekke is (volgens mij dan) dat de spots er eerst wel waren, het komt bv met regelmaat voor dat een spot die ik toch echt eerder via spotweb heb gedownload verdwenen is.

Het is me wel eens opgevallen dat bij het opbouwen van de db from scratch dit soort problemen ontstonden na een timeout van mijn usenet provider, dwz timeout->spotweb gaat x duizend posts verder en er ontstaat een gat. Usenet provider is xsnews.

[bassiexp]

Ligt het aan mij of is spotweb "sluggish" Ik krijg alleen maar time-outs
en dan laat ik heb maar 100 per keer retrieven.

Laatste retrieve.php gelogd

Last retrieve at Sun Oct 30 17:54:27 2011
Retrieving new Spots from server news.supernews.com...
Spots in database:	489147
Looking for articlenumber for messageid
Searching from 2755674 to 2760675
Appr. Message count: 	2757557
First message number:	3118
Last message number:	2760675
Current message:	2760316

Retrieving 2760316 till 2760676

SpotWeb v0.45.9.21 crashed

Fatal error occured while connecting to the newsserver:
  (503) Unexpected response: 'time out' [response: "time out"]


#0 /var/www/spotweb/NNTP/Protocol/Client.php(524): Net_NNTP_Protocol_Client->throwError('Unexpected resp...', 503, 'time out')
#1 /var/www/spotweb/NNTP/Protocol/Client.php(1104): Net_NNTP_Protocol_Client->_handleUnexpectedResponse(503)
#2 /var/www/spotweb/NNTP/Client.php(563): Net_NNTP_Protocol_Client->cmdBody('<zGpD8A6fsJscYa...')
#3 /var/www/spotweb/lib/SpotNntp.php(102): Net_NNTP_Client->getBody('<zGpD8A6fsJscYa...')
#4 /var/www/spotweb/lib/SpotNntp.php(266): SpotNntp->getBody('<zGpD8A6fsJscYa...')
#5 /var/www/spotweb/lib/SpotsOverview.php(159): SpotNntp->getNzb(Array)
#6 /var/www/spotweb/lib/retriever/SpotRetriever_Spots.php(239): SpotsOverview->getNzb(Array, Object(SpotNntp))
#7 /var/www/spotweb/lib/retriever/SpotRetriever_Abs.php(139): SpotRetriever_Spots->process(Array, 2760316, 2760676)
#8 /var/www/spotweb/retrieve.php(107): SpotRetriever_Abs->loopTillEnd(2760316, 1000)
#9 {main}

Updating retrieve status in the database

Finished retrieving spots.

Hier doet hij dan een minuut of 45 over.

Dit was op mijn test server net zo met een fresh install.
Nadat ik een git reset --hard heb gedaan naar de laatste stabiele versie van 2011-10-01 loopt die weer als een trein.

In een paar minuten haalt ie 50.000 comments op.

In de debug file komt niks, apache error.log ook niet.

[Nightspirit]

Die "Net_NNTP_Protocol_Client->throwError('Unexpected resp...', 503, 'time out')" komt van je newsserver af. Sinds die stabiele versie wordt er wel meer data opgehaald (zie recente wijzigingen in commitlist), maar dan nog is je newsserver hier de boosdoener.

[elevator]

Normaal zou het toch maar maximaal drie keer zo traag mogen zijn (images en nzb file), dus als hij nu over 100 spots 45 minuten doet, dan deed ie er vroeger een minuut of 10 over?

[bassiexp]

quote:

Nightspirit schreef op zondag 30 oktober 2011 @ 18:44:
Die "Net_NNTP_Protocol_Client->throwError('Unexpected resp...', 503, 'time out')" komt van je newsserver af. Sinds die stabiele versie wordt er wel meer data opgehaald (zie recente wijzigingen in commitlist), maar dan nog is je newsserver hier de boosdoener.

Dat idee had ik eerst al maar ik kan daar niks raars aan vinden, alles download gewoon, headers komen ook gewoon binnen.

Icm de vorige post dacht ik dat het aan spotweb lag.

Ik gebruik supernews, misschien dat anderen er dan ook last van hebben, anders zou ik het niet weten.

[Mar2zz]

Hoe download je als Windows-gebruiker een oudere versie van spotweb? Een vriend die kan niet upgraden, heeft waarschijnlijk te oude db? Kan je op win ook een versie van spotweb van 2 of 3 week terug downen, die neerzetten, db-upgraden, nieuwste versie pakken en die ook upgraden?

[Nightspirit]

quote:

elevator schreef op zondag 30 oktober 2011 @ 19:05:
Normaal zou het toch maar maximaal drie keer zo traag mogen zijn (images en nzb file), dus als hij nu over 100 spots 45 minuten doet, dan deed ie er vroeger een minuut of 10 over?

Een spot binnenhalen is 1KB(?), een image en een nzb zijn meestal wel "iets" groter.

quote:

Mar2zz schreef op zondag 30 oktober 2011 @ 19:08:
Hoe download je als Windows-gebruiker een oudere versie van spotweb? Een vriend die kan niet upgraden, heeft waarschijnlijk te oude db? Kan je op win ook een versie van spotweb van 2 of 3 week terug downen, die neerzetten, db-upgraden, nieuwste versie pakken en die ook upgraden?

Volgens mij zoekt hij dan deze.

quote:

Je huidige Spotweb database installatie is te oud om in een keer te upgraden naar deze versie. Download een eerdere versie van spotweb (https://github.com/spotwe...88823cccfefc39375b37e9bee) draai daarmee upgrade-db.php en als die succesvol is, start dan nogmaals de upgrade via deze versie.

Nightspirit wijzigde deze reactie 30-10-2011 19:22 (55%)

[elevator]

quote:

Nightspirit schreef op zondag 30 oktober 2011 @ 19:13:
Een spot binnenhalen is 1KB(?), een image en een nzb zijn meestal wel "iets" groter.

mysql> select sum(length(content)) from cache limit 100;

+----------------------+
| sum(length(content)) |
+----------------------+
|             94956364 |
+----------------------+
1 row in set (3.53 sec)

mysql> SELECT 94956364 / 1024 / 1024;
+------------------------+
| 94956364 / 1024 / 1024 |
+------------------------+
|            90.55744553 |
+------------------------+
1 row in set (0.02 sec)

90 megabyte, en dan 45 minuten? dat is alsnog erg sloom

[Nightspirit]

quote:

elevator schreef op zondag 30 oktober 2011 @ 20:27:
[...]

mysql> select sum(length(content)) from cache limit 100;

+----------------------+
| sum(length(content)) |
+----------------------+
|             94956364 |
+----------------------+
1 row in set (3.53 sec)

mysql> SELECT 94956364 / 1024 / 1024;
+------------------------+
| 94956364 / 1024 / 1024 |
+------------------------+
|            90.55744553 |
+------------------------+
1 row in set (0.02 sec)

90 megabyte, en dan 45 minuten? dat is alsnog erg sloom

Dan heb je het wel over gecomprimeerde data. Compressiesnelheid is erg afhankelijk van je processor. Iets wat trouwens nog moet veranderen

Nightspirit wijzigde deze reactie 30-10-2011 21:11 (9%)

[guho]

Ben up-to-date met de laatste git pull en ben erg tevreden dat ik nu mijn eigen spotweb installatie bijna perfekt heb. Heb in mijn ownsettings de full spot retrieve uitgezet want had timeouts. Heb nog steeds het probleem dat sommige spots geen plaatjes hebben (eeuwig 'loading image'). Heb deze thread al doorzocht en op grond daarvan gezorgd dat curl goed werkt (bevestigd met testinstall.php; alles OK behalve gmp). Draai spotweb op Windows 7/Xampp. Hoe kan ik zien of een spot plaatjes van NNTP of van het web wil halen? Kan ik dat vaststellen via de web interface? Dat zal helpen met troubleshooten.

Bij voorbaat dank voor assistentie!

guho wijzigde deze reactie 31-10-2011 18:15 (15%)