SpotWeb - Webbased Spotnet

[B2]

Verwijderd schreef op maandag 07 maart 2011 @ 20:09:
[...]
Het spot ophalen gebeurt van de news server, controleer die eens.

Hm dat zou het kunnen zijn ja, maar ik heb net alle spots initieel opgehaald, dat ging ook goed. Ik neem aan dat er geen logging wordt bijgehouden verder?

[Verwijderd]

B2 schreef op maandag 07 maart 2011 @ 20:11:
[...]


Hm dat zou het kunnen zijn ja, maar ik heb net alle spots initieel opgehaald, dat ging ook goed. Ik neem aan dat er geen logging wordt bijgehouden verder?

Aparte header server?

[remcoXP]

ik ben nu bezig met htaccess en pwd maar komt er niet helemaal uit.
ik heb een pass file. en de paden kloppen aangezien hij om user en pwd vraag.

in htacces heb ik:
Order allow,deny
AuthType Basic
AuthName "Restricted Files"
AuthUserFile /path/to.your/.htpasswd < alleen dan kloppend
Require valid-user
Allow from 192.168.0.1 < mijn pc
Allow from externe_link < dns naar mijn ubuntu server
Allow from localhost < mijn server zelf
Satisfy Any

ik heb wel toegang maar inderdaad bij het gebruikvan de sabnzb knop kijrg ik hem in sabnzb als dead link binnen. als ik de htaccess rename om zo even uit te zetten werkt het gelijk

mijn doel is vanuit het eigen netwerk alles werkend, vanaf mijn werk/iphone te gebruiken via de externe_link en uiteraard vanuit de server zelf (localhost)

wat doe ik fout?

[Verwijderd]

Misschien probeert SAB op z'n eigen IP te downloaden (dus192.168.0.x ipv 127.0.0.1). Voeg die eens toe

[Mar2zz]

Gvd... Ik krijg het hele nzb-naar-sab gebeuren niet meer voor elkaar.
Elke poging krijg ik URL ophalen mislukt, ongeldig nzb-bestand. De url klopt gewoon (heb ook niets gewijzigd daarin overigens, eerder werkte het prima (op die error-box na, maar dat is gefixed).

Als ik op nzb download klik dan download ie een bestand met percentagetekens erin, bv Skyline+%282010%29+pal.nzb, maar die is vervolgens niet in de map te vinden (is gewoon de map downloads bij mij).

Is dat gewoon gaar nog, zoals met die errorbox of is het my problem only?

[Pistolebob]

Raar ook dat er nu + tekens tussen staan waar spaties horen. (heb ik ook)

[Phoenix1337]

Die procenttekens zijn gewoon de urlencoding dus dat maakt niets uit, of staan ze ook zo op je schijf ?

Pistolebob schreef op maandag 07 maart 2011 @ 20:26:
Raar ook dat er nu + tekens tussen staan waar spaties horen. (heb ik ook)

Dat is ook een vorm van urlencoding, niets aan de hand dus.

[ Voor 54% gewijzigd door Phoenix1337 op 07-03-2011 20:27 ]

[Mar2zz]

De nzb staat niet eens op de schijf. hij zegt dat ie gedownload is, maar hij is er niet.

Dit is de downloadkoppeling:
http://server:poort/spotweb/?page=getnzb&messageid=[e-mail]

De nzb wordt gewoon niet opgeslagen.

Ik ga ff pullen, er is 6 minuten geleden iets bijgekomen met het oog op toekomstige moderatie volgens mij:

van github:
Standaard zal SpotWeb nu de gehele Spot ophalen - dit maakt het bijzonder veel trager maar zorgt er wel voor dat zaken als userid beschikbaar zijn in het overzichtsscherm. Dit is dan weer de eerste stap naar een filteringlijst

amai, kan de database weer opnieuw opbouwen haha

[ Voor 4% gewijzigd door Mar2zz op 07-03-2011 20:31 ]

[Phoenix1337]

Serieus ?

Heb m net vanavond opnieuw opgebouwd omdat ik een nieuwe usenetprovider heb.

Ben nu ook bezig met opnieuw opbouwen en t is inderdaad wel een heel stuk trager.

[ Voor 31% gewijzigd door Phoenix1337 op 07-03-2011 20:39 ]

[Mar2zz]

Ja hij haalt nu meer info op, als je nu een kleine retrieve doet dan is je overzicht leeg zometeen. wellicht mbt deze issue:
https://github.com/spotweb/spotweb/issues/65#comment_839904

Zou wel tof zijn. Kunnen we spammers al blocken straks. Dan is spotweb heulveul > spotnet/lite voorzover het dat al niet was.

[remcoXP]

Verwijderd schreef op maandag 07 maart 2011 @ 20:15:
Misschien probeert SAB op z'n eigen IP te downloaden (dus192.168.0.x ipv 127.0.0.1). Voeg die eens toe

Thanks voor de hulp.
maar naast dat hij nu tergend traag is krijg ik in sab nog steeds: Opdracht "http://localhost/spotweb/?page=getnzb&messageid=[e-mail]" terug naar de wachtrij

in internet explorer (ipv chrome) krijg ik bij de knop dat hij de api probeerd op te slaan als download.


Dit heb ik nu in htaccess:

Order allow,deny
AuthType Basic
AuthName "Restricted Files"
AuthUserFile /****
Require valid-user
Allow from 192.168.0.101
Allow from 192.168.0.100
Allow from 127.0.0.1
Allow from localhost
Allow from r**externe link zonder port en http:// ***
Satisfy Any

als ik mijn sabnzb settings aanpass ipv: localhost naar *externe_link* dan krijgt hij in sabnzb wel een andere status: probeer nzb op te halen. maar failed hij als nog.

iemand nog tips?

[Phoenix1337]

Hmm, als ik t zo zie gaat t wel heel lang duren. Hij is al een paar minuten bezig met 1000 spots. Moet je nagaan als je er 300k op moet halen

[B2]

Verwijderd schreef op maandag 07 maart 2011 @ 20:12:
[...]

Aparte header server?

Nee gebruik ik niet. Heb net een pull gedaan en ben nu de mysql database opnieuw aan het vullen. Kijken of dat wat oplevert.

[Mar2zz]

Phoenix1337 schreef op maandag 07 maart 2011 @ 20:43:
Hmm, als ik t zo zie gaat t wel heel lang duren. Hij is al een paar minuten bezig met 1000 spots. Moet je nagaan als je er 300k op moet halen

Duurde bij mij voor deze update ook al meer dan een half uur voordat ie klaar was (300K ook van eweka). Nu blijft ie wel langer hangen idd bij elke post.

Kreeg deze melding ergens halverwege, heb het gelijk maar even op github gezet als issue, hij gaat gelukkig wel gewoon verder met de andere spots:

code:

Retrieving 1932022 till 1933022PHP Notice:  Undefined index: segment in /var/www/spotweb/lib/SpotParser.php on line 56
PHP Notice:  Undefined index: segment in /var/www/spotweb/lib/SpotParser.php on line 57
PHP Notice:  Undefined index: sub in /var/www/spotweb/lib/SpotParser.php on line 68
PHP Notice:  Undefined index: sub in /var/www/spotweb/lib/SpotParser.php on line 69
PHP Notice:  Undefined index: size in /var/www/spotweb/lib/SpotDb.php on line 257
 (verified 0, of 914 spots)

ok, ik heb 'm aborted, kwartier geleden op github nog een fix voor de database.
Wellicht verstandig om even niet te pullen haha...
ff weer weggegooid en opnieuw gepulled en retrieve loopt alweer...

[ Voor 8% gewijzigd door Mar2zz op 07-03-2011 20:59 ]

[Phoenix1337]

Dat is een notice dus hoeft opzich niets te betekenen. Ik kreeg net een fatal error dus hij was ermee gestopt. KOn gelukkig wel weer verder waar ik was gebleven.

[FitzJac]

remcoXP schreef op maandag 07 maart 2011 @ 20:42:
[...]


Thanks voor de hulp.
maar naast dat hij nu tergend traag is krijg ik in sab nog steeds: Opdracht "http://localhost/spotweb/?page=getnzb&messageid=[e-mail]" terug naar de wachtrij

in internet explorer (ipv chrome) krijg ik bij de knop dat hij de api probeerd op te slaan als download.


Dit heb ik nu in htaccess:

Order allow,deny
AuthType Basic
AuthName "Restricted Files"
AuthUserFile /****
Require valid-user
Allow from 192.168.0.101
Allow from 192.168.0.100
Allow from 127.0.0.1
Allow from localhost
Allow from r**externe link zonder port en http:// ***
Satisfy Any

als ik mijn sabnzb settings aanpass ipv: localhost naar *externe_link* dan krijgt hij in sabnzb wel een andere status: probeer nzb op te halen. maar failed hij als nog.

iemand nog tips?

Deny from all

toevoegen
en voor het nette

Order allow,deny

veranderen naar

Order deny,allow

[ Voor 5% gewijzigd door FitzJac op 07-03-2011 21:02 ]

[Mr_Blobby]

Mar2zz schreef op maandag 07 maart 2011 @ 20:38:
Ja hij haalt nu meer info op, als je nu een kleine retrieve doet dan is je overzicht leeg zometeen. wellicht mbt deze issue:
https://github.com/spotweb/spotweb/issues/65#comment_839904

Zou wel tof zijn. Kunnen we spammers al blocken straks. Dan is spotweb heulveul > spotnet/lite voorzover het dat al niet was.

Ik lees in de voorlaatste commit:

"Standaard zal SpotWeb nu de gehele Spot ophalen - dit maakt het bijzonder veel trager maar zorgt er wel voor dat zaken als userid beschikbaar zijn in het overzichtsscherm. Dit is dan weer de eerste stap naar een filteringlijst"

Ik hoop toch niet dat dit standaard gedrag wordt of ten minste optioneel kan worden uitgechakeld.
Om die paar spammers te kunnen blocken, zal het updaten nu eerder uren gaan duren i.p.v. minuten.

[Phoenix1337]

Dat geldt natuurlijk alleen voor de eerste keer he. Daarnaast is er net weer een fix geweest welke ook handmatig door te voeren is:

SQL:

ALTER TABLE spots DROP INDEX idx_spotsfull_1;
CREATE INDEX idx_spotsfull_1 ON spotsfull(messageid, userid);

Je hoeft dan niet alweer je index opnieuw te bouwen

[ Voor 3% gewijzigd door Phoenix1337 op 07-03-2011 21:08 ]

[Pistolebob]

Het is met

code:

$settings['retrieve_full'] = false;

uit te zetten in ownsettings.php

[ Voor 11% gewijzigd door Pistolebob op 07-03-2011 21:10 ]

[Mar2zz]

Ik ben benieuwd naar de retrievetijd van incrementals met full filters. Zal best wel meevallen als je het gewoon via cron afhandelt. Ik denk dat op nas-systemen dit standaard op false moet staan, het zal wsl meer geheugen kosten.

[Xaero]

Gods, hetduurt écht lang . *pakt zak chips en komt ove reen uur wel terug..*.

[Pistolebob]

Het duurt echt meer dan 10 keer zo lang
Gelukkig is het niet mijn server.

[Xaero]

Gewoon balen dat PHP niet meerdere connecties kan openen, en multithreaded is ofzo . Wat heb ik er nou aan dat hij nu maar 1 connectie maakt, met de aantallen die usenet provider nu bieden..

Eigenlijk zouden ze retrieve gewoon moeten veranderen naar een C++, Python of Java script, waardoor multithreaded wél kan. Zou een stuk sneller gaan gok ik.

[ Voor 29% gewijzigd door Xaero op 07-03-2011 21:41 ]

[Mar2zz]

Ik had verdorie een stable server moeten opzetten en een testserver. Nu kan ik geen spots checken... ga ik gelijk doen als ik alle 280000 spots heb binnengehaald rond middernacht...

[Pistolebob]

Xaero schreef op maandag 07 maart 2011 @ 21:33:
Eigenlijk zouden ze retrieve gewoon moeten veranderen naar een C++, Python of Java script, waardoor multithreaded wél kan. Zou een stuk sneller gaan gok ik.

Dat dacht ik ook al

[Syzzer]

Hmm, ik krijg het maar niet aan de praat. Ik blijf lege posts houden. Heb inmiddels de database verwijderd en opnieuw laten opbouwen, maar precies hetzelfde. Heb ook al schrijfrechten aan www-data gegeven op alle bestanden in de spotweb directory. Iemand enig idee?

De spotweb lijst ziet er zo uit:


Als ik handmatig in de database kijk zie ik de posts overigens wel gewoon staat. Ik gebruik sqlite.

[Stubby]

Syzzer schreef op maandag 07 maart 2011 @ 21:48:
Hmm, ik krijg het maar niet aan de praat. Ik blijf lege posts houden. Heb inmiddels de database verwijderd en opnieuw laten opbouwen, maar precies hetzelfde. Heb ook al schrijfrechten aan www-data gegeven op alle bestanden in de spotweb directory. Iemand enig idee?

De spotweb lijst ziet er zo uit:
[afbeelding]

Als ik handmatig in de database kijk zie ik de posts overigens wel gewoon staat. Ik gebruik sqlite.

Helaas zelfde probleem hier inderdaad. Ook error reprting op ALL geeft geen indicatie wat er aan de hand is...

[Phoenix1337]

php ondersteund wel een soort van multithreading door middel van pcntl Ik denk dat het ophalen van alle spots wel langer gaat duren dan tot middernacht. Ik hoop dat hij morgenvroeg klaar is en dan maar hopen dat we niet nogmaals opnieuw moeten opbouwen.

[Mar2zz]

Hoe kunnen jullie in godsnaam nu al gerebuild hebben? (als je net gepulled hebt moet je volgens mij clean beginnen anders word je spotoverzicht zoals dat van Syzzer is, tenminste zo was het bij mij ook). Mijn retrieve duurt al een uur en ik zit pas op de 200K van de 290K.

[Xaero]

Opzich zou het gewoon makkelijk zijn om 1 iemand een database te laten opbouwen, de rest deze te downloaden (via usenet). Zodat we niet allemaal uren moeten wachten op spotweb..

[Phoenix1337]

Mar2zz schreef op maandag 07 maart 2011 @ 22:01:
Hoe kunnen jullie in godsnaam nu al gerebuild hebben? (als je net gepulled hebt moet je volgens mij clean beginnen anders word je spotoverzicht zoals dat van Syzzer is, tenminste zo was het bij mij ook). Mijn retrieve duurt al een uur en ik zit pas op de 200K van de 290K.

Ik zit al 2 uur te wachten ofzo. Schiet nog niet erg op

SQL:

SELECT COUNT(1) FROM spots

geeft bij mij nu ongeveer 92k terug. Nog 160K te gaan.

[ Voor 10% gewijzigd door Phoenix1337 op 07-03-2011 22:06 ]

[Pistolebob]

Hoe groot zou de database worden? Meer dan 600MB ofzo?

[Nakebod]

Zit net even te kijken
1024 spots opgehaald, dus 1024 records in spots, en 1024 in full, 2.7 MB.
Dus tja, 300k spots met vergelijkbaar formaat kom je op ruim 800 MB. En dat is in MySQL. Via SQLite zal het tegen de 1.2 GB liggen denk ik.
En dan betwijfel ik het of mijn NAS dit echt leuk gaat vinden. Gelukkig kan het uit, dus denk dat ik uiteindelijk daarvoor ga. Voorlopig is hij nog even bezig...

[Mar2zz]

Haha lachen dit. Ik ga gewoon lekker pitten. zie morgen wel weer of het allemaal ok is gegaan. Goed idee om een database op usenet te plempen. sqlite is dan het makkelijkst, heb je geen gedoe met passwords enzo.

Het is wel zo ontzettend traag dat het voordeel ervan misschien ff op de weegschaal moet tegen het nadeel. Ik ben benieuwd hoe mrBlobby dat ziet met uid en xover. Zou het makkelijker of sneller kunnen om een uid-ignore-lijst te bouwen dan deze manier?

Spotweb wacht op een reactie daarover:
https://github.com/spotweb/spotweb/issues/65#comment_840410

[kmf]

Hmmmmm... Spotweb werkt op de iPad prima, op de lightbox na, je kan niet scrollen om de reacties te lezen....

[Verwijderd]

*note*
de fork van mij niet gebruiken, ik heb de oude weggegooid en een nieuwe fork gemaakt, zal een template voor mobiel gebruik maken.



@kmf; met 2 vingers tegelijk scrollen wil wellicht helpen.

[ Voor 18% gewijzigd door Verwijderd op 07-03-2011 22:19 ]

[Verwijderd]

Mar2zz schreef op maandag 07 maart 2011 @ 22:01:
Hoe kunnen jullie in godsnaam nu al gerebuild hebben? (als je net gepulled hebt moet je volgens mij clean beginnen anders word je spotoverzicht zoals dat van Syzzer is, tenminste zo was het bij mij ook). Mijn retrieve duurt al een uur en ik zit pas op de 200K van de 290K.

Ik heb mijn newsserver lokaal met leafnode

[Nakebod]

@ bakman: Laat je je hele template nu vallen van wat je tot nu toe had?
Al is die nieuwe template van we1rdo aardig op weg, het is het nog net niet zeg maar..

[Verwijderd]

Ik weet het nog niet, maar goed ik kon zowiezo de updates van spotweb niet meer integreren, dus gaan op een schone lei
Misschien dat ik de we1rdo template aanpas naar smaak (om het snel te doen)

[Phoenix1337]

Om de zoveel spots krijg ik een unexpected response: '' waardoor het er elke keer uitklapt. Niet echt handig dus.

Met 120k spots zit ik op 240MB aan data in spotsfull.

[ Voor 20% gewijzigd door Phoenix1337 op 07-03-2011 22:45 ]

[shappie]

Verwijderd schreef op maandag 07 maart 2011 @ 22:27:
Ik weet het nog niet, maar goed ik kon zowiezo de updates van spotweb niet meer integreren, dus gaan op een schone lei
Misschien dat ik de we1rdo template aanpas naar smaak (om het snel te doen)

Wat mis je op dit moment nog aan de we1rdo template? Want misschien is zoiets dan te combineren.

@remcoXP: row highlighting is voor moderne browsers heel simpel te doen. En inderdaad wel handig misschien.

[ Voor 3% gewijzigd door shappie op 09-03-2011 17:18 ]

[CH4OS]

Het heeft mij even een avondje gekost, maar dan is de eerste versie van de ownsettings.php generator klaar:
http://cptchaos.nl/ownsettings-generator.php
Nog niet alle (mogelijke) instellingen zitten er in, deze instellingen heb ik grotendeels van mijn eigen ownsettings.php overgenomen en een paar extra instellingen toegevoegd.

Ik zoek alleen nog iemand die misschien een leuke plek weet om een mirror hiervan te draaien, mijn verbinding is niet zo heel ideaal zeg maar...

@Phoenix1337, hoe kom jij aan zoveel spots dan? Ik zit nu net ruim boven de 4k spots!

[ Voor 62% gewijzigd door CH4OS op 07-03-2011 23:22 ]

[Phoenix1337]

Ik gebruik astraweb icm een 120Mbit ziggo lijn, misschien dat het daar aan ligt?

/edit
350MB met 170k spots, nog 90k te gaan dus... denk niet dat ik dat ga redden voordat ik ga slapen

[ Voor 40% gewijzigd door Phoenix1337 op 07-03-2011 23:27 ]

[Pistolebob]

Ik kan wel een mirror van die ownsettings generator hosten?

Edit: ik ga nu slapen, stuur maar een DM met het bestand of als je een ftp account nodig hebt ofzo

[ Voor 46% gewijzigd door Pistolebob op 07-03-2011 23:32 ]

[Phoenix1337]

Ik eventueel ook wel

[j1nx]

Phoenix1337 schreef op maandag 07 maart 2011 @ 23:29:
Ik eventueel ook wel

Ik ook wel. Morgen even een nieuwe switch op de zolder plaatsen (is nu net een knipperlicht) en dan heb ik een 50MBit (up en down) glasvezel lijn voor je.

[FreshMaker]

Ik ga het anders proberen,
Ik 'hoop' gebruik te maken van de korte retentie van ziggo
Dan wordt de database minder snel - minder vol
nu een testje aan het draaien, eens zien wat me dat oplevert ...

Van de ziggoserver :
Appr. Message count: 473306
First message number: 2534088
Last message number: 3007394

[ Voor 24% gewijzigd door FreshMaker op 07-03-2011 23:45 ]

[Phoenix1337]

Je kan natuurlijk ook het messageid in de nntp tabel aanpassen die van mij is de vorige keer ergens rond de 2.7 miljoen gestopt.

[CH4OS]

Voor degenen die een mirror willen draaien van de ownsettings.php generator, ik heb de code geplaatst in:

http://pastebin.com/G2q4kcWw

Mijn PHP skills zijn wat roestig geworden, kan dus zijn dat een boel sneller en beter kan dan toen ik veel PHP schreef...

[Syzzer]

Mar2zz schreef op maandag 07 maart 2011 @ 22:01:
Hoe kunnen jullie in godsnaam nu al gerebuild hebben? (als je net gepulled hebt moet je volgens mij clean beginnen anders word je spotoverzicht zoals dat van Syzzer is, tenminste zo was het bij mij ook). Mijn retrieve duurt al een uur en ik zit pas op de 200K van de 290K.

Wat bedoel je precies met 'clean' beginnen? De .sqllite verwijderen heeft bij mij geen effect. Is er meer wat ik leeg moet gooien? Ik heb overigens zojuist voor het eerst de boel geïnstalleerd, dus het lijkt me dat ik dan al een 'clean' install zou moeten hebben toch?

Overigens heb ik het downloaden van de volledige informatie maar uitgezet na de eerste keer alles binnentrekken en gebruik ik een newsserver met beperkte retentie. Dat zal wel aardig uitmaken in de tijd die het kost om de database op te bouwen.

[Mar2zz]

nntpd-sqlite3 (of zoiets) in je spotwebmap weggooien en dan opnieuw retrieven. soms staat er ook nog een journal bij die smijt ik ook weg

[Nakebod]

Vannacht retrieve.php laten lopen, op een gegeven moment klapte hij er wel uit met een fatal error, maar zo te zien heeft de cronjob daarna alles hervat.
Database is iets kleiner dan geschat, maar nog steeds aardig groot.
De performance valt me nog behoorlijk mee, had trager verwacht.

Table	Records	Size
commentsxover	288,613	37.4 MiB
spots	182,968	52.8 MiB
spotsfull	182,899	369.5 MiB
Sum	654,482	459.8 MiB

[remcoXP]

CptChaos schreef op maandag 07 maart 2011 @ 23:12:
Het heeft mij even een avondje gekost, maar dan is de eerste versie van de ownsettings.php generator klaar:
http://cptchaos.nl/ownsettings-generator.php
Nog niet alle (mogelijke) instellingen zitten er in, deze instellingen heb ik grotendeels van mijn eigen ownsettings.php overgenomen en een paar extra instellingen toegevoegd.

Ik zoek alleen nog iemand die misschien een leuke plek weet om een mirror hiervan te draaien, mijn verbinding is niet zo heel ideaal zeg maar...

@Phoenix1337, hoe kom jij aan zoveel spots dan? Ik zit nu net ruim boven de 4k spots!

vet!! alleen heb ik nu al een goeie ownsettings. leest hij die ook uit? zodat ik via het web aanpassingen kan maken ipv van file handmatig aanpassen?

[smeerbartje]

Mag ik vragen wat er precies is veranderd waardoor iedereen er nu heel lang over doet om de posts op te halen? Ik draai al twee weken lang netjes elk uur 'retrieve.php' op m'n servertje en heb aanvankelijk van iemand een dump van zijn spotweb-mysql-spots-tabel ingelezen. Ik heb nu 123209 spots in de database staan en dit groeit met zo'n 10 per dag. Ik gebruik Eweka. Waarom duurt het bij jullie allemaal zo lang?

Voorbeeld output van retrieve.php:

code:

Spots in database:      123134
Appr. Message count:    10921
First message number:   2275283
Last message number:    2286204
Current message:        2286204

Processed a total of 0 spots
Finished retrieving spots.

Retrieving new comments from server...
Appr. Message count:    109153
First message number:   169859
Last message number:    279012
Current message:        279007

Retrieving 279013 till 280013, found 6 comments
Processed a total of 6 comments
Finished retrieving comments.

[ Voor 40% gewijzigd door smeerbartje op 08-03-2011 08:10 ]

[Nakebod]

Gooi je DB maar eens leeg en zie maar waarom
Bij een bestaande DB is de impact klein omdat hij dan alleen de nieuwe pakt, maar bij een nieuwe DB gaat hij ipv alleen de spot headers de gehele spot ophalen.

[smeerbartje]

Nakebod schreef op dinsdag 08 maart 2011 @ 08:10:
Gooi je DB maar eens leeg en zie maar waarom
Bij een bestaande DB is de impact klein omdat hij dan alleen de nieuwe pakt, maar bij een nieuwe DB gaat hij ipv alleen de spot headers de gehele spot ophalen.

Ah oke... dan gooi ik 'm dus niet leeg .

[Phoenix1337]

Nakebod schreef op dinsdag 08 maart 2011 @ 07:38:
Vannacht retrieve.php laten lopen, op een gegeven moment klapte hij er wel uit met een fatal error, maar zo te zien heeft de cronjob daarna alles hervat.
Database is iets kleiner dan geschat, maar nog steeds aardig groot.
De performance valt me nog behoorlijk mee, had trager verwacht.

Table	Records	Size
commentsxover	288,613	37.4 MiB
spots	182,968	52.8 MiB
spotsfull	182,899	369.5 MiB
Sum	654,482	459.8 MiB

Gebruik je mysql ? Zoja dan maakt het natuurlijk niet heel veel uit hoeveel rijen erin staan als de indices goed ingesteld staan.

Hier mijn gegevens:

Table	Records	Size
commentsxover	231679	23 MiB MiB
spots	370656	55 MiB
spotsfull	370656	743 MiB
Sum	nvt	821 MiB

* ik heb alleen naar de .MYD bestanden gegeken, op de schijf neemt t allemaal nog iets meer ruimte in omdat er ook nog andere bestanden zijn waar wat data instaat.

[Tranzy]

zeroday schreef op maandag 07 maart 2011 @ 14:32:
[...]


je krijgt geen response omdat je
/dev/null' >>/tmp/crontab.tmp
de output naar /dev/null verwijst (vaak ook via >2&1)

kijk maar eens met crontab -l wat je daar hebt staat, je zal dan die /dev/null als laatste zien staan op de regel.
Normaliter wil je via de cron geen info zien, bij vele servers krijg je dan een crontab message in je email wat ie gedaan heeft. .. en dat wil je normaliter niet.

Ik heb het commando php retrieve.php vanuit de spotweb dir uitgevoerd maar er komt gelijk een nieuwe prompt regel en als ik een refresh doe op de website is er geen verschil. Updaten via de browser werkt wel goed.

Heb een git clone van bakman2 gedaan maar heb nu een blauwe template (die lelijke ) met wat aanpassingen maar de images van de filters zitten niet in deze release??

[ Voor 10% gewijzigd door Tranzy op 08-03-2011 10:11 ]

[Mr_Blobby]

Mar2zz schreef op maandag 07 maart 2011 @ 22:12:
Haha lachen dit. Ik ga gewoon lekker pitten. zie morgen wel weer of het allemaal ok is gegaan. Goed idee om een database op usenet te plempen. sqlite is dan het makkelijkst, heb je geen gedoe met passwords enzo.

Het is wel zo ontzettend traag dat het voordeel ervan misschien ff op de weegschaal moet tegen het nadeel. Ik ben benieuwd hoe mrBlobby dat ziet met uid en xover. Zou het makkelijker of sneller kunnen om een uid-ignore-lijst te bouwen dan deze manier?

Spotweb wacht op een reactie daarover:
https://github.com/spotweb/spotweb/issues/65#comment_840410

Even een quote van mij eigen bericht op Github:

@spotweb:
Ik dacht dat het in het "From" veld zou staan want daar staat al zoveel in gepropt.
Maar als het niet in het "From veld staat, waar dan wel?
In de XML kan ik niets vinden (voorbeeld van een spotnet xml:
http://xmlindent.com/?url=http://dpaste.org/6HO7/raw/ )
Staat het misschien in de article header "X-User-Signature" of "X-User-Key"?
In beide gevallen zou je niet de volledige artikelen één voor één te hoeven ophalen, maar kan je XHDR gebruiken met een range; bijvoorbeeld:
XHDR("X-User-Signature", "first-last")

[Syzzer]

Mar2zz schreef op dinsdag 08 maart 2011 @ 07:05:
nntpd-sqlite3 (of zoiets) in je spotwebmap weggooien en dan opnieuw retrieven. soms staat er ook nog een journal bij die smijt ik ook weg

Nogmaals geprobeerd, maar hielp niet. Nu in mysql gegooid, dan werkt het wel direct. Achja, ook prima, heb ik gelijk minder last van schalingsproblemen Iig bedankt voor de hulp!

[Kopje_Koffie]

Gister avond heb ik meerdere versies van SpotWeb binnen gehaal via git, en laten spots binnengehaald via retrieve.php. De laatste versie op git werk bij mij waarbij mijn nntpdb.sqlite3 een grote heeft van 620,8 MB.

edit: het gaat om commit 13f1c5aa6ba847ca82e2

Zijn er mensen die interesse hebben in dit bestand? En hoe mag ik hem dan comprimeren? (.xz, 7z, zip, rar tar.*) Ik zal hem dan op Usenet posten

[ Voor 6% gewijzigd door Kopje_Koffie op 08-03-2011 09:49 ]

[Xaero]

Ik ben nu ook bezig met het binnenhalen van de full spots. Heb 2 databases gebruikt: 1 niet-full en 1 wel full Zodat ik nog gewoon gebruik kan maken van de oude .

Merk wel op dat het gister een stuk langzamer ging dan vandaag. Waarschijnlijk wat drukker op de nieuwsgroepen servers ;p

Kopje_Koffie schreef op dinsdag 08 maart 2011 @ 09:48:
Gister avond heb ik meerdere versies van SpotWeb binnen gehaal via git, en laten spots binnengehaald via retrieve.php. De laatste versie op git werk bij mij waarbij mijn nntpdb.sqlite3 een grote heeft van 620,8 MB.

edit: het gaat om commit 13f1c5aa6ba847ca82e2

Zijn er mensen die interesse hebben in dit bestand? En hoe mag ik hem dan comprimeren? (.xz, 7z, zip, rar tar.*) Ik zal hem dan op Usenet posten

Ik zou hem ongecomprimeerd er gewoon op gooien . Scheelt weer uitpakken. Maar de keus is natuurlijk zelf te bepalen.

[ Voor 52% gewijzigd door Xaero op 08-03-2011 10:11 ]

[eagle00789]

Ik heb op dit moment zo'n 110k spots mbv eweka en ziggo...
mijn mysql db is op dit moment 50,5 mb groot.

Table	Records	Size
commentsxover	186,063	19,8 MB
downloadlist	3	9,2 KB
nntp	2	5,0 KB
spots	110,279	30,7 MB
Sum	296,347	50,5 MB

[Kopje_Koffie]

Ik ben nu ook bezig met het binnenhalen van de full spots. Heb 2 databases gebruikt: 1 niet-full en 1 wel full Zodat ik nog gewoon gebruik kan maken van de oude .

Wat is het verschil tussen een "Full" en een "niet Full"?

Ik zou hem ongecomprimeerd er gewoon op gooien . Scheelt weer uitpakken. Maar de keus is natuurlijk zelf te bepalen.

Ik 7z het bestand wel, dat is toch een 1/6 van het origineel.

Topic inhoud is nog onder discussie bij de moderators. Houdt er rekening mee dat je sowieso geen link zet naar content, dat levert je direct een waarschuwing op.

Hoe moet ik met deze melding omgaan?

[Tomassie91]

@CptChaos

Ik heb settings.php voor een groot deel omgezet naar XML. Ik heb inmiddels ook al een installatie script gemaakt, maar jou script helpt me zeker voor het aanpassen van de settings van Spotweb! Ik hoop dan ook vanavond een (iets wat aangepaste) versie van jou code op mijn fork (https://github.com/tomassie91/spotweb) te zetten. Thnx!

[Phoenix1337]

Kopje_Koffie schreef op dinsdag 08 maart 2011 @ 10:47:
[...]


Wat is het verschil tussen een "Full" en een "niet Full"?


[...]


Ik 7z het bestand wel, dat is toch een 1/6 van het origineel.


[...]


Hoe moet ik met deze melding omgaan?

Verschil tussen full en niet full is het verschil tussen een database van gister voor een uur of 8 en die van na een uur of 8 indien je geupdate hebt. Hij gaat nu veel meer informatie ophalen dus je database moet opnieuw opgebouwd worden.

Wat betreft die melding: geen links naar nzb bestanden en dergelijke posten.

[BSeB]

Apache was fout geinstalleerd door een eerdere test met openftd.
Alles opnieuw gedaan en nu weer bezig met de installatie van spotweb.

[ Voor 82% gewijzigd door BSeB op 08-03-2011 13:36 ]

[Brummetje]

Zo net ook maar even de Database helemaal gerebuild... vanmorgen om half 9 gestart en is nu net klaar .... Wel redelijk snel denk ik ....

[Phoenix1337]

Brummetje schreef op dinsdag 08 maart 2011 @ 11:17:
Zo net ook maar even de Database helemaal gerebuild... vanmorgen om half 9 gestart en is nu net klaar .... Wel redelijk snel denk ik ....

Hoeveel spots staan er in je database ?

[Workaholic]

Clean install van spotweb (standaard fork) geeft nu de volgende errors aan het einde bij een 2de retrieve

code:

PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 147
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 146
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 147
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 146
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 147
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 146
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 147
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 146
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 147
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 146
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 147
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 146
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 147
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 146
PHP Notice:  Trying to get property of non-object in /var/www/spotweb/lib/SpotNntp.php on line 147

Dit loopt ie nou al een hele tijd te spammen. Hiervoor een aantal parse errors voor bepaalde spots die niet goed gingen? Ik laat hem dit nog even een tijdje spammen in de hoop dat hij zo op gaat houden..

edit : nu is hij hier mee opgehouden en loopt nu verder met

code:

trieving 1355397 till 1356397 (verified 0, of 1001 spots)
Retrieving 1356398 till 1357398 (verified 0, of 1001 spots)
Retrieving 1357399 till 1358399 (verified 0, of 1001 spots)
Retrieving 1358400 till 1359400 (verified 0, of 1001 spots)
Retrieving 1359401 till 1360401 (verified 1, of 1001 spots)
Retrieving 1360402 till 1361402 (verified 0, of 1001 spots)
Retrieving 1361403 till 1362403 (verified 0, of 1001 spots)
Retrieving 1362404 till 1363404 (verified 0, of 1001 spots)
Retrieving 1363405 till 1364405 (verified 0, of 1001 spots)
Retrieving 1364406 till 1365406 (verified 0, of 1001 spots)
Retrieving 1365407 till 1366407 (verified 0, of 1001 spots)
Retrieving 1366408 till 1367408 (verified 0, of 1001 spots)
Retrieving 1367409 till 1368409 (verified 0, of 1001 spots)
Retrieving 1368410 till 1369410 (verified 0, of 1001 spots)
Retrieving 1369411 till 1370411 (verified 0, of 1001 spots)
Retrieving 1370412 till 1371412 (verified 0, of 1001 spots)
Retrieving 1371413 till 1372413 (verified 0, of 1001 spots)
Retrieving 1372414 till 1373414 (verified 0, of 1001 spots)
Retrieving 1373415 till 1374415 (verified 0, of 1001 spots)
Retrieving 1374416 till 1375416 (verified 0, of 1001 spots)
Retrieving 1375417 till 1376417 (verified 0, of 1001 spots)
Retrieving 1376418 till 1377418 (verified 0, of 1001 spots)
Retrieving 1377419 till 1378419 (verified 0, of 1001 spots)
Retrieving 1378420 till 1379420 (verified 1, of 1001 spots)
Retrieving 1379421 till 1380421 (verified 0, of 1001 spots)
Retrieving 1380422 till 1381422 (verified 0, of 1001 spots)
Retrieving 1381423 till 1382423 (verified 0, of 1001 spots)
Retrieving 1382424 till 1383424 (verified 0, of 1001 spots)
Retrieving 1383425 till 1384425 (verified 0, of 1001 spots)
Retrieving 1384426 till 1385426 (verified 0, of 1001 spots)
Retrieving 1385427 till 1386427 (verified 0, of 1001 spots)
Retrieving 1386428 till 1387428 (verified 0, of 1001 spots)
Retrieving 1387429 till 1388429 (verified 0, of 1001 spots)
Retrieving 1388430 till 1389430 (verified 0, of 1001 spots)
Retrieving 1389431 till 1390431 (verified 0, of 1001 spots)
Retrieving 1390432 till 1391432 (verified 0, of 1001 spots)
Retrieving 1391433 till 1392433 (verified 0, of 1001 spots)
Retrieving 1392434 till 1393434 (verified 0, of 1001 spots)

En gaat vervolgens weer PHP notices spammen.. strange!

[ Voor 42% gewijzigd door Workaholic op 08-03-2011 11:27 ]

[CH4OS]

remcoXP schreef op dinsdag 08 maart 2011 @ 07:41:
Vet!! alleen heb ik nu al een goeie ownsettings. leest hij die ook uit? zodat ik via het web aanpassingen kan maken ipv van file handmatig aanpassen?

Nee, het genereerd alleen de inhoud voor ownsettings.php.

Ik wil het script nog wel zo maken, dat hij gelijk een nieuwe ownsettings.php aanbiedt aan de gebruiker, mijn PHP kennis is alleen wat roestig, zoals ook te zien is in de generator...

Ik heb inmiddels ook gezien, dat er een boel andere instellingen bij zijn gekomen, die wil ik langzaam maar zeker ook overnemen in de generator.

En als ik écht tijd teveel heb, dan maak ik (ook) een complete (stapsgewijze) installer, die dan eventueel opgenomen kan worden in de master, danwel de forks.

Ik snap alleen werkelijk waar niet hoe het kan dat jullie zoveel spots hebben in de database, ik zit momenteel op 4259 records in de spots tabel en gebruik Eweka als provider, sinds gisteren verbind ik ernaar op IP-adres.
Iemand nog tips voor een goede (gratis?) nieuws server? Iemand ervaringen met usenet KPN Internet Plus Bellen? Ik weet het, retentie van 3 dagen, maar aangezien alles in een lokale DB opgeslagen word, zou retentie geen probleem mogen zijn.

[ Voor 22% gewijzigd door CH4OS op 08-03-2011 12:59 ]

[Workaholic]

Mijn database sqlite is nu 143mb. Geen idee hoe ik kan zien hoeveel records er in staat met sqlite

[Tomassie91]

@cptchaos

een stapsgewijze installer zit al in mijn fork (link: https://github.com/tomassie91/spotweb). Ik ga 's avonds bezig met een settings pagina binnen spotweb, aan de hand van jou code!

[Phoenix1337]

probeer textnews.eweka.nl eens ?

[slommer]

Workaholic schreef op dinsdag 08 maart 2011 @ 13:03:
Mijn database sqlite is nu 143mb. Geen idee hoe ik kan zien hoeveel records er in staat met sqlite

in sqlite geen idee helaas. met mysql is het: SELECT COUNT(*) FROM spots;
hier nu 265445 Rows en size is 691M

[Phoenix1337]

Dat moet in principe ook werken in sqlite, je moet alleen eerst een programma hebben waarmee je een sqlite bestand kan openen.

[Kopje_Koffie]

Ik snap alleen werkelijk waar niet hoe het kan dat jullie zoveel spots hebben in de database, ik zit momenteel op 4259 records in de spots tabel en gebruik Eweka als provider, sinds gisteren verbind ik ernaar op IP-adres.
Iemand nog tips voor een goede (gratis?) nieuws server? Iemand ervaringen met usenet KPN Internet Plus Bellen? Ik weet het, retentie van 3 dagen, maar aangezien alles in een lokale DB opgeslagen word, zou retentie geen probleem mogen zijn.

Eweka is volgens mij een geval apart; al je dmv NZB download gebruik je een andere manier dan als je d.m.v. headeren bestanden ophaalt. Eweka heeft volgensmij maar een (paar) weken header retentie.

Aangezien SpotWeb gebruik maakt van van de "header" manier, zul je maar 10 dagen terug kunnen.
Ik dacht dat het zo in elkaar stak. Mocht ik het fout hebben met Eweka, dan zullen de andere Tweakers me wel verbeteren

http://www.mibsoftware.com/userkt/0099.htm

Zelf ben ik met telnet/zelf geschreven rommel in C wat aan het praten met mijn nieuwsserver, best grappig.
Misschien is het wel een idee om retrieve.php om te zetten in een native programmeer taal. Het blijft voor mij een groot raatsel waarom het nu allemaal zo lang duurt, want mijn load op mijn desktop is 0.00, mijn internet verbinding staat ook niet te stampen... Ik snap niet wat eigenlijk de bottleneck is...

[durkp]

Hmm... ik ben bezig met Spotweb te linken aan Sabnzbd, maar zodra ik in "ownsettings.php" mijn instellingen zet, werkt hij niet meer.

In Chrome geeft hij een error 500
en in FireFox krijg ik gewoon een gehele lege pagina.

Als ik de SabNZBd instellingen weer weghaal werkt de webinterface van Spotweb weer.

http://pastebin.com/pzES80xM staat mijn ownsettings.php

[durkp]

oh na wat beter op internet zoeken, heb ik het gevonden,
Er zat een fout in regel 27

[Workaholic]

Ik draai nu weer op de standaard spotweb fork maar ik mis de bakman2 template toch wel..

Is het mogelijk om die deels terug te zetten? Ik heb zojuist een 2de git gedaan naar spotweb alt met bakman2 maar die lijkt niet goed te zijn.

Jullie hebben het ook over een weirdo template ofzoiets? Is dat een andere fork of kun je template gewoon inschakelen? zo ja hoe en waar? Ik hoop dat die installer of de nieuwe templates een skin drop down box menu krijgen in de toekomst

[Verwijderd]

CptChaos schreef op dinsdag 08 maart 2011 @ 12:43:
[...]
Ik snap alleen werkelijk waar niet hoe het kan dat jullie zoveel spots hebben in de database, ik zit momenteel op 4259 records in de spots tabel en gebruik Eweka als provider, sinds gisteren verbind ik ernaar op IP-adres.
Iemand nog tips voor een goede (gratis?) nieuws server? Iemand ervaringen met usenet KPN Internet Plus Bellen? Ik weet het, retentie van 3 dagen, maar aangezien alles in een lokale DB opgeslagen word, zou retentie geen probleem mogen zijn.

textnews.kpn.nl de server heeft 6 maanden retentie. Is alleen met het laden niet zo snel.
alt.binaries.ftd is ook gewoon aanwezig op de textnews.kpn.nl. Werkt ook zonder problemen met spotlite

[ Voor 8% gewijzigd door Verwijderd op 08-03-2011 14:05 ]

[Verwijderd]

Workaholic schreef op dinsdag 08 maart 2011 @ 13:45:
Ik draai nu weer op de standaard spotweb fork maar ik mis de bakman2 template toch wel..

Is het mogelijk om die deels terug te zetten? Ik heb zojuist een 2de git gedaan naar spotweb alt met bakman2 maar die lijkt niet goed te zijn.

Jullie hebben het ook over een weirdo template ofzoiets? Is dat een andere fork of kun je template gewoon inschakelen? zo ja hoe en waar? Ik hoop dat die installer of de nieuwe templates een skin drop down box menu krijgen in de toekomst

Verander de volgende regel in je ownsettings.php

code:

# waar moeten ew de templates vinden?
$settings['tpl_path'] = './templates/';

naar

code:

# waar moeten ew de templates vinden?
$settings['tpl_path'] = './templates_we1rdo/';

[ Voor 6% gewijzigd door Verwijderd op 08-03-2011 13:58 ]

[shappie]

Workaholic schreef op dinsdag 08 maart 2011 @ 13:45:
Ik draai nu weer op de standaard spotweb fork maar ik mis de bakman2 template toch wel..

Is het mogelijk om die deels terug te zetten? Ik heb zojuist een 2de git gedaan naar spotweb alt met bakman2 maar die lijkt niet goed te zijn.

Jullie hebben het ook over een weirdo template ofzoiets? Is dat een andere fork of kun je template gewoon inschakelen? zo ja hoe en waar? Ik hoop dat die installer of de nieuwe templates een skin drop down box menu krijgen in de toekomst

Als je gebruik maakt van de ownsettings.php file kan je hierin de template map aangeven:
$settings['tpl_path'] = './templates_we1rdo/';

edit: ik refresh te weinig, antwoord is al gegeven hierboven.

[ Voor 4% gewijzigd door shappie op 08-03-2011 14:01 ]

[BSeB]

Ik vroeg me af waarom niet alle messages worden gedownload:

code:

Retrieving new Spots from server...
Spots in database:      0
Appr. Message count:    215218
First message number:   4108
Last message number:    219326
Current message:        0

Retrieving 5109 till 6109 (verified 0, of 947 spots)
Retrieving 6110 till 7110 (verified 0, of 1001 spots)
Retrieving 7111 till 8111 (verified 0, of 1001 spots)
Retrieving 8112 till 9112 (verified 0, of 253 spots)
Retrieving 9113 till 10113 (verified 0, of 999 spots)
Retrieving 10114 till 11114 (verified 0, of 1001 spots)
Retrieving 10291 till 11291 (verified 0, of 177 spots)
Retrieving 11291 till 12291 (verified 0, of 0 spots)
Retrieving 12292 till 13292 (verified 0, of 92 spots)
Retrieving 13293 till 14293 (verified 0, of 385 spots)
Retrieving 14294 till 15294 (verified 0, of 686 spots)

[Mar2zz]

eweka:
vul bij de bovenste server in ownsettings.php de sslreader.eweka.nl in op poort 563 met ssl

bij headerserver vul je textnews.eweka.nl in op poort 119

zo krijg je 280000 spots!

[Brummetje]

Phoenix1337 schreef op dinsdag 08 maart 2011 @ 11:21:
[...]


Hoeveel spots staan er in je database ?

reader.xsnews.nl: 219347
comments: 299119

Waarschijnlijk wat oude spots die er niet in staan was met Spotnet ook al zo maar dat maakt me niet zo veel uit. Als alle recente en nieuwe er maar in staan is het goed

Edit: valt me trouwens op dat er nog steeds best wel dubbele tussen zitten...

[ Voor 9% gewijzigd door Brummetje op 08-03-2011 14:26 ]

[Workaholic]

Verwijderd schreef op dinsdag 08 maart 2011 @ 13:55:
[...]


Verander de volgende regel in je ownsettings.php

code:

# waar moeten ew de templates vinden?
$settings['tpl_path'] = './templates/';

naar

code:

# waar moeten ew de templates vinden?
$settings['tpl_path'] = './templates_we1rdo/';

Thanks werkt perfect. Mooie typo in de ownsettings btw waar moeten ew de templates vinden.

Overigens werkt de cronjob nu ook goed. Heb nu ook een logging file aangemaakt >> /var/www/spotnet/retrieve.log ipv /dev/null

Staat nu het volgende in (1x gelopen zo te zien)

code:

Retrieving new Spots from server...
Spots in database:      36895
Appr. Message count:    349883
First message number:   1078558
Last message number:    1428441
Current message:        1428399

Retrieving 1428442 till 1429442 (verified 43, of 43 spots)
Processed a total of 43 spots
Finished retrieving spots.

Retrieving new comments from server...
Appr. Message count:    178766
First message number:   73183
Last message number:    251949
Current message:        251297

Retrieving 251950 till 252950, found 653 comments
Processed a total of 653 comments
Finished retrieving comments.

Hij geeft alleen niet de regels en mogelijke errors weer.. nog even uitzoeken hoe ik alle output er in krijg liefst met een datum / tijd regel echo date oid?

[ Voor 56% gewijzigd door Workaholic op 08-03-2011 14:56 ]

[BSeB]

Verder kom ik het volgende tegen:

code:

Retrieving 45964 till 46964PHP Notice:  Undefined variable: fullSpot in /srv/www/htdocs/spotweb/lib/retriever/SpotRetriever_Spots.php on line 102
 (verified 35, of 643 spots)

code:

Retrieving 69977 till 70977Error parsing spot.. (verified 0, of 251 spots)

code:

Retrieving 96680 till 97680Error parsing spot..Error parsing spot..Error parsing spot..Error parsing spot..Error parsing spot..Error parsing spot.. (ed 1, of 1001 spots)
Retrieving 97681 till 98681Error parsing spot..Error parsing spot..Error parsing spot..Error parsing spot..Error parsing spot..Error parsing spot..Errsing spot.. (verified 0, of 1001 spots)
Retrieving 98682 till 99682 (verified 0, of 1001 spots)
Retrieving 99683 till 100683 (verified 2, of 1001 spots)
Retrieving 100684 till 101684 (verified 0, of 1001 spots)
Retrieving 101685 till 102685Error parsing spot..Error parsing spot..Error parsing spot..Error parsing spot.. (verified 1, of 1001 spots)
Retrieving 102686 till 103686Error parsing spot.. (verified 0, of 1001 spots)
Retrieving 103687 till 104687Error parsing spot..Error parsing spot.. (verified 0, of 1001 spots)
Retrieving 104688 till 105688 (verified 0, of 1001 spots)
Retrieving 105689 till 106689 (verified 1, of 1001 spots)
Retrieving 106690 till 107690

Fatal error occured retrieving messages:
  Unexpected response: 'reader.xsnews.nl: Session timeout.'

[Xaero]

Ik gok dat er gewoon een boel 'foute' spots tusen staan van een hele tijd terug. Toen de spotsource nog niet helemaal correct is. Er staat al een isuse voor betere errorafhandeling, maar tot die tijd moet je gewoon een aantal keer opnieuw de boel aan gooien

[Workaholic]

Bovenstaande had ik ook toen ik het handmatig deed. Nu doe ik het via een cronjob en zie ik dit niet terug in mijn cronjob logfile De retrieving regels ontbreken dus ook in de log..

Zie ook mijn post hierboven.

[ Voor 14% gewijzigd door Workaholic op 08-03-2011 14:59 ]

[BSeB]

Heb hem maar weer aangezwengeld:

code:

 php retrieve.php --force

[Mr_Blobby]

BSeB schreef op dinsdag 08 maart 2011 @ 14:01:
Ik vroeg me af waarom niet alle messages worden gedownload:

code:

Retrieving new Spots from server...
Spots in database:      0
Appr. Message count:    215218
First message number:   4108
Last message number:    219326
Current message:        0

Retrieving 5109 till 6109 (verified 0, of 947 spots)
Retrieving 6110 till 7110 (verified 0, of 1001 spots)
Retrieving 7111 till 8111 (verified 0, of 1001 spots)
Retrieving 8112 till 9112 (verified 0, of 253 spots)
Retrieving 9113 till 10113 (verified 0, of 999 spots)
Retrieving 10114 till 11114 (verified 0, of 1001 spots)
Retrieving 10291 till 11291 (verified 0, of 177 spots)
Retrieving 11291 till 12291 (verified 0, of 0 spots)
Retrieving 12292 till 13292 (verified 0, of 92 spots)
Retrieving 13293 till 14293 (verified 0, of 385 spots)
Retrieving 14294 till 15294 (verified 0, of 686 spots)

Niet elk message is een (geldige) spot.
Maar wat ik in jouw rijtje zie, is dat er overlappende ranges zijn:

Retrieving 10114 till 11114
Retrieving 10291 till 11291

Dat lijkt me niet goed (lees: een bug).
Dat zou dubbele spots kunnen veroorzaken.

[FitzJac]

Die dubbele posts zit em op één of andere manier toch in de server die je gebruikt, met newsreader1.eweka.nl heb ik zo'n beetje alles dubbel terwijl met newszilla6.xs4all.nl alles ok is.

[BSeB]

En waar zou ik dit moeten melden?!
Volgens mij hebben meer mensen hier last van?

En btw again:

code:

Retrieving new Spots from server...
Spots in database:      71595
Appr. Message count:    215264
First message number:   4108
Last message number:    219372
Current message:        105689

Retrieving 106690 till 107690 (verified 0, of 1001 spots)
Retrieving 107691 till 108691 (verified 7, of 1001 spots)
Retrieving 108692 till 109692Error parsing spot.. (verified 0, of 1000 spots)
Retrieving 109693 till 110693 (verified 0, of 1001 spots)
Retrieving 110694 till 111694 (verified 2, of 1001 spots)
Retrieving 111695 till 112695 (verified 0, of 1001 spots)
Retrieving 112696 till 113696 (verified 2, of 1001 spots)
Retrieving 113697 till 114697 (verified 0, of 1001 spots)
Retrieving 114698 till 115698 (verified 0, of 1001 spots)
Retrieving 115699 till 116699Error parsing spot..Error parsing spot..Error parsing spot..Error parsing spot..Error parsing spot.. (verified 0, of 1001 spots)

[ Voor 85% gewijzigd door BSeB op 08-03-2011 15:09 ]

[jeroen210]

Ik heb spotweb geïnstalleerd op mijn windows xp vmware machine volgens de instructies die eerder gepost zijn.
het werkt wel maar als ik een zoekopdracht zoals bijvoorbeeld marco borsato opgeef krijg ik een lege pagina terug, en soms een pagina met een foutmelding dat het langer dan 30 seconden heeft geduurd of iets dergelijks.

ook mis ik bijvoorbeeld de optie om tags toe te voegen. weet iemand hier meer over?

[pven]

Ik heb, dankzij deze uitleg, Spotweb mijn NAS (eTrayz) kunnen installeren. Alles lijkt goed te gaan (testinstall.php geeft geen foutmeldingen), maar uiteindelijk krijg ik dan toch een 'Error executing query: database is locked'-foutmelding als ik Spotweb wil openen.

'php retrieve.php' gaat opvallend snel en geeft alleen de melding 'Notice: Constant VERSION already defined in /home/sysadmin/WWW/spotweb/ownsettings.php on line 65'. Ik zie dat de database (nntpdb.sqlite3) ruim 600M groot is, er is dus al wel een-en-ander gedownload.

Iemand een idee hoe ik van die lock-melding af kan komen? Apache is de enige die naar die database schrijft en die is owner van dat bestand, dat lijkt me dus geen probleem.

[Verwijderd]

Voor de mensen die graag met we1rdo's template werken en problemen hebben met niet werkende filters, doe dan het volgende binnen /templates_we1rdo/filters.inc.php. Dit vervangt een deel van we1rdo's filters met de originele spotweb filters.

Vervang

code:

<ul class="filterlist">
.....
</ul>

met

code:

                    <ul class="filterlist">
<?php
    foreach($filters as $filter) {
?>
                        <li> <a class="filter <?php echo $filter[3]; ?>" href="?search[tree]=<?php echo $filter[2];?>"><img src='<?php echo $filter[1]; ?>'><?php echo $filter[0]; ?></a>
<?php
        if (!empty($filter[4])) {
            echo "\t\t\t\t\t\t\t<ul class='filterlist subfilterlist'>\r\n";
            foreach($filter[4] as $subFilter) {
?>
                                <li> <a class="filter <?php echo $subFilter[3];?>" href="?search[tree]=<?php echo $subFilter[2];?>"><img src='<?php echo $subFilter[1]; ?>'><?php echo $subFilter[0]; ?></a>
<?php
            } # foreach 
            echo "\t\t\t\t\t\t\t</ul>\r\n";
        } # is_array
    } # foreach
?>
                    </ul>

[Nakebod]

pven schreef op dinsdag 08 maart 2011 @ 16:00:
Ik heb, dankzij deze uitleg, Spotweb mijn NAS (eTrayz) kunnen installeren. Alles lijkt goed te gaan (testinstall.php geeft geen foutmeldingen), maar uiteindelijk krijg ik dan toch een 'Error executing query: database is locked'-foutmelding als ik Spotweb wil openen.

'php retrieve.php' gaat opvallend snel en geeft alleen de melding 'Notice: Constant VERSION already defined in /home/sysadmin/WWW/spotweb/ownsettings.php on line 65'. Ik zie dat de database (nntpdb.sqlite3) ruim 600M groot is, er is dus al wel een-en-ander gedownload.

Iemand een idee hoe ik van die lock-melding af kan komen? Apache is de enige die naar die database schrijft en die is owner van dat bestand, dat lijkt me dus geen probleem.

Topic waar je naar linkt is niet publiek.
Anyway, toevallig een sqlite.*.journal aanwezig? Dan kan het zijn dat er toch nog iets van retrieve.php loopt ofzo.

[Mar2zz]

Instellingen voor eweka 280000 spots: (ben nu thuis, dus doe ff de code:

code:

# =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=$
# =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-   WIJZIG ONDERSTAANDE  =-=-=-=-=-=-=-=-=-=-=-=$
# =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=$
$settings['nntp_nzb']['host'] = 'sslreader.eweka.nl';   # <== Geef hier je nntp$
$settings['nntp_nzb']['user'] = 'username';                               # <== G$
$settings['nntp_nzb']['pass'] = 'password';                               # <== G$
$settings['nntp_nzb']['enc'] = 'ssl';                           # <== false|'tl$
$settings['nntp_nzb']['port'] = 563;                            # <== set to 56$

# =-=-=-=-=-=-=-=- Als je een aparte 'headers' newsserver nodig hebt, uncomment$
$settings['nntp_hdr']['host'] = 'textnews.eweka.nl';
$settings['nntp_hdr']['user'] = 'username';
$settings['nntp_hdr']['pass'] = 'password';
$settings['nntp_hdr']['enc'] = false;
$settings['nntp_hdr']['port'] = 119;

[CH4OS]

Mar2zz schreef op dinsdag 08 maart 2011 @ 17:12:
Instellingen voor eweka 280000 spots: (ben nu thuis, dus doe ff de code:

code:

# =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=$
# =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-   WIJZIG ONDERSTAANDE  =-=-=-=-=-=-=-=-=-=-=-=$
# =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=$
$settings['nntp_nzb']['host'] = 'sslreader.eweka.nl';   # <== Geef hier je nntp$
$settings['nntp_nzb']['user'] = 'username';                               # <== G$
$settings['nntp_nzb']['pass'] = 'password';                               # <== G$
$settings['nntp_nzb']['enc'] = 'ssl';                           # <== false|'tl$
$settings['nntp_nzb']['port'] = 563;                            # <== set to 56$

# =-=-=-=-=-=-=-=- Als je een aparte 'headers' newsserver nodig hebt, uncomment$
$settings['nntp_hdr']['host'] = 'textnews.eweka.nl';
$settings['nntp_hdr']['user'] = 'username';
$settings['nntp_hdr']['pass'] = 'password';
$settings['nntp_hdr']['enc'] = false;
$settings['nntp_hdr']['port'] = 119;

Ik ga dit eens proberen, al kan ik niet de SSL reader gebruiken voor NZB, dat doet mijn SABnzbd machine al, die in een andere VM draait. Ik kan daarom de portforward niet nog een keer instellen.

Ik neem aan dat de headers gebruikt worden voor ophalen van spots binnen SpotWeb zelf?