SpotWeb - Webbased Spotnet

[sus]

Verwijderd schreef op donderdag 03 maart 2011 @ 16:14:
[...]

Bekijk de access log om te zien of de CSS wel werd gelezen vanaf de server. Zo niet, fix de webserver, zo wel, fix de browser.

pfff, was even spitten... Bleek te zitten in de mod_pagespeed voor Apache (zie nieuws: Google geeft Apache-module voor webserveroptimalisatie vrij). Heb ik destijds blijkbaar geinstalleerd, wat gespeeld, maar niet verwijderd. Damn... werkt nu perfect

@bakman:
Ik gebruik nu die fork van jou, ziet er erg gelikt uit. Alleen een vraag, kan die popup met spot-info (Ajax-spul ofzo?) ook wat hoger? Hier is het maar een smalle balk van 10 spots hoog. Staan ergens de hoogte/breedte aangegeven?

[ Voor 16% gewijzigd door sus op 04-03-2011 22:49 ]

[Verwijderd]

Ik heb net alle updates van spotweb gemerged in mijn fork (gaat allemaal niet zomaar).
Serverside paging zit er nu in.

De fancybox stond op 60% hoogte van je scherm, heb het naar 94% gezet (header.inc.php staat dat)

*edit*
spotweb heeft een index toegevoegd op filterloze queries, supersnel dit (ik heb mn fork geupdate).

[ Voor 20% gewijzigd door Verwijderd op 04-03-2011 23:58 ]

[FitzJac]

Verwijderd schreef op vrijdag 04 maart 2011 @ 23:13:
Ik heb net alle updates van spotweb gemerged in mijn fork (gaat allemaal niet zomaar).
Serverside paging zit er nu in.

De fancybox stond op 60% hoogte van je scherm, heb het naar 94% gezet (header.inc.php staat dat)

*edit*
spotweb heeft een index toegevoegd op filterloze queries, supersnel dit (ik heb mn fork geupdate).

Beter, hij werkt nu ook lekker onder Opera. Top!!

[nowell]

Manuel schreef op vrijdag 04 maart 2011 @ 21:39:
nowell: Het probleem zit hem in het gebruik maken van relatieve paden. Probeer maar eens dit maar eens in je shell uit te voeren:

cd /share/MD0_DATA/Qweb/websitespotweb/lib/lib/dbeng/db_mysql.php

Het antwoordt wat je hier krijgt zal iets zijn 'Directory or file does not exists' aangezien lib/lib/dbeng/ niet bestaat.

Je kunt dit op vele manieren oplossen door zoals met je include_path spelen (het makkelijkste); "/share/MD0_DATA/Qweb/websitespotweb/" toevoegen. Of je kunt de maker erop attenderen dat hij de gebruiker bij het installeren van Spotweb een absolute path laat opgeven, in jouw geval: "/share/MD0_DATA/Qweb/websitespotweb/"

AH! opgelost!
Mijn probleem (het niet opkunnen halen van posts) zie mijn post 1 pagina terug heb ik simpel opgelost. Er staat namelijk een foutje in de uitleg van Warbringer.
Hierin staat:

2. Andere optie is het aanmaken van een bestand genaamd ownsettings.php in /share/MD0_DATA/Web/spotweb/ en daar het volgende in zetten:

<?php
ini_set("include_path", "/opt/share/pear"); 
?>

Ik heb dat veranderd in

<?php
ini_set("include_path", ".:opt/share/pear"); 
?>

er staat dus geen / voor opt/share/pear, maar een .:
Na deze verandering werd er keurig ge-update.

Of het een echte fout van Warbringer is weet ik niet, maar voor mij werkt dit zo.

[Mar2zz]

Heeft eweka iets aangepast ofzo?
Hoeveel spots hebben jullie in de database? Ik heb de database opnieuw gebuild vanwege wat wijzigingen in config en dit aantal is het resultaat:
Processed a total of 607253 spots
Dat is toch heul veul?

[mrwolf]

Sinds vanochtend (git pull gedaan) krijg ik veel foutmeldingen.

Als ik op een download klik, dan krijg ik een pop-up met geweldige melding 'error'...
Soms wordt de nzb alsnog naar sabnzbd gestuurd, maar soms ook niet... weird... Ook zitten er veel foutmeldingen tussen: ' URL Fetching failed; Unusable NZB file'.

[ Voor 18% gewijzigd door mrwolf op 05-03-2011 10:46 ]

[Mar2zz]

Die fout heb ik dus ook, dacht dat ik een oplossing had maar niet dus.

Spotweb is m.i. ook ineens een bak trager dan gisteren (vanmorgen gitpull gehad), heb jij dat ook? De paging heeft het niet echt beter gemaakt...

[ Voor 87% gewijzigd door Mar2zz op 05-03-2011 11:10 ]

[FreshMaker]

Mar2zz schreef op zaterdag 05 maart 2011 @ 09:56:
Heeft eweka iets aangepast ofzo?
Hoeveel spots hebben jullie in de database? Ik heb de database opnieuw gebuild vanwege wat wijzigingen in config en dit aantal is het resultaat:
Processed a total of 607253 spots
Dat is toch heul veul?

Ik denk dat dat aan hun opslag manier ligt
de datawarehousing archiveerd bestanden, en zet ze online bij opvraag.

Omdat er nu natuurlijk 'veel' requests komen in de free.pt groep, komen die online
meestal als er 7 of 14 dagen ( geen idee van de werkelijke levensduur ) geen requests voor bepaalde posts komen, gaan die weer "terug" het archief in

Door spotweb ( en consorten) krijgt eweka nu natuurlijk dagelijks een paar (gaziljoen) requests, en blijven ze deze cachen.
Alsje in de gemiddelde crontab kijkt, daar staat hij elke 30 / 45 minuten als update in, de andere handmatige update's van spotnet, en spotlite doen hetzelfde ..
Zo blijft de groep wel "leven"

[Brummetje]

Verwijderd schreef op vrijdag 04 maart 2011 @ 23:13:
Ik heb net alle updates van spotweb gemerged in mijn fork (gaat allemaal niet zomaar).
Serverside paging zit er nu in.

De fancybox stond op 60% hoogte van je scherm, heb het naar 94% gezet (header.inc.php staat dat)

*edit*
spotweb heeft een index toegevoegd op filterloze queries, supersnel dit (ik heb mn fork geupdate).

Ik zeg top! Het is hier nu echt super snel.. Goede update Fancybox verandering is ook beter.

[Zjemm]

is er al een eenduidige how to? voor een installatie op een linux server (dus geen nas)

[Gomez12]

FreshMaker schreef op zaterdag 05 maart 2011 @ 11:09:
[...]
Omdat er nu natuurlijk 'veel' requests komen in de free.pt groep, komen die online
meestal als er 7 of 14 dagen ( geen idee van de werkelijke levensduur ) geen requests voor bepaalde posts komen, gaan die weer "terug" het archief in

Enkel merkt de gebruiker niets van het archief. Dat is net zo goed toegankelijk voor de gebruiker ( hooguit ietwat trager ).
Eweka gaat echt geen archief bijhouden waar geen gebruikers bijkunnen.

Zo blijft de groep wel "leven"

De groep leefde al, het enige wat ik vermoed dat er gebeurd is is dat eweka de header-retentie wat veranderd heeft. Headers zijn voor een eweka etc zwaar en eerst was er geen noodzaak toe dus hielden ze die maar een week

[Caveman]

Hmm, ook maar eens een gitpull gedaan.... De database wordt niet meer geupdate
Krijg de volgende melding:

code:

Notice: Undefined variable: argc in /volume1/web/spotweb/retrieve.php on line 39
Retrieving new Spots from server... Spots in database: 367117 Appr. Message count: 781579 First message number: 1989963 Last message number: 2771542 Current message: 2772187 Processed a total of 0 spots Finished retrieving spots. Retrieving new comments from server... Appr. Message count: 193219 First message number: 2660 Last message number: 195879 Current message: 196514 Processed a total of 0 comments Finished retrieving comments.

Hij ziet dus wel dat er nieuwe messages zijn maar hij doet er niets mee. Had keurig een backup gemaakt van mijn werkende versie, die terug gezet en die wil ook niet meer updaten. Dat snap ik dus niet, ik heb niets veranderd, alles staat keurig in ownsettings. Bij de "oude" versie krijg ik de volgende melding:

code:

Spots in database: 367117 Appr. Message count: 781585 First message number:1989963 Last message number: 2771548 Current message: 2772187 Done retrieving spots, retrieving comments... Appr. Message count: 193345 First message number:2660 Last message number: 196005 Current message: 196514

Er gebeurt dus niets, met mijn newserver is niets aan de hand, spotnet werkt gewoon goed.
[edit]
Ik heb nog even de fork van Bakman geprobeert, als ik daar update krijg ik alleen een witte pagina met een getal: 36711700.
Als ik handmatig retrieve.php uitvoer krijg geen php fout maar hij doet niets met de spots....

code:

Retrieving new Spots from server... Spots in database: 367117 Appr. Message count: 781596 First message number: 1989963 Last message number: 2771559 Current message: 2772187 Processed a total of 0 spots Finished retrieving spots. Retrieving new comments from server... Appr. Message count: 193812 First message number: 2660 Last message number: 196472 Current message: 196514 Processed a total of 0 comments Finished retrieving comments.

(de fork van bakman is trouwens wel supersnel....)

[ Voor 21% gewijzigd door Caveman op 05-03-2011 12:01 ]

[zeroday]

Caveman schreef op zaterdag 05 maart 2011 @ 11:31:
[/code]
(de fork van bakman is trouwens wel supersnel....)

als je
de
$settings['prefs']['perpage'] = 100;
aanpast in settings.php dan is spotweb nu ook supersnel ;-)

nb net via de webinterface een update gedaan en mijn database is gewoon geupdated.

Let er wel op: (dit is iets wat ik op git al gemeld heb): als je mysql database op je flash draait dan kan het voorkomen dat je ruimte te beperkt is ten opzichte van je mysql db grootte. Dit kan vooral voorkomen als je spotweb op een nas draait.

je mysql moet je bij voorkeur op je HDD hebben draaien.
dus als /var/lib/mysql naar je flash verwijst kan dat wellicht en oorzaak zijn

je kan bijv. door mysql te stoppen en te starten wellicht zien wat voor melding deze geeft, mocht dit het geval zijn.
Let wel: dit is een aanname en iets wat ik op mijn plug device heb meegemaakt afgelopen week en kan wellicht niets te maken hebben met jouw probleem.

[ Voor 56% gewijzigd door zeroday op 05-03-2011 12:15 ]

[FreshMaker]

Zjemm schreef op zaterdag 05 maart 2011 @ 11:17:
is er al een eenduidige how to? voor een installatie op een linux server (dus geen nas)

Vanaf welk punt wil je het hebben ?

Draai je al een server, heb je de dependencies al ?

de procedure in de OP is nagenoeg hetzelfde om te volgen op een ubuntumachine


log in via putty

Gomez12 schreef op zaterdag 05 maart 2011 @ 11:21:
[...]

Enkel merkt de gebruiker niets van het archief. Dat is net zo goed toegankelijk voor de gebruiker ( hooguit ietwat trager ).
Eweka gaat echt geen archief bijhouden waar geen gebruikers bijkunnen.


[...]

De groep leefde al, het enige wat ik vermoed dat er gebeurd is is dat eweka de header-retentie wat veranderd heeft. Headers zijn voor een eweka etc zwaar en eerst was er geen noodzaak toe dus hielden ze die maar een week

Je begrijpt volgens mij niet helemaal hoe het werkt
Een usenet aanbieder heedt niet alles "live" staan, maar het merendeel staat in het archief

op het moment dat een gebruiker een post opvraagt ( via header of nzb ) wordt het uit de storage gecopieerd naar de live servers.
Dit gebeurt op de achtergrond.
Zodoende kan een post die niet vaak wordt opgevraagd, of een héél oude soms langzaam binnenkomen.

Zou je dezelfde nzb later nog een keer opvragen, dan staat hij "live" en heb je direct toegang.
Dit wordt een paar dagen ( verschilt per aanbieder ) online gehouden, en verdwijnt dan weer in de vergetelheid, om plaats te maken voor nieuwe aanvragen

De meeste, zoniet alle usenet aanbieders hebben een "live" retentie van 30 tot 60 dagen, de rest staat in archief.

( archief is simpelweg een opslaglocatie, geen afgesloten ruimte iod , de posts zullen daar gecomprimeerd opeslagen zijn waarschijnlijk)
Uiteraard heb je toegang tot dat archief, alleen niet live ( headeren )

[Mr Magic]

Zjemm schreef op zaterdag 05 maart 2011 @ 11:17:
is er al een eenduidige how to? voor een installatie op een linux server (dus geen nas)

Ik ben met deze twee een heel eind gekomen:

Entertainment vanuit de luie stoel: Spotweb
Entertainment vanuit de luie stoel: Mediafrontpage

De tweede link alleen gebruikt voor de initiele setup van apache en git enzo.

Heb Ubuntu Server 10.10 via een ISO op een Windows 2008 Hyper-V virtueel machientje geinstalleerd. Werkt prima.

Verder de tips uit dit topic gevolgd en in plaats van de "normale" SpotWeb de fork van bakman gebruikt.

[ygma!l]

Goed, spotweb draait, maar de link naar sabnzbd+ geeft problemen. Zowel spotweb als sabnzbd+ draaien op dezelfde server (Ubuntu 10.04 server editie).

Het berichtje om te downloaden voor sabnzbd+ komt wel binnen, want in de history komt de volgende regel te staan: http://localhost/spotweb/?page=getnzb&messageid=[e-mail] - Failed to add url

Als ik in spotweb op het download pijltje klik om te downloaden in sabnzbd+ krijg ik een javascript popup met de veel zeggende tekst "error".

De settings van ownsettings.php

code:

$settings['sabnzbd']['host'] = 'ip adres van de server:gebruikte poort';
$settings['sabnzbd']['apikey'] = 'de api key';
$settings['sabnzbd']['spotweburl'] = 'http://localhost/spotweb/';
$settings['sabnzbd']['url'] = 'http://$SABNZBDHOST/sabnzbd/api?mode=addurl&name=$NZBURL&nzbname=$SPOTTITLE&cat=$SANZBDCAT&apikey=$APIKEY&output=json';

Ik heb tevens in de map spotweb zelf en de map erboven geprobeerd een .htaccess bestand te plaatsen met daarin "Allow 127.0.0.1", maar dit mocht niet baten.

Als ik zelf naar de link: http://localhost/spotweb/?page=getnzb&messageid=[e-mail] ga, maar dan localhost vervang voor het ip adres van de server, krijg ik keurig een nzb. Deze gooi ik vervolgens zelf in sabnzbd+ en dit werkt.

[Workaholic]

Momenteel gebruik ik spotnet op een windows platform met daarop AltBinz voor het downloaden/rarren/quickparren.

Dit gaat allemaal perfect en zelfs mijn vriendin kan via remote desktop films downloaden. Kan iemand mij vertellen wat de voordelen zijn van spotweb als toevoeging op bovenstaande combi? Ik wil graag een windows omgeving behouden met rdp en het downloaden etc via alt-binz laten lopen.

Is de spotweb versie vlotter in gebruik dan de windows client versie? Mogelijk dat het daarom handig is om een ubuntu server in te richten hiervoor en puur als client te gebruiken. Is het dan mogelijk om automatisch nzb op een netwekr mapping op te slaan zodat alt-binz ze op pakt?

[Warbringer]

nowell schreef op zaterdag 05 maart 2011 @ 00:51:
[...]

AH! opgelost!
Mijn probleem (het niet opkunnen halen van posts) zie mijn post 1 pagina terug heb ik simpel opgelost. Er staat namelijk een foutje in de uitleg van Warbringer.
Hierin staat:

[...]


Ik heb dat veranderd in

<?php
ini_set("include_path", ".:opt/share/pear"); 
?>

er staat dus geen / voor opt/share/pear, maar een .:
Na deze verandering werd er keurig ge-update.

Of het een echte fout van Warbringer is weet ik niet, maar voor mij werkt dit zo.

Ik heb het ook maar gejat van de Openingpost Maar ondanks dat werkt het bij mij prima. Geen idee waarom bij jou .: nodig is en geen /. Anderzijds kun je het ook gewoon in je /etc/config/php.ini zetten.

[zeroday]

ygma!l schreef op zaterdag 05 maart 2011 @ 14:56:

Het berichtje om te downloaden voor sabnzbd+ komt wel binnen, want in de history komt de volgende regel te staan: http://localhost/spotweb/?page=getnzb&messageid=[e-mail] - Failed to add url

mode=addurl&name=$NZBURL&nzbname=$SPOTTITLE&cat=$SANZBDCAT&apikey=$APIKEY&output=json';
[/code]

Ik heb tevens in de map spotweb zelf en de map erboven geprobeerd een .htaccess bestand te plaatsen met daarin "Allow 127.0.0.1", maar dit mocht niet baten.

Als ik zelf naar de link: http://localhost/spotweb/?page=getnzb&messageid=[e-mail] ga, maar dan localhost vervang voor het ip adres van de server, krijg ik keurig een nzb. Deze gooi ik vervolgens zelf in sabnzbd+ en dit werkt.

1. heb je wel je api key ingevuld in ownsettings.php of in settings.php? of heb je dit even voor het forum je api key eruit gehaald? dat kan een oorzaak zijn wellicht
2. onder IE heb ik het probleem dat de nzb niet toegevoegd wordt, dus dat zou ook een issue kunnen zijn, maar dan krijg je (ik) totaal geen melding in sabnzbd
3. heb je de laatste git pull of laatste versie gepakt? de foutmelding wordt sinds vanmorgen/begin middag onderdrukt

[smeerbartje]

zeroday schreef op zaterdag 05 maart 2011 @ 15:50:
[...]


1. heb je wel je api key ingevuld in ownsettings.php of in settings.php? of heb je dit even voor het forum je api key eruit gehaald? dat kan een oorzaak zijn wellicht
2. onder IE heb ik het probleem dat de nzb niet toegevoegd wordt, dus dat zou ook een issue kunnen zijn, maar dan krijg je (ik) totaal geen melding in sabnzbd
3. heb je de laatste git pull of laatste versie gepakt? de foutmelding wordt sinds vanmorgen/begin middag onderdrukt

Ook zou je ervoor kunnen kiezen om de NZB gewoon door PHP op de server te laten downloaden in een direcetory die gewatched wordt door SABNZB. De integratie met SAB middels de API vind ik persoonlijk hiet heel stabiel...

[zeroday]

smeerbartje schreef op zaterdag 05 maart 2011 @ 15:53:
[...]

Ook zou je ervoor kunnen kiezen om de NZB gewoon door PHP op de server te laten downloaden in een direcetory die gewatched wordt door SABNZB. De integratie met SAB middels de API vind ik persoonlijk hiet heel stabiel...

het kan inderdaad wat beter, maar ik wil graag dingen in de juiste categorien hebben en dat doet sabnzbd niet als je het via een nzb doet die in een folder gekopieerd wordt.

[Caveman]

zeroday schreef op zaterdag 05 maart 2011 @ 12:09:
[...]
je mysql moet je bij voorkeur op je HDD hebben draaien.
dus als /var/lib/mysql naar je flash verwijst kan dat wellicht en oorzaak zijn

Database en mysql staat op de harddisk, gestart en gestopt; geen foumeldingen. Ik heb maar een nieuwe database aangemaakt en nu werkt het weer. Ik heb alleen op de CLI een retrieve gedaan en daarna update spots op webinterface en nou heb ik dus alles dubbel En een nog veeeel grotere database....

[Xaero]

Workaholic schreef op zaterdag 05 maart 2011 @ 14:58:
Momenteel gebruik ik spotnet op een windows platform met daarop AltBinz voor het downloaden/rarren/quickparren.

Dit gaat allemaal perfect en zelfs mijn vriendin kan via remote desktop films downloaden. Kan iemand mij vertellen wat de voordelen zijn van spotweb als toevoeging op bovenstaande combi? Ik wil graag een windows omgeving behouden met rdp en het downloaden etc via alt-binz laten lopen.

Is de spotweb versie vlotter in gebruik dan de windows client versie? Mogelijk dat het daarom handig is om een ubuntu server in te richten hiervoor en puur als client te gebruiken. Is het dan mogelijk om automatisch nzb op een netwekr mapping op te slaan zodat alt-binz ze op pakt?

Voordeel is: je gooit 1 poort open, en je vriendin kan overal films downloaden. Ramt op het download icoontje, en de NZB wordt in de map geplaatst waar jij hem wil hebben. Daarna zorg je er gewoon voor dat Altbinz deze oppakt. Persé een een ubuntu server hoeft niet eens, het werkt zelfs met xampp als het goed is. En ja, ik vind het vlotter werken. Alle updates worden gewoon om het half uur automatisch toegevoegd (wanneer je dit instelt) en er wordt actief mee gewerkt, waardoor de vooruitgang sneller is dan bij spotnet of spotlite

[Mabili]

Momenteel heb ik ook Spotweb op mijn Qnap draaien alleen loop ik tegen een vreemd probleem aan.
Als ik kijk naar de post tijd en datum dan lijkt deze behoorlijk vooruit te lopen de meest recente post is van Sat, 05-Mar-2011 (23:04)

Nu heb ik de database al eens opnieuw op laten bouwen en heb ik de nas tijd instellingen nog eens gecontroleerd maar deze staan goed.

Hoe kan ik dit probleem oplossen?

[Tranzy]

Mabili schreef op zaterdag 05 maart 2011 @ 18:13:
Momenteel heb ik ook Spotweb op mijn Qnap draaien alleen loop ik tegen een vreemd probleem aan.
Als ik kijk naar de post tijd en datum dan lijkt deze behoorlijk vooruit te lopen de meest recente post is van Sat, 05-Mar-2011 (23:04)

Nu heb ik de database al eens opnieuw op laten bouwen en heb ik de nas tijd instellingen nog eens gecontroleerd maar deze staan goed.

Hoe kan ik dit probleem oplossen?

dit probleem heb ik dus ook ... heb ook mijn cron job nog niet voor elkaar ..misschien dat iemand mij daarmee zou willen helpen?

[remcoXP]

onder ubuntu had ik het werken. maar naar een reboot werkte het niet meer. na veel gereinstall enz kreeg ik de webserver zover dat hij mijn php pagina's als download aanbood ipv deze toonde.

hierna heb ik het opgegeven en op windows verder gegaan. echter de usbwebserver was te beperkt waarna ik het nogmaals met wamp heb geprobeerd.

wat ik ook doe ik krijg het niet werkend.
iemand een installatie beschrijving voor windows ??

[Xaero]

Mabili schreef op zaterdag 05 maart 2011 @ 18:13:
Momenteel heb ik ook Spotweb op mijn Qnap draaien alleen loop ik tegen een vreemd probleem aan.
Als ik kijk naar de post tijd en datum dan lijkt deze behoorlijk vooruit te lopen de meest recente post is van Sat, 05-Mar-2011 (23:04)

Nu heb ik de database al eens opnieuw op laten bouwen en heb ik de nas tijd instellingen nog eens gecontroleerd maar deze staan goed.

Hoe kan ik dit probleem oplossen?

Neem eens de timestamp uit database, en check daarna ook even welke tijdzone je hebt in PHP.

Vraag me eigenlijk af welke tijd er wordt gehanteerd tijdens het spotten. Als iemand nou een spot plaatst wanneer z'n computertijd over 30 dagen is o.i.d., komt het er dan ook in te staan? Of maaktie gebruik van een externe tijd service ofzo?

[Mar2zz]

@Bakman:
Ik zag op github dat we bij jou geen issues kunnen plaatsen, maar ik heb er wel 1 met jouw spotwebversie. Als je spots naar een volgende tab doet in firefox (dus niet de lightbox laadt) dan laadt ie 'als een normale pagina, wat helemaal prima is. Alleen staan de reacties dan direct tegen de linkerkant van het scherm aan, wat vervelend leest. Kan je daarvoor ruimte maken zoals default spotweb het heeft, zodat je eerst een kantlijntje hebt van xx pixels en dan pas de reacties/plaatjes etc?

Ik heb met mijn nieuwe install dat ik spots 4 tot 5 keer in het overzicht krijg, direct onder elkaar. Megairritant. Ik weet alleen niet waaraan het ligt, of ze nou 4 tot 5 keer in de database staan, of 4 tot 5 keer geladen worden door de filters, of omdat de spotters er ze 4 tot 5 keer ingooien ofzo of omdat ik elk uur een retrieve doe... Ik vind het er onbruikbaar van worden eerlijk gezegd (de database is een cleane van vanmorgen, spotweb & bakman's gepulled rond 9 uur vanmorgen.

Zitten andere ook met dubbelaars, driedubbelaars, vierdubbelaars? (ik gebruik een sqlite3 dbase, gewoon de default one).

[wontcachme]

Moet je ff met phpmyadmin (geen idee of dat werkt bij sqlite db) kijken hoe vaak een spot in de db staat.

[Nakebod]

Dubbele spots heb ik hier soms ook.
Dacht eerst dat ze alleen voorkwamen als ik de zoekfunctie gebruikte. Maar ook in de filters zie ik dat het zeer sporadisch voorkomt.
En het zijn echt dubbele, het messageid is exact hetzelfde.

[Mabili]

Xaero schreef op zaterdag 05 maart 2011 @ 19:34:
[...]


Neem eens de timestamp uit database, en check daarna ook even welke tijdzone je hebt in PHP.

Vraag me eigenlijk af welke tijd er wordt gehanteerd tijdens het spotten. Als iemand nou een spot plaatst wanneer z'n computertijd over 30 dagen is o.i.d., komt het er dan ook in te staan? Of maaktie gebruik van een externe tijd service ofzo?

Zou je het mij iets uitgebreider kunnen uitleggen hoe en waar ik in PHP de tijdzone kan controleren?
Heb php.ini doorgezocht maar daar kan ik geen timezone terug vinden..

[Verwijderd]

@Mar2zz; issues mogen nu padding zit er in, en links (anders dan sabnzb) zullen in nieuwe windows openen.

Voor dubbele records….ik zou je db helemaal leeggooien, inclusief de comment table en in de nntp table, maxarticleid op 0 zetten, of gewoon alles weggooien.

[Pistolebob]

Mabili schreef op zaterdag 05 maart 2011 @ 20:00:
[...]


Zou je het mij iets uitgebreider kunnen uitleggen hoe en waar ik in PHP de tijdzone kan controleren?
Heb php.ini doorgezocht maar daar kan ik geen timezone terug vinden..

code:

[Date]
; Defines the default timezone used by the date functions
date.timezone = "Europe/Amsterdam" 
;additional options at http://php.net/timezones

in php.ini

[Xaero]

Mabili schreef op zaterdag 05 maart 2011 @ 20:00:
[...]


Zou je het mij iets uitgebreider kunnen uitleggen hoe en waar ik in PHP de tijdzone kan controleren?
Heb php.ini doorgezocht maar daar kan ik geen timezone terug vinden..

Tijdzone die PHP gebruikt kan je opvragen door

PHP:

<?php
echo 'Tijdzone:' . date_default_timezone_get();
?>

te zetten in een nieuw .php documentje.

[Mar2zz]

Verwijderd schreef op zaterdag 05 maart 2011 @ 20:02:
@Mar2zz; issues mogen nu padding zit er in, en links (anders dan sabnzb) zullen in nieuwe windows openen.

Voor dubbele records….ik zou je db helemaal leeggooien, inclusief de comment table en in de nntp table, maxarticleid op 0 zetten, of gewoon alles weggooien.

Thx is een stuk beter, dat leest prima. Snel gedaan wat een service!

wat betreft die dubbele spots, volgens mij is er iets met retrieve.php want mijn cpu wordt gewoon gegijzeld. kan helemaal niet meer lekker surfen op de laptop, terwijl gisteren spotweb en jouw versie vliegensvlug waren is het vandaag helemaal mis.

db leeggooien? Bij sqlite is dat toch gewoon weggooien?
wat is speedwise het beste eigenlijk, mysql of sqlite?

[Xaero]

Verwijderd schreef op zaterdag 05 maart 2011 @ 20:02:
@Mar2zz; issues mogen nu padding zit er in, en links (anders dan sabnzb) zullen in nieuwe windows openen.

Voor dubbele records….ik zou je db helemaal leeggooien, inclusief de comment table en in de nntp table, maxarticleid op 0 zetten, of gewoon alles weggooien.

Opzich zou in retrieve.php ook script kunnen komen die dubbele resultaten gewoon verwijderd a.d.h.v. de MessageID.

Edit:

Godsamkljdsf. Ging eens testen naar dubbele resultaten.. Is niet om goed van te worden .

code:

SELECT DISTINCT messageid
FROM spots

Krijg je alle dubbele message-id's .
Kijk ik iets naar boven: 138,671 totaal.

No fucking way .

[ Voor 23% gewijzigd door Xaero op 05-03-2011 20:39 ]

[Mabili]

Xaero schreef op zaterdag 05 maart 2011 @ 20:12:
[...]


Tijdzone die PHP gebruikt kan je opvragen door

PHP:

<?php
echo 'Tijdzone:' . date_default_timezone_get();
?>

te zetten in een nieuw .php documentje.

Bedankt voor de tip!
Probleem zit hem dus inderdaad in de timezone.
Als timezone krijg ik Tijdzone:Asia/Taipei

Alleen hoe kan ik deze aanpassen?

Probleem opgelost.
Via Qnap beheer / php.ini bewerken en dan de volgende regel aanpassen in:
date.timezone = "Europe/Amsterdam"

[ Voor 13% gewijzigd door Mabili op 05-03-2011 20:28 ]

[Manuel]

@Mabali: Een beetje inzet mag ook wel...

Pistolebob schreef op zaterdag 05 maart 2011 @ 20:03:
[...]

code:

[Date]
; Defines the default timezone used by the date functions
date.timezone = "Europe/Amsterdam" 
;additional options at http://php.net/timezones

in php.ini

[Xaero]

Mabili schreef op zaterdag 05 maart 2011 @ 20:23:
[...]


Bedankt voor de tip!
Probleem zit hem dus inderdaad in de timezone.
Als timezone krijg ik Tijdzone:Asia/Taipei

Alleen hoe kan ik deze aanpassen?

In je PHP.ini even zoeken naar 'timezone'. Het puntcomma-teken weghalen en er "Europe/Amsterdam" achter zetten, daarna apache herstarten.

[Mar2zz]

@Xaero
Is dat zo? maar dan zou dat er toch al inzitten want daar hou je toch rekening mee? Ik kan me niet voorstellen dat niemand er last van heeft. ik had het eerder sporadisch, maar vandaag liep het echt de spuigaten uit, tot 5x, dan heb je op 1 pagina van 100 maar 20 verschillende spots staan...

Ik ben nu opnieuw aan het retrieven. Heb alles wat ook maar enigzins naar database rook weggegooid, ik moest zelfs opnieuw een git pull doen omdat php retrieve.php niet meer werkte, iets met sqlitefactory() blahblah

[ Voor 0% gewijzigd door Mar2zz op 05-03-2011 20:25 . Reden: moet wat vaker f5 blijkbaar.. ]

[Verwijderd]

Iemand een scriptje die dit allemaal automatisch installeerd? Voor Debian/CentOS/of ubuntu (server)

[Xaero]

Mar2zz schreef op zaterdag 05 maart 2011 @ 20:24:
@Xaero
Is dat zo? maar dan zou dat er toch al inzitten want daar hou je toch rekening mee? Ik kan me niet voorstellen dat niemand er last van heeft. ik had het eerder sporadisch, maar vandaag liep het echt de spuigaten uit, tot 5x, dan heb je op 1 pagina van 100 maar 20 verschillende spots staan...

Ik ben nu opnieuw aan het retrieven. Heb alles wat ook maar enigzins naar database rook weggegooid, ik moest zelfs opnieuw een git pull doen omdat php retrieve.php niet meer werkte, iets met sqlitefactory() blahblah

Heb hierboven even een simpel testje gedaan of er dubbele resultaten in staan.. Nou, ik heb er in ieder geval genoeg. Ik remove zo ook even wéér me database, en probeer het ook maar opnieuw. Zal daarna nog een keer kijken.

Verwijderd schreef op zaterdag 05 maart 2011 @ 20:27:
Iemand een scriptje die dit allemaal automatisch installeerd? Voor Debian/CentOS/of ubuntu (server)

Sjongejonge, het is apt-get apache2 php5 phpmyadmin mysql5-server php-pear git
Daarna pear install --alldeps Net_NNTP
After that: cd /var/www/
en dan nog git clone https://github.com/spotweb/spotweb.git

Dan zou het gewoon al moeten werken.. Wel uit de losse hand, dus kan wat foutjes gemaakt hebben

[ Voor 24% gewijzigd door Xaero op 05-03-2011 20:31 ]

[Mabili]

Manuel schreef op zaterdag 05 maart 2011 @ 20:24:
@Mabali: Een beetje inzet mag ook wel...


[...]

Zie mij edit post waarin ik aangeef dat het probleem al opgelost is

[Mar2zz]

Verwijderd schreef op zaterdag 05 maart 2011 @ 20:27:
Iemand een scriptje die dit allemaal automatisch installeerd? Voor Debian/CentOS/of ubuntu (server)

Ik was van plan om er 1 te schrijven voor mijn LaSi-installer. Komt binnenkort wel. Maar het is zo simpel als Xaero zegt met 3 of 4 regels code kun je al aan de slag en is alles te vinden op localhost oftewel localhost:80.

HIer een heel simpele voor sqlitedatabase (=minste configuratie). Houdt verder nergens rekening mee en gaat alleen maar uit van default situaties. (ubuntu geschikt).

uitvoeren vanuit je homedirectory, dan zitten de rechten ook gelijk goed.

code:

#!/bin/bash

sudo apt-get install apache2 php5-curl php5-sqlite php-pear &&
sudo pear install Net_NNTP &&
git clone https://github.com/spotweb/spotweb.git &&
cp spotweb/settings.php spotweb/ownsettings.php &&
echo "Vul de gegevens in van je usenetprovider en verwijder verder alles daaronder"
editor spotweb/ownsettings.php
sudo cp -a spotweb /var/www &&
sudo /etc/init.d/apache2/reload &&
cd /var/www/spotweb &&
php retrieve.php

[ Voor 46% gewijzigd door Mar2zz op 05-03-2011 20:47 ]

[Xaero]

17.000 spots die dubbel er bij mij in zitten.. En hij is nog steeds aan het retrieven.. Sommige spots zelfs 4 keer er in.

Zouden meer mensen deze code eens willen uitvoeren in MySQL (ervan uit gaande dat ze MySQL gebruiken)

code:

SELECT messageid, 
 COUNT(messageid) AS Dubbelen
FROM spots
GROUP BY messageid
HAVING ( COUNT(messageid) > 1 )
ORDER BY Dubbelen DESC

En dan bovenin even hoeveel dubbelen jullie hebben..

[zeroday]

Tranzy schreef op zaterdag 05 maart 2011 @ 19:02:
[...]


dit probleem heb ik dus ook ... heb ook mijn cron job nog niet voor elkaar ..misschien dat iemand mij daarmee zou willen helpen?

ik ik heb het zo maar even gedaan .. (omdat niet elke minuut van de dag ik achter de pc zit en het nodig vind om het te updaten heb ik een aantal tijdstippen gedaan dat ik vaak wel achter de de PC zit om te zien of er wat nieuws is ..

*,30 8,17,18,19,20,21,22 * * * /var/www/start/retrieve.sh 2>&1

retrieve.sh (nano -w /var/www/start/retrieve.sh)

#!/bin/bash
cd /var/www/spotweb
/usr/bin/php retrieve.php >> /root/retrieve.log

[zeroday]

Xaero schreef op zaterdag 05 maart 2011 @ 20:49:
17.000 spots die dubbel er bij mij in zitten.. En hij is nog steeds aan het retrieven.. Sommige spots zelfs 4 keer er in.

Zouden meer mensen deze code eens willen uitvoeren in MySQL (ervan uit gaande dat ze MySQL gebruiken)

code:

SELECT messageid, 
 COUNT(messageid) AS Dubbelen
FROM spots
GROUP BY messageid
HAVING ( COUNT(messageid) > 1 )
ORDER BY Dubbelen DESC

En dan bovenin even hoeveel dubbelen jullie hebben..

bedoel je dit?
Toon Records 0 - 29 (29,893 totaal, Query duurde 6.0530 sec)

[Xaero]

zeroday schreef op zaterdag 05 maart 2011 @ 20:49:
[...]


ik ik heb het zo maar even gedaan .. (omdat niet elke minuut van de dag ik achter de pc zit en het nodig vind om het te updaten heb ik een aantal tijdstippen gedaan dat ik vaak wel achter de de PC zit om te zien of er wat nieuws is ..

Wat is voor jou het nut of hij nou elk uur update, of op jou gespecificeerde tijden? Of hij nu elk uur 100 spots binnen haalt, of om 6 uur 1000 spots zit toch geen verschil in? Of heb ik dat mis?

zeroday schreef op zaterdag 05 maart 2011 @ 20:53:
[...]


bedoel je dit?
Toon Records 0 - 29 (29,893 totaal, Query duurde 6.0530 sec)

Jup, op 1 of andere manier zitten er dus gewoon meer dan 29.893 dubbele records in . Vind dat toch best veel imho...

[ Voor 27% gewijzigd door Xaero op 05-03-2011 20:55 ]

[Pistolebob]

Xaero schreef op zaterdag 05 maart 2011 @ 20:49:
17.000 spots die dubbel er bij mij in zitten.. En hij is nog steeds aan het retrieven.. Sommige spots zelfs 4 keer er in.

Zouden meer mensen deze code eens willen uitvoeren in MySQL (ervan uit gaande dat ze MySQL gebruiken)

code:

SELECT messageid, 
 COUNT(messageid) AS Dubbelen
FROM spots
GROUP BY messageid
HAVING ( COUNT(messageid) > 1 )
ORDER BY Dubbelen DESC

En dan bovenin even hoeveel dubbelen jullie hebben..

Toon Records 0 - 29 (5,302 totaal, Query duurde 0.0002 sec)



Heb je ook een query om de dubbele te verwijderen ?

Edit:
zoiets:

code:

CREATE TABLE new_table as
SELECT * FROM spots WHERE 1 GROUP BY messageid;

Dan krijg je een nieuwe tabel zonder dubbele messageid's.

[ Voor 15% gewijzigd door Pistolebob op 05-03-2011 21:03 ]

[zeroday]

Xaero schreef op zaterdag 05 maart 2011 @ 20:54:
[...]


Wat is voor jou het nut of hij nou elk uur update, of op jou gespecificeerde tijden? Of hij nu elk uur 100 spots binnen haalt, of om 6 uur 1000 spots zit toch geen verschil in? Of heb ik dat mis?

In principe niets ;-)
maar ik heb ergens ook nog newsnab draaien en ik weet nog niet of ik daar mee doorga, en die draait op een ander IP, en dat vind mijn newsprovider niet zo fijn .. (shared ip niet toegestaan .. ) en als ik die dus ook in cron wil draaien .. dan moet bovenstaande ;-)

[...]


Jup, op 1 of andere manier zitten er dus gewoon meer dan 29.893 dubbele records in . Vind dat toch best veel imho...

je kan hem ook op spotid toepassen en dan kom ik ook rond de 29K aan dubbele records

[ Voor 5% gewijzigd door zeroday op 05-03-2011 21:00 ]

[Mr_Blobby]

Xaero schreef op zaterdag 05 maart 2011 @ 20:49:
17.000 spots die dubbel er bij mij in zitten.. En hij is nog steeds aan het retrieven.. Sommige spots zelfs 4 keer er in.

Zouden meer mensen deze code eens willen uitvoeren in MySQL (ervan uit gaande dat ze MySQL gebruiken)

code:

SELECT messageid, 
 COUNT(messageid) AS Dubbelen
FROM spots
GROUP BY messageid
HAVING ( COUNT(messageid) > 1 )
ORDER BY Dubbelen DESC

En dan bovenin even hoeveel dubbelen jullie hebben..

Ik heb 5302 dubbele. Maar ze komen nooit meer dan 2x voor.

Even een steekproef gedaan en de dubbele uit de database van SpotWeb komen ook dubbel voor in de database van SpotNet. Dat kan bijna geen toeval zijn.
Misschien geeft de nieuwsserver soms een resultaat meermaals terug.
Of een bug in de sourcecode van SpotNet is zonder correctie vertaald naar SpotWeb.
Deze vind ik bijvoorbeeld in beide databases dubbel staan:
title = Katharine McPhee - Christmas Is The Time To Say I Love You**2010**

Ik gebruik overigens Lightningusenet.com.

[Pistolebob]

@Mr_Blobby
Ik gebruik ook Lightningusenet.
Ik heb precies hetzelfde aantal dubbele als u.

[Danfoss]

Verwijderd schreef op zaterdag 05 maart 2011 @ 20:02:
@Mar2zz; issues mogen nu padding zit er in, en links (anders dan sabnzb) zullen in nieuwe windows openen.

Voor dubbele records….ik zou je db helemaal leeggooien, inclusief de comment table en in de nntp table, maxarticleid op 0 zetten, of gewoon alles weggooien.

Wat doet de nntp tabel dan? is die alleen voor jouw fork of ook voor normale?
Ik heb zojuist op mijn ubuntu server ook spotweb geinstalleerd (via git) en de retrieve.php vanuit de cli gerund. Daarna database (mysql) gecontroleerd en nog een keer retrieve.php gedaan om te testen wat hij 2e keer zou doen.

Alleen heeft hij 2e keer dus alle spots en comments nog een keer opgehaald. Ik even gekeken in de mysql db en heb idd alle spotid's dubbel!

Nu heb ik in de spots tabel 794k rijen, in de comments tabel 403k rijen maar in de nntp tabel 0 rijen. Hoort er in de nntp iets te staan?

[Verwijderd]

die dubbele zaken zijn interessant.

voor de liefhebbers; update voor spotinfo, heb wat dingen zitten strippen en hier en daar netter gemaakt waar mogelijk

[Xaero]

Danfoss schreef op zaterdag 05 maart 2011 @ 21:12:
[...]


Nu heb ik in de spots tabel 794k rijen, in de comments tabel 403k rijen maar in de nntp tabel 0 rijen. Hoort er in de nntp iets te staan?

Hiermee checkt hij wat hij nog moet ophalen. Doordat ie bij jou leeg is, heeft hij dus alles nog een keer opgehaald. Verwijder gewoon _alle_ tabellen, dus niet leeghalen. En dan retrieve.php openen

Wut, wacht. Hier is hij ook leeg, die tabel tenminste.. Foutje in spotweb. Damn.

[ Voor 9% gewijzigd door Xaero op 05-03-2011 21:32 ]

[Mr_Blobby]

Pistolebob schreef op zaterdag 05 maart 2011 @ 21:11:
@Mr_Blobby
Ik gebruik ook Lightningusenet.
Ik heb precies hetzelfde aantal dubbele als u.

Even snel met Python een dump gemaakt van alle headers uit free.pt met deze python code:

Python:

import nntplib, string
nntp = nntplib.NNTP('news.lightningusenet.com', 119, "[e-mail]", "password")
resp, count, first, last, name = nntp.group('free.pt')
response, lines = nntp.xover(str(first),str(last),'lightningusenet_free.pt.dump')

En daar zie ik dus dezelfde dubbele in staan:

2480214 Katharine McPhee - Christmas Is The Time To Say I Love You**2010** | Katharine_McPhee-Christmas_Is_The_Time_To_Say_I_Love_You | boaz boaz <[e-mail]4vdq0OXlg2iizXE0HmOSUFbB-sNoIhdLRGJbRMMXbnxqAL1I3XcyzqnzoIo>

en

2486625 Katharine McPhee - Christmas Is The Time To Say I Love You**2010** | Katharine_McPhee-Christmas_Is_The_Time_To_Say_I_Love_You | boaz boaz <[e-mail]4vdq0OXlg2iizXE0HmOSUFbB-sNoIhdLRGJbRMMXbnxqAL1I3XcyzqnzoIo>

Het eerste getal is het artikel nummmer en die zijn verschillend en dus zijn het voor de newsserver verschillende artikelen.
Het is dus normaal gedrag van de newsservers en ook geen bug in SpotNet of SpotWeb.
Ze staan simpelweg dubbel op de newsservers.

De oplossing is simpel: laat retrieve.php altijd controleren of een opgehaalde spot al in de database staat

[Nakebod]

Danfoss schreef op zaterdag 05 maart 2011 @ 21:12:
[...]


Wat doet de nntp tabel dan?

Als het goed is is die tabel "alleen" voor je gebruikte server (Weet niet of hij daar ook echt wat mee doet), en het laatste ID van de spot. En voor comments eigenlijk hetzelfde.
En in alle 2 de gevallen een lock als retrieve.php draait, zodat hij, in theorie geen dubbele mag krijgen.
De praktijk lijkt er vooralsnog soms wel op

Editje: Net eens spotnet gestart, en daar staan ook dubbele in. Dus zoals Mr_Blobby al zei: Geen spotnet/spotweb probleem. Maakt het niet minder irritant tho

[ Voor 14% gewijzigd door Nakebod op 05-03-2011 21:41 ]

[zeroday]

Verwijderd schreef op zaterdag 05 maart 2011 @ 21:24:
die dubbele zaken zijn interessant.

voor de liefhebbers; update voor spotinfo, heb wat dingen zitten strippen en hier en daar netter gemaakt waar mogelijk

[afbeelding]

onder IE top .. onder Firefox ziet het er anders uit ..

[Xaero]

Mr_Blobby schreef op zaterdag 05 maart 2011 @ 21:37:
[...]
De oplossing is simpel: laat retrieve.php altijd controleren of een opgehaalde spot al in de database staat.

Dit levert wel echt veel extra query's op.. Voor elke spot moet er een nieuwe query bij komen om te checken of hij niet al toevallig er in staat. Ik denk dat het dan makkelijker (en beter voor de load) om achteraf gewoon alle dubbelen er uit te mikken.. Wel zonde van de id's die onnodig opgehoogd worden, maar ach

[Verwijderd]

zeroday schreef op zaterdag 05 maart 2011 @ 21:39:
onder IE top .. onder Firefox ziet het er anders uit ..

en hoe ziet er anders uit ? hier in safari & ff prima.

wat feedback is wel handig als je iets wil fixen.

[Danfoss]

Xaero schreef op zaterdag 05 maart 2011 @ 21:40:
[...]
Dit levert wel echt veel extra query's op.. Voor elke spot moet er een nieuwe query bij komen om te checken of hij niet al toevallig er in staat. Ik denk dat het dan makkelijker (en beter voor de load) om achteraf gewoon alle dubbelen er uit te mikken.. Wel zonde van de id's die onnodig opgehoogd worden, maar ach

Unieke key op spotid zetten in de tabel en als er db een uniqueness error teruggeeft bij de inserts negeren en doorgaan..

Beetje ranzige oplossing maar vrij makkelijk te implementeren

Nakebod schreef op zaterdag 05 maart 2011 @ 21:38:
[...]
Als het goed is is die tabel "alleen" voor je gebruikte server (Weet niet of hij daar ook echt wat mee doet), en het laatste ID van de spot. En voor comments eigenlijk hetzelfde.
En in alle 2 de gevallen een lock als retrieve.php draait, zodat hij, in theorie geen dubbele mag krijgen.
De praktijk lijkt er vooralsnog soms wel op

Ik heb alles leeggehaald en nog eens retrieve gedaan. Tijdens het retrieven gebeurt er niets met de nntp tabel en als hij klaar is blijft hij ook leeg. Nu snap ik ook wel waarom hij alles dubbel doet nu. Bij het starten van retrieve heeft hij geen maxarticleid en download hij vrolijk weer alles.

[Mr_Blobby]

Xaero schreef op zaterdag 05 maart 2011 @ 21:40:
[...]


Dit levert wel echt veel extra query's op.. Voor elke spot moet er een nieuwe query bij komen om te checken of hij niet al toevallig er in staat. Ik denk dat het dan makkelijker (en beter voor de load) om achteraf gewoon alle dubbelen er uit te mikken.. Wel zonde van de id's die onnodig opgehoogd worden, maar ach

Dat kan ook.
De SQL code om dubbele spots te verwijderen is:

SQL:

delete record1
from spots record1, spots record2
where record1.messageid = record2.messageid
and record1.id > record2.id

[zeroday]

Verwijderd schreef op zaterdag 05 maart 2011 @ 21:45:
[...]

en hoe ziet er anders uit ? hier in safari & ff prima.

wat feedback is wel handig als je iets wil fixen.

Laat maar hangen, ondanks het afsluiten van firefox en wat al niet meer .. nu ..wil ik een screendump maken .. is tie wel goed ..

zal wel aan mij liggen ;-)

[Xaero]

Danfoss schreef op zaterdag 05 maart 2011 @ 21:49:
Ik heb alles leeggehaald en nog eens retrieve gedaan. Tijdens het retrieven gebeurt er niets met de nntp tabel en als hij klaar is blijft hij ook leeg. Nu snap ik ook wel waarom hij alles dubbel doet nu. Bij het starten van retrieve heeft hij geen maxarticleid en download hij vrolijk weer alles.

No worries, hier precies hetzelfde. Zal wel ergens een foutje in de code zitten met de implentatie van 1 keer draaien van retrieve.php .

[Caveman]

Xaero schreef op zaterdag 05 maart 2011 @ 21:52:
[...]

No worries, hier precies hetzelfde. Zal wel ergens een foutje in de code zitten met de implentatie van 1 keer draaien van retrieve.php .

Hier ook, de hele dag er al mee bezig geweest. Als je er wel een waarde invult bij maxarticleid (van een bestaande spot van gisteren ofzo) dan doet ie ook niets.

[Verwijderd]

Mr_Blobby schreef op zaterdag 05 maart 2011 @ 21:50:
[...]

Dat kan ook.
De SQL code om dubbele spots te verwijderen is:

SQL:

delete record1
from spots record1, spots record2
where record1.messageid = record2.messageid
and record1.id > record2.id

gaat niet werken, heb deze ook ergens gevonden, maar dan moet je 'm anders invullen (record en .id kent ie uiteraard niet), bij mij komt er alleen geen record uit terug (met een select).

[Xaero]

Ik gebruik zelf:

SQL:

RENAME TABLE spots TO spots_old;
CREATE TABLE spots as SELECT * FROM spots_old WHERE 1 GROUP BY messageid;

Werkt aardig.. . Heb ook nntp tabel maar zelf ingevuld, kreeg daardoor wel wat dubbele zooi. Comments boeit me niet zo, dus die doet het nog steeds niet .

[Mar2zz]

Wel irritant dat dubbelen gebeuren. Spotlite heeft er geen last van (ubuntu 10.10 versie 32bit). Foutje in de retrieve.php ofzo?

[Mr_Blobby]

Verwijderd schreef op zaterdag 05 maart 2011 @ 22:17:
[...]

gaat niet werken, heb deze ook ergens gevonden, maar dan moet je 'm anders invullen (record en .id kent ie uiteraard niet), bij mij komt er alleen geen record uit terug (met een select).

Werkt bij mij prima.

[Danfoss]

Xaero schreef op zaterdag 05 maart 2011 @ 22:22:
Werkt aardig.. . Heb ook nntp tabel maar zelf ingevuld, kreeg daardoor wel wat dubbele zooi. Comments boeit me niet zo, dus die doet het nog steeds niet .

Idd. Zelf even de nntp tabel eenmalig invullen werkt wel

Lijkt erop dat de check op result van de update niet goed werkt in de functie setMaxArticleId. Het INSERT statement voert hij nooit uit bij een lege nntp tabel.

PHP:

    function setMaxArticleId($server, $maxarticleid) {
        # Replace INTO reset de kolommen die we niet updaten naar 0 en dat is stom
        $res = $this->_conn->exec("UPDATE nntp SET maxarticleid = '%s' WHERE server = '%s'", Array((int) $maxarticleid, $server));

        if ( (is_resource($res) && $this->_conn->rows($res) == 0) ||    # sqlite
             (is_bool($res) && !$res)                                   # mysql
            )
        {   
            $this->_conn->exec("INSERT INTO nntp(server, maxarticleid) VALUES('%s', '%s')", Array($server, (int) $maxarticleid));
        } # if
    } # setMaxArticleId()

Ik probeer nu nog achter de logica van de comments te komen. Als ik retrieve.php herhaaldelijk uitvoer blijft hij maar comments bijladen...

[woest85]

Pistolebob schreef op zaterdag 05 maart 2011 @ 21:11:
@Mr_Blobby
Ik gebruik ook Lightningusenet.
Ik heb precies hetzelfde aantal dubbele als u.

Toon Records 0 - 29 (5,302 totaal, Query duurde 169.4451 sec) (ook lightning)

mijn machine is traag om onbekende reden

[vanaalten]

Ik gebruik sinds een week of zo ook SpotWeb - en het is al een behoorlijk goed alternatief voor wat FTD ooit was, zeker de bakman-fork ziet er erg netjes uit!

Wat opmerkingen:

• Als ik een update doe, dan eindig ik met een blanko pagina met enkel een of meerdere getalletjes. Zou leuk zijn om daar een button bij te krijgen met "klik om terug te gaan naar het overzicht" of zo.
• Wat bij FTD voor mij handig was: de posts die met de laatste update binnen gehaald zijn waren gekleurd t.o.v. de oudere posts. Handig om te zien wat er nieuw is.
• Toch al een paar keer een spam-bericht tussen de posts, en dat voor een systeem wat nog redelijk jong is. Gaat spam het grote probleem voor SpotWeb/Net worden, of gaat er toch een soort moderatie komen?

[Brummetje]

Nieuwe spot layout ziet er netjes uit

[Pistolebob]

woest85 schreef op zondag 06 maart 2011 @ 00:06:
[...]


Toon Records 0 - 29 (5,302 totaal, Query duurde 169.4451 sec) (ook lightning)

mijn machine is traag om onbekende reden

Bij mij was dat 0.0002 sec

Danfoss schreef op zaterdag 05 maart 2011 @ 23:09:
[...]


Idd. Zelf even de nntp tabel eenmalig invullen werkt wel

Lijkt erop dat de check op result van de update niet goed werkt in de functie setMaxArticleId. Het INSERT statement voert hij nooit uit bij een lege nntp tabel.

PHP:

    function setMaxArticleId($server, $maxarticleid) {
        # Replace INTO reset de kolommen die we niet updaten naar 0 en dat is stom
        $res = $this->_conn->exec("UPDATE nntp SET maxarticleid = '%s' WHERE server = '%s'", Array((int) $maxarticleid, $server));

        if ( (is_resource($res) && $this->_conn->rows($res) == 0) ||    # sqlite
             (is_bool($res) && !$res)                                   # mysql
            )
        {   
            $this->_conn->exec("INSERT INTO nntp(server, maxarticleid) VALUES('%s', '%s')", Array($server, (int) $maxarticleid));
        } # if
    } # setMaxArticleId()

Ik probeer nu nog achter de logica van de comments te komen. Als ik retrieve.php herhaaldelijk uitvoer blijft hij maar comments bijladen...

Idd, geen touw aan vast te knopen hoe die comments geregeld zijn.

edit: Laatste commit

Slordigheid van mijn kant zorgde ervoor dat retrieve.php zijn laatst opgehaalde artikel niet goed meer update waardoor ales maar binnen bleef komen. Is nu gefixed.

Er hoorde dus een kolom 'comments' te zijn in de nntp tabel.

[ Voor 7% gewijzigd door Pistolebob op 06-03-2011 00:39 ]

[Verwijderd]

kan iemand mij helpen met volgende error van retrieve.php


Notice: Undefined variable: argc in /opt/lampp/htdocs/spotweb/retrieve.php on line 39
Retrieving new Spots from server... Fatal error occured retrieving messages: #0 /opt/lampp/lib/php/PEAR.php(895): eval() #1 /opt/lampp/lib/php/PEAR.php(533): PEAR_Error->PEAR_Error('Failed to parse...', 0, 32, NULL, NULL) #2 /opt/lampp/lib/php/Net/Socket.php(143): PEAR->raiseError('Failed to parse...', 0) #3 /opt/lampp/lib/php/Net/NNTP/Protocol/Client.php(143): Net_Socket->connect('reader.easyusen...', false, false, 15) #4 /opt/lampp/lib/php/Net/NNTP/Client.php(133): Net_NNTP_Protocol_Client->connect('reader.easyusen...', false) #5 /opt/lampp/htdocs/spotweb/SpotNntp.php(56): Net_NNTP_Client->connect('reader.easyusen...', false, 119) #6 /opt/lampp/htdocs/spotweb/lib/retriever/SpotRetriever_Abs.php(46): SpotNntp->connect() #7 /opt/lampp/htdocs/spotweb/retrieve.php(52): SpotRetriever_Abs->connect('free.pt') #8 {main} Failed to parse address "94.232.116.89"

ik heb zelf weinig ervaring in dit soort dingen, heb wel spotweb nu draaiend gekregen. De testInstall.php meldt mij ook dat alles inorde is. Toch kan ik niet updaten wegens bovenstaande error.

Alvast bedankt op voorhand voor de hulp

[Mar2zz]

Lijkt erop dat je newsservergegevens niet goed zijn.

Hebben tweakers al nagedacht over moderatie in spotweb? Er stond een idee van ene nico onder applicaties waarop hij aangaf de ID's te willen verzamelen en die te gaan blocken.
Nu is de grote zwakte dat moderatie bij een paar personen ligt en dus niet meer decentraal is en dit steeds moet bijgewerkt worden in spotnet zelf (de applicatie).

Maar, als je nu zelf de mogelijkheid krijgt om te modereren met Spotweb wat er in je eigen database wel en niet mag komen. Dat er een soort van mod-knop komt in elke spot en dat je, als je daarop klikt, de ID van een persoon toevoegt aan een lijst waar retrieve.php dan weer kan voorkomen dat die message in de database komt, een ignore-lijst dus.

Als er niet gauw iets komt dan gaat Spotnet kapot. Brein is niet gek en zal gewoon met bots gaan spammen om het totaal onbruikbaar te maken, maar nu zie je al van die messages ertussen zoals: Beste spotnet-makers, kunnen we niet blahdieblah. Dat soort users zal ik gelijk al willen blocken, die gaan echt niet een bijdrage leveren wat spots betreft, aangezien die niet weten dat dit daar niet thuishoort, dat er ook forums bestaan en dergelijke.

Ik heb totaal geen verstand van PHP, maar zo een ignorelijst zou toch wel moeten kunnen werken?
Als je helemaal ver door zou trekken dan zou je eventueel zelfs een knop kunnen bouwen die dan ook gelijk alle oude posts van een spammer uit de database weghaalt, maar dit zal ongetwijfeld een stuk complexer zijn dan het opbouwen van een ignore-lijst. Het mooie van zo een ignore-lijst, hij is uitwisselbaar via Github..., maar je zou natuurlijk altijd in ownsettings naar je eigen list kunnen verwijzen.

Kunnen jullie schieten op dit idee? Wil even weten of het zin heeft om spotweb te vermoeien met een issue erover.

discussiepunt > to mod or not to mod

even voor de duidelijkheid:
het gaat mij alleen om het blocken van mensen die spamposts doen, spam in comments enzo interesseert me niet wat dit betreft, daar lees ik gewoon over heen, als ik het al lees...

[ Voor 5% gewijzigd door Mar2zz op 06-03-2011 08:20 . Reden: edit ]

[Xaero]

Extra tabel aanmaken,
id - uid. En bij elke keer dat je retrieve.php ophaalt even kijken of ie er tussen staat. Hoeft niet ingewikkeld te zijn volgens mij. Me kennis van PHP schiet alleen een beetje te kort, als ik naar spotweb kijk..

Ik zal al wel dat er een issue was aangemaakt om uberhaupt die uid's te kunnen lezen. Kan op dit moment helemaal niet, waardoor je nep-posters er ook niet uit kunt halen . Hoop dat dat er ook komt.

Jammer dat er geen uid's worden opgeslagen. Anders kan je met 1 query alles er gewoon uit mikken..
Denk aan:

SQL:

DELETE FROM spots WHERE uid = '3sDf9e' OR uid = 'DSds3';

En weg zijn ze

[ Voor 49% gewijzigd door Xaero op 06-03-2011 08:32 ]

[Mar2zz]

Ok ik zoek die issue wel ff op en dan doe ik mijn verhaal erbij in.

Zijn zulke database-commando's gewoon vanaf terminal of moet je dan op de mysql-terminal zitten? En gaat ditzelfde op voor sqlite? en is het dan hetzelfde commando?

[ Voor 11% gewijzigd door Mar2zz op 06-03-2011 08:57 ]

[tomlissen]

Verwijderd schreef op zaterdag 05 maart 2011 @ 21:45:
[...]

en hoe ziet er anders uit ? hier in safari & ff prima.

wat feedback is wel handig als je iets wil fixen.

Bakman, hier ziet alles er top uit. Zou het eventueel mogelijk zijn om onder de download knop in spot info ook een knopje sabnzb te krijgen. Net als in de spot lijst.

Thnx

[Tranzy]

zeroday schreef op zaterdag 05 maart 2011 @ 20:49:
[...]


ik ik heb het zo maar even gedaan .. (omdat niet elke minuut van de dag ik achter de pc zit en het nodig vind om het te updaten heb ik een aantal tijdstippen gedaan dat ik vaak wel achter de de PC zit om te zien of er wat nieuws is ..

*,30 8,17,18,19,20,21,22 * * * /var/www/start/retrieve.sh 2>&1

retrieve.sh (nano -w /var/www/start/retrieve.sh)

#!/bin/bash
cd /var/www/spotweb
/usr/bin/php retrieve.php >> /root/retrieve.log

tnx maar ik heb een qnap die bij mij elke nacht zelf uit gaat en smorgens weer aan. (Tranzy is thinking green )

Ben alleen dan elke keer mijn job kwijt.

[Mar2zz]

Wat betreft de dubbelaars, er is een retrieve.php-fix.

Bij mij ging ie daarmee de complete database opnieuw vullen met alle spots (na een cleane te hebben gedaan gisteravond, en daardoor kwamen ze er dubbel in). Maar nu heb ik daarna de database weggegooid, php retrieve gedaan zodat ie alleen met de "nieuwe" retrieve.php de database gevuld had, en nu lijkt het incremental updaten wel goed te gaan. Proces sluit ook af dus geen cpu-gijzeling meer. Heb 'm gelijk weer uncommented in mijn crontab.

Wat overigens wel vreemd is, gisteren ging eweka over de 600000 spots heen, en nu zit ie weer op de aloude 265000 spots... Maar dat is op zich prima genoeg.

[Staatslot]

Net de fork van bakman bekeken, hele mooie toevoeging hoor hulde!

[joker1977]

In settings.php vind ik een voorbeeld voor een eigen filter, zoals:

code:

Array("Lossless MJ", "images/audio2.png", "cat1_a2,cat1_a4,cat1_a7,cat1_a8&search[type]=Titel&search[text]=Michael+Jackson", "", array())

Dat is me allemaal wel duidelijk, maar is het ook mogelijk om een 'OR'-filter te maken? Dus stel ik wil een filter wat alle muziek van Michael Jackson óf Queen weergeeft.

edit: ter verduidelijking, de uitvoer van het filter moet de muziek van Queen en de muziek van Michael Jackson weergeven.

[ Voor 13% gewijzigd door joker1977 op 06-03-2011 09:48 ]

[Verwijderd]

@Bakman
Goed bezig! Ziet er mooier uit.
Het is leuk speelgoed, en heb zelf emoticon/smiley ondersteuning toegevoegd bij de comments.
Afbeeldingen van FTD (tja, handig startpunt) zijn hier te vinden:
http://forum.ftd.nu/misc.php?do=showsmilies
Eventueel kan ik je een array met vertaaltabel en een bijbehorende str_replace lus toesturen.

[zeroday]

Tranzy schreef op zondag 06 maart 2011 @ 09:22:
[...]


tnx maar ik heb een qnap die bij mij elke nacht zelf uit gaat en smorgens weer aan. (Tranzy is thinking green )

Ben alleen dan elke keer mijn job kwijt.

dan moet je het dusdanig oplossen dat je een script laat runnen bij het opstarten die de cron er weer inzet

Een script kan er dan zo uit zien

code:

#!/ffp/bin/sh
CRONTXT=/mnt/HD_a2/crontab.txt
/bin/echo "*/30 * * * * /ffp/bin/php /mnt/HD_a2/nzb/nzbgetter/nzbgetter.php" >> $CRONTXT
# install the new crontab
/bin/crontab $CRONTXT

# clean up
/bin/rm $CRONTXT

met dit script zorg je ervoor dat er een regel in de crontab gezet wordt en je kan zoveel crontabs erin zetten zolang je het maar output naar die $CRONTXT variabele
je bent zelf dan verantwoordelijk dat een scriptje uitgevoerd kan worden bij het opstarten.

let wel: dit script is onbruikbaar op de qnap, het geeft alleen een indicatie hoe je het zou kunnen doen.

[ Voor 5% gewijzigd door zeroday op 06-03-2011 10:45 ]

[CH4OS]

@Bakman, is een koppeling met SABnzbd ook mogelijk? Want ik zie deze in jouw versie namelijk niet meer zitten. Dus een knop om direct naar SABnzbd (via de API) te sturen bedoel ik daarmee.

[Workaholic]

Kan iemand deze linux noob helpen met de installatie van SpotWeb ?

Ik heb alles volgens de faq/stappen hier in het topic gedaan maar krijg bij het openen van localhost/spotweb de vraag of ik een php file wil downloaden met IE of Firefox.

Hier de stappen die ik heb gevolgd

1) Ik heb een versie install van Ubuntu 10.10 server x86 op een virtuele machine gezet.
2) Install gedaan en geen standaard roles aangevinkt (zeer kale machine dus)
3) SSH er op gezet via apt-get install ssh
4) sudo apt-get install apache2 php5-curl php5-sqlite php-pear
5) sudo pear install Net_NNTP
6) git clone https://github.com/bakman2/spotweb.git
7) cp spotweb/settings.php spotweb/ownsettings.php + settings aangepast
8 ) sudo cp -a spotweb /var/www
9) sudo /etc/init.d/apache2 reload
10) cd /var/www/spotweb
11) php retrieve.php

Hierna heeft hij alle spots binnen gehaald en ga ik naar http://localhost (apache2) werkt en daarna http://localhost/spotweb en dan krijg ik een do you want to save/open php file ?

[Workaholic]

Geen foutmeldingen in mijn apache2 error log, access log geeft dit :

code:

192.168.2.101 - - [06/Mar/2011:11:14:39 +0100] "GET /spotweb/ HTTP/1.1" 304 189 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.1; nl; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15"

Lijkt me ook goed.. iets mis met php of rechten wellicht?

[Verwijderd]

Weet iemand de commando om /var/www/spotweb readable te maken voor de rest in het netwerk?

Als ik nu naar http://IP/spotweb/ ga dan wilt hij de index.php downloaden xd

edit:
Hetzelfde probleem als hierboven word omschreven, zelfde log

[ Voor 17% gewijzigd door Verwijderd op 06-03-2011 11:16 ]

[guydhollosy]

Misschien het pakket libapache2-mod-php5 (of iets dergelijks) installeren?

Lijkt erop alsof apache geen php snapt ...

[Verwijderd]

@Workaholic: Had hetzelfde probleem. Wat gerommeld met de php instellingen van apache, kan details niet meer herinneren. Als ie gaat downloaden herkent apache niet dat het om een php ding gaat die ie moet uitvoeren. Inderdaad de mod-php5 downloaden, en rommelen met de instellingen.

[Nakebod]

Of geen LoadModule in apache's config (Meestal /etc/apache/httpd.conf)

LoadModule php5_module /lib/libphp5.so (Of waar deze file dan ook staat)
En mogelijk nog ergens:
AddType application/x-httpd-php .php

[ Voor 8% gewijzigd door Nakebod op 06-03-2011 11:24 ]

[Workaholic]

Probleem opgelost met behulp van ubuntu forums : sudo aptitude install php5 -> cache verwijderd in mijn browser en het werkt.. jeeuh!

[ Voor 155% gewijzigd door Workaholic op 06-03-2011 11:41 ]

[FreshMaker]

de "nieuwe" retrieve.php lijkt ook sneller te gaan
Maar dat is puur een "lijkt"
Heb geen gegevens of het werkelijk zo is

< gecopieerd uit de originele git, naar de verder betere bakman smaak >

[remielowik]

Ik heb een idee over een moderatie systeem, eentje waarbij geen centraal server wordt gebruikt.

Het is misschien een beetje complex daarom begin ik bij het begin:
Het begint bij het maken van een account: een account wordt aangemaakt + er wordt een public+private key aangemaakt(RSA?)
De gebruikers public key wordt in een usernet groep gegooid waar alle keys van alle gebruikers worden gepost.
Elke keer als een user comment/post zal een hash worden gegenereerd(gebeurt nu ook al maar nu zijn de publickeys beheerd door externe servers).
De moderatie:
Om je als moderator te willen adverteren moet je je public key in een moderator group posten.
In de interface moet de gebruiker zelf de moderator kiezen, oftwel: je kan zelf kiezen welke moderators je wilt gebruiken.
Voor moderaties wordt nog een andere groep gebruikt waar alle moderaties worden gepost, oftewel hier worden alleen maar acties zoals userban etc gepost.

Voordeel van dit systeem:
- geen centraal systeem meer
- je kan zelf je eigen moderators kiezen
Nadelen:
- Om moderatie te hebben moet je een moderator kiezen, omdat iedereen zich kenbaar kan maken als moderator kan dit een onoverzichtelijke lijst worden.
- veel verschillende groepen extra: usergroup-, moderator- en moderatieacties groep

[Verwijderd]

Ik ga wel een keer een complete LAMP installeren, want met de scripts die eerder in dit topic werken heeft geen zin. Dan mis je nog de helft, thnx anyway : )

[sus]

Mis nu eigenlijk nog maar 1 ding (of eigenlijk zijn dat er 2). Sorteren op titel en afzender/spotter, gebruikte ik in FTD ook regelmatig namelijk

[Workaholic]

Kan iemand mij vertellen wat de groene download knop doet? Is deze eventueel in te stellen als auto download knop naar een bepaalde locatie? En de download link op het overzicht en het woordje download als save as?

Op deze manier kun je of automatisch naar de server downloaden met altbinz er op en daarnaast eventueel handmatig een nzbtje downloaden.

Verwijderd schreef op zondag 06 maart 2011 @ 11:38:
Ik ga wel een keer een complete LAMP installeren, want met de scripts die eerder in dit topic werken heeft geen zin. Dan mis je nog de helft, thnx anyway : )

Script wat ik heb gebruikt werkt perfect met uitzondering van de apache 2 reload command en de toevoeging van mijn php5 fix hierboven.

[ Voor 30% gewijzigd door Workaholic op 06-03-2011 11:54 ]

[smeerbartje]

Ik mis nog een functie om posts te markeren als 'to be downloaded'. Dus eigenlijk gewoon een vlaggetje in de database zodat je op een later tijdstip de download aan kunt zetten. Ik wil dit zelf wel gaan ontwikkelen, maar hoe werkt dat met GIT? Kan ik mijn toegevoegde waarde dan uploaden aan de repositoty of is dit heel ingewikkeld?

[Verwijderd]

Ik zal de sabnzbd links fixen.
Een mobiele interface (bijv iPhone) is ondertussen in de maak.