SpotWeb - Webbased Spotnet - deel 2

[DIKKEHENK]

Oplossing was simpel. maak een windows10 vm op je syno, config die met spotweb. Zet nzbget of sab via een docker op je syno, en bob is je oom. Immers, het hele de parren vreet cpu en dat laat je dus ext doen door de syno.
En inderdaad, draai WAMP op je win10vm, en je maakt de hele database reut gewoon even van te voren met de hand aan.

[DIKKEHENK]

mesa57 schreef op zondag 27 december 2020 @ 12:32:
[...]

Spotweb is als dsm app beschikbaar.

A krijg ik dat niet werkend, en B is dat niet dsm 7 proof. Ik wil straks gewoon de Vm overtikken, want ben nu afhankelijk van de nukken van synology.

[k---evi-n]

WoBBeL schreef op zondag 27 december 2020 @ 15:32:
Waar heb je Spotweb neergezet? Als je http://server.ip/spotweb/ aanroept moet alles, als je Apache draait zoals hierboven, default in /var/www/html/spotweb/ geplaatst zijn (of /var/www/, zelf even checeken). Draai namelijk zelf Spotweb op Ubuntu 20.10 (en voorheen op 20.04)

https://www.digitalocean....amp-stack-on-ubuntu-20-04 deze eerst volgen, daarna

sudo apt install git
cd /var/www/html/ (of /var/www/, zelf even checeken)
git clone https://github.com/spotweb/spotweb.git

Hierna kun je, in theorie, naar http://server.ip/spotweb/install.php toe

Het is mij gelukt om alles te installeren met deze stappen!
Kwam alleen niet door alle checks heen omdat de database niet in orde was..
Deze heb ik uiteindelijk ook met de Digitalocean handleiding aan de praat gekregen

Voor de dames & heren die de laatste versie op Ubuntu 20.04 willen installeren, aanrader om deze te volgen!

[fsfikke]

alesandro_46 schreef op maandag 28 september 2020 @ 20:59:
[...]

En Spotweb dan geïnstalleerd in de apache web server?
Heb je bewust gekozen om onderstaande container niet te gebruiken?
https://hub.docker.com/r/erikdevries/rpi-spotweb

Kan je de php.ini niet aanpassen door via SSH in te loggen in de apache containe

Ik probeer zijn Docker image te gebruiken (https://github.com/edv/docker-spotweb) op mijn Rpi4 maar loop tegen wat problemen aan. Hij gooit een MySQL foutmelding op bij het verwerken van retrieve.php.

code:

 SpotWeb v0.68.32.33 on PHP v7.3.26 crashed
Fatal error occured retrieving reports:
42000: 1064: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ')' at line 1

Deze foutmelding lijkt een hele tijd geleden al opgelost te zijn. Toen zag ik dat de versie van Spotweb die deze Docker aanmaakt v0.68.32.33 is terwijl de laatste versie op Github volgens mij 1.4.9 is.

Als ik de Dockerfile bekijk cloned hij direct van https://github.com/spotweb/spotweb.git. Dit zou dan toch de nieuwste versie moeten zijn? Of is er nog een manier om dat te forcen?

code:

FROM erikdevries/rpi-baseimage:latest
MAINTAINER Erik de Vries <[e-mail]>

RUN apk -U update && \
    apk -U upgrade && \
    apk -U add --no-cache \
        git \
        nginx \
        php7 \
        php7-fpm \
        php7-curl \
        php7-dom \
        php7-gettext \
        php7-xml \
        php7-simplexml \
        php7-zip \
        php7-zlib \
        php7-gd \
        php7-openssl \
        php7-mysqli \
        php7-pdo \
        php7-pdo_mysql \
        php7-pgsql \
        php7-pdo_pgsql \
        php7-sqlite3 \
        php7-pdo_sqlite \
        php7-json \
        php7-mbstring \
        php7-ctype \
        php7-opcache \
        php7-session \
        mysql-client \
    && \
    git clone --depth=1 https://github.com/spotweb/spotweb.git /app && \
    sed -i "s/;date.timezone =/date.timezone = \"Europe\/Amsterdam\"/g" /etc/php7/php.ini

# Configure Spotweb
COPY ./conf/spotweb /app

# Copy root filesystem
COPY rootfs /

EXPOSE 80

[Voor 7% gewijzigd door fsfikke op 18-01-2021 11:41]

[mesa57]

De oorzaak kennen we niet precies, maar de code is aangepast naar aanleiding van deze fout.
Echter alleen op de github develop branch. De docker images worden niet door ons ondersteund.

[fsfikke]

mesa57 schreef op maandag 18 januari 2021 @ 12:41:
De oorzaak kennen we niet precies, maar de code is aangepast naar aanleiding van deze fout.
Echter alleen op de github develop branch. De docker images worden niet door ons ondersteund.

Hmm, dank je.
Net een verse directe install gedaan (geen Docker) met een git clone van de develop branch. Helaas dezelfde foutmelding.

[mesa57]

fsfikke schreef op dinsdag 19 januari 2021 @ 00:21:
[...]

Hmm, dank je.
Net een verse directe install gedaan (geen Docker) met een git clone van de develop branch. Helaas dezelfde foutmelding.

Zet retrieve reports en comments eens uit in de settings en probeer dan nog eens.

[fsfikke]

mesa57 schreef op dinsdag 19 januari 2021 @ 12:04:
[...]

Zet retrieve reports en comments eens uit in de settings en probeer dan nog eens.

Same story:

code:

SpotWeb v0.68.32.33 on PHP v7.3.19-1~deb10u1 crashed

Fatal error occured retrieving reports:
  42000: 1064: You have an error in your SQL syntax; check the manual that corresponds to your MariaDB server version for the right syntax to use near ')' at line 1



#0 /var/www/spotweb/lib/dbeng/dbeng_pdo.php(86): dbeng_pdo->exec('DELETE FROM com...', Array)
#1 /var/www/spotweb/lib/dao/Base/Dao_Base_Comment.php(305): dbeng_pdo->modify('DELETE FROM com...')
#2 /var/www/spotweb/lib/services/Retriever/Services_Retriever_Spots.php(636): Dao_Base_Comment->removeComments(Array)
#3 /var/www/spotweb/lib/services/Retriever/Services_Retriever_Base.php(238): Services_Retriever_Spots->process(Array, 2700071, 2720072, 1611055239.587)
#4 /var/www/spotweb/lib/services/Retriever/Services_Retriever_Base.php(339): Services_Retriever_Base->loopTillEnd(2720072, '20000')
#5 /var/www/spotweb/retrieve.php(142): Services_Retriever_Base->perform()
#6 {main}

Deze versie van MariaDB btw:

code:

Server version: 10.3.27-MariaDB-0+deb10u1 Raspbian 10

[mesa57]

Dat kan alleen als je retrieve reports nog aan heb staan in je settings.

Fatal error occured retrieving reports:

Settings :

[fsfikke]

mesa57 schreef op dinsdag 19 januari 2021 @ 12:37:
Dat kan alleen als je retrieve reports nog aan heb staan in je settings.

[...]


Settings :

[Afbeelding]
[Afbeelding]

Hmm apart, deze staan zekerweten uitgevinkt. Ik heb alles een reboot gegeven maar het resultaat blijft gelijk.

"Handling of moderation messages" staat bij mij overigens in het "Performance" tabje.

[Voor 5% gewijzigd door fsfikke op 19-01-2021 12:51]

[mesa57]

Je kunt aansluiten bij dit issue :
https://github.com/spotwe...52#issuecomment-762489994

[mesa57]

Zou nu definitief zijn opgelost op de develop branch zodat je remove moderated spots weer kunt aanzetten.

[InflatableMouse]

Als een update (retrieve) wordt afgebroken, gaat deze daarna dan verder waar het gebleven was?

Gerelateerd, als ik de settings voor retrieve aanpas naar bv full spots en all comments, haalt tie dan de extra info ook binnen van oudere spots die al eerder opgehaald waren?

Laatste vraag: Ik zie onder de user een api key, maar ik krijg het niet voor elkaar om spotweb als indexer toe te voegen in nzbhydra2. Ik probeer daar /api aan de url toe te voegen maar hij blijft mekkeren dat het niet werkt, enig idee hoe dat moet?

[Voor 31% gewijzigd door InflatableMouse op 24-01-2021 15:42]

[Kroonkurk]

Volgens mij moet je dan ook een aanpassing doen in het .htaccess bestand.

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{REQUEST_URI} !api/
RewriteRule api/?$ index.php?page=newznabapi [QSA,L]
</IfModule>

[InflatableMouse]

Ja die laatste was ik net achter, zoeken op api vind niets, maar toen ik newsnab zocht vond ik het wel op github wiki.

Als iemand nog iets weet op die andere twee vragen zou top zijn!

[mesa57]

1) Een afgebroken retrieve begint weer waar hij gebleven was. Let wel : pas na een tijdje kun je retrieve weer draaien tenzij je de optie --force gebruikt
2) Als je retrieve opties wijzigt zijn deze alleen geldig voor nieuw op te halen spots

Btw. de optie retrieve full spots/comments is sterk af te raden. De retrieve wordt er vreselijk langzaam van en je database groeit bijna exponentieel.

[InflatableMouse]

Ik heb de database opnieuw aangemaakt en met de volgende settings de retrieve gestart:
retention: 4500
Remove everything
vanaf 1 jan 2011
full spots uit
retrieve comments aan
full comments uit
reports aan

Toch al weer 7 uur bezig maar het is ook 10 jaar aan spots. Ben benieuwd hoe groot die database is zometeen .

[MikeOO]

InflatableMouse schreef op maandag 25 januari 2021 @ 15:21:
Ik heb de database opnieuw aangemaakt en met de volgende settings de retrieve gestart:
retention: 4500
Remove everything
vanaf 1 jan 2011
full spots uit
retrieve comments aan
full comments uit
reports aan

Toch al weer 7 uur bezig maar het is ook 10 jaar aan spots. Ben benieuwd hoe groot die database is zometeen .

Waarom 10 jaar, gaat je nieuwsgroep provider ook zover terug?
Anders eerst die beperken in de instellingen van Spotweb. Heeft geen zin om 10 jaar te laden als je nieuwsgroep maar 4 jaar history bewaard bv.

[InflatableMouse]

MikeOO schreef op maandag 25 januari 2021 @ 16:07:
[...]


Waarom 10 jaar, gaat je nieuwsgroep provider ook zover terug?
Anders eerst die beperken in de instellingen van Spotweb. Heeft geen zin om 10 jaar te laden als je nieuwsgroep maar 4 jaar history bewaard bv.

Staat er bij, 4500 dagen. Meer dan 10 jaar dus maar ik vond het een mooi begin zo.

[Enforcer]

InflatableMouse schreef op maandag 25 januari 2021 @ 15:21:
Toch al weer 7 uur bezig maar het is ook 10 jaar aan spots. Ben benieuwd hoe groot die database is zometeen .

Bij mij duurde het een dag of 4 uit mijn hoofd, weet niet meer zeker kan ook iets meer of minder zijn geweest. Ik had dan wel alles van daarvoor ook nog maar mijn DB is 6,2GB groot waarvan de tabel commentsxover 5GB en bijna 16miljoen records bevat. Dus je bent voorlopig nog wel even bezig....

[InflatableMouse]

Enforcer schreef op maandag 25 januari 2021 @ 20:36:
[...]

Bij mij duurde het een dag of 4 uit mijn hoofd, weet niet meer zeker kan ook iets meer of minder zijn geweest. Ik had dan wel alles van daarvoor ook nog maar mijn DB is 6,2GB groot waarvan de tabel commentsxover 5GB en bijna 16miljoen records bevat. Dus je bent voorlopig nog wel even bezig....

Het valt mee, hij was vanochtend vroeg klaar. Heb nu de cron op 1 uur gezet, die duurt enkele seconden nu.

DB is 6,5GB.

[spammer817]

Ik heb mijn website verhuisd van server.
In de dbsettings.inc.php de data veranderd naar de nieuwe database.
<?php
$dbsettings['engine'] = 'mysql';
$dbsettings['host'] = 'localhost';
$dbsettings['dbname'] = 'NAAM';
$dbsettings['user'] = 'USER';
$dbsettings['pass'] = 'Wachtwoord';

Resultaat is:
Unable to connect to database:
SQLSTATE[HY000] [2005] Unknown MySQL server host 'localhost:3306' (-2)

Bij een clean install kom ik niet door de database verificatie heen?
Waar kan dat aan liggen, lees waar moet ik gaan zoeken?

[vanaalten]

spammer817 schreef op woensdag 3 februari 2021 @ 15:58:
Ik heb mijn website verhuisd van server.
In de dbsettings.inc.php de data veranderd naar de nieuwe database.
<?php
$dbsettings['engine'] = 'mysql';
$dbsettings['host'] = 'localhost';
$dbsettings['dbname'] = 'NAAM';
$dbsettings['user'] = 'USER';
$dbsettings['pass'] = 'Wachtwoord';

Resultaat is:
Unable to connect to database:
SQLSTATE[HY000] [2005] Unknown MySQL server host 'localhost:3306' (-2)

Bij een clean install kom ik niet door de database verificatie heen?
Waar kan dat aan liggen, lees waar moet ik gaan zoeken?

Ik zou vooral die foutmelding nog eens bekijken.Lijkt er op dat er geen MySQL server op die machine draait, dan wel dat die niet op poort 3306 open staat.

[MikeOO]

spammer817 schreef op woensdag 3 februari 2021 @ 15:58:
Ik heb mijn website verhuisd van server.
In de dbsettings.inc.php de data veranderd naar de nieuwe database.
<?php
$dbsettings['engine'] = 'mysql';
$dbsettings['host'] = 'localhost';
$dbsettings['dbname'] = 'NAAM';
$dbsettings['user'] = 'USER';
$dbsettings['pass'] = 'Wachtwoord';

Resultaat is:
Unable to connect to database:
SQLSTATE[HY000] [2005] Unknown MySQL server host 'localhost:3306' (-2)

Bij een clean install kom ik niet door de database verificatie heen?
Waar kan dat aan liggen, lees waar moet ik gaan zoeken?

Draait de SQL server en Spotweb wel op dezelfde server.
Probeer anders ipv localhost eens het ip-adres van de server. Weet niet of dat werkt maar kwestie van proberen.

Anders eens via Putty proberen in te loggen in SQL met de gegevens of dat wel werkt.

[DIKKEHENK]

nero355 schreef op maandag 14 december 2020 @ 17:53:
[...]

Wat houdt je tegen om een Intel NUC achtig kastje erbij te kopen en daarop Spotweb te draaien

Lekker Proxmox erop en dan met VM's spelen : HEERLIJK!!!

Dat is het uiteindelijk ook geworden, en dan met wampserver. Dat is tenminste 'normaal' en snel te configgen.
Incluis alles wat er gebruik van kan maken.

[mesa57]

spammer817 schreef op woensdag 3 februari 2021 @ 15:58:
Ik heb mijn website verhuisd van server.
In de dbsettings.inc.php de data veranderd naar de nieuwe database.
<?php
$dbsettings['engine'] = 'mysql';
$dbsettings['host'] = 'localhost';
$dbsettings['dbname'] = 'NAAM';
$dbsettings['user'] = 'USER';
$dbsettings['pass'] = 'Wachtwoord';

Resultaat is:
Unable to connect to database:
SQLSTATE[HY000] [2005] Unknown MySQL server host 'localhost:3306' (-2)

Bij een clean install kom ik niet door de database verificatie heen?
Waar kan dat aan liggen, lees waar moet ik gaan zoeken?

Probeer eens 127.0.0.1 in plaats van localhost

[nero355]

DIKKEHENK schreef op donderdag 4 februari 2021 @ 09:52:
Dat is het uiteindelijk ook geworden, en dan met wampserver. Dat is tenminste 'normaal' en snel te configgen.
Incluis alles wat er gebruik van kan maken.

Jammer van de Windows basis, maar verder keur ik hem goed!

[DIKKEHENK]

nero355 schreef op donderdag 4 februari 2021 @ 17:58:
[...]

Jammer van de Windows basis, maar verder keur ik hem goed!

heb t eerst met een ubuntu variant geprobeerd, maar t bleef gedoe. Toen gewoon win10, en nu als een zonnetje! intel i5 6 core DELL mini doosje, fluisterstil, en genoeg cores om de boel rap uit te pakken. Dus je doet theoretisch alles op de ext masjien met ssd'tje, en if klaar > send to syno.
vooral dat wampserver is echt een plezier voor een windows gebruiker. DB is zo gemaakt, de taak maken was effe uitvinden, maar ook dat is nu peanuts.
Voordeel is ook dat alle andere applicaties ook meteen worden geupdate als er een nieuwe versie komt.

Eigenlijk is een Syno Vm niet echt geschikt voor al te drukke en zware taken vind ik, maar dat is subjectief. De dockers gaan nog wel, maar die zijn exit bij dsm7.

Kortom, happy camper hier !

[Voor 12% gewijzigd door DIKKEHENK op 05-02-2021 17:54]

[DIKKEHENK]

Overigens, maar dit terzijde, kun je ook weer dockers draaien op DSM7.

[Mr Magic]

Vraagje, ik heb na lange tijd weer eens mijn SpotWeb installatie op m'n Synology NAS ge-updatet via een "git pull" en "php56 upgrade-db.php".

Dit is goed verlopen, maar nu zie ik in de admin interface dat de blacklist en whitelist URLs verkeerd om lijken te zijn ingevuld.

Bij "Blacklist used during retrieve" staat de URL http://spotcloud.spotnet.wf/spotnet/lists.new/whitelist.csv en bij "Whitelist used during retrieve" staat de URL http://spotcloud.spotnet.wf/spotnet/lists.new/blacklist.csv

Is dit juist? Lijkt me dat het andersom moet zijn?

De URLs werken wel en ik heb beide bestanden handmatig gedownload om te kijken wat erin staat. De blacklist.csv is zo'n 90 KB groot en de whitelist.csv zo'n 840 KB.

Mijn gevoel zegt dat de blacklist groter zou moeten zijn dan de whitelist, maar ik kan het mis hebben

[mesa57]

Dit issue zou opgelost zijn, maar staat wellicht alleen nog maar op de develop branch.
https://github.com/spotweb/spotweb/issues/648

[Mr Magic]

@mesa57 Bedankt, ik heb inderdaad de master branch van GitHub.

Zal de URLs maar even met de hand aanpassen dan

[royke]

Dag,
Ik heb lokaal een spotweb draaien op een debian VM met nginx.
Bijna alles werkt. ik kan zoeken downloaden mbv nzbget. Alleen als ik een bedankjewil plaatsen krijg ik de melding

Posting not allowed [response: "Posting Not Allowed"]

Ligt bij mijn newserver provider of ben ik ergens een vinkje vergeten?

[alesandro_46]

royke schreef op maandag 22 februari 2021 @ 16:21:
Dag,
Ik heb lokaal een spotweb draaien op een debian VM met nginx.
Bijna alles werkt. ik kan zoeken downloaden mbv nzbget. Alleen als ik een bedankjewil plaatsen krijg ik de melding

[...]

Ligt bij mijn newserver provider of ben ik ergens een vinkje vergeten?

Dat ligt bij je provider.

[RudolfR]

Ik heb hetzelfde met eweka; posting is enabled volgens mijn eweka en ik heb spotweb ook geconfigureerd om te posten via poort 119, ipv de ssl-poorten. (dat schijnt te moeten)

Ook heb ik de gebruiker toestemming gegeven voor het posten en het posten van comments.
Maar hier dezelfde foutmelding. (spotweb in docker van jgeusebroek)

TIps?

[PerlinNoise]

RudolfR schreef op maandag 22 februari 2021 @ 18:58:
Ik heb hetzelfde met eweka; posting is enabled volgens mijn eweka en ik heb spotweb ook geconfigureerd om te posten via poort 119, ipv de ssl-poorten. (dat schijnt te moeten)

Tips?

Gebruik je post.eweka.nl?

[RudolfR]

@PerlinNoise

Top, bedankt, daar had ik overheen gekeken.

[royke]

alesandro_46 schreef op maandag 22 februari 2021 @ 16:38:
[...]

Dat ligt bij je provider.

Dankje, ze hebben de post mogelijkheid aangezet. je moet diep zoeken in hun kleine letter om dit te vinden.