SpotWeb - Webbased Spotnet - deel 2

[DjoeC]

Ik begrijp nog steeds niet wat de invloed van de newshost is op het al dan niet schonen van de database als de schoning zegt: alles vanaf 1 november 2009 bewaren......

[MariosCube]

Met newsdemon op mijn secundaire spotweb server zo te zien geen problemen.

[Tr4il]

Bastien schreef op zaterdag 28 juni 2025 @ 12:22:
Hier (nog) niet gelukkig. Maar jullie DB is ook echt leeg? Normaal gesproken staat alles lokaal wat eenmaal is opgehaald en zou ongeacht de newsserver niet moeten verdwijnen lijkt mij. Ben onlangs gewisseld van server waar de headers vandaan komen en dat is ook gewoon goed gegaan, keurig verder vanaf de juiste timestamp.

Heb een week of twee geleden de laatste versie van github gehaald.

De DB was bij mij in ieder geval niet leeg, alle rijtjes stonden nog netjes in MariaDB.
Maar Spotweb wilde ze met geen mogelijkheid tonen in ieder geval, heel vreemd.
Ik heb de spots table leeggemaakt en die loopt nu weer te vullen, en dat gaat gewoon goed. Ben benieuwd hoe 't eruit ziet morgenochtend....

[Glamdring]

Vooralsnog geen klachten van Spotnet gebruikers i.c.m. Eweka. Lijkt dus een specifieke bug te zijn van Spotweb i.c.m. Eweka. Niet toevallig heeft Eweka de hoogste retentie van alle usp's. Misschien dat Spotweb tegen een grens aanloopt?

Is er iemand die dit gedrag kan reproduceren en een bug wil inschieten voor Spotweb op Github?

[vanaalten]

Glamdring schreef op zondag 29 juni 2025 @ 10:15:
Is er iemand die dit gedrag kan reproduceren en een bug wil inschieten voor Spotweb op Github?

Iemand - niet ik - heeft dat al gedaan:
https://github.com/spotweb/spotweb/issues/897
...al gaat het in de discussie vooral om het oplossen van het probleem door de database opnieuw op te bouwen, niet om de oorzaak te vinden.

Hier gisteravond een snapshot van de database van twee dagen geleden teruggezet en wat mysql repair gedaan - sindsdien lijkt alles nog goed te werken.

[Levaro]

vanaalten schreef op zondag 29 juni 2025 @ 10:29:
[...]

Iemand - niet ik - heeft dat al gedaan:
https://github.com/spotweb/spotweb/issues/897
...al gaat het in de discussie vooral om het oplossen van het probleem door de database opnieuw op te bouwen, niet om de oorzaak te vinden.

Hier gisteravond een snapshot van de database van twee dagen geleden teruggezet en wat mysql repair gedaan - sindsdien lijkt alles nog goed te werken.

Als je goed leest dan zie je dat ze in het onderstaande comment Eweka getest hebben en bij hun geen problemen zagen?

Zie: https://github.com/spotwe...7#issuecomment-3015966899

In dit geval lijkt het me ook vrijwel ondoenlijk de exacte oorzaak te achterhalen, ook gelet op het feit dat gebruikers van andere usenet providers geen problemen lijken te ondervinden en dit zich specifiek lijkt te richten tot een klein hoekje van Usenet. (wellicht een omgevallen server o.i.d)

En daarbij, als je de via SSH dit commando uitvoert en de database opnieuw laat vullen met retrieve is er niks meer aan de hand.

code:

php upgrade-db.php --reset-db

[mesa57]

Ik vraag me af welke sortering door gebruikers met het 'gat' probleem werd gebruikt.
De spots zitten namelijk wél in de database.

[DjoeC]

Mijn MariaDB database was ook echt leeg gemaakt. Had een melding van de SSD smart dat midden in de nacht de temperatuur 55 graden had bereikt, dat gebeurt echt alleen als Mariadb super druk is met maintenance zoals gister ook bij de restore. Ik heb Spotweb nog niet geherstart, eerst eens eea verder uitzoeken.

Ik heb (tot gisteren) vanuit Eweka 2.390.677 spots in de tabel staan, Eweka geeft 2.700.000 artikelheaders in een andere nieuwslezer - verschil zal vooral commentaar of troep zijn. Er staan trouwens ook 21M commentaren in de commentsxover.

Net een nieuwe versie van de container opgehaald en opgestart. Voorlopig LIJKT het dat er niets verwijderd wordt en de nieuwe spots weer binnenkomen. Fingers crossed....

[DjoeC]

mesa57 schreef op zondag 29 juni 2025 @ 11:52:
Ik vraag me af welke sortering door gebruikers met het 'gat' probleem werd gebruikt.
De spots zitten namelijk wél in de database.

Nee, hier waren ze fysiek weg: Backup Spotweb 27 mei was 2.3GB, backup 28 mei 993MB.

[TheMystery]

Hier nog geen problemen met eweka en spotweb, wel voor de zekerheid maar even een snapshot gemaakt.

[DarkAllMan]

Ik heb hetzelfde probleem. Ik heb een DB reset gedaan en ben nu weer een retreive aan het doen.

Update: Na reset/retreive heb ik alle data weer.

[ Voor 21% gewijzigd door DarkAllMan op 30-06-2025 12:31 ]

[PerlinNoise]

Levaro schreef op zondag 29 juni 2025 @ 10:42:
[...]


Als je goed leest dan zie je dat ze in het onderstaande comment Eweka getest hebben en bij hun geen problemen zagen?

Zie: https://github.com/spotwe...7#issuecomment-3015966899

In dit geval lijkt het me ook vrijwel ondoenlijk de exacte oorzaak te achterhalen, ook gelet op het feit dat gebruikers van andere usenet providers geen problemen lijken te ondervinden en dit zich specifiek lijkt te richten tot een klein hoekje van Usenet. (wellicht een omgevallen server o.i.d)

En daarbij, als je de via SSH dit commando uitvoert en de database opnieuw laat vullen met retrieve is er niks meer aan de hand.

code:

php upgrade-db.php --reset-db

Ik draai Spotweb in docker (jgeusebroek/spotweb). Enig idee hoe ik daar de db reset?
Commando's uiteraard geprobeerd via Exec maar:

spotweb: root@89f6013cdb69:/# php upgrade-db.php --reset-db
Could not open input file: upgrade-db.php
database: root@2241f04daca2:/# php upgrade-db.php --reset-db
bash: php: command not found

EDIT: Ik heb de db maar verwijderd en ben opnieuw begonnen.

[RudolfR]

@PerlinNoise
Waarschijnlijk /usr/bin/php en een volledig pad naar je spotweb install.

Ik heb retrieve een paar dagen stil gezet en kon het vandaag probleemloos hervatten.

docker exec spotweb /usr/bin/php /var/www/spotweb/retrieve.php
Last retrieve at Fri 27 Jun 2025 11:15:02 PM CEST
Retrieving new Spots from server news.eweka.nl...
Appr. Message count: 4310497
First message number: 2
Last message number: 4310499
Current article number: 4309488

Retrieving 4309488 till 4310500 (parsed: 1011, in DB: 1, signed: 964, invalid: 1, rtntn.skip: 0, mod: 46, full: 0, total: 1012) in 2.55 seconds
Processed a total of 1012 spots
Finished retrieving spots.

Calculating how many spots are new, done.
Last retrieve at Mon 30 Jun 2025 10:07:58 PM CEST
Retrieving new comments from server news.eweka.nl...
Appr. Message count: 21284444
First message number: 2
Last message number: 21284446
Current article number: 21279381

Retrieving 21279381 till 21284382, found 5001 comments in 1.8 seconds
Retrieving 21284382 till 21284447, found 65 comments in 0.28 seconds
Processed a total of 5066 comments
Finished retrieving comments.

Last retrieve at Mon 30 Jun 2025 10:08:13 PM CEST
Retrieving new reports from server news.eweka.nl...
Appr. Message count: 347589
First message number: 2
Last message number: 347591
Current article number: 347554

Retrieving 347554 till 347592, found 38 reports in 0.96 seconds
Processed a total of 38 reports
Finished retrieving reports.

Blacklist not modified, no need to update
Whitelist not modified, no need to update
Starting to create statistics
Finished creating statistics

[Ids]

PerlinNoise schreef op maandag 30 juni 2025 @ 16:18:
[...]

Ik draai Spotweb in docker (jgeusebroek/spotweb). Enig idee hoe ik daar de db reset?
Commando's uiteraard geprobeerd via Exec maar:

spotweb: root@89f6013cdb69:/# php upgrade-db.php --reset-db
Could not open input file: upgrade-db.php
database: root@2241f04daca2:/# php upgrade-db.php --reset-db
bash: php: command not found

In Exec:

code:

/var/www/spotweb/bin/upgrade-db.php --reset-db

[Akiranon]

Voor degene die de docker image van Erik de Vries draaien in Container Manager op een Synology NAS, met de volgende commands kun je een database reset uitvoeren:

Log via SSH in en ga naar de container. In mijn geval heet deze 'spotweb':

code:

sudo docker exec -it spotweb bash

Voer het volgende commando uit voor het resetten van de database:

code:

/usr/bin/php84 /app/bin/upgrade-db.php --reset-db

Vervolgens kun je via de admin user zelf weer instellen tot hoever terug je spots wilt ophalen.

[Deepvault]

Gisteren heb ik mijn QNAP NAS opnieuw moeten installeren vanwege omstandigheden. Het installeren van Spotweb ging gelukkig vrij eenvoudig. Alleen het ophalen van de spots duurt ontzettend lang.

Op dit moment moet ik telkens handmatig op de "Retrieve"-knop klikken om data binnen te halen. Is het niet mogelijk om alles in één keer op te halen, of het proces te automatiseren zodat ik niet steeds handmatig hoef te klikken?

Alvast bedankt voor jullie hulp!

[vanaalten]

Deepvault schreef op donderdag 31 juli 2025 @ 11:08:
Gisteren heb ik mijn QNAP NAS opnieuw moeten installeren vanwege omstandigheden. Het installeren van Spotweb ging gelukkig vrij eenvoudig. Alleen het ophalen van de spots duurt ontzettend lang.

Op dit moment moet ik telkens handmatig op de "Retrieve"-knop klikken om data binnen te halen. Is het niet mogelijk om alles in één keer op te halen, of het proces te automatiseren zodat ik niet steeds handmatig hoef te klikken?

Alvast bedankt voor jullie hulp!

Hoe had je dit voorheen dan geregeld?
Zelf geen NAS, maar op m’n linux server net Spotweb heb ik een cron job ingesteld die elk uur een retrieve doet. Zo iets zal wellicht ook op je NAS kunnen.

[Caveman]

vanaalten schreef op donderdag 31 juli 2025 @ 11:35:
[...]

Hoe had je dit voorheen dan geregeld?
Zelf geen NAS, maar op m’n linux server net Spotweb heb ik een cron job ingesteld die elk uur een retrieve doet. Zo iets zal wellicht ook op je NAS kunnen.

Klopt, op een syno heb je een taskscheduler, volgens mij zit die ook op een QNAP.
Laat een user defined script lopen om de 6 uur ofzoiets...

code:

/usr/local/bin/php56 /volume1/web/spotweb/retrieve.php --force

De locatie van je spotweb en php zal ongetwijfeld anders zijn, maar dat moet niet zo moeilijk zijn om te achterhalen.

[Room42]

Caveman schreef op donderdag 31 juli 2025 @ 13:14:
[...]


Klopt, op een syno heb je een taskscheduler, volgens mij zit die ook op een QNAP.
Laat een user defined script lopen om de 6 uur ofzoiets...

code:

/usr/local/bin/php56 /volume1/web/spotweb/retrieve.php --force

De locatie van je spotweb en php zal ongetwijfeld anders zijn, maar dat moet niet zo moeilijk zijn om te achterhalen.

De --force zou ik weglaten, omdat als de retrieve nog loopt, deze daarmee afgebroken wordt. Door geen --force te gebruiken loopt het vorige proces gewoon door en wordt ie niet opnieuw gestart.

[headout]

Caveman schreef op donderdag 31 juli 2025 @ 13:14:
[...]


Klopt, op een syno heb je een taskscheduler, volgens mij zit die ook op een QNAP.
Laat een user defined script lopen om de 6 uur ofzoiets...

code:

/usr/local/bin/php56 /volume1/web/spotweb/retrieve.php --force

De locatie van je spotweb en php zal ongetwijfeld anders zijn, maar dat moet niet zo moeilijk zijn om te achterhalen.

In mijn geval a 2 uur draait deze taak op de Synology:
/usr/bin/php /volume1/web/spotweb/retrieve.php

Voor Qnap zal er wel iets vergelijkbaars zijn, en anders:
https://www.qnap.com/es-e...crontab-to-schedule-a-job

[Deepvault]

vanaalten schreef op donderdag 31 juli 2025 @ 11:35:
[...]

Hoe had je dit voorheen dan geregeld?
Zelf geen NAS, maar op m’n linux server net Spotweb heb ik een cron job ingesteld die elk uur een retrieve doet. Zo iets zal wellicht ook op je NAS kunnen.

Het probleem is gefixt door alleen "Retrieve reports" aan te vinken. Nu haalt hij alles netjes binnen.

[Marve79]

Iemand die Spotweb als newznab gebruikt in Sonarr/Radarr?

Ik heb dit ingesteld en volgens Sonarr/Radarr is het in orde (groen vinkje bij testen).

Maar ze vinden helemaal niks. Enig idee?

[pdukers]

Ja, locale spotweb werkt bij mij. Heb je de juiste categorieën aangevinkt?

Bij wordt wel spotweb amper gebruikt al soure voor nzb's.Eigenlijk alleen maar voor NL content. Al het andere komt van andere indexers.

[SMSfreakie]

mesa57 schreef op zondag 29 juni 2025 @ 11:52:
Ik vraag me af welke sortering door gebruikers met het 'gat' probleem werd gebruikt.
De spots zitten namelijk wél in de database.

ik kreeg ze ook niet voor de dag meer... nu db aan het hervullen..

[Mankepoot]

Ik gebruik spotweb al enige jaren maar laatst is het uiterlijk veranderd. Mijn alsnog noob vraagje is: wat is de betekenis van de verschillende kleuren op verschillende topic rijen?

[mesa57]

De kleuren weerspiegelen de hoofdcategorieën

[Marve79]

pdukers schreef op woensdag 20 augustus 2025 @ 13:38:
Ja, locale spotweb werkt bij mij. Heb je de juiste categorieën aangevinkt?

Bij wordt wel spotweb amper gebruikt al soure voor nzb's.Eigenlijk alleen maar voor NL content. Al het andere komt van andere indexers.

Ja ik heb het ook juist nodig voor NL. Ik zal eens kijken maar ik heb gewoon de main categorie TV aangevinkt.

[jozy]

beste mensen ik heb sindskort spotweb draaien op mijn debian based servertje en hij draait prima.
php 8.4 en op nginx gebaseerd geinstalleerd via cli.

enige wat mij niet lukt is de api call laten werken voor prowlarr.
ik heb een nieuwe username aangemaakt genaamd api zodat hij de admin niet gebruikt en ik gebruik die user.

echter wat ik zie bij user management dat de api request binnenkomt op mijn admin username (zie ik aan het ip van prowlarr). Dus ergens gaat er iets niet helemaal goed.

heb een hele tijd lopen hannissen met chatgpt en eventuele instellingen maar kom er niet uit.
weet iemand hoe ik dit kan oplossen en wat ik moet checken?

lijkt erop als ik een api call via cli doe dat hij html uitspuugt ipv xml....

[ Voor 5% gewijzigd door jozy op 12-09-2025 12:48 . Reden: toevoeging html vs xml output ]

[m.caarels]

ik kan geen reactie meer geven op een spotnet poster dus ik bedoel een bedankje of zo

Ik heb je posts en reacties verhuisd van [Nieuwsgroepen] Wat werkt tegenwoordig goed? naar dit topic, hier past het beter.

[ Voor 48% gewijzigd door rens-br op 16-09-2025 08:25 ]

[m.caarels]

ik kan geen reactie meer plaatsen op spotnet dan bedoel ik een bedankje ofzo voor de poster hoe zou dit nu kunnen

[RobbyTown]

@m.caarels niet toevallig je upload uitstaan van je usenet provider? Als die uit staat is reageren niet mogelijk.

[ Voor 35% gewijzigd door RobbyTown op 14-09-2025 12:06 ]

[John767]

m.caarels schreef op zondag 14 september 2025 @ 11:35:
ik kan geen reactie meer geven op een spotnet poster dus ik bedoel een bedankje of zo

Het volgende kwam een tijdje geleden langs:

Helaas geeft spotnet laatste tijd veel problemen..
zoals met posten en reacties schrijven..
dit komt door 2 updates in windows
Hopelijk word dit snel gefixt..

heb je problemen met spotnet?
doe dan het volgende om het te verhelpen

Ga naar windows update en dan naar geschiedenis van updates.
Verwijder Update KB5064081 en KB5064401
ga naar windows update geavanceerde opties
en zet het ontvangen van nieuwe updates uit.

reboot je pc

en spotnet zal weer werken

[meccano]

m.caarels schreef op zondag 14 september 2025 @ 11:35:
ik kan geen reactie meer geven op een spotnet poster dus ik bedoel een bedankje of zo

Deze problemen worden veroorzaakt door recente Windows 11-updates (KB5064081 en KB5065426).
Er is inmiddels een update beschikbaar. Deze wordt automatisch geïnstalleerd, maar je kunt hem ook handmatig downloaden via het spotnet forum.

[Guff_]

Meer mensen die problemen hebben met spotweb met de reacties?

Comments ophalen bleef vorige week hangen
Resetdb gedaan
Nu al 3 dagen bezig met comments ophalen

Zie ook geen reacties meer nieuwe posts op op nzbserver dot com

[DjoeC]

Guff_ schreef op donderdag 18 september 2025 @ 18:07:
Meer mensen die problemen hebben met spotweb met de reacties?

Comments ophalen bleef vorige week hangen
Resetdb gedaan
Nu al 3 dagen bezig met comments ophalen

Zie ook geen reacties meer nieuwe posts op op nzbserver dot com

Hier op de lokale spotweb is er geen probleem (Eweka).