SpotWeb - Webbased Spotnet - deel 2

[DjoeC]

Ik begrijp nog steeds niet wat de invloed van de newshost is op het al dan niet schonen van de database als de schoning zegt: alles vanaf 1 november 2009 bewaren......

[MariosCube]

Met newsdemon op mijn secundaire spotweb server zo te zien geen problemen.

[Tr4il]

Bastien schreef op zaterdag 28 juni 2025 @ 12:22:
Hier (nog) niet gelukkig. Maar jullie DB is ook echt leeg? Normaal gesproken staat alles lokaal wat eenmaal is opgehaald en zou ongeacht de newsserver niet moeten verdwijnen lijkt mij. Ben onlangs gewisseld van server waar de headers vandaan komen en dat is ook gewoon goed gegaan, keurig verder vanaf de juiste timestamp.

Heb een week of twee geleden de laatste versie van github gehaald.

De DB was bij mij in ieder geval niet leeg, alle rijtjes stonden nog netjes in MariaDB.
Maar Spotweb wilde ze met geen mogelijkheid tonen in ieder geval, heel vreemd.
Ik heb de spots table leeggemaakt en die loopt nu weer te vullen, en dat gaat gewoon goed. Ben benieuwd hoe 't eruit ziet morgenochtend....

[Glamdring]

Vooralsnog geen klachten van Spotnet gebruikers i.c.m. Eweka. Lijkt dus een specifieke bug te zijn van Spotweb i.c.m. Eweka. Niet toevallig heeft Eweka de hoogste retentie van alle usp's. Misschien dat Spotweb tegen een grens aanloopt?

Is er iemand die dit gedrag kan reproduceren en een bug wil inschieten voor Spotweb op Github?

[vanaalten]

Glamdring schreef op zondag 29 juni 2025 @ 10:15:
Is er iemand die dit gedrag kan reproduceren en een bug wil inschieten voor Spotweb op Github?

Iemand - niet ik - heeft dat al gedaan:
https://github.com/spotweb/spotweb/issues/897
...al gaat het in de discussie vooral om het oplossen van het probleem door de database opnieuw op te bouwen, niet om de oorzaak te vinden.

Hier gisteravond een snapshot van de database van twee dagen geleden teruggezet en wat mysql repair gedaan - sindsdien lijkt alles nog goed te werken.

[Levaro]

vanaalten schreef op zondag 29 juni 2025 @ 10:29:
[...]

Iemand - niet ik - heeft dat al gedaan:
https://github.com/spotweb/spotweb/issues/897
...al gaat het in de discussie vooral om het oplossen van het probleem door de database opnieuw op te bouwen, niet om de oorzaak te vinden.

Hier gisteravond een snapshot van de database van twee dagen geleden teruggezet en wat mysql repair gedaan - sindsdien lijkt alles nog goed te werken.

Als je goed leest dan zie je dat ze in het onderstaande comment Eweka getest hebben en bij hun geen problemen zagen?

Zie: https://github.com/spotwe...7#issuecomment-3015966899

In dit geval lijkt het me ook vrijwel ondoenlijk de exacte oorzaak te achterhalen, ook gelet op het feit dat gebruikers van andere usenet providers geen problemen lijken te ondervinden en dit zich specifiek lijkt te richten tot een klein hoekje van Usenet. (wellicht een omgevallen server o.i.d)

En daarbij, als je de via SSH dit commando uitvoert en de database opnieuw laat vullen met retrieve is er niks meer aan de hand.

code:

php upgrade-db.php --reset-db

[mesa57]

Ik vraag me af welke sortering door gebruikers met het 'gat' probleem werd gebruikt.
De spots zitten namelijk wél in de database.

[DjoeC]

Mijn MariaDB database was ook echt leeg gemaakt. Had een melding van de SSD smart dat midden in de nacht de temperatuur 55 graden had bereikt, dat gebeurt echt alleen als Mariadb super druk is met maintenance zoals gister ook bij de restore. Ik heb Spotweb nog niet geherstart, eerst eens eea verder uitzoeken.

Ik heb (tot gisteren) vanuit Eweka 2.390.677 spots in de tabel staan, Eweka geeft 2.700.000 artikelheaders in een andere nieuwslezer - verschil zal vooral commentaar of troep zijn. Er staan trouwens ook 21M commentaren in de commentsxover.

Net een nieuwe versie van de container opgehaald en opgestart. Voorlopig LIJKT het dat er niets verwijderd wordt en de nieuwe spots weer binnenkomen. Fingers crossed....

[DjoeC]

mesa57 schreef op zondag 29 juni 2025 @ 11:52:
Ik vraag me af welke sortering door gebruikers met het 'gat' probleem werd gebruikt.
De spots zitten namelijk wél in de database.

Nee, hier waren ze fysiek weg: Backup Spotweb 27 mei was 2.3GB, backup 28 mei 993MB.

[TheMystery]

Hier nog geen problemen met eweka en spotweb, wel voor de zekerheid maar even een snapshot gemaakt.

[DarkAllMan]

Ik heb hetzelfde probleem. Ik heb een DB reset gedaan en ben nu weer een retreive aan het doen.

Update: Na reset/retreive heb ik alle data weer.

[ Voor 21% gewijzigd door DarkAllMan op 30-06-2025 12:31 ]

[PerlinNoise]

Levaro schreef op zondag 29 juni 2025 @ 10:42:
[...]


Als je goed leest dan zie je dat ze in het onderstaande comment Eweka getest hebben en bij hun geen problemen zagen?

Zie: https://github.com/spotwe...7#issuecomment-3015966899

In dit geval lijkt het me ook vrijwel ondoenlijk de exacte oorzaak te achterhalen, ook gelet op het feit dat gebruikers van andere usenet providers geen problemen lijken te ondervinden en dit zich specifiek lijkt te richten tot een klein hoekje van Usenet. (wellicht een omgevallen server o.i.d)

En daarbij, als je de via SSH dit commando uitvoert en de database opnieuw laat vullen met retrieve is er niks meer aan de hand.

code:

php upgrade-db.php --reset-db

Ik draai Spotweb in docker (jgeusebroek/spotweb). Enig idee hoe ik daar de db reset?
Commando's uiteraard geprobeerd via Exec maar:

spotweb: root@89f6013cdb69:/# php upgrade-db.php --reset-db
Could not open input file: upgrade-db.php
database: root@2241f04daca2:/# php upgrade-db.php --reset-db
bash: php: command not found

EDIT: Ik heb de db maar verwijderd en ben opnieuw begonnen.

[RudolfR]

@PerlinNoise
Waarschijnlijk /usr/bin/php en een volledig pad naar je spotweb install.

Ik heb retrieve een paar dagen stil gezet en kon het vandaag probleemloos hervatten.

docker exec spotweb /usr/bin/php /var/www/spotweb/retrieve.php
Last retrieve at Fri 27 Jun 2025 11:15:02 PM CEST
Retrieving new Spots from server news.eweka.nl...
Appr. Message count: 4310497
First message number: 2
Last message number: 4310499
Current article number: 4309488

Retrieving 4309488 till 4310500 (parsed: 1011, in DB: 1, signed: 964, invalid: 1, rtntn.skip: 0, mod: 46, full: 0, total: 1012) in 2.55 seconds
Processed a total of 1012 spots
Finished retrieving spots.

Calculating how many spots are new, done.
Last retrieve at Mon 30 Jun 2025 10:07:58 PM CEST
Retrieving new comments from server news.eweka.nl...
Appr. Message count: 21284444
First message number: 2
Last message number: 21284446
Current article number: 21279381

Retrieving 21279381 till 21284382, found 5001 comments in 1.8 seconds
Retrieving 21284382 till 21284447, found 65 comments in 0.28 seconds
Processed a total of 5066 comments
Finished retrieving comments.

Last retrieve at Mon 30 Jun 2025 10:08:13 PM CEST
Retrieving new reports from server news.eweka.nl...
Appr. Message count: 347589
First message number: 2
Last message number: 347591
Current article number: 347554

Retrieving 347554 till 347592, found 38 reports in 0.96 seconds
Processed a total of 38 reports
Finished retrieving reports.

Blacklist not modified, no need to update
Whitelist not modified, no need to update
Starting to create statistics
Finished creating statistics

[Ids]

PerlinNoise schreef op maandag 30 juni 2025 @ 16:18:
[...]

Ik draai Spotweb in docker (jgeusebroek/spotweb). Enig idee hoe ik daar de db reset?
Commando's uiteraard geprobeerd via Exec maar:

spotweb: root@89f6013cdb69:/# php upgrade-db.php --reset-db
Could not open input file: upgrade-db.php
database: root@2241f04daca2:/# php upgrade-db.php --reset-db
bash: php: command not found

In Exec:

code:

/var/www/spotweb/bin/upgrade-db.php --reset-db

[Akiranon]

Voor degene die de docker image van Erik de Vries draaien in Container Manager op een Synology NAS, met de volgende commands kun je een database reset uitvoeren:

Log via SSH in en ga naar de container. In mijn geval heet deze 'spotweb':

code:

sudo docker exec -it spotweb bash

Voer het volgende commando uit voor het resetten van de database:

code:

/usr/bin/php84 /app/bin/upgrade-db.php --reset-db

Vervolgens kun je via de admin user zelf weer instellen tot hoever terug je spots wilt ophalen.

[Deepvault]

Gisteren heb ik mijn QNAP NAS opnieuw moeten installeren vanwege omstandigheden. Het installeren van Spotweb ging gelukkig vrij eenvoudig. Alleen het ophalen van de spots duurt ontzettend lang.

Op dit moment moet ik telkens handmatig op de "Retrieve"-knop klikken om data binnen te halen. Is het niet mogelijk om alles in één keer op te halen, of het proces te automatiseren zodat ik niet steeds handmatig hoef te klikken?

Alvast bedankt voor jullie hulp!

[vanaalten]

Deepvault schreef op donderdag 31 juli 2025 @ 11:08:
Gisteren heb ik mijn QNAP NAS opnieuw moeten installeren vanwege omstandigheden. Het installeren van Spotweb ging gelukkig vrij eenvoudig. Alleen het ophalen van de spots duurt ontzettend lang.

Op dit moment moet ik telkens handmatig op de "Retrieve"-knop klikken om data binnen te halen. Is het niet mogelijk om alles in één keer op te halen, of het proces te automatiseren zodat ik niet steeds handmatig hoef te klikken?

Alvast bedankt voor jullie hulp!

Hoe had je dit voorheen dan geregeld?
Zelf geen NAS, maar op m’n linux server net Spotweb heb ik een cron job ingesteld die elk uur een retrieve doet. Zo iets zal wellicht ook op je NAS kunnen.

[Caveman]

vanaalten schreef op donderdag 31 juli 2025 @ 11:35:
[...]

Hoe had je dit voorheen dan geregeld?
Zelf geen NAS, maar op m’n linux server net Spotweb heb ik een cron job ingesteld die elk uur een retrieve doet. Zo iets zal wellicht ook op je NAS kunnen.

Klopt, op een syno heb je een taskscheduler, volgens mij zit die ook op een QNAP.
Laat een user defined script lopen om de 6 uur ofzoiets...

code:

/usr/local/bin/php56 /volume1/web/spotweb/retrieve.php --force

De locatie van je spotweb en php zal ongetwijfeld anders zijn, maar dat moet niet zo moeilijk zijn om te achterhalen.

[Room42]

Caveman schreef op donderdag 31 juli 2025 @ 13:14:
[...]


Klopt, op een syno heb je een taskscheduler, volgens mij zit die ook op een QNAP.
Laat een user defined script lopen om de 6 uur ofzoiets...

code:

/usr/local/bin/php56 /volume1/web/spotweb/retrieve.php --force

De locatie van je spotweb en php zal ongetwijfeld anders zijn, maar dat moet niet zo moeilijk zijn om te achterhalen.

De --force zou ik weglaten, omdat als de retrieve nog loopt, deze daarmee afgebroken wordt. Door geen --force te gebruiken loopt het vorige proces gewoon door en wordt ie niet opnieuw gestart.

[headout]

Caveman schreef op donderdag 31 juli 2025 @ 13:14:
[...]


Klopt, op een syno heb je een taskscheduler, volgens mij zit die ook op een QNAP.
Laat een user defined script lopen om de 6 uur ofzoiets...

code:

/usr/local/bin/php56 /volume1/web/spotweb/retrieve.php --force

De locatie van je spotweb en php zal ongetwijfeld anders zijn, maar dat moet niet zo moeilijk zijn om te achterhalen.

In mijn geval a 2 uur draait deze taak op de Synology:
/usr/bin/php /volume1/web/spotweb/retrieve.php

Voor Qnap zal er wel iets vergelijkbaars zijn, en anders:
https://www.qnap.com/es-e...crontab-to-schedule-a-job

[Deepvault]

vanaalten schreef op donderdag 31 juli 2025 @ 11:35:
[...]

Hoe had je dit voorheen dan geregeld?
Zelf geen NAS, maar op m’n linux server net Spotweb heb ik een cron job ingesteld die elk uur een retrieve doet. Zo iets zal wellicht ook op je NAS kunnen.

Het probleem is gefixt door alleen "Retrieve reports" aan te vinken. Nu haalt hij alles netjes binnen.

[Marve79]

Iemand die Spotweb als newznab gebruikt in Sonarr/Radarr?

Ik heb dit ingesteld en volgens Sonarr/Radarr is het in orde (groen vinkje bij testen).

Maar ze vinden helemaal niks. Enig idee?

[pdukers]

Ja, locale spotweb werkt bij mij. Heb je de juiste categorieën aangevinkt?

Bij wordt wel spotweb amper gebruikt al soure voor nzb's.Eigenlijk alleen maar voor NL content. Al het andere komt van andere indexers.

[SMSfreakie]

mesa57 schreef op zondag 29 juni 2025 @ 11:52:
Ik vraag me af welke sortering door gebruikers met het 'gat' probleem werd gebruikt.
De spots zitten namelijk wél in de database.

ik kreeg ze ook niet voor de dag meer... nu db aan het hervullen..

[Mankepoot]

Ik gebruik spotweb al enige jaren maar laatst is het uiterlijk veranderd. Mijn alsnog noob vraagje is: wat is de betekenis van de verschillende kleuren op verschillende topic rijen?

[mesa57]

De kleuren weerspiegelen de hoofdcategorieën

[Marve79]

pdukers schreef op woensdag 20 augustus 2025 @ 13:38:
Ja, locale spotweb werkt bij mij. Heb je de juiste categorieën aangevinkt?

Bij wordt wel spotweb amper gebruikt al soure voor nzb's.Eigenlijk alleen maar voor NL content. Al het andere komt van andere indexers.

Ja ik heb het ook juist nodig voor NL. Ik zal eens kijken maar ik heb gewoon de main categorie TV aangevinkt.