SpotWeb - Webbased Spotnet - deel 2

[NegativeFreak]

Even uit nieuwsgierigheid gezien ik het antwoord niet duidelijk kan vinden.
Hoeveel spots heb je in je database staan als je Spotweb ingesteld hebt staan op 01-11-2009?
Hoe groot is je database dan?

Ik zie in mijn database onder spots 2,107,968 en spotsfull 2,106,608 rows.
Totale grote zit nu op 6.3 GiB.

[Firefly165]

NegativeFreak schreef op donderdag 24 oktober 2024 @ 18:04:
Even uit nieuwsgierigheid gezien ik het antwoord niet duidelijk kan vinden.
Hoeveel spots heb je in je database staan als je Spotweb ingesteld hebt staan op 01-11-2009?
Hoe groot is je database dan?

Ik zie in mijn database onder spots 2,107,968 en spotsfull 2,106,608 rows.
Totale grote zit nu op 6.3 GiB.

~3.932.358 InnoDB latin1_swedish_ci 6,4 GiB 0 B

spots 2.115.609 utf8_unicode_ci 835,4 MiB -
Fullspots 1.799.599 utf8_unicode_ci 5,6 GiB

[ Voor 8% gewijzigd door Firefly165 op 20-11-2024 13:53 ]

[NegativeFreak]

Firefly165 schreef op woensdag 20 november 2024 @ 13:51:
[...]


~3.932.358 InnoDB latin1_swedish_ci 6,4 GiB 0 B

spots 2.115.609 utf8_unicode_ci 835,4 MiB -
Fullspots 1.799.599 utf8_unicode_ci 5,6 GiB

Dankjewel, daar zit ik wel bij in de buurt. Dan hoef ik daar verder niet meer op te letten.

[mesa57]

Glamdring schreef op zondag 6 oktober 2024 @ 14:00:
[...]


Dank voor je uitleg, ik begrijp het nu.

Tenslotte, nog 1 ander vraagje: sommige spotters gebruiken de img en color code tags in hun spot omschrijving, klopt het dat deze alleen in SpotNet werken en niet in SpotWeb?

In de meest recente versie van Spotweb werken ze nu.

[Glamdring]

mesa57 schreef op zondag 24 november 2024 @ 12:10:
[...]

In de meest recente versie van Spotweb werken ze nu.

Ah, oké. Dank. Ik ga het uitproberen.

[mesa57]

Glamdring schreef op zondag 24 november 2024 @ 13:22:
[...]


Ah, oké. Dank. Ik ga het uitproberen.

Je moet wel de develop branch gebruiken. Van de week zal die wel gemerged worden met master.

[Tazzy]

Enig idee hoe ik dit oplos:

Decoding <snip>.rar [22/220] failed: size mismatch

Spotweb draaid in een docker container waarvan de maker zegt dat deze up to date is. Ik vermoed dat het een issue is wat de andere partij veroorzaakt heeft, maar is het aan mijn kant op te lossen?

Edit: Of is dit een NZBGet issue aan mijn kant?

[ Voor 8% gewijzigd door Tazzy op 25-11-2024 13:21 ]

[vanaalten]

Tazzy schreef op maandag 25 november 2024 @ 13:13:
Enig idee hoe ik dit oplos:

Decoding <snip>.rar [22/220] failed: size mismatch

Spotweb draaid in een docker container waarvan de maker zegt dat deze up to date is. Ik vermoed dat het een issue is wat de andere partij veroorzaakt heeft, maar is het aan mijn kant op te lossen?

Edit: Of is dit een NZBGet issue aan mijn kant?

Lijkt mij meer waarschijnlijk dat er een corrupte rar geup- of download is.

[Tazzy]

Dat is het gekke, ik heb de indruk dat er mensen zijn waar de download wel bij lukt. Ik zal zo de docker van NZBGet ook eens verversen.

Edit: Zit nog eens terug te lezen in de commentaren, het zijn Spotnet Classic 1.9.1.1 gebruikers die geen problem hebben. Dan moet het toch in mijn Spotweb zitten.

Het gaat trouwens om comics van Xanadu

[ Voor 43% gewijzigd door Tazzy op 25-11-2024 16:03 ]

[Caveman]

Tazzy schreef op maandag 25 november 2024 @ 15:21:
Dat is het gekke, ik heb de indruk dat er mensen zijn waar de download wel bij lukt. Ik zal zo de docker van NZBGet ook eens verversen.

Edit: Zit nog eens terug te lezen in de commentaren, het zijn Spotnet Classic 1.9.1.1 gebruikers die geen problem hebben. Dan moet het toch in mijn Spotweb zitten.

Het gaat trouwens om comics van Xanadu

Ligt niet aan jouw, hij gebruikte een wat oudere versie van ngPost. Wat kennelijk voor wat problemen zorgt, inmiddel zou dat opgelost moeten zijn.

[ Voor 21% gewijzigd door Caveman op 25-11-2024 19:58 ]

[ge-flopt]

Misschien mis ik ergens iets, maar het lijkt erop dat bij mij de meeste spots nederlands georiënteerd zijn. Dan bedoel ik niet dat het om nederlandse films of series gaat, maar dat de meeste posts vanuit nederland lijken te komen:
- nederlandse posters
- nederlandse omschrijvingen
- nederlandse reacties.

Ik zou verwachten dat ik ook meer "buitenlandse" posts voorbij zou komen.

Doe ik iets verkeerd of moet ik iets aanpassen?

[Kroonkurk]

Je doet niets verkeerd, maar voor meer 'buitenlandse' posts moet je op andere indexers zijn.
Zie ook het Usenet topic voor meer info.

[Glamdring]

Ik kijk vaak op SpotWeb met mijn iPad in Portrait-modus. De eerste regel van de index valt dan vaak weg, de gehele spottitel is dan niet leesbaar. Lijkt mij een CSS issue, denk ik.

Ik kan het op mijn desktop (1280x720) reproduceren door het Firefox venster te versmallen. Het ziet er dan zo uit:



@mesa57 Is dit iets dat jij m.b.t. tot het thema, kan fixen?

[mesa57]

Nee, dat kan ik niet. Maar je kunt op github een issue openen.

[DIKKEHENK]

zeg, vraagje, wat voor soort 'custom format' in Sonarr moet ik maken om 'NLSubs' ( of nlSUBS etc) als prio te verkrijgen?
Heb zelf wel al wat geknutseld, maar heb t vermoeden dat het niet of matig werkt als ik naar de score kijk..

iemand een tip?

[jimmy87]

Ik heb er ook zelf een draaien maar het lijkt niet echt meer geupdate te worden? Buiten dan de automatisch pulls. Hoe nieuw kan je php zijn?

[elinsen]

Ik heb al jaren Extreme Usenet in gebruik, maar kan sinds enkele dagen niet meer inloggen. Daar heb ik melding van gemaakt via de klantenservice, maar er komt geen enkele reactie terwijl ze aangeven binnen 24 uur te reageren.

Zijn er andere mensen bij wie Extreme Usenet momenteel niet functioneert? If so dan is het probleem breder (storing, failissement, etc), if not dat is er er iets mis met mijn login informatie. Ik krijg nu een 502 error.

[MaceNL]

Wellicht al een keer eerder gesteld, heb gezocht maar niks gevonden.

Weet iemand hoe je de sender/afzender kolom wat breeder kan maken?

[Glamdring]

@MaceNL

Ga naar Configuratie/Voorkeuren wijzigen/Eigen CSS en vul in en sla op:

code:

table.spots th.poster {
  min-width: 160px;
}

table.spots td.poster {
  min-width: 160px;
}

In bovenstaand voorbeeld heb ik een minimale breedte van 160 pixels genomen, dit kun je natuurlijk aan eigen voorkeur aanpassen.

Succes!

Edit: even een aanpassing in de CSS code, de code van het oorspronkelijke bericht werkte niet na zelf te hebben getest.

[ Voor 18% gewijzigd door Glamdring op 06-02-2025 16:42 ]

[alesandro_46]

@Glamdring, weet je of er ook een mogelijkheid is om met CSS de 'erase downloadhistory' te verwijden (of in ieder geval uit te schakelen) is?

[Glamdring]

@alesandro_46

Probeer dit eens:

code:

.greyButton.erasedownloads {
  display: none;
}

[alesandro_46]

@Glamdring, yes werkt perfect! Bedankt voor de snelle service!

[browser666]

waar kan ik de templates vinden?

[ Voor 83% gewijzigd door browser666 op 15-02-2025 21:59 ]

[rcbaltus]

Hallo,
Ik heb mijn NAS opnieuw moeten configureren, alles is teruggezet, alles werkt, maar spotweb krijg ik niet aan de praat.
ook de database van MariaDB is teruggezet, zi eik via PhPMyadmin . Maar ik krijg een foutmelding van spotweb:

SQLSTATE[HY000] [2002] Connection refused
Please correct the errors in below form and try again

ook als ik de datebase verwijder en de hele riedel vanaf nul begin krijg ik die melding.
Is er wellicht iets mis met de instellingen van webstation?
Hoop dat u jullie kunnen helpen.
Robert

[jocd]

rcbaltus schreef op donderdag 27 februari 2025 @ 18:36:
Hallo,
Ik heb mijn NAS opnieuw moeten configureren, alles is teruggezet, alles werkt, maar spotweb krijg ik niet aan de praat.
ook de database van MariaDB is teruggezet, zi eik via PhPMyadmin . Maar ik krijg een foutmelding van spotweb:

SQLSTATE[HY000] [2002] Connection refused
Please correct the errors in below form and try again

ook als ik de datebase verwijder en de hele riedel vanaf nul begin krijg ik die melding.
Is er wellicht iets mis met de instellingen van webstation?
Hoop dat u jullie kunnen helpen.
Robert

Ik had hetzelfde probleem. Bij mij hielp het om mysql_secure_installation te runnen en te doorlopen.

[Devedse]

Hallo allemaal,

Ik ben op dit moment bezig met mijn Plex/Sonarr/Radarr/Prowlarr setup wat uitbreiden zodat deze ook wat meer nederlandse content kan binnen halen. Ik kwam er achter dat je dit onder andere via bijv. nzbstars kan doen. Deze draait zover ik weet op ook op spotweb.

Wanneer ik in Sonarr een query doe naar een bepaalde nederlandse serie, zie ik die netjes via prowlarr naar nzbstars gaan, en komt er vervolgens in de results netjes een .nzb terug.

Aangezien je spotweb ook zelf kan hosten, dacht ik, waarom niet.

Inmiddels draait de docker container met een Postgres database en heeft deze alle spots > 2009 opgehaald. Wanneer ik dezelfde titel invoer in de WebUI van mijn spotweb instance vind hij die ook netjes terug.

Probleem

Het probleem waar ik echter tegen aanloop is dat zodra ik de zelfde vraag (via Sonarr/Prowlarr) stuur naar mijn eigen instance, daar geen resultaat op terug komt.

Daarnaast zie ik ook dat mijn zoekresultaten behoorlijk anders naar voren komen op mijn eigen instance dan via bijv. nzbstars. Bij nzbstars zie je bijvoorbeeld 1 resultaat als je zoekt naar iets als: 'het roer om s06e05'. Bij mijn eigen isntance zie ik als ik sorteer op relevantie in ieder geval de juiste episode eerst. Maar er komt veel meer naar boven:


Wanneer ik sorteer op datum wordt het nog veel gekker:


Hij lijkt alle spots met het woordje "het" te vinden.

Mijn vraag is dus of deze twee problemen gerelateerd zijn, en of iemand anders dit wel werkend heeft gekregen in Sonarr/Prowlarr?

[Kroonkurk]

In Spotweb zelf wordt de juiste zoekopdracht: "Het roer om" s06e05.
Als je de titel die spaties bevat niet tussen aanhalingstekens zet neemt Spotweb elk woord apart mee in de zoekopdracht.

[DjoeC]

In spotweb (Docker) zoek je meerdere losse woorden met een + ervoor:
+roer +hoe +met
Vzv ik weet moeten alle worden "compleet" zijn maar mag het laatste woord bijvoorbeeld S06 zijn om alle S06Exx te zien te krijgen.

[browser666]

Goedeavond, ik heb zojuist de docker versie geinstalleerd op mijn Unraid installatie. Ik moet echter inloggen met admin rechten, maar ik weet niet waar ik die gegevens vandaan haal. Is er een standaard login of data waar ik dat kan vinden? Alvast bedankt!

[ninjazx9r98]

browser666 schreef op zaterdag 15 maart 2025 @ 20:17:
Goedeavond, ik heb zojuist de docker versie geinstalleerd op mijn Unraid installatie. Ik moet echter inloggen met admin rechten, maar ik weet niet waar ik die gegevens vandaan haal. Is er een standaard login of data waar ik dat kan vinden? Alvast bedankt!

Heb je die gegevens niet zelf moeten ingeven na installatie? Als ik het me goed herinner ga je de eerste keer met de browser naar install.php en moet je daar een en ander configureren.

[RobbyTown]

browser666 schreef op zaterdag 15 maart 2025 @ 20:17:
Goedeavond, ik heb zojuist de docker versie geinstalleerd op mijn Unraid installatie. Ik moet echter inloggen met admin rechten, maar ik weet niet waar ik die gegevens vandaan haal. Is er een standaard login of data waar ik dat kan vinden? Alvast bedankt!

Als je deze hebt gebruikt:
https://hub.docker.com/r/erikdevries/spotweb

Configure Spotweb

Visit http://localhost:8085
Login with username admin and default password spotweb
Configure usenet server, spot retention, etc. and wait for spots to appear (retrieval script by default runs once every 5 minutes, see below how to change this update interval)

[browser666]

Het werkt nu! Bedankt!

RobbyTown schreef op zaterdag 15 maart 2025 @ 20:42:
[...]

Als je deze hebt gebruikt:
https://hub.docker.com/r/erikdevries/spotweb

[...]

[SuperCrisz]

Ik heb Spotweb werkend in een docker, maar hij komt niet verder dan spots tot 7 jaar en 7 maanden oud.. recenter komt ie niet, komen ook geen spots bij als ik handmatig op de retrieve knop klik.. last update staat op "unknown". Iemand een idee?

[DjoeC]

SuperCrisz schreef op maandag 17 maart 2025 @ 17:47:
Ik heb Spotweb werkend in een docker, maar hij komt niet verder dan spots tot 7 jaar en 7 maanden oud.. recenter komt ie niet, komen ook geen spots bij als ik handmatig op de retrieve knop klik.. last update staat op "unknown". Iemand een idee?

Daglimiet bij je host?

[SuperCrisz]

@DjoeC Hmm zit bij Eweka met unlimited data

[ Voor 12% gewijzigd door SuperCrisz op 17-03-2025 18:35 ]

[DjoeC]

SuperCrisz schreef op maandag 17 maart 2025 @ 18:35:
@DjoeC Hmm zit bij Eweka met unlimited data

Ehhm, heb je de startdatum aangepast en daarna opnieuw data opgebouwd? Mijn startdatum is 01-09-2009. Dat lijkt nog betrouwbaar te werken. Na aanpassen van die datum heb ik wel de spots tabellen leeg gegooid om "eerder" te kunnen beginnen.

[SuperCrisz]

DjoeC schreef op maandag 17 maart 2025 @ 20:54:
[...]

Ehhm, heb je de startdatum aangepast en daarna opnieuw data opgebouwd? Mijn startdatum is 01-09-2009. Dat lijkt nog betrouwbaar te werken. Na aanpassen van die datum heb ik wel de spots tabellen leeg gegooid om "eerder" te kunnen beginnen.

tis gelukt, had iets te maken met schrijfrechten op mijn database.
Waar kan je trouwens ergens je mailinstellingen (SMTP) wijzigen voor mail notificaties?

[DjoeC]

SuperCrisz schreef op dinsdag 18 maart 2025 @ 15:54:
[...]

tis gelukt, had iets te maken met schrijfrechten op mijn database.
Waar kan je trouwens ergens je mailinstellingen (SMTP) wijzigen voor mail notificaties?

SMTP? Ik gebruik t niet maar je kunt eea instellen onder inloggen als admin -> settings -> general -> use smtp. Dan zal er wel een mail naar het email adres van "user" gaan. Betekent wel dat je altijd zult moeten inloggen denk ik - en in mijn container "hoeft dat niet", ik share geen nzb's met anderen - als ze willen moeten ze zelf maar een container opstarten.

En anders? Ergens een config filetje?

[ Voor 16% gewijzigd door DjoeC op 18-03-2025 17:25 ]

[QuizzNL]

Devedse schreef op woensdag 12 maart 2025 @ 21:15:
Hallo allemaal,

Ik ben op dit moment bezig met mijn Plex/Sonarr/Radarr/Prowlarr setup wat uitbreiden zodat deze ook wat meer nederlandse content kan binnen halen. Ik kwam er achter dat je dit onder andere via bijv. nzbstars kan doen. Deze draait zover ik weet op ook op spotweb.

Wanneer ik in Sonarr een query doe naar een bepaalde nederlandse serie, zie ik die netjes via prowlarr naar nzbstars gaan, en komt er vervolgens in de results netjes een .nzb terug.

Aangezien je spotweb ook zelf kan hosten, dacht ik, waarom niet.

Inmiddels draait de docker container met een Postgres database en heeft deze alle spots > 2009 opgehaald. Wanneer ik dezelfde titel invoer in de WebUI van mijn spotweb instance vind hij die ook netjes terug.

Probleem

Het probleem waar ik echter tegen aanloop is dat zodra ik de zelfde vraag (via Sonarr/Prowlarr) stuur naar mijn eigen instance, daar geen resultaat op terug komt.

Daarnaast zie ik ook dat mijn zoekresultaten behoorlijk anders naar voren komen op mijn eigen instance dan via bijv. nzbstars. Bij nzbstars zie je bijvoorbeeld 1 resultaat als je zoekt naar iets als: 'het roer om s06e05'. Bij mijn eigen isntance zie ik als ik sorteer op relevantie in ieder geval de juiste episode eerst. Maar er komt veel meer naar boven:
[Afbeelding]

Wanneer ik sorteer op datum wordt het nog veel gekker:
[Afbeelding]

Hij lijkt alle spots met het woordje "het" te vinden.

Mijn vraag is dus of deze twee problemen gerelateerd zijn, en of iemand anders dit wel werkend heeft gekregen in Sonarr/Prowlarr?

Ik had ook veel issues met tegenvallende zoekresultaten vanuit prowlarr naar spotweb. Het gaat ook vaak mis wanneer er bijvoorbeeld een jaartal of seizoens-/afleveringsnummer wordt meegestuurd.

Vanuit precies dezelfde frustratie heb ik besloten een eigen spotnet indexer te bouwen.
Deze indexer is puur gericht is op integratie met andere applicaties via Newznab zoals de bekende *arrs.
De indexer heeft geen UI zoals Spotweb deze heeft en wordt uitgelezen via de newznab endpoints.

Ik draai mijn applicatie zelf al een tijdje en de resultaten zijn stukken beter dan wat ik vanuit spotweb kreeg.

De code en installatie-instructies zijn hier te vinden: https://github.com/Spottarr/Spottarr

[rsvmark]

QuizzNL schreef op maandag 5 mei 2025 @ 14:34:
[...]


Ik had ook veel issues met tegenvallende zoekresultaten vanuit prowlarr naar spotweb. Het gaat ook vaak mis wanneer er bijvoorbeeld een jaartal of seizoens-/afleveringsnummer wordt meegestuurd.

Vanuit precies dezelfde frustratie heb ik besloten een eigen spotnet indexer te bouwen.
Deze indexer is puur gericht is op integratie met andere applicaties via Newznab zoals de bekende *arrs.
De indexer heeft geen UI zoals Spotweb deze heeft en wordt uitgelezen via de newznab endpoints.

Ik draai mijn applicatie zelf al een tijdje en de resultaten zijn stukken beter dan wat ik vanuit spotweb kreeg.

De code en installatie-instructies zijn hier te vinden: https://github.com/Spottarr/Spottarr

Had al en paar keer geprobeerd spotweb te draaien op mijn proxmox server maar helaas niet voor elkaar gekregen.
Dit werkt echter prima

[Kenhas]

QuizzNL schreef op maandag 5 mei 2025 @ 14:34:
[...]


Ik had ook veel issues met tegenvallende zoekresultaten vanuit prowlarr naar spotweb. Het gaat ook vaak mis wanneer er bijvoorbeeld een jaartal of seizoens-/afleveringsnummer wordt meegestuurd.

Vanuit precies dezelfde frustratie heb ik besloten een eigen spotnet indexer te bouwen.
Deze indexer is puur gericht is op integratie met andere applicaties via Newznab zoals de bekende *arrs.
De indexer heeft geen UI zoals Spotweb deze heeft en wordt uitgelezen via de newznab endpoints.

Ik draai mijn applicatie zelf al een tijdje en de resultaten zijn stukken beter dan wat ik vanuit spotweb kreeg.

De code en installatie-instructies zijn hier te vinden: https://github.com/Spottarr/Spottarr

Interessant, zal het eens testen.

Was op zoek naar iets waar ik mijn React skills eens op kan testen. Misschien eens kijken om een GUI te maken. Of misschien maak ik wel in C# om de skills te onderhouden. Slechts eens snel door de code gebladerd. Mooi project

[witchdoc]

Kan iemand me de logica uitleggen van die Anonymous user - open system group memmbership voor de admin user? Heb ik die nodig?
Waarom krijg ik een vol witte pagina zonder enig element als ik deze vervang door Anonymous user - closed system?
Waarom zit een admin uberhaup[t in zo'n anonymous groep?

[Guff_]

Wat is er met de spots gebeurd

Spots takedown?

[strandbal]

Hier ook een gat ontstaan van 2010 tot vandaag...

[PerlinNoise]

Hier ook. Dacht dat het aan mijn database lag, maar ben dus niet de enige...

[DjoeC]

Inderdaad. En het verklaart ook waarom m'n SSD vannacht zo warm liep (massaal MariaDB wijzigingen).

Maar snel de database backup van gistermiddag veiliggesteld

[DjoeC]

Ik bedenk me nu: Als ik Spotweb goed begrijp (groot vraagteken) gaat ie verder vanaf het laatste timestamp. Dan kunnen oude spots toch niet zomaar verdwijnen als ze niet meer op de originele server staan?

Ofwel: Het "lijkt" sterk op een bugje in het programma.....

[Bastien]

Hier (nog) niet gelukkig. Maar jullie DB is ook echt leeg? Normaal gesproken staat alles lokaal wat eenmaal is opgehaald en zou ongeacht de newsserver niet moeten verdwijnen lijkt mij. Ben onlangs gewisseld van server waar de headers vandaan komen en dat is ook gewoon goed gegaan, keurig verder vanaf de juiste timestamp.

Heb een week of twee geleden de laatste versie van github gehaald.

[ Voor 9% gewijzigd door Bastien op 28-06-2025 12:22 ]

[DjoeC]

Bastien schreef op zaterdag 28 juni 2025 @ 12:22:
Hier (nog) niet gelukkig. Maar jullie DB is ook echt leeg? Normaal gesproken staat alles lokaal wat eenmaal is opgehaald en zou ongeacht de newsserver niet moeten verdwijnen lijkt mij. Ben onlangs gewisseld van server waar de headers vandaan komen en dat is ook gewoon goed gegaan, keurig verder vanaf de juiste timestamp.

Heb een week of twee geleden de laatste versie van github gehaald.

Nee, niet compleet leeg maar wel alles vanaf 2010 t/m 02:00 vannacht. 2009 staat er nog in en de nieuwe van vandaag.

Ik draai in Docker met MariaDB, laatste updat de container van vorig weekend. Heb net een database reset gedan en ben nu maart 2010 aan het laden. Ik zal dat eens stoppen en eerst een complete restore naar gisteren uitvoeren.

[vanaalten]

Hmmm, dank voor de waarschuwing! Hier ook een groot gat tussen 15-11-2010 22:24 en 28-06-2025 04:24.

Ik draai Spotweb direct, geen container ofzo. Geen dingen gewijzigd de laatste tijd, dus een bug in Spotweb zelf lijkt mij waarschijnlijk.
Database grootte is ook niet dramatisch kleiner geworden: ongeveer 5GB nu en ongeveer 5GB twee dagen geleden.

Nu even bedenken hoe dit terug te zetten is. Heb geen SQL backup gemaakt, maar wel dagelijks een snapshot in het filesysteem.

[DjoeC]

vanaalten schreef op zaterdag 28 juni 2025 @ 13:42:
Hmmm, dank voor de waarschuwing! Hier ook een groot gat tussen 15-11-2010 22:24 en 28-06-2025 04:24.

Ik draai Spotweb direct, geen container ofzo. Geen dingen gewijzigd de laatste tijd, dus een bug in Spotweb zelf lijkt mij waarschijnlijk.
Database grootte is ook niet dramatisch kleiner geworden: ongeveer 5GB nu en ongeveer 5GB twee dagen geleden.

Nu even bedenken hoe dit terug te zetten is. Heb geen SQL backup gemaakt, maar wel dagelijks een snapshot in het filesysteem.

Docker draait hier op een pi4. k probeer zoveel mogelijk databases in MariaDB te houden en draai daar 1x daags geautomatiseerd een backup van naar de PC toe. Die backups blijven 7 dagen op de PC maar viavia (backblaze) een jaar lang bewaard. Backups zijn wel vaker een lifesaver geweest -> beveel ik dus iedereen aan, en niet alleen voor databases maar ook voor configuraties en andere relevante bestanden.

Restore loopt momenteel maar dat gaat wel effe duren. Dus nu eerst een andere klus weg van de PC.

[Glamdring]

Aan allen die spots in hun database missen ben ik benieuwd welke Usenet provider (pay server) ze hebben?

Misschien dat dat meer duidelijkheid geeft.

Ikzelf heb (nog) geen last, mijn usp is Tweaknews.

[headout]

Glamdring schreef op zaterdag 28 juni 2025 @ 13:58:
Ikzelf heb (nog) geen last, mijn usp is Tweaknews.

Hier dezelfde provider, en tot op heden geen ontbrekende spots.

[DjoeC]

Eweka.

[Dangulus]

Eweka, ook weg!

[Glamdring]

Ik lees vooral Eweka. Misschien een storing bij hen?

[vanaalten]

Spots weg, en Eweka inderdaad...

[Bastien]

Ik haal de spots op via bulknews. Mooi waardeloos dan voor de eweka gebruikers.

[ Voor 6% gewijzigd door Bastien op 28-06-2025 16:43 ]

[DjoeC]

Ik begrijp nog steeds niet wat de invloed van de newshost is op het al dan niet schonen van de database als de schoning zegt: alles vanaf 1 november 2009 bewaren......

[MariosCube]

Met newsdemon op mijn secundaire spotweb server zo te zien geen problemen.

[Tr4il]

Bastien schreef op zaterdag 28 juni 2025 @ 12:22:
Hier (nog) niet gelukkig. Maar jullie DB is ook echt leeg? Normaal gesproken staat alles lokaal wat eenmaal is opgehaald en zou ongeacht de newsserver niet moeten verdwijnen lijkt mij. Ben onlangs gewisseld van server waar de headers vandaan komen en dat is ook gewoon goed gegaan, keurig verder vanaf de juiste timestamp.

Heb een week of twee geleden de laatste versie van github gehaald.

De DB was bij mij in ieder geval niet leeg, alle rijtjes stonden nog netjes in MariaDB.
Maar Spotweb wilde ze met geen mogelijkheid tonen in ieder geval, heel vreemd.
Ik heb de spots table leeggemaakt en die loopt nu weer te vullen, en dat gaat gewoon goed. Ben benieuwd hoe 't eruit ziet morgenochtend....

[Glamdring]

Vooralsnog geen klachten van Spotnet gebruikers i.c.m. Eweka. Lijkt dus een specifieke bug te zijn van Spotweb i.c.m. Eweka. Niet toevallig heeft Eweka de hoogste retentie van alle usp's. Misschien dat Spotweb tegen een grens aanloopt?

Is er iemand die dit gedrag kan reproduceren en een bug wil inschieten voor Spotweb op Github?

[vanaalten]

Glamdring schreef op zondag 29 juni 2025 @ 10:15:
Is er iemand die dit gedrag kan reproduceren en een bug wil inschieten voor Spotweb op Github?

Iemand - niet ik - heeft dat al gedaan:
https://github.com/spotweb/spotweb/issues/897
...al gaat het in de discussie vooral om het oplossen van het probleem door de database opnieuw op te bouwen, niet om de oorzaak te vinden.

Hier gisteravond een snapshot van de database van twee dagen geleden teruggezet en wat mysql repair gedaan - sindsdien lijkt alles nog goed te werken.

[Levaro]

vanaalten schreef op zondag 29 juni 2025 @ 10:29:
[...]

Iemand - niet ik - heeft dat al gedaan:
https://github.com/spotweb/spotweb/issues/897
...al gaat het in de discussie vooral om het oplossen van het probleem door de database opnieuw op te bouwen, niet om de oorzaak te vinden.

Hier gisteravond een snapshot van de database van twee dagen geleden teruggezet en wat mysql repair gedaan - sindsdien lijkt alles nog goed te werken.

Als je goed leest dan zie je dat ze in het onderstaande comment Eweka getest hebben en bij hun geen problemen zagen?

Zie: https://github.com/spotwe...7#issuecomment-3015966899

In dit geval lijkt het me ook vrijwel ondoenlijk de exacte oorzaak te achterhalen, ook gelet op het feit dat gebruikers van andere usenet providers geen problemen lijken te ondervinden en dit zich specifiek lijkt te richten tot een klein hoekje van Usenet. (wellicht een omgevallen server o.i.d)

En daarbij, als je de via SSH dit commando uitvoert en de database opnieuw laat vullen met retrieve is er niks meer aan de hand.

code:

php upgrade-db.php --reset-db

[mesa57]

Ik vraag me af welke sortering door gebruikers met het 'gat' probleem werd gebruikt.
De spots zitten namelijk wél in de database.

[DjoeC]

Mijn MariaDB database was ook echt leeg gemaakt. Had een melding van de SSD smart dat midden in de nacht de temperatuur 55 graden had bereikt, dat gebeurt echt alleen als Mariadb super druk is met maintenance zoals gister ook bij de restore. Ik heb Spotweb nog niet geherstart, eerst eens eea verder uitzoeken.

Ik heb (tot gisteren) vanuit Eweka 2.390.677 spots in de tabel staan, Eweka geeft 2.700.000 artikelheaders in een andere nieuwslezer - verschil zal vooral commentaar of troep zijn. Er staan trouwens ook 21M commentaren in de commentsxover.

Net een nieuwe versie van de container opgehaald en opgestart. Voorlopig LIJKT het dat er niets verwijderd wordt en de nieuwe spots weer binnenkomen. Fingers crossed....

[DjoeC]

mesa57 schreef op zondag 29 juni 2025 @ 11:52:
Ik vraag me af welke sortering door gebruikers met het 'gat' probleem werd gebruikt.
De spots zitten namelijk wél in de database.

Nee, hier waren ze fysiek weg: Backup Spotweb 27 mei was 2.3GB, backup 28 mei 993MB.

[TheMystery]

Hier nog geen problemen met eweka en spotweb, wel voor de zekerheid maar even een snapshot gemaakt.

[DarkAllMan]

Ik heb hetzelfde probleem. Ik heb een DB reset gedaan en ben nu weer een retreive aan het doen.

Update: Na reset/retreive heb ik alle data weer.

[ Voor 21% gewijzigd door DarkAllMan op 30-06-2025 12:31 ]

[PerlinNoise]

Levaro schreef op zondag 29 juni 2025 @ 10:42:
[...]


Als je goed leest dan zie je dat ze in het onderstaande comment Eweka getest hebben en bij hun geen problemen zagen?

Zie: https://github.com/spotwe...7#issuecomment-3015966899

In dit geval lijkt het me ook vrijwel ondoenlijk de exacte oorzaak te achterhalen, ook gelet op het feit dat gebruikers van andere usenet providers geen problemen lijken te ondervinden en dit zich specifiek lijkt te richten tot een klein hoekje van Usenet. (wellicht een omgevallen server o.i.d)

En daarbij, als je de via SSH dit commando uitvoert en de database opnieuw laat vullen met retrieve is er niks meer aan de hand.

code:

php upgrade-db.php --reset-db

Ik draai Spotweb in docker (jgeusebroek/spotweb). Enig idee hoe ik daar de db reset?
Commando's uiteraard geprobeerd via Exec maar:

spotweb: root@89f6013cdb69:/# php upgrade-db.php --reset-db
Could not open input file: upgrade-db.php
database: root@2241f04daca2:/# php upgrade-db.php --reset-db
bash: php: command not found

EDIT: Ik heb de db maar verwijderd en ben opnieuw begonnen.

[RudolfR]

@PerlinNoise
Waarschijnlijk /usr/bin/php en een volledig pad naar je spotweb install.

Ik heb retrieve een paar dagen stil gezet en kon het vandaag probleemloos hervatten.

docker exec spotweb /usr/bin/php /var/www/spotweb/retrieve.php
Last retrieve at Fri 27 Jun 2025 11:15:02 PM CEST
Retrieving new Spots from server news.eweka.nl...
Appr. Message count: 4310497
First message number: 2
Last message number: 4310499
Current article number: 4309488

Retrieving 4309488 till 4310500 (parsed: 1011, in DB: 1, signed: 964, invalid: 1, rtntn.skip: 0, mod: 46, full: 0, total: 1012) in 2.55 seconds
Processed a total of 1012 spots
Finished retrieving spots.

Calculating how many spots are new, done.
Last retrieve at Mon 30 Jun 2025 10:07:58 PM CEST
Retrieving new comments from server news.eweka.nl...
Appr. Message count: 21284444
First message number: 2
Last message number: 21284446
Current article number: 21279381

Retrieving 21279381 till 21284382, found 5001 comments in 1.8 seconds
Retrieving 21284382 till 21284447, found 65 comments in 0.28 seconds
Processed a total of 5066 comments
Finished retrieving comments.

Last retrieve at Mon 30 Jun 2025 10:08:13 PM CEST
Retrieving new reports from server news.eweka.nl...
Appr. Message count: 347589
First message number: 2
Last message number: 347591
Current article number: 347554

Retrieving 347554 till 347592, found 38 reports in 0.96 seconds
Processed a total of 38 reports
Finished retrieving reports.

Blacklist not modified, no need to update
Whitelist not modified, no need to update
Starting to create statistics
Finished creating statistics

[Ids]

PerlinNoise schreef op maandag 30 juni 2025 @ 16:18:
[...]

Ik draai Spotweb in docker (jgeusebroek/spotweb). Enig idee hoe ik daar de db reset?
Commando's uiteraard geprobeerd via Exec maar:

spotweb: root@89f6013cdb69:/# php upgrade-db.php --reset-db
Could not open input file: upgrade-db.php
database: root@2241f04daca2:/# php upgrade-db.php --reset-db
bash: php: command not found

In Exec:

code:

/var/www/spotweb/bin/upgrade-db.php --reset-db

[Akiranon]

Voor degene die de docker image van Erik de Vries draaien in Container Manager op een Synology NAS, met de volgende commands kun je een database reset uitvoeren:

Log via SSH in en ga naar de container. In mijn geval heet deze 'spotweb':

code:

sudo docker exec -it spotweb bash

Voer het volgende commando uit voor het resetten van de database:

code:

/usr/bin/php84 /app/bin/upgrade-db.php --reset-db

Vervolgens kun je via de admin user zelf weer instellen tot hoever terug je spots wilt ophalen.

[Deepvault]

Gisteren heb ik mijn QNAP NAS opnieuw moeten installeren vanwege omstandigheden. Het installeren van Spotweb ging gelukkig vrij eenvoudig. Alleen het ophalen van de spots duurt ontzettend lang.

Op dit moment moet ik telkens handmatig op de "Retrieve"-knop klikken om data binnen te halen. Is het niet mogelijk om alles in één keer op te halen, of het proces te automatiseren zodat ik niet steeds handmatig hoef te klikken?

Alvast bedankt voor jullie hulp!

[vanaalten]

Deepvault schreef op donderdag 31 juli 2025 @ 11:08:
Gisteren heb ik mijn QNAP NAS opnieuw moeten installeren vanwege omstandigheden. Het installeren van Spotweb ging gelukkig vrij eenvoudig. Alleen het ophalen van de spots duurt ontzettend lang.

Op dit moment moet ik telkens handmatig op de "Retrieve"-knop klikken om data binnen te halen. Is het niet mogelijk om alles in één keer op te halen, of het proces te automatiseren zodat ik niet steeds handmatig hoef te klikken?

Alvast bedankt voor jullie hulp!

Hoe had je dit voorheen dan geregeld?
Zelf geen NAS, maar op m’n linux server net Spotweb heb ik een cron job ingesteld die elk uur een retrieve doet. Zo iets zal wellicht ook op je NAS kunnen.

[Caveman]

vanaalten schreef op donderdag 31 juli 2025 @ 11:35:
[...]

Hoe had je dit voorheen dan geregeld?
Zelf geen NAS, maar op m’n linux server net Spotweb heb ik een cron job ingesteld die elk uur een retrieve doet. Zo iets zal wellicht ook op je NAS kunnen.

Klopt, op een syno heb je een taskscheduler, volgens mij zit die ook op een QNAP.
Laat een user defined script lopen om de 6 uur ofzoiets...

code:

/usr/local/bin/php56 /volume1/web/spotweb/retrieve.php --force

De locatie van je spotweb en php zal ongetwijfeld anders zijn, maar dat moet niet zo moeilijk zijn om te achterhalen.

[Room42]

Caveman schreef op donderdag 31 juli 2025 @ 13:14:
[...]


Klopt, op een syno heb je een taskscheduler, volgens mij zit die ook op een QNAP.
Laat een user defined script lopen om de 6 uur ofzoiets...

code:

/usr/local/bin/php56 /volume1/web/spotweb/retrieve.php --force

De locatie van je spotweb en php zal ongetwijfeld anders zijn, maar dat moet niet zo moeilijk zijn om te achterhalen.

De --force zou ik weglaten, omdat als de retrieve nog loopt, deze daarmee afgebroken wordt. Door geen --force te gebruiken loopt het vorige proces gewoon door en wordt ie niet opnieuw gestart.

[headout]

Caveman schreef op donderdag 31 juli 2025 @ 13:14:
[...]


Klopt, op een syno heb je een taskscheduler, volgens mij zit die ook op een QNAP.
Laat een user defined script lopen om de 6 uur ofzoiets...

code:

/usr/local/bin/php56 /volume1/web/spotweb/retrieve.php --force

De locatie van je spotweb en php zal ongetwijfeld anders zijn, maar dat moet niet zo moeilijk zijn om te achterhalen.

In mijn geval a 2 uur draait deze taak op de Synology:
/usr/bin/php /volume1/web/spotweb/retrieve.php

Voor Qnap zal er wel iets vergelijkbaars zijn, en anders:
https://www.qnap.com/es-e...crontab-to-schedule-a-job

[Deepvault]

vanaalten schreef op donderdag 31 juli 2025 @ 11:35:
[...]

Hoe had je dit voorheen dan geregeld?
Zelf geen NAS, maar op m’n linux server net Spotweb heb ik een cron job ingesteld die elk uur een retrieve doet. Zo iets zal wellicht ook op je NAS kunnen.

Het probleem is gefixt door alleen "Retrieve reports" aan te vinken. Nu haalt hij alles netjes binnen.

[Marve79]

Iemand die Spotweb als newznab gebruikt in Sonarr/Radarr?

Ik heb dit ingesteld en volgens Sonarr/Radarr is het in orde (groen vinkje bij testen).

Maar ze vinden helemaal niks. Enig idee?

[pdukers]

Ja, locale spotweb werkt bij mij. Heb je de juiste categorieën aangevinkt?

Bij wordt wel spotweb amper gebruikt al soure voor nzb's.Eigenlijk alleen maar voor NL content. Al het andere komt van andere indexers.

[SMSfreakie]

mesa57 schreef op zondag 29 juni 2025 @ 11:52:
Ik vraag me af welke sortering door gebruikers met het 'gat' probleem werd gebruikt.
De spots zitten namelijk wél in de database.

ik kreeg ze ook niet voor de dag meer... nu db aan het hervullen..

[Mankepoot]

Ik gebruik spotweb al enige jaren maar laatst is het uiterlijk veranderd. Mijn alsnog noob vraagje is: wat is de betekenis van de verschillende kleuren op verschillende topic rijen?

[mesa57]

De kleuren weerspiegelen de hoofdcategorieën

[Marve79]

pdukers schreef op woensdag 20 augustus 2025 @ 13:38:
Ja, locale spotweb werkt bij mij. Heb je de juiste categorieën aangevinkt?

Bij wordt wel spotweb amper gebruikt al soure voor nzb's.Eigenlijk alleen maar voor NL content. Al het andere komt van andere indexers.

Ja ik heb het ook juist nodig voor NL. Ik zal eens kijken maar ik heb gewoon de main categorie TV aangevinkt.

[jozy]

beste mensen ik heb sindskort spotweb draaien op mijn debian based servertje en hij draait prima.
php 8.4 en op nginx gebaseerd geinstalleerd via cli.

enige wat mij niet lukt is de api call laten werken voor prowlarr.
ik heb een nieuwe username aangemaakt genaamd api zodat hij de admin niet gebruikt en ik gebruik die user.

echter wat ik zie bij user management dat de api request binnenkomt op mijn admin username (zie ik aan het ip van prowlarr). Dus ergens gaat er iets niet helemaal goed.

heb een hele tijd lopen hannissen met chatgpt en eventuele instellingen maar kom er niet uit.
weet iemand hoe ik dit kan oplossen en wat ik moet checken?

lijkt erop als ik een api call via cli doe dat hij html uitspuugt ipv xml....

[ Voor 5% gewijzigd door jozy op 12-09-2025 12:48 . Reden: toevoeging html vs xml output ]

[m.caarels]

ik kan geen reactie meer geven op een spotnet poster dus ik bedoel een bedankje of zo

Ik heb je posts en reacties verhuisd van [Nieuwsgroepen] Wat werkt tegenwoordig goed? naar dit topic, hier past het beter.

[ Voor 48% gewijzigd door rens-br op 16-09-2025 08:25 ]

[m.caarels]

ik kan geen reactie meer plaatsen op spotnet dan bedoel ik een bedankje ofzo voor de poster hoe zou dit nu kunnen

[RobbyTown]

@m.caarels niet toevallig je upload uitstaan van je usenet provider? Als die uit staat is reageren niet mogelijk.

[ Voor 35% gewijzigd door RobbyTown op 14-09-2025 12:06 ]

[John767]

m.caarels schreef op zondag 14 september 2025 @ 11:35:
ik kan geen reactie meer geven op een spotnet poster dus ik bedoel een bedankje of zo

Het volgende kwam een tijdje geleden langs:

Helaas geeft spotnet laatste tijd veel problemen..
zoals met posten en reacties schrijven..
dit komt door 2 updates in windows
Hopelijk word dit snel gefixt..

heb je problemen met spotnet?
doe dan het volgende om het te verhelpen

Ga naar windows update en dan naar geschiedenis van updates.
Verwijder Update KB5064081 en KB5064401
ga naar windows update geavanceerde opties
en zet het ontvangen van nieuwe updates uit.

reboot je pc

en spotnet zal weer werken

[meccano]

m.caarels schreef op zondag 14 september 2025 @ 11:35:
ik kan geen reactie meer geven op een spotnet poster dus ik bedoel een bedankje of zo

Deze problemen worden veroorzaakt door recente Windows 11-updates (KB5064081 en KB5065426).
Er is inmiddels een update beschikbaar. Deze wordt automatisch geïnstalleerd, maar je kunt hem ook handmatig downloaden via het spotnet forum.

[Guff_]

Meer mensen die problemen hebben met spotweb met de reacties?

Comments ophalen bleef vorige week hangen
Resetdb gedaan
Nu al 3 dagen bezig met comments ophalen

Zie ook geen reacties meer nieuwe posts op op nzbserver dot com

[DjoeC]

Guff_ schreef op donderdag 18 september 2025 @ 18:07:
Meer mensen die problemen hebben met spotweb met de reacties?

Comments ophalen bleef vorige week hangen
Resetdb gedaan
Nu al 3 dagen bezig met comments ophalen

Zie ook geen reacties meer nieuwe posts op op nzbserver dot com

Hier op de lokale spotweb is er geen probleem (Eweka).

[FJR1300]

Guff_ schreef op donderdag 18 september 2025 @ 18:07:
Meer mensen die problemen hebben met spotweb met de reacties?

Comments ophalen bleef vorige week hangen
Resetdb gedaan
Nu al 3 dagen bezig met comments ophalen

Ja, daar had ik dus ook last van... nieuwe posts kwamen wel binnen maar de comments bleven weg.
In de logfile van het 'retriever.php' script kwam ik regelmatig de volgende melding tegen:

Fatal error occured during retrieve:
22001: 1406: Data too long for column 'usersignature' at row 75

Met diverse varianten van de getallen voor de 'Data too long for column' error melding en op verschillende 'rows'.

De errormelding geeft aan dat het 'retriever.php' script meer data in het veld wil stoppen dan dat het betreffende veld groot is.

De oplossing is simpel, het veld groter maken

Disclaimer:
Dit is hoe IK het heb opgelost op mijn systeem. Jou systeem ZAL anders zijn en mijn oplossing KAN bij jou niet werken! Maak een backup (of een snapshot) voordat je begint. Ik ben niet verantwoordelijk als jou system kapot gaat. Garantie tot het einde van deze zin

'usersignatur' is een veld in de 'commentsfull' tabel en is bij mij een varchar(255). Ik heb het veld opgerekt naar een varchar(512) op onderstaande manier:

Ik voer de commando's uit als root op mijn linux server.

code:

mysql
use spotweb;
alter table commentsfull modify usersignature varchar(512);
exit

Mijn database is bijna 6GB op schijf dus dat duurde even... het resultaat was:

Query OK, 1139881 rows affected (30 min 11.70 sec)
Records: 1139881 Duplicates: 0 Warnings: 0

Kortom, een halfuurtje schrapen op de harddisk om het veld op te rekken.

Vanaf dat moment heeft het 'retriever.php' script alle ontbrekende records opgehaald en daarmee is mijn locale spotweb weer in orde.

[mesa57]

De grootste userkey die bij alle clients in gebruik is, is 172 chars (base64) en dat zijn spotweb userkeys.
De post die de error veroorzaakt is dus een 'spoof' die in principe niet geldig is.
Het is beter om de code aan te passen zodat comments met een userkey > 255 chars worden overgeslagen.
Ik zou graag willen weten wat de message-id van die comment is.
Dus als iemand een sql dump van comments-full ter beschikking zou kunnen stellen, kan dat nader onderzocht worden.

[ Voor 23% gewijzigd door mesa57 op 28-09-2025 14:04 ]

[FJR1300]

mesa57 schreef op zondag 28 september 2025 @ 14:01:
Dus als iemand een sql dump van comments-full ter beschikking zou kunnen stellen, kan dat nader onderzocht worden.

Bedoel je een "mysqldump spotweb commentsfull > table_commentsfull.sql" ? Die heb ik voor je maar dat is (in gezipte vorm) al bijna 300MB...

Hoe gaan we die uitwisselen?

[NaN]

FJR1300 schreef op zondag 28 september 2025 @ 16:08:
[...]


Bedoel je een "mysqldump spotweb commentsfull > table_commentsfull.sql" ? Die heb ik voor je maar dat is (in gezipte vorm) al bijna 300MB...

Hoe gaan we die uitwisselen?

Jij hebt toch al die comments nu binnengehaald?

Ik denk dat je met een select usersignature from table_commentsfull where len(usersignature) > 255 (of zoiets, ik ben niet zo thuis in SQL) enz enz.. je zo dat record te pakken hebt, maar wie past de code aan?

Hiero? https://github.com/jgeusebroek/docker-spotweb/issues Neh, dat is niet de juiste repository...

Deze wel, denk ik: https://github.com/spotweb/spotweb/blob/develop/retrieve.php

[ Voor 13% gewijzigd door NaN op 28-09-2025 17:15 ]

[FJR1300]

NaN schreef op zondag 28 september 2025 @ 17:03:
[...]

Jij hebt toch al die comments nu binnengehaald?

Ik denk dat je met een select usersignature from table_commentsfull where len(usersignature) > 255 (of zoiets, ik ben niet zo thuis in SQL) enz enz.. je zo dat record te pakken hebt, maar wie past de code aan?

Oke, ik heb het volgende gedaan:

code:

mysql> select usersignature from commentsfull where char_length(usersignature) > 175;

En dat levert 3 regels op. Als ik 174 als lengte neem krijg ik 2231 signatures.

Nu weet ik niet in hoeverre deze signatures direct herleidbaar zijn naar een persoon dus ik zal ze hier niet inplakken.... maar op verzoek kan ik ze wel leveren.

[FJR1300]

Heb nog even verder gekeken dan mijn neus lang is... mesa57 vroeg om de message id's. Ik denk dat ik ze gevonden heb:

code:

mysql> select messageid from commentsfull where char_length(usersignature) > 175;

+---------------------------------------------------------+
| messageid                                               | 
+---------------------------------------------------------+
| [e-mail] |
| [e-mail] |
| [e-mail] |
+---------------------------------------------------------+
3 rows in set (0.71 sec)

Ik heb de usersignatures ook nog even door een base64 decoder gehaald maar dat levert alleen maar onleesbare rommel op. Trouwens ook met korte usersignatures.

[NaN]

@FJR1300 lekker bezig!