SpotWeb - Webbased Spotnet - deel 2

[MikeOO]

strandbal schreef op donderdag 25 september 2014 @ 21:50:
Ik merk dat mijn Spotweb al een dag of vijf niet geupdate heeft. Handmatig php retrieve.php uitvoeren blijft ook eeuwig hangen.

SSL uitvinken en hij gaat wel weer, maar waarom werkt dit niet meer? Sabnzbd haalt mijn downloads gewoon met SSL aangevinkt binnen, dus mijn newsserver is 't probleem niet.

Denk dat het ook niet veel zin heeft om SSL te gebruiken voor Spotweb. Het enige wat hij doet is een index binnenhalen en meer niet. Downloaden is een andere verhaal als je het daarbij wilt gebruiken.

[Vuurvoske]

Iemand ervaring met de crontab opdracht binnen centos 6.5 voor spotweb? Het lijkt erop alsof hij het gewoon niet doet.

[vanaalten]

Vuurvoske schreef op donderdag 02 oktober 2014 @ 16:57:
Iemand ervaring met de crontab opdracht binnen centos 6.5 voor spotweb? Het lijkt erop alsof hij het gewoon niet doet.

Geen ervaring met CentOS, maar aangezien het gewoon weer een Linux smaakje is kan ik mij niet goed voorstellen dat dat niet zou kunnen werken. Is er nog een klein kansje misschien dat jij iets verkeerd doet?

[traxxion]

Vuurvoske schreef op donderdag 02 oktober 2014 @ 16:57:
Iemand ervaring met de crontab opdracht binnen centos 6.5 voor spotweb? Het lijkt erop alsof hij het gewoon niet doet.

Werkt prima hier. Hoe voeg je 'm toe? "crontab -e"?

[Vuurvoske]

Ik heb nog even niet kunnen kijken naar crontab ivm met een landurige php retrieve.php van 1100 dagen

Maar ik zou graag willen vermelden:

code:

cd /<installdir>/spotweb
mkdir cache
chmod 755 cache
service httpd restart

Dit lost een aantal problemen op:
- laden van plaatjes
- corrupte nzb bestanden

Toelichting:
Standaard krijg je dit als je zoekt naar cache:

code:

[root@locke spotweb]# ls -ltra | grep cache
-rw-r--r--   1 root root  4506 Oct  2 16:37 check-cache.php
-rw-r--r--   1 root root  4315 Oct  2 16:37 migrate-cache.php
-rw-r--r--   1 root root  4209 Oct  2 16:37 migrate-cache2.php

Echter.. na wat speurwerk kwam ik het volgende tegen

code:

[root@locke spotweb]# cat check-cache.php | grep cache
    $daoFactory->setCachePath('./cache/');
    $cacheDao = $daoFactory->getCacheDao();
    if (!is_dir('./cache')) {
        mkdir('./cache', 0777);
     * Now try to get all current cache items

Echter wordt deze cache dir niet automatisch aangemaakt (hij zit ook niet in git).

Wellicht is dit een handige toevoeging aan de start post?


Andere vraag:
Moet je de eerste keer php retrieve.php helemaal laten voltooien? Ik brak hem net per ongeluk af. Het is me al eerder opgevallen dat 'retrieving' aanzienlijk trager wordt.

Eerst kreeg ik 5001 comments in 7 seconden
Na het opstarten van de nieuwe retrieve.php duurt het 33 seconden.


//edit: Crontab:

code:

Crontab -e */30 * * * * cd /var/www/html/domeinnaam.nl/spotweb  && /usr/bin/php retrieve.php > /dev/null

Ik zag echter het volgende in het log:

code:

Oct  4 10:30:01 locke CROND[24732]: (root) CMD (root cd /path/to/spotweb && /usr/bin/php retrieve.php > /dev/null)

Dit bleek uiteindelijk te staan in /var/spool/cron/root. Nu werkt alles.

//edit 2:

Stap voor stap handleiding spotweb op Centos 6.5:
http://lefoxdufue.wordpre...04/spotweb-on-centos-6-5/

[ Voor 80% gewijzigd door Vuurvoske op 16-10-2014 00:19 ]

[CH4OS]

Is er ergens nog een leuke GiT-repo waar Spotweb met de mediainfo banch in te vinden is? Ik vind dat een hele handige feature om snel gerelateerde spots te kunnen vinden, maar ik zie dat de DirtyDutch fork ook alweer weg is.

[SaintNick]

Ik heb iets heel stoms gedaan, in chrome "delete this user" en al mijn pinned tabs en historie kwijt.
Ik had maanden lang een perfecte webbased spotnet (zonder reclame) waarvan ik de url nu kwijt ben,

Wie weet hem nog?

[MikeOO]

SaintNick schreef op dinsdag 21 oktober 2014 @ 23:32:
Ik heb iets heel stoms gedaan, in chrome "delete this user" en al mijn pinned tabs en historie kwijt.
Ik had maanden lang een perfecte webbased spotnet (zonder reclame) waarvan ik de url nu kwijt ben,

Wie weet hem nog?

Normaal is Spotweb te bereiken via \\ip adres nas\spotweb
Maar dat hangt ook af hoe en waar je het op hebt geïnstalleerd maar dit is de standaard locatie.

[RudolfR]

Dat is niet het antwoord op de vraag MikeOO.
Maar helaas is het linken naar spotweb sites niet toegestaan.

[SaintNick]

Het ging mij meer om een webbased spotnet, kant en klaar zeg maar, niet doe het zelf.

Maar ik heb het/een al teruggevonden.

[MikeOO]

RudolfR schreef op woensdag 22 oktober 2014 @ 07:52:
Dat is niet het antwoord op de vraag MikeOO.
Maar helaas is het linken naar spotweb sites niet toegestaan.

Dit topic gaat over Spotweb installaties en niet over eventuele URL's van iemand anders.
Dus niet echt vreemd om een antwoord te verwachten zoals ik aangaf.

[Vuurvoske]

Ik heb een algemene vraag.
Als jullie php retrieve.php --force draaien > output.log. Wat voor tijd staat er dan voor het binnenhalen van de comments?

Zelf krijg ik het volgende:

code:

Retrieving 4220998 till 4221999, found 1001 comments in 104.14 seconds
Retrieving 4221999 till 4223000, found 1001 comments in 91.01 seconds
Retrieving 4223000 till 4224001, found 1001 comments in 85.08 seconds
Retrieving 4224001 till 4225002, found 1001 comments in 100.59 seconds
Retrieving 4225002 till 4226003, found 1001 comments in 106.59 seconds
Retrieving 4226003 till 4227004, found 1001 comments in 88.04 seconds
Retrieving 4227004 till 4228005, found 1001 comments in 105.26 seconds
Retrieving 4228005 till 4229006, found 1001 comments in 93.89 seconds
Retrieving 4229006 till 4230007, found 1001 comments in 97.77 seconds
Retrieving 4230007 till 4231008, found 1001 comments in 95.19 seconds
Retrieving 4231008 till 4232009, found 1001 comments in 95.86 seconds
Retrieving 4232009 till 4233010, found 1001 comments in 96.81 seconds

Ben benieuwd of dit normaal is. Je moet namelijk nogal wat comments binnenhalen en zo duurt het meerdere dagen voordat je "bij" bent.

Ik heb deze instellingen:
V retrieve full spots
V retrieve comments
V retrieve full comments

[Verwijderd]

Vuurvoske schreef op donderdag 23 oktober 2014 @ 11:27:
Ik heb een algemene vraag.
Als jullie php retrieve.php --force draaien > output.log. Wat voor tijd staat er dan voor het binnenhalen van de comments?

Zelf krijg ik het volgende:

code:

Retrieving 4220998 till 4221999, found 1001 comments in 104.14 seconds
Retrieving 4221999 till 4223000, found 1001 comments in 91.01 seconds
Retrieving 4223000 till 4224001, found 1001 comments in 85.08 seconds
Retrieving 4224001 till 4225002, found 1001 comments in 100.59 seconds
Retrieving 4225002 till 4226003, found 1001 comments in 106.59 seconds
Retrieving 4226003 till 4227004, found 1001 comments in 88.04 seconds
Retrieving 4227004 till 4228005, found 1001 comments in 105.26 seconds
Retrieving 4228005 till 4229006, found 1001 comments in 93.89 seconds
Retrieving 4229006 till 4230007, found 1001 comments in 97.77 seconds
Retrieving 4230007 till 4231008, found 1001 comments in 95.19 seconds
Retrieving 4231008 till 4232009, found 1001 comments in 95.86 seconds
Retrieving 4232009 till 4233010, found 1001 comments in 96.81 seconds

Ben benieuwd of dit normaal is. Je moet namelijk nogal wat comments binnenhalen en zo duurt het meerdere dagen voordat je "bij" bent.

Ik heb deze instellingen:
V retrieve full spots
V retrieve comments
V retrieve full comments

Waarom gebruik je --force? dit moet je echt niet doen omdat retrieve al kan draaien op de achtergrond, dit kan serieus problemen veroorzaken in de database. (kans op dubbele spots of veel missende spots)

Beter gebruik je onderstaande instellingen want nu haal je de volledige headers binnen, en dat duurt echt dagen, zo niet een volle week gelangen vanaf weltke datum terug in de tijd je spots ophaalt.

Ik zou beginnen met 1 maand zodat je spots ziet, en langzaam backfill doen --retro

retrieve full spots
V retrieve comments
retrieve full comments

[MikeOO]

Vuurvoske schreef op donderdag 23 oktober 2014 @ 11:27:
Ik heb een algemene vraag.
Als jullie php retrieve.php --force draaien > output.log. Wat voor tijd staat er dan voor het binnenhalen van de comments?

Zelf krijg ik het volgende:

code:

Retrieving 4220998 till 4221999, found 1001 comments in 104.14 seconds
Retrieving 4221999 till 4223000, found 1001 comments in 91.01 seconds
Retrieving 4223000 till 4224001, found 1001 comments in 85.08 seconds
Retrieving 4224001 till 4225002, found 1001 comments in 100.59 seconds
Retrieving 4225002 till 4226003, found 1001 comments in 106.59 seconds
Retrieving 4226003 till 4227004, found 1001 comments in 88.04 seconds
Retrieving 4227004 till 4228005, found 1001 comments in 105.26 seconds
Retrieving 4228005 till 4229006, found 1001 comments in 93.89 seconds
Retrieving 4229006 till 4230007, found 1001 comments in 97.77 seconds
Retrieving 4230007 till 4231008, found 1001 comments in 95.19 seconds
Retrieving 4231008 till 4232009, found 1001 comments in 95.86 seconds
Retrieving 4232009 till 4233010, found 1001 comments in 96.81 seconds

Ben benieuwd of dit normaal is. Je moet namelijk nogal wat comments binnenhalen en zo duurt het meerdere dagen voordat je "bij" bent.

Ik heb deze instellingen:
V retrieve full spots
V retrieve comments
V retrieve full comments

Gelukkig is dat alleen de eerst keer en daarna merkt je dit niet meer. Ik laat bv om de 30 min een retrieve draaien en dan komt alles zonder problemen binnen en hoeft er ook steeds maar kleine beetje gedownload te worden ipv 1 grote.

--Force gebruik je normaal alleen als niets meer werkt.

--retro kun je gebruiken om als je dingen mist. Hiermee worden deze alsnog gedownload
.
Maar beide gebruik je niet in een standaard retrieve. Is niet nodig en inderdaad doet het meer slecht dan goed.

Als ik opnieuw begin is hij de eerste keer zeker 3x24 uur zeker aan het downloaden om de DB te vullen incl comments.
Maar als het klaar is en je maakt elke week of maand een DB backup dan kun je de volgende keer de DB terugzetten en hoef je niet zo lang te wachten. Een restore duurt ook een tijd maar niet zolang.

[Vuurvoske]

Allereerst bedankt voor de uitleg. --Force gebruikt ik omdat ik een bug heb.
Als ik ook maar een keer php retrieve.php handmatig start krijg ik automatisch dit:

code:

[root@pandora spotweb]# php retrieve.php > output4.log (in screen)
[root@pandora /var/www/html/spotweb/]# tail -f /var/www/html/spotweb/output4.log
Removing Spot information which is beyond retention period,, done


retriever.php is already running, pass '--force' to ignore this warning.

Overigens start ik de eerste keer php retrieve.php altijd handmatig om alles binnen te halen. Ik heb een reinstall gedaan. Daarnaast probeerde ik met mysqpdump een backup te maken. Dit werkte echter niet omdat ik een Out Of Memory melding kreeg.

ps. Ik heb 1100 dagen retentie.

Daarnaast vroeg ik me nog 1 ding af.
Als ik logging bekijk. Dan zie ik dat het binnenhalen van spots echt supersnel gaat. Ook de eerste paar duizend comments gaan razendsnel. Echter na een tijdje (ongeveer 30 seconden). Kakt alles helemaal in. Ik heb al naar allerhande opties gekeken zoals caching, execution time etc. Weet iemand toevallig waar dit "inkakken" aan ligt? Behalve dan dat hij bij de spots minder comments hoeft in te lezen. Deze comments worden overigens niet getoond bij nieuwe spots...

code:

Removing Spot information which is beyond retention period,, done
Last retrieve at Thu 23 Oct 2014 09:21:34 AM CEST
Retrieving new Spots from server news.pureusenet.nl:119...
Appr. Message count:    1169504
First message number:   1756525
Last message number:    2926029
Current article number: 2910339

Retrieving 2910339 till 2911340 (parsed: 68, in DB: 838, signed: 0, invalid: 29, rtntn.skip: 42, mod: 39, full: 0, total: 948) in 0.37 seconds
Retrieving 2911340 till 2912341 (parsed: 98, in DB: 836, signed: 0, invalid: 32, rtntn.skip: 60, mod: 66, full: 0, total: 994) in 0.34 seconds
Retrieving 2912341 till 2913342 (parsed: 42, in DB: 909, signed: 0, invalid: 1, rtntn.skip: 50, mod: 40, full: 1, total: 1001) in 0.34 seconds
Retrieving 2913342 till 2914343 (parsed: 89, in DB: 863, signed: 0, invalid: 0, rtntn.skip: 49, mod: 89, full: 0, total: 1001) in 0.31 seconds
Retrieving 2914343 till 2915344 (parsed: 50, in DB: 928, signed: 0, invalid: 4, rtntn.skip: 23, mod: 46, full: 0, total: 1001) in 0.27 seconds
Retrieving 2915344 till 2916345 (parsed: 74, in DB: 881, signed: 0, invalid: 31, rtntn.skip: 46, mod: 43, full: 0, total: 1001) in 0.35 seconds
Retrieving 2916345 till 2917346 (parsed: 24, in DB: 960, signed: 0, invalid: 1, rtntn.skip: 16, mod: 23, full: 0, total: 1000) in 0.32 seconds
Retrieving 2917346 till 2918347 (parsed: 71, in DB: 896, signed: 0, invalid: 1, rtntn.skip: 34, mod: 70, full: 0, total: 1001) in 0.29 seconds
Retrieving 2918347 till 2919348 (parsed: 22, in DB: 956, signed: 0, invalid: 0, rtntn.skip: 23, mod: 22, full: 0, total: 1001) in 0.29 seconds
Retrieving 2919348 till 2920349 (parsed: 107, in DB: 864, signed: 0, invalid: 59, rtntn.skip: 28, mod: 48, full: 0, total: 999) in 0.29 seconds
Retrieving 2920349 till 2921350 (parsed: 99, in DB: 860, signed: 0, invalid: 0, rtntn.skip: 42, mod: 99, full: 0, total: 1001) in 0.31 seconds
Retrieving 2921350 till 2922351 (parsed: 143, in DB: 807, signed: 0, invalid: 3, rtntn.skip: 51, mod: 140, full: 0, total: 1001) in 0.33 seconds
Retrieving 2922351 till 2923352 (parsed: 199, in DB: 668, signed: 0, invalid: 2, rtntn.skip: 134, mod: 197, full: 0, total: 1001) in 0.33 seconds
Retrieving 2923352 till 2924353 (parsed: 60, in DB: 904, signed: 0, invalid: 2, rtntn.skip: 36, mod: 58, full: 0, total: 1000) in 0.66 seconds
Retrieving 2924353 till 2925354 (parsed: 83, in DB: 865, signed: 14, invalid: 1, rtntn.skip: 53, mod: 68, full: 14, total: 1001) in 1.25 seconds
Retrieving 2925354 till 2926030 (parsed: 676, in DB: 0, signed: 592, invalid: 29, rtntn.skip: 0, mod: 55, full: 592, total: 676) in 29.34 seconds
Processed a total of 15627 spots
Finished retrieving spots.

Calculating how many spots are new, done.
Last retrieve at Fri 24 Oct 2014 09:59:25 AM CEST
Retrieving new comments from server news.pureusenet.nl:119...
Appr. Message count:    9596425
First message number:   2193961
Last message number:    11790386
Current article number: 5054845

Retrieving 5054845 till 5055846, found 1001 comments in 0.24 seconds
Retrieving 5055846 till 5056847, found 1001 comments in 0.19 seconds
Retrieving 5056847 till 5057848, found 1001 comments in 0.18 seconds
Retrieving 5057848 till 5058849, found 1001 comments in 0.18 seconds
Retrieving 5058849 till 5059850, found 1001 comments in 0.22 seconds
Retrieving 5059850 till 5060851, found 1001 comments in 0.39 seconds
Retrieving 5060851 till 5061852, found 1001 comments in 0.31 seconds
Retrieving 5061852 till 5062853, found 1001 comments in 0.31 seconds
Retrieving 5062853 till 5063854, found 1001 comments in 0.29 seconds
Retrieving 5063854 till 5064855, found 1001 comments in 0.28 seconds
Retrieving 5064855 till 5065856, found 1001 comments in 0.28 seconds
Retrieving 5065856 till 5066857, found 1001 comments in 0.25 seconds
Retrieving 5066857 till 5067858, found 1001 comments in 0.25 seconds
Retrieving 5067858 till 5068859, found 1001 comments in 0.23 seconds
Retrieving 5068859 till 5069860, found 1001 comments in 1.3 seconds
Retrieving 5069860 till 5070861, found 1001 comments in 83.8 seconds
Retrieving 5070861 till 5071862, found 1001 comments in 84.27 seconds

[ Voor 98% gewijzigd door Vuurvoske op 24-10-2014 10:07 ]

[MikeOO]

@Vuurvoske

De eerste melding geeft je probleem al aan. Retrieve draait al en met Force ga je een tweede forceren.
Waarschijnlijk staat er in een Cronjob of Scheduler al een regel voor retrieve die om de x aantal min wordt uitgevoerd.

Eerst daar naar opzoek en deze regel tijdelijk uitzetten en cronjob herstarten als deze hierin staat.
Daarna pas je eigen Retrieve starten.

Dat het langzaam gaat, geen idee. Ik let daar nooit op aangezien het maar een process wat je 1 keer doet en daarna update je dagelijks neem ik aan en merk je dat niet meer.

Mogelijk om dat 2x een retrieve draait dat dit van invloed is. Of mogelijk wordt er iets door iemand gedownload of gestreamt in je huishouden op dat moment of je verbinding met je provider levert af en toe een vertraging op.

Problemen is dat dit door vele dingen kan gebeuren en is denk ik lastig uit te zoeken.

[elevator]

Als je de refactor branch draait kan je de '--timing' optie meegeven aan retrieve, dan kan je zien waar de tijd in gaat zitten.

[Vuurvoske]

Hij draait niet 2x en er is geen cron regel.

Wat is een refactor branch? Ik heb de spotweb van de TS aangezien er nergens anders een spotweb te vinden is.

[MikeOO]

Vuurvoske schreef op zaterdag 25 oktober 2014 @ 18:27:
Hij draait niet 2x en er is geen cron regel.

Wat is een refactor branch? Ik heb de spotweb van de TS aangezien er nergens anders een spotweb te vinden is.

Het feit dat hij aangeeft dat Retrieve al draait terwijl jij hem nog niet hebt gestart klopt in ieder geval niet.
Dus eerst even uitzoeken hoe dat kan. Desnoods herstart je het apparaat waar Spotweb op draait een keer en probeer je het het opnieuw. Als je dan weer de melding krijgt dan moet er ergens een automatisch regel staan die de retrieve start bij opstarten.

Refactor branch was een nieuwere versie van Spotweb en deze is later weer omgezet naar de Master branch.Was meer dat de code van Spotweb verbeterd werd en daar gebruikte ze een andere branch voor.

Master was altijd de laatst goed werkend versie.

[elevator]

Nee, ik bedoelde echt de nieuwe branch:

/spotweb # git branch
  master
* mediainfo
  refactor

De mediainfo branch blijkbaar. Dat is de branch die ik al maanden draai, is super stabiel en heeft de collections feature. Die raad ik nog steeds aan om te gebruiken en die heeft dus ook de --timing optie.

[Mr Magic]

elevator schreef op zondag 26 oktober 2014 @ 10:31:
Nee, ik bedoelde echt de nieuwe branch:

/spotweb # git branch
  master
* mediainfo
  refactor

Is er nog een manier om te switchen naar de mediainfo branch? Ik zie op GitHub dat Spotweb op zich weer bestaat, maar die versie heeft alleen een master en een develop branch.

[Xaero]

Heb hier nog wel een zipje met mediainfo die ik kan delen.. Maarrrrrrr. De vraag is, waarom is Spotweb gestopt met het aanbieden van de code? Er moet een reden zijn en om die reden ben ik wel redelijk huiverig met het delen van de code..

[MikeOO]

Xaero schreef op maandag 27 oktober 2014 @ 17:06:
Heb hier nog wel een zipje met mediainfo die ik kan delen.. Maarrrrrrr. De vraag is, waarom is Spotweb gestopt met het aanbieden van de code? Er moet een reden zijn en om die reden ben ik wel redelijk huiverig met het delen van de code..

HIj is niet alleen gestopt met Mediainfo maar helemaal met Spotweb. Alles was ineens verwijderd bij GitHub en dank zij een medetweaker bestaat het meeste weer.

Ik denk persoonlijk niet dat hij gestopt is vanweg een foute code. Hij was altijd erg goed en snel in het helpen bij problemen. Denk eerder dat er persoonlijke reden is waarom hij niet meer actief is.

Maar het blijft gokken en hoop dat hij ooit nog terugkomt om het weer op te pakken. Blijft een leuk product waar gelukkig zeer stabiel werkt.

Huiverig hoef je echt niet te zijn. Iedereen gebruikt dit soort dingen toch op eigen risico. Misschien kun je de beheerder van Spotweb nu een mail sturen en vragen of hij de Media branch erbij kan plaatsen.

[technorabilia]

Kreeg onderstaand bericht van TweakNews.
Dit zal neem ik aan ook gelden voor Spotweb...
Ik dat nog een beetje makkelijk te doen de database opnieuw aanmaken?
Het draait bij mij op een Synology zonder package install.

Beste TweakNews gebruiker,

Woensdag 5 november vinden er op het Platform van TweakNews tussen
11:00 en 14:00 een aantal onderhoudswerkzaamheden plaats. Hierdoor kan het
zijn dat u tijdelijk hinder ondervindt en dat u na de werkzaamheden uw headers
opnieuw moet ophalen vanwege gewijzigde headernummering.
Als u spotnet gebruikt, is het noodzakelijk om de database te verwijderen en
opnieuw aan te maken (eventueel via herinstallatie)

Het onderhoud heeft geen gevolgen voor gebruikers van NZB's.

Onze excuses voor de eventuele overlast.

Met vriendelijke groet,
Het TweakNews team

[elevator]

Spotweb kan hier mee overweg zonder dat je de database hoeft te wissen, hij zal de eerste keer wel wat langer er over doen om het juiste nummer te vinden, maar zal hierna automatisch overpakken.

Voor de zekerheid zou je de 'buggy' setting kunnen aanzetten de eerste paar dagen (als die nog niet aan staan), dan weet je zeker dat je niets mist.

[Zoutzuur]

Snyder schreef op dinsdag 02 september 2014 @ 16:29:
ik kan template "mobile" niet kiezen. weet iemand hier hoe ik dit kan aanpassen ?

als ik dit het in mijn ownsettings.php ( waar verder niks van mij zelf instaat) toevoeg krijg ik de melding;

Please remove * templates
from your 'ownsettings.php' file, this setting is set in the settings panel from within Spotweb itself.

maar in de settings panel kan ik alleen we1rdo kiezen.

Hai!

Heb je hier nog een oplossing voor weten te vinden? ik kan ook alleen maar kiezen voor het we1rdo template..

ZZ.

[DaBeetle]

Vraagje:

hoe kan ik voorkomen dat spotweb 10.000.000 comments wil gaan retrieven?
Ik heb een clean install gedaan in een lege database, met de volgende settings:

Retentie: 30 dagen
Retrieve Spots after: 1/10/2014

De last retrieve van vannacht was "alleen spots", waarbij me ook al opviel dat om de een of andere reden mijn setting van "Retrieve Spots after: 1/10/2014" compleet genegeerd leek te worden.

Nu dus ook met comments moeten om de een of andere reden alle retrieved worden. Is er een mogelijkheid "Current Article Number" te bewerken om te voorkomen dat er 9 miljoen onnodige comments verwerkt moeten worden?
:

Calculating how many spots are new, done.
Last retrieve at Tue 04 Nov 2014 09:14:14 AM CET
Retrieving new comments from server ssl-eu.astraweb.com...
Appr. Message count: 10116652
First message number: 2659
Last message number: 10119311
Current article number: 2659

Retrieving 2659 till 7660, found 5000 comments in 7.34 seconds
Retrieving 7660 till 12661, found 5001 comments in 6.31 seconds
Retrieving 12661 till 17662, found 5001 comments in 4.93 seconds
Retrieving 17662 till 22663, found 5001 comments in 5.56 seconds

[_Mitchie_]

Hallo mede tweakers,

Spotweb draait nu al een tijdje maar door een foutje van mijzelf heb ik nu geen filters meer.
Na heel wat zoeken ben ik nog steeds niet achter hoe ik de filters weer terug krijg

Kan iemand mij vertellen hoe ik dit kan herstellen of waar ik de orginele filters kan downloaden.
System : synology ds14play

[Deem]

Dit geprobeerd?
php upgrade-db.php --reset-filters

[_Mitchie_]

Deem schreef op zaterdag 08 november 2014 @ 15:19:
Dit geprobeerd?
php upgrade-db.php --reset-filters

Yes , fixed dank je wel

[painkill]

Spotweb doet het niet meer, heeft jaren goed gedraait, na de update naar versie 5.1 op de synology NAS krijg ik het volgende bericht: http://pastebin.com/XjuYAQue

Iemand een idee?

[_Mitchie_]

painkill schreef op zaterdag 08 november 2014 @ 19:10:
Spotweb doet het niet meer, heeft jaren goed gedraait, na de update naar versie 5.1 op de synology NAS krijg ik het volgende bericht: http://pastebin.com/XjuYAQue

Iemand een idee?

Draait mariadb , want bij mij moest ik die opnieuw starten

De spotweb versie van mdvries http://packages.mdevries.org/ draait hier op een Synology DS214play nu met versie 5.1. zonder enig probleem.

[painkill]

Opnieuw opgestart, zelfde probleem. Als MariaDB uitstaat dan heeft spotweb dat wel door, en komt dat er te staan. PHPmyAdmin uit of aan zetten maakt niets uit. Heb deze versie van spotweb trouwens zelf op de Synology gezet, zonder package etc. Het lijkt er trouwens op dat Youless(ook mysql, phpmyadmin en webfolder), het ook niet meer doet.

Nog wat foutmeldingen:
Table './spotweb/spots' is marked as crashed and last (automatic?) repair failed #0 /volume1/web/spotweb/lib/dbeng/dbeng_abs.php(93): dbeng_mysql->rawExec('SHOW INDEXES FR...') #1 /volume1/web/spotweb/lib/dbeng/dbeng_mysql.php(88): dbeng_abs->exec('SHOW INDEXES FR...', Array) #2 /volume1/web/spotweb/lib/dbstruct/SpotStruct_mysql.php(59): dbeng_mysql->arrayQuery('SHOW INDEXES FR...', Array) #3 /volume1/web/spotweb/lib/dbstruct/SpotStruct_abs.php(101): SpotStruct_mysql->indexExists('idx_spots_1', 'spots') #4 /volume1/web/spotweb/lib/dbstruct/SpotStruct_abs.php(608): SpotStruct_abs->validateIndex('idx_spots_1', 'UNIQUE', 'spots', Array) #5 /volume1/web/spotweb/lib/SpotUpgrader.php(50): SpotStruct_abs->updateSchema() #6 /volume1/web/spotweb/install.php(478): SpotUpgrader->database() #7 /volume1/web/spotweb/install.php(689): createSystem() #8 {main}

[ Voor 56% gewijzigd door painkill op 08-11-2014 19:44 ]

[MikeOO]

painkill schreef op zaterdag 08 november 2014 @ 19:33:
Opnieuw opgestart, zelfde probleem. Als MariaDB uitstaat dan heeft spotweb dat wel door, en komt dat er te staan. PHPmyAdmin uit of aan zetten maakt niets uit. Heb deze versie van spotweb trouwens zelf op de Synology gezet, zonder package etc. Het lijkt er trouwens op dat Youless(ook mysql, phpmyadmin en webfolder), het ook niet meer doet.

Nog wat foutmeldingen:
Table './spotweb/spots' is marked as crashed and last (automatic?) repair failed #0 /volume1/web/spotweb/lib/dbeng/dbeng_abs.php(93): dbeng_mysql->rawExec('SHOW INDEXES FR...') #1 /volume1/web/spotweb/lib/dbeng/dbeng_mysql.php(88): dbeng_abs->exec('SHOW INDEXES FR...', Array) #2 /volume1/web/spotweb/lib/dbstruct/SpotStruct_mysql.php(59): dbeng_mysql->arrayQuery('SHOW INDEXES FR...', Array) #3 /volume1/web/spotweb/lib/dbstruct/SpotStruct_abs.php(101): SpotStruct_mysql->indexExists('idx_spots_1', 'spots') #4 /volume1/web/spotweb/lib/dbstruct/SpotStruct_abs.php(608): SpotStruct_abs->validateIndex('idx_spots_1', 'UNIQUE', 'spots', Array) #5 /volume1/web/spotweb/lib/SpotUpgrader.php(50): SpotStruct_abs->updateSchema() #6 /volume1/web/spotweb/install.php(478): SpotUpgrader->database() #7 /volume1/web/spotweb/install.php(689): createSystem() #8 {main}

Waarschijnlijk is er een post opgehaald die corrupt is. Gebeurt soms en is altijd lastig om op te lossen aangezien de nieuwsgroep provider dit vaak moet doen.

Zelf ook een eigen installatie en geen problemen met de upgrade naar 5.1.

Probeer eens je DB te controleren op fouten. Mogelijk dat dit iets oplost.

1. /usr/syno/mysql/bin/mysql -p --database=spotweb
2. check table spots; <spots als voorbeeld>
3. repair table spots; <bij fouten>

In stap 2 & 3 vul je een tabelnaam van je database in. In dit voorbeeld dus Spots.
Dit kun je diverse proberen. Helaas weet ik niet hoe je dit in 1x zou kunnen doen voor de hele DB.

[Verwijderd]

.

[ Voor 99% gewijzigd door Verwijderd op 14-11-2014 01:07 . Reden: Toch niet meer nodig. ]

[Thedionysus]

Goedemiddag,

Ik heb een vraag over spotweb, spotweb functioneerd prima, echter ik krijg het niet voor elkaar om hem automatisch met een interval te laten updaten. Via http://xxx.xxx.xxx.xxx/spotweb/ werkt het wel!

Eerst wou ik de automatiche update via cronjob laten verrichten zoals in de vele handleidingen online staat. Helaas krijg ik cronjob niet aan de praat, zie img:

http://i62.tinypic.com/2ik8rch.jpg

Daarom tevens via task Scheduler geprobeerd met de volgende taak:
/usr/bin/php /volume1/web/spotweb/retrieve.php
Deze heb ik zowel proberen uit te voeren door root als admin account zonder succes

Uit frustatie voor de eerste keer in mijn leven eens gewaagd aan linux commands. Moet de volgende directory niet beschikbaar zijn bijvoorbeeld?

http://i58.tinypic.com/e8tlp1.jpg

Is het daarnaast niet vreemd dat ik geen rechten heb tot de "web" directory terwijl ik ingelogd ben met de root account via SSH? Excuses als ik dingen verkeerd interpreteer, maar dit is wat ik over linux heb geleerd met een dagje google.
http://i60.tinypic.com/16mc93.jpg

Ik heb de volgende packages geïnstalleerd:

• Git
• Init 3rd party
• Python
• MariaDB
• Spotweb

Hulp zou zeer gewaardeerd worden want ik zit nu echt vast.

Alvast heel erg bedankt!
Gr Erik

[_Mitchie_]

Thedionysus schreef op vrijdag 14 november 2014 @ 14:25:
Goedemiddag,

Ik heb een vraag over spotweb, spotweb functioneerd prima, echter ik krijg het niet voor elkaar om hem automatisch met een interval te laten updaten. Via http://xxx.xxx.xxx.xxx/spotweb/ werkt het wel!

Eerst wou ik de automatiche update via cronjob laten verrichten zoals in de vele handleidingen online staat. Helaas krijg ik cronjob niet aan de praat, zie img:

http://i62.tinypic.com/2ik8rch.jpg

Daarom tevens via task Scheduler geprobeerd met de volgende taak:
/usr/bin/php /volume1/web/spotweb/retrieve.php
Deze heb ik zowel proberen uit te voeren door root als admin account zonder succes

Uit frustatie voor de eerste keer in mijn leven eens gewaagd aan linux commands. Moet de volgende directory niet beschikbaar zijn bijvoorbeeld?

http://i58.tinypic.com/e8tlp1.jpg

Is het daarnaast niet vreemd dat ik geen rechten heb tot de "web" directory terwijl ik ingelogd ben met de root account via SSH? Excuses als ik dingen verkeerd interpreteer, maar dit is wat ik over linux heb geleerd met een dagje google.
http://i60.tinypic.com/16mc93.jpg

Ik heb de volgende packages geïnstalleerd:

• Git
• Init 3rd party
• Python
• MariaDB
• Spotweb

Hulp zou zeer gewaardeerd worden want ik zit nu echt vast.

Alvast heel erg bedankt!
Gr Erik

Ik neem aan dat je spotweb hebt geinstalleerd op een NAS
Voor mijn Synology DS214play heb ik de tutorial van spotweb mysynology nl gevolgd

Daar wordt ook uitgelegd hoe je via een cronjob spotweb automatisch met een interval te laten updaten.
Het was wel nodig dat ik op mijn Synolgy inlogde met het admin account, onder een user account wilde cronjob niet werken

[MikeOO]

@Thedionysus

Een hele makkelijke manier die ik altijd gebruik en probleemloos werkt.

1. Maak een verbinding met je NAS via WinSCP.
2. Ga naar de folder /etc
3. Dubbelklik op het bestand cronjob
4. Knip en plak onderstaande code in dit bestand. Plaats deze onder de laatste regel die er nu staat.
Belangrijk is dat er tussen 30 * * * * root elke keer een TAB staat een GEEN spaties. Anders werkt de regel niet.
5. Bewaar het bestand en herstart de cronjob of de NAS een keer opnieuw opstarten. Als je dat niet doet werkt de nieuwe regel ook niet.

Klaar
Met onderstaande regel wordt er elke 30 min een update gedaan.

code:

30  *   *   *   *   root    cd /volume1/web/spotweb && /usr/bin/php retrieve.php

[ Voor 6% gewijzigd door MikeOO op 15-11-2014 08:31 ]

[jjust]

Sinds afgelopen woensdag wilde mijn spotweb database niet meer bijwerken.

Helaas kon ik niet meer vinden hoe ik de installatie op een WHS 2011 had gedaan. Ook de spotweb wiki is niet meer wat het geweest is. (waarschijnlijk doordat deze van github was verwijderd), Uiteindelijk had ik een ingeving om in de WHS2011 logboeken te kijken. Deze stonden vol foutmeldingen van de MySQL database. Problemen zaten in de spot table.

Toen via de MySQL command line client eerst
Use Spotweb; gedaan Daarna
Check Table Spots;
Repair Table Spots;

Daarna werkte hij weer prima.

[Thedionysus]

Het is gelukt, bedankt voor al jullie hulp!

Helaas weet ik niet waar het aan ligt, ik heb uiteindelijk alles opnieuw geïnstalleerd waarbij ik cronjob niet meteen liet uitvoeren maar handmatig startte na de installatie. nu gescheduled voor een update om de twee uur. Nog even afwachten of cronjob de job launched......

vanuit PuTTy werkt het volgende comment overigens ook prima:
/usr/bin/php /volume1/web/spotweb/retrieve.php –force

thanks!

[MikeOO]

Thedionysus schreef op zondag 16 november 2014 @ 15:15:
Het is gelukt, bedankt voor al jullie hulp!

Helaas weet ik niet waar het aan ligt, ik heb uiteindelijk alles opnieuw geïnstalleerd waarbij ik cronjob niet meteen liet uitvoeren maar handmatig startte na de installatie. nu gescheduled voor een update om de twee uur. Nog even afwachten of cronjob de job launched......

vanuit PuTTy werkt het volgende comment overigens ook prima:
/usr/bin/php /volume1/web/spotweb/retrieve.php –force

thanks!

Alleen moet je -force niet gebruiken maar alleen bij problemen met retrieve en niet omdat er al een proces draait. Dan moet je uitzoeken waarom deze is gestart als dat niet gepland is.
Door force te gebruiken start je mogelijk een 2de retrieve die voor dubbele of juist ontbrekende spots kan zorgen.

[iMars]

MikeOO schreef op zaterdag 15 november 2014 @ 08:29:
@Thedionysus

Een hele makkelijke manier die ik altijd gebruik en probleemloos werkt.

1. Maak een verbinding met je NAS via WinSCP.
2. Ga naar de folder /etc
3. Dubbelklik op het bestand cronjob
4. Knip en plak onderstaande code in dit bestand. Plaats deze onder de laatste regel die er nu staat.
Belangrijk is dat er tussen 30 * * * * root elke keer een TAB staat een GEEN spaties. Anders werkt de regel niet.
5. Bewaar het bestand en herstart de cronjob of de NAS een keer opnieuw opstarten. Als je dat niet doet werkt de nieuwe regel ook niet.

Klaar
Met onderstaande regel wordt er elke 30 min een update gedaan.

code:

30  *   *   *   *   root    cd /volume1/web/spotweb && /usr/bin/php retrieve.php

Ik heb iets als dit (zonder "cd"):

code:

30  *   *   *   *   root    /usr/bin/php /volume1/web/spotweb/retrieve.php

[MikeOO]

iMars schreef op maandag 17 november 2014 @ 07:49:
[...]

Ik heb iets als dit (zonder "cd"):

code:

30  *   *   *   *   root    /usr/bin/php /volume1/web/spotweb/retrieve.php

Ik heb dit ooit zo overgenomen en werkt al jaren prima. Beide opties zullen prima werken dus aan hem de keus

[Binnetie]

Ik heb gisteren mijn Spotweb opnieuw geinstalleerd met behoud van de database. Het werkt gelukkig allemaal prima en scheelt weer een aantal dagen retrieven. In de handleiding op de eerste pagina las ik dat je een ownsettings.pho en .htacces en .htpasswd kunt aanmaken zodat extern er niemand bij kan komen. Beide bestanden zitten in de map Spotweb.

Omdat ik vorige week ineens meldingen kreeg van Google dat er iets niet pluis zou zijn met mijn pagina heb ik dus alles geinstalleerd.

Nu is mijn installatie 'shared' en heb ik 5 gebruikers die ook op mijn Spotweb mogen komen.
De gebruiker gaat naar mijn pagina en logt in. Nu kan dit niet omdat ze eerst moeten inloggen volgens het .htacces en .htpasswd bestand. Is hier een andere oplossing voor of kan ik beter die 2 files weer gewoon verwijderen?

[MikeOO]

Binnetie schreef op donderdag 20 november 2014 @ 12:26:
Ik heb gisteren mijn Spotweb opnieuw geinstalleerd met behoud van de database. Het werkt gelukkig allemaal prima en scheelt weer een aantal dagen retrieven. In de handleiding op de eerste pagina las ik dat je een ownsettings.pho en .htacces en .htpasswd kunt aanmaken zodat extern er niemand bij kan komen. Beide bestanden zitten in de map Spotweb.

Omdat ik vorige week ineens meldingen kreeg van Google dat er iets niet pluis zou zijn met mijn pagina heb ik dus alles geinstalleerd.

Nu is mijn installatie 'shared' en heb ik 5 gebruikers die ook op mijn Spotweb mogen komen.
De gebruiker gaat naar mijn pagina en logt in. Nu kan dit niet omdat ze eerst moeten inloggen volgens het .htacces en .htpasswd bestand. Is hier een andere oplossing voor of kan ik beter die 2 files weer gewoon verwijderen?

Je zou kunnen proberen om htpasswd te verwijderen om te kijken of het dan wel lukt.
.htacces zou je gewoon moeten kunnen gebruiken en heb je ook nodig als je Spotweb als Newsnab wilt gebruiken.

De afscherming van Spotweb doe je in Spotweb zelf en niet meer met losse bestanden.
Tijdens de installatie kun je kiezen welke optie je wilt gebruiken en je zou dus moeten kiezen voor de optie Shared.

Zie punt:7. Spotweb Type
http://mysynology.nl/spotweb-p1/

Als je het handmatig hebt geinstalleerd dan zou install.php nog eens kunnen proberen te draaien
http://www.fam-oldenburge...1/07/spotweb-installeren/

In Gebruikersbeheer binnen Spotweb zelf kun je per gebruiken de rechten bepalen en zo kun je voor elke gebruiken een eigen inlognaam en wachtwoord aanmaken + rechten.

[ Voor 5% gewijzigd door MikeOO op 22-11-2014 08:19 ]

[Binnetie]

Bedankt voor je reactie.
Ik wist dat je het in Spotweb bepaald. Een shared installatie (voor meerdere gebruikers) heb ik in gebruik. Maar er gebeurden wat gekke dingen namelijk. En ik vond vreemde bestanden in de directory. De laatste login was via een spaans ip-adres. Vandaar dat ik .htacces en .htpasswd in gebruik had.
Nu heb ik deze bestanden verwijderd en werkt het weer als voorheen. Ik laat het voorlopig zo.

Heb van alles de wachtwoorden gereset en ingewikkelde wachtwoorden gebruikt. Hopelijk blijft het nu voorlopig probleemloos werken.

[rsoeting]

Na langdurig gebruik van spotweb in combinatie met Sabnzbd wilde ik op mijn synology NzbGet eens een kans geven. Na wat configuratie werk loopt dit nu goed, dus dacht ik, ik zet spotweb even om zodat ik gebruik maak van nzbget voor het downloaden. Geen probleem dacht ik...
Direct na het op save drukken:

Fatal error: Call to undefined function curl_init() in /var/www/html/spotweb/lib/services/Providers/Services_Providers_Http.php on line 190

En nu is het stuk, kan niet meer terug.

iemand iets dergelijks al eens meegemaakt? Heeft iemand een tip?

Spotweb draait op Ubuntu overigens. Wil mijn nas niet belasten met dingen die er echt niet op hoeven.
Alvast bedankt.

[RudolfR]

Ik vond dit:
https://github.com/spotweb/spotweb/issues/15

Het 't ook draaien op ubuntu, werkt prima i.c.m. nzbget.
Heb je misschien http:// voor de hostname gezet oid?

[rsoeting]

Nope geen http er voor en omdat ik een single user config heb ook niet de mogelijkheid om het weer goed te zetten.

[MikeOO]

rsoeting schreef op dinsdag 25 november 2014 @ 11:04:
Na langdurig gebruik van spotweb in combinatie met Sabnzbd wilde ik op mijn synology NzbGet eens een kans geven. Na wat configuratie werk loopt dit nu goed, dus dacht ik, ik zet spotweb even om zodat ik gebruik maak van nzbget voor het downloaden. Geen probleem dacht ik...
Direct na het op save drukken:

Fatal error: Call to undefined function curl_init() in /var/www/html/spotweb/lib/services/Providers/Services_Providers_Http.php on line 190

En nu is het stuk, kan niet meer terug.

iemand iets dergelijks al eens meegemaakt? Heeft iemand een tip?

Spotweb draait op Ubuntu overigens. Wil mijn nas niet belasten met dingen die er echt niet op hoeven.
Alvast bedankt.

Je zou install.php weer kunnen draaien en kijken of je het hiermee weer kan activeren.

Zou het kunnen dat je een vrij oude versie van Spotweb hebt draaien waardoor je deze fout krijgt.
Helaas is de maker gestopt dus lastig aan te geven wat de met recente versie is.
Maar je kan het vergelijken met https://github.com/spotweb/spotweb of kijk daar eens of je verschillen ziet en overgaan naar deze versie.

Zelf heb ik dit een tijd terug ook gedaan en geen problemen mee gehad als ik dit al maanden terug maar dan zou niet moeten uitmaken aangezien de spotweb versie verder niet vernieuwd is.

Je gedachte om je NAS niet zwaarder te belasten begrijp ik niet helemaal. Juist een NAS is ideaal voor dit soort dingen. Spotweb zelf is niet een zwaargewicht en draait prima op een NAS. Voordeel is dat je deze toch aan hebt staan en dus stroom bespaart omdat je Linux niet aan hoeft te staan.

Voorheen draaide dit bij mij op een DS211 en je wilt niet weten wat er allemaal actief was op dat ding.
Camera, Spotweb, nzbget, autosub, sickbeard, CouchPotato Server etc etc. Ding was hele dag wel met dingen bezig en dat ging uitstekend.

Het hangt af wat voor NAS je hebt natuurlijk.

[rsoeting]

Spotweb is nieuw, heb zelfs net een git pull gedraaid welke zegt dat alles up to date is.
install.php werkt niet behalve wanneer ik de db weggooi en overnieuw begin.
Dit ga ik straks doen, maar zou graag willen weten of ik de enige ben met dit probleem.

Aangezien ik 2 fysieke servers op het internet heb (active/passive) en de 2de toch niets staat te doen, mag die van mij spotweb draaien.
Een nas moet doen waar hij goed in is, data opslaan en aanleveren. Je kan er nog veel meer mee, maar ik vindt dit niet nodig.

[rsoeting]

Zucht....
Na 3 keer opnieuw de installatie gedaan te hebben viel me op dat er iets in lijn 190 stond over curl.
Tijdens de installatie viel me op dat php-curl niet geïnstalleerd was.
Dit bleek uiteindelijk het probleem.
Voor nzbget wordt gebruikgemaakt van php-curl om requests te doen.
ap-get install php5-curl en alles werkt weer naar behoren.
RTFM.... Zal het ook nooit leren.

[MikeOO]

rsoeting schreef op dinsdag 25 november 2014 @ 15:08:
Zucht....
Na 3 keer opnieuw de installatie gedaan te hebben viel me op dat er iets in lijn 190 stond over curl.
Tijdens de installatie viel me op dat php-curl niet geïnstalleerd was.
Dit bleek uiteindelijk het probleem.
Voor nzbget wordt gebruikgemaakt van php-curl om requests te doen.
ap-get install php5-curl en alles werkt weer naar behoren.
RTFM.... Zal het ook nooit leren.

Voordeel is dat je het nu nooit meer vergeet

[Satom]

rsoeting schreef op dinsdag 25 november 2014 @ 15:08:
Zucht....
Na 3 keer opnieuw de installatie gedaan te hebben viel me op dat er iets in lijn 190 stond over curl.
Tijdens de installatie viel me op dat php-curl niet geïnstalleerd was.
Dit bleek uiteindelijk het probleem.
Voor nzbget wordt gebruikgemaakt van php-curl om requests te doen.
ap-get install php5-curl en alles werkt weer naar behoren.
RTFM.... Zal het ook nooit leren.

Error_reporting stond niet aan in PHP? Wil vaak ook helpen, scheelt wat zoekwerk.

[Njay]

Gents,

welke git branch moet ik nu gebruiken? of wordt spotweb helemaal niet meer ontwikkelt?

[_Mitchie_]

Waar wil je spotweg op draaien , als het op NAS van Synology is kan ik de spk repository van mdevries aanbevelen http://packages.mdevries.org/
Draai deze nu naar alle tervredenheid

[Njay]

ik draai al een tijd spotweb op me nas van synology.

geinstalleerd via die hbeekman uitleg ofzo

[MikeOO]

Njay schreef op woensdag 26 november 2014 @ 08:11:
Gents,

welke git branch moet ik nu gebruiken? of wordt spotweb helemaal niet meer ontwikkelt?

Klopt wordt helaas niet meer verder ontwikkeld.

Git kun je deze gebruiken: https://github.com/spotweb/spotweb

[ Voor 3% gewijzigd door MikeOO op 27-11-2014 07:39 ]

[Turdie]

Ik probeer Spotweb te installeren op Ubuntu maar krijg je steeds deze foutmelding na het draaien van de install.php. Ik gebruik Ubuntu server

Unable to connect to database:
No database settings have been entered, please use the 'install.php' wizard to install and configure Spotweb.
If you are upgrading from an earlier version of Spotweb, please consult https://github.com/spotwe...equently-asked-questions/ first


Please make sure your database server is up and running and your connection parameters are set

Iemand enig idee hoe ik dit kan fixxen?

Laat maar al opgelost

[Satom]

Na de install.php krijg je die foutmelding? Zijn de ingevoerde instellingen wel opgeslagen in het daarvoor bestemde bestand?

[ShadowBumble]

bah momenteel heb ik dat mijn spotweb niet meer update blijft maar zeggen getHeader() failed to retrieve article

[Warbringer]

Ik probeer een RSS feed uit Spotweb te krijgen (spotweb als newznab server werkt al) voor alle NFL wedstrijden die er gepost worden. In sportweb is dat een zoekopdracht voor alle TV-shows van het genre "television" waar "NFL" in zit. Dit levert me de volgende zoekopdracht op:

code:

https://mijnserver/spotweb/?search%5Btree%5D=cat0_z1_d11&sortdir=ASC&sortby=&search%5Bvalue%5D%5B%5D=Title%3A%3D%3ADEF%3ANFL

De zoekopdracht die hier uit komt is (na een urldecode):

code:

[tree]=cat0_z1_d11&sortdir=ASC&sortby=&search[value][]=Title:=:DEF:NFL

Lijkt me prima dus.

Uiteindelijk probeer ik de volgende URL als RSS feed in sabnzbd te hangen:
_{de server is alleen intern bereikbaar dus veel plezier met m'n api key}

code:

http://mijnserver/spotweb/?page=newznabapi&t=search&apikey=adefa5b75680f0e4dcd801687329b5bb&q=search%5Bvalue%5D%5B%5D=Title%3A%3D%3ADEF%3ANFL

Ik krijg nu inderdaad een XML file terug maar daar zit gewoon van alles in en niet alleen mijn NFL wedstrijden. Iemand enig idee waar ik hier fout ga?

[Amelandbor]

Volgens mij mist de categorie in je uiteindelijke url.

[Warbringer]

Zo te zien was dat een copy/paste foutje:

code:

http://mijnserver/spotweb/?page=newznabapi&t=search&apikey=adefa5b75680f0e4dcd801687329b5bb&q=search%5Btree%5D=cat0_z1_d11&sortdir=ASC&sortby=&search%5Bvalue%5D%5B%5D=Title%3A%3D%3ADEF%3ANFL

Geeft namelijk hetzelfde resultaat. Ik krijg wel een hoop results maar niet wat ik zou verwachten en het voldoet zeker niet aan m'n search filter.

[elevator]

Waarom staat er een &q= voor je search parameters? Overigens is 'newznabapi' ook geen RSS feed, maar een newznabapi feed

[MikeOO]

Warbringer schreef op zaterdag 13 december 2014 @ 19:09:
Zo te zien was dat een copy/paste foutje:

code:

http://mijnserver/spotweb/?page=newznabapi&t=search&apikey=adefa5b75680f0e4dcd801687329b5bb&q=search%5Btree%5D=cat0_z1_d11&sortdir=ASC&sortby=&search%5Bvalue%5D%5B%5D=Title%3A%3D%3ADEF%3ANFL

Geeft namelijk hetzelfde resultaat. Ik krijg wel een hoop results maar niet wat ik zou verwachten en het voldoet zeker niet aan m'n search filter.

Even wat zitten knippen/plakken voor je. Probeer onderstaande eens. Werkt op aan mijn kant prima icm met NZBGet maar dat maakt voor de RSS feeds verder niet uit welk programma je gebruikt.

code:

http://<ipvanjenas>/spotweb/?page=rss&&search[tree]=cat0_z1_a9&sortdir=DESC&sortby=stamp&search[value][]=Title%3A%3D%3ADEF%3Anfl&apikey=<Jouw Spotweb API Key>

<ipvanjenas> = vervang dit door je ip-adres van je NAS. Ook de < > verwijderen.
<Jouw Spotweb API Key> = In Spotweb bij de gebruikersaccount je API key opzoeken en deze hier plakken. Ook weer de < > ook verwijderen.

[Warbringer]

MikeOO schreef op zondag 14 december 2014 @ 08:50:
[...]


Even wat zitten knippen/plakken voor je. Probeer onderstaande eens. Werkt op aan mijn kant prima icm met NZBGet maar dat maakt voor de RSS feeds verder niet uit welk programma je gebruikt.

code:

http://<ipvanjenas>/spotweb/?page=rss&&search[tree]=cat0_z1_a9&sortdir=DESC&sortby=stamp&search[value][]=Title%3A%3D%3ADEF%3Anfl&apikey=<Jouw Spotweb API Key>

<ipvanjenas> = vervang dit door je ip-adres van je NAS. Ook de < > verwijderen.
<Jouw Spotweb API Key> = In Spotweb bij de gebruikersaccount je API key opzoeken en deze hier plakken. Ook weer de < > ook verwijderen.

Yup, dat is'em! Thanks!

[pven]

Sinds middernacht komen er geen spots meer binnen (op een externe server retrieve ik ieder kwartier). Meer mensen die hier last van hebben? Voor zover ik zie ligt het niet aan settings, en is mijn usenet-server gewoon beschikbaar.

De retrieve-log is sinds middernacht hetzelfde:

code:

Last retrieve at Wed 17 Dec 2014 11:00:04 AM CET
Retrieving new Spots from server eunews.blocknews.net...
Appr. Message count:    121091
First message number:   4204646
Last message number:    4325737
Current article number: 4325737

Processed a total of 0 spots
Finished retrieving spots.

Last retrieve at Wed 17 Dec 2014 11:13:36 AM CET
Retrieving new reports from server eunews.blocknews.net...
Appr. Message count:    6126
First message number:   112966
Last message number:    119092
Current article number: 119092

Processed a total of 0 reports
Finished retrieving reports.


Non-fatal: Updating black/whitelist failed, most likely unreachable!Expiring debuglog entries, if any, done.

Hmz, lokaal op mijn Synology heb ik spotweb ook draaien, die update zichzelf wel.

Ik heb blocknews maar gevraagd of er ergens iets geblocked is. Is dus een lokaal probleem.

---

Toch niet opgelost: mijn usenet-account is niet geblokkeerd, daar ligt het dus niet aan. Dus om een onbekende reden update mijn spotweb op mijn server buiten de deur niet meer. Foutmeldingen komen er ook niet. Iemand tips?

---

Ok dan: als ik mijn astraweb-account gebruik dan werkt het wel. Maar omdat ik dan geen twee IP-adressen kan gebruiken is dat geen oplossing. Het ligt dus echt aan blocknews.

Iemand een idee welke nieuwsgroepen spotweb gebruikt? Dan kan ik blocknews vragen om het verder te onderzoeken.

---

Ik ben niet de enige met dit probleem: Ted038 in "Newsservers met binaries [Deel 13]"

[ Voor 98% gewijzigd door pven op 17-12-2014 22:39 ]

[pven]

<weg>

[ Voor 97% gewijzigd door pven op 17-12-2014 21:45 ]

[MikeOO]

pven schreef op woensdag 17 december 2014 @ 11:15:
Sinds middernacht komen er geen spots meer binnen (op een externe server retrieve ik ieder kwartier). Meer mensen die hier last van hebben? Voor zover ik zie ligt het niet aan settings, en is mijn usenet-server gewoon beschikbaar.

De retrieve-log is sinds middernacht hetzelfde:

code:

Last retrieve at Wed 17 Dec 2014 11:00:04 AM CET
Retrieving new Spots from server eunews.blocknews.net...
Appr. Message count:    121091
First message number:   4204646
Last message number:    4325737
Current article number: 4325737

Processed a total of 0 spots
Finished retrieving spots.

Last retrieve at Wed 17 Dec 2014 11:13:36 AM CET
Retrieving new reports from server eunews.blocknews.net...
Appr. Message count:    6126
First message number:   112966
Last message number:    119092
Current article number: 119092

Processed a total of 0 reports
Finished retrieving reports.


Non-fatal: Updating black/whitelist failed, most likely unreachable!Expiring debuglog entries, if any, done.

Hmz, lokaal op mijn Synology heb ik spotweb ook draaien, die update zichzelf wel.

Ik heb blocknews maar gevraagd of er ergens iets geblocked is. Is dus een lokaal probleem.

---

Toch niet opgelost: mijn usenet-account is niet geblokkeerd, daar ligt het dus niet aan. Dus om een onbekende reden update mijn spotweb op mijn server buiten de deur niet meer. Foutmeldingen komen er ook niet. Iemand tips?

---

Ok dan: als ik mijn astraweb-account gebruik dan werkt het wel. Maar omdat ik dan geen twee IP-adressen kan gebruiken is dat geen oplossing. Het ligt dus echt aan blocknews.

Iemand een idee welke nieuwsgroepen spotweb gebruikt? Dan kan ik blocknews vragen om het verder te onderzoeken.

---

Ik ben niet de enige met dit probleem: Ted038 in "Newsservers met binaries [Deel 13]"

Check je database van spotweb eens op de server eens op fouten.Mogelijk dat hier iets fout gaat.
De eerste regels is voor een Synology NAS. Deze dus aanpassen naar jouw situatie waar SQL gevonden kan worden.

Spots is als voorbeeld en zo eventueel meerdere tabellen gaan controleren.

SQL Tabel controleren op fouten
/usr/syno/mysql/bin/mysql -p --database=spotweb
check table spots; <spots als voorbeeld>
repair table spots; <bij fouten>

[pven]

MikeOO schreef op donderdag 18 december 2014 @ 07:21:
[...]


Check je database van spotweb eens op de server eens op fouten.Mogelijk dat hier iets fout gaat.
De eerste regels is voor een Synology NAS. Deze dus aanpassen naar jouw situatie waar SQL gevonden kan worden.

Spots is als voorbeeld en zo eventueel meerdere tabellen gaan controleren.

SQL Tabel controleren op fouten
/usr/syno/mysql/bin/mysql -p --database=spotweb
check table spots; <spots als voorbeeld>
repair table spots; <bij fouten>

Uiteraard dank voor je reactie!

Daar ligt het niet aan. Ik heb nu een block-account bij Astraweb genomen (naast mijn unlimited, puur om te voorkomen dat mijn unlimited geblocked gaat worden), als ik die gebruik dan werkt het wel prima. Volgens de support van blocknews is er ongeveer sinds het begin van mijn probleem een 'groot incident' gaande mbt nieuwe headers in nieuwsgroepen.

[ Voor 4% gewijzigd door pven op 18-12-2014 09:24 ]

[MikeOO]

pven schreef op donderdag 18 december 2014 @ 09:19:
[...]

Uiteraard dank voor je reactie!

Daar ligt het niet aan. Ik heb nu een block-account bij Astraweb genomen (naast mijn unlimited, puur om te voorkomen dat mijn unlimited geblocked gaat worden), als ik die gebruik dan werkt het wel prima. Volgens de support van blocknews is er ongeveer sinds het begin van mijn probleem een 'groot incident' gaande mbt nieuwe headers in nieuwsgroepen.

Wel vreemd dat het bij je Spotweb op je NAS wel werkt met het account van Astraweb. Als het aan de headers ligt moet het probleem toch ook optreden bij deze opstelling.

Misschien eens kijken naar een andere provider als je nu 2 type accounts moet nemen qua prijs ben je dan een stuk duurder uit. Ik deel mijn account al zeker 1,5 jaar met mijn zus en beide hebben een NAS met Spotweb die om de 30 min update en veel download van series/film etc. Nooit problemen mee en zeker nooit een blokkade gekregen omdat je dit account bij hun ook mag delen. Wel 30 connectie mogelijk. Zij 10 en ik 20 die ik gebruik dus zitten elkaar nooit in de weg.

[pven]

Astraweb heeft het probleem niet,blocknews wel. Maar ik heb de afgelopen nacht een mail van blockednews ontvangen dat het header-probleem opgelost zou moeten zijn. Als ik tijd heb, kijk ik er vandaag naar.

---

Het is inderdaad opgelost.

[ Voor 12% gewijzigd door pven op 19-12-2014 10:49 ]

[Oxize]

Sinds vandaag Spotweb geinstalleerd op mijn server om het eens te proberen, nadat mijn newznab database volledig gecrashed was en niet te herstellen, nu maar deze overgang gemaakt naar spotweb.

Ik heb spotweb geinstalleerd onder windows via Xampp. Het werkt nu allemaal en alle spots komen langszaam allemaal binnen.

Hoe kan ik echter spotweb up-to-date houden? Bij newznab kon een svn update uitvoeren elke week, waarbij de gechangde files overschreef. Hoe werkt dit bij spotweb (icm xampp)?

[pven]

Je kan op de pagina zelf retrieve doen, maar dat kan je ook handmatig doen. 'retrieve' is de term waar je naar moet zoeken.

[Oxize]

pven schreef op maandag 22 december 2014 @ 11:21:
Je kan op de pagina zelf retrieve doen, maar dat kan je ook handmatig doen. 'retrieve' is de term waar je naar moet zoeken.

Ik bedoel niet de spots (die retrieve draait al op de achtergrond bij mij), maar het up-to-date houden van Spotwebs database zelf (GIT). Dus hoe nieuwe versies van spotweb van Github gehaald worden, en deze implementeren in mij huidige webserver.

[Deem]

Ik heb de volgende regels opgenomen in mijn retrieve batchfile:

cd C:\xampp-1.8.3-1-vc11\htdocs\spotweb
"C:\Program Files (x86)\Git\bin\git.exe" pull https://github.com/spotweb/spotweb.git

Hiermee wordt spotweb geüpdatet naar de laatste stand. Paden aanpassen naar eigen inzicht. Git moet geïnstalleerd zijn.

[pven]

Ah zo.

Ik ben daar zelf geen fan van. Stel dat er een slechte update tussenzit, dan werkt Spotweb niet meer.

[Oxize]

pven schreef op maandag 22 december 2014 @ 12:23:
Ah zo.

Ik ben daar zelf geen fan van. Stel dat er een slechte update tussenzit, dan werkt Spotweb niet meer.

Ja, daarom ben ik van plan om het niet automatisch in te stellen, alleen wanneer het nodig is.

[Oxize]

Is het mogelijk om bepaalde categorieën te weren, zodat ze ook niet binnengehaald worden? Voor mij hoeft die hele porn spots niet.

Want die white-list/Blacklist die uitgevoerd wordt in retrieve.php geeft bij mij de melding "non-fatal: updating black/whitelist failed, most likey unreachable! Expiring debuglog entries, if any, done.

[Webjunkie]

pr0n kan je verbergen in config / change preferences.
de blacklist stamt nog uit de tijd dat er nog mods waren.. die doet het al heel lang niet meer.

[ Voor 14% gewijzigd door Webjunkie op 22-12-2014 22:36 ]

[Oxize]

Webjunkie schreef op maandag 22 december 2014 @ 22:35:
pr0n kan je verbergen in config / change preferences.
de blacklist stamt nog uit de tijd dat er nog mods waren.. die doet het al heel lang niet meer.

"Erotica spots op de index verbergen?"

Die? Volgens mij doet die weinig.

[Webjunkie]

als het goed is is de erotica sectie dan niet meer zichtbaar, maar als dat niet werkt kun je proberen om erotica in je filters te deleten.

[MikeOO]

Oxize schreef op maandag 22 december 2014 @ 11:44:
[...]

Ik bedoel niet de spots (die retrieve draait al op de achtergrond bij mij), maar het up-to-date houden van Spotwebs database zelf (GIT). Dus hoe nieuwe versies van spotweb van Github gehaald worden, en deze implementeren in mij huidige webserver.

Je kan je de moeite besparen omdat Spotweb niet meer verder ontwikkeld wordt.
De maker is er plotseling mee gestopt maanden terug en alles was ook verwijderd van Github.
Gelukkig zijn er Tweakers geweest die dat weer hebben hersteld.
Laten we hopen dat iemand dit ooit weer oppakt maar het draait gelukkig al maanden verder prima.

[elevator]

Oxize schreef op maandag 22 december 2014 @ 22:43:
"Erotica spots op de index verbergen?"

Die? Volgens mij doet die weinig.

Je kan na retrieve.php een SQL statement draaien dat alle erotiek weer wist. Het zit dan heel eventjes in je database.

Afhankelijk van welke database je gebruikt is dat een ander commando. Voor PostgreSQL werkt zoiets denk ik:

psql -U spotweb spotweb -c "DELETE FROM spots where subcatz = 'z3|'"

Het is dan ook wel echt weg

[Oxize]

elevator schreef op dinsdag 23 december 2014 @ 09:37:
[...]

Je kan na retrieve.php een SQL statement draaien dat alle erotiek weer wist. Het zit dan heel eventjes in je database.

Afhankelijk van welke database je gebruikt is dat een ander commando. Voor PostgreSQL werkt zoiets denk ik:

psql -U spotweb spotweb -c "DELETE FROM spots where subcatz = 'z3|'"

Het is dan ook wel echt weg

Nee, ik gebruik xampp icm phpmyadmin/apache. Kan ik niet ergens die categorieen ergens hard eruit coden in 1 van de php files? Ik heb iets voorbij zien in dit topic diverse pagina terug, waar het op leek.

Een betere is de manier van jouw, via een command line (via dos) kunnen doen. Enig idee welke command ik daarvoor kan gebruiken?

@webjunkie: Ik heb die erotica filter al verwijdert, maar ze blijven verschijnen bij new en bij de standaard index, wat niet zou mogen als die optie aangevinkt staat.

Edit: Tevens een sleep commando ingebouwd. Retrieve.php wordt elke 200 seconden gestart.

[ Voor 19% gewijzigd door Oxize op 23-12-2014 14:27 ]

[Probook8979]

Beste forumleden,

Ik zelf ben opzoek naar buitenlandse usenet (eventueel forums), bestaan die momenteel?

Gebruik nu zelf Spotnet, maar zou graag een amerikaanse of buitenlandse spotnet/usenet willen hebben.

[ Voor 4% gewijzigd door Probook8979 op 23-12-2014 11:56 ]

[smeerbartje]

Is er eigenlijk ergens een actueel overzichtje van usenet providers? Ik betaal nu 7.50 voor Eweka, maar vraag me af of dit niet goedkoper kan.

[Mr_Blobby]

smeerbartje schreef op dinsdag 23 december 2014 @ 15:02:
Is er eigenlijk ergens een actueel overzichtje van usenet providers? Ik betaal nu 7.50 voor Eweka, maar vraag me af of dit niet goedkoper kan.

Newsservers met binaries [Deel 13]

[Oxize]

Iemand al een idee hoe je via command line bepaalde categorieën kan excluden of desnoods via phpmyadmin query?

Werkt dit?

code:

DELETE FROM spots
WHERE category = '0' and subcatz = 'z3|';

Edit:

Oke, bovenstaande query werkt, maar hoe vertaal ik dit onder dos prompt via mysql, zodat ik het in een batchfile kan zetten?

Edit:

Heb wat zitten uitvogelen, heb nu het volgende:

code:

C:\xampp\mysql\bin\mysql\mysql.exe -u gebruikersnaam -pmijnpassword spotweb -e "DELETE FROM spots WHERE category = '0' and subcatz = 'z3|';

Blijkt te werken, maar misschien niet echt zo safe om wachtwoorden in batchbestanden te vermelden.

[ Voor 87% gewijzigd door Oxize op 23-12-2014 23:17 . Reden: code aanpassen ]

[SYQ]

iemand die spotweb gebruikt op osx met MAMP?

alles werkt helemaal top, alleen hij wil maar niet retrieven middels cronjob. Dus ben ik gaan zoeken en krijg via terminal ook fouten. Gezocht in dit topic maar niks zinnigs kunnen vinden, een chmod op spotweb map zelf heeft ook niks geholpen.

irritante is dat ik nog wel mooi heb lopen css'en, zodat spotweb ook fijn werkt met een tablet

code:

macminis-Mac-mini:spotweb macmini$ php retrieve.php 
Unable to connect to database: SQLSTATE[HY000] [2002] No such file or directory
macminis-Mac-mini:spotweb macmini$

Retrieven werkt trouwens gewoon via webgui. Verder heb ik spotweb ingesteld als Shared, dus alleen zichtbaar door in te loggen.

[willem1509]

SYQ schreef op dinsdag 23 december 2014 @ 23:15:
iemand die spotweb gebruikt op osx met MAMP?

alles werkt helemaal top, alleen hij wil maar niet retrieven middels cronjob. Dus ben ik gaan zoeken en krijg via terminal ook fouten. Gezocht in dit topic maar niks zinnigs kunnen vinden, een chmod op spotweb map zelf heeft ook niks geholpen.

irritante is dat ik nog wel mooi heb lopen css'en, zodat spotweb ook fijn werkt met een tablet

code:

macminis-Mac-mini:spotweb macmini$ php retrieve.php 
Unable to connect to database: SQLSTATE[HY000] [2002] No such file or directory
macminis-Mac-mini:spotweb macmini$

Retrieven werkt trouwens gewoon via webgui. Verder heb ik spotweb ingesteld als Shared, dus alleen zichtbaar door in te loggen.

Wellicht heb je hier iets aan:
http://cl.ly/0R2K0j3w0d1q

Ik heb het draaiend met XAMPP, want vond MAMP minder fijn werken.

[supayoshi]

Ik krijg steeds een blanco pagina, na instalaltie. al 3 x geprobeerd ook geprobeerd custom url in te stellen, apache error log zegt niets anders dan over een missend favicon bestand?

Ik snap er helemaal niets van, gebruik trouwens geen ownsettings.php want die heb ik niet?

Iemand een idee?

Dit is mijn enige error die ik krijg:
[Wed Dec 31 18:28:38 2014] [debug] mod_deflate.c(700): [client 10.15.1.110] Zlib: Compressed 282 to 216 : URL /spotweb/api

[ Voor 27% gewijzigd door supayoshi op 31-12-2014 18:30 ]

[Satom]

Als je de error reporting in php uit hebt staan zul je ook alleen maar een witte pagina krijgen te zien, want hij laat geen (fout)melding zien

[supayoshi]

Nou ik heb errors aan staan maar ik krijg nog steeds een witte pagina echt vreemd...

[Webjunkie]

supayoshi schreef op woensdag 31 december 2014 @ 18:17:
Ik snap er helemaal niets van, gebruik trouwens geen ownsettings.php want die heb ik niet?

dit is mijn ownsettings.php
volgens mij is die salt nog steeds verplicht dus kan je 'm niet zomaar weglaten.

code:

<?php

# Password salt -- dit is een unieke string die verplicht ingevuld en veranderd moet worden
$settings['pass_salt'] = 'verZinzellufWat';

[ Voor 28% gewijzigd door Webjunkie op 01-01-2015 20:12 ]

[Zjemm]

Ik heb de laatste spotweb draaien op mijn Linux server maar op mijn iPad en iPhone krijg ik niet een mobile template te zien, overigens kan ik alleen de weirdo kiezen, moet ik ergens nog iets aanpassen in een config file ofzo? Iemand een tip?

[supayoshi]

Ik heb de ownsettings toegevoegd, maar nog steeds geen resultaat, blanco pagina

[elevator]

Doe even dit: elevator in "SpotWeb - Webbased Spotnet"

[supayoshi]

EDIT:

alles gelukt, thanks! Was een stom wachtwoord dat ik gebruikte, daardoor kwam hij er niet doorheen... '''

[ Voor 82% gewijzigd door supayoshi op 02-01-2015 00:27 ]