newsreader maken ( ter lering ende vermeack )

[Arjan]

Aangezien het hele usenet gebeuren grotendeels aan mij voorbij is gegaan ( met uitzondering van een downloadje hier en daar ) wilde ik er graag eens wat meer over weten.

Daarom besloot ik een newsreader te maken, om zo wat hands-on ervaring op te doen.
Inloggen, lijst met servers, dat soort dingen is allemaal niet zo'n probleem, maar ik snap niet helemaal hoe ik het beste een nieuwsserver kan doorzoeken.

Het lijkt mij dat ik 'alle' headers moet ophalen opzoek naar relevante informatie, maar in een poging dat te doen loop ik al vast.

Ik probeerde bijvoorbeeld om alle headers van de laatste 14 dagen van de group alt.binaries.multimedia op te halen;

NEWNEWS alt.binaries.multimedia 110612 000000

Helaas geeft de newsserver ( news.casema.nl ) dan aan dat dit niet ondersteund wordt.

500 "newnews" not implemented

Zover ik uit het NNTP protocol kan opmaken heb ik dan alleen nog het LISTGROUP commando.
Nadeel is echter dat deze _alle_ artikels van de group probeert te enumeraten, wat duidelijk veel te veel van het goede is.

Kijk ik echter met een programma als spotnet, dan heeft deze binnen no-time een lijst met artikels die relevant zijn ( waaronder een artikel uit bovenstaande groep )

Ik zou dus graag willen weten welke commandos daarvoor gebruikt moeten worden, aangezien ik het niet heb kunnen vinden op het www

[Marzman]

Arjan schreef op zondag 26 juni 2011 @ 13:36:
Aangezien het hele usenet gebeuren grotendeels aan mij voorbij is gegaan ( met uitzondering van een downloadje hier en daar ) wilde ik er graag eens wat meer over weten.

Daarom besloot ik een newsreader te maken, om zo wat hands-on ervaring op te doen.
Inloggen, lijst met servers, dat soort dingen is allemaal niet zo'n probleem, maar ik snap niet helemaal hoe ik het beste een nieuwsserver kan doorzoeken.

Het lijkt mij dat ik 'alle' headers moet ophalen opzoek naar relevante informatie, maar in een poging dat te doen loop ik al vast.

Ik probeerde bijvoorbeeld om alle headers van de laatste 14 dagen van de group alt.binaries.multimedia op te halen;

NEWNEWS alt.binaries.multimedia 110612 000000

Helaas geeft de newsserver ( news.casema.nl ) dan aan dat dit niet ondersteund wordt.

500 "newnews" not implemented

Zover ik uit het NNTP protocol kan opmaken heb ik dan alleen nog het LISTGROUP commando.
Nadeel is echter dat deze _alle_ artikels van de group probeert te enumeraten, wat duidelijk veel te veel van het goede is.

Kijk ik echter met een programma als spotnet, dan heeft deze binnen no-time een lijst met artikels die relevant zijn ( waaronder een artikel uit bovenstaande groep )

Ik zou dus graag willen weten welke commandos daarvoor gebruikt moeten worden, aangezien ik het niet heb kunnen vinden op het www

Spotnet is geen klassieke newsreader en die haalt ook niet alle headers op uit nieuwsgroepen maar alleen de headers uit een groep waar spotnetclients wat wegzetten als ze een post aanmelden.

Voor je doel kun je jezelf denk ik beter beperken tot tekst-nieuwsgroepen. De nl.* groepen bijvoorbeeld. De eerste keer zal je flink wat headers hebben, maar de tweede keer heb je het meeste al en gaat het gewoon snel.

[Arjan]

ahh, dat verklaart een hoop

Het enige alternatief is dus alleen groepen die newnews ondersteunen enumeraten, of eindeloos veel MB's downloaden/parsen ?

[Arjan]

hmm, nog even wat gelezen over die spots. de data waarna die verwijzen kunnen in alle nieuwsgroepen staan. Maar binsearch kan ze wel vinden, betekend dat dat binsearch af en toe alle artikelen download? of hebben ze nog een andere truuk?

[Woy]

Ik denk dat Binsearch in feite gewoon een newsserver is die alleen de data niet daadwerkelijk opslaat, maar alleen de informatie over de posts. Ik weet verder niet hoe de "synchronisatie" tussen verschillende newsservers precies gaat, en of die nog andere commando's gebruiken dan dat de clients zelf doen.

[kwaakvaak_v2]

Ja idd.. binsearch zal idd gewoon een usenet server zijn, die wel de headers ophaalt en parsed, maar niet de message bodies met de binaries erin. En ja dat kost ook best veel verkeer als je alle groepen wilt scannen.

Maar die newnews is wel essentieel binnen de server 2 server communicatie. Ik vermoed dan ook eerder dat casema niet zelf een usenet server heeft, maar ergens een soort relay dienst inkoopt die niet zelf synced met andere diensten.

Zie example 6 in de RFC