[C#] NNTP Binaire bestanden

[aex351]

Ik wil weten hoe ik binaire bestanden zou kunnen verwerken. Waarschijnlijk maak ik ergens een denkfout en hoop ik dat iemand mij erop zou kunnen wijzen.

Wat tot nu toe lukt:

• Verbinding maken met nieuwsserver
• Auth gebruikersnaam/wachtwoord
• Lijst met beschikbare nieuwsgroepen op halen.
• Headers van een geselecteerde nieuwsgroep ophalen.
• ...
• Verbinding afsluiten.

Nu kom ik op het punt dat wanneer ik de headers ophaal van de geselecteerde nieuwsgroep ik op geen enkele manier de segmenten van 1 van zo'n bestand kan achterhalen. Een binaire bestand word net als waarschijnlijk een tekst bestand in segmenten geupload. Ik bedoel hier niet mee r.01 r.02 maar dat r.01 in verschillende stukken is gehakt.

Ik kan hieruit concluderen dat om een binairy bestand samen te stellen ik ook van elk individueel bestand de "head" moet uitlezen?

Dit zijn ruwe headers die ik terug krijg na de command XOVER VANBERICHT - NAARBERICHT
op de betreffende nieuwsgroep uit te voren: (urls etc heb ik veranderd)

code:

63859861    mimisa re-post disneyflood_123 [060/137] - "disneyflood_123.part059.rar" yEnc (03/82)   www.EENWEBSITE.net (blablabla)  02 Jun 2007 18:19:57 GMT    <4661b4c4$1$15232$[e-mail]>      659840  5071    Xref: mijnNewsServer.com alt.binaries.multimedia.disney:63859861
63859862    mimisa re-post disneyflood_123 [096/137] - "disneyflood_123.part095.rar" yEnc (78/82)   www.EENWEBSITE.ntt (blablabla)  02 Jun 2007 22:35:08 GMT    <4661f092$1$15238$[e-mail]>      663985  5102    Xref: mijnNewsServer.com alt.binaries.multimedia.disney:63859862
63859863    mimisa re-post disneyflood_123 [057/137] - "disneyflood_123.part056.rar" yEnc (46/82)   www.EENWEBSITE.net (blablabla)  02 Jun 2007 18:01:04 GMT    <4661b057$0$15229$[e-mail]>      662295  5089    Xref: mijnNewsServer.com alt.binaries.multimedia.disney:63859863
63859864    mimisa re-post disneyflood_123 [056/137] - "disneyflood_123.part055.rar" yEnc (45/82)   wwww.EENWEBSITE.net (blablabla) 02 Jun 2007 18:00:53 GMT    <4661b04c$0$15232$[e-mail]>      662143  5088    Xref: mijnNewsServer.com alt.binaries.multimedia.disney:63859864
63859865    mimisa re-post disneyflood_123 [061/137] - "disneyflood_123.part060.rar" yEnc (73/82)   www.EENWEBSITE.net (blablabla)  02 Jun 2007 18:30:55 GMT    <4661b756$0$15229$[e-mail]>      662677  5092    Xref: mijnNewsServer.com alt.binaries.multimedia.disney:63859865
63859866    mimisa re-post disneyflood_123 [060/137] - "disneyflood_123.part059.rar" yEnc (71/82)   www.EENWEBSITE.net (blablabla)  02 Jun 2007 18:30:34 GMT    <4661b740$1$15232$[e-mail]>      662206  5088    Xref: mijnNewsServer.com alt.binaries.multimedia.disney:63859866

Waar het nu omgaat is. Hoe kom ik aan de benodigde informatie om één binaire bestand tot een geheel te kunnen maken. Want met alleen de headers van de nieuwsgroepen lijk ik er niet te komen, maar zeker van mijn zaak ben ik niet.

Wanneer ik een NZB bestand uitlees dan kom ik allemaal gegevens tegen dat ik niet tegenkom.

[Alex Picard]

Zo even op het oog bekeken, zit niet zo in de nieuwsgroep-wereld:

Zo te zien gaat het om een bestand "disneyflood_123", welke bestaat uit 137 totale posts (tussen []) met welk deel het is, de poster heeft er slechts 82 delen tegelijk gepost (tussen ()), de binaire data is met yEncoding naar tekstdata omgezet, en elke post bevat precies één name.partXX.rar bestandje. Alle name.partXX.rar vormen achter elkaar kennelijk een geheel rar bestand in dit geval.

Als je al wat dingen gedownload hebt stel ik voor om er dus wat mee te gaan prutsen.

Just my two cents.

[Woy]

Het stuk tussend de [ ] is het bestands nummer ( part059.rar, bestand 1 was waarschijnlijk een info of nzb bestand ). Het gedeelte wat erachter staat lijkt echter wel op het segment nummer (03/82)

[4of9]

Volgens mij is het zo dat de [x/137] aangeeft hoeveel post bestanden het zijn. 137 dus. en de (n/82) het segment van 1 bestand.

je moet volgens mij alle headers van bijvoorbeeld 1 bestand. bestand 1.rar vinden. Dit zullen 82 segmenten zijn. (1/82) t/m (82/82) en die op volgorde aan elkaar plakken. (hoewel ik geen verstand heb van yEnc)

[aex351]

Oké ik zal dus aan de hand van de subject moeten achterhalen tot welk segment het toebehoord. Ik had namelijk het idee dat dit anders verwerkt zou zijn.

Hoe kan ik er nu achterkomen hoe groot zo'n bestand is. Er is gegeven linesize en de aantal lines. Zie in bovenstaande headers ook van rechts naar links de twee kolommen met getallen. Ik weet dat ik met deze gegevens het aantal Bits zou kunnen berekenen maar ik weet niet hoe.

[DutchCommando]

Het lijkt me niet dat de subject lijn daarvoor geschikt is. Ik kan immers zonder moeite bestanden van usenet afhalen waarbij de subject lijn enkel bestaat uit de bestandsnaam. Ik ben er bijna zeker van dat er dus een andere manier is om bij elkaar horende segmenten te herkennen. Op welke manier? Geen idee...

[4of9]

Zoek eens naar de specificatie van yEnc en NNTP.

[aex351]

4of9 schreef op zondag 03 juni 2007 @ 18:50:
Zoek eens naar de specificatie van yEnc en NNTP.

Dat zijn allemaal dingen dat ik heb doorgenomen. Antwoord zal waarschijnlijk wel ergens staan vermeld in één van de RFC van NNTP, dat is ook waar ik mijn huidige code op heb gebasseerd. Maar ik kom dus niet verder met betrekking tot mijn vraag. Vandaar ook dat ik mijn vraag op dit forum stel in de hoop dat iemand wel tot een oplossing weet te komen.

[4of9]

ik vermoed zelf namelijk ook dat er ergens in de encoded files (segmenten) staat welk segment van welk bestand ze zijn. (het zou raar zijn dat je daar afhankelijk van de naam bent. Als je dan de volgorde weet kun je ze gewoon aan elkaar plakken met een binairy stream/file writer.

[aex351]

Dus ik zou eerst:

• Overview headers ophalen met XOVER van geselecteerde nieuwsgroep.
• En dan aan de hand van de headers ook nog de individuele headers ophalen om zo achter meer info te komen (hoe dit moet is mij dan een raadsel).

Ik kan er op dit moment geen touw meer aan vast knopen maar het bovenstaande lijkt mij niet de correcte manier.

[ Voor 5% gewijzigd door aex351 op 03-06-2007 21:04 ]

[Ontspannen]

Om een bestand tot een geheel te maken moet je in het lichaam van het artiekel kijken
daar staat de benodigde informatie in. Hoe je die informatie moet interpreteren staat in de
yEnc specificatie.

Dus toch nog maar eens de RFC's en yEnc doornemen.

[Ontspannen]

Ontspannen schreef op maandag 04 juni 2007 @ 03:20:
Om een bestand tot een geheel te maken moet je in het lichaam van het artiekel kijken
daar staat de benodigde informatie in. Hoe je die informatie moet interpreteren staat in de
yEnc specificatie.

Dus toch nog maar eens de RFC's en yEnc doornemen.

Misschien wat kort door de bocht.
Bijvoorbeeld:
Je hebt de headers, met een header haal je het lichaam van een artiekel - RFC spec
Lichaam lezen EN interpreteren - yEnc - uEnc - MIME etc.
Bepalen wat er verder moet gebeuren, ie: opslaan als bestand, tussenvoegen als deel van een
bestand etc.

[Arjen Tempel]

aex351 schreef op zondag 03 juni 2007 @ 19:16:
[...]
Antwoord zal waarschijnlijk wel ergens staan vermeld in één van de RFC van NNTP, dat is ook waar ik mijn huidige code op heb gebasseerd.

De RFC's van NNTP (3977 en 2980) zullen je voor je yEnc specifieke vragen (welke berichten horen bij elkaar, hoe groot zijn de bestanden) niet veel verder helpen. Daarvoor moet je echt in de yEnc specificatie zijn: http://www.yenc.org/develop.htm

Helaas loop je al snel tegen het probleem aan dat de onderwerp regel die je met XOVER ophaalt niet altijd volgens de yEnc regels is opgebouwd:

The (strongly) recommended format for subject lines for multi-part binaries is:
[Comment1] "filename" yEnc (partnum/numparts) [size] [Comment2]

Bij veel posts staat bijv. de filename niet tussen dubbele quotes, of de bestandsgrootte is weggelaten.

Voor nauwkeurige informatie moet je de eerste regels van de body opvragen. Want voor de yEnc body gelden wel strakke regels waar vrijwel alle usenet software zich aan houdt:

=ybegin part=1 total=10 line=128 size=500000 name=mybinary.dat
=ypart begin=1 end=100000
.... data
=yend size=100000 part=1 pcrc32=abcdef12

In de =ybegin regel vind je o.a. de juiste bestandsnaam en bestandsgrootte.