[C#.NET] HTTP GET met Range..?

[NickThissen]

Hey,

Ik wil een text file van een webserver downloaden met HTTP GET, waarvoor ik momenteel deze code gebruik:

C#:

        public static string DownloadLog(string url)
        {
            var client = CreateWebClient();
            
            var stream = client.OpenRead(url);
            if (stream == null) return string.Empty;

            using (var webReader = new StreamReader(stream))
            {
                string data = string.Empty; 

                // lees data uit en decompress met GZipStream... code weg gelaten

                return data;
            }
        }

        private static WebClient CreateWebClient()
        {
            System.Net.WebClient client;
            client = new System.Net.WebClient();
            client.Headers["User-Agent"] = "Naam van m'n programma"; 
            client.Headers["Accept-Encoding"] = "gzip";
            return client;
        }

Dit werkt prima, het probleem is alleen dat dit bestand 2MB is en elke 5 seconden (ongeveer dan) gedownload gaat worden. Dat tikt toch flink aan kwa bandwidth lijkt me. Nou ja, als het goed is wordt er wel gzip gebruikt dus het zal geen 2MB zijn, maar dan nog.

Feit is dat ik nooit meer dan een bepaald aantal bytes van de file nodig heb, zeg de laatste 5000 bytes ofzo (dit is even een gok, maar het precieze aantal zal ik moeten uitzoeken). Volgens de host van de file zou de Range header van HTTP GET ondersteund zijn, waarmee ik een bepaalde range zou kunnen opvragen, dus zou ik alleen de laatste 5000 bytes kunnen opvragen.

Ik heb zitten zoeken hoe ik dit nu precies doe maar ik kan het nergens vinden. Ik begrijp dat ik de Range header moet opgeven, maar ik snap niet in welk formaat ik dit moet doen.
Ik heb de volgende headers geprobeerd toe te voegen (in de CreateWebClient methode):

C#:

client.Headers["Accept-Ranges"] = "-5000";
client.Headers["Accept-Ranges"] = "bytes: -5000";
client.Headers["Accept-Ranges"] = "bytes -500";
client.Headers["Range"] = "-5000";
client.Headers["Range"] = "bytes: -5000";
client.Headers["Range"] = "bytes -5000";
client.Headers["Range"] = "bytes=-5000";
client.Headers.Add("Range:bytes=-5000");

(natuurlijk niet allemaal tegelijk, een voor een)
en vast nog wel meer... Ik kan nergens een voorbeeld vinden dat de range header gebruikt in C# dus ik ben gewoon maar wat gaan proberen. Ook de MSDN pagina voor WebClient lijkt nergens iets over ranges te zeggen.

Anyway, welke ik ook probeer, ik krijg gewoon elke keer de volledige file terug. Sommige regels leiden tot een error:

code:

This header must be modified using the appropriate property.
Parameter name: name

en sommige lijken gewoon niet te werken waarna ik gewoon weer de hele file terug krijg.

Voor zover ik kon vinden klopt de "-5000" wel, als het goed is is het format "start-eind", en door het weglaten van de start byte worden de laatste 5000 bytes opgehaald. Tenminste, dat heb ik hieruit kunnen opmaken.


Doe ik hier nu iets compleet fout? Ik weet vrijwel niets van HTTP GET, wat ik nu heb heb ik vooral uit voorbeeldjes in elkaar gepuzzeld dus ik kan me best voorstellen dat ik iets fundamenteels niet begrijp... Het zou mogelijk moeten zijn om de range header te gebruiken volgens de host, dus hoe kan ik dat implementeren in mijn code?

Bedankt!

[Voor 9% gewijzigd door NickThissen op 28-06-2011 18:43]

[Snow_King]

Als het gzip'ed content is gaat het niet werken om alleen de laatste 5000 bytes op te vragen, dat gaat problemen opleveren.

Als client moet je inderdaad de "Range" header sturen, dat doe je dus al goed:

code:

Range: bytes=-5000

Weet je zeker dat de webserver terug stuurt: Accept-Ranges: bytes

Dan pas weet je zeker dat de server het ondersteund.

[NickThissen]

Ik heb de gzip header weg gehaald en deze header erbij gedaan:

C#:

client.Headers["Range"]  = "bytes=-5000";

Nu geeft hij weer deze error:

code:

This header must be modified using the appropriate property.
Parameter name: name

Als ik de Range header ook weg laat (zodat ik kan zien welke response headers er zijn) dan zit Accept-Ranges er inderdaad niet bij... Ondersteunt de host dan toch geen range header, ook al staat dit meerdere keren aangegeven op hun forum..? Of krijg je die header alleen terug als je ook zelf de range header stuurt?

[Snow_King]

Welke host is het? Amazon S3 toevallig? Zij sturen geen Accept-Ranges: bytes, maar zouden het inderdaad wel moeten ondersteunen.

Je kan overigens wel om gzip'ed content vragen zodat de webserver het voor je doet, maar het originele bestand mag NIET compressed zijn.

[NickThissen]

Het gaat om de log files van een Call of Duty Black Ops server, de host is dus gameservers.com, maar ik neem aan dat je daar niet zoveel aan hebt... Gzip lijkt wel te werken, als ik de StreamReader gewoon uitlees (ReadToEnd) en de lengte van die string toon dan is het iets van 70.000 karakters lang als ik de gzip header weg laat, en enkel iets van 3.000 karakters als ik de gzip header wel gebruik. Als ik de content dan unzip komt er wel hetzelfde resultaat uit dus het lijkt me dat dat prima werkt. Trouwens wel een behoorlijk verschil, 70.000 en 3.000, misschien is de range wel helemaal niet nodig, vooral niet als ik moet kiezen tussen range of gzip...?

[Woy]

Als je even goed in de documentatie had gelezen kun je de "Range" header niet zetten bij de WebClient class

Zie in onderstaande link de Remarks
MSDN: WebClient.Headers Property (System.Net)

[NickThissen]

Woy schreef op dinsdag 28 juni 2011 @ 19:35:
Als je even goed in de documentatie had gelezen kun je de "Range" header niet zetten bij de WebClient class

Zie in onderstaande link de Remarks
MSDN: WebClient.Headers Property (System.Net)

Ahhh... dat had ik dus gemist. Bedankt! Ik gebruik de HttpWebRequest class nu om de get uit te voeren en het lijkt te werken, ik kan nu instellen hoeveel van de laatste bytes ik wil krijgen. Gzip kreeg ik nu echter niet aan het werken, maar voor zover ik uit bovenstaande posts begrijp is dat toch niet mogelijk in combinatie met de range header?

[Snow_King]

Nee, als het bestand op het filesystem al compressed is gaat het niet. Als jij dmv van de Accept-Encoding header om GZIP of DEFLATE vraagt, dan kan dat zonder problemen.

[NickThissen]

Snow_King schreef op dinsdag 28 juni 2011 @ 20:55:
Nee, als het bestand op het filesystem al compressed is gaat het niet. Als jij dmv van de Accept-Encoding header om GZIP of DEFLATE vraagt, dan kan dat zonder problemen.

Voor zover ik begrijp is het bestand niet compressed op de server zelf (hoe kom ik daar achter?), als ik namelijk niets van gzip implementeer dan krijg ik gewoon de tekst terug die ik verwacht. Als ik gzip gebruik en daarna mbv de GzipStream het weer unzip krijg ik diezelfde tekst terug, maar omdat ik nu niet meer de WebClient gebruik kan ik zo snel even niet vinden hoe ik de HttpWebRequest weer gzip laat gebruiken. Ach, het is ook niet nodig denk ik, als ik de range kan instellen is dat goed genoeg

Hmm bij nader inzien... Stel dat ik 10.000 bytes ophaal elke 5 seconden. Dat is dus (24*60*60/5) * 10.000 bytes per dag, oftewel zo'n 60 GB per jaar... Dat is toch wel wat veel denk ik. Maar even kijken hoeveel bytes ik precies nodig heb.

[Voor 13% gewijzigd door NickThissen op 28-06-2011 21:07]