[C#] Trage overdracht snelheid bij TcpClient

[ThaStealth]

Hallo,

Ik ben bezig met een eigen usenet reader te ontwikkelen (nee, geen FTD/Spotnet clone) in .NET. Hiervoor gebruik ik mijn .NET componenten, Voor de communicatie met de newsserver (Xsnews, tot 120mbit) maak ik gebruik van de TcpClient class.

Mijn probleem is dat als ik artikelen download van de nieuwsgroepen de snelheid om te janken is. Ik haal met 1 thread max 150kb/s. (Ik weet zeker dat ik een verbinding heb die enkele mbits aankan).

Ik stuur op dit moment alleen het AUTHINFO bericht, GROUP bericht en ARTICLE berichten. Moet ik nog extra andere berichten sturen?

Ik heb geen flauw idee waar het aan kan liggen dat de verbinding zo traag is

[bstudio]

Heb je al gekeken naar wat andere newsreaders halen per thread? Dan weet je zeker of het niet aan je verbinding ligt

[beany]

Laat eens een stukje code zien, en dan voornamelijk je TCP afhandeling thread code?

[MacWolf]

Je kan proberen of de snelheid hoger wordt door gebruik te maken van de WebClient en HttpListener klassen. Als het goed is houdt de WebClient klasse standaard de verbinding in leven, dus er wordt niet elke keer opnieuw verbonden, wat een hoop tijd kost. Wellicht dat daar het probleem zit. Zie: http://stackoverflow.com/...client-have-much-overhead

[ThaStealth]

beany schreef op woensdag 16 maart 2011 @ 16:58:
Laat eens een stukje code zien, en dan voornamelijk je TCP afhandeling thread code?

Dit is de volledige code die ik gebruik,

De code moet als volgt worden aangeroepen:

- Connect (met je newsserver)
- Authenticate (username en pass) (indien nodig voor je nieuwsserver)
- Switch group zorgt ervoor dat de nieuwsserver weet in welke groep je uithangt, (out parameters meegeven aan GetArticles)
- GetArticles haalt de artikelen daadwerkelijk op en retourneert ze als ID,message.

De reden dat je de outparameters weer aan GetArticles moet meegeven is dat ik van plan ben de articles door meerdere threads te laten downloaden (dus ieder een portie van 100 articles geven).

C#:

 class NNTPSocket : TcpClient
    {

        private ASCIIEncoding en = new ASCIIEncoding();
        private NetworkStream stream;
        private byte[] buff = new byte[100000];
        ~NNTPSocket()
        {
            Disconnect();
        }

        public bool Connect(string server)
        {
            NoDelay = true;
            Connect(server, 119);
            stream = GetStream();
            string response = Response();
            if ((response.Substring(0, 3) == "200") || (response.Substring(0, 3) == "201"))
            {
                return true;
            }
            return false;
        }

        public bool Authenticate(string username, string password)
        {
            Write("AUTHINFO USER " + username + "\r\n");
            string response = Response();
            if (response.Substring(0, 3) != "381")
            {
                return false;
            }
            Write("AUTHINFO PASS " + password + "\r\n");
            response = Response();
            if (response.Substring(0, 3) != "281")
            {
                return false;
            }
            return true;
        }

        public void Disconnect()
        {            
            Write("QUIT\r\n");
        }

        public bool SwitchGroup(string newsgroup, out long start, out long end)
        {
            Write("GROUP " + newsgroup + "\r\n");
            string response = Response();
            if (response.Substring(0, 3) != "211")
            {
                start = 0;
                end = 0;
                return false;
            }
            string[] values = response.Split(' ');
            start = Int32.Parse(values[2]);
            end = Int32.Parse(values[3]);
            return true;
        }

        public Dictionary<long, string> GetArticles(long start, long end)
        {
            Dictionary<long, string> retval = new Dictionary<long, string>();
            for (long i = start; i < end; i++)
            {
                Write("ARTICLE " + Convert.ToString(i) + "\r\n");
                string article = "";
                bool articleOK = false;
                do
                {
                    string response = Response();
                    if (response.StartsWith("220"))
                    {
                        articleOK = true;                        
                    }
                    article += response;
                    if (response.EndsWith(".\r\n") || response.EndsWith(".\n"))
                    {
                        break;
                    }
                }
                while (articleOK);

                if (articleOK)
                {
                    retval.Add(i, article);
                }
            }
            return retval;
        }

        private void Write(string message)
        {
            byte[] writeBuffer = en.GetBytes(message);
            stream.Write(writeBuffer, 0, writeBuffer.Length);
        }

        private string Response()
        {
            string tempStr = "";
            
            while ((tempStr.Length==0) || (tempStr[tempStr.Length - 1] != '\n'))
            {              
                    int bytes = stream.Read(buff, 0, buff.Length);
                    tempStr += en.GetString(buff, 0, bytes);                
            }
            return tempStr;
        }
    }

bstudio schreef op woensdag 16 maart 2011 @ 16:55:
Heb je al gekeken naar wat andere newsreaders halen per thread? Dan weet je zeker of het niet aan je verbinding ligt

Newsleecher haalt 800kb/s / 1mb/s makkelijk, volgens mij is dit een Delphi applicatie.

MacWolf schreef op woensdag 16 maart 2011 @ 17:22:
Je kan proberen of de snelheid hoger wordt door gebruik te maken van de WebClient en HttpListener klassen. Als het goed is houdt de WebClient klasse standaard de verbinding in leven, dus er wordt niet elke keer opnieuw verbonden, wat een hoop tijd kost. Wellicht dat daar het probleem zit. Zie: http://stackoverflow.com/...client-have-much-overhead

Ik houd de verbinding open gedurende de tijd dat ik articles download (en dus dat ik mijn downloadsnelheid meet) Als ik 1000 articles gedownload heb sluit ik af (wat ik ook terugzie in het netwerkverbruik)

[Ventieldopje]

Is je buffer niet wat aan de grote kant? Daar zou je eens mee kunnen spelen.

[ThaStealth]

Volgens mij maakt dit niet veel uit. De tcpbuffer vult het array gewoon totdat zijn eigen buffer leeg is. Op deze manier weet ik dat de hele tcp buffer elke keer gelezen is. Ipv er meeerdere lees acties nodig zijn

[TallManNL]

Wat voor effect heeft een hele korte sleep in je while in je Response. Misschien dat er door minder vaak grotere brokken te lezen een betere performance te halen is.

[Contagion]

Zou gebruik van een StringBuilder ipv 'string +=' performance winst opleveren? Je zou ook bij jetbrains even dotTrance kunnen ophalen. Dat is een profiler voor je applicatie zodat je kan zien waar tijd in gaat zitten. Trekt je applicatie bijv ook (een core naar) 100% CPU?

edit: wat de persoon voor mij schrijft zou logisch kunnen zijn. Misschien dat je nu elke keer maar een paar bytes leest omdat die 'while' de hele tijd draait er er op 100% cpu steeds een paar bytes uit de stream worden gepakt. Als je tussendoor even 'sleept' (niet heel mooi, maar goed) dan heeft de buffer tijd zich meer te vullen en dus pak je er een grotere brok uit.

[ Voor 40% gewijzigd door Contagion op 17-03-2011 14:01 ]

[MacWolf]

Ik vond net deze pagina: http://bartdesmet.net/blo...-Demo-_2B00_-Figures.aspx

Om uiteindelijk de prestaties te verbeteren wordt gebruik gemaakt van een BufferedStream object. Wellicht kan je dat ook proberen.

C#:

TcpClient clnt = new TcpClient("localhost", 1234);
NetworkStream ns = clnt.GetStream();
BufferedStream bs = new BufferedStream(ns);
for (...; ...; ...)
   bs.WriteByte(...);

Als ik je code goed heb gelezen heb je de tragere manier geïmplementeerd door meteen vanuit het NetworkStream object naar een buffer te schrijven. De BufferedStream geeft op de gelinkte pagina een factor 5 versnelling.

Edit: volgens mij is dit feitelijk dezelfde oplossing die de vorige 2 of 3 posters aandragen, alleen op een nette manier. Het BufferedStream object zal waarschijnlijk pas naar een buffer schrijven als het een redelijke hoeveelheid data bevat.

[ Voor 14% gewijzigd door MacWolf op 17-03-2011 14:11 ]