[vb.net] data ophalen van website d.m.v. post (viewstate?)

[Atmoz]

Beste allemaal,

Graag zou ik via een VB.NET tooltje wat data van een bepaalde website afhalen.
Ik maar daarbij gebruik van een HttpWebRequest met als Method een POST.

Om e.e.a. beter de kunnen debuggen heb ik Live HTTP Headers (Plug in voor Firefox) gebruikt om te achterhalen wat ik als POST-data moet sturen. Ik krijg daar een "Content-Length" uit van 190. Daarna dus een hele string met allemaal (gecodeerde) data. (ook gewone tekst zoals "EVENTARGET, VIEWSTATE" etc...)

Als ik die data mee stuur in mijn aanvraag via het VB.NET tooltje, dan krijg ik netjes de data terug die ik graag wil hebben. So far so good, mijn tooltje werkt

Maar: zodra ik het tooltje een week later aanroep -met dus nog steeds diezelfde (vast in code geplaatste) String- dan krijg ik ineens een pagina terug met een foutmelding erop, en dus niet de data die ik graag zou willen hebben. Het lijkt erop dat die data die ik in mijn POST mee stuur "tijdsafhankelijk" is ofzo

Vraag: hoe kan ik die POST-data "faken" of van te voren "capturen" zodat ik wél gewoon de data terugkrijg die ik graag wil hebben?

[DoDo]

De target website waar jij je data vandaan haalt gebruikt ASP.NET webforms, en ook de bijbehorde viewstate. Deze viewstate wordt op het moment van posten gevalideerd, en bevat blijkbaar een waarde welke afwijkt. (zie MSDN: Understanding ASP.NET View State voor meer informatie)

Wat je kunt proberen is altijd vooraf een GET doen, deze gegevens posten en hierbij alleen de waardes aanpassen die jij nodig hebt.

[Atmoz]

DoDo schreef op dinsdag 12 juli 2016 @ 15:29:
De target website waar jij je data vandaan haalt gebruikt ASP.NET webforms, en ook de bijbehorde viewstate. Deze viewstate wordt op het moment van posten gevalideerd, en bevat blijkbaar een waarde welke afwijkt. (zie MSDN: Understanding ASP.NET View State voor meer informatie)

Wat je kunt proberen is altijd vooraf een GET doen, deze gegevens posten en hierbij alleen de waardes aanpassen die jij nodig hebt.

Thanks voor je snelle reactie.
Wat bedoel je precies met "en hierbij alleen de waardes aanpassen die jij nodig hebt." ?
Moet ik de gegevens in de string aanpassen die ik vervolgens als mijn POST data gebruik?
Mag ik daar iets in aanpassen dan? Ik heb gewoon eens wat random data erin gezet, om te kijken of het dan werkte, maar dat was helaas niet het geval... (ik dacht misschien checken ze om de zoveel tijd of ze niet steeds aanvragen met dezelfde POST data krijgen ofzo?!)

Wat zou ik met die GET vooraf dan moeten doen? Daar ook alvast wat data uithalen ofzo? (en zoja: welke data dan?)

[DoDo]

Ik weet niet uit welke pagina jij het haalt, dus het is een beetje koffiedik kijken maar ik denk dat je de variabele "__VIEWSTATE" moet halen uit de GET, en deze vervolgens weer moet gebruiken met de POST.

[whoami]

Ik vind het zowiezo vreemd dat je een POST doet als je eigenlijk data wil afhalen ?
Wat stuur je mee met die post ?

[Atmoz]

DoDo schreef op dinsdag 12 juli 2016 @ 15:38:
Ik weet niet uit welke pagina jij het haalt, dus het is een beetje koffiedik kijken maar ik denk dat je de variabele "__VIEWSTATE" moet halen uit de GET, en deze vervolgens weer moet gebruiken met de POST.

Hoppa, dat werkt! (handmatig)
Alleen nog ff iets maken om die string achter:

code:

<input type="hidden" name="__VIEWSTATE" id="__VIEWSTATE" value="/

te pakken te krijgen

Maareh: thanks dus
Ik ga er vanuit dat dit straks of morgen ook nog gewoon werkt. Even nog wat verder onderzoeken

whoami schreef op dinsdag 12 juli 2016 @ 15:41:
Ik vind het zowiezo vreemd dat je een POST doet als je eigenlijk data wil afhalen ?
Wat stuur je mee met die post ?

Ik stuur mee wat ik ook zie dat meegestuurd wordt als ik in HTTP Live Headers kijk.
Dus ik doe in feite gewoon die "originele" aanvraag na. Toevallig is dat in dit geval een POST

[ Voor 6% gewijzigd door Atmoz op 12-07-2016 15:53 ]

[whoami]

atmoz schreef op dinsdag 12 juli 2016 @ 15:52:
[...]

Ik stuur mee wat ik ook zie dat meegestuurd wordt als ik in HTTP Live Headers kijk.
Dus ik doe in feite gewoon die "originele" aanvraag na. Toevallig is dat in dit geval een POST

eigenlijk niet, want je doet geen GET eerst. (Maar nu dus wel zie ik).

[Damic]

Je weet dat je apart je parameters kunt meesturen

Bekijk eens http://cd-pc.mazda-club.be/?page=telemeter#download de source code en dan http_request() in frmSettings

[ Voor 53% gewijzigd door Damic op 12-07-2016 17:51 ]

[Atmoz]

Chips, nu lukt het weer ineens niet meer...

Lijkt wel of er een soort "beveiligings mechanisme" achter zit.

Als ik gewoon naar de website ga kom ik er wel op (zonder inloggen of wat dan ook, want het is gewoon openbare info).

Zodra ik het via m'n code doe krijg ik "Uw sessie is verlopen. U wordt nu automatisch omgeleid naar de beginpagina."

Moet ik nog iets doen met cookies ofzo? Als ik 't via Live HTTP Headers probeer (en dan ook gewoon de data krijg te zien), dan zie ik op een gegevens moment:

Cookie: GenericSessionID=cyeqio22c3tryl23vp14tbko; WT_FPC=id=111.35.54.100-2203861568.30532042:lv=1468935207895:ss=1468935207895; ASP.NET_SessionId=lrx5c255dwr2ugjc66kwxg0b

Zou ik die nog ergens moeten meegeven in mijn VB.NET code?

[Damic]

Euhm jah je moet de cookies opslaan en daarmee de hele sessie mee doen.

Cookie handler zit ook in mijn programma
boven aan bij je define's
[code=vb]
'-webrequest data
Private tempCookies As New CookieContainer
Private encoding As New UTF8Encoding
[/vb]
dit zet je ergens bij

Visual Basic:

Private Sub ClearCookies()
        tempCookies = Nothing
        tempCookies = New CookieContainer

    End Sub

in je http request (Dim ... As HttpWebRequest = DirectCast(WebRequest.Create(Uri), HttpWebRequest) ) zet je ergens bij ... .CookieContainer = tempCookies

wat verder doe je een response en dan doe je een select case (in mijn geval dan)

Visual Basic:

Using postresponse As HttpWebResponse = DirectCast(postReq.GetResponse(), HttpWebResponse)
                    Select Case postresponse.StatusCode
                        Case HttpStatusCode.OK, HttpStatusCode.Redirect
                                                         tempCookies.Add(postresponse.Cookies)
                        Case Else
                            msgbox("HTTP_ERROR_CODE::" & postresponse.StatusCode & "::" & postresponse.StatusDescription)
                    End Select
                End Using
                           

[ Voor 108% gewijzigd door Damic op 19-07-2016 17:23 ]

[Atmoz]

Hmzz, ik kom er toch niet helemaal uit...

Ik doe eerst een HttpWebRequest om die "Viewstate" eruit te parsen:

code:

    Public Function LoadSiteContents(ByVal url As String) As String
        Try

            Dim webRequest As Net.HttpWebRequest = CType(Net.WebRequest.Create(url), Net.HttpWebRequest)
            webRequest.Timeout = 25000
            Dim webResponse As Net.HttpWebResponse = CType(webRequest.GetResponse(), Net.HttpWebResponse)
            Dim ReceiveStream As Stream = webResponse.GetResponseStream()
            Dim encode As System.Text.Encoding = System.Text.Encoding.GetEncoding("utf-8")
            Dim readStream As New StreamReader(ReceiveStream, encode)
            Dim responseFromServer As String = readStream.ReadToEnd.ToString

            logincookie.Add(webResponse.Cookies)

            readStream.Close() : webResponse.Close()

            webRequest = Nothing
            webResponse = Nothing
            readStream.Dispose()

            Return responseFromServer

        Catch ex As Exception
            Loggen("Fout bij LoadSiteContents(" & url & "). Melding: " & ex.Message)
            Return String.Empty
        End Try
    End Function

Daar heb ik nu ook "logincookie.Add(webResponse.Cookies)" bij gezet.

Vervolgens doe ik verderop:

code:

            Dim postData As String = "__EVENTTARGET=ctl00%24ContentPlaceHolder1%24" & Datum & "000000&__EVENTARGUMENT=&__VIEWSTATE=%2F" & ViewState & "%3D&__VIEWSTATEGENERATOR=9C00E890"
            Dim tempCookies As New CookieContainer
            Dim endoding As New UTF8Encoding
            Dim byteData As Byte() = endoding.GetBytes(postData)
            Dim postReq As HttpWebRequest = DirectCast(WebRequest.Create("http://test.com.nl/d.aspx"), HttpWebRequest)

            postReq.Method = "POST"
            postReq.KeepAlive = True
            postReq.CookieContainer = logincookie 'tempCookies
            postReq.ContentType = "application/x-www-form-urlencoded; charset=UTF-8"
            postReq.Referer = "http://test.com/d.aspx"
            postReq.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"
            postReq.ContentLength = byteData.Length
            postReq.Accept = "*/*"
            postReq.Host = "test.d.nl"

            Dim postreqstream As Stream = postReq.GetRequestStream()
            postreqstream.Write(byteData, 0, byteData.Length)
            postreqstream.Close()

            Using postresponse As HttpWebResponse = DirectCast(postReq.GetResponse(), HttpWebResponse)
                Select Case postresponse.StatusCode
                    Case HttpStatusCode.OK, HttpStatusCode.Redirect
                        tempCookies.Add(postresponse.Cookies)
                    Case Else
                        MsgBox("HTTP_ERROR_CODE::" & postresponse.StatusCode & "::" & postresponse.StatusDescription)
                End Select

                Dim postrequestreader As New StreamReader(postresponse.GetResponseStream())
                Dim thePage As String = postrequestreader.ReadToEnd

                ...etc....

       End Using

Maar nog steeds krijg ik de pagina "uw sessie is verlopen".

Ik doe vast nog vanalles verkeerd, maar wat?