[C#] Kan geen HttpWebRequest doen naar HTTPS

[_Thanatos_]

Dit probleem ontstaat letterlijk opeens. Ik doe dit al tijden en het gaat ALTIJD goed. Nu opeens krijg ik errors om m'n oren. Ik heb een progsel dat inmiddels al redelijk af is. En ik wil niet naïef doen, maar mijn huidige code gaan plakken heeft niet veel zin. Het is niets bijzonders: gewoon een HttpWebRequest aanmaken om een blobje html te downloaden en verder niets speciaals.

De applicatie in kwestie is trouwens een console applicatie - ook dat maakt niet uit, behalve dat je me dus niet kunt verwijzen naar een oplossing in de web.config, want die is er niet

Het probleem is als volgt. Ik doe HTTPS requests met een doodnormale HttpWebRequest, wat dus altijd goed gaat - tot aan ongeveer nu. Dit is de error die eruit komt rollen bij GetResponse() na een seconde of 30.

Een System.Net.WebException met deze message:
The underlying connection was closed: An unexpected error occurred on a receive.

En soms met deze message:
The underlying connection was closed: An unexpected error occurred on a send.

Google dan maar. Er komen een paar dingen uit:
1) WebRequest.KeepAlive uitzetten. Dat helpt dus niet.
2) In de app.config useUnsafeHeaderParsing aanzetten. Helpt ook niet.
3) ServicePointManager.MaxServicePointIdleTime op iets laags zetten voordat de WebRequest gemaakt wordt. Helpt ook al niet.
4) Nog wat typical MS gecrap zoals m'n netwerk dat niet goed werkt, of dat ik dingen op de server moet gaan fixen: niet relevant.

Fiddler schiet ik ook niets mee op. Die laat alleen zien dat er een tunnel gemaakt wordt, maar (en ik weet niet of dit normaal is bij HTTPS) geen response. Zegt niet dat er geen response is, alleen dat Fiddler daar niets van laat zien.

Ohja, de url is uiteraard gewoon toegankelijk. Firefox en IE kunnen em zonder warnings of wat ook opvragen. De url in kwestie kan ik helaas niet delen, maar dat is ook niet relevant. Het is gewoon een run-of-the-mill HTTPS siteje. Echt niets bijzonders aan.

[ Voor 4% gewijzigd door _Thanatos_ op 17-06-2014 23:18 ]

[RobIII]

_Thanatos_ schreef op dinsdag 17 juni 2014 @ 23:18:

Ohja, de url is uiteraard gewoon toegankelijk. Firefox en IE kunnen em zonder warnings of wat ook opvragen.

Ook vanaf het zelfde IP/useragent? Ben je niet gewoon geblocked/ratelimited/nullrouted ofzo?

Verder: om (revoked/expired etc.) certificaat problemen (tijdelijk!) te negeren / uit te sluiten kun je (tijdelijk!) iets als dit doen: http://stackoverflow.com/a/18454416

[ Voor 40% gewijzigd door RobIII op 17-06-2014 23:42 ]

[CodeCaster]

Zet in Fiddler HTTPS decryption aan om te kijken of je íets ontvangt. Het lijkt me ook niet onwaarschijnlijk dat de site doorheeft dat je loopt te scrapen, bijvoorbeeld op basis van je user agent, ontbrekende cookies of ander verdacht request-gedrag, en je request doodleuk weigert.

Zonder meer concrete input van jouw kant blijft dit echter glazenbolkijken.

[ Voor 9% gewijzigd door CodeCaster op 17-06-2014 23:49 ]

[_Thanatos_]

Ook vanaf het zelfde IP/useragent? Ben je niet gewoon geblocked/ratelimited/nullrouted ofzo?

Yup. Onwaarschijnlijk.

Verder: om (revoked/expired etc.) certificaat problemen (tijdelijk!) te negeren / uit te sluiten kun je (tijdelijk!) iets als dit doen: http://stackoverflow.com/a/18454416

Dat stadium ben ik *allang* gepasseerd. Even zoeken hoor...
Gevonden. Had ik al een keer gevraagd dus. Zelfde applicatie trouwens, dus zie daar voor code waar je wrs niets aan hebt omdat het inderdaad te generiek is om iets over te zeggen...

Het lijkt me ook niet onwaarschijnlijk dat de site doorheeft dat je loopt te scrapen, bijvoorbeeld op basis van je user agent, ontbrekende cookies of ander verdacht request-gedrag, en je request doodleuk weigert.

Ik heb al een UA-string van een normale browser ingesteld. Ik heb een mechanisme om cookies op te pikken en terug te geven (maar daarvoor moet het allereerste request wel lukken!) en ik zou niet weten wat er verder verdacht aan zou kunnen zijn. Het is letterlijk het allereerste request zoals elke browser dat zou doen.

[RobIII]

_Thanatos_ schreef op woensdag 18 juni 2014 @ 01:31:
Dat stadium ben ik *allang* gepasseerd. Even zoeken hoor...
Gevonden. Had ik al een keer gevraagd dus. Zelfde applicatie trouwens, dus zie daar voor code waar je wrs niets aan hebt omdat het inderdaad te generiek is om iets over te zeggen...

Nou, excuse me dat ik niet even in je historie ben gaan graven voordat ik je probeerde te helpen

_Thanatos_ schreef op woensdag 18 juni 2014 @ 01:31:
en ik zou niet weten wat er verder verdacht aan zou kunnen zijn

Misschien dat er andere HTTP-requestheaders zijn die je verraden? Je zult hoe dan ook moeten gaan debuggen; het request dumpen zoals dat gedaan wordt en dat naast een request leggen dat wél werkt (vanaf je browser bijvoorbeeld zoals je aangeeft; uiteraard vanaf diezelfde host!). Dan is 't een kwestie van "zoek de verschillen". Rag een request van je/een browser door Fiddler en een request van je app (met voorgenoemde optie) en veel plezier!

[ Voor 8% gewijzigd door RobIII op 18-06-2014 02:28 ]

[Acid_Burn]

Werkt het op een andere site met https wel, of krijg je daar dezelfde fout. Als het bij een andere site wel werkt, dan loopt jouw target site je actief te blocken (of iets dergelijks). Lukt een andere https site niet, dan zit er iets in je eigen code.