Apache: "Not Acceptable" in ThunderBird RSS

[Verwijderd]

Ik gebruik al een tijdje de RSS mogelijkheden in ThunderBird om de headlines van tweakers.net en andere sites snel te kunnen doorlopen, en de artikelen binnen TB te lezen.

Nu is het al een tijdje zo dat ik bij t.net resultaten af en toe i.p.v. het artikel, het volgende krijg (met URL verschillend per resultaat, uiteraard):

Not Acceptable

An appropriate representation of the requested resource /nieuws/81955/jailbreak-ios-51-komt-over-paar-weken-uit.html could not be found on this server.
Available variants:

nieuws.dsp , type application/x-httpd-php

Apache Server at tweakers.net Port 80

Na een tijdje opnieuw proberen en dan werkt het prima - verder kan ik er geen patroon aan ontdekken.

Geen idee of ik in TB het één en ander aan kan zetten / loggen ivm http headers die verstuurt worden, mocht dat informatie zijn die zou kunnen helpen.

[Kees]

Ik denk dat het komt doordat TB geen volledige 'Accept: ' headers meegeeft. De enige manier hoe ik dit kan reproduceren is door een karige Accept mee te sturen naar een request die negotiation nodig heeft.

[Verwijderd]

Kees - dan zou TB dus de ene keer wel de juiste headers, en de andere keer niet, versturen?

Blijkbaar hebben ze geen HTTP logger ingebouwd, dus ik zal Wireshark er op los laten en dan wat meer info posten en/of richting de Mozilla bug tracker gaan.

[Kees]

Ik ben ook erg benieuwd wat je met wireshark kan vinden (let wel op je eventuele cookies dat je die niet zomaar ergens neergooit )

[Verwijderd]

koekjes? welke koekjes? (ik denk dat ThunderBird geheel niet aan koekjes doet)

Even kijken hoe ik dit hier netjes neer kan zetten.. laat ik 't met de code tag proberen.

De twee requests volgden op elkaar en waren van de RSS zelf, dus niet een artikel dat ik probeerde te bekijken (daarvan nog niet weer een 'not acceptable' gekregen). Het enige verschil tussen de twee SNDs lijkt de tijd en de source port te zijn.

SND leidend tot 302 Found:

code:

No.     Time        Source                Destination           Protocol Length Info
  73336 7163.571367 x.x.x.x               213.239.154.20        HTTP     354    GET /feeds/mixed.xml HTTP/1.1 

Frame 73336: 354 bytes on wire (2832 bits), 354 bytes captured (2832 bits)
Ethernet II, Src: Intel_xx:xx:xx (xx:xx:xx:xx:xx:xx), Dst: Cisco-Li_xx:xx:xx (xx:xx:xx:xx:xx:xx)
Internet Protocol Version 4, Src: x.x.x.x (x.x.x.x), Dst: 213.239.154.20 (213.239.154.20)
Transmission Control Protocol, Src Port: 4819 (4819), Dst Port: http (80), Seq: 1, Ack: 1, Len: 300
Hypertext Transfer Protocol
    GET /feeds/mixed.xml HTTP/1.1\r\n
    Host: tweakers.net\r\n
    User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:12.0) Gecko/20120428 Thunderbird/12.0.1\r\n
    Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\n
    Accept-Language: en-us,en;q=0.5\r\n
    Accept-Encoding: gzip, deflate\r\n
    Connection: keep-alive\r\n
    \r\n
    [Full request URI: http://tweakers.net/feeds/mixed.xml]

RCV van 302 Found:

code:

No.     Time        Source                Destination           Protocol Length Info
  73339 7163.587153 213.239.154.20        x.x.x.x               HTTP/XML 1277   HTTP/1.1 302 Found 

Frame 73339: 1277 bytes on wire (10216 bits), 1277 bytes captured (10216 bits)
Ethernet II, Src: Cisco-Li_xx:xx:xx (xx:xx:xx:xx:xx:xx), Dst: Intel_xx:xx:xx (xx:xx:xx:xx:xx:xx)
Internet Protocol Version 4, Src: 213.239.154.20 (213.239.154.20), Dst: x.x.x.x (x.x.x.x)
Transmission Control Protocol, Src Port: http (80), Dst Port: 4819 (4819), Seq: 1, Ack: 301, Len: 1223
Hypertext Transfer Protocol
    HTTP/1.1 302 Found\r\n
    Server: Apache\r\n
    X-Tweakers-Server: pontus\r\n
    Location: http://feeds.feedburner.com/tweakers/mixed\r\n
    Content-Encoding: gzip\r\n
    Vary: Accept-Encoding\r\n
    Content-Type: text/xml; charset=ISO-8859-1\r\n
    Content-Length: 848\r\n
    Accept-Ranges: bytes\r\n
    Date: Mon, 14 May 2012 17:14:13 GMT\r\n
    X-Varnish: 1680157600 1680154085\r\n
    Age: 12\r\n
    Via: 1.1 varnish\r\n
    Connection: keep-alive\r\n
    \r\n
    Content-encoded entity body (gzip): 848 bytes -> 1662 bytes
eXtensible Markup Language

SND leidend tot 406 Not Acceptable:

code:

No.     Time        Source                Destination           Protocol Length Info
  75036 7466.616319 x.x.x.x               213.239.154.20        HTTP     354    GET /feeds/mixed.xml HTTP/1.1 

Frame 75036: 354 bytes on wire (2832 bits), 354 bytes captured (2832 bits)
Ethernet II, Src: Intel_xx:xx:xx (xx:xx:xx:xx:xx:xx), Dst: Cisco-Li_xx:xx:xx (xx:xx:xx:xx:xx:xx)
Internet Protocol Version 4, Src: x.x.x.x (x.x.x.x), Dst: 213.239.154.20 (213.239.154.20)
Transmission Control Protocol, Src Port: 4862 (4862), Dst Port: http (80), Seq: 1, Ack: 1, Len: 300
Hypertext Transfer Protocol
    GET /feeds/mixed.xml HTTP/1.1\r\n
    Host: tweakers.net\r\n
    User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:12.0) Gecko/20120428 Thunderbird/12.0.1\r\n
    Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\n
    Accept-Language: en-us,en;q=0.5\r\n
    Accept-Encoding: gzip, deflate\r\n
    Connection: keep-alive\r\n
    \r\n
    [Full request URI: http://tweakers.net/feeds/mixed.xml]

RCV van 406 Not Acceptable:

code:

No.     Time        Source                Destination           Protocol Length Info
  75038 7466.631115 213.239.154.20        x.x.x.x               HTTP     778    HTTP/1.1 406 Not Acceptable  (text/html)

Frame 75038: 778 bytes on wire (6224 bits), 778 bytes captured (6224 bits)
Ethernet II, Src: Cisco-Li_xx:xx:xx (xx:xx:xx:xx:xx:xx), Dst: Intel_xx:xx:xx (xx:xx:xx:xx:xx:xx)
Internet Protocol Version 4, Src: 213.239.154.20 (213.239.154.20), Dst: x.x.x.x (x.x.x.x)
Transmission Control Protocol, Src Port: http (80), Dst Port: 4862 (4862), Seq: 1, Ack: 301, Len: 724
Hypertext Transfer Protocol
    HTTP/1.1 406 Not Acceptable\r\n
    Server: Apache\r\n
    X-Tweakers-Server: pontus\r\n
    Alternates: {"feeds.dsp" 1 {type application/x-httpd-php} {length 7171}}\r\n
    Vary: Accept-Encoding\r\n
    Content-Encoding: gzip\r\n
    Content-Type: text/html; charset=iso-8859-1\r\n
    Content-Length: 319\r\n
    Accept-Ranges: bytes\r\n
    Date: Mon, 14 May 2012 17:19:16 GMT\r\n
    X-Varnish: 1680243443 1680222928\r\n
    Age: 74\r\n
    Via: 1.1 varnish\r\n
    Connection: keep-alive\r\n
    \r\n
    Content-encoded entity body (gzip): 319 bytes -> 433 bytes
Line-based text data: text/html

[Kees]

Handig, want exact dezelfde server (pontus dus) geeft twee verschillende replies terug blijkbaar. En ik kan het, ondanks dat ik alle headers gelijk zet, nog niet reproduceren

[Verwijderd]

nee, het is ook niet echt iets wat elke keer gebeurt... ik zal Wireshark verder vannacht laten lopen.. kijken hoe vaak het gebeurt en of er misschien een ander patroon zichtbaar wordt - als Wireshark blijft lopen, tenminste.

[Kees]

Ik heb het nu een paar keer kunnen reproduceren (eens per 5-15 minuten) dus ik laat ook wat debugging meelopen op mijn ip's. Het probleem is echter dat het op 1 van de 3 lagen blijkbaar fout gaat, en ik kan (nog) niet achterhalen waar precies.

[Kees]

Ik denk het probleem gevonden te hebben; de Varnish cache die er tussen zit lijkt afentoe stom te doen en lijkt een 406 response te cachen die een andere cleint gedaan heeft (vandaar ook de Age: 74 in je response headers).

Dus als iemand een anale Accept header heeft gedaan (bijv "Accept: text/html") dan is die response voor een paar minuten gecached, en krijg jij als reguliere bezoeker ook een 406. Ik ga varnish eens wat beter africhten, dat zal ik vandaag of morgen doen

[Verwijderd]

aha - klinkt plausibel

Heb er iig net (11.35u) nog eentje gekregen, die heeft inderdaad ook zo'n hoge Age, ditmaal van Plutus.

[Kees]

Het zou nu niet meer mogen voorkomen

[Verwijderd]

super - ik houd het en passant in de gaten

[BtM909]

Kees schreef op dinsdag 15 mei 2012 @ 16:05:
Het zou nu niet meer mogen voorkomen

offtopic:

Serieus Kees, het zou echt de bomb zijn als jullie af en toe wat meer over de configuratie of de inrichting kunnen vertellen in de blogs

Altijd interessant om dit soort dingen te lezen

[Verwijderd]

Nog niet weer gezien

En inderdaad, misschien zou dit wel een interessant stukje kunnen zijn voor een blog entry - of anders als onderdeel van zo'n 'onderhoud' post