HTTPS redirect probleem voor (spam/forum) bots

Pagina: 1
Acties:

Vraag


  • DJMaze
  • Registratie: Juni 2002
  • Niet online
Ik ben bezig in de beta fase van ons Dragonfly CMS v10.
Hierin zit een anti-flood protectie om bots die niet luisteren te blokkeren voor een bepaalde tijd.

De login/register pagina's zitten achter HTTPS, en nu is het mij opgevallen dat vooral spam bots hier de fout in gaan.
Ze krijgen netjes een Location header met "https://" maar proberen dan vrolijk "http://" waardoor ze in een oneindige loop komen te zitten.
Dankzij de anti-flooding worden ze na 5 snelle requests gebanned.
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
[
    {
        "S_TIME":1456723999,
        "S_UA":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0",
        "S_URI":"/login/redirect_uri=L1Byb2plY3RzL2J1Z3MvaWQ9NDk5L2VkaXQ9My5odG1s.html",
        "S_REFERER":"http://dragonflycms.org/login/redirect_uri=L1Byb2plY3RzL2J1Z3MvaWQ9NDk5L2VkaXQ9My5odG1s.html",
    },
    {
        "S_TIME":1456723999,
        "S_UA":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0",
        "S_URI":"/Your_Account/register.html?agreed=true",
        "S_REFERER":"http://dragonflycms.org/Your_Account/register.html?agreed=true",
    },
    {
        "S_TIME":1456724000,
        "S_UA":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0",
        "S_URI":"/login/redirect_uri=L1lvdXJfQWNjb3VudC9yZWdpc3Rlci5odG1sP2FncmVlZD10cnVl.html",
        "S_REFERER":"http://dragonflycms.org/login/redirect_uri=L1lvdXJfQWNjb3VudC9yZWdpc3Rlci5odG1sP2FncmVlZD10cnVl.html",
    },
    {
        "S_TIME":1456724000,
        "S_UA":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0",
        "S_URI":"/login/redirect_uri=L1Byb2plY3RzL2J1Z3MvaWQ9NDk5L2VkaXQ9My5odG1s.html",
        "S_REFERER":"http://dragonflycms.org/login/redirect_uri=L1Byb2plY3RzL2J1Z3MvaWQ9NDk5L2VkaXQ9My5odG1s.html",
    }
]


Nu vraag ik mij daarom het volgende af:

zijn er ook valide agents/browsers die problemen hebben met https?

Zo ja, dan zou dit een grote impact hebben op de anti-flooding
Dan zal ik de redirects moeten bijhouden en tellen als er iets mis gaat.

Zo niet, dan is HTTPS blijkbaar een mooie optie om voorlopig wat bad boys buiten de deur te houden :)

Maak je niet druk, dat doet de compressor maar