Apache2 reverse proxy grote hoeveelheid requests

[LyP0]

Sinds een tijdje heb ik een machine draaien met daarop een aantal webservers op esxi met als os ubuntu server 13.04
De laatste dagen reageerde de servers traag en was een verbinding erg moeizaam. Na een bezoek aan de logs bleek waarom.De log file's waren binnen een mum van tijd gegroeid naar een formaat van pakweg 3,5Gb De oorzaak is een grote hoeveelheid requests die er alsvolgt uit zien:

[Tue Jun 25 00:28:32 2013] [error] [client 69.162.71.78] File does not exist: /var/www/st, referer: http://insurish.com/how-to-avoid-insurance-fraud.html

Wat ik al gedaan heb om dit op te lossen:

proxyrequest off en geprobeerd om alleen reverse proxy te laten draaien
gegoogle naar o.a. "proxy request rejects", "proxy abuse", "secure proxy", "drop requests","transparant reverse proxy" en nog een aantal andere termen. Het lukt echter niet om de grote hoeveelheid aanvragen te stoppen.
Op dit moment heb ik iig alle verkeer via de normale poorten plat gelegd en zelfs de server uit gezet.

Dit heb ik puur uit noodzaak gedaan omdat ik geen problemen wil veroorzaken bij andere mensen/sites/bedrijven. Ik wil dit probleem echter nog steeds oplossen maar ik zie op dit moment niet meer hoe ik dat zou moeten aanpakken. Ik vraag niet voor een kant en klare oplossing, alleen al een duwtje in de juiste richting zou helpen. Op dit moment weet ik niet meer waar ik het probleem/oplossing moet zoeken.

ps. ik heb het in beveiliging en virussen neer gezet omdat het toch een beveiligingsprobleem is neem ik aan. Anders zou het evt. naar server forum moeten ?

[LnC]

Het lijkt erop dat je valse requests krijgt wat in mijn optiek lijkt op een soort Ddos (Correct me if i'm wrong)
Leuk detail, het ip wat je gaf in je vraag krijg op deze pagina (Ik ken deze pagina niet, dus geen idee of deze betrouwbaar is qua juistheid van informatie) een overzicht wat er achter dit ip draait. Ook staat erbij dat dit ip is geblacklist.
Het ip is uit USA, maar er zit een .cn "site" achter.

Kan je nog verder in je logs kijken of de requests uit soortgelijke hoek komen?

[LyP0]

Ik kan straks proberen om het log van gister ergens online te zetten zodat deze ingekeken kunnen worden.
Er zijn veel verschillende adressen te zien, de 69.x.x.x reeks, de 120.x.x.x reeks en nog een aantal anderen lijken de probleem veroorzakers te zijn.
Ik pas sinds vanochtend een rewrite + redirect toe indien bepaalde mappen opgevraagd worden. Alle requests gaan naar
/st
/tt
/ttj
Indien er een request komt die naar dit verwijst word ie geredirect naar zichzelf. Dit is natuurlijk geen definitieve oplossing want het verhelpt het groot aantal requests niet. Ik zou het liefste deze droppen en uberhaupt geen reactie geven.

Om nou alle ip adressen te gaan blocken lijkt me ook niet de bedoeling, ben echt nog op zoek naar iets wat goed werkt/blijft werken.

[LnC]

Hier nog wat leesvoer met misschien een oplossing er tussen. (Vertaald uit Frans door Google)
En hier en hier zelfde soort probleem zoals jij beschreef.