Comodo WAF / CSF

[Verwijderd]

Ik heb een server er vandaag 2x geheel uit zien vliegen, na een flinke piek in uitgaande verkeer. Gezien het een VPS bij Transip is welk gemanaged is bij een derde partij, heeft Transip automatisch de server op cooldown gezet (dus tijdelijk zonder enige connectiviteit) om enige schade te beperken. Nadat we deze weer online kregen begon het gezeik weer. De hele server schiet explosief qua verkeer omhoog en komt automatisch in cooldown. Dit gebeurd wanneer DA start.



We hebben iedere user (Directadmin) nagelopen, op suspended gezet, en uiteindelijk gestuit op de combinatie van Comodo WAF en CSF. In de CSF stond zo'n 33k aan IP bans opgeslagen, toen we deze geflushed hadden, terug naar nul dus, leek het hele probleem ineens te zijn verholpen.

Ik heb eerlijk gezegd nog nooit een probleem gehad met een CSF dat meer dan 50k aan IP bans heeft staan. De server draait ook niet onder qua specs. Mischien dat er op dat moment een aanval plaatsvind, en dat CSF overspoeld wordt met IP adressen via Comodo WAF. We hebben geen idee.

Maar mischien dat er hier ook andere users rondhangen die ook gebruik maken van bovenstaande combinatie of CSF met meer dan 30k aan entries gebruiken. Het is een heel raar probleem. Als het gebeurd is de server van buitenaf niet meer bereikbaar. Er vindt dan ineens een spike plaats in uitgaande traffic op waarop de server in een cooldown komt te zitten.

Het is dus voor de 2de keer gebeurd vandaag zonder enige notificatie. De service van Transip was eigenlijk om niet over weg te schrijven. We zaten met een acuut probleem waar een level 1 medewerker ons doorverwijst naar de kennisbank ...

Server host zo'n 200+ websites; load is gemiddeld 1%.

[DiedX]

Tcpdump? Wat voor verkeer naar buiten?

[Freeaqingme]

Verwijderd schreef op maandag 27 januari 2020 @ 03:36:
Het is dus voor de 2de keer gebeurd vandaag zonder enige notificatie. De service van Transip was eigenlijk om niet over weg te schrijven. We zaten met een acuut probleem waar een level 1 medewerker ons doorverwijst naar de kennisbank ...

Je schrijft dat de server gemanaged wordt door een 3e partij. Is dat dan niet de plek waar je aan zou moeten kloppen? Overigens is TransIP natuurlijk een bedrijf van de standaardproducten. Helaas kan je daar dan ook niet heel veel inhoudelijke support bij verwachten, hoewel ik enige frustratie zeker snap als je dat dan een keertje wel nodig hebt.

Verder laat je een grafiek zien. Gaat dat om traffic of CPU verbruik?

Er van uitgaande dat het traffic is zou je inderdaad kunnen tcpdump'en. Waarschijnlijk ga je daar dan gewoon heel veel traffic zien naar willekeurig derde partijen. Als dat - bijvoorbeeld - allemaal UDP verkeer is dan zou je dat nog kunnen firewallen als stop-gap oplossing. Verder is mijn ervaring dat dit soort verkeer bijna altijd gecorreleerd kan worden aan inkomende requests. Als het een gehackte website betreft, dan heeft die website zeer waarschijnlijk heel veel POST-requests precies in het window waarin de traffic ontstond.

Als de server zelf gehacked is ben je met een beetje pech toe aan een reinstall.

[mcDavid]

Eh, ja lijkt me ook dat je bij de partij moet zijn die de server managed. Transip is slechts de hosting provider, die kunnen niet zien wat er op die server gebeurt en je daar dus logischerwijs ook niet bij helpen.

Als je 200+ websites host, lijkt de kans me groot dan één of meerdere van die sites aangevallen worden of zelf aanvallen uitvoert (al dan niet omdat die gehacked is). Zaak is dus om je access logs door te spitten naar verdacht verkeer en bijbehorende klant te blokkeren en/of zijn probleem te fixen (afhankelijk van hoeveel support je zelf biedt)

[Verwijderd]

We komen er niet helemaal uit wat er nu precies verkeerd gaat. Gisteren een gigantische vertraging op de server. Zelfs het openen van Apache status pagina ging niet sneller dan minimaal 5 tot 10 seconden. Toen we de firewall uitzette (CSF) werkte alles weer perfect. Ik kijk naar het aantal CSF bans > amper 3k bans. We schakelen de firewall weer in en flushen de bans, alles werkt weer 'perfect'. Voorheen konden we makkelijk 30k IP bans hebben zonder enige issues. Ik heb ook andere servers die wel 50k CSF bans dragen. Dit ding kan er niet meer dan 3k ineens en loopt al te bokken.

De tijdelijke workaround is natuurlijk 1k limiet instellen, de oudste ban wordt dan geflushed met een nieuw IP adres, maar gezien het aantal wordpress bruteforces iedere dag is dit geen houden aan zo. Load was ook niet bijzonder, onder de 2% ofzo. Dus er gaat iets gigantisch mis en we komen er niet uit.

[Brahiewahiewa]

Verwijderd schreef op vrijdag 21 februari 2020 @ 02:42:
... en we komen er niet uit.

Zolang je alleen maar aan symptoom bestrijding blijft doen, gaat dat ook zo blijven