(W2K3) GFI Mailessentials report veel spam

[Verwijderd]

We hebben GFI Mailessentials versie 14.0 draaien op onze gateway (DMZ). De gateway stuurt de mail door naar de Front exchange server welke de mail weer doorstuurt naar de 5 backend mailservers (alle exchange 2003).
Alles zit in 1 W2003 domein. Spam word dus op de gateway afgevangen door GFI. Exchange filters staan uit omdat dit in het verleden onduidelijkheid gaf over wie nu wat afvangt.
Organisatie met +/- 400 XP gebruikers.
De spam die bij de users binnenkomt is minimaal door de GFI filter. Sommige mensen krijgen weer wel meer spam zoals de laatste tijd veel duitse spam van GMail accounts maar dit is maar bij sommige.

Sinds kort is er de mogelijkheid om reports te krijgen van de nieuwe module binnen Mailessentials de GFI MailEssentials Spam Digest. We zijn op de hoogte van de grote mailstroom die binnen komt en dat daarvan ruim 93% spam is.

Onderstaand het laatste rapport:
GFI MailEssentials - SPAM Digest Report

Email:

Start Date: 6/7/2009
End Date: 6/8/2009

Counts
Total email processed: 47784
Total spam count: 44793 (93.74%)

Distribution
Blacklist: 24
Header Checking: 4
Keyword Checking: 0
Bayesian Analysis: 193
DNS Blacklist: 5138
SPF: 251
Directory Harvesting: 38545
Spam URL Blacklist: 7
Phishing URL Blacklist: 0
New Senders: 0
SpamRazer: 631
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

Zoals je ziet krijgen we absurd veel spam binnen (bijna 45000 mails per dag). Een deel zal nog af te vangen zijn door onze opzet van de mailservers en mailessentials te veranderen of door de filters nog verder te ontwikkelen maar ik vraag me echt af of er niet ergens aan de voorkant iets fout gaat.

Word ons domein gespammed ? Hoe kan ik daar achter komen
Wat kan ik ondernemen om de voordeur zoveel mogelijk te ontzien ?

Ik ben geen exchange goerroe maar weet wel wat van GFI af.

Misschien dat iemand al direct ziet waar de oorzaak zit en in welke hoek we de oplossing moeten zoeken.
We willen het liefst de spamfiltering in eigen beheer houden.

[Qwerty-273]

Het grootste deel van je spam is Directory Harvesting met 38k, een veel voorkomende vorm - zeker wanneer je domein al langer bestaat en externe contacten onderhoud.
De tweede positie wordt ingenomen door DNS Blacklist met 5k aan mails. Ook een veel voorkomende vorm van spam, denk daarbij aan botnets / open mailrelays die spam sturen aan een geldig adres in je organisatie maar waar de verzendende host bekend staan op een blacklist.
En een percentage van rond de 90-95% spam is eigenlijk tegenwoordig wel standaard te noemen (helaas).

[ Voor 4% gewijzigd door Qwerty-273 op 09-06-2009 12:43 ]

[remco_k]

Niet het antwoord op je vraag maar wel gerelateerd;
Die duitste spam kan je met vrijwel 100% succes goed als spam taggen door je Bayesian filter daar even op te trainen.
Geen idee hoe je dat moet doen bij jouw mailserver, maar de theorie heb je dan alvast.

offtopic:
De stats van mijn thuis-mailservertje van 8 juni (linux / cyrus / MailScanner / spamassassin):
MailScanner Status:
226 messages Scanned by MailScanner
8752301 Total Bytes
198 Spam messages detected by MailScanner
226 Messages delivered by MailScanner

87% Inkomende spam dus voor 4 mail accounts.
Maar mijn inbox is 100% spamvrij voor die dag, voornamelijk door de bayes filtering maar natuurlijk icm blacklisting e.d.

[ Voor 46% gewijzigd door remco_k op 09-06-2009 13:07 ]

[martijnberk]

ik heb bij een organisatie met 140 werkplekken BIT internet ingeschakeld om als spamfilter te fungeren, zij investeren in de anti-spam en wij betaalde een vast bedrag per maand voor het filteren en doorrouteren van de mail.

vrij prijzig als je zelf alles al in huis hebt maar het overwegen waard als je opnieuw moet gaan investeren, nu kost het jullie resources....

spam is inderdaad een groot probleem waar zowel kleine als grote bedrijven mee kampen

[Verwijderd]

Qwerty-273 schreef op dinsdag 09 juni 2009 @ 12:41:
Het grootste deel van je spam is Directory Harvesting met 38k, een veel voorkomende vorm - zeker wanneer je domein al langer bestaat en externe contacten onderhoud.
De tweede positie wordt ingenomen door DNS Blacklist met 5k aan mails. Ook een veel voorkomende vorm van spam, denk daarbij aan botnets / open mailrelays die spam sturen aan een geldig adres in je organisatie maar waar de verzendende host bekend staan op een blacklist.
En een percentage van rond de 90-95% spam is eigenlijk tegenwoordig wel standaard te noemen (helaas).

Klopt maar de binnenkomende stroom van rond de 50K mails per dag is toch erg veel of zie ik dat verkeerd ?
Zou ik daar iets aan kunnen doen of iets kunnen checken ?

[Qwerty-273]

Opzich valt het wel mee de 50K, ligt ook een beetje aan hoe groot de externe contacten kring is en hoe lang het maildomein al in de lucht is (hoe bekender het wordt in spam kringen) natuurlijk. Spam is daarnaast vaak betrekkelijk klein per mail bericht - terwijl reguliere mail vaak op een groter gemiddelde per bericht zit met de vele attachments die men meestuurd.

Er is eigenlijk weinig aan te doen - iedereen heeft "jouw" adres en kan daar iets naar toe sturen. Op het eerste punt kan je veel filteren met blacklists, authenticatie technieken etc. zodat de mail niet aangenomen wordt en je dus minder bandbreedte verbruikt. Ook heb je met je gfi filter al dat mail aan niet bestaande adressen in je omgeving er uit gewipt worden op je filter en dus niet je back end belasten.

[remco_k]

Verwijderd schreef op dinsdag 09 juni 2009 @ 16:56:
[...]


Klopt maar de binnenkomende stroom van rond de 50K mails per dag is toch erg veel of zie ik dat verkeerd ?
Zou ik daar iets aan kunnen doen of iets kunnen checken ?

Dat valt dus wel mee.
Kijk even naar mijn eerder gepostte stats voor 4 (thuis) gebruikers: 226 e-mails per dag.
Dat doortrekken naar 400 --> 22600 e-mails.
Maak dat verkeer zakelijk en je mag het gerust keer 2 doen.
Bedenk daar ook nog een eigen domein bij, en het mag nog een keer x2.
Dus die 50K, valt dan nog wel mee.

[Verwijderd]

Tis wat met het spam gebeuren

Onze spamrazer module binnen GFI en de DNS Blacklist geven nu weer de nodige problemen (Fals positive).

Spamrazer geeft aan "IP has spammy reputation" en de module staat op delete maar de mail moest binnen komen.

DNS Blacklist geeft aan "Dynamic IP detected" staat ook op delete en zelfde verhaal als hierboven.

We hebben de volgende modules op delete staan, van al deze modules hebben we logging aanstaan zodat we wel kunnen terug zoeken in de logs.
Directory Harvesting
DNS Blacklist
Spamrazer
Phishing URI
Custom Blacklist
Spam URI
Header checking


De rest word forwarded naar postmaster. Lastige is als je bij zo'n grote mailflow een module op forward (ipv delete) zet dat je dit direct merkt in het door moeten spitten van de postmaster box. Dat probeer je zoveel mogelijk te voorkomen maar het lijkt er op dat je af en toe toch weer een stapje terug moet.

Sommige filters zien dynamische ip adressen als spam, is dit eigenlijk wel redelijk ?

Wat me nu te binnen schiet, is er een manier om een mailadres buiten GFI om te laten lopen waar mensen heen kunnen mailen als GFI het tegen houd om onduidelijke redenen ?
Een soort extra postmaster mailbox die alleen systeembeheer beheerd.
Wat je binnen GFI ziet is dat de filters 99% van de tijd het bij het juiste eind hebben en het daarom jammer is om filters op forward te zetten want dat schept een hoop speurwerk in de postmaster .

[ Voor 18% gewijzigd door Verwijderd op 10-06-2009 10:10 ]

[Verwijderd]

Helaas verbaast het me niet.

Gelukkig komen er bij ons maar ong. 2300 mails per dag binnen. Maar dan zie je dus, dat er maar 340 doorgelaten worden door het filter en die staat nog niet eens zo heel erg strak. Het komt ook eigenlijk nauwelijks voor dat we signalen krijgen over niet-aankomende mail.

[remco_k]

Nou weet ik niets van GFI af, dus het kan zijn dat ik nu maar wat zit te brabbelen:

Het moet toch niet zo zijn dat 1 filter zomaar (al dan niet terecht) een e-mail kan taggen als spam?
Je hebt toch juist meerdere filters achter elkaar, waarmee je een soort spam score (spamassassin doet dat) kunt bijhouden. Hoe meer filters je gebruikt (die goed zijn geconfigged en getraind) hoe beter/betrouwbaarder de spam tagging werkt?
Om dan aan het einde, als de e-mail door alle filters heen is gekomen, de spam score te bekijken en als die boven een bepaalde treshold is, dan trash je 'm gewoon.

En ja, dat is wel druk dan met 50K e-mails per dag. Kan met perioden 2 e-mails (of nog meer) per seconde zijn. Maar een beetje normale mailserver moet daar geen probleem mee hebben.

[Verwijderd]

remco_k schreef op woensdag 10 juni 2009 @ 10:22:
Nou weet ik niets van GFI af, dus het kan zijn dat ik nu maar wat zit te brabbelen:

Het moet toch niet zo zijn dat 1 filter zomaar (al dan niet terecht) een e-mail kan taggen als spam?
Je hebt toch juist meerdere filters achter elkaar, waarmee je een soort spam score (spamassassin doet dat) kunt bijhouden. Hoe meer filters je gebruikt (die goed zijn geconfigged en getraind) hoe beter/betrouwbaarder de spam tagging werkt?
Om dan aan het einde, als de e-mail door alle filters heen is gekomen, de spam score te bekijken en als die boven een bepaalde treshold is, dan trash je 'm gewoon.

En ja, dat is wel druk dan met 50K e-mails per dag. Kan met perioden 2 e-mails (of nog meer) per seconde zijn. Maar een beetje normale mailserver moet daar geen probleem mee hebben.

Er hangen id meerdere spammodules achter elkaar. Het zijn er 11 waarvan er op delete staan en op forward. je kan dus per module kiezen wat je wil (delete mail/forward mail/move to folder/tag with spam). De optie delete is natuurlijk qua beheer van de postmaster mailbox de zware favoriet maar ook de risicovolle.

[ralpje]

@ die radionerd hieboven:
Sommige spamfilters (onder andere onze barracuda) doen dat anders. Als een mail afkomstig is van een blacklisted IP (wat dan wel een goede, betrouwbare lijst is), worden alleen verzender en ontvanger gelogd, en wordt de connectie gedropt. Op die manier hoeft die doos niet alle (cpu en ram inttensieve) scanning-taken te doen.

Voor de stats-geilers:
Onze cuda doet zo'n 50.000 mails per dag. Daarvan wordt 88.87 procent aan de buitenkant geblokkeerd (wegens blacklisting, directory harvesting, baysian score boven 8, etc.). 0,04% bevat een virus, 1,64 wordt 'rate controlled' (teveel connecties vanaf dezelfde verzendende server in een bepaalde tijdsperiode), en 1,17% wordt in quarantaine geplaatst wegens baysian score tussen 4 en 8. Uiteindelijk komt zo'n 8,39% direct bij de eindgebruiker terecht. False positives of negatives komen zeer weinig voor. Van de mails in quarantaine wordt ongeveer 1% alsnog doorgestuurd, met name aan klanten die buitenlandse leveranciers hebben.
Gemiddelde latency (tijd tussen binnenkomst mail en scannen / blokkeren of afleveren) is zo'n 3 seconde.

[remco_k]

Verwijderd schreef op woensdag 10 juni 2009 @ 10:35:
[...]


Er hangen id meerdere spammodules achter elkaar. Het zijn er 11 waarvan er op delete staan en op forward. je kan dus per module kiezen wat je wil (delete mail/forward mail/move to folder/tag with spam). De optie delete is natuurlijk qua beheer van de postmaster mailbox de zware favoriet maar ook de risicovolle.

Maar ik begrijp dan dus uit jouw verhaal dat die filters dus niet "samen" tot een conclusie komen maar individueel?
Dat lijkt me raar en bovendien meer foutgevoelig (zowel false positive als false negative).

[Verwijderd]

remco_k schreef op woensdag 10 juni 2009 @ 10:37:
[...]

Maar ik begrijp dan dus uit jouw verhaal dat die filters dus niet "samen" tot een conclusie komen maar individueel?
Dat lijkt me raar en bovendien meer foutgevoelig (zowel false positive als false negative).

Tis net hoe je het bekijkt.
Je kan ze instellen op module volgorde (verticaal) en de mail word middels die volgorde afgehandeld. als je meerdere filters hebt neem ik aan dat ze altijd op volgorde doorlopen worden.

[ralpje]

remco_k schreef op woensdag 10 juni 2009 @ 10:37:
[...]

Maar ik begrijp dan dus uit jouw verhaal dat die filters dus niet "samen" tot een conclusie komen maar individueel?
Dat lijkt me raar en bovendien meer foutgevoelig (zowel false positive als false negative).

Niet direct. Waarom zou je een mail die afkomstig is van een geblackliste server nog verder willen scannen? Waarom zou je nog mail accepteren van een server die in een half uur tijd al 60 berichten bij je heeft afgeleverd?

Pas als dat soort tests gedaan zijn, ga je met een basyian filter / intent analyse / noem maar op kijken naar de inhoud van de mail, en daarop verder oordelen.

Als je dit soort berichten aan de buitenkant kunt blokkeren (en dus niet hoeft te scannen) scheelt dat heel veel resources! Om mijn stats van hierboven nog even aan te halen: ruim 90% wordt bij ons geblokkeerd, waarvan een klein deel wegens een te hoge basyian score. De rest wordt dus aan de buitenkant al geblokkeerd, en hoeft helemaal niet gescand te worden.

[Verwijderd]

Zit nog even te knutselen.

Klopt het dat ik in outlook 2007 (middels exchange 2003) geen GMail account werkend krijg. Moet daar de exchange server voor aangepast worden ?

Ik denk ik ga eens testen of ik mensen die de mail niet bij ons binnen krijgen door GFI deze de mail naar GMail laat sturen welke ik dan weer inporteer in mijn outlook 2007 en weer intern doorstuur.

Ik krijg die GMail niet aan de praat. Op mijn thuis situatie gaat dit wel maar daar heb ik geen exchange.

[alt-92]

huh, wat?

Wat heeft Gmail met exchange te maken?

[martijnberk]

extra pop account toevoegen gaat naast je exchange accountje best, maar zorg ervoor dat je in gmail je pop aan hebt staan

[Dysmael]

martijnberk schreef op woensdag 10 juni 2009 @ 21:42:
extra pop account toevoegen gaat naast je exchange accountje best, maar zorg ervoor dat je in gmail je pop aan hebt staan

Of imap

Overigens zou ik het gebruik van pop3 en imap niet toestaan en zelfs blokkeren op firewall niveau.
Alleen de mailserver mag port 25 outgoing gebruiken en het liefst een smtp-proxy ertussen

Anders duurt het niet lang dat iemand zijn eigen pop3 account gaat gebruiken met alle gevolgen van dien.

[Verwijderd]

RolfLobker schreef op woensdag 10 juni 2009 @ 21:58:
[...]


Of imap

Overigens zou ik het gebruik van pop3 en imap niet toestaan en zelfs blokkeren op firewall niveau.
Alleen de mailserver mag port 25 outgoing gebruiken en het liefst een smtp-proxy ertussen

Anders duurt het niet lang dat iemand zijn eigen pop3 account gaat gebruiken met alle gevolgen van dien.

Is volgens mij bij ons ook geblokkeerd want krijg het niet aan de praat op imap of pop.

Hoe kan ik dit nu het beste aanpakken ?
Ik denk dat het aanmaken van een externe mailbox (Gmail/Hotmail of wat dan ook) waarmee ik binnen het netwerk mail kan ontvangen en versturen. Als iemand dan meld dat er mail geblokkeerd word kan ik vragen om die mail naar die nieuwe mailbox te laten sturen zodat ik hem toch binnen het netwerk kan krijgen maar buiten GFI en Exchange om. Volgens mij is het zo dat wanneer de mail intern doorgestuurd word ik buiten GFI om ga. Hiermee hoef ik niet verschillende filters op forward ipv delete te zetten voor dat ene mailtje wat geblokkeerd word.

[DiedX]

Verwijderd schreef op woensdag 10 juni 2009 @ 10:01:
Sommige filters zien dynamische ip adressen als spam, is dit eigenlijk wel redelijk ?

Tot nu toe komt de meeste spam van geinfecteerde windows machines. Dat zijn vaak particulieren met een ADSL-netwerk, bijna altijd dynamisch. Zij "horen" normaliter gebruik te maken van de SMTP-server van hun provider.

Realistisch om te blocken? Ik denk van wel, ik blok het liefst niets, maar 90% spam vraagt daar ook om.

Ik raad je aan:

* Kijk naar de Barracuda Blacklist
* Kijk eens naar greylisting, al kan dat omstreden zijn in business-situaties.