anti-spam oplossing voor netwerk

[Cpt-Cholo]

Beste tweakers,

We zijn een middelgroot bedrijf met een 200tal mailboxen. Er komen dagelijks zon 10'000 spamberichten binnen en onze spamassassin met mailwatch houden het nog nauwelijks vol.
Ze staan geconfigureerd op een P4 2.0, 512MB. Deze pc dient als een eerste filtering van de spam waarna de mails naar de exchange gestuurd worden waar een of ander verschrikkelijk spamfiltertje op staat.
Een nadeel is natuurlijk dat we vaak beide spamsystemen moeten afzoeken naar bepaalde mails, maar uiteindelijk komt met dit systeem weinig door en wordt de exchange server wat ontlast.

Ik zou kunnen de spamassasin op een betere PC/server installeren, maar vroeg me af wat heden ten dage, de allerbeste spamoplossingen zijn. GFI12?

Sorry als dit elders besproken werd maar vond via zoeken slechts veel te oude posts.

[LiquidSmoke]

Sender policy framework (SPF) schijnt erg goed te werken, maar ook reverse dns opzoeken, greeting-vertraging...

Een catch-all adres gebruiken om spam niet te bouncen maar af te voeren

Moet je maar ff googlen, zal e.a. duidelijk worden.

[CyBeR]

Spamassassin op twee servers? Overigens is 10000 spamberichten door spamassassin halen niet superveel. Doe je wel recipient verification? Anders scan je ook alle spams naar adressen die helemaal niet bestaan en da's vrij nutteloos.

[Verwijderd]

kijk eens naar ironport.

erg mooie kant en klare oplossing, kost wel iets maar voor een bedrijf van dit formaat moet dat geen super grote kostenpost zijn.

[Verwijderd]

Verwijderd schreef op dinsdag 13 maart 2007 @ 16:17:
kijk eens naar ironport.

erg mooie kant en klare oplossing, kost wel iets maar voor een bedrijf van dit formaat moet dat geen super grote kostenpost zijn.

200 mailboxen? formaat? lol, die ironport is geseized op 1 miljoen berichten per uur. Inderdaad een erg mooi product, maar hier gaat tie uit zijn neus staan vreten

[Cpt-Cholo]

CyBeR schreef op dinsdag 13 maart 2007 @ 16:15:
Spamassassin op twee servers? Overigens is 10000 spamberichten door spamassassin halen niet superveel. Doe je wel recipient verification? Anders scan je ook alle spams naar adressen die helemaal niet bestaan en da's vrij nutteloos.

Het is niet superveel, maar op momenten dat hij het wat drukker heeft, kan het laden van een pagina van de webbased interface tot 200+ seconden innemen. Niet leuk om naar een bepaalde mail te zoeken.
Helaas heb ik die spamassassin niet zelf geconfigureerd en trouwens nog nooit gedaan. Die klus is voor mijn tijd uitbesteed, net als alle IT-oplossingen hier en moet ik de weg nog wat zoeken.
Ik snuister morgen de configs door om te zien als die recipient verification aan staat.

Verwijderd schreef op dinsdag 13 maart 2007 @ 16:26:
[...]
200 mailboxen? formaat? lol, die ironport is geseized op 1 miljoen berichten per uur. Inderdaad een erg mooi product, maar hier gaat tie uit zijn neus staan vreten

Ironport ziet er heel mooi uit, misschien wel de moeite om in de toekomst op over te stappen.
Wat bedoel je met formaat? Grootte van de mailboxen?

[ Voor 21% gewijzigd door Cpt-Cholo op 13-03-2007 17:29 ]

[Verwijderd]

Ik heb mailservers die een 10voud doen en recipient verification gewoon aan hebben staan zonder te hikken.
Recipient verification is trouwens een instelling van je MTA en heeft niks met SA te maken.
Een recente versie van SA doet ook gewoon SPF, DomainKeys etc trouwens.

10.000 per dag is niks, soms zie ik dat per uur.
Moet SA makkelijk kunnen hebben op een 2 ghz machine.

Post eens wat meer info over die SA machine.
Wat voor MTA draait er bijvoorbeeld op?
Wat voor distro?
En wat bedoel je met dat "zoeken" naar mails?
En sinds wanneer heeft SA een webbased interface?
Das dus mailwatch.
Zoek eens op wat er voor die load zorgt.

Heb je uberhaubt ervaring met *NIX, SSH en andersoortig beheer dat hierbij komt kijken?
Dan weten we op welk niveau we moeten praten.

[ Voor 32% gewijzigd door Verwijderd op 13-03-2007 17:32 ]

[Cpt-Cholo]

Verwijderd schreef op dinsdag 13 maart 2007 @ 17:26:
Ik heb mailservers die een 10voud doen en recipient verification gewoon aan hebben staan zonder te hikken.
10.000 per dag is niks, soms zie ik dat per uur.
Kan SA makkelijk hebben op een 2 ghz machine.

Post eens wat meer info over die SA machine.
Wat voor MTA draait er bijvoorbeeld op?
Wat voor distro?
En wat bedoel je met dat "zoeken" naar mails?
En sinds wanneer heeft SA een webbased interface?

Dat is goed om te horen!
Hij draait debian kernel 2.6.15-1-686, met SA geregeld door mailscanner en Mailwatch is de webbased frontend.
Met mails zoeken bedoel ik, zien of een echte mail niet bij de spam zit.

Heb je uberhaubt ervaring met *NIX, SSH en andersoortig beheer dat hierbij komt kijken?
Dan weten we op welk niveau we moeten praten.

Ik ken helaas niet zoveel van linux. Het beperkt zich tot navigeren, vimmen, configs aanpassen en zaken installeren. Onze lessen op school omvatten, apache, bind, SSH. Maar daar blijft het helaas bij.

Bedankt voor alle antwoorden btw!

PS: ironport ziet er de max uit! De IronPort C100 (tot 1000 users) zou al meer dan genoeg zijn. Toch even zien wat er uit de bus zal komen na de overname van Cisco.

[ Voor 26% gewijzigd door Cpt-Cholo op 13-03-2007 18:07 ]

[Verwijderd]

Cpt-Cholo schreef op dinsdag 13 maart 2007 @ 17:42:
[...]


Dat is goed om te horen!
Hij draait debian kernel 2.6.15-1-686, met SA geregeld door mailscanner en Mailwatch is de webbased frontend.
Met mails zoeken bedoel ik, zien of een echte mail niet bij de spam zit.


[...]

Ik ken helaas niet zoveel van linux. Het beperkt zich tot navigeren, vimmen, configs aanpassen en zaken installeren. Onze lessen op school omvatten, apache, bind, SSH. Maar daar blijft het helaas bij.

Bedankt voor alle antwoorden btw!

Mailscanner op zich is geen MTA he, er moet Exim, Postfix ed achter hangen.
Ik gebruik zelf eigenlijk alleen nog maar Exim, tegenwoordig zit daar exiscan ingepatched, zodat Exim direct SA, ClamAV etc kan aanroepen. Maar das meer uit luiheid dan dat extra voordelen biedt.
Is het sowieso geen idee om alle spam in 1 map te dumpen? Dan hoef je niet te zoeken.

Een IronPort is imo een totale overkill.
Log eens in met SSH en draai een "top", dan kan je om te beginnen zien welk proces voor zulke hoge loads zorgt.
En zien of de load uberhaubt wel zo hoog is, heb je dat wel eens gecontroleerd?
Komen er vreemde dingen in de logs voor?

Is alles netjes met apt-get geinstalleerd of is dit een samenraapseltje van zelf gecompilede dingen?

[ Voor 4% gewijzigd door Verwijderd op 13-03-2007 18:11 ]

[Cpt-Cholo]

Bedankt voor de reply,
In rust varieert het cpugebruik van 5 tot 60% en dit is door de postfix. Als ik in de mailwatch werk komt er 20% mysql gebruik bij, maar stop de postfix even met werken.

De pc werd samengesteld door een een linuxbedrijfje. Ik veronderstel dat de installatie in orde is.

[Verwijderd]

Ik zou eerder veronderstellen dat de installatie NIET in orde is.

Postfix is dus de MTA, SpamAssassin heeft een apart spamd proces.
Het is hier dus niet SpamAssassin dat voor een zware load zorgt.
Wat voor soort mails gaan er doorheen?

En 20% mysqld load lijkt me ook aan de forse kant voor simpelweg wat queries uit een database.
Welke versies van de software staan erop? De kernel wijst op een recente installatie... Of heb jij de kernel geupdate?

[CyBeR]

Cpt-Cholo schreef op dinsdag 13 maart 2007 @ 18:48:
De pc werd samengesteld door een een linuxbedrijfje. Ik veronderstel dat de installatie in orde is.

Daar lijkt 't tot zover niet op. Voor een dergelijke machine is 10000 messages per dag bijna niets. Mijn huidige mail server is een 2Ghz dualcore Xeon, die voor ik recipient verification aanzette ook rustig zo'n 15000 berichten per dag scande. En dat deed 'ie met gemiddeld ongeveer 6% CPU load. Nadat ik recipient verification aanzette is 't aantal spamberichten dat gescand werd al een flink eind gedaald, en met sender verification erbij nog een flink stuk. De CPU load van 't ding zit nu op drukke momenten op ongeveer 3 a 4 procent. (Dat eerste getal was met alleen spamscannen, nu doet 'ie ook de IMAP enzo.)

Vraag dat bedrijfje in ieder geval een recipient verification callouts in te stellen (zo heet dat bij exim iig, ben zelf geen fan van postfix). Dan vraagt je spamscan server aan je exchange of een inkomend adres wel bestaat door gewoon ook een connectie op te zetten en een RCPT TO: <adres> commando te geven. Bestaat 't, wordt de mail gespamscanned, bestaat 't niet wordt direct een error terug gegeven (en ben jij dus ook niet meer verantwoordelijk voor de bounce.)

Daarnaast, vraag ze of ze wel netjes spamd en spamc gebruiken. Als ze namelijk voor elk binnenkomend mailtje heel spamassassin opstarten kost je dat een heleboel resources. Dan moet er namelijk een complete perl interpreter opgestart worden, die dan ook nog 's compleet spamassassin moet gaan uitvoeren, en een erg klein scriptje is dat niet. Spamd is wel perl en die start je maar een keer op, spamc is een klein C programmaatje dat een email inleest en naar spamd stuurt.

[Verwijderd]

Ik zie wat berichten over dat Ironport overkill is. Is de C100 niet iets voor 200 mailboxen dan?

[Verwijderd]

Verwijderd schreef op dinsdag 13 maart 2007 @ 21:02:
Ik zie wat berichten over dat Ironport overkill is. Is de C100 niet iets voor 200 mailboxen dan?

ken ik niet . Ik heb met ironports 2 jaar geleden kennisgemaakt en toen was het volgens mij alleen een zware multinational oplossing (lees 5.000+ mailboxen, 100.000-1000.000 mails per uur) . Maar in 2 jaar kan er veel veranderd zijn... i stand corrected.

[ Voor 6% gewijzigd door Verwijderd op 14-03-2007 13:45 ]

[masterpe]

Ik ben zelf nu aan het kijken naar graylisting. Dit klonk wel naar een interresant conccept.

Schilt heel wat is het scannen van de e-mail.

[deadlock2k]

-

[ Voor 100% gewijzigd door deadlock2k op 06-08-2021 15:44 ]

[Verwijderd]

masterpe schreef op woensdag 14 maart 2007 @ 14:11:
Ik ben zelf nu aan het kijken naar graylisting. Dit klonk wel naar een interresant conccept.

Schilt heel wat is het scannen van de e-mail.

greylisting zorgt wel voor een vertraging van 15 mins in de mail... daar worden de gebruikers echt niet blij van geloof me...

het voorkomt wel spam van bulk mails van niet bestaande emailservers, maar iemand die gewoon een hotmailaccountje oid gebruikt fietst zo over je greylisting heen.

[ Voor 17% gewijzigd door Verwijderd op 14-03-2007 17:18 ]

[CyBeR]

Van greylisting ben ik ook geen voorstander idd. Zowieso, zodra je een echte mail server gebruikt om te relayen (open relay, smtp van je provider, etc.) fiets je daar ook zo lang, zij het met een kleine vertraging. Greylisting helpt alleen tegen virussen e.d. met een eigen smtp engine die uiteraard niet moeilijk doet met standaarden.

[Verwijderd]

Greylisting gaat je inderdaad niet helpen, je moet hier het probleem aanpakken, niet de symptomen, het probleem is een gebrekkige configuratie op de huidige machine die Postfix draait.

Wat naar MIJN () mening de beste oplossing hier zou zijn:
Formatteer die machine en installeer een schone Debian.
Installeer MTA die gebruiksvriendelijker is dan Postfix, denk aan Exim of qmail.

Hieraan hang je vervolgens een recente SpamAssassin, leer je meteen hoe je SA configureert.
Exim kan uit zichzelf al overweg met SA, voor qmail heb je bijv. qmail-scanner.

Voor virusscannen gebruik je ClamAV, opensource virusscanner die netjes integreert met zowel Exim als qmail-scanner. (ClamAV is een volwaardig product, speciaal gemaakt voor MTA's)

De MTA zelf configureer je met blacklist lookups en sender verify, dit zal ervoor zorgen dat 90% van de spam sowieso niet eens bij je spamfilter komt maar al tijdens de SMTP sessie geweigerd wordt.

Door alles zelf te installeren en te configureren leer je meteen hoe MTA's, virusscannen, spamscannen etc in detail werkt. Voor het geval dat nu niet gebeurd is, installeer software met apt-get, dat is Debians eigen package manager, hiermee is updaten van software in de toekomst een kwestie van 1 commando, dit is veiliger, gebruiksvriendelijker en netter.

Ook kan je een wat beter voor de situatie geschikt systeem opzetten, denk aan spamboxen per gebruiker, of 1 grote spambox zodat je niet op zoek naar mails hoeft.

Een bovenstaande setup is in staat om na wat kleine tweaks 99.9% van de spam eruit te filteren (ZONDER false positives) en zal zijn werk veel beter doen dan een (te) dure IronPort, of andere onzinnige gateways. Die dingen worden sowieso gemaakt voor mensen die te lui zijn om even met Google te stoeien.
Voor dit soort dingen bestaan namelijk 6000 howto's en tutorials.

Let bij Googlen wel goed op, vroeger had je exiscan of SA-exim nodig, dit is NIET het geval met huidige Exim versies. Het installeren van bovenstaande setup is zo simpel als "apt-get install clamav-daemon clamav-freshclam exim4-heavy spamassassin". De configuratie daargelaten natuurlijk.

Je merkt in mijn verhaal dat ik vrij pro Exim ben, Exim is dan ook de default MTA voor Debian, vandaar. Hoe Postfix op je systeem is gekomen weet ik ook niet.

Een goeie bron van informatie is dit vrij ingewikkelde, maar wel heel informatieve document:
http://www.tldp.org/HOWTO/Spam-Filtering-for-MX/

[ Voor 19% gewijzigd door Verwijderd op 14-03-2007 20:08 ]

[CyBeR]

Verwijderd schreef op woensdag 14 maart 2007 @ 19:54:
Wat naar MIJN () mening de beste oplossing hier zou zijn:
Formatteer die machine en installeer een schone Debian.
Installeer MTA die gebruiksvriendelijker is dan Postfix, denk aan Exim of qmail.

Eens. Maar dan niet met qmail. Dat wordt al ettelijke jaren niet onderhouden. En doe dit eerst op een testbak en maak je ermee bekend voor je als newbie een e-mail server in productie gaat zetten.

De MTA zelf configureer je met blacklist lookups en sender verify, dit zal ervoor zorgen dat 90% van de spam sowieso niet eens bij je spamfilter komt maar al tijdens de SMTP sessie geweigerd wordt.

Sender en recipient verify met callout scheelt je idd rustig 90% van je spam. In exim is dat heel makkelijk in te stellen. RBL's zou ik door SpamAssassin laten doen.

Je merkt in mijn verhaal dat ik vrij pro Exim ben, Exim is dan ook de default MTA voor Debian, vandaar. Hoe Postfix op je systeem is gekomen weet ik ook niet.

Exim is IMO ook de beste MTA. Kun je het meest me. Ik heb echt geen idee waarom postfix zo populair is de laatste tijd.

[Cpt-Cholo]

Hartelijk bedankt voor je uitgebreide antwoorden! Ik zal je raad opvolgen en van nul op een tweede pc alles installeren zodat ik weet hoe alles geconfigureerd is.
Btw zouden jullie die mailscanner/mailwatch achterwege laten? Ik vind die mailwatch uiteindelijk wel handig.

Nogmaals bedankt voor alle hulp.

[Verwijderd]

Cpt-Cholo schreef op donderdag 15 maart 2007 @ 10:24:
Hartelijk bedankt voor je uitgebreide antwoorden! Ik zal je raad opvolgen en van nul op een tweede pc alles installeren zodat ik weet hoe alles geconfigureerd is.
Btw zouden jullie die mailscanner/mailwatch achterwege laten? Ik vind die mailwatch uiteindelijk wel handig.

Nogmaals bedankt voor alle hulp.

Mailscanner is een applicatie om SpamAssassin en ClamAV aan Postfix te hangen, Exim heeft zo'n link niet nodig, die kan er zelf al mee overweg.

Mailwatch is specifiek voor mailscanner gemaakt, daar heb je dus niks aan zonder mailscanner.
Als ik jou was zou ik mezelf gewoon aanleren de Exim logfiles te bruiken als je een bepaalde mail zoekt, die zijn sowieso een stuk informatiever dan die van Postfix. Voor beheer heb je gewoon de Exim configfile(s), daar stel je alles centraal in. Leer SSH te gebruiken in plaats van afhankelijk te zijn van door derden gemaakte controlpanels en frontends, daar leer je namelijk niks van, en als er dan iets stuk gaat sta je daar met je mond vol tanden.

[CyBeR]

Als je graag een web frontend wilt hebben kun je ook kijken naar Maia Mailguard.

[Verwijderd]

Ik heb vorig jaar bij ons op de firme gekozen een barracuda spam filter.

Beste keuze ooit.

Nu komen er dagelijks nog ca. 5 spammailtjes door of zo.

[Verwijderd]

Verwijderd schreef op donderdag 15 maart 2007 @ 20:13:
Ik heb vorig jaar bij ons op de firme gekozen een barracuda spam filter.

Beste keuze ooit.

Nu komen er dagelijks nog ca. 5 spammailtjes door of zo.

Prachtig, maar het goedkoopste model kost 2000 dollar.

Voor 500 euro zet ik een setup voor je neer die:
- flexibeler is (denk aan dingen als greylisten op basis van blacklist lookups bijv.)
- meer features heeft (bijv. de mogelijkheid om mails door een OCR filter te halen)
- meer load aan kan (voor 500 euro heb je een 2+ ghz machine)
- sneller geupdate wordt (ik kan a la minuut inloggen en aanpassingen maken)
- later kosteloos geupgrade kan worden (extra ram? geen probleem. 2e cpu? geen probleem.)
- te spreiden over meerdere machines. (1 machine trekt het echt niet meer? verplaats bijv. spamd's naar een dedicated machine.)
- makkelijker te onderhouden is. (voeding stuk? nieuwe erin.)

Enne, bij mijn oplossing heb je geen subscription van 500 dollar per jaar nodig.
En je hoeft ook geen 1100 dollar te betalen om 3 jaar lang instant een replacement te krijgen als ie stuk gaat.
Die dedicated machines zijn pure oplichterij imo.

Oh, en indien gewenst, mijn machine speelt ook meteen voor POP3 (SSL) en IMAP (SSL) server en is eventueel te koppelen aan SMS diensten, etc etc etc etc etc.

De grootste grap is hier nog wel:
http://www.google.com/search?q=spamassassin+barracuda

Die Barracuda dingen lijken gewoon SpamAssassin te draaien, bedenk dus even dat je 2000+ dollar neertelt voor iets dat werkt op GRATIS software. Alleen daarom zou ik al weigeren zo'n Barracuda box aan te schaffen.

[ Voor 31% gewijzigd door Verwijderd op 15-03-2007 20:42 ]

[Kokkers]

Verwijderd schreef op donderdag 15 maart 2007 @ 20:31:
[...]

knip

Voor 500 euro zet ik een setup voor je neer die...

Voor 500 euro sta jij bij mij op de stoep met adequate hardware en een productie rijpe anti-spamoplossing? Kan ik je ook bellen als ie niet werkt?

Je vergelijkt appels met peren man.

Nu gaan bij mij meestal de commerciele nekharen omhoog als ik de term TCO hoor.

In dit geval wel toepasselijk...

[Verwijderd]

Kokkers schreef op donderdag 15 maart 2007 @ 22:39:
[...]


Voor 500 euro sta jij bij mij op de stoep met adequate hardware en een productie rijpe anti-spamoplossing? Kan ik je ook bellen als ie niet werkt?

Je vergelijkt appels met peren man.

Nu gaan bij mij meestal de commerciele nekharen omhoog als ik de term TCO hoor.

In dit geval wel toepasselijk...

Nee, ik had het over aanschaf van de hardware.
Dat bedoelde ik met 500 euro. 350 moet ook wel lukken trouwens.

Ik ga ervanuit dat het bedrijf waar die rommel geplaatst wordt zelf over een systeembeheerder beschikt om het zaakje te onderhouden, op te zetten etc.

En ik vergelijk inderdaad appels met peren, ik weeg de appels tegen de peren af.
De appels kosten eenmalig een klein bedrag en zijn verder gratis.
De peren kosten eenmalig een groot bedrag en vervolgens nog eens een flink bedrag per jaar.

En als slagroom op de peren/appels, de appels blijken ook nog eens veel lekkerder te zijn, want de peren blijken stiekem appels met een geverfde schil te zijn.

Enige nadeel is dat je de appels wel moet leren eten, en de peren door iemand anders voor je klaargemaakt worden.

[ Voor 25% gewijzigd door Verwijderd op 16-03-2007 01:30 ]

[Verwijderd]

Verwijderd schreef op vrijdag 16 maart 2007 @ 01:28:
[...]


Nee, ik had het over aanschaf van de hardware.
Dat bedoelde ik met 500 euro. 350 moet ook wel lukken trouwens.

Ik ga ervanuit dat het bedrijf waar die rommel geplaatst wordt zelf over een systeembeheerder beschikt om het zaakje te onderhouden, op te zetten etc.

En ik vergelijk inderdaad appels met peren, ik weeg de appels tegen de peren af.
De appels kosten eenmalig een klein bedrag en zijn verder gratis.
De peren kosten eenmalig een groot bedrag en vervolgens nog eens een flink bedrag per jaar.

En als slagroom op de peren/appels, de appels blijken ook nog eens veel lekkerder te zijn, want de peren blijken stiekem appels met een geverfde schil te zijn.

Enige nadeel is dat je de appels wel moet leren eten, en de peren door iemand anders voor je klaargemaakt worden.

ik kan hier werkelijk alleen maar om lachen. Mooi tellsell praatje, maar als je serieus bezig bent als bedrijf ga je geen spoc van 500 euro neerzetten, maar koop je tenminste nog een degelijke server. Ben jij ook 2000euro kwijt. Verder moet ik de eerste software spam oplossing nog zien, die 1.000.000 mails per uur aankan zoals sommige hardware oplossing.

[Verwijderd]

Verwijderd schreef op vrijdag 16 maart 2007 @ 10:39:
[...]


ik kan hier werkelijk alleen maar om lachen. Mooi tellsell praatje, maar als je serieus bezig bent als bedrijf ga je geen spoc van 500 euro neerzetten, maar koop je tenminste nog een degelijke server. Ben jij ook 2000euro kwijt. Verder moet ik de eerste software spam oplossing nog zien, die 1.000.000 mails per uur aankan zoals sommige hardware oplossing.

We hebben het hier:
- Over een bedrijf met 200 mailboxen
- Zelfs een "degelijke server", dual xeon, 2 gig ram, etc kost geen 2000 euro.
- Bovendien heb je voor 1.000.000 mails per uur toch echt wel flink wat meer bandbreedte nodig dan het gemiddelde kantoor heeft.
- De meeste "hardware" oplossingen zijn niks meer dan dichtgespijkerde servers waar gewoon exact dezelfde SpamAssassin op draait als die te downloaden is op http://spamassassin.apache.org.
- Zet 5 dual xeons naast elkaar, laat ze spamd draaien en kom maar met je 1.000.000 mails per uur.

Misschien moet je eerst de TS maar eens lezen in plaats van mij blindelings tegen te gaan spreken.
En vertel me ook maar eens wat er mis is met een simpele MyCom pc met 2 schijven in software RAID1. Desnoods koop je er alvast een extra voeding bij en leg je die ernaast. Prima oplossing voor een klein bedrijf met 200 mailboxen. Alsof een Celeron minder "degelijke" megahertzen dan een Xeon heeft.

[ Voor 25% gewijzigd door Verwijderd op 16-03-2007 11:37 ]

[Grolsch]

Verwijderd schreef op vrijdag 16 maart 2007 @ 10:43:
[...]


We hebben het hier:
- Over een bedrijf met 200 mailboxen
- Zelfs een "degelijke server", dual xeon, 2 gig ram, etc kost geen 2000 euro.
- Bovendien heb je voor 1.000.000 mails per uur toch echt wel flink wat meer bandbreedte nodig dan het gemiddelde kantoor heeft.
- De meeste "hardware" oplossingen zijn niks meer dan dichtgespijkerde servers waar gewoon exact dezelfde SpamAssassin op draait als die te downloaden is op http://spamassassin.apache.org.
- Zet 5 dual xeons naast elkaar, laat ze spamd draaien en kom maar met je 1.000.000 mails per uur.

Misschien moet je eerst de TS maar eens lezen in plaats van mij blindelings tegen te gaan spreken.
En vertel me ook maar eens wat er mis is met een simpele MyCom pc met 2 schijven in software RAID1. Desnoods koop je er alvast een extra voeding bij en leg je die ernaast. Prima oplossing voor een klein bedrijf met 200 mailboxen. Alsof een Celeron minder "degelijke" megahertzen dan een Xeon heeft.

Heb jij wel begrepen waar de P in PNS voor staat

[CyBeR]

Verwijderd schreef op vrijdag 16 maart 2007 @ 10:43:
[...]

En vertel me ook maar eens wat er mis is met een simpele MyCom pc met 2 schijven in software RAID1. Desnoods koop je er alvast een extra voeding bij en leg je die ernaast. Prima oplossing voor een klein bedrijf met 200 mailboxen. Alsof een Celeron minder "degelijke" megahertzen dan een Xeon heeft.

Omdat 't zo kut is als die 200 mensen geen mail hebben terwijl jij zit te schroeven (na je gebruikelijke uur+ reistijd) aan een nieuwe voeding (als die tenminste niet ook meteen de beide schijven verneukt heeft), of zit te kutten met de software raid 1 die de ploert ingedraaid is, etc.

Natuurlijk zal 't wel werken, maar 't is toch meer een hobby-boboplossing dan een professionele mail server. Redundant voeding is dan ws. niet direct heel nodig (hoewel mijn mail server dat wel heeft) maar een fatsoenlijke hardware raid imo wel, en fatsoenlijke server hardware voor de rest van 't ding imo ook. Scheelt je ook enorm in performance kan ik je vertellen. Vroegah draaide mijn mailservert op een of ander supermicro kutding, nu op een HPDL360 die echt niet ophoudt bij 2000 euro. En de performance increase is een stuk hoger dan de verhouding tussen de prijzen van de twee dozen.

[Cpt-Cholo]

Alle zijden hebben wel gelijk. Alleen heb ik genoeg pc's waar ik die SA kan op zetten, dus is de kost alleen mijn uren die erin gaan -> appeltaart dus.

Terwijl ik zit te schroeven stuur ik via de firewall de mails meteen door naar de exchange, waar de 2de spamoplossing (een stuk minder, maar toch) zijn werk doet.
Ik zou wel liever de kant en klare oplossing kopen, dan heb ik wat meer tijd om wat draadjes lezen op GoT , maar dat doet mijn budget veel meer pijn. Ironport heeft licenties per mailbox en baracude heeft blijkbaar? een jaarlijkse kost. Bovendien kan die linuxserver meer zaken draaien die voor een systeembeheerder "interessant" zijn.

Die frontend is voor mijn collega die niet zo technisch is en een mail wilt uitvissen op basis van from/to of makkelijk iemand wil whitelisten. Onze mailscanner houdt immers wel veel goede mails tegen omdat we enorm veel docs/xls/bmp binnenkrijgen van buitenlandse firma's die willen bestellen of verkopen. Ik krijg toch dagelijks minstens 1 verzoek om iets te zoeken in de spamfilter.

PS. Het zijn 284 mailboxen, de eerste maal shatte ik het maar.

PS2. Ik vertrek straks op skivakantie en zal deze topic even niet kunnen checken. Iedereen bedankt voor hun inbreng, vooral Fabio met zijn uitgebreide antwoorden.

PS3. komt uit op 23 maart, moehaha vlaamse humor

[ Voor 55% gewijzigd door Cpt-Cholo op 16-03-2007 13:42 ]

[Verwijderd]

CyBeR schreef op vrijdag 16 maart 2007 @ 12:38:
[...]


Omdat 't zo kut is als die 200 mensen geen mail hebben terwijl jij zit te schroeven (na je gebruikelijke uur+ reistijd) aan een nieuwe voeding (als die tenminste niet ook meteen de beide schijven verneukt heeft), of zit te kutten met de software raid 1 die de ploert ingedraaid is, etc.

Natuurlijk zal 't wel werken, maar 't is toch meer een hobby-boboplossing dan een professionele mail server. Redundant voeding is dan ws. niet direct heel nodig (hoewel mijn mail server dat wel heeft) maar een fatsoenlijke hardware raid imo wel, en fatsoenlijke server hardware voor de rest van 't ding imo ook. Scheelt je ook enorm in performance kan ik je vertellen. Vroegah draaide mijn mailservert op een of ander supermicro kutding, nu op een HPDL360 die echt niet ophoudt bij 2000 euro. En de performance increase is een stuk hoger dan de verhouding tussen de prijzen van de twee dozen.

De systeembeheerder zit in dit geval niet op een uur afstand.
En er zal vast wel iemand in het pand zijn die een voeding kan vervangen.
Bovendien, ik heb in mijn leven toch heel wat servers gebouwd, en ik heb nog NOOIT meegemaakt dat een voeding 2 schijven tegelijk frituurde. Maar, je hebt gelijk, als iets fout gaat, gaat ook alles fout.

Wat betreft de RAID, ik vertrouw mijn files toch liever toe aan de Linux kernel RAID dan aan de gemiddelde "hardware" RAID controller. Een fatsoenlijke _hardware_ RAID controller kost al gauw in de honderden euro's, voor dat geld kan je een compleet servertje neerzetten. Wat betreft de performance, met de cpu's van tegenwoordig kan een Linux software RAID 1 array makkelijk meekomen met een hardwarematige oplossing.

Dan hadden we nog meneer Grolsch, met zijn behulpzame bijdrage aan dit topic, eigenlijk zou ik daar niet op moeten reageren maar:
Elke mongool kan een lading dure hardware kopen, die in elkaar schroeven, er een voorgebakken software pakket optieven en roepen van, KIJK EENS, het kost 12.000 euro, dan MOET het wel goed zijn.

En elke ervaren UNIX gebruiker zal je dan heel hard uitlachen, want het is juist imo een kunst, en je baas zal het ook kunnen waarderen, om zonder verspilling van al te veel geld een goed presterende op maat gemaakte setup neer te zetten.

Maar ga jij vooral een RAID5 bak met 2 dual core Xeons, 8 poorts Areca controller en u320 15k schijven met Windows Server 2003 installeren. De duurste editie, met ongelimiteerde gebruikers.
Dan ben je tenslotte heel "professioneel" bezig. Sterker nog, je zou zo bij Pink Roccade/IBM/etc aan de slag kunnen. Hang het vooral ook aan een Cisco switch van 4000 euro.

Maar mijn Celeron 2.66 Ghz machientje met zijn software RAID 1 met SpamAssassin, Exim en ClamAV op een switch van 300 euro owned jouw setup van voor naar achter. En dat kunnen opzetten is imo veel professioneler dan je klant/baas tillen met een overkill aan hardware. Het gaat hier om kosten vs. baten, verplaats je eens in DEZE situatie. Als we het over een bedrijf met 5000 werknemers in 3 vestigingen en een IT afdeling die van voren eerst toestemming achter moest halen voordat ze een schroef mogen indraaien hadden zou ik een heel ander verhaal houden.

[ Voor 6% gewijzigd door Verwijderd op 16-03-2007 17:52 ]

[CyBeR]

Verwijderd schreef op vrijdag 16 maart 2007 @ 17:47:
[...]


Wat betreft de RAID, ik vertrouw mijn files toch liever toe aan de Linux kernel RAID dan aan de gemiddelde "hardware" RAID controller. Een fatsoenlijke _hardware_ RAID controller kost al gauw in de honderden euro's, voor dat geld kan je een compleet servertje neerzetten. Wat betreft de performance, met de cpu's van tegenwoordig kan een Linux software RAID 1 array makkelijk meekomen met een hardwarematige oplossing.

Ik niet. Om een aantal redenen:

• Performance. Met RAID 1 gaat 't nog wel idd, maar zodra je RAID 5 of 6 gebruikt gaat dat flink omlaag of ten koste van je apps. Iets wat sowieso vaak gebeurt trouwens bij veel controllers, zelfs zonder RAID. Haal je wel 40MB/sec van je schijven af maar dan komt ook geen enkele andere app aan beurt om iets te doen.
• Hot-swap. Alle hardware RAID kaarten kunnen zonder moeite drives hot-swappen. De gemiddelde non-raid controller moet daar niets van hebben. SATA controllers kunnen 't fysiek wel aan (ze gaan niet kapot als je 't doet) maar hebben wel een reboot nodig voor je een nieuwe drive kunt initialiseren.
• Write Caches. Je moet de write cache op je drives uit zetten, als je dat al kunt. Een hardware RAID controller heeft vaak een eigen write cache met battery backup. (Erg goed voor de performance van writes) en zet de cache op de drives uit.
• Management. De betere RAID kaarten (en daarmee bedoel ik dus goede kaarten en niet van die flutdingen van highpoint ofzo) hebben management apps waarmee je netjes een e-mail of SNMP trap krijgt zodra er iets aan de hand is. Afhankelijk van je server pakt dat ook nog de rest van je server mee, dus als je tweede voeding eruit klapt: e-mailtje.

Dat laatste is strict gezien met software raid natuurlijk ook wel te doen, maar dat kost een boel moeite en is imo een stuk minder betrouwbaar. En zoals ik al zei, ik heb 't bij 'hardware raid' dus niet over highpoint rocketraid en andere flutzaken, maar over fatsoenlijke controllers. Ik ben zelf erg gecharmeerd van hp's SmartArray controllers en over Areca heb ik ook veel goeds gehoord (maar zelf te weinig ervaring mee).

[Verwijderd]

CyBeR schreef op vrijdag 16 maart 2007 @ 18:32:
[...]


Ik niet. Om een aantal redenen:

• Performance. Met RAID 1 gaat 't nog wel idd, maar zodra je RAID 5 of 6 gebruikt gaat dat flink omlaag of ten koste van je apps. Iets wat sowieso vaak gebeurt trouwens bij veel controllers, zelfs zonder RAID. Haal je wel 40MB/sec van je schijven af maar dan komt ook geen enkele andere app aan beurt om iets te doen.

We gebruiken hier geen RAID5 of 6, strict RAID1, en zelfs de duurste RAID controllers halen hier niet veel hogere snelheden dan Software RAID op een snelle CPU.
Logisch, 2.66 Ghz kan veel meer RAID berekeningen doen dan de 400 Mhz XScale op je RAID kaart.

• Hot-swap. Alle hardware RAID kaarten kunnen zonder moeite drives hot-swappen. De gemiddelde non-raid controller moet daar niets van hebben. SATA controllers kunnen 't fysiek wel aan (ze gaan niet kapot als je 't doet) maar hebben wel een reboot nodig voor je een nieuwe drive kunt initialiseren.

SATAII schijnt dit wel te kunnen, nog niet getest though.
Maakt ook niet heel veel uit, we hebben het hier over een mailserver die slechts ontvangt en scanned, opslag vindt ergens anders plaats, deze machine mag dus best een minuut uit de lucht.

• Write Caches. Je moet de write cache op je drives uit zetten, als je dat al kunt. Een hardware RAID controller heeft vaak een eigen write cache met battery backup. (Erg goed voor de performance van writes) en zet de cache op de drives uit.

Wist ik niet, nooit gedaan, haal toch echt 68 MB/s constant vanaf 2 SATA schijfjes.

• Management. De betere RAID kaarten (en daarmee bedoel ik dus goede kaarten en niet van die flutdingen van highpoint ofzo) hebben management apps waarmee je netjes een e-mail of SNMP trap krijgt zodra er iets aan de hand is. Afhankelijk van je server pakt dat ook nog de rest van je server mee, dus als je tweede voeding eruit klapt: e-mailtje.

Goh, je beschrijft zojuist exact de werking van mdadm.
"apt-get install mdadm" en klaar.
Kan het simpeler?
Ik moet de eerste management tool voor Linux nog tegen komen die meer kan dan mdadm.

Je verhaal is leuk, maar het is in DEZE situatie niet van toepassing.
Ik zou er eigenlijk ook niet op moeten reageren, maar ik hou van discussies.

[CyBeR]

Verwijderd schreef op vrijdag 16 maart 2007 @ 18:37:
[...]

Wist ik niet, nooit gedaan, haal toch echt 68 MB/s constant vanaf 2 SATA schijfjes.

Die write cache moet niet uit vanwege de performance, maar omdat je anders bij een powerfailure bijna gegarandeerd met een inconsistente array zit. Dat gaat om data die wel naar de drive gestuurd is maar die de drive nog niet daadwerkelijk naar disk heeft geschreven, maar die dus nog in z'n geheugen zit.

Goh, je beschrijft zojuist exact de werking van mdadm.
"apt-get install mdadm" en klaar.
Kan het simpeler?
Ik moet de eerste management tool voor Linux nog tegen komen die meer kan dan mdadm.

HP's monitoring utilities pakken de complete health van de server mee. Toegegeven, mdadm was'k vergeten. (Ooit wel 's gebruikt, maar niet op die manier.) Alle A-merk serverfabrikanten hebben dat soort spul, voor meerdere platforms waaronder linux.

Je verhaal is leuk, maar het is in DEZE situatie niet van toepassing.

Tsja, 't is per situatie anders natuurlijk. Maar over het algemeen heb ik liever een betrouwbare oplossing die enigszins ondersteund wordt.

[ Voor 7% gewijzigd door CyBeR op 16-03-2007 18:55 ]

[Verwijderd]

CyBeR schreef op vrijdag 16 maart 2007 @ 18:55:
[...]


Die write cache moet niet uit vanwege de performance, maar omdat je anders bij een powerfailure bijna gegarandeerd met een inconsistente array zit. Dat gaat om data die wel naar de drive gestuurd is maar die de drive nog niet daadwerkelijk naar disk heeft geschreven, maar die dus nog in z'n geheugen zit.

Volgens mij is dat precies waar ze internal bitmaps voor uitgevonden hebben (mdadm /dev/X -Gb internal), in combinatie met write-through. Op die manier kan er nooit iets in het cache blijven staan bij een uitval.

[thund3rball]

[Edit] ik was veel te laat met reageren

[ Voor 95% gewijzigd door thund3rball op 16-03-2007 21:16 ]