SMTP over SSH tunnel

[Keeper of the Keys]

Ik heb een thuis servertje staan en wil daarop (web)mail gaan doen voor mijn eigen domein, helaas kan ik van dat IP adres geen mail gaan verzenden, omdat de range zal zijn geblacklist als zijnde niet-server IP gebieden en waarschijnlijk ook omdat de provider het niet toestaat (zo was het tenminste in het verleden).

Mijn idee is om een licht gewicht vps te huren bij iets als linode/digital ocean en dan met een SSH tunnel de poort 25 van het "koshere" IP adres aan mijn thuis server hangen.

(Waarom niet meteen mijn hele mail gebeuren op de VPS gooien?
1. Ik wil mijn communicatie liever opslaan op een locatie die in eigen beheer is ander kan ik net zo goed bij gmail blijven. [miss. een beetje paranoide]
2. om vergelijkbare opslag ruimte te krijgen ben je veen meer geld kwijt)

Op zich heb ik er een paar artikeltjes over gevonden en het klinkt alsof ik niet de eerste ben die dit wil doen maar ik heb toch enorm het gevoel dat ik misschien iets over het hoofd zie waardoor dit toch niet zou werken.

Aangezien dit neem ik aan een iets vaker voorkomend scenario zou kunnen zijn in NL (met vaste thuis IPs waar mensen een thuis servertje achter hangen) hoop ik ervaringen te horen.

Webmail interface wordt waarschijnlijk Nextcloud, postfix voor SMTP en heb nu al courier draaien voor IMAP.

Bronnen:
https://debian-administra...487/SMTP_via_a_SSH_tunnel
https://techsoftcenter.com/how-to-smtp-over-an-ssh-tunnel/
https://p5r.uk/blog/2017/smtp-via-ssh-tunnel.html

[Room42]

Het kan vast, maar het is een beetje overkill. Je kunt:
• Gewoon de SMTP-server op je VPS inrichten dat ie alleen verkeer van jou accepteert (authenticated).
• TLS configureren op de server en dan jouw lokale mailserver de VPS-server als relay gebruiken.

Of, en dat is veel logischer, de SMTP-server van je provider gebruiken als relay. Dan heb je ook geen eigen VPS nodig.

Als derde optie kun je ook nog een relay huren. Volgens mij kan https://www.mailgun.com/pricing dat.

[ Voor 6% gewijzigd door Room42 op 17-04-2020 02:55 ]

[_JGC_]

Houd er rekening mee dat die goedkope VPS boeren ook hele ranges op blacklists hebben staan. Ik heb zelf een VPS bij TransIP, sta nergens op een blacklist, maar alles wat je richting Microsoft stuurt wordt gemarkeerd als spam. Reden: IP reputatie.

[Spierenburg]

_JGC_ schreef op vrijdag 17 april 2020 @ 05:31:
Houd er rekening mee dat die goedkope VPS boeren ook hele ranges op blacklists hebben staan. Ik heb zelf een VPS bij TransIP, sta nergens op een blacklist, maar alles wat je richting Microsoft stuurt wordt gemarkeerd als spam. Reden: IP reputatie.

Heb ook meerdere VPS's bij transip. Sommige ip-ranges staan zeker wel op de blacklist van microsoft. (outlook.com)

[Spierenburg]

Topic gericht, stop hiermee. je bereikt hier niks mee.

[Spierenburg]

2. om vergelijkbare opslag ruimte te krijgen ben je veen meer geld kwijt


4.20 p/m

https://products.office.c...ness-essentials?market=nl

1TB opslag + 50gb mailbox + onbeperkt gedeelde postvakken van 100gb

[ Voor 19% gewijzigd door Spierenburg op 17-04-2020 06:02 ]

[TwArbo]

_JGC_ schreef op vrijdag 17 april 2020 @ 05:31:
Houd er rekening mee dat die goedkope VPS boeren ook hele ranges op blacklists hebben staan. Ik heb zelf een VPS bij TransIP, sta nergens op een blacklist, maar alles wat je richting Microsoft stuurt wordt gemarkeerd als spam. Reden: IP reputatie.

Spierenburg schreef op vrijdag 17 april 2020 @ 05:53:
[...]


Heb ook meerdere VPS's bij transip. Sommige ip-ranges staan zeker wel op de blacklist van microsoft. (outlook.com)

Je kunt het mailplatform van TransIP ook gebruiken als relay op je VPS. Zie hun uitleg: https://www.transip.nl/kn...ps-mailservice-instellen/

[_JGC_]

@TwArbo Die maildienst staat ook van tijd tot tijd op een blacklist.

Wat dat betreft heeft Microsoft gewoon macht: half zakelijk bedrijfsleven zit bij Microsoft, dus als je je mail niet kunt afleveren om wat voor domme policy dan ook, kan je maar beter ook naar dat platform...

[Paul]

Heb je al geprobeerd te relayen via de smarthost van je provider? Volgens mij staan de meeste providers relay toe als je inlogt.

https://www.ziggo.nl/klan...e-mail/serverinstellingen
https://www.kpn.com/servi...l/instellen-laptop-pc.htm (en dan imap openvouwen)

[Keeper of the Keys]

Hoe zou ik mail accepteren voor mijn domein via de smarthost van de provider? Dan zou ik toch alleen kunnen sturen en niets ontvangen....

Wat betreft Office365 prijs dat is juist de stijl dienst waar ik niet aan wil, ik wil alles in eigen beheer dus dan kom je uit bij een mail server draaien op een VPS en dan kost opslag heel wat meer.

[pennywiser]

Waarom gebruik je niet de smtp van je isp thuis als smarthost?

Paul schreef op vrijdag 17 april 2020 @ 09:27:
Heb je al geprobeerd te relayen via de smarthost van je provider? Volgens mij staan de meeste providers relay toe als je inlogt.

https://www.ziggo.nl/klan...e-mail/serverinstellingen
https://www.kpn.com/servi...l/instellen-laptop-pc.htm (en dan imap openvouwen)

Je zit binnen hetzelfde subnet, dus waarschijnlijk inloggen niet eens nodig.

Keeper of the Keys schreef op vrijdag 17 april 2020 @ 09:32:
Hoe zou ik mail accepteren voor mijn domein via de smarthost van de provider? Dan zou ik toch alleen kunnen sturen en niets ontvangen....

Klopt en dit gaat dan ook bij mijzelf al jaren goed. Verschillende isps. Uitsturen via smarthost isp, ontvangen via dns op je isp ip.

Je kan ook nog een ec2 via aws free tier inrichten, dan heb je komende jaar een vps.

[ Voor 109% gewijzigd door pennywiser op 17-04-2020 09:40 ]

[_Apache_]

Room42 schreef op vrijdag 17 april 2020 @ 02:54:

Als derde optie kun je ook nog een relay huren. Volgens mij kan https://www.mailgun.com/pricing dat.

Mailgun, mailjet, sendgrid.. Dat soort alternatieven.. vaak nog gratis ook (tot 10k mails / maand oid)

Je krijgt dan de extra mogelijkheid om (bijv Sendgrid en Mailjet hebben dit) om te zien of een mail uberhaupt geopent is, in de spam terecht gekomen is, of waarom het eea gebounced is. Iets wat je vaak niet (of niet zo snel) vanuit je eigen relay kunt zien.
En om je 'reputatie' te beschermen kan Sendgrid mails ophouden bij eerder geaddresseerden die eerder gebounced zijn, om te voorkomen dat de ontvangende mailserver je gaat markeren als spammer. Handig stukje service.

[ Voor 44% gewijzigd door _Apache_ op 17-04-2020 09:41 ]

[Paul]

Keeper of the Keys schreef op vrijdag 17 april 2020 @ 09:32:
Dan zou ik toch alleen kunnen sturen en niets ontvangen....

Dat was ook je vraag

Keeper of the Keys schreef op vrijdag 17 april 2020 @ 02:48:
Ik heb een thuis servertje staan en wil daarop (web)mail gaan doen voor mijn eigen domein, helaas kan ik van dat IP adres geen mail gaan verzenden

De uitgaande mailserver en de binnenkomende mailserver hoeven niet dezelfde server te zijn. Poort 25 staat inbound (dus om te ontvangen) volgens mij eigenlijk altijd wel open, en volgens mij doen er niet zo veel mensen (als ze er überhaupt al zijn) checks op het IP-adres van de ontvangende mailserver. Men is vooral benieuwd naar de afzender (SPF, DMARC, DKIM). Je moet dus wel kijken hoe je die records aan moet passen om uitgaande mail via je provider niet te laten blokkeren.

Als je wel een VPS wil draaien (bijvoorbeeld omdat inbound 25 toch dicht staat) dan is een supersimpele exim of postfix config genoeg: vul in voor welke domeinen je mail wil ontvangen en geef aan waar die naartoe moeten worden verstuurd. Dat laatste bijvoorbeeld in Postfix, in /etc/postfix/transport:

code:

maildomein.com    smtp:[thuis.keeperofthekeys.com:2025]

mail voor maildomein.com moet naar thuis.keeperofthekeys.com op poort 2025.

pennywiser schreef op vrijdag 17 april 2020 @ 09:35:
Je zit binnen hetzelfde subnet, dus waarschijnlijk inloggen niet eens nodig.

Ik zie in de handleidingen van Ziggo en KPN staan dat je username/password moet gebruiken. Het kan zijn dat dit is om te voorkomen dat mensen met smartphones of tablets opbellen dat het niet werkt (...omdat wifi uit staat of ze niet thuis zijn...) maar het kan ook zijn dat ze het simpelweg voor iedereen verplichten tegenwoordig.

[pennywiser]

Paul schreef op vrijdag 17 april 2020 @ 10:04:
[...]
Ik zie in de handleidingen van Ziggo en KPN staan dat je username/password moet gebruiken. Het kan zijn dat dit is om te voorkomen dat mensen met smartphones of tablets opbellen dat het niet werkt (...omdat wifi uit staat of ze niet thuis zijn...) maar het kan ook zijn dat ze het simpelweg voor iedereen verplichten tegenwoordig.

Als je normaal met Outlook op je huisaansluiting/ip geen smtp authenticatie hoeft toe te passen hoeft dat nu met een uitgaande smtp server op dat ip ook niet. Maar kan inderdaad zijn van wel.

[Keeper of the Keys]

pennywiser schreef op vrijdag 17 april 2020 @ 09:35:

Klopt en dit gaat dan ook bij mijzelf al jaren goed. Verschillende isps. Uitsturen via smarthost isp, ontvangen via dns op je isp ip.

Je kan ook nog een ec2 via aws free tier inrichten, dan heb je komende jaar een vps.

Ik dacht me te herinneren dat samen met de verplichting een smarthost te gebruiken inkomend poort 25 verkeer ook was geblokkeerd, kennelijk niet ga dat zeker even checken voor mijn provider.

[pennywiser]

Keeper of the Keys schreef op vrijdag 17 april 2020 @ 10:14:
[...]


Ik dacht me te herinneren dat samen met de verplichting een smarthost te gebruiken inkomend poort 25 verkeer ook was geblokkeerd, kennelijk niet ga dat zeker even checken voor mijn provider.

Draait het al?

code:

telnet ipadres 25

[valkenier]

Ik heb het zo. Domein met beetje hosting bij vimexx. Kost weinig. MX record naar mijn thuis postfix (inkomend poort 25 is gewoon open bij Ziggo, tenminste bij een modem in bridge) Uitgaand doet mijn postfix een relay submission naar vimexx, en die koppen de mail het web op. Dit gaat met authenticatie op poort 587. Vimexx gooit er ook de juiste DKIM sleutel in.
SPF en DMARC heb ik strak afgeregeld. Het werkt als een trein.
Uitgaand doe ik dus via relay omdat 25 uitgaand dicht staat bij Ziggo, behalve naar hun eigen servers, en omdat verzenden vanaf een dynamisch IP toch meestal ellende oplevert. Ik relay dus niet via de Ziggo smtp, maar misschien kan dat wel. Ik weet niet goedkomt met DKIM. Die zul je dan zelf al moeten toevoegen op je eigen mailserver.

[CurlyMo]

Hier hetzelfde als wat @valkenier beschrijft. Dus een email relay via een externe partij.

Voor alleen email relay ben je bij de meeste hosters al snel zo'n € 1,- per maand kwijt. Bij bHosted vond ik echter een vrij compleet pakket voor € 7,26 per jaar: https://www.bhosted.nl/webhosting/email-only

Geen aandelen verder

[Wim-Bart]

Ik zit bij Ziggo en mijn mail komt gewoon rechtstreeks binnen op poort 25. Heb 2 mx records, hoogste prio wijst naar externe ip adres van mijn internet verbinding, 2e naar Catchall bak van mijn vps die om de minuut leeg gehaald wordt. Op de laatste komt eigenlijk nooit mail binnen omdat die een lagere prio heeft. Versturen doe ik via smart host van Ziggo.

[nero355]

Keeper of the Keys schreef op vrijdag 17 april 2020 @ 09:32:
Hoe zou ik mail accepteren voor mijn domein via de smarthost van de provider? Dan zou ik toch alleen kunnen sturen en niets ontvangen...

Het is alweer effe geleden, maar bij KPN was het volgens mij zoiets destijds :

- smarthost.kpn.nl of iets dergelijks voor uitgaande e-mail.
- mailrelay.kpn.nl of iets dergelijks voor inkomende e-mail.

Waarbij je vervolgens zoiets doet met je e-mail records van je domein :

A Record - jouwhost.domein.nl
MX Record - 10 mailrelay.kpn.nl
MX Record - 20 jouwhost.domein.nl

Zo ging de e-mail richting jouw domein eerst naar de mailrelay en daarna wordt het dus bij jouw e-mail server afgeleverd!

_{Disclaimer : Het is iets van 15 jaar geleden dat ik dit deed dus dit verhaal zou incompleet kunnen zijn!}

Deze guide stelt weer het omgekeerde voor : https://unix.antiperfect.org/networking/smtpemail/
Maar daarin moet je het in elk geval zoeken

Ik moet je wel waarschuwen : Het levert meer ellende op dan je zou denken in eerste instantie!
Dus overweeg eens gewoon om ergens een cheapass servertje te huren en alles daarop te doen

[vanaalten]

@Keeper of the Keys, het helpt wellicht als je ook je provider hier noemt, want de oplossing kan per provider anders zijn. Voor Ziggo inderdaad wat @Wim-Bart al beschrijft: rechtstreeks ontvangen en zenden via de Ziggo smarthost.

[Keeper of the Keys]

Wij zitten bij tele2 (nog sinds zonnet), heb nog geen tijd gehad om 25 door te sturen naar de server om dit te testen.

Heel erg bedankt voor alle goede info hier

[ Voor 17% gewijzigd door Keeper of the Keys op 30-04-2020 08:29 ]

[staticint]

Ik heb mijn SMTP-server op een VPS draaien. En omdat ik ook liever mijn mail in eigen beheer opsla, gaat de communicatie tussen de SMTP- en de IMAP-server via LMTP over een permanente SSH-tunnel naar mijn huis.

Mijn internet/stroom/server thuis knalt er vaker uit dan mij lief is, dus wat dat betreft wel fijn dat de VPS de binnenkomende mailtjes cached.

[nero355]

staticint schreef op vrijdag 1 mei 2020 @ 07:34:
Mijn internet/stroom/server thuis knalt er vaker uit dan mij lief is, dus wat dat betreft wel fijn dat de VPS de binnenkomende mailtjes cached.

Zou je daar dan niet eens naar laten kijken door iemand

[staticint]

nero355 schreef op vrijdag 1 mei 2020 @ 18:54:
[...]

Zou je daar dan niet eens naar laten kijken door iemand

Haha, niet allemaal tegelijk hoor. Buiten dat is het ook hobby, dus een VPS met Postfix in elkaar knutselen is ook gewoon leuk. Nu kan ik bijvoorbeeld ook bepaalde headers eruit slopen voordat mijn mailtjes het grote boze internet opgaan.

offtopic:
Even een klein lijstje:

• ISP onderhoud -> externe ip-adres gewijzigd (wat zou resulteren in niet kloppende MX-records
• ISP mailt mij de nieuwe instellingen van mijn abonnement nadat ze het omgezet hebben. (Je weet wel naar die mail server bij mij thuis)
• Fik in transformatorhuis hier in de buurt
• Spanningspiek gehad of iets dergelijk waardoor hoofdschakelaar eruit vloog. UPS had daarna kuren wat resulteerde in reboot eens per maand bij self test
• ESXi 6.7U2 had een bug waardoor de server op 100% cpu ging lopen eens in de zoveel tijd
• ESXi 6.7U3 heeft deze bug niet, maar die had weer problemen met de em-netwerkdriver in FreeBSD waardoor de connectie met de storage eruit klapte bij hoge load. (Midden in de nacht dus bij het backuppen... Opgelost met vtnet driver, maar voordat ik erachter was, was ik een paar dagen verder)

[valkenier]

staticint schreef op vrijdag 1 mei 2020 @ 07:34:
Ik heb mijn SMTP-server op een VPS draaien. En omdat ik ook liever mijn mail in eigen beheer opsla, gaat de communicatie tussen de SMTP- en de IMAP-server via LMTP over een permanente SSH-tunnel naar mijn huis.

Mijn internet/stroom/server thuis knalt er vaker uit dan mij lief is, dus wat dat betreft wel fijn dat de VPS de binnenkomende mailtjes cached.

Klinkt als leuke setup. Hoe heb je dat precies gedaan? Waar draait je VPS? En hoe loopt je verkeer nou precies? Ben benieuwd naar een iets uitgebreidere uitleg.

[pennywiser]

nero355 schreef op woensdag 29 april 2020 @ 20:59:
[...]

Het is alweer effe geleden, maar bij KPN was het volgens mij zoiets destijds :

- smarthost.kpn.nl of iets dergelijks voor uitgaande e-mail.
- mailrelay.kpn.nl of iets dergelijks voor inkomende e-mail.

Waarbij je vervolgens zoiets doet met je e-mail records van je domein :

A Record - jouwhost.domein.nl
MX Record - 10 mailrelay.kpn.nl
MX Record - 20 jouwhost.domein.nl

Zo ging de e-mail richting jouw domein eerst naar de mailrelay en daarna wordt het dus bij jouw e-mail server afgeleverd!

_{Disclaimer : Het is iets van 15 jaar geleden dat ik dit deed dus dit verhaal zou incompleet kunnen zijn!}

Deze guide stelt weer het omgekeerde voor : https://unix.antiperfect.org/networking/smtpemail/
Maar daarin moet je het in elk geval zoeken

Ik moet je wel waarschuwen : Het levert meer ellende op dan je zou denken in eerste instantie!
Dus overweeg eens gewoon om ergens een cheapass servertje te huren en alles daarop te doen

Dit werkte toen goed, maar werkt niet meer. Poort 25 staat bij KPN nu open inbound.

[staticint]

valkenier schreef op zaterdag 2 mei 2020 @ 12:37:
[...]

Klinkt als leuke setup. Hoe heb je dat precies gedaan? Waar draait je VPS? En hoe loopt je verkeer nou precies? Ben benieuwd naar een iets uitgebreidere uitleg.

Oké, here goes:

Ik draai een combinatie van Postfix, Dovecot en Postgresql. Postfix voor SMTP. Dovecot voor IMAP. Postgresql voor virtuele mailboxen en aliasen.

Postfix:

• Draait op een VPS bij PCextreme.
• Debian stable
• Heeft via postmulti 3 Postfix instances
• instantie 1: null client voor mails van de host zelf (foutmeldingen, update meldingen, etc.)
• instantie 2: luistert op poort 25 naar inkomende mails (STARTTLS optioneel)
• instantie 3: luistert op poort 587 naar mails van SASL geauthenticeerde clients (STARTTLS geforceerd)
• DKIM signing via opendkim
• spam filtering via spamassassin i.c.m. spampd
• Stuurt mails met mijn domeinen als eindbestemming via LMTP naar Dovecot (zie hieronder)

Dovecot:

• Draait bij mij thuis als VM
• Debian stable
• Luistert op localhost naar inkomende LMTP verbindingen (zie hieronder)
• Eigenlijk best wel standaard configuratie

Postgresql:

• Draait zowel op de VPS als thuis in VM
• Instantie thuis: master voor virtuele domeinen/mailboxen/aliasen
• Instantie op VPS: spamassassin bayes database, replicatie voor virtuele domain/mailboxen/aliasen

Communicatie tussen Postfix en Dovecot verloopt via een Python script dat een SSH-tunnel in de lucht houdt. Op de VPS luistert de tunnel op localhost poort X. Dovecot luistert op de VM thuis op localhost poort Y. De tunnel staat alleen verbindingen van X naar Y toe. De configuratie van Postfix en Dovecot zijn hetzelfde als wanneer je ze allebei op dezelfde server zou draaien. Postfix stuurt naar localhost, Dovecot ontvangt op localhost. Het verschil is dus dat er een SSH-tunnel tussen zit en ze allebei op andere locatie draaien.

code:

virtual_transport = lmtp:inet:127.0.0.1:5687

code:

service lmtp {
  unix_listener lmtp {
    #mode = 0666
  }

  # Create inet listener only if you can't use the above UNIX socket
  inet_listener lmtp {
    # Avoid making LMTP visible for the entire internet
    address = 127.0.0.1
    port = 5687
  }
}

Dit is mijn setup in grote lijnen. Uiteraard heeft iedere setup zo zijn eigen details, zo ook de mijne. Mocht iemand interesse hebben hoor ik het wel

[ Voor 3% gewijzigd door staticint op 02-05-2020 13:53 ]

[Compizfox]

Keeper of the Keys schreef op vrijdag 17 april 2020 @ 09:32:
Hoe zou ik mail accepteren voor mijn domein via de smarthost van de provider? Dan zou ik toch alleen kunnen sturen en niets ontvangen....

Niet, maar dat hoeft ook niet. Mail ontvangen kan altijd direct zonder problemen, het is het versturen waarbij je (in sommige gevallen) tegen problemen aanloopt.

Keeper of the Keys schreef op vrijdag 17 april 2020 @ 10:14:
[...]
Ik dacht me te herinneren dat samen met de verplichting een smarthost te gebruiken inkomend poort 25 verkeer ook was geblokkeerd, kennelijk niet ga dat zeker even checken voor mijn provider.

Dat heb ik nog nooit gezien. Zou wat zijn, er is namelijk geen enkele valide reden voor je ISP om poort 25 inkomend te blokkeren.

[ Voor 34% gewijzigd door Compizfox op 02-05-2020 14:31 ]

[valkenier]

@staticint Dank voor je toelichting. Mooi uitgedacht.