[Exchange 2010] Port 25 niet meer bereikbaar

[DaVaRiOuS]

Op een SBS 2011 server met Exchange 2010 heeft de Exchange server voor lange tijd zonder problemen gewerkt.
Uit het niets bleek dat er geen mail meer binnen kwam en na testen blijkt dat zowel extern als intern (op de server zelf) via telnet port 25 niet te bereiken is.

Zodra ik de Exchange Transport service wil herstarten, dan blijft die ook hangen op 'Stopping'.
Je kan deze service niet killen (sc queryex <pid nummer>).
Dan geeft die ook aan dat het process niet bestaat aangezien deze service niet als proces draait. Ik ben dan dus verplicht de server te herstarten.

Na de herstart van de server werkt alles weer.

In de logs kan ik ook niets vinden dat aanleiding geeft waar deze storing vandaan komt.
In het services overzicht zie ik ook alle Exchange services gestart staan. Echter lijkt het erop dat de Exchange Transport service toch blijft hangen, ook al staat deze op de status 'Started'.

Ook de Exchange management tool en powershell werken normaal.

[Brahiewahiewa]

En die Exchange Transport Service schrijft niets in het event log?
Ook niet als je het debuglevel omhoog gooit?

[Jazzy]

Ik kan me haast niet voorstellen dat je niets relevants ziet in het System en Application log.

[DaVaRiOuS]

Op internet lees ik vooral over firewall issues, echter is er niets veranderd op de firewall.
Ook als ik deze helemaal uit zet blijft het probleem optreden.

Uit onderstaand haal ik dat er geen verbinding gemaakt kan worden, maar zover was ik ook al.
Hieruit kan ik niet halen waar dit hem dan in zit.

PS: Er draaien ook 2 mailboxen die worden opgehaald middels pop3 (omdat deze mailboxen bij een ISP draaien en er geen mogelijkheid is om de MX direct naar de server toe te zetten).
Deze mailboxen die middels pop3 worden binnen gehaald, blijven wel werken.


Event ID: 1040 (source: MSExchange ActiveSync)
-------------------------
The average of the most recent heartbeat intervals [532] for request [Ping] used by clients is less than or equal to [540].
Make sure that your firewall configuration is set to work correctly with Exchange ActiveSync and direct push technology. Specifically, make sure that your firewall is configured so that requests to Exchange ActiveSync do not expire before they have the opportunity to be processed.

Event ID: 3154 (source: MSExchangeRepl)
-------------------------
Active Manager failed to mount database Public Folder Database 0072941298 on server SBS2011.domain.local. Error: An Active Manager operation failed with a transient error. Please retry the operation. Error: Database action failed with transient error. Error: A transient error occurred during a database operation. Error: MapiExceptionNetworkError: Unable to make admin interface connection to server. (hr=0x80040115, ec=-2147221227)
Diagnostic context:
......
Lid: 12696 dwParam: 0x6D9 Msg: EEInfo: Generation Time: 2015-03-05 12:28:20:963
Lid: 10648 dwParam: 0x6D9 Msg: EEInfo: Generating component: 2
Lid: 14744 dwParam: 0x6D9 Msg: EEInfo: Status: 1753
Lid: 9624 dwParam: 0x6D9 Msg: EEInfo: Detection location: 501
Lid: 13720 dwParam: 0x6D9 Msg: EEInfo: Flags: 0
Lid: 11672 dwParam: 0x6D9 Msg: EEInfo: NumberOfParameters: 4
Lid: 8856 dwParam: 0x6D9 Msg: EEInfo: prm[0]: Unicode string: ncalrpc
Lid: 8856 dwParam: 0x6D9 Msg: EEInfo: prm[1]: Unicode string:
Lid: 12952 dwParam: 0x6D9 Msg: EEInfo: prm[2]: Long val: -1988875570
Lid: 12952 dwParam: 0x6D9 Msg: EEInfo: prm[3]: Long val: 382312662
Lid: 24060 StoreEc: 0x80040115
Lid: 23746
Lid: 31938 StoreEc: 0x80040115
Lid: 19650
Lid: 27842 StoreEc: 0x80040115
Lid: 20866
Lid: 29058 StoreEc: 0x80040115


Event ID: 14001 (source: MSExchangeTransport)
-------------------------
The worker process with process ID 6520 is not responding and will be forced to shut down.

Event ID: 1022 (source: MSExchange ActiveSync)
-------------------------
The connection between the Client Access server and Mailbox server "SBS2011.domain.local" failed. If this event is logged infrequently or only during scheduled downtime for a Mailbox server, no user action is required. If this event occurs repeatedly, check network connectivity using PING or PingPath. Also, check connectivity using the Test-ActiveSyncConnectivity cmdlet. More information:

Microsoft.Exchange.Data.Storage.ConnectionFailedTransientException: Cannot open mailbox /o=First Organization/ou=Exchange Administrative Group (FYDIBOHF23SPDLT)/cn=Recipients/cn=mailbox3b0. ---> Microsoft.Mapi.MapiExceptionLogonFailed: MapiExceptionLogonFailed: Unable to make connection to the server. (hr=0x80040111, ec=-2147221231)
Diagnostic context:
Lid: 47655 EMSMDBPOOL.EcPoolCreateSession called [length=297]
Lid: 64039 EMSMDBPOOL.EcPoolCreateSession returned [ec=0x80040111][length=94][latency=0]
Lid: 41073 StoreEc: 0x80040111
Lid: 48243
Lid: 50033 StoreEc: 0x80040111
Lid: 1494 ---- Remote Context Beg ----
Lid: 64445
Lid: 60989 StoreEc: 0x8004010F
Lid: 61373
Lid: 24684
Lid: 20076 StoreEc: 0x80040111
Lid: 57713 StoreEc: 0x80040111
Lid: 49009 StoreEc: 0x80040111
Lid: 1750 ---- Remote Context End ----
Lid: 52465 StoreEc: 0x80040111
Lid: 60065
Lid: 33777 StoreEc: 0x80040111
Lid: 59805
Lid: 52209 StoreEc: 0x80040111
Lid: 56583
Lid: 52487 StoreEc: 0x80040111
Lid: 19778
Lid: 27970 StoreEc: 0x80040111
Lid: 17730
Lid: 25922 StoreEc: 0x80040111
at Microsoft.Mapi.MapiExceptionHelper.ThrowIfError(String message, Int32 hresult, SafeExInterfaceHandle iUnknown, Exception innerException)
at Microsoft.Mapi.ExRpcConnection.Create(ConnectionCache connectionCache, ExRpcConnectionCreateFlag createFlags, ConnectFlag connectFlags, String serverDn, String userDn, String user, String domain, String password, String httpProxyServerName, Int32 ulConMod, Int32 lcidString, Int32 lcidSort, Int32 cpid, Int32 cReconnectIntervalInMins, Int32 cbRpcBufferSize, Int32 cbAuxBufferSize, Client xropClient, Byte[] clientSessionInfo, TimeSpan connectionTimeout)
at Microsoft.Mapi.MapiStore.OpenMapiStore(String serverDn, String userDn, String mailboxDn, Guid guidMailbox, Guid guidMdb, String userName, String domainName, String password, String httpProxyServerName, ConnectFlag connectFlags, OpenStoreFlag storeFlags, CultureInfo cultureInfo, Boolean wantRedirect, String& correctServerDN, ClientIdentityInfo clientIdentity, String applicationId, Client xropClient, Boolean wantWebServices, Byte[] clientSessionInfo, TimeSpan connectionTimeout)
at Microsoft.Mapi.MapiStore.OpenMailbox(String serverDn, String userDn, String mailboxDn, String userName, String domainName, String password, ConnectFlag connectFlags, OpenStoreFlag storeFlags, CultureInfo cultureInfo, WindowsIdentity windowsIdentity, String applicationId)
at Microsoft.Exchange.Data.Storage.MailboxSession.ForceOpen(MapiStore linkedStore)
--- End of inner exception stack trace ---
at Microsoft.Exchange.Data.Storage.MailboxSession.ForceOpen(MapiStore linkedStore)
at Microsoft.Exchange.Data.Storage.MailboxSession.Initialize(MapiStore linkedStore, LogonType logonType, ExchangePrincipal owner, DelegateLogonUser delegateUser, Object identity, OpenMailboxSessionFlags flags, GenericIdentity auxiliaryIdentity)
at Microsoft.Exchange.Data.Storage.MailboxSession.<>c__DisplayClass12.<CreateMailboxSession>b__10(MailboxSession mailboxSession)
at Microsoft.Exchange.Data.Storage.MailboxSession.InternalCreateMailboxSession(LogonType logonType, ExchangePrincipal owner, CultureInfo cultureInfo, String clientInfoString, IAccountingObject budget, Action`1 initializeMailboxSession, InitializeMailboxSessionFailure initializeMailboxSessionFailure)
at Microsoft.Exchange.Data.Storage.MailboxSession.CreateMailboxSession(LogonType logonType, ExchangePrincipal owner, DelegateLogonUser delegateUser, Object identity, OpenMailboxSessionFlags flags, CultureInfo cultureInfo, String clientInfoString, PropertyDefinition[] mailboxProperties, IList`1 foldersToInit, GenericIdentity auxiliaryIdentity, IAccountingObject budget)
at Microsoft.Exchange.Data.Storage.MailboxSession.ConfigurableOpen(ExchangePrincipal mailbox, MailboxAccessInfo accessInfo, CultureInfo cultureInfo, String clientInfoString, LogonType logonType, PropertyDefinition[] mailboxProperties, InitializationFlags initFlags, IList`1 foldersToInit, IAccountingObject budget)
at Microsoft.Exchange.Data.Storage.MailboxSession.Open(ExchangePrincipal mailboxOwner, WindowsPrincipal authenticatedUser, CultureInfo cultureInfo, String clientInfoString, Boolean wantCachedConnection)
at Microsoft.Exchange.Data.Storage.MailboxSession.Open(ExchangePrincipal mailboxOwner, WindowsPrincipal authenticatedUser, CultureInfo cultureInfo, String clientInfoString)
at Microsoft.Exchange.AirSync.Command.OpenMailboxSession(AirSyncUser user, Boolean shouldUseBudget)
at Microsoft.Exchange.AirSync.Command.WorkerThread()

[Jazzy]

DaVaRiOuS schreef op donderdag 05 maart 2015 @ 15:24:
Event ID: 14001 (source: MSExchangeTransport)
-------------------------
The worker process with process ID 6520 is not responding and will be forced to shut down.

Stop de serverice eens als die nog niet gestopt is, en pas dan de naam van deze folder eens aan: %ExchangeInstallPath%TransportRoles\data\Queue Reboot de server of start de service weer en kijk maar eens of het dan weer werkt.

[DaVaRiOuS]

Jazzy schreef op donderdag 05 maart 2015 @ 15:30:
[...]

Stop de serverice eens als die nog niet gestopt is, en pas dan de naam van deze folder eens aan: %ExchangeInstallPath%TransportRoles\data\Queue Reboot de server of start de service weer en kijk maar eens of het dan weer werkt.

Ik zal dat eens uitvoeren.
Het is helaas niet direct zichtbaar of dit zal werken.

Als de server is herstart, dan kan het zomaar zijn dat het een week of een maand goed draait en dan de storing weer boven water komt.
Het is dan dus 'geduld' hebben.

[Jazzy]

Mmm, lastig. Ben je bij met updates en service packs verder?

[DaVaRiOuS]

Jazzy schreef op donderdag 05 maart 2015 @ 15:39:
Mmm, lastig. Ben je bij met updates en service packs verder?

Ja alle updates en SP van exchange zijn ook up-to-date.

[StarWing]

Probeert er geen ander process poort 25 in te nemen ?

[DaVaRiOuS]

StarWing schreef op donderdag 05 maart 2015 @ 16:36:
Probeert er geen ander process poort 25 in te nemen ?

Nee, niet dat ik weet of kan zien.

Er is ook geen nieuwe software o.i.d. geïnstalleerd op de server.
Ook al trace / telnet ik op poort 25 op het interne IP van de server zelf of op 127.0.0.1 kom ik nergens op uit.
Blijft proberen verbinding te zoeken / maken maar gebeurd niets.

[StarWing]

wat geeft een netstat -anb op het moment van de fout ? Zo kan je zien of een andere process je poort ingenomen heeft.

[Jazzy]

Tip:

code:

netstat -anb | findstr :25

[DaVaRiOuS]

TCP 127.0.0.1:25 0.0.0.0:0 LISTENING
TCP 192.168.94.2:25 0.0.0.0:0 LISTENING
TCP 192.168.94.2:25 192.168.1.250:80 SYN_RECEIVED
TCP 192.168.94.2:25 192.168.1.250:43326 ESTABLISHED

Het zit zo...

192.168.1.254 = KPN modem
Er staat een DHCP IP 192.168.1.250 op MAC van de router op de WAN poort.
Dit omdat de KPN modem in DMZ naar de router staat (vanwege geconfiguratie beperkingen op KPN modem).

Het LAN IP van de router is 192.168.94.1
Het IP van de server is 192.168.94.2

In de oude situatie was het:
KPN modem > server
In deze oude situatie was het probleem er ook al, dus heeft verder niets met deze config te maken.

[ Voor 11% gewijzigd door DaVaRiOuS op 05-03-2015 17:13 ]

[DaVaRiOuS]

Dit is ook al vrij apart...

Als ik de Transport service wil stoppen:

Windows could not stop the Microsoft Exchange Transport service on Local Computer.
Error 1053: The service did not respond to the start or control request in a timely fashion.

En blijft dan wederom op 'Stopping' hangen.

[ Voor 8% gewijzigd door DaVaRiOuS op 05-03-2015 18:30 ]

[StarWing]

Hoe staan je DNS settings ?

[DaVaRiOuS]

IPv4 Address. . . . . . . . . . . : 192.168.94.2(Preferred)
Subnet Mask . . . . . . . . . . . : 255.255.255.0
Default Gateway . . . . . . . . . : fe80::8f3:92ff:fe9b:5d34%11
192.168.94.1
DHCPv6 IAID . . . . . . . . . . . : 248040376
DHCPv6 Client DUID. . . . . . . . : 00-01-00-01-18-5E-41-AD-C8-CB-B8-CC-14-96

DNS Servers . . . . . . . . . . . : fe80::7455:7dd7:b131:d07e%11
192.168.94.2

[DaVaRiOuS]

Dit zijn de stats als de verbinding niet meet werkt:

Microsoft Telnet> open 192.168.94.2 25
Connecting To 192.168.94.2...Could not open connection to the host, on port 25:
Connect failed
Microsoft Telnet> quit

C:\>netstat -abn | findstr :25
TCP 127.0.0.1:25 0.0.0.0:0 LISTENING
TCP 192.168.94.2:25 0.0.0.0:0 LISTENING
TCP 192.168.94.2:25 192.168.1.250:80 SYN_RECEIVED
TCP 192.168.94.2:25 192.168.1.250:34082 CLOSE_WAIT
TCP 192.168.94.2:25 192.168.1.250:36684 CLOSE_WAIT
TCP 192.168.94.2:25 192.168.1.250:59822 CLOSE_WAIT
TCP 192.168.94.2:25 192.168.1.250:60792 CLOSE_WAIT
TCP 192.168.94.2:25 192.168.1.250:60848 CLOSE_WAIT
UDP 192.168.94.2:2535 *:*

C:\>

Ik ben er nu achter dat na het herstarten van de Transport service dat het dan weer werkt.
Maar waardoor dit wordt veroorzaakt is me nog een raadsel.

[ Voor 8% gewijzigd door DaVaRiOuS op 06-03-2015 23:22 ]

[Stephan_jk]

@DaVaRiOuS: Heb jij verder nog iets kunnen ontdekken?

Ik ervaar namelijk hetzelfde probleem. Alleen blijft bij mij de Transport Service hangen als ik deze probeer te stoppen. Na 10 minuten de server maar herstart, waarna het leek te werken. Testmails kwamen binnen. Maar na een aantal uur blijkt dat soms mail binnenkomt, meestal niet. Intern werkt alle goed. Mail gaat ook naar buiten.

Via "netstat -abn | findstr :25" zie ik dat diverse connecties vanaf de provider worden gemaakt en later weer wordt afgesloten. Op één van deze momenten heb ik zelf ook een extern mailtje ontvangen. Maar testmails die ik eerder heb verstuurd komen niet binnen.

update: Als ik vanaf mijn server telnet naar 127.0.0.1 25 dan blijf het scherm zwart. Lijk geen response te krijgen.

update2: Eind van de middag toch maar de server herstart. Daarna druppelde externe mail binnen. Maar helaas niet alles. Blijkbaar zijn er mails in het niets verdwenen...

[ Voor 18% gewijzigd door Stephan_jk op 18-03-2015 17:19 ]

[Piebas]

Mogelijk heb je te weinig free diskspace op c:
Als deze onder een bepaald percentage komt stopt exchange met het ontvangen van mail.
Check ook of je store gemount is.

[Jazzy]

Piebas schreef op zaterdag 21 maart 2015 @ 23:59:
Mogelijk heb je te weinig free diskspace op c:
Als deze onder een bepaald percentage komt stopt exchange met het ontvangen van mail.

Dat is een goed punt, maar bij backpressure reageert de server wel gewoon op poort 25 alleen geeft hij een "452 4.3.1 Insufficient system resources" SMTP fout.

[Piebas]

Ik heb die melding ook gehad, dan was er te weinig vrije ruimte op de c-schijf.
Het maakt dan niet uit dat de store op een ander disk staat.
Ik geloof dat er > 20 % vrije ruimte moet zijn.

[Red Cell]

Niet helemaal. Het gaat om de schijf waar de Transport Queue op staat. Default is dat overigens wel de C: drive. Als best practice verplaatste ik deze queue altijd naar de zelfde disk als waar ik de database had staan. Maar ik zou idd je diskspace even nakijken, 100% zeker dat de issue daar zit.
Overigens check ook even of je niet een open relay bent via o.a. mxtoolbox.com of mailradar.
Misschien is iemand je als een spamrelay aan het gebruiken en loopt daarom je queue vol.

Je kan nog kijken om de diverse queue's te verplaatsen naar een disk met meer ruimte. Op google vind je daar plenty over.

[Trommelrem]

Een wilde gok, maar mijns inziens is het wel een onderdeel van de troubleshooting:

Enige tijd geleden had ik een SBS van een klant overgenomen. De vorige beheerder kreeg een probleem met de mailflow niet opgelost. Daar draaide een Exchange virusscanner op van een derde partij. Nadat de server <random tijd> up was, stopte de mailflow gewoon. Ook die service hing. Ik moest de Transport Service killen, want stoppen ging niet. Geen event logs, geen logs, geen queue in PowerShell te zien. Geen reactie op poort 25. Gewoon helemaal niets.

Na een reboot werkte de mailflow weer een poosje.

Uninstall van de virusscanner bleek de oplossing te zijn
En wat het nog vervelender maakte: de virusscanner gaf helemaal geen errors in de logfiles.

Wat ik dus bedoel te zeggen: Welke third party software heeft invloed op de Exchange services?

[ Voor 7% gewijzigd door Trommelrem op 22-03-2015 14:21 ]

[Red Cell]

Trommelrem schreef op zondag 22 maart 2015 @ 14:17:
Wat ik dus bedoel te zeggen: Welke third party software heeft invloed op de Exchange services?

Even off-topic
Vanaf 2007 was Microsofts intentie dat een AV product zich in het Transport deel van Exchange zou intergreren. Het is de meest logische plaats en naar mijn weten waren er ook API's voor beschikbaar gesteld.

[Fish]

DaVaRiOuS schreef op vrijdag 06 maart 2015 @ 21:07:
Dit zijn de stats als de verbinding niet meet werkt:

Microsoft Telnet> open 192.168.94.2 25
Connecting To 192.168.94.2...Could not open connection to the host, on port 25:
Connect failed
Microsoft Telnet> quit

C:\>netstat -abn | findstr :25
TCP 127.0.0.1:25 0.0.0.0:0 LISTENING
TCP 192.168.94.2:25 0.0.0.0:0 LISTENING
TCP 192.168.94.2:25 192.168.1.250:80 SYN_RECEIVED
TCP 192.168.94.2:25 192.168.1.250:34082 CLOSE_WAIT
TCP 192.168.94.2:25 192.168.1.250:36684 CLOSE_WAIT
TCP 192.168.94.2:25 192.168.1.250:59822 CLOSE_WAIT
TCP 192.168.94.2:25 192.168.1.250:60792 CLOSE_WAIT
TCP 192.168.94.2:25 192.168.1.250:60848 CLOSE_WAIT
UDP 192.168.94.2:2535 *:*

C:\>

Ik ben er nu achter dat na het herstarten van de Transport service dat het dan weer werkt.
Maar waardoor dit wordt veroorzaakt is me nog een raadsel.

start dit zonder de findstr en je ziet welke apllicatie het is die wodt namelijk effectief weggefilterd

[Jazzy]

Red Cell schreef op zondag 22 maart 2015 @ 14:01:
Niet helemaal. Het gaat om de schijf waar de Transport Queue op staat. Default is dat overigens wel de C: drive. Als best practice verplaatste ik deze queue altijd naar de zelfde disk als waar ik de database had staan. Maar ik zou idd je diskspace even nakijken, 100% zeker dat de issue daar zit.

Doe maar even rustig met je 100%. Zoals ik net al zei is de transport service gewoon beschikbaar in geval van back pressure, alleen accepteert hij je mail niet met een SMTP foutcode. De TS kan met telnet geen verbinding meer maken op poort 25, ander issue dus.

Best practice is trouwens om de transport database op het systeemvolume te laten staan.

[ Voor 12% gewijzigd door Jazzy op 22-03-2015 14:50 ]

[Red Cell]

Jazzy schreef op zondag 22 maart 2015 @ 14:49:
[...]
Doe maar even rustig met je 100%. Zoals ik net al zei is de transport service gewoon beschikbaar in geval van back pressure, alleen accepteert hij je mail niet met een SMTP foutcode. De TS kan met telnet geen verbinding meer maken op poort 25, ander issue dus.

Best practice is trouwens om de transport database op het systeemvolume te laten staan.

Ah zie 't al, ik moet met m'n grieperige hoofd niet proberen zinnige posts te schrijven. Ik zit het halve topic verkeerd te lezen. Excuus

[Jazzy]

Beterschap.

[DaVaRiOuS]

Ik heb helaas geen verdere update.
De punten die hierboven zijn genoemd...

Transport service stoppen lukt wel, maar blijft ongeveer een uur op Stopping staan en dan wordt ie uiteindelijk wel gestopt. Daarna kan ik hem weer starten en werkt alles weer.

Op de C harddisk is nog ruim 350GB beschikbaar, dus daar kan het hem niet in zitten.

Omdat de klant er gek van werd dat er steeds geen mail binnen komt, heb ik de mail over de pop connector laten lopen, hiermee zijn geen problemen.

Wat betreft AV, dit kan het naar mijn inziens niet zijn, aangezien er geen geintegreerde spam filter o.i.d. in zit waardoor de AV geen integratie in Exchange heeft. (Trend Micro Worry-Free business standaard, alleen de advanced versie heeft een Exchange integratie).

[Question Mark]

En hoe staat je anti-virus ingesteld. Is dit wel conform best practices? Ik zou niet te snel zaken uit gaan sluiten:

Exchange Server 2010 and Antivirus exclusions

Juist bij anti-virus producten die niet Exchange aware zijn, zou ik heel erg voorzichtig zijn.

[ Voor 15% gewijzigd door Question Mark op 27-03-2015 13:20 ]

[Trommelrem]

DaVaRiOuS schreef op vrijdag 27 maart 2015 @ 11:58:
Ik heb helaas geen verdere update.
De punten die hierboven zijn genoemd...

Transport service stoppen lukt wel, maar blijft ongeveer een uur op Stopping staan en dan wordt ie uiteindelijk wel gestopt. Daarna kan ik hem weer starten en werkt alles weer.

En als je hem geforceerd stopt?
Je zou een PowerShell script kunnen schrijven die hem gewoon geforceerd stopt, en dat script zou je ieder uur kunnen runnen (geen best-practise, maar in geval van nood...).

Omdat de klant er gek van werd dat er steeds geen mail binnen komt, heb ik de mail over de pop connector laten lopen, hiermee zijn geen problemen.

Ik heb onlangs nog een spoedmigratie gedaan naar Office 365. Ook een SBS die faalde en de beheerder kwam er niet uit. Zie het als een sales-kans

[Jazzy]

Als het storend wordt dan kun je ook nog eens een case openen bij Microsoft PSS. Kost je iets van 300 euro maar leidt eigenlijk altijd tot een antwoord, en je leert er zelf ook nog van.