Exchange 2016 mail hangt in queue

[HKLM_]

Deze vraag heeft betrekking op Exchange 2016 On-premises Exchange 2016 CU19 op een windows server 2019 standaard machine. Mijn situatie is dat ik aan het leren ben voor MS-203 en hierbij Exchange On-premises en Exchange Online gebruik. Echter loop ik sinds een week tegen een probleem aan dat is gekomen na het vermoedelijk automatich uitzetten van de NAS van de iscsi disk op stond en mijn VM hard is uit gegaan

Sindsdien kan ik geen mails meer verzenden en ontvangen met exchange. De uitgaande e-mails blijven in de queue hangen. Binnenkomende mail worden volgens de messagentrace van de verzendende partij wel afgeleverd maar ze komen niet in de mailbox.

De Exchange queue op de server geeft aan error: connection dropped due to socketerror

code:

Identity: Exchange\5\115964116995
Subject: Test 3
Internet Message ID: <[e-mail]>
From Address: [e-mail]
Status: Ready
Size (KB): 11
Message Source Name: SMTP:Default EXCHANGE
Source IP: 40.107.22.81
SCL: 0
Date Received: 8-1-2021 19:03:00
Expiration Time: 10-1-2021 19:03:00
Last Error: 
Queue ID: Exchange\5
Recipients:  [e-mail];2;3;[{LED=};{MSG=};{FQDN=};{IP=};{LRT=}];0;CN=database,CN=Databases,CN=Exchange Administrative Group (FYDIBOHF23SPDLT),CN=Administrative Groups,CN=Cloud23,CN=Microsoft Exchange,CN=Services,CN=Configuration,DC=ad,DC=cloud23,DC=nl;0

Ik heb ondertussen veel zitten troubleshooten op google lees ik veel enabled TLS 1.2. Dit staat aan en wordt ook gebruikt. In de message trace van Exchange online zie ik TLS1.2 with AES256 dus dat lijkt wel goed te zitten. Alle e-mails die ik naar mijn EX2016 bak zend hebben onderstaande status.



Ik zag online iets over een corrupte database als mogelijke oorzaak echter komt dit probleem ook voor als ik een nieuwe database aanmaak en de mailbox daarheen move of een nieuwe mailbox op die database aanmaak.

Database events:

De oude database geeft inderdaad onderstaande error

code:

 At '8-1-2021 19:07:36', database copy 'Exchange-DB01' on this server encounted an error. Consult the Event log for "ExchangeStoreDb" or "MSExchangeRepl" events that may identify the specific failure. Recovery wasn't attempted.

De nieuwe database zegt

code:

 Active Manager successfully mounted database database on server Exchange.ad.cloud23.nl.

hier lijkt dus niks mee aan de hand.

De transport service lijkt soms ook te klapperen..

code:

The transport process failed during message processing with the following call stack: System.UnauthorizedAccessException: Access to the registry key 'HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\AssistantsQuarantine\74c44d82-8823-4149-bae1-7076ca788402\MSExchangeDelivery\PoisonControl\PoisonControlComposite' is denied.
   at Microsoft.Win32.RegistryKey.Win32Error(Int32 errorCode, String str)
   at Microsoft.Win32.RegistryKey.CreateSubKeyInternal(String subkey, RegistryKeyPermissionCheck permissionCheck, Object registrySecurityObj, RegistryOptions registryOptions)
   at Microsoft.Win32.RegistryKey.CreateSubKey(String subkey)
   at Microsoft.Exchange.Net.RegistryWriter.CreateSubKey(RegistryKey baseKey, String subkeyName)
   at Microsoft.Exchange.Assistants.QuarantineControl`1.get_RegistryKeyPath()
   at Microsoft.Exchange.Assistants.QuarantineControl`1.ForceRefreshData()
   at Microsoft.Exchange.Assistants.QuarantineControl`1.UpdateCache()
   at Microsoft.Exchange.Assistants.PoisonControlComposite..ctor(Guid databaseGuid, IAggregationStrategy`1 poisonAggregationStrategy, PerformanceCountersPerDatabaseInstance performanceCounters, IQuarantineInfrastructureSettings quarantineSettings)
   at Microsoft.Exchange.Assistants.ItemAssistantRuntimeFactory.<>c.<GetQuarantineControl>b__4_0(Guid guid)
   at System.Collections.Concurrent.ConcurrentDictionary`2.GetOrAdd(TKey key, Func`2 valueFactory)
   at Microsoft.Exchange.Assistants.ItemAssistantRuntimeFactory.GetQuarantineControl(Guid mdbGuid)
   at Microsoft.Exchange.Assistants.ItemAssistantRuntimeFactory.CreateInstance(IStoreSession session)
   at Microsoft.Exchange.Data.Storage.Adapters.ObjectEventHandlers.ItemAssistantEventsHandler.<>c__DisplayClass2_0.<.ctor>b__0()
   at System.Lazy`1.CreateValue()
   at System.Lazy`1.LazyInitValue()
   at Microsoft.Exchange.Data.Storage.Adapters.ObjectEventHandlers.ItemAssistantEventsHandler.Handle(BeforeItemFlushEvent onBeforeItemFlushArgs)
   at Microsoft.Exchange.Data.StoreObjects.Extensibility.InlineEvent.EventDispatcher.<>c__DisplayClass4_0`1.<Dispatch>b__0()
   at Microsoft.Exchange.Data.StoreObjects.Extensibility.InlineEvent.EventDispatcher.Dispatch[TEvent](TEvent eventData)
   at Microsoft.Exchange.Data.Storage.CoreItem.InternalFlush(SaveMode saveMode, CoreItemOperation operation, OperationContext operationContext)
   at Microsoft.Exchange.Data.Storage.CoreItem.Flush(SaveMode saveMode, OperationContext operationContext, CoreItemOperation operation, Boolean resetBodyFormat)
   at Microsoft.Exchange.Data.Storage.Item.SaveInternal(SaveMode saveMode, Boolean commit, OperationContext operationContext, CoreItemOperation operation)
   at Microsoft.Exchange.Data.Storage.StoreSession.Deliver(Item item, ProxyAddress recipientProxyAddress, RecipientItemType recipientType)
   at Microsoft.Exchange.MailboxTransport.StoreDriverDelivery.DeliveryItem.Deliver(ProxyAddress recipientProxyAddress)
   at Microsoft.Exchange.MailboxTransport.StoreDriverDelivery.MailItemDeliver.DeliverItem()
   at Microsoft.Exchange.MailboxTransport.StoreDriverDelivery.DeliveryProcessorBase.DeliverMessage()
   at Microsoft.Exchange.MailboxTransport.StoreDriverDelivery.MailItemDeliver.DeliverMessageForRecipient()
   at Microsoft.Exchange.MailboxTransport.StoreDriverDelivery.MailItemDeliver.<>c__DisplayClass161_0.<DeliverToRecipient>b__0()
   at Microsoft.Exchange.MailboxTransport.StoreDriverCommon.StorageExceptionHandler.RunUnderTableBasedExceptionHandler(IMessageConverter converter, StoreDriverDelegate workerFunction)
   at Microsoft.Exchange.MailboxTransport.StoreDriverDelivery.MailItemDeliver.DeliverToRecipient()
   at Microsoft.Exchange.MailboxTransport.StoreDriverDelivery.MailItemDeliver.DeliverToRecipients(Dictionary`2 shouldThrottleRecipientMap)
   at Microsoft.Exchange.Data.Transport.Internal.MExRuntime.AgentGrayExceptionHandler.RunUnderGrayExceptionHandler(String functionName, Action action, Func`1 getContextFunc, Action`1 onSwallowedException, Action`1 onNotSwallowedException)
   at Microsoft.Exchange.MailboxTransport.StoreDriverDelivery.StoreDriverDelivery.DeliverMailItemAsync(MbxTransportMailItem mailItem, UInt64 sessionId)
   at Microsoft.Exchange.MailboxTransport.StoreDriverDelivery.StoreDriverDelivery.<DoLocalDeliveryAsync>d__50.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at Microsoft.Exchange.MailboxTransport.StoreDriverDelivery.InMemoryDeliveryQueueBufferBlock.<TrackDequeueAndRunAsync>d__27.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at Microsoft.Exchange.Protocols.Smtp.Receive.DataBdatCommandBase.<CommitMessageAsync>d__63.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at Microsoft.Exchange.Protocols.Smtp.Receive.DataBdatCommandBase.<HandleEodAsync>d__40.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at Microsoft.Exchange.Protocols.Smtp.Receive.DataBdatCommandBase.<ProcessAsync>d__36.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at Microsoft.Exchange.Protocols.Smtp.Receive.SmtpInCommandBase.<ParseAndProcessAsync>d__5.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at Microsoft.Exchange.Protocols.Smtp.Receive.SmtpInStateMachine`2.<ParseAndProcessCommandAsync>d__34.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at Microsoft.Exchange.Protocols.Smtp.Receive.SmtpInStateMachine`2.<ProcessCommandLineAsync>d__32.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
   at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
   at Microsoft.Exchange.Protocols.Smtp.Receive.SmtpInStateMachine`2.<ExecuteAsync>d__5.MoveNext()
--- End of stack trace from previous location where exception was thrown ---
   at System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
   at Microsoft.Exchange.Threading.CompletedTaskTracker.BlockAndThrowOnFirstFaultedTask(CancellationToken cancellationToken, Boolean rethrowInnerException, Action`1 faultedTaskCallback)
   at System.Threading.ExecutionContext.RunInternal(ExecutionContext executionContext, ContextCallback callback, Object state, Boolean preserveSyncCtx)
   at System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state, Boolean preserveSyncCtx)
   at System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state)
   at System.Threading.ThreadHelper.ThreadStart()

Iemand die mij hier mee een stukje verder wil en kan helpen?

[ Voor 75% gewijzigd door HKLM_ op 08-01-2021 19:32 ]

[Wim-Bart]

https://docs.microsoft.co...eues?view=exchserver-2019

[Xelefim]

Zijn er eventlogs bij het starten van de transport service?

[HKLM_]

Xelefim schreef op vrijdag 8 januari 2021 @ 21:46:
Zijn er eventlogs bij het starten van de transport service?

Niet specifiek bij het booten van de server gaat het prima daarna klappert hij met bovenstaande error.
En herstart de services regelmatig zelf weer.

[ Voor 7% gewijzigd door HKLM_ op 08-01-2021 22:14 ]

[BqL]

Geen oplossing voor het probleem maar Exchange 2019 mag niet op server 2016. In de support matrix zal je vinden dat dit niet ondersteund is

[HKLM_]

BqL schreef op vrijdag 8 januari 2021 @ 22:44:
Geen oplossing voor het probleem maar Exchange 2019 mag niet op server 2016. In de support matrix zal je vinden dat dit niet ondersteund is

Prima, ik heb exchange 2016 op server 2019

[BqL]

HKLM_ schreef op vrijdag 8 januari 2021 @ 22:47:
[...]


Prima, ik heb exchange 2016 op server 2019

Excuus Ilona me hoofd draaide ik het om

[ElCondor]

Kun je de corrupte database wegggooien. Wellicht verwacht Exchange dat alle databases OK moeten zijn, voordat de transport service zijn werk doet.

Daarnaast, de exceptie zegt dat er een RegKey is waar het process (Transport Service) geen toegang toe heeft:
HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\AssistantsQuarantine\74c44d82-8823-4149-bae1-7076ca788402\MSExchangeDelivery\PoisonControl\PoisonControlComposite
Wellicht deze key eens opzoeken en kijken of de rechten goed staan.Mogelijk even voor de vorm Everyone rechten hierop geven.
Wat natuurlijk mogelijk is, is dat het feit dat je hier geen rechten hebt, een gevolg is van een diepliggender probleem. Blijven snuffelen, zou ik zeggen.
Ik zou beginnen met het verwijderen van de corrupte database als dat mogelijk is óf een Recovery van de betrefffende database proberen te forceren.
Ik weet niet hoe dit in in Ex2016 geregeld is, maar meestal heb je log bestanden om een recovery te doen.
Wat je dan vaak kunt doen is de laatste van deze bestanden, het log dat mogelijk corrupt is geraakt, wegplaatsen uit de logfolder en dan een recovery starten. Dan gaat hij de betreffende logs verwerken en hopelijk komt je database daarmee weer op.

[Xelefim]

Ik zou ook blijven checken en zoeken. Wij hebben namelijk een honderd-tal exchange servers en onze hosts vallen wel eens meer dan eens uit (al dan niet samen met de storage) en hebben nooit iets soortgelijk meegemaakt.

[3DDude]

Ja laat even weten hoe je het gefixt heb dan

[HKLM_]

Drukke week ik ga dit weekend weer één en ander proberen

[ElCondor]

En?

[HKLM_]

ElCondor schreef op dinsdag 19 januari 2021 @ 15:17:
En?

Het heeft een tijdje geduurd (had nog meer stuk (Azure AD sync ) gemaakt haha en wat druk op werk...) Ik heb uiteindelijk de Database verwijderd en de regkey aangepast zodat ik weer rechten had. Daarna ging de mail weer heen en weer. Blijft toch vreemd... (gelukkig is het alleen voor learning)

[ElCondor]

HKLM_ schreef op donderdag 28 januari 2021 @ 19:26:
[...]


Het heeft een tijdje geduurd (had nog meer stuk (Azure AD sync ) gemaakt haha en wat druk op werk...) Ik heb uiteindelijk de Database verwijderd en de regkey aangepast zodat ik weer rechten had. Daarna ging de mail weer heen en weer. Blijft toch vreemd... (gelukkig is het alleen voor learning)

Goed te horen dat het opgelost is. Let wel, soms moet je ook wel eens een database recoveren omdat daar belangrijke gegevens in staan. Oefen daar ook mee, als aankomend Exchange beheerder. En niet alleen via de wizards, maar juist ook via PowerShell. Daar leer je het meest van.
Mooie leermomenten dit