Exchange 2013 database store groeit explosief

[RoRoo]

We hebben een nieuwe installatie van exchange 2013 (CU3)

Mailboxen gemigreerd en ik heb een totaal van zo'n 20GB

Echter is op de achtergrond de store aan het groeien.. Dit gaat onbeperkt door, zelfs tot het niveau dat de disken vol raken en de store gedismount wordt. Gister op zo'n 300GB.
Nu hebben we een nieuwe database gemaakt en de mailboxen erheen gemoved in de hoop een bepaalde corruptie op te lossen.

We beginnen lekker op de 20gb maar ondertussen is de store alweer gegroeid naar de 81GB en hij blijft oplopen.
Doe ik een get-mailboxstatistics zie ik braaf alle mailboxen, maar niets wat de extra 61 (nu alweer 62)gb kan verantwoorden.
De available whitespace is 64MB.. dus ook niets absurds..

Google geeft allemaal tips over hoe je een groeiende mailbox kan monitorren, maar hier groeien de mailboxen niet, maar de database wel.

please help!!

[redfoxert]

Weet je zeker dat het de database store is en niet de logs? Bij moven van data en importeren etc dan groeien de logs extra hard.

[Bor]

Is het inderdaad niet de transaction log die heel snel groeit? Zijn er erg veel mutaties? Hoe vaak draai je een (full) backup en worden de logs dan geflushed?

[RoRoo]

Logs staan nagenoeg stil, ook 's nachts als er niet gewerkt word en ik de aflevering van mail gekilled heb groeit ie

Net nog even gechecked, ik heb gejokt.. De logs zie ik wisselen, maar circular logging staat aan dus die zaken worden dus meteen gecommit aan de DB.

Maar niet aan een mailbox in die DB.. dat is nou juist het vreemde...

[ Voor 42% gewijzigd door RoRoo op 10-01-2014 10:22 ]

[Jolke]

Groeit de store ook als je de mailserver gedeeltelijk uit zet? Hetzij users tijdelijk offline halen, hetzij services uitzetten. Zo kan je wellicht het probleem isoleren.

[Jazzy]

Deze geeft je inzicht in wat er precies gebeurt: http://blogs.technet.com/...wth-reporting-script.aspx

Deze om het probleem te troubleshooten: http://blogs.technet.com/...server-2007-and-2010.aspx (let op, is voor 2010 dus niet alles zal exact van toepassing zijn, maar in grote lijn wel)

[krietjur]

Ik heb hetzelfde verschijnsel, maar dan onder Exchange 2010.. helaas nooit een oplossing voor kunnen vinden.. Ook al meermaals een nieuwe database gemaakt om een eventuele corruptie van de database op te lossen, maar niks helpt.

Ga bovenstaande tips ook maar eens bekijken nog dan..

[RoRoo]

@Jazzy in reactie op het eerste linkje:

Count : 0
Average :
Sum : 0
Maximum :
Minimum :
Property :

De exmon heb ik al een keer bekeken idd.. zal die log parser eens pakken en kijken of ik daar wat uit kan halen.

[Jazzy]

RoRoo schreef op vrijdag 10 januari 2014 @ 10:21:
@Jazzy in reactie op het eerste linkje:

Hele artikel gelezen en is helder hoe je dit script gebruikt?

[RoRoo]

Ja, script heeft net gelopen en wacht op de 2e run
Daarna gebruik ik de optie 3

[ Voor 24% gewijzigd door RoRoo op 10-01-2014 10:42 ]

[Jolke]

Zit er een maximum strorage op elke mailbox?

[RoRoo]

Jolke schreef op vrijdag 10 januari 2014 @ 10:49:
Zit er een maximum strorage op elke mailbox?

Eerst niet, nu hebben we het globale quota op 10gb per mailbox gezet.. toch groeide de store naar 300GB toe..
Maar de mailboxen waren net zo groot als voorheen.....

[wagenveld]

Als je circular logging eens uitzet, hoeveel logs worden dan gegenereerd op een dag? Heb je ergens journaling of litigation hold aanstaan?

[DennusB]

Misschien een idee om Microsoft eens even te bellen/mailen/whatever met die probleem? Of is dat al gedaan?

[RoRoo]

wagenveld schreef op vrijdag 10 januari 2014 @ 10:56:
Als je circular logging eens uitzet, hoeveel logs worden dan gegenereerd op een dag? Heb je ergens journaling of litigation hold aanstaan?

Toen ik 'm uitzette zat de disk in no time vol, binnen een uur op zo'n 33000 files.

Journaling: uit (afaik)
litigation hold: nee.

Hij is net weer met 1gb gegroeid.. ik ga het script een 2e keer draaien en dan checken

Het verschil!


614kb aan items en 768MB on disk!!

[ Voor 9% gewijzigd door RoRoo op 10-01-2014 11:13 ]

[wagenveld]

Er zijn dus een berg transacties, anders krijg je geen logfiles. Moet je alleen nog uitvinden wat die transacties zijn
Geen antivirus die raar doet, backup wellicht? Server wordt niet dood gespamt oid? Eens tested met poort 25 uit of tijdelijk de Frontend transport service stoppen.

[RoRoo]

Geen AV aanwezig, wordt op een andere server gedaan.
Geen backup actief.
Geen binnenkomende of uitgaande mail.

En dan nog.. als er spam of andere transacties zijn, zou je denken dat de groei van de database enigszins overeenkomt met de Itemsize daadwerkelijk in de mailboxen..

Dit is 614KB tegen 768MB! Wel een enorrrrmm verschil

Ondertussen wordt de license van onze Kroll Ontrack Powercontrols verlengd zodat Exch2013 ondersteund wordt.
Daarmee ga ik even in de oude database loeren.. kijken wat er in zit

[ Voor 21% gewijzigd door RoRoo op 10-01-2014 11:26 ]

[Jazzy]

Er staan 17 stappen in http://blogs.technet.com/...server-2007-and-2010.aspx die je aan de hand nemen om het issue te onderzoeken. Ik snap dat het nu allemaal hectisch is maar ik zou je toch aanraden om hier gestructureerd mee aan de slag te gaan.

[RoRoo]

Jazzy schreef op vrijdag 10 januari 2014 @ 11:35:
Er staan 17 stappen in http://blogs.technet.com/...server-2007-and-2010.aspx die je aan de hand nemen om het issue te onderzoeken. Ik snap dat het nu allemaal hectisch is maar ik zou je toch aanraden om hier gestructureerd mee aan de slag te gaan.

Stap 1:


Stap 2: Geen meldingen ontvangen

Stap 3: Geeft geen resultaten op de aangegeven template viewers.

Stap 4: tsjah.. zonder username, kan ik weinig blocken

Ga nu verder bij stap 8.
Stap 8 Transaction logs uitlezen... Zie mailtjes uit 2010 erin staan.. er zijn dus mensen hun archief weer aan het inlezen..

Moet de DB dan niet gelijkwaardig meegroeien?

Kleine update:
So far so good. Ik was bij stap 9 en vond een 3-tal mailboxen waarbij mail in de outbox stond.
Bij 2 waren deze oud en heb deze weggegooid
bij de derde waren ze recent, maar ik vond wel in de "problemen met synchronisatie" local folders een mailtje met daarin een x aantal attachments. In deze (mail) attachments stonden de mailtjes uit 2010 die ik toevallig zag langskomen in de transaction logs.

Scherm overgenomen v/d user.

In haar local "problemen met synchronisatie" folder stonden foutmeldingen mbt mailtjes die te groot waren om te syncen en dat deze gemoved waren naar de "lokale fouten" map. Daar stonden een paar 1000 mailtjes die vrij groot waren >10MB
Deze hadden zichzelf meerdere malen gedupliceerd en deze probeerde hij steeds weer opnieuw te syncen naar exchange.

Nadat ik deze met de hand opgeruimd had, ben ik even verder gaan doorzoeken daarop.
Standaard is de Organizational limit ingesteld op 10MB (!!) per bericht..

Nadat ik deze opgehoogd had naar 100 in en outbound lijkt de store file niet meer te groeien.

De oude 300gb store file heb ik even in Ontrack PowerControls geopend.. Daarin zie ik enkel de Discovery Search mailbox én de Public Folders (die moet ik nog effe moven).
Total Size: 50MB

Het is bizar, maar ik ben aan het duimen dat ie nu rustig is zodat we binnenkort een nieuwe store kunnen maken die dan niet groeit...

Dank alvast voor alle tips in de juiste richting!

[ Voor 54% gewijzigd door RoRoo op 10-01-2014 16:13 ]

[krietjur]

Nou, vandaag eindelijk tijd om er eens naar te gaan kijken, en ook fase 1 van het script losgelaten op de databases. Twee databases met erg veel overhead gevonden.





Nu maar even een dagje ofzo wachten en nieuwe meting doen.. hopelijk krijg ik dan ook eindelijk na al die tijd het probleem boven water

[RoRoo]

Ik heb het eindelijk weten terug te voeren op 3 mailboxen.

Deze 3 mailboxen hadden hetzelfde probleem, mailtjes groter dan de toegestane 10MB waren zich enorm aan het dupliceren in de failed mail folder welke continu werd gesynced.

Nadat ik dat opgeschoond en gekilled had werd het rustig. Volgende week alle mailboxen verplaatsen naar een nieuwe store om de grootte weer omlaag te krijgen.

Jij hebt ook lekker wat te doen krietjur!!

[Yarisken]

Dat is echt wel buggy stuff dat een mailbox van een gebruiker voor zoveel shit kan zorgen .... . Wij gaan ook over naar exchange 2013 en als ik dit lees dan wordt ik niet echt blij.

[Jazzy]

Yarisken schreef op woensdag 29 januari 2014 @ 00:00:
Dat is echt wel buggy stuff dat een mailbox van een gebruiker voor zoveel shit kan zorgen .... . Wij gaan ook over naar exchange 2013 en als ik dit lees dan wordt ik niet echt blij.

Dit soort issues kunnen ook voorkomen bij de oudere versies, laat je daar niet door afschrikken.

[RoRoo]

Yarisken schreef op woensdag 29 januari 2014 @ 00:00:
Dat is echt wel buggy stuff dat een mailbox van een gebruiker voor zoveel shit kan zorgen .... . Wij gaan ook over naar exchange 2013 en als ik dit lees dan wordt ik niet echt blij.

Je bent er nu op voorbereid waardoor het probleem bij jou niet zal optreden

zo kan je het ook zien..

vind het overigens een draak van een product hoor, maar dat vind ik van alles wat maar met de "nieuwe" interface werkt.. Win8, SRV2012, O365, Office 2013 etc etc..
Het wordt er niet aantrekkelijker op..

Laatst weer een nieuwe situatie opgeleverd met een 2012R2 als terminal server.. Ze stonden net niet huilend aan m'n bureau....

[wagenveld]

Vanaf CU3 en helemaal vanaf CU4 (SP1) die als het goed is binnenkort uitkomt wil ik Ex2013 wel stabiel noemen.

[RoRoo]

Wil niet zeggen dat het instabiel is, maar ik snap de logica van microsoft niet.
Eerst neigen ze steeds meer richting console commands met hun server core versies en powershell.. Om vervolgens over te stappen naar de kermis die server 2012 heet...

Maar dat is een heel andere discussie