Exchange 2010 DAG - Back-up onmogelijk

[magic45]

Sinds een aantal weken hebben wij een Exchange omgeving waar geen backup's meer van gemaakt kunnen worden.

De omgeving bestaat uit een tweetal Server 2008 R2 Enterprise (build 7601) servers met daarop Exchange 2010 Standard (build 218.15).

Beide servers zijn fysiek en identiek ingericht en draaien een Database Availability Group voor in totaal 4 mailbox databases (+/- 1.2TB aan databases). Beide servers zijn identieke HP bl460c G7's gekoppeld via c3000 SAN switches aan een HP P2324fc SAN omgeving. Op het SAN zijn voor beide servers losse LUN's geconfigureerd. Er wordt op het SAN geen gebruik gemaakt van snapshots.
Beide servers beschikken over een OS volume van 140GB en een Database/log volume van 1.7TB. Het OS heeft zo'n 60GB beschikbaar en de databases +/- 300GB.

Het is sinds twee weken niet meer mogelijk om backups te maken van de exchange omgeving, de volgende error wordt door Backup Exec gegeven na ongeveer 3 minuten na het starten van de jobs.

Backup-XX - AOFO: Initialization failure on: "\\XXXX". Advanced Open File Option used: Microsoft Volume Shadow Copy Service (VSS).

V-79-10000-11217 - VSS Snapshot error. The Microsoft Volume Shadow Copy Service (VSS) snapshot failed. Make sure that all provider services and tasks are running. Check the Windows Event Viewer for details.

XXX is even ingevoerd om de namen te verbergen.

Na verdere analyse blijkt het ook niet meer mogelijk om "Shadow Copies" op drives aan te zetten. De volgende melding verschijnt in het scherm;

Failed to create a shadow copy of volume C:\.

Error 0x80042306: The shadow copy provider had an error. Check the System and Application event logs for more information.

Tevens wordt op dat moment (en rond een backup) het volgende event gelogd (afhankelijk van de drive verschilt de letter).

Log Name: System
Source: volsnap
Date: 10-7-2012 10:37:00
Event ID: 20
Task Category: None
Level: Error
Keywords: Classic
User: N/A
Computer: XXX
Description:
The shadow copies of volume C: were aborted because of a failed free space computation.
Event Xml:
<Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event">
<System>
<Provider Name="volsnap" />
<EventID Qualifiers="49158">20</EventID>
<Level>2</Level>
<Task>0</Task>
<Keywords>0x80000000000000</Keywords>
<TimeCreated SystemTime="2012-07-10T08:37:00.316380600Z" />
<EventRecordID>68475</EventRecordID>
<Channel>System</Channel>
<Computer>XXX</Computer>
<Security />
</System>
<EventData>
<Data>\Device\HarddiskVolumeShadowCopy4</Data>
<Data>C:</Data>
<Binary>000000000200300000000000140006C002000000220000C003000000000000000000000000000000</Binary>
</EventData>
</Event>

Additionele software
- GFI MailEssentials
- Exclaimer MailDisclaimers
- Symantec Backup Exec remote Agent
- (inmiddels verwijderd) Kaspersky Anti-Virus
- HP management software

Het probleem is zonder directe change ontstaan, van de een op de andere dag geeft de backup de foutmelding. Laatste wijziging voor de errors ontstaan in de installatie van een nieuwe versie van de AV software (3 dagen voor de errors).

Aangezien de back-up gebruik maakt van VSS voor de back-up functionaliteit lijkt het mij dat het issue niet Backup-Exec gerelateerd is maar echt in de VSS functionaliteiten van de servers liggen. Het reproduceren van de foutmelding gaat het snelst door het proberen in te schakelen van een Shadow Copy op een van de aanwezige drives.

Geprobeerde oplossingen:
Verkregen via diverse fora en technet artikelen, allemaal via verschillende ingangen qua foutmeldingen. Heb nog niemand kunnen vinden met hetzelfde probleem enkel verwijzingen naar soortgelijke issues met HyperV onderlaag, dat is echter niet het geval.

Delete [HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\EventSystem\{26c409cc-ae86-11d1-b616-00805fc79216}\Subscriptions] regkey

Key bestaat op geen van beide servers.

Delete[HKLM\Software\Microsoft\COM3] regkey

Geen resultaat, server geeft wel andere storage issues na het verwijderen, keys restored.

Backup Exec remote agent opnieuw geïnstalleerd.
Antivirus software compleet verwijderd.
Server volledig geupdate en meerdere malen gereboot.
Verwijderen hardware VSS provider HP (ook al wordt deze niet gebruikt)..
Updaten hardware VSS provider HP (ook al wordt deze niet gebruikt).

Wie o wie kan ons verder helpen met troubleshooten?

[Verwijderd]

Wij hebben een identiek probleem gehad bij het backuppen via Backup Exec (weet niet meer of het Exchange was).

Via VSSADMIN list writers krijg je een overzicht te zien van alle VSS writers , die moeten allemaal in een 'no error' status staan. in jouw geval zal je zien dat meer dan waarschijnlijk de Exchange VSS writer in een error status staat.

Meestal is na een reboot van de server het issue opgelost en komt de writer weer in een 'no error' status te staan waarna je weer verder kan.

Bij ons werden die vss errors getriggerd door Backup Exec System Recovery die ook op het systeem stond voor image based backups te nemen. Nadat we die hadden verwijderd en het systeem gereboot hadden was dit issue verholpen.
Het wordt dus veroorzaakt door 3th party software die ook gebruik maakt van de VSS writers om dingen te backuppen, dus ik zou daar vooral naar op zoek gaan

[Razwer]

Heb dit ook eerder gehad toen ik nog BackupExec gebruikte. Wat STVO zegt sluit ik me bij aan. Soms wil reinstall van de backupexec agent ook helpen.

Gezien je DAG doet, misschien kan je als workaround de andere server pakken om vanaf te backuppen.

semi offtopic: hoezo draai je nog geen SP2? SP2 is alweer op Rollup 3... Je loopt dus redelijk achter met je exchange updates, al zal dit ongerelateerd zijn aan je backup issues.

edit: stukje verwijderd

[ Voor 32% gewijzigd door Razwer op 11-07-2012 11:28 ]

[GB2]

Heb je al contact opgenomen met Symantec?

[magic45]

Verwijderd schreef op dinsdag 10 juli 2012 @ 18:48:
Via VSSADMIN list writers krijg je een overzicht te zien van alle VSS writers , die moeten allemaal in een 'no error' status staan. in jouw geval zal je zien dat meer dan waarschijnlijk de Exchange VSS writer in een error status staat.

Vergeten te vermelden;
Writers staan NIET in error, na een BE back-up try of 10 gaat de Exchange Writer in Time-out maar dat schijnt volgens diverse fora te kloppen.

Meestal is na een reboot van de server het issue opgelost en komt de writer weer in een 'no error' status te staan waarna je weer verder kan.

Na een restart van de servers staan alle writers op Ok en functioneert het nog steeds niet.

Bij ons werden die vss errors getriggerd door Backup Exec System Recovery die ook op het systeem stond voor image based backups te nemen. Nadat we die hadden verwijderd en het systeem gereboot hadden was dit issue verholpen.
Het wordt dus veroorzaakt door 3th party software die ook gebruik maakt van de VSS writers om dingen te backuppen, dus ik zou daar vooral naar op zoek gaan

Alle VSS gebruikende software is verwijderd en/of opnieuw geinstalleerd. Het blijft onmogelijk om shadowcopies te maken.

Gezien je DAG doet, misschien kan je als workaround de andere server pakken om vanaf te backuppen.

Beide servers geven identieke fouten.

btw, leuk dat je xxx doet in je ene quote, en in je andere quote laat je "XXX" wel fijn staan (zal mn post editen zodra je jouwe gefixed hebt )

My bad, fixed..

Heb je al contact opgenomen met Symantec?

Het probleem ligt hem niet in Symantec, het is voor geen enkele applicatie mogelijk om de VSS componenten te laten werken..

[Razwer]

gezien het belang van backups zou ik onderstaand eens goed overwegen als contingency plan:
DAG node evicten, reinstall van windows (meteen nieuwste drivers/firmwares) en setup.com /m:recoverserver uitvoeren
Draait die DAG node alleen MBX of ook HUB en/of CAS?

Het probleem ligt hem niet in Symantec, het is voor geen enkele applicatie mogelijk om de VSS componenten te laten werken..

maar mijn ervaring is dat symantec wel de boosdoener is.

[ Voor 27% gewijzigd door Razwer op 11-07-2012 11:36 ]

[magic45]

Razwer schreef op woensdag 11 juli 2012 @ 11:35:
gezien het belang van backups zou ik onderstaand eens goed overwegen als contingency plan:
DAG node evicten, reinstall van windows (meteen nieuwste drivers/firmwares) en setup.com /m:recoverserver uitvoeren
Draait die DAG node alleen MBX of ook HUB en/of CAS?


[...]

maar mijn ervaring is dat symantec wel de boosdoener is.

De DAG node draait zowel MBX als CAS. HUB wordt door een derde server gedaan.

Voor vanavond staat inmiddels al een herinstallatie van een van de twee nodes op het programma, mocht dat het verhelpen volgt de tweede zodra alles weer is hersteld.

[_Hades_]

Symantec heeft ooit een script beschikbaar gesteld waarmee vss opnieuw geregistreerd wordt op je windows systeem. Het heeft mij al eens van dit soort problemen afgeholpen.

http://www.symantec.com/c...r-vss-windows-server-2008

[FatalError]

Ik verplaats deze naar WSS, daar past dit beter

[Sn00pN00b]

Ik heb laatst iets soortgelijks gehad. Van de ene op de andere dag ongeveer dezelfde error met backupexec en exchange 2010.

The shadow copies of volume C: were aborted because of a failed free space computation.

Deze melding had ik ook als ik het goed herinner.

Probeer eens je quota van shadow copies uit te zetten. Properties van je volume > Shadow copies tab > Volume selecteren > Settings > Maximum size op no limit.

Dit heeft het bij mij opgelost.