[Backup] Symantec BackupExec

[Verwijderd]

De volgende backup situatie doet zich voor:

1 locatie met 't serverpark.
2 backup servers (waarvan 1 op een externe locatie ligt) - W2008 met Symantec BackupExec v12. x64.
Eis is dat backup server 1 niet afhankelijk is van backup server 2 en omgekeerd.
Geen replicatie tussen deze servers dus.

Beide backup servers maken een backup van 't server park, onafhankelijk van elkaar.
Schema is voor Server 1: van 19:00-23:59
Schema is voor Server 2: van 00:00-05:59
Maintenance Window: 06:00-06:59

De backup op Server 1 & 2 zijn dus niet van het exact 't zelfde moment.

Helaas lukt het niet om binnen schema 1 & 2 de backup af te ronden.
Wat dus resulteerd in 't feit dat servers uit schema 1 en 2 tegelijk worden gebackupt en dus overlappen, agents gaan hierdoor op hun bek.

Tevens heb ik geconstateerd dat de jobrate van de jobs die tegelijk draaien onzettend laag is. De load van de netwerkkaart is ook niet ten volste benut (SNMP meting)
Windows Performance counters bevestigen dit.
Tevens laten de performance counters zien dat de server's hun disks niet zwaar belast worden, de CPU weinig te doen heeft en er nog meer dan voldoende geheugen over is.

Specs van de servers: HP DL380G4, 2x 3.6Xeon, 6GB, 72GB (RAID1+hotspare), MSA20 (RAID6 - 7TB - 12x SATA 750GB).

Mijn vermoeden is dat voor het gehele pakket maar 1 stream wordt opgezet ipv meerdere, ook al draaien er meerdere jobs tegelijk. 1 enkele Job haalt wel een redelijke snelheid, echter is dat overdag getest wanneer de systemen onder load van de gebruikers staan.

Connectie met de locatie waar server 2 is is een 1Gbit link.
Server 1 heeft 2Gbit tot z'n beschikking (teamed nic's).
Backbone is 10Gbit.
Servers die gebackupt worden zijn allemaal teamed 2Gbit op de backbone.
Variatie van losse servers met applicaties tot DC's, Exchange, SQL's, File Servers, etc.
Vrij divers dus.

Heeft iemand een suggestie wat ik nog zou kunnen proberen om de snelheid van die backup omhoog te krijgen? Of waar de bottleneck zou kunnen zitten?

[Verwijderd]

wat voor LTO tapes heb je 2 of 3?
Wat voor tapedrive heb je?
hoeveel servers worden er gebackupped?

[Verwijderd]

Er worden in totaal zo'n 25 servers gebackupt. Allemaal Windows (2003) based.
Alles gaat naar disk (de MSA20), niet naar tape.

[Verwijderd]

Backup exec is sowieso niet zo snel naar disk...maar 25 servers voor backup exec is wel een beetje veel..
Backup exec heeft het liefst max 8 servers, dan kun je beter Netbackup aanschaffen dat is beter voor grotere omgevingen.
Daarmee zul je je backup window wel halen..

Hoeveel data moet er in totaal gebackupped worden?
Wie is je reseller?
(wij zijn namelijk ook reseller en platinum partner van symantec op t gebied van backup en security)

[Verwijderd]

Ruwe schatting is dat het zo'n 800GB per dag is.
Reseller? Waar het pakket gekocht is? Dat is gewoon bij een leverancier waar wel meer dingen (o.a. ook hardware) besteld wordt.

Netbackup, ga ik eens naar kijken voor een demo pakketje.
Klinkt wel interessant. Zeker omdat er nog meer servers bij gaan komen.
-edit-
Hmm... zie dat Netbackup nog niet 2008 ondersteund, althans het staat niet in het lijstje van supported OS-en. Aangezien de omgeving hier gemigreerd wordt naar 2008 is dat wel een eis.

[ Voor 23% gewijzigd door Verwijderd op 23-05-2008 15:05 ]

[Verwijderd]

Verwijderd schreef op vrijdag 23 mei 2008 @ 14:56:
Backup exec is sowieso niet zo snel naar disk...maar 25 servers voor backup exec is wel een beetje veel..
Backup exec heeft het liefst max 8 servers, dan kun je beter Netbackup aanschaffen dat is beter voor grotere omgevingen. [..]

Wat heeft het aantal servers met dit probleem te maken? Het maakt toch weinig uit of je van 1 server 400GB pakt of van 10 servers 40GB? OK het kost iets langer omdat hij vakar verbinding moet maken maar per saldo zal dit weinig uitmaken.

[Verwijderd]

Verwijderd schreef op vrijdag 23 mei 2008 @ 15:46:
[...]


Wat heeft het aantal servers met dit probleem te maken? Het maakt toch weinig uit of je van 1 server 400GB pakt of van 10 servers 40GB? OK het kost iets langer omdat hij vakar verbinding moet maken maar per saldo zal dit weinig uitmaken.

nou omdat Backup Exec gedesignd is voor een kleine server omgeving en Netbackup is gedesignd voor een server park van minimaal 10 servers en meer...

[_H_G_]

Lees hier iets dat je target verschillend moet zijn om concurrent jobs goed te laten lopen?

http://www.google.nl/sear...exec+simultaneous&spell=1
https://forums.symantec.c...rd.id=103&thread.id=27642
quotje van daar:"Number of concurrent job can be run, but they should be targeted to the
different Backup to Disk folder"

[Verwijderd]

Ik heb voor elke server een aparte Backup to Disk folder aangemaakt.

[Verwijderd]

pffff...ik neem aan dat je gewoon een support contract van symantec hebt dus ik zou daar even mee bellen zij zullen je vragen om logs op te sturen.
houd er rekening mee dat dit een engelstalige medewerker is, dus ben voorbereid als je belt.

En ik zie dat 2008 pas waarschijnlijk eind 2008 gesupported gaat worden...in netbackup 6.5.3.
Maar dan zou ik even contact opnemen met je account manager.

[squaddie]

Waarom pas je backupschema niet zodanig aan dat beide backupservers nooit dezelfde server aan het backuppen zijn? Simpel voorbeeld:
Backupserver 1 begint om 19.00u bij server A --> B --> C --> D.
Backupserver 2 begint om 19.00u bij server C --> D --> A --> B.

Dan is de backupwindow ruimschoots voldoende om de backup op tijd af te ronden en de backupservers kunnen prima tegelijk draaien, zonder dat ze in elkaars vaarwater zitten.

Is het alleen de kunst een goed schema in elkaar te knutselen.

[Verwijderd]

Engels is voor mij geen probleem. Dus dat maakt me niet uit. Ik lul alles wel aan de telefoon.
Frans wat minder goed dan mijn Duits en Engels.

Wat betreft dat schema, leuk idee. Laten we als voorbeeld de Exchange server eens nemen:
Gewoon een Full backup (NIET een bricklevel) is zo'n 90GB. Daar doet server 1 van 19:00 tot 04:30 over omdat te backuppen. Lijkt mij voor 90GB geen gezonde situatie.
Zelfde geld voor overige servers, d'r zitten er tussen waar maar 4GB van weg moet worden geschreven en dat gewoon 6 uur duurt. Die hoeveelheid download ik thuis nog sneller...

Denk ook wel dat 't aan het limiet van het gebruikte pakket ligt, want als ik enkel en alleen de Exchange server 's nachts laat backuppen dan is dat met 45 min bekeken.

Een strak afgesteld schema gaat ook niet echt werken, want je moet rekening houden met groei.
Ik wil niet elke maand mijn schema's hoeven aan te passen.

Op dit moment heb ik ingesteld dat server 1 om 19:00/20:00 begint met het backuppen van de diverse servers.
Server 2 begint om 00:00/01:00 met dezelfde run. Dit is gedaan op basis van de calculatie van 90GB in 45 min, dat zou met de overige data dan prima moeten lukken, zeker omdat server 1 in totaal 2Gbit tot z'n beschikking heeft aan bandbreedte en server 2 'slechts' 1Gbit.

Maar ik zal er na 't weekend nog eens naar kijken. Al blijf ik van mening dat er toch iets ergens anders wat mis moet zijn.

[Question Mark]

Waarom geen differential/incremental backups?

In backup exec zit volgens mij ook een backup type wat van een "oude" full backup + een nieuw gemaakte incremental back weer een nieuwe full backup maakt. Beide backup's worden zegmaar samengevoegd (op de backupserver) tot een full backup.

Volgens mij heet dit een "synthetic backup".

Grote voordeel hiervan is dat je veel kortere backuptijden hebt, terwijl op de backupserver wel een dagelijkse full backup staat.

[SpamLame]

Misschien is je keuze van de MSA20 een ongelukkige.
Deze hebben niet veel cache icm SATA kan het zijn dat daar een bottleneck zit
Dan daar bovenop een RAID6 array, waar voor elke write, een dubbele parity berekend moet worden door je RAID controller.

Heb je getest wat de maximale door voor is voor je MSA20?
Heb je ook de laatste firmware (proliant firmware maintenance cd v8) geladen op de MSA20, hierin hebben ze fix voor hangende controllers wanneer er een disk failed.

[Verwijderd]

Welke snelheden haal je met je backups? Bv Exchange, hoeveel MB/min?

Je hebt niet een tape drive liggen waarmee je kunt testen?

Er zit echt ergens iets niet goed als ik zo zie hoe langzaam de backups gaan. En dit heeft echt NIKS met je keuze voor BackupExec te maken. Op een fileserver halen wij over het netwerk een 3000MB/min en op Exchange 2000MB/min. (Naar een LTO3tje)

Kun je anders niet eens een test backup naar de lokale RAID 1 van de backup server schrijven? Gewoon een paar GB's om te kijken of de snelheid beter wordt.

Eventueel kun je met ATTO kijken hoeveel je MSA20 weg kan schrijven. En hetzelfde kun je dan checken op je RAID1.

[ Voor 26% gewijzigd door Verwijderd op 23-05-2008 21:12 ]

[elevator]

Met Association - wij gebruiken ook BackupExec en ook een aantal tegelijkertijd, ook op SATA (maar dan op een MSA1500cs met 2 MSAs en twee raid-0 sets) en backuppen ook vanaf een andere lokatie met een gigbait link ertussen.

De meeste van onze backups halen tenminste 500mb/sec. Kijk naast de eerder genoemde tips ook eens naar het aantal files - 1 miljoen files van 1 byte (1 megabyte), duurt bijvoorbeeld langer om te backuppen dan een file van 10 gigabyte

[Verwijderd]

Helaas geen tape drive liggen waarmee ik kan testen.
Dat van naar een lokale schijf zal ik eens proberen. Helaas daar 'maar' 30GB tot mijn beschikking dus een Exchange backup (90~100GB) gaat daar niet mee lukken.

Hierbij een screenshot van de snelheden/doorlooptijd van vannacht (van beide servers):

Server 1: (2Gbit link)


Server 2: (1Gbit link)


Laatste entry vind ik niet representatief gezien de 5 min doorloop tijd.
Server namen kan ik niet posten, wordt niet gewaardeerd door de werkgever.

[Verwijderd]

Dit is echt te traag.. maar dat wist je al.

Doe je een verify? Als je de job log opent, is alles dan langzaam? Of is de backup snel en de verify langzaam? Of andersom?

Test dus even of het naar de lokale RAID1 ook traag is. Dan heb je de MSA20 uitgesloten.

[Verwijderd]

Draai geen verify.

Die RAID1 gaat vannacht in de test met de rest van de jobs.
(1 Job van 20GB naar de RAID1).
Kijken of er dan een groot verschil zit.

[_H_G_]

Verwijderd schreef op vrijdag 23 mei 2008 @ 21:09:
Eventueel kun je met ATTO kijken hoeveel je MSA20 weg kan schrijven. En hetzelfde kun je dan checken op je RAID1.

Dat nog gedaan?

En misschien nog een processor counter laten lopen tijdens de back-up? Ik denk hierbij aan de mogelijkheid dat je 25 jobs tegelijkertijd laat lopen met software compression.

[Verwijderd]

Sorry, overheen gelezen.
Wat is ATTO? Op google krijg ik meerdere resultaten die mij weinig/niks zeggen.

CPU load is niet hoog te noemen.
Zitten 2 fysieke CPU's in (2x 3.6Xeon) met HT.
Avarage IDLE time average = 93



Heb net ook een testje gedaan (die job voor vannacht ff los gedraaid naar de RAID1)

Server 1: (2Gbit)
Elapsed Time: 27m:38s
Byte Count: 24.83.898.722
Job Rate: 991,00MB/min

Server 2: (1Gbit)
Elapsed Time: 32m:26s
Byte Count: 23.848.083.862
Job Rate: 824,00MB/min

Nog steeds geen snelheden om naar huis over te schrijven.
Maar wel duidelijk sneller dan afgelopen nacht (dat was 57,00MB/min @ Server 1 & 76,00MB/min @ Server 2).
Echter lopen er nu geen andere jobs met deze backup test.
Zal em zo nog eens als test naar de MSA20 wegschrijven.

[elevator]

Wij hebben bij ons ook wel gemerkt dat het sneller was om jobs serieel te draaien (we hebben twee raid sets gemaakt, dus er draaien twee jobs tegelijkertijd) dan ze parallel te draaien.

[Verwijderd]

Dat laatste snap ik niet helemaal.
Bedoel je dat je 1 server hebt, met daarop 2 array's?
En de jobs zo ingestel dat er 1 job naar array A gaat en 1 job naar array B?
En pas als een van deze jobs klaar is de volgende job naar dat array begint?
Dat is op dit moment niet iets dat ik kan gaan testen, geen MSA 'over'.

[_H_G_]

Verwijderd schreef op maandag 26 mei 2008 @ 14:15:
Sorry, overheen gelezen.
Wat is ATTO? Op google krijg ik meerdere resultaten die mij weinig/niks zeggen.

Simpele harddisk benchmark tool, welke veel gebruikt wordt in [Benchmarks] Het grote: "Post hier je RAID scores topic" II
Vraag me niet hou je het best zo'n MSA20 kan testen. Helaas geen ervaring mee.

[ Voor 4% gewijzigd door _H_G_ op 26-05-2008 15:00 ]

[Verwijderd]

Backup nog gedaan naar de MSA20 (ipv de RAID1), maakt qua MB/min niks uit als.
Dat is dus in iedergeval uitgesloten.

ATTO:
Server 1: MSA20


Server 1: D-schijf (36GB 15k scsi in RAID1)


Server 2: MSA20


Server 2: D-schijf (36GB 15k scsi in RAID1)


Vreemde is dus dat die MSA20 op Server 1 lagere snelheden haalt dan die aan Server 2 hangt.
En dat terwijl ze identiek zijn...

Iemand een suggestie waar ik dat zou moeten zoeken?
SCSI kabel wellicht?

MSA's hangen aan een Smart Array 6400 controller met 320MB cache geheugen.

[elevator]

Verwijderd schreef op maandag 26 mei 2008 @ 14:27:
Dat laatste snap ik niet helemaal.
Bedoel je dat je 1 server hebt, met daarop 2 array's?

Ja, dus 2 logical drives in de raid controller aangemaakt, en die backuppen dus per twee. Dat werkte bij ons beter.

In jouw geval zal je waarschijnlijk het wel kunnen testen door gewoon 1 job tegelijkertijd te draaien, als je dan het dubbele of iets dergelijks aan snelheid wint, heb je alsnog genoeg tijd om binnen je backupwindow te blijven.

[Verwijderd]

Een MSA20 kan geen Array groter dan 2TB aanmaken.
Ik heb dus 4 Array's aangemaakt (4x RAID6)
Deze heb ik als Spanned volume aangemaakt in Server 2008 zodat ik 1 groot volume heb van 6,83TB.
Dit om vollopende disks te voorkomen.