[Arcserve2k] 100.000 bestanden van 10k

[ArjanC]

Hoi,
Wij draaien hier de backups met Arcserve 2000. deze staat geinstalleert op onze File/print server.
de Tape unit is een HP LTO 220/110.

nu heb ik op een andere Server (Fax server) rond de 100.000 bestanden van een 2 to 10 kb. als ik deze wil backuppen over het 'normale 100mb' netwerk dan is hij daar een paar dagen mee bezig dit is dus niet de bedoeling.

nu heb ik op de Faxserver Arcserve Agent geinstalleert en daarme kan je Filters zetten.. jammergenoeg per Agent en niet per directory maar ok. Als ik deze instel op 'modified within 7 day's' dan zou hij dus alle nieuwe Faxen moeten backuppen binnen de 7 dagen.

als ik deze instel dan is hij nog steeds te lang bezig (42 uur ) hij gaat namelijk elke file langs, en aangezien de faxserver deze directory structuur heeft
Root>Send>year>month>day>sender>Fax
is hij daar lang mee bezig.

nu heb ik ook al een link gelegt tussen de twee server van 1Gb maar dat scheelt misschien maar een paar uur..

Iemand misschien een Idee hoe ik dit kan versnellen? ik kan de LTO-Drive niet verplaatsen naar die server. op de andere server moet ik zo'n 80Gb Backuppen.

[ Voor 4% gewijzigd door ArjanC op 23-05-2003 10:15 . Reden: spelling :) ]

[Stormtrooper]

Mmmm, ik neem aan dat dat dus allemaal aparte directories zijn.... Kan ik me voorstellen dat dat inderdaad ff gaat duren.

Geen idee om faxen ouder dan een bepaalde tijd te archiveren en te verwijderen van die server....?

Ik heb in het verleden zoiets wel eens gehad met een Novell server, daarop ArcServe 4.2 en een oud DOS boekhoudpakketje met in iedere directory een kleine 28000 bestanden (allemaal superklein), geen platte databases o.i.d....

ArcServe 4.2 begint met inlezen directories en had daarvoor zoveel geheugen nodig dat de disk ge-unmount werd..... Erg leuk met Novell.... Oplossing 1 uiteraard meer geheugen in het systeem, maar zoveel paste er niet in die machine.... mooiste oplossing werd dus eerst vanaf werkstation het hele pakket zippen en die ZIP backuppen.....

[ Voor 56% gewijzigd door Stormtrooper op 23-05-2003 10:18 ]

[Remco]

Misschien met een batch kopieren naar de backup-server, en dan backuppen ?

[ArjanC]

Deze faxen moeten we bewaren om Juridise redenen (Fax? niet gehad!)

[ArjanC]

Remc0 schreef op 23 mei 2003 @ 10:15:
Misschien met een batch kopieren naar de backup-server, en dan backuppen ?

Met een batch bestand alle bestanden binnen de 7 dagen kopieeren..Hmm..

hoe snel zou dat gaan ? we doen zo'n 1500 paxen per dag.. da's 7500 voor 5 dagen en rond de 100 in het weekend da's 7600..

zou dat werken?

[Stormtrooper]

Of een beetje dezelfde truk als ik toen uit moest halen en wat ik in principe bedoelde: complete dir comprimeren, die .zip/.arj/.rar or whatever backuppen....

Hee, een beetje mijn ondertitel jatten

[ Voor 14% gewijzigd door Stormtrooper op 23-05-2003 10:25 ]

[Remco]

Je kan ze dan op file niveau op 1 Gbit kopieren naar je backupserver.
Het is voor Arcserve en je tapeunit van belang dat de "flow" van je data constant is van je schijf naar je unit.
Op die manier creeer je dus een mooie flow, want anders gaat je unit stuk.

offtopic:
Echt waar, heb daar een hele discussie met een hp'er over gehad m.b.t. de flow.
Wat blijkt nou, hij had gelijk, als je je tapeunit openschoeft en dan tijdens je backup je koppen bekijkt, zie je stees als de unit even geen data krijgt dat hij een "borstel-wieltje" langs je kop haalt.
Dat is het ratelen van je unit, in tegenstelling, van wat ik altijd dacht het heen en weer spoelen van je tape.
Dit geeft uiteraard sluitage op allerlei delen, en dat ding gaat dan kapot.

Als je je data dus gekopieerd hebt, zou je het eventueel nog even kunnen compressen zoals stormtrooper zegt, maar dat is een kwestie van je tijd meten.
En als het op de backupserver staat, kan je full-speed backuppen naar je unit toe, en ook nog overdag, want het is toch maar op de backupserver zelf.

[Stormtrooper]

Ik denk dat het sneller is om eerst te comprimeren en dan pas evt de compressiefile te kopieren... Zeker als het gaat om zoveel bestanden per directory en heel veel directories....

[ArjanC]

Stormtrooper schreef op 23 mei 2003 @ 10:21:
Of een beetje dezelfde truk als ik toen uit moest halen en wat ik in principe bedoelde: complete dir comprimeren, die .zip/.arj/.rar or whatever backuppen....

zou dit automatisch kunnen ? heb geen zin om elke week met zip een bestand te gaan maken..

net even gekeken. het zijn ietsjes meer files..

346.883 Files, 194.538 Folders, 10.3 Gb

Zip gaat dat niet leuk vinden

[Stormtrooper]

Je zou het denk ik het beste per maand kunnen doen ofzo.... Voordeel dan is dat ZIPs van verlopen maanden niet mee opnieuw gemaakt hoeven worden, alleen nog maar van de huidige maand.... En dat scheelt een hoop tijd. Al die ZIPs (met bijvoorbeeld de naam van de maand en jaartal) bewaar je dan in een aparte directory. Zo update je alleen de huidige maand..... Scheelt hoop tijd en gaat ZIP wel bevatten....

zou je kunnen doen met AT of zo....

[connected]

je kan het een keer proberen met de file rar.exe van winrar die is namelijk gewoon vanuit een dosbox (of batch aan te stuuren) dus die zou je kunne schedulen.

btw zet dan de compressie op "store" dan doet hij geen compressie maar dan gooit hij ze alleen in een grote file die weer lekker snel is te backuppen.

[Stormtrooper]

Leuk he, draai je met allerlei professionele hard- en software, moet je toch nog teruggrijpen naar allerlei hobby houtjes-touwtjes middelen om het werkbaar te houden.....

Kan je hier wat mee? Volgens mij zijn er niet echt andere simpele oplossingen ....

[ArjanC]

Ik denk het wel.

dit ga ik (probeeren!) te fabriceeren..

in VbScript, een scriptje maken die alle bestanden in een txt bestand gooit (alleen de te-backuppen) dan via ZIP alle bestanden in die txt file zippen..

dan via de Gb kaartjes overpompen..

en dit 1x per week laten draaien..

moet lukken (anders zie je me ongetrijfelt )

[Stormtrooper]

burp2001 schreef op 23 May 2003 @ 13:29:
in VbScript, een scriptje maken die alle bestanden in een txt bestand gooit (alleen de te-backuppen) dan via ZIP alle bestanden in die txt file zippen..

dan via de Gb kaartjes overpompen..

en dit 1x per week laten draaien..

moet lukken (anders zie je me ongetrijfelt )

Kan nooit lang duren als je dit per maand dot krijg je dus even ruwweg (4x5x1500)+(4x2x100)= ruwweg max. 30000 te zippen files.....

Waarom zou je dat een .txt file doen, kan je niet gewoon simpelweg de hele dir zippen????