DFSR probleempje

[mivadi574]

Helaas is onze DFSR service goed misgegaan en hebben we de nodige backups terug moeten zetten.
Nu lopen we hier tegen een issue aan waar ik niet zo gauw een oplossing voor weet, maar hopelijk heeft iemand hier een idee.

Het terugzetten moest helaas in verschillende delen gebeuren en als gevolg hiervan zijn er meerdere bestanden één of meerdere keren teruggezet.
Deze bestanden zijn uiteraard te herkennen aan bestandsnaam+(1) of (2), maar het betreft ongeveer 35GB aan data dat teveel is teruggezet.
Om dit op te lossen ben ik dus op zoek naar een tool om dubbele bestanden te vinden, maar eenvoudig alle bestanden selecteren met (1) in de naam gaat dus niet want soms is er geen origineel.

Ik ben dus op zoek naar een tool (of ander oplossing) om de dubbele bestanden te vinden en te verwijderen, zonder dat we 100.000+ bestanden met de hand na moeten gaan lopen.
Voor de volledigheid: alles wissen en het opnieuw terugzetten van de data is niet mogelijk want er wordt inmiddels alweer drie dagen gewerkt door de mensen.

Lang leve DFSR...

[CMD-Snake]

Misschien kan je met PowerShell een lijst genereren van alle bestanden op je fileservers die voldoen aan je criteria (dus bestandsnaam eindigend op een getal bijvoorbeeld.) PowerShell kan zelfs bestanden voor je vergelijken met de compare-object cmdlet.

Met wat creativiteit kan je wel een script maken dat dus voor je op zoek gaat. Je kan dan nog handmatig de lijst doornemen voor je besluit om bestanden weg te gooien. Als je heel zeker van je zaak bent kan je een bewerkte lijst aan PowerShell meegeven die dan die bestanden voor je verwijderd.

Overigens zie ik niet helemaal hoe deze situatie de schuld is van het DFSR systeem, buiten de crash dan.

[mivadi574]

Ik ben ook al wat met Powershell aan het stoeien geslagen, dus hopelijk red ik het hiermee.

De kopieen zijn uiteraard geen schuld van DFSR, maar van de lokale mensen in de landen die de restores moesten terugplaatsen. Door issues met rechten op de mappen en bestanden werden helaas niet alle mappen/bestanden in één keer gerestored, maar moesten we mappen apart restoren en in dit proces zijn er ook een aantal mappen dubbel teruggehaald, welke dus simpelweg door de lokale mensen, zonder op de waarschuwing te letten, ook terug zijn geplaatst oftewel een hoop gesh%$ door slapende mensen...

[Oogje]

Treesize Pro kan dit ook, geen dure tool voor een klus zoals dit.

[TCP_IP]

Met Powershell zou dit mooi kunnen.
Met een kleine functie maak je een checksum van alle bestanden die je opslaat in een array. Vervolgens controleer je op dubbele checksums.

Hier alvast de Get-Checksum functie die ik zelf ook gebruik.

code:

function Get-Checksum
{
    Param (
        [string]$File=$(throw("You must specify a filename to get the checksum of.")),
        [ValidateSet("sha1","md5")]
        [string]$Algorithm="sha1"
    )

    $fs = new-object System.IO.FileStream $File, "Open"
    $algo = [type]"System.Security.Cryptography.$Algorithm"
    $crypto = $algo::Create()
    $hash = [BitConverter]::ToString($crypto.ComputeHash($fs)).Replace("-", "")
    $fs.Close()
    $hash
}