Spanned virtual harddisk onder win10 x64?

[nielsgeode]

Onder windows 10 kan een VHD bestand gemaakt worden, deze is max 2 TB, kan gemount worden waarna deze hetzelfde werkt als een fysieke schijf. Echter, Bij een groot volume geeft dit dus 1 groot bestand van 2 TB.

Wat ik graag zou willen is een virtuele schijf kunnen mounten en gebruiken als een fysieke schijf, maar waarbij het daadwerkelijke schijfbestand opgesplitst is in meerdere delen (van x GB), net als bij een spanned zip archief.

Uitgebreid google heeft niets opgeleverd. Wie heeft een idee?

[MAX3400]

Nee, dat kan niet. Een VHD heeft, net als elk ander bestand, een begin en een eind. Je kan toch ook niet zomaar een ISO-bestand in 8 stukken knippen en hopen dat het nog werkt? Of een DOC-bestand van 4MB op file-niveau in 8x 512KB knippen en dan nog bewerken?

Waarom maak/mount je geen VHDX? Kan 64TB groot worden; lijkt me meer dan genoeg.

[Voor 34% gewijzigd door MAX3400 op 10-11-2018 19:43]

[nielsgeode]

MAX3400 schreef op zaterdag 10 november 2018 @ 19:42:
Nee, dat kan niet. Een VHD heeft, net als elk ander bestand, een begin en een eind. Je kan toch ook niet zomaar een ISO-bestand in 8 stukken knippen en hopen dat het nog werkt? Of een DOC-bestand van 4MB op file-niveau in 8x 512KB knippen en dan nog bewerken?

Waarom maak/mount je geen VHDX? Kan 64TB groot worden; lijkt me meer dan genoeg.

Daar gaat het me niet om. Ik wil naar cloud kunnen backuppen zonder dat de cloudbackup de bestandsnamen kan zien, die worden namelijk niet encrypted (alleen de inhoud). Een los bestand van honderden gigabytes is geen doen met een eventuele restore. Komt bij dat Lightroom achtelijke hoeveelheden files maakt in mijn catalogue omdat ik er zoveel foto's in heb. Met scannen duurt dat altijd anderhalve eeuwigheid en kan waarschijnlijk veel sneller als mijn Lightroomcatalogi in een VHD (oid) zitten.

Die 2 TB grens hoef ik dus niet overheen.

Hoe zit het dan met die VHDX files als die groter worden dan een enkele schijf? Kan je dan de delen over meerdere fysieke schijven wegschrijven of moet je echt RAID-volumes gaan maken zodat je daadwerlijk 1 volume van 64 TB hebt?

[Voor 26% gewijzigd door nielsgeode op 10-11-2018 19:47]

[MAX3400]

Dan moet je gaan zoeken naar "hoe" een VHD is opgebouwd. Aangezien Microsoft al aangeeft dat je deze niet block-based mag backuppen, ben je eigenlijk al gezien.

En omdat een VHD niet sequentieel wordt geschreven, weet je nooit of/welk deel van een VHD gewijzigd is. Dus al zou je 200 VHD's van 10 MB mounten, daar een Storage Group van maken en 1 volume van maken, dan nog moet je alle 200 VHD's naar je cloudprovider uploaden, zelfs als je maar 1 bestandje van 4KB erin hebt gezet.

[nielsgeode]

MAX3400 schreef op zaterdag 10 november 2018 @ 19:49:
Dan moet je gaan zoeken naar "hoe" een VHD is opgebouwd. Aangezien Microsoft al aangeeft dat je deze niet block-based mag backuppen, ben je eigenlijk al gezien.

En omdat een VHD niet sequentieel wordt geschreven, weet je nooit of/welk deel van een VHD gewijzigd is. Dus al zou je 200 VHD's van 10 MB mounten, daar een Storage Group van maken en 1 volume van maken, dan nog moet je alle 200 VHD's naar je cloudprovider uploaden, zelfs als je maar 1 bestandje van 4KB erin hebt gezet.

Ik weet niet hoe Storage Groups werken (ik ga googlen), maar je cloudprovider gaat toch per bestand de CRC vergelijken en alleen gewijzigde bestanden uploaden? Of denk je dat in jouw scenario daadwerkelijk de CRC van elk van die 200 VHD's verandert? Overigens upload mijn cloudprovider alleen de gewijzigde blocken en niet het hele bestand. Ik kan dat goed zien met de outlook PST file als ik een nieuw mailtje heb.

[MAX3400]

nielsgeode schreef op zaterdag 10 november 2018 @ 19:51:
[...]


Ik weet niet hoe Storage Groups werken (ik ga googlen), maar je cloudprovider gaat toch per bestand de CRC vergelijken en alleen gewijzigde bestanden uploaden?

200 VHD's in een Storage Group of 1 losse VHD: ze veranderen allemaal. Ik geloof dat je echt eerst even moet inlezen in het file-format van een VHD of VHDX en daarna moet gaan denken wat er precies gebeurt als je er 1 bestand in verandert.

Dus nee, het is niet mogelijk om een CRC van een VHD te maken; die is namelijk elke dag gelijk. Als jij nu VHD aanmaakt van 10GB groot, dan is de CRC bijvoorbeeld 4698293. Maar de inhoud van die VHD is leeg. Als je er dan 7.4GB aan data inzet, de VHD dismount, is de CRC nog steeds 4698293. Je upload dus 0 bytes want jouw sync-programma ziet geen wijzigingen.

[anboni]

Hoewel dit geen antwoord is op je vraag in dit topic, is Cryptomator mogelijk juist wel de oplossing voor je probleem.

[nielsgeode]

MAX3400 schreef op zaterdag 10 november 2018 @ 19:59:
[...]

200 VHD's in een Storage Group of 1 losse VHD: ze veranderen allemaal. Ik geloof dat je echt eerst even moet inlezen in het file-format van een VHD of VHDX en daarna moet gaan denken wat er precies gebeurt als je er 1 bestand in verandert.

Dus nee, het is niet mogelijk om een CRC van een VHD te maken; die is namelijk elke dag gelijk. Als jij nu VHD aanmaakt van 10GB groot, dan is de CRC bijvoorbeeld 4698293. Maar de inhoud van die VHD is leeg. Als je er dan 7.4GB aan data inzet, de VHD dismount, is de CRC nog steeds 4698293. Je upload dus 0 bytes want jouw sync-programma ziet geen wijzigingen.

Hmm. Ik ga me zeker inlezen, maar dat kost wat tijd natuurlijk. Heb je een andere suggestie/oplossing/fileformat voor mijn probleem?

[KRGT]

Duplicati zou dit voor je kunnen?

Encrypted back-up, deze plaatst allerlei .aes.zip bestanden op de remote back-up.

https://www.duplicati.com/

[nielsgeode]

KRGT schreef op zaterdag 10 november 2018 @ 20:03:
Duplicati zou dit voor je kunnen?

Encrypted back-up, deze plaatst allerlei .aes.zip bestanden op de remote back-up.

https://www.duplicati.com/

"uplicati works with standard protocols like FTP, SSH, WebDAV as well as popular services like Microsoft OneDrive, Amazon Cloud Drive & S3, Google Drive, box.com, Mega, hubiC and many others."

Backblaze wordt ondersteund maar Crashplan Pro niet.

[MAX3400]

nielsgeode schreef op zaterdag 10 november 2018 @ 20:14:
[...]

Backblaze wordt ondersteund maar Crashplan Pro niet.

Allicht een idee om dan je startpost te completeren? Want ik wist niet dat je wilde backuppen naar de cloud en toen @KRGT een optie gaf, kwam je pas met meer info.

Welke incremental backuppakketten worden dan wel door Crashplan ondersteund? En kunnen die ook encrypten / splitsen?

[Voor 4% gewijzigd door MAX3400 op 10-11-2018 20:16]

[nielsgeode]

MAX3400 schreef op zaterdag 10 november 2018 @ 20:16:
[...]

Allicht een idee om dan je startpost te completeren? Want ik wist niet dat je wilde backuppen naar de cloud en toen @KRGT een optie gaf, kwam je pas met meer info.

Welke incremental backuppakketten worden dan wel door Crashplan ondersteund? En kunnen die ook encrypten / splitsen?

Voor zover ik weet moet je de software van Crashplan zelf gebruiken. Backblaze heeft natuurlijk ook een eigen client. Ik heb beide cloudproviders en gebruik de 'native' software. Als ik met backblaze over wil naar duplicati dan moet ik dus volledig opnieuw beginnen met backup of niet?

[Arunia]

Crashplan home voorheen en nu pro encrypten op vrij "hoog" niveau met een persoonlijke sleutel. Ik vraag me echt af waarom je dan heel moeilijk zou willen doen. Heb zelf ondertussen daar bijna 1TB staan in de Cloud.

[nielsgeode]

Arunia schreef op zaterdag 10 november 2018 @ 20:21:
Crashplan home voorheen en nu pro encrypten op vrij "hoog" niveau met een persoonlijke sleutel. Ik vraag me echt af waarom je dan heel moeilijk zou willen doen. Heb zelf ondertussen daar bijna 1TB staan in de Cloud.

Filenames worden niet encrypted. Gevoelige data kan een hoop info in de bestandsnamen bevatten (zoals persoonsgegevens).

[MAX3400]

nielsgeode schreef op zaterdag 10 november 2018 @ 20:23:
[...]


Filenames worden niet encrypted. Gevoelige data kan een hoop info in de bestandsnamen bevatten (zoals persoonsgegevens).

Wat is het probleem nu dan? Kijkt er iemand mee in je online storage? Heb je je persoonlijke encryptie-key uitgeleend aan een Nigeriaanse prins?

Ik vermoed dat je je ergens zorgen over maakt terwijl die zorg ongegrond is.

Andersom; is jouw infra thuis veiliger dan die van Crashplan? Want het is waarschijnlijk makkelijker om bij jou thuis binnen te komen en je hele PC te jatten dan dat je in een datacenter van Crashplan "exact" de drives weet te jatten waar jouw data op staat.

[nielsgeode]

Als ik voor backblaze overga van de native software naar duplicati moet ik sowieso opnieuw beginnen met uploaden neem ik aan? Weet iemand hoe het zit met de 30 dagen termijn waarop verwijderde bestanden uit de cloudbackup worden gegooid? Doet duplicati dat ook en/of is het uit te zetten?

[anboni]

nielsgeode schreef op zaterdag 10 november 2018 @ 20:23:
[...]


Filenames worden niet encrypted. Gevoelige data kan een hoop info in de bestandsnamen bevatten (zoals persoonsgegevens).

Waarschijnlijk heb je m'n eerdere reactie over het hoofd gezien, maar het klinkt alsof Cryptomator precies is wat je zoekt (alleen in plaats van een dropbox folder gebruik je een willekeurige andere folder die je includeert in je online backup)

[nielsgeode]

anboni schreef op zaterdag 10 november 2018 @ 20:34:
[...]


Waarschijnlijk heb je m'n eerdere reactie over het hoofd gezien, maar het klinkt alsof Cryptomator precies is wat je zoekt (alleen in plaats van een dropbox folder gebruik je een willekeurige andere folder die je includeert in je online backup)

Aja, excuus. Bedoel je dat je de data encrypted opslaat in een nieuwe map en dan alleen die map naar de cloud (laat) backuppen? Dat betekent wel dat je dus alles lokaal dubbel opslaat en twee keer zoveel schijfruimte nodig hebt.

[anboni]

nielsgeode schreef op zaterdag 10 november 2018 @ 20:36:
[...]


Aja, excuus. Bedoel je dat je de data encrypted opslaat in een nieuwe map en dan alleen die map naar de cloud (laat) backuppen? Dat betekent wel dat je dus alles lokaal dubbel opslaat en twee keer zoveel schijfruimte nodig hebt.

Nee, dit wordt een aparte driveletter. Dingen die je daarin opslaat, worden encrypted en opgeslagen in je lokale map.Met die lokale map kun je daarna whatever doen (hun primaire use case is een dropbox of soortgelijke map, maar als jij een 'normale' lokale map gebruikt en die naar een cloud service backupped, is het effect wat jij zoekt)

[nielsgeode]

anboni schreef op zaterdag 10 november 2018 @ 20:50:
[...]


Nee, dit wordt een aparte driveletter. Dingen die je daarin opslaat, worden encrypted en opgeslagen in je lokale map.Met die lokale map kun je daarna whatever doen (hun primaire use case is een dropbox of soortgelijke map, maar als jij een 'normale' lokale map gebruikt en die naar een cloud service backupped, is het effect wat jij zoekt)

Kan je ook een nieuwe driveletter van 16TB maken als je 2 fysieke schijven van 8TB hebt die onder windows gewoon een eigen schijfletter hebben?

[MAX3400]

nielsgeode schreef op zaterdag 10 november 2018 @ 21:28:
[...]


Kan je ook een nieuwe driveletter van 16TB maken als je 2 fysieke schijven van 8TB hebt die onder windows gewoon een eigen schijfletter hebben?

Zo te zien niet tenzij die directory daadwerkelijk over een RAID0-volume hebt staan. Maar haal je hier ook niet driveletters en drives door elkaar? Want Cryptomator "ziet" geen (fysieke) disks.

[anboni]

nielsgeode schreef op zaterdag 10 november 2018 @ 21:28:
[...]


Kan je ook een nieuwe driveletter van 16TB maken als je 2 fysieke schijven van 8TB hebt die onder windows gewoon een eigen schijfletter hebben?

Zoals @MAX3400 al zegt, dat zul je op een andere manier moeten regelen. Je zou het inderdaad met RAID0 kunnen doen, of door de tweede drive onder de eerste te mounten (en de cryptomator naar de eerst te verwijzen)

[nielsgeode]

anboni schreef op zaterdag 10 november 2018 @ 22:45:
[...]


Zoals @MAX3400 al zegt, dat zul je op een andere manier moeten regelen. Je zou het inderdaad met RAID0 kunnen doen, of door de tweede drive onder de eerste te mounten (en de cryptomator naar de eerst te verwijzen)

Drives en driveletters verwissel ik niet Het had gekund at er een optie in die software zit die toestaat dat je de inhoud van een virtuele cryptomator-schijf in meerdere mappen verdeeld die dan ' toevallig' op meerdere fysieke schijven staan. Ik heb net de software geinstalleerd om er eens mee te spelen en die optie lijkt inderdaad niet aanwezig, had het ook niet verwacht maar je weet maar nooit natuurlijk.


In Linux is het (volgens mij) makkelijk om een tweede schijf onder een eerste te mounten, maar hoe doe je dat in windows?

[MAX3400]

nielsgeode schreef op zaterdag 10 november 2018 @ 22:58:
[...]

In Linux is het (volgens mij) makkelijk om een tweede schijf onder een eerste te mounten, maar hoe doe je dat in windows?

Gewoon met mklink en dan zelf kiezen of je een soft, hard of junction wil maken?

[nielsgeode]

MAX3400 schreef op zaterdag 10 november 2018 @ 23:00:
[...]

Gewoon met mklink en dan zelf kiezen of je een soft, hard of junction wil maken?

Mjah, oke, dat is niet echt mounten toch? Ik bedoel: carbonite (cloud backup) staat helaas maar 1 fysieke schijf toe anders had ik die gehad in plaats van backblaze. Ik heb geprobeerd het met mklink voor de gek te houden maar dat gaat niet. Daar is echt een raidvolume voor nodig.

[jeroen3]

MAX3400 schreef op zaterdag 10 november 2018 @ 19:59:
[...]
Dus nee, het is niet mogelijk om een CRC van een VHD te maken; die is namelijk elke dag gelijk. Als jij nu VHD aanmaakt van 10GB groot, dan is de CRC bijvoorbeeld 4698293. Maar de inhoud van die VHD is leeg. Als je er dan 7.4GB aan data inzet, de VHD dismount, is de CRC nog steeds 4698293. Je upload dus 0 bytes want jouw sync-programma ziet geen wijzigingen.

Hoe kan de CRC ongewijzigd blijven, als je wel de data wijzigt?

nielsgeode schreef op zaterdag 10 november 2018 @ 19:40:
Onder windows 10 kan een VHD bestand gemaakt worden, deze is max 2 TB, kan gemount worden waarna deze hetzelfde werkt als een fysieke schijf. Echter, Bij een groot volume geeft dit dus 1 groot bestand van 2 TB.

Wat ik graag zou willen is een virtuele schijf kunnen mounten en gebruiken als een fysieke schijf, maar waarbij het daadwerkelijke schijfbestand opgesplitst is in meerdere delen (van x GB), net als bij een spanned zip archief.

Volgens mij kan dat wel, maar de oplossing is nogal ingrijpend.
Simpel gezegd: maak een virtuele machine die van de losse VHD-tjes wel een JBOD volume kan maken, en hiervan een (local) netwerkshare maakt.
Je moet wel telkens de virtuele machine afsluiten als je wilt gaan uploaden naar de cloud.

Maar, als we even het X probleem benaderen:

Ik wil naar cloud kunnen backuppen zonder dat de cloudbackup de bestandsnamen kan zien, die worden namelijk niet encrypted (alleen de inhoud).

Bij het versleutelen van de bestandsnamen verlies je bij veel providers de mogelijkheid om individuele files te restoren. Immers heb je geen idee hoe ze heten, en de naam verandert elke wijziging. Daarom doen ze dat niet.

[nielsgeode]

Ander 'dingetje'. Wil liever geen apart topic openen. Zoals de meesten is mijn OS-schijf een SSD. Kwam er vandaag achter dat backblaze iriitant veel logdata schrijft: heb zo'n 3,5 uur weinig tot niks gedaan met mijn pc en de liftetime-writes op die schijf waren met 40 GB toegenomen. Met perfmon is ook te zien dat backblaze meerdere megabytes per seconde schrijft in de map c:\programdata\backblaze.

Nu heb ik (als oplossing) backblaze gedeinstalleerd, een junction gemaakt naar een map op mechanische schijf en daarna backblaze opnieuw geinstalleerd. Dit gaat goed en backblaze gaat in trial mode zoals hoort. Je kan dan een 'Inherit Backup State' doen en inloggen met username/password en private key. Als je dat probeert krijg je de melding "contact support with error: Horse.". Ook op een ander testsysteem met trial account en ander mailadres zie ik exact hetzelfde.

Wat zou hier fout gaan? Ik heb een mklink /j commando gebruikt en ik zie dat backblaze netjes een zooi data in de echte map op de mechanische schijf zet.


EDIT:
Kleine toevoeging: ik was in de war met backblaze en b2 cloud backup, beiden van hetzelfde bedrijf. De laatste rekent per GB, heeft wel API ondersteuning en is een stuk duurder. Backblaze zelf niet, en werkt dus ook niet met duplicati.

[Voor 16% gewijzigd door nielsgeode op 11-11-2018 15:16]