Veiligste manier om bulkdata te verhuizen QNAP naar ZFS

[HyperBart]

Ik heb al een tijdje een QNAP TS 439 Pro II in bezit, maar ga deze wegens verkoop "leeg maken" en al mijn data verhuizen naar mijn nieuw gebouwde ZFS machine (N40L met 5 x 3TB in RAIDZ).

Nu vroeg ik me af: hoe kopieer ik het best mijn data van de QNAP naar de ZFS-machine?

Ik heb onder de QNAP meerdere shares, met uiteraard wat permissies op. Onder ZFS wat permissies instellen is niet zo eenvoudig had ik begrepen, dus die mogen ook wegvallen. Het belangrijkste is dat mijn data correct wordt overgezet en liefst volledig, daar maak ik me echt zorgen over en ben ik redelijk "angstig" om...

rsync leek me dan het makkelijkst, maar dan moet ik vanaf de QNAP continu een sessie in SSH laten openstaan om volgend commando te runnen:

rsync -avz /pad/naar/mijn/shares/op/qnap ssh@zfsguru:/pad/naar/mijn/zfs/share

[wjn]

Direct kopieren gaat wel het snelst (van NAS naar NAS). Ik heb nog niet uitgezocht hoe met FreeBSD bestanden met elkaar vergeleken kunnen worden.

Ik gebruik Beyond Compare (had ik nl. al) om de bestanden achteraf (binair) te vergelijken en zo eventuele kopieerfouten uit te sluiten.

Gaat helaas wel via een pc over het netwerk, dus kost wel wat tijd.

[Voor 19% gewijzigd door wjn op 05-10-2012 13:12]

[Demo]

rsync -aqz /pad/naar/mijn/shares/op/qnap ssh@zfsguru:/pad/naar/mijn/zfs/share &
Dan draait je sessie stilletjes op de achtergrond en kan je je SSH-sessie sluiten. Doe je daarna nog een rsync -avz, als er geen verschillen zijn tussen beide NAS'en, zou dat binnen een seconde klaar moeten zijn. (want geen data meer te syncen)
Of als het beschikbaar is, installeer je screen. Dan kan je de sessie disconnecten en later hervatten.

[HyperBart]

rsync staat niet standaard op ZFSguru

[Anoniem: 15758]

Rsync is iets kleins en kun je eenvoudig toevoegen met pkg_add -r rsync. Ik verwar rsync elke keer met iperf; laatstgenoemde zit wel standaard in ZFSguru maar rsync dus niet. Zou een mooie service addon kunnen worden mits er een web-interface panel bij zit.

[HyperBart]

Ja, heb ik nu ff gedaan, krijg nog wel een error omdat hij de directory "." iets mee wilt doen, maar basically heb ik mijn commando samengesteld:

Als ik het doe vanuit "/share/Documenten" dan kopieert hij volgens mij een symlink

rsync -aqz /share/MD0_DATA/Documenten/test/ ssh@192.168.5.138:/hulk/pomptest/

[Wolfboy]

Als je de "-L" parameter geeft aan rsync dan zullen de symlinks netjes omgezet worden. Let er wel op dat je dan dubbele bestanden kan krijgen als je meerdere symlinks naar dezelfde locatie hebt

[HyperBart]

Ah ok...

Dat & teken achter een commando zorgt dat het in de achtergrond verder gaat, maar is er dan nog een mogelijkheid om terug te kijken naar de uitvoer van dat commando en zo ja, kan je via rsync een beetje kijken hoe het progress verloopt?

[Anoniem: 15758]

Je kunt altijd bij een commando wat draaiende is (en dus je shell 'bezet' houdt):

control+Z

dan stopt het commando en keer je terug naar de shell.

Je kunt dan doen:

bg

Je stuurt de 'job' dan naar de background (alsof je & gebruikt had in je commando). Wil je dan weer naar de voorgrond kun je 'fg' (foreground) typen. Je kunt ook 'jobs' typen voor alle achtergrond jobs.

Control+T kun je gebruiken om de progressie/voortgang van een commando te krijgen, niet alle commando's ondersteunen dit overigens.

Verder is de suggestie van 'screen' ook niet slecht; dan kun je je SSH terminal afsluiten en later gewoon weer inloggen om te kijken hoe ver hij is gebleven. Hoe gebruik je screen?

screen [enter] start een screen terminal. Met 'exit' kom je daar weer uit.
Control+A en daarna d drukken zorgt voor een Detach, je keert terug naar je shell
wil je terug naar de screen, dan doe je screen -r (r van reattach denk ik).

[HyperBart]

Ja, het principe van screen ken ik, maar kvroeg me ook gewoon af of je het ook anders kon, zoals blijkbaar met je jobs...

[Voor 70% gewijzigd door HyperBart op 05-10-2012 20:20]

[HyperBart]

EDIT: rsync is precies echt wel TRAAG. Ik haal doorgaans met mijn QNAP snelheden vlot over de 50MB/s over SMB. Nu amper 5MB/s...


rsync is dus, met alle liefde ter wereld, geen oplossing om nog iets of wat "snel en veilig" mijn data over te pompen... Ik had gehoopt op snelheden rond de 50MB/s maar het is over het algemeen 4,6MB/s en dat is ECHT te traag...


Ik heb dan maar op mijn ZFSguru installatie alle SMB shares van de QNAP gemounted onder mijn homedir en ben nu met good old basic shitty zonder progressbar "cp" aan het werken. Gaat vrolijk tegen de 45 à 50MB/s . Dat zijn waardes waar ik vrolijker van word

[Voor 73% gewijzigd door HyperBart op 05-10-2012 21:19]

[Anoniem: 15758]

Gebruik je wel rsync protocol of laat je het over SSH encrypted lopen? Kan me voorstellen dat de chip in die QNAP niet zo snel kan encrypten en dat daarom je snelheid zo laag is. Probeer het rsync:// protocol eens volgens de manual page.

[HyperBart]

Oooh, je kan RSYNC ook echt gebruiken als protocol, ik dacht altijd dat dat dan over SSH moet.

Nu merk ik zelfs dat de QNAP een ingebouwde GUI heeft voor RSYNC te doen of te krijgen, met filtertjes en read of read/write access voor de remote partij


Nu ja, de copy is al aan het lopen, als die vanavond gedaan heeft, eens even rsync er over laten gaan om te zien of alles in orde is. Eerst eens zien dat ZFSguru klaar is om als rsync server te fungeren...

[Anoniem: 15758]

ZFSguru als rsync server:

1. edit de configfile /usr/local/etc/rsyncd.conf

#uid = nobody
# soms moet je uid op root zetten voor rechten
#gid = nobody
# idem als hierboven

[sharenaam]
path = /path/to/ZFS/storage/
comment = comment zodat je weet waar deze share voor was

2. start rsync in daemon (background service) mode
rsync --daemon

[Voor 16% gewijzigd door Anoniem: 15758 op 06-10-2012 14:11]

[HyperBart]

Zonder de # waarschijnlijk, anders is het als commentaar veronderstel ik...

Heb ook nog volgend moeten toevoegen:

read only = no


En alles draait . Hij is nu aan het syncen tegen 40MB/s (wat nog altijd wat trager is dan SMB), maar hij doet het nu allemaal zelf, de job draait op de achtergrond en is vrolijk bezig en ik vertrouw rsync wat meer dan een gewone cp...

[Voor 66% gewijzigd door HyperBart op 07-10-2012 12:06]

[Wolfboy]

Er is overigens niets wat je tegenhoud om een rsync over smb te doen

Al zal je dan wel rechten verliezen mogelijk, dat werkt ook prima.