Linux directory met > 2 miljoen bestanden archiveren

[Roel911]

Ik heb in Linux (Kubuntu 14.04 LTS) een map met meer dan 2 miljoen bestanden. Het is een VDS (leaseweb) met EXT4 partitie. Ik wil deze graag archiveren. Echter als ik bijvoorbeeld tar gebruik, krijg ik een error dat er teveel bestanden in de map zitten. Weet iemand hoe ik ze kan archiveren? Ik heb op internet gezocht, maar kon de hapklare oplossing niet vinden.

Ben ook benieuwd of BRTFS of XFS dit zou oplossen, alhoewel dit op deze VDS geen optie is. Ik bedenk me dat het wellicht slimmer had geweest om dit allemaal in een database te zetten, maar wil toch graag de huidige map met bestanden archiveren.

[Skyaero]

rsync?

[BoAC]

Hoe probeer je dan te archiveren? De map of de lijst met bestanden?
Zie ook: http://superuser.com/ques...ames-for-the-shell-to-exp

[emnich]

doe het per prefix op de eerste (paar) letters van de files. Dus archive a*, archive b*, etc.

Voor archive gebruik je dan waarmee je het wilt archiveren...

In een bash scriptje:

code:

for l in {{a..z},{0..9}};do tar --append --file=archive.tar $l*;done;

[ Voor 4% gewijzigd door emnich op 11-01-2016 12:21 . Reden: ik zie dat je het met tar wilt doen dus daarom het scriptje aangepast. ]

[igmar]

Roel911 schreef op maandag 11 januari 2016 @ 12:13:
Ik heb in Linux (Kubuntu 14.04 LTS) een map met meer dan 2 miljoen bestanden. Het is een VDS (leaseweb) met EXT4 partitie. Ik wil deze graag archiveren. Echter als ik bijvoorbeeld tar gebruik, krijg ik een error dat er teveel bestanden in de map zitten. Weet iemand hoe ik ze kan archiveren? Ik heb op internet gezocht, maar kon de hapklare oplossing niet vinden.

Ben ook benieuwd of BRTFS of XFS dit zou oplossen, alhoewel dit op deze VDS geen optie is. Ik bedenk me dat het wellicht slimmer had geweest om dit allemaal in een database te zetten, maar wil toch graag de huidige map met bestanden archiveren.

En HOE archiveer je precies ? Tar maakt het niet uit hoeveel bestanden erin zitten. Ik vermoed dat je zoiets als tar -cjf <tarfile> * gebruikt, en dan loop je tegen de limieten van de shell aan.

[Roel911]

emnich schreef op maandag 11 januari 2016 @ 12:18:
doe het per prefix op de eerste (paar) letters van de files. Dus archive a*, archive b*, etc.

Voor archive gebruik je dan waarmee je het wilt archiveren...

In een bash scriptje:

code:

for l in {{a..z},{0..9}};do tar --append --file=archive.tar $l*;done;

heb --remove-files toegevoegd, helaas werkte --xz erbij niet, kan niet appenden aan compressed tar. Helaas krijg ik nu steeds de melding dat mn disk vol is. Zal dus rsync oid moeten gaan gebruiken.

Edit: rsync draait inmiddels, hierna ga ik archiveren.

[ Voor 4% gewijzigd door Roel911 op 11-01-2016 15:07 ]

[Roel911]

Opgelost. Bedankt!

[ Voor 33% gewijzigd door Roel911 op 11-01-2016 18:46 ]

[BoAC]

Nu word ik wel benieuwd wat nu eigenlijk het probleem was en wat je oplossing is geworden

[HollowGamer]

Roel911 schreef op maandag 11 januari 2016 @ 18:45:
Opgelost. Bedankt!

Zou mooi zijn als je de oplossing deelt.

[CAPSLOCK2000]

Een veel gebruikte oplossing is om 'find' te gebruiken om te files te listen:

find /pad/naar/files/ -print0 | tar -cf /var/backup/backup.tar --null -T -

Met extra opties voor find kun je selecteren welke files je precies wil backuppen.

In het algemeen is 'xargs' nuttig om met grote hoeveelheden files om te gaan, het wordt ook vaak gecombineerd met find.

[ Voor 19% gewijzigd door CAPSLOCK2000 op 12-01-2016 19:28 ]

[BoAC]

Als ik veel bestanden moet tarren zorg ik er altijd voor dat die in een map staan ipv de bestanden individueel te selecteren.

[Roel911]

BoAC schreef op dinsdag 12 januari 2016 @ 21:50:
Als ik veel bestanden moet tarren zorg ik er altijd voor dat die in een map staan ipv de bestanden individueel te selecteren.

Dit heb ik toen ook geprobeerd en leverde ook problemen op.

[BoAC]

Je zegt iedere keer dat je problemen hebt en dat het opgelost is maar geeft niet aan hoe (met welke commando's) en wat de output is of welke errors je krijgt.
Daar heeft niemand wat aan

[Roel911]

Het rsync commando wat ik gebruik is: rsync -avzh root@bronipadres:/srv/ftp/wb1 ./sync