Linux partitie volledig klonen

donderdag 16 augustus 2007 10:08

Wat dacht je van dd naar een netwerkmount (liefst in single user mode)?

Acties:

donderdag 16 augustus 2007 10:49

Topicstarter

bedankt voor je reactie!

Maar hoe kan ik het beste een gesharde windows netwerkdrive mounten in debian?

Bij bijv een FAT32 usbstick is het bijv : mount -t vfat /dev/sda 1~5 /mnt/usb

Alleen welke dev moet ik dan kiezen voor de windows share, of is er een compleet andere manier?

{{Edit}} ik vind net deze regel op google:

mount -t smbfs //smbuser at 192.168.0.2/test /mnt/test

Zou dat zo moeten werken?

[ Voor 3% gewijzigd door Pieter155 op 16-08-2007 10:09 ]

Acties:

freggy

smbfs is verouderd, gebruik cifs nu:

mount -t cifs -o username=foo //xxx.xxx.xxx.xxx/sharename /mnt/mountpoint

donderdag 16 augustus 2007 10:59

Acties:

donderdag 16 augustus 2007 11:03

Topicstarter

Oke ga ik dat zo even proberen!

Alleen als ik het goed begrepen heb is het met het DD commando alleen mogelijk om de complete inhoud van de hd naar een bestand weg te schrijven.
En de inhoud uit de file weer terug te kopieren naar de (nieuwe) hd.

Nu zie ik nergens terugkomen hoe dat gaat met de bootsectoren.

Hier heb ik een nette tutorial gevonden: http://www.ibiblio.org/pu...Hard-Disk-Upgrade-NL.html

Aleen word bij punt 9 gesproken over de Lilo bootloader, ik gebruik zelf Grub..
Iemand nog tips of een andere tutorial die gespitst is op Grub?

Acties:

mithras

Je neemt het install gedeelte van grub op je hdd gewoon mee, alleen de verwijzing in je mbr niet. Als je je hdd kloont met dd en vervolgens vanaf de oude schijf opstart kan je chrooten naar de nieuwe en daar een grub-install doen. Dan is je mbr ook gelijk weer goed gezet

donderdag 16 augustus 2007 11:09

Acties:

donderdag 16 augustus 2007 11:13

Klein puntje, misschien offtopic, maar je noemt het consequent "DD", DD bestaat niet, dd heet het programma.

Acties:

donderdag 16 augustus 2007 11:37

Topicstarter

Klopt, maar ik gebruik express de hoofdletters, om de dd niet weg te laten zinken in alle tekst die ik plaats

Had er misschien beter "dd" van kunnen maken, maargoed het is duidelijk

[ Voor 25% gewijzigd door Pieter155 op 16-08-2007 11:14 ]

Acties:

donderdag 16 augustus 2007 11:39

Topicstarter

Ik heb het toch maar geprobeerd met samba, aangezien ik geen cifs pakket op mn bak heb draaien..

In de Fstab file de volgende regel toegevoegd:
//192.168.0.3/dd /mnt/dd smbfs defaults,user,noauto 0 0

En in de command:

mount -t smbfs //192.168.0.3/dd /mnt/dd

Hierbij krijg ik de volgende foutmelding:

mount: wrong fs type, bad option, bad superblock on //192.168.0.3/dd,
missing codepage or other error
In some cases useful info is found in syslog - try
dmesg | tail or so

In de Syslog:

Aug 16 12:50:21 omega kernel: smbfs: mount_data version 1919251317 is not supported

Vergeet ik nog iets misschien, of doe ik iets fout?

Verder kwam ik deze pagina nog tegen:
http://forum.iweb.ca/en/viewtopic.php?p=708&

Zou het echt aan de S.M.A.R.T. kunnen liggen?
Server heeft inmiddels al bijna een uptime van 200 dagen, en heeft daarvoor dit probleem niet gehad..

Acties:

mithras

apt-get install smbfs

/edit: dat vind je gewoon als je zoekt met google: [google=smbfs: mount_data version 1919251317 is not supported], namelijk een nette uitleg van debian-administration.org: http://www.debian-administration.org/articles/165

[ Voor 84% gewijzigd door mithras op 16-08-2007 11:41 ]

donderdag 16 augustus 2007 11:48

Acties:

donderdag 16 augustus 2007 12:36

Topicstarter

Hmm ik heb net dezelfde pagina voor m'n neus, ik ga die stappen even doorlopen en laat mijn bevindingen hier nog even horen!

In ieder geval tot zover bedankt

Acties:

freyk

Je kan ook eens kijken of je iets met partimage of ghost for linux kan regelen.

donderdag 16 augustus 2007 19:44

Acties:

donderdag 16 augustus 2007 20:02

Topicstarter

Het mounten van een windows share is gelukt

Ik heb het smbfs pakket er opgezet, en daarna werkte het gewoon goed!
Nu ben ik met dd het hele spul aan het overzetten naar een tijdelijke map.

Ik ga ondertussen de nieuwe hd even indelen voor server gebruik, en me ondertussen even verdiepen in het gebeuren rond de GRUB bootloader.

Mocht iemand nog bruikbare tips hebben hoor ik dat graag!

Hebben trouwens meer mensen wel eens hetzelfde probleem gehad als in mijn startpost?
Zoja wat was bij jullie de uiteindelijke boosdoener, een software of hardwarematige fout?

[ Voor 18% gewijzigd door een moderator op 16-08-2007 19:56 ]

Acties:

terabyte

kan denken als een computer

Maar hoe zit het nou met permissies e.d. als je alles naar een Windows share kopieert? Of vind je de permissies niet belangrijk?

donderdag 16 augustus 2007 20:32

Acties:

donderdag 16 augustus 2007 20:51

Topicstarter

Welke permissies bedoel je precies?

Ik zit wel even met een probleempje nu, na een tijdje data te hebben laten overstampen krijg ik de volgende melding:

Maximale bestandsgrootte overschreden

De backup file op de andere hd is 1,99GB groot.
Heeft iemand enig idee waar deze setting fout kan staan, of moet ik de opdracht aanpassen?

Acties:

donderdag 16 augustus 2007 21:05

Zo te zien kun je geen files groter dan 2GB op je netwerkshare maken.

Je kunt met split ook een hoop kleine files aanmaken:

code:

1	dd if=/dev/hda \|split -b 2000m

Split maakt automatisch files met de naam xaa, xab, xac enz. aan.
Als je een identieke harddisk gaat gebruiken kun je dit straks zo terugzetten:

code:

1	cat x??\|dd of=/dev/hdX

Zo kloon je dus de hele disk naar een nieuwe disk, inclusief bootloader, partitietabel
enz.
Je hoeft de nieuwe disk dus niet in te delen ofzo, en je hoeft je ook geen zorgen te maken over je bootloader volgens mij.

Dit zou ik echter minimaal in single user mode doen, beter nog is een bootcd gebruiken. Vooral de eerste stap.

Edit:

Let wel ff op: Je kopieert de hele disk, en zonder compressie. Je hebt dus minimaal de grootte van de disk als lege ruimte nodig op je netwerkshare. En het duurt wel ff ook.

NOG EEN EDIT !

Eigenlijk is dit helemaal niet zo handig, je kunt beter zoiets doen:

- server down
- nieuwe harddisk erbij in
- bootcd booten
- harddisk klonen ( dd if=/dev/hda of=/dev/hdb )
- down, bootcd eruit, ouwe harddisk eruit (eventueel nieuwe op ide-kanaal vd oude hd hangen)
- boot nieuwe disk
- iets van een regelmatige backup configureren

[ Voor 28% gewijzigd door u_nix_we_all op 16-08-2007 21:06 ]

You don't need a parachute to go skydiving. You need a parachute to go skydiving twice.

Acties:

donderdag 16 augustus 2007 21:07

Topicstarter

Hmm, de hd waar ik naartoe kopieer heeft nog 350 gb vrije schijf ruimte.

De nieuwe hd is niet hetzelfde als de oude, dus ik vrees dat jou manier niet werkt.

Enkel dat splitten zou opzich wel moeten werken, punt is alleen hoe gaat de command eruit zien als ik de data weer terug op de nieuwe disk ga kopiëren?

:

dd if=/mnt/dd/backup |split -b 2000m of=/dev/hda conv=noerror,notrunc ?

{{Edit:}}

Als het zo makkelijk was had ik dat allang gedaan

Punt is alleen dat ik bang ben dat de hd in zn geheel niet meer gaat opspinnen na in totaal meer dan 200 dagen gedraaid te hebben..

Dus ik heb liever een full backup achter de hand op deze manier.
Als de hd naderhand toch nog opspint kan ik altijd nog kijken of ik het direct van hd naar hd kopieer

{{Edit2:}}

Met de command:

dd if=/dev/hda |split -b 1500m| of= /mnt/dd/backup conv=noerror,notrunc

Word nu een backup gemaakt

[ Voor 39% gewijzigd door Pieter155 op 16-08-2007 21:19 ]

Acties:

terabyte

kan denken als een computer

Pieter155 schreef op donderdag 16 augustus 2007 @ 20:32:
Welke permissies bedoel je precies?

Ik had me even vergist, omdat je dd gebruikt is dit helemaal geen issue.

donderdag 16 augustus 2007 21:16

Acties:

donderdag 16 augustus 2007 21:23

Als je met dd een kopie maakt van /dev/hda , dan heb je de hele disk (met alle partities) te pakken. Ik denk dat dat dan gewoon niet handig is eigenlijk.

Paar punten:
1. Een kopie van een disk duurt even, als het systeem dan loopt zal de kopie niet consistent zijn, doordat tijdens de kopie dingen wijzigen op de disk.
2. Als je de nieuwe hd toch in de server moet zetten zul je hem down moeten brengen neem ik aan.
3. Eerst naar je netwerk en dan weer terug kopieren duurt 2x best lang.
1+2+3=4 Zie edit vorige post.

Echter, je kunt dan beter de nieuwe schijf wel eerst partitioneren , mounten, en dan met tar je partities kopieren, en met chroot om je boorloader te configureren.

You don't need a parachute to go skydiving. You need a parachute to go skydiving twice.

Acties:

donderdag 16 augustus 2007 21:23

Pieter155 schreef op donderdag 16 augustus 2007 @ 21:05:

{{Edit2:}}

Met de command:

dd if=/dev/hda |split -b 1500m| of= /mnt/dd/backup conv=noerror,notrunc

Word nu een backup gemaakt

Gaat niet goedkomen dat....

We zitten een beetje langs elkaar heen te editten

You don't need a parachute to go skydiving. You need a parachute to go skydiving twice.

Acties:

donderdag 16 augustus 2007 21:34

Topicstarter

Het ging mij erom dat ik een backup van het complete systeem wilde maken zonder de server daarvoor down te hoeven brengen.

Als ik dat niet had gedaan, en de hd had niet meer opgespinned dan had ik een groter probleem gehad.
Dan dat ik nu alvorens een backup voor extra safety achter de hand heb, en dan dadelijk kan zeggen oke, we kopieren van hd naar hd

Dat het via het netwerk wat trager gaat merk ik nu toch niet, want hd-->hd zal ook niet veel sneller gaan, aangezien de hd tussendoor het systeem laat 'hangen'

Acties:

donderdag 16 augustus 2007 22:45

OK, ik snap je punt.
Maar dat dd command wat je gegeven hebt gaat er straks uitklappem met een "of: command not found" melding of iets dergelijks.

"dd" is sowieso geen geschikte tool om dit zo te doen op het moment.

Ik zou het dan zo doen:
--
hier stond iets doms
--
Nu split je een gecomprimeerde tarfile waarin al je bestanden zitten in bestandjes met de naam backup.000 t/m backup.xxx

Edit 3:

Foutje, doe dit (recursie sucks

)

code:

1 2	cd /mnt/dd tar -cvlzf - / \|split -b 1500m -a 3 -d - backup_root.

En herhalen voor elk filesystem dat je wilt kopieren , en pas dan ook de naam van de backupfile aan !

[ Voor 26% gewijzigd door u_nix_we_all op 16-08-2007 21:52 . Reden: En nog een foutje in split opties :X :X ]

You don't need a parachute to go skydiving. You need a parachute to go skydiving twice.

Acties:

donderdag 16 augustus 2007 22:51

Topicstarter

Graag hoor ik van jou hoe je tot jou tar command gekomen bent

Mijn comando heeft alles netjes doorlopen en de backup van de hd staat netjes opgesplitst op de andere hd

Toch ben ik nieuwschierig waarom je dacht dat het de soep in zou lopen?

Wel kom ik op de meeste tutorial paginas het commando dd tegen om partities te klonen..
Ben daarom ook benieuwd hoe jou manier precies anders werkt dan dd

[ Voor 24% gewijzigd door Pieter155 op 16-08-2007 22:47 ]

Acties:

Soultaker

Wil je nu een live filesystem gaan dumpen met dd? Dat lijkt me nou niet echt een geweldig idee; het werkt misschien wel, maar je hebt geen garantie dat de image consistent is. Waarom maak je niet gewoon een backup op filesystem nivo? Kun je ook nog fijn je partities herindelen op je nieuwe (vast grotere) harde schijf. Of is er een goede reden waarom je per se een binary image moet hebben?

u_nix_we_all schreef op donderdag 16 augustus 2007 @ 21:34:
Foutje, doe dit (recursie sucks )
code:
1
2
cd /mnt/dd
tar -cvlzf - / |split -b 1500m -a 3 -d - backup_root.
En herhalen voor elk filesystem dat je wilt kopieren , en pas dan ook de naam van de backupfile aan !

Werkt tar wel goed met inode numbers, device nodes, lange padnamen, e.d.? Ik zou voor dit soort dingen cpio gebruiken:

find / | grep -v '^/mnt/' | cpio -o | gzip > /mnt/ergens/backup

Dit werkt als volgt:
• find maakt een lijst van alle bestanden vanaf de root (/)
• grep -v laat alle paden die beginnen met /mnt/ weg (zodat je niet de backup zelf weer meeneemt)
• cpio bundelt alle bestanden in een archive
• gzip comprimeert de boel (scheelt zo een factor 3 aan ruimte en kost vrijwel geen CPU, dus weinig reden om het niet te doen; eventueel kun je bzip2 gebruiken als je betere compressie wil, maar dat is wel veel trager).

Zo'n archief kun je weer uitpakken door de pipeline effectief om te draaien:

zcat /mnt/ergens/backup | cpio -i

Het voordeel van cpio bij dit soort dingen is dat cpio device nodes en hard links correct archiveert. Als je op deze manier een kopie maakt van je filesystem hoef je naderhand alleen nog even je bootloader te configureren.

Dit is perfect mogelijk, zeker in singleuser mode en vooral wanneer het betreffende filesystem ro gemount is.

Met live bedoel ik rw gemount; dat lijkt me gewoon niet slim. De consistentie is niet te garanderen, ook al kun je later waarschijnlijk wel weer het e.e.a. fixen met fsck. Waarom zou je zo moeilijk doen als je ook op filesystem nivo een kopie kunt maken?

[ Voor 72% gewijzigd door Soultaker op 16-08-2007 23:05 ]

donderdag 16 augustus 2007 22:56

Acties:

DataGhost

iPL dev

Omdat je met dd de partities ook daadwerkelijk kloont, niet enkel de data overzet. Vooral erg handig als je het ene systeem naar het andere overzet, dan weet je namelijk zeker dat het systeem 100% identiek is en er geen vreemde foutjes met permissies e.d. ingeslopen zijn. Overigens kan je, zeker op een falende schijf, beter ddrescue gebruiken, dat doet hetzelfde maar stopt niet direct bij fouten, het probeert een paar keer opnieuw te lezen en gaat vervolgens wel gewoon verder. De syntax is wel anders dan die van dd, even op letten dus.

Als je per se, zoals hierboven uitgelegd, tar wilt gaan gebruiken, moet je er wel op letten dat je bijv. ook de -p switch meeneemt (permissies behouden). Er zijn vast ook sites te vinden die hier 'recommended flags' voor hebben. Ik weet alleen niet zeker wat tar doet met de opnieuw gecreeerde backup-bestanden, je wilt in elk geval niet dat die in zichzelf opnieuw ingepakt worden.

Soultaker schreef op donderdag 16 augustus 2007 @ 22:51:
Wil je nu een live filesystem gaan dumpen met dd? Dat lijkt me nou niet echt een geweldig idee; het werkt misschien wel, maar je hebt geen garantie dat de image consistent is. Waarom maak je niet gewoon een backup op filesystem nivo? Kun je ook nog fijn je partities herindelen op je nieuwe (vast grotere) harde schijf. Of is er een goede reden waarom je per se een binary image moet hebben?

Dit is perfect mogelijk, zeker in singleuser mode en vooral wanneer het betreffende filesystem ro gemount is.

[ Voor 25% gewijzigd door DataGhost op 16-08-2007 22:58 ]

donderdag 16 augustus 2007 23:21

Acties:

donderdag 16 augustus 2007 23:27

Mijn ervaring met tar is dat dat op linux prima werkt, ook voor /dev/ etc.
Voordeel is dat je in principe gewoon de fileparts in een bestand kunt dumpen en files kunt extracten.
De -p switch is "implied" als je het als root uitvoert, maar aangezien het anders toch niet zal lukken, wegens perm. denied, staat die er niet bij.

Gezien de skills van de TS (nofi) ga ik ervan uit dat het systeem niet in single user draait, en dan werkt tar beter dan dd, ivm consistentie.

cpio is ook een optie, maar daar ben ik gewoon niet zo ervaren mee.

Het dd commando "dd if=/dev/hda |split -b 1500m| of= /mnt/dd/backup conv=noerror,notrunc", werkt wel omdat split geen standard output geeft (maar wel de files aanmaakt), maar is eigenlijk fout omdat het gedeelte vanaf het laatste pipe symbool een foutmelding gegeven heeft/zou moeten hebben,
er is geen commando "of". Het hele gedeelte vanaf de laatste pipe wordt niets mee gedaan incl de conv opties.

@DataGhost, even aangenomen dat die dd dan consistent is, we hebben hier nu dus een dd van de hele disk, en de nieuwe is niet identiek.
Gaat dat werken qua partitietabel ed, daar heb ik nl geen ervaring mee ?

[ Voor 10% gewijzigd door u_nix_we_all op 16-08-2007 23:24 ]

You don't need a parachute to go skydiving. You need a parachute to go skydiving twice.

Acties:

donderdag 16 augustus 2007 23:41

u_nix_we_all schreef op donderdag 16 augustus 2007 @ 23:21:

Het dd commando "dd if=/dev/hda |split -b 1500m| of= ", werkt wel omdat split geen standard output geeft (maar wel de files aanmaakt), maar is eigenlijk fout omdat het gedeelte vanaf het laatste pipe symbool een foutmelding gegeven heeft/zou moeten hebben,
er is geen commando "of". Het hele gedeelte vanaf de laatste pipe wordt niets mee gedaan incl de conv opties.

Dat heeft/zou helemaal geen foutmelding gegeven moeten hebben, afhankelijk van hoe nauwkeurig het exacte commando hier overgenomen is, is er niks fout aan de string "/mnt/dd/backup conv=noerror,notrunc" toekennen aan de variabele of, dat die toekenning niks met stdin doet maakt niet zoveel uit.

Acties:

Soultaker

Waarom chunks maken eigenlijk? Maakt dat het niet alleen maar nodeloos ingewikkeld, zonder dat er een noodzaak toe is? Als je het grote bestand hebt aangemaakt kun je 'm later nog wel opdelen als je toch kleinere bestanden wil hebben (of delen apart wil archiveren, of naar een bestandssysteem kopiëren dat geen grote bestanden ondersteund).

donderdag 16 augustus 2007 23:47

Acties:

donderdag 16 augustus 2007 23:50

Niet elk filesystem is voldoende over nagedacht om bestanden van een bepaalde grootte te ondersteunen.

Acties:

vrijdag 17 augustus 2007 14:23

blaataaps schreef op donderdag 16 augustus 2007 @ 23:27:
[...]

Dat heeft/zou helemaal geen foutmelding gegeven moeten hebben, afhankelijk van hoe nauwkeurig het exacte commando hier overgenomen is, is er niks fout aan de string "/mnt/dd/backup conv=noerror,notrunc" toekennen aan de variabele of, dat die toekenning niks met stdin doet maakt niet zoveel uit.

Ghehehe, klopt, ik heb die hele = gemist

Had TS dat hele stuk nou maar weggelaten

(... en het conv=noerror,notrunc bij het eerste stuk erbij gezet, maar dat maakt niet zoveel meer uit, het is al gelukt, de dump that is, nu de restore nog )

You don't need a parachute to go skydiving. You need a parachute to go skydiving twice.

Acties:

vrijdag 17 augustus 2007 15:08

Topicstarter

Het feit is dat ik nu een volledig opgesplitste dd kloon op mn hd heb staan..
Welke wel in singe-user mode is gemaakt wat velen hier niet in gedachte hebben

Maargoed, wat nu te doen.
Zal ik de server down brengen en alsnog een hd-->hd kopie proberen te maken?
En wat als de hd nu eens niet meer opspint, hoe kan ik dan het beste de dd kloon op de nieuwe hd plaatsen?

Ik wacht jullie reacties graag even af!

Acties:

Soultaker

Pieter155 schreef op vrijdag 17 augustus 2007 @ 14:23:
Maargoed, wat nu te doen.
Zal ik de server down brengen en alsnog een hd-->hd kopie proberen te maken?

Lijkt me verstandig. Is eenvoudig met dd in single user mode. (Maar wel jammer dat je je partities dan niet kunt resizen.)

En wat als de hd nu eens niet meer opspint, hoe kan ik dan het beste de dd kloon op de nieuwe hd plaatsen?

Van een live-cd booten, netwerkschijf mounten, en gewoon met dd erop zetten.

vrijdag 17 augustus 2007 15:11

Acties:

Falcon

DevOps/Q.A. Engineer

1 ding in acht nemen. Op dit moment draait je linux nog en je hdd. Bij het opnieuw opstarten zal de stroom er af gaan en fysiek natuurlijk meer gebeuren. Met het risico dat hij bij het boot process misschien zegt van toedeladoki

Ik zou nog even wachten en eerst maar even iets anders proberen.

[ Voor 16% gewijzigd door Falcon op 17-08-2007 15:11 ]

"We never grow up. We just learn how to act in public" - "Dyslexie is a bitch"

vrijdag 17 augustus 2007 15:49

Acties: