Clonen met DD en LZ4 compressie mislukt

[Lawrentium]

Ik gebruik regelmatig DD om complete laptops te clonen. Deze laptops zijn niet erg snel, dus dit proces duurt vrij lang.

Tot voorheen gebruikte ik altijd DD in combinatie met GZIP om de images zo klein mogelijk te houden.

code:

dd if=/dev/sda | gzip > img.gz
en
gzip img.gz | dd of=/dev/sda

Om dit proces wat sneller te laten lopen dacht ik hetzelfde te doen maar dan met LZ4 compressie. Dit levert meer dan 50% tijdswinst op, en een image van maar een paar GB meer. Erg netjes dus. Het vervelende: na het recoveren van de image boot de laptop niet. Iets gaat er dus fout; tijdens het clonen of het restoren.

code:

dd if=/dev/sda | lz4 > img.lz4
en
lz4 img.lz4 | dd of=/dev/sda

Zie ik iets over het hoofd? Is LZ4 hier niet geschikt voor?

[Ultraman]

Geef lz4 eens de -d vlag mee. Die staat voor decompressie. Ik heb het idee dat er anders een poging wordt gedaan je bestaande img.lz4 opnieuw te comprimeren en het resultaat daarvan aan dd.

LZ4 vind ik trouwens ook een leuke vlotte compressie en gebruik ik ook zo nu en dan als het lekker vlot moet. Mocht je echter over een quadcore (of meer) beschikken dan is pigz ook een interessante kandidaat om eens te proberen. Dat is een multi-threaded versie van gzip, waardoor de compressietijd ook nog eens flink afneemt. Werkt natuurlijk ook op een dual-core, maar hoe meer cores hoe meer profijt je er natuurlijk van hebt.

[Thralas]

 -d     : decompression (default for .lz4 extension)

Desalniettemin, expliciet zijn kan geen kwaad.

Bovendien lijkt me dit typisch iets wat je zelf het beste kunt debuggen door om te beginnen eens te kijken of geldt:

dd if=/dev/sda | sha1sum == lz4 img.lz4 | sha1sum

Of een compare van de disks zelfs. En 'boot de laptop niet' is ook niet heel erg duidelijk..

[ Voor 13% gewijzigd door Thralas op 11-02-2015 15:03 ]

[Ultraman]

Ah. In de man page welke ik bekeek stond niet bij dat dat de default was. Maar aangezien je piped zou ik het eens proberen.
Ik heb een keer lz4 icm met mysqldump gebruik @ work voor wat tests. Daar heb ik ook zeker het gebruikte commando opgeschreven, maar daar kan ik nu even niet bij...

[ Voor 9% gewijzigd door Ultraman op 11-02-2015 15:21 ]

[Lawrentium]

Thralas schreef op woensdag 11 februari 2015 @ 15:01:

 -d     : decompression (default for .lz4 extension)

Desalniettemin, expliciet zijn kan geen kwaad.

Juist omdat de man page het zo beschrijft heb ik de -d niet gebruikt. Maar inderdaad, expliciet zijn kan geen kwaad. Zal het eens proberen.

[Thralas]

Ultraman schreef op woensdag 11 februari 2015 @ 14:58:
Geef lz4 eens de -d vlag mee. Die staat voor decompressie. Ik heb het idee dat er anders een poging word gedaan je bestaande img.lz4 opnieuw probeert te comprimeren en het resultaat daarvan aan dd.

Juist, -d is alleen impliciet als stdout een tty is.

$ lz4 log.lz4 | dd of=/dev/null 2>/dev/null
Compressed 10517 bytes into 10536 bytes ==> 100.18%

$ lz4 log.lz4
Decoding file log 
Successfully decoded 124271 bytes       

Dat zou TS ook op z'n terminal moeten hebben gezien

EDIT: en gzip doet ook geen magic decompression, dus dat voorbeeld van TS was ook bogus

$ gzip log.gz | dd of=/dev/null 
gzip: log.gz already has .gz suffix -- unchanged

[ Voor 16% gewijzigd door Thralas op 11-02-2015 15:18 ]

[deadinspace]

Useless use of dd

Lawrentium schreef op woensdag 11 februari 2015 @ 14:38:

code:

dd if=/dev/sda | lz4 > img.lz4
en
lz4 img.lz4 | dd of=/dev/sda

Zie ik iets over het hoofd? Is LZ4 hier niet geschikt voor?

In deze voorbeelden is dd volstrekt overbodig en kun je volstaan met:

lz4 < /dev/sda > img.lz4
lz4 -d img.lz4 > /dev/sda

En ik vermoed dat voor het eerste geval

lz4 /dev/sda > img.lz4

ook nog wel werkt

[Sir Isaac]

Om dit soort operaties nog leuker te maken:
1. pipe de stream door pv (pipe-viewer), dan kun o.a. de voortgang volgen.
2. gebruik dd_rescue voor het geval er problemen zijn
3. gebruik netcat om je backup meteen over het netwerk weg te schrijven
4. combineer deze opties.

[daft_dutch]

Sir Isaac schreef op donderdag 12 februari 2015 @ 21:18:
3. gebruik netcat om je backup meteen over het netwerk weg te schrijven

dd en netcat heerlijke combi