cp grep time stamp*

[Alpha_Mouse]

Hola,

Zie hieronder.

Situatie:
Ik heb een directory met 68.000 JPEG bestanden die om de 2 minuten gecreëerd zijn (3 maanden 24 uur per dag). Van deze 68.000 bestanden ben ik alleen maar geïnteresseerd in het materiaal wat tussen 09:00 en 17:30 gemaakt is.

Ik wil deze bestanden kopiëren naar een aparte map.


Tot nu to ben ik eigenlijk alleen nog maar in staat geweest om via ls, een specifieke dag te listen echter de syntax van meerder dagen lijkt niet te werken

code:

ls -l | grep "Jul  8"

Hoe kan ik bijvoorbeeld meerdere dagen (of liever maanden) een selectie maken tussen een bepaalde time stamp?

Dank,
Paul

[Kees]

code:

man find

Eventueel aangevult met een of meerdere for loops om dagen te selecteren.

[ Voor 68% gewijzigd door Kees op 08-07-2012 15:45 ]

[Alpha_Mouse]

Kees schreef op zondag 08 juli 2012 @ 15:44:

code:

man find

Eventueel aangevult met een of meerdere for loops om dagen te selecteren.

Ik ken de handleiding van find.

Het zijn juist te loops waarop ik stuk loop.

[Hero of Time]

En wat voor loops heb je geprobeerd en werken niet?

[CyBeR]

root@mailsrv01:~/test# ls --full-time *
-rw-r--r-- 1 root root 0 2012-07-08 08:22:14.000000000 +0200 test1
-rw-r--r-- 1 root root 0 2012-07-08 09:22:14.000000000 +0200 test2
-rw-r--r-- 1 root root 0 2012-07-08 17:22:14.000000000 +0200 test3
-rw-r--r-- 1 root root 0 2012-07-08 18:22:14.000000000 +0200 test4
-rw-r--r-- 1 root root 0 2012-07-08 17:44:14.000000000 +0200 test5
root@mailsrv01:~/test# find . -type f -print0 | xargs -0 stat -c "%y %n" | awk '/^[^\s]+ (09:|1[0123456]:|17:[12]|17:30)/ { print $4 }'
./test2
./test3

[ Voor 3% gewijzigd door CyBeR op 08-07-2012 16:29 ]

[Alpha_Mouse]

CyBeR schreef op zondag 08 juli 2012 @ 16:27:

root@mailsrv01:~/test# ls --full-time *
-rw-r--r-- 1 root root 0 2012-07-08 08:22:14.000000000 +0200 test1
-rw-r--r-- 1 root root 0 2012-07-08 09:22:14.000000000 +0200 test2
-rw-r--r-- 1 root root 0 2012-07-08 17:22:14.000000000 +0200 test3
-rw-r--r-- 1 root root 0 2012-07-08 18:22:14.000000000 +0200 test4
-rw-r--r-- 1 root root 0 2012-07-08 17:44:14.000000000 +0200 test5
root@mailsrv01:~/test# find . -type f -print0 | xargs -0 stat -c "%y %n" | awk '/^[^\s]+ (09:|1[0123456]:|17:[12]|17:30)/ { print $4 }'
./test2
./test3

Juist. Hier kan ik iets mee. Ik was zelf al hier mee bezig maar wil nog niet helemaal lukken:

code:

stat -c "%y %n" * | awk -F"[ :]" '$2>=9&&$2<17||$2==17&&$3<=30{print $6}' | xargs -i cp {} /somewhere/else

Maar werkt geloof ik nog niet helemaal...

[CyBeR]

Mijn variant print de filenames, die kun je weer gebruiken om te cp'en of iets anders te doen. (Bijvoorbeeld door er nog een xargs achteraan te pipen, als je geen spaties in de filenames hebt.)

[ Voor 34% gewijzigd door CyBeR op 08-07-2012 16:34 ]

[Alpha_Mouse]

CyBeR schreef op zondag 08 juli 2012 @ 16:33:
Mijn variant print de filenames, die kun je weer gebruiken om te cp'en of iets anders te doen. (Bijvoorbeeld door er nog een xargs achteraan te pipen, als je geen spaties in de filenames hebt.)

Yes. Bedankt.

Volgende probleem: -bash: /usr/bin/stat: Argument list too long

[CyBeR]

Alpha_Mouse schreef op zondag 08 juli 2012 @ 16:38:
[...]


Yes. Bedankt.

Volgende probleem: -bash: /usr/bin/stat: Argument list too long

Daarom heb ik find gebruikt en niet 'stat *'

[Alpha_Mouse]

Even kijken in hoeverre jij gelijk hebt!

[CyBeR]

Bijna 100%. Ik zie nu net dat ik een 0 vergeten ben zodat 17:00 tot en met 17:09 niet meekomen. Maar 't moge duidelijk zijn hoe je dat fixt lijkt me.

[Alpha_Mouse]

stat -c mag niet...

wat?

Darwin kernal. wat nu weer...

[CyBeR]

Oh, je zei niet dat je op osx zat. Ik ging van een GNU systeem uit. Dan:

[marco@miranda test]$ ls -lahT
total 0
drwxr-xr-x   6 marco  wheel   204B Jul  8 17:15:03 2012 .
drwxrwxrwt  18 root   wheel   612B Jul  8 17:15:03 2012 ..
-rw-r--r--   1 marco  wheel     0B Jan  1 18:08:00 2012 test1
-rw-r--r--   1 marco  wheel     0B Jan  1 09:08:00 2012 test2
-rw-r--r--   1 marco  wheel     0B Jan  1 17:08:00 2012 test3
-rw-r--r--   1 marco  wheel     0B Jan  1 18:08:00 2012 test4
[marco@miranda test]$ find . -type f -print0 | xargs -0 stat -f "%Sm %N" -t "%H:%M" | awk '/^(09:|1[0123456]:|17:[012]|17:30)/ { print $2 }'
./test2
./test3

(Gaat dus wel kapot als er spaties in de filenames zitten.)

[ Voor 61% gewijzigd door CyBeR op 08-07-2012 17:23 ]

[Alpha_Mouse]

CyBeR schreef op zondag 08 juli 2012 @ 17:13:
Oh, je zei niet dat je op osx zat. Ik ging van een GNU systeem uit. Dan:

[marco@miranda test]$ ls -lahT
total 0
drwxr-xr-x   6 marco  wheel   204B Jul  8 17:15:03 2012 .
drwxrwxrwt  18 root   wheel   612B Jul  8 17:15:03 2012 ..
-rw-r--r--   1 marco  wheel     0B Jan  1 18:08:00 2012 test1
-rw-r--r--   1 marco  wheel     0B Jan  1 09:08:00 2012 test2
-rw-r--r--   1 marco  wheel     0B Jan  1 17:08:00 2012 test3
-rw-r--r--   1 marco  wheel     0B Jan  1 18:08:00 2012 test4
[marco@miranda test]$ find . -type f -print0 | xargs -0 stat -f "%Sm %N" -t "%H:%M" | awk '/^(09:|1[0123456]:|17:[012]|17:30)/ { print $2 }'
./test2
./test3

(Gaat dus wel kapot als er spaties in de filenames zitten.)

mmm

Begint er op te lijken! Enig idee hoe ik dit kan beperken tot alleen de huidige dir?

[CyBeR]

 find . -maxdepth 1 -type f -print0 | etc

(die had je uit de man page kunnen halen )

[ Voor 47% gewijzigd door CyBeR op 08-07-2012 17:43 ]

[Alpha_Mouse]

CyBeR schreef op zondag 08 juli 2012 @ 17:43:

 find . -maxdepth 1 -type f -print0 | etc

(die had je uit de man page kunnen halen )

Toesjee

[Alpha_Mouse]

code:

find . -maxdepth 1 -type f -print0 | xargs -0 stat -f "%Sm %N" -t "%H:%M" | awk '/^(09:|1[0123456]:|17:[012]|17:30)/ { print $2 }' | xargs -I cp /Volumes/Timelapse\ 1/Temp/

Geeft als response : Permission denied

Enig idee waaorm?

[CyBeR]

Omdat er een file bij is die je niet mag lezen of verplaatsen of je mag niet kopieren, etc.

[Alpha_Mouse]

CyBeR schreef op zondag 08 juli 2012 @ 19:15:
Omdat er een file bij is die je niet mag lezen of verplaatsen of je mag niet kopieren, etc.

Alle files hebben read access... /Volumes/LALA ook...

[Hero of Time]

Je zou moeten zien wat die permission denied geeft. Tenzij het een commando of parameter/optie is wat je niet mag uitvoeren. Sommige eigenschappen mag niet elke gebruiker opvragen geloof ik. Je kan altijd nog naar root user gaan en hetzelfde uitvoeren, krijg je dan nog steeds permission denied?


Btw, ik heb even een titelfix gedaan, greg is niet goed neem ik aan, maar grep wel.

[Alpha_Mouse]

Hero Of Time schreef op zondag 08 juli 2012 @ 20:51:
Je zou moeten zien wat die permission denied geeft. Tenzij het een commando of parameter/optie is wat je niet mag uitvoeren. Sommige eigenschappen mag niet elke gebruiker opvragen geloof ik. Je kan altijd nog naar root user gaan en hetzelfde uitvoeren, krijg je dan nog steeds permission denied?


Btw, ik heb even een titelfix gedaan, greg is niet goed neem ik aan, maar grep wel.

zelfs are root krijg ik permission denied...

wat is hier in godsnaam niet goed aan?


find . -maxdepth 1 -type f -print0 | xargs -0 stat -f "%Sm %N" -t "%H:%M" | awk '/^(09:|1[0123456]:|17:[012]|17:30)/ { print $2 }' | xargs -I cp /Volumes/Timelapse\ 1/Temp/

ps.
Thx voor de fix

[CyBeR]

Dat is omdat je xargs hier niet goed gebruikt. Wat je nu uitvoert is namelijk bij een invoer van 'file1 file2 file3' het volgende:

cp /Volumes/Timelapse\ 1/Temp/ file1 file2 file3

Wat natuurlijk niet klopt, want 't staat verkeerdom.

Om dat te regelen kun je het volgende uit de man page van xargs toveren (ja, het staat er allemaal in..)

blaat | xargs  -J '{}' cp '{}' /Volumes/blabla

Die -L 100 is om je 'teveel arguments' probleem te omzeilen. De default max is 5000 en dat moet passen.

[ Voor 5% gewijzigd door CyBeR op 08-07-2012 21:36 ]

[Alpha_Mouse]

Ik ben eruit.

code:

find . -maxdepth 1 -type f -print0 | xargs -0 stat -f "%Sm %N" -t "%H:%M" | awk '/^(09:|1[0123456]:|17:[012]|17:30)/ { print $2 }' | xargs -I'{}' cp {} /Volumes/blabla

Thx all

[CyBeR]

-I werkt ook, -J is efficienter.

[Alpha_Mouse]

CyBeR schreef op zondag 08 juli 2012 @ 21:38:
-I werkt ook, -J is efficienter.

O?

Bak staat 480GB weg te pompen vind het wel mooi zo

Thx again.

[CyBeR]

Oh, als de files vrij groot zijn maakt 't niet zoveel meer uit nee. Maar als je het volgende neemt:

test1
test2
test3

en je doet -I, krijg je dit:

$ echo -e "test1\ntest2\ntest3" | xargs -I '{}' echo mv '{}' /somewhere
mv test1 /somewhere
mv test2 /somewhere
mv test3 /somewhere

Met -J krijg je:

$ echo -e "test1\ntest2\ntest3" | xargs -J '{}' echo mv '{}' /somewhere
mv test1 test2 test3 /somewhere

Dus dat scheelt je een paar duizend keer 'mv' aanroepen, wat relatief langzaam is. Maar bij grote files is de overhead daarvan opeens een stuk minder boeiend.

[Alpha_Mouse]

Aha.

Toch maar even een -p bij gezet anders veranderd ie de time stamp.

[Alpha_Mouse]

Nog een vraagje.

Ik probeer het tijdvalk te verkleinen, echter

[code]
awk '/^(10:|1[0123456]:|15:[012]|15:30)/
[/code]

ipv

[code]
awk '/^(09:|1[0123456]:|17:[012]|17:30)/
[/code]

Levert incorrecte results. Enig idee waaorm?

Never mind. Ik ben er achter. The machine stond in een andere TimeZone en daarom waren de results afwijkend met 1 uur.

---

of toch niet...

code:

awk '/^(10:|1[0123456]:|13:[012]|13:00)/

Geeft nog steeds returns tot 15:59:59....

[ Voor 36% gewijzigd door Alpha_Mouse op 09-07-2012 09:32 ]

[Hero of Time]

File timestamps worden in UTC time opgeslagen. Wat jij ziet is de tijd in je tijdzone. Dat is UTC+2. Onderwater awk je op de UTC tijd blijkbaar.

[sam.vimes]

Voor zo'n klusje grijp ik meestal naar Perl. Perl gaat wat gemakkelijker om met spaties bevattende filenamen en het opvragen van file-attributen. Als zo'n script uitgebreid wordt, is het ook eenvoudiger aan te passen.

Perl:

#!/usr/bin/perl -wl
use strict;
use File::Copy qw(move);
use File::stat;

my $globpat = "*.jpg";
my $destdir = "/Volumes/blabla";
my ($start, $end) = ("0900", "1730");

-d $destdir or mkdir $destdir or die "cannot mkdir $destdir: $!\n";

for my $file (glob $globpat) {
    my $st = stat($file);
    unless ($st) {
        warn "cannot stat $file: $!, skip it\n";
        next;
    }
    my @tm = localtime $st->mtime;
    my $hm = sprintf "%02d%02d", @tm[2,1];
    next if $hm lt $start || $hm gt $end;
    move($file, $destdir) or warn "cannot move $file to $destdir: $!\n";
}

[CyBeR]

Alpha_Mouse schreef op maandag 09 juli 2012 @ 08:52:

code:

awk '/^(10:|1[0123456]:|13:[012]|13:00)/

Geeft nog steeds returns tot 15:59:59....

Klopt ook. Die regexp matcht het volgende:

10:XX (da's de 10: aan het begin)
10:XX tot en met 16:XX (da's 1[0123456]:, en dus gedeeltelijk dubbelop met de vorige)
13:0X tot en met 13:2X (13:[012], dubbelop met hierboven)
13:00 (weer dubbelop met hierboven).

Je moet bedenken die regular expression matcht op de tijd zoals die geprint wordt. Niet numeriek dus, maar gewoon 'voldoet het aan dit patroon'.

sam.vimes schreef op maandag 09 juli 2012 @ 11:21:
Voor zo'n klusje grijp ik meestal naar Perl. Perl gaat wat gemakkelijker om met spaties bevattende filenamen en het opvragen van file-attributen. Als zo'n script uitgebreid wordt, is het ook eenvoudiger aan te passen.

Leuk, maar jouw script is 22 regels terwijl dit in een simpele one-liner kan.

[ Voor 27% gewijzigd door CyBeR op 09-07-2012 14:03 ]

[Alpha_Mouse]

CyBeR schreef op maandag 09 juli 2012 @ 14:00:
[...]


Klopt ook. Die regexp matcht het volgende:

10:XX (da's de 10: aan het begin)
10:XX tot en met 16:XX (da's 1\[0123456]:, en dus gedeeltelijk dubbelop met de vorige)
13:0X tot en met 13:2X (13:\[012], dubbelop met hierboven)
13:00 (weer dubbelop met hierboven).

Je moet bedenken die regular expression matcht op de tijd zoals die geprint wordt. Niet numeriek dus, maar gewoon 'voldoet het aan dit patroon'.


[...]


Leuk, maar jouw script is 22 regels terwijl dit in een simpele one-liner kan.

suf.. -> awk '/^(10:|1[012345]:|15:[012]|15:00)/

[CyBeR]

Je hebt nog steeds een dubbeling op 15:xx waardoor 15:59 ook nog meekomt. Idem dubbel op 10:xx maar dat geeft in dit geval niet.

Denk even na waarom ik in m'n originele regexp al die opties heb ingebakken: je wilde daar van 09:00 tot en met 17:30. Dat heeft implicaties voor het patroon waar je tegen matcht.

09:00 wordt nooit gematcht door iets wat met een 1 begint. Dus: (09:)
10:00 tot en met 17:00 wordt nooit gematcht door 09, dus: (09:|1[01234567]:). De | gebruiken we om te zeggen 'of'. De [] in dit geval om exact één van die cijfers te matchen.
maar, dat matcht ook 17:59, dus die moet weer weg: (09:1[0123456]:)
We willen echter ook 17:00 tot en met 17:30, dus: (09:|1[0123456]:|17:[0123])
Oh, maar nu krijgen we ook 17:39, dus dat weer weg en 17:30 los matchen: (09:|1[0123456]:|17:[012]:|17:30)

Snap je?

[ Voor 101% gewijzigd door CyBeR op 09-07-2012 14:40 ]

[Alpha_Mouse]

CyBeR schreef op maandag 09 juli 2012 @ 14:25:
Je hebt nog steeds een dubbeling op 15:xx waardoor 15:59 ook nog meekomt.

...

Wat is dan wel correct dan?

Nou hoef ik dit eigenlijk maar 1x te draaien (maar uiteraard wel direct goed). Ik snap die syntax logica en de dubbelingen niet helemaal.

[ Voor 25% gewijzigd door Alpha_Mouse op 09-07-2012 14:28 . Reden: uitleg... ]

[RemcoDelft]

Alpha_Mouse schreef op zondag 08 juli 2012 @ 21:40:
[...]
Bak staat 480GB weg te pompen vind het wel mooi zo

Lichtelijk offtopic: is er een reden om te kopieren i.p.v. te (sim)linken?

[CyBeR]

RemcoDelft schreef op maandag 09 juli 2012 @ 14:29:
[...]

Lichtelijk offtopic: is er een reden om te kopieren i.p.v. te (sim)linken?

Hij kopieert ze naar een andere disk. Daar heb je weinig aan symlinks.

[Alpha_Mouse]

RemcoDelft schreef op maandag 09 juli 2012 @ 14:29:
[...]

Lichtelijk offtopic: is er een reden om te kopieren i.p.v. te (sim)linken?

Ja.

Ik moet verschillende kopieën hebben op verschillende harde schijven die weer apart geëdit worden. Zodra ik klaar ben met dit gaan alle originele bestanden (dus de hele directory) direct offline.

CyBeR schreef op maandag 09 juli 2012 @ 14:31:

[...]


Hij kopieert ze naar een andere disk. Daar heb je weinig aan symlinks.

[ Voor 20% gewijzigd door Alpha_Mouse op 09-07-2012 14:33 ]

[CyBeR]

Mischien heb je 't niet gezien maar ik heb hierboven een uitleg bijge-edit.

[Alpha_Mouse]

CyBeR schreef op maandag 09 juli 2012 @ 14:25:
Je hebt nog steeds een dubbeling op 15:xx waardoor 15:59 ook nog meekomt. Idem dubbel op 10:xx maar dat geeft in dit geval niet.

Denk even na waarom ik in m'n originele regexp al die opties heb ingebakken: je wilde daar van 09:00 tot en met 17:30. Dat heeft implicaties voor het patroon waar je tegen matcht.

09:00 wordt nooit gematcht door iets wat met een 1 begint. Dus: (09:)
10:00 tot en met 17:00 wordt nooit gematcht door 09, dus: (09:|1\[01234567]:). De | gebruiken we om te zeggen 'of'.
maar, dat matcht ook 17:59, dus die moet weer weg: (09:1\[0123456]:)
We willen echter ook 17:00 tot en met 17:30, dus: (09:|1\[0123456]:|17:\[0123])
Oh, maar nu krijgen we ook 17:39, dus dat weer weg en 17:30 los matchen: (09:|1\[0123456]:|17:\[012]:|17:30)

Snap je?

Juist.

Maar nu wil ik van 10:30 tot 15:00

Hoe ziet dat er uit dan?
(09:|1\[012345]:|15:\[012]) ?

[CyBeR]

code:

(10:[345]|1[1234]:|15:00)

Dat betekent het volgende:

match 10:3, 10:4, 10:5, oftewel: 10:[345]
match 11:, 12:, 13:, of 14:, oftewel: 1[1234]:
match 15:00.

Samen krijg je dan het bovenstaande, met | ertussen.

[ Voor 89% gewijzigd door CyBeR op 09-07-2012 15:23 ]

[Alpha_Mouse]

CyBeR schreef op maandag 09 juli 2012 @ 15:16:

code:

(10:[345]|1[1234]:|15:00)

Dat betekent het volgende:

match 10:3, 10:4, 10:5, oftewel: 10:[345]
match 11:, 12:, 13:, of 14:, oftewel: 1[1234]:
match 15:00.

Samen krijg je dan het bovenstaande, met | ertussen.

Dat ziet er inderdaad beter uit. Best lastig dus toch nog. Ik ga dit even weg kopiëren.

Super bedankt voor de input! Heb er straks nog wel eentje... Script dat de helft van de directory leeg mikt (elke 2e file weg mietert) maar volgens mij is dit al eerder besproken.

[ Voor 17% gewijzigd door Alpha_Mouse op 09-07-2012 15:37 ]

[Hero of Time]

Jep, dat is zeker eerder besproken. Hier of ergens anders op 't web .

[Alpha_Mouse]

Hero Of Time schreef op maandag 09 juli 2012 @ 16:50:
Jep, dat is zeker eerder besproken. Hier of ergens anders op 't web .

I know

[sam.vimes]

CyBeR schreef op maandag 09 juli 2012 @ 14:00:
[...]
Leuk, maar jouw script is 22 regels terwijl dit in een simpele one-liner kan.

Helemaal mee eens, maar het ontwikkelen van het Perl-script kostte me minder dan een kwartier, terwijl het in dit topic nu al twee dagen gaat over het vinden van de juiste regexp om te matchen tot 15:30 in plaats van 15:59. In het Perl-script gaat dat in een keer goed. Aanpassen naar andere (begin- en eind-)tijdstippen is triviaal (volgende week veranderen die naar 8:47 en 17:35 ), net als het gebruik van copy of symlink i.p.v. move, terwijl je je ook om spaties of andere rare tekens in de filenamen geen zorgen hoeft te maken. Of performance hacks zoals het gebruik van -J of -I in xargs.

[CyBeR]

sam.vimes schreef op dinsdag 10 juli 2012 @ 12:51:
[...]

Helemaal mee eens, maar het ontwikkelen van het Perl-script kostte me minder dan een kwartier, terwijl het in dit topic nu al twee dagen gaat over het vinden van de juiste regexp om te matchen tot 15:30 in plaats van 15:59.

Ja ho daar, dat heeft me minder dan twee minuten gekost hoor. Het is het educatieve aspect waar 't hier wat langer duurt

Als ik hier alleen maar het antwoord gaf zonder TS iets te proberen bij te brengen waren we flink sneller klaar geweest.

[ Voor 11% gewijzigd door CyBeR op 10-07-2012 12:56 ]

[Hero of Time]

En alles voorkauwen doen we hier op T.net niet. Daarom duurde het ook wat langer. Uitleg is belangrijk, anders blijf je dezelfde vragen krijgen als de omgeving net ietsjes anders is. Inzet is belangrijk hiervoor .