Folder met 1 Miljoen files alles verwijderen

[Verwijderd]

Moguh !,

Ik heb een mail folder die meer als 1 Miljoen files heeft

alle files in deze folder wil ik verwijderen maar rm loopt vast.

er staat mij bij dat dit met awk wel ging lukken weet iemand precies hoe ?

andere suggesties ook welkom

tnx


lemac

[bodiug]

rm -rf werkt bij mij altijd prima...

misschien "mv blaat /dev/null"

of kan je niet de hele partitie formatteren?

[RemcoX]

een poging:

code:

for i in `find`; do rm $I; done

(in de betreffende dir natuurlijk )

[PipoDeClown]

mv naar /dev/null?

[bodiug]

maak daar van:

# find | xargs rm

maar rm deed het toch niet....

[bodiug]

/dev/null is het zwarte gat... wat je erin stopt kom nooit meer terug ..

[Verwijderd]

Bekend probleem, wij hebben het hier op onze AIX servers ook wel eens.

onderstaand scriptje gooit de files in een directory /var/tmp/ftp weg:
cd /var/tmp/ftp
ls -la >/tmp/ftpdirlist
grep -v ^# /tmp/ftpdirlist |while read LINE
do
janus=`echo $LINE |awk -F" " '{print $9}' -`
rm $janus
done

dit scriptje is overigens voor ksh, maar zal onder bash ook wel werken denk ik.

[RemcoX]

Op maandag 21 januari 2002 11:44 schreef guidob het volgende:
maar rm deed het toch niet....

rm kon die 1 miljoen files om een of andere reden niet deleten, maar als je die files een voor een voert, zou het wel moeten werken.

[Verwijderd]

Op maandag 21 januari 2002 11:40 schreef guidob het volgende:
rm -rf werkt bij mij altijd prima...

misschien "mv blaat /dev/null"

of kan je niet de hele partitie formatteren?

rm zeg : arg list too long
dit komt omdat de files op elkaar lijken
om dat mv, rm en ls een max list buff hebben van 512
dus vandaar dan hij crashed.

Partitie formateren is geen optie dan ben ik mijn hele root kwijt (he niet mijn server ok )

awk kijkt volgens mij alleen naar de 1st file in de dir en maakt 1st geen list
dus is het volgens mij mogelijk met awk
maar ja ben geen ster in awk

[bodiug]

dat zou dan een bug in rm moeten zijn... die list toch alles en doet rm...

[franklin]

je moet het gewoon met zo'n for-loop (of een dubbele for-loop) doen in een shellscriptje... dat werkt prima

[blaataaps]

rm -rf werkt niet altijd. Sommige tools verslikken zich in hele grote dir listings.
Als ls de dirlisting wel aan kan kun je dit proberen:

for i in `ls` ; do rm $i ; done

of

for i in * ; do rm $i ; done

(hmm, misschien moet ik m niet 10 minuten op de reply pagina laten staan en dan nog es wat tikken.)

[bodiug]

ls | xargs rm

[Verwijderd]

Op maandag 21 januari 2002 11:48 schreef guidob het volgende:
dat zou dan een bug in rm moeten zijn... die list toch alles en doet rm...

is geen bug anders loopt je systeem vast
je kan de limiet veranderen maar dat wil je niet tenzij je mega veel mem heb :-)

[bodiug]

wat doet rm anders met -r dan:

find | xargs rm

???

[Verwijderd]

Op maandag 21 januari 2002 11:45 schreef Buddha het volgende:
Bekend probleem, wij hebben het hier op onze AIX servers ook wel eens.

onderstaand scriptje gooit de files in een directory /var/tmp/ftp weg:
cd /var/tmp/ftp
ls -la >/tmp/ftpdirlist
grep -v ^# /tmp/ftpdirlist |while read LINE
do
janus=`echo $LINE |awk -F" " '{print $9}' -`
rm $janus
done

dit scriptje is overigens voor ksh, maar zal onder bash ook wel werken denk ik.

enige probleem waar hij denk ik op vast loopt is
ls -la >/tmp/ftpdirlist

maar hij draait nu ff kijken of ls niet vast loopt

:-)

[Verwijderd]

Zoals eerder al genoemd:

Is een 'mv /blaat/map /dev/null' geen oplossing?
Of verwijder de map met MC ofzo.

[Verwijderd]

onderstaand scriptje gooit de files in een directory /var/tmp/ftp weg:
cd /var/tmp/ftp
ls -la >/tmp/ftpdirlist
grep -v ^# /tmp/ftpdirlist |while read LINE
do
janus=`echo $LINE |awk -F" " '{print $9}' -`
rm $janus
done

werkt niet hij loop vast op ls
iemand ander nog suggesties

[Verwijderd]

Op maandag 21 januari 2002 12:27 schreef TwwT_Unexplained het volgende:
Zoals eerder al genoemd:

Is een 'mv /blaat/map /dev/null' geen oplossing?
Of verwijder de map met MC ofzo.

Nee mv loopt ook vast
en mc is geen optie ik zit momenteel in SCO unix


Wie o Wie heeft een oplossing

[RemcoX]

Op maandag 21 januari 2002 12:59 schreef lemac4444 het volgende:
[...]
werkt niet hij loop vast op ls
iemand ander nog suggesties

Probeer eens quote tags te gebruiken...

En je had find al geprobeerd ipv ls?

[Jordi]

Op maandag 21 januari 2002 12:27 schreef TwwT_Unexplained het volgende:
Is een 'mv /blaat/map /dev/null' geen oplossing?

Nee, iedereen zegt altijd heel 'stoer' mv blabla /dev/null, maar dat heeft een ander effect dan je denkt, dan rename/move je die file naar /dev/null, je null device zal dan vervangen worden door die file... en sniehandig.

[bodiug]

Nee hoor...


/dev/null is een null special file.. alles wat je daarheen zet wordt niks meegedaan.. oftewel het zwarte gat..

dit bereik je door "mknod -m 666 /dev/null c 1 3" te doen...
dit kan trouwens op elke file... dus je kan rustig je zwarte gat verplaatsen...


Probeer maar...

[Jordi]

Op maandag 21 januari 2002 13:06 schreef guidob het volgende:
Nee hoor...
/dev/null is een null special file.. alles wat je daarheen zet wordt niks meegedaan..

Wat je er IN frut ja... niet als je em renamet/overwrite, dan komt het device niet in actie, het is in essentie gewoon een 'speciale file' die je dan overwrite. Probeer gewoon maar

[Verwijderd]

Op maandag 21 januari 2002 12:02 schreef guidob het volgende:
wat doet rm anders met -r dan:

find | xargs rm

???

helaas werkt ook niet

[bodiug]

je hebt gelijk... maar overwriten lukt niet eens ... met mv dan..

/dev/zero hetzelfde...

als find niet werkt... wat voor error krijg je dan?

[Verwijderd]

Op maandag 21 januari 2002 13:14 schreef guidob het volgende:
je hebt gelijk... maar overwriten lukt niet eens ... met mv dan..

/dev/zero hetzelfde...

als find niet werkt... wat voor error krijg je dan?

die xargs rm werkt niet

find zelf werk dus ik heb nu in dat scriptje ls vervangen door find
moet werken denk ik

hij loopt nu dus ff afwachten maar
ik heb vroeger awk gebruikt 1 regel op de prompt en weg was alles

[warp]

Op maandag 21 januari 2002 13:01 schreef lemac4444 het volgende:
en mc is geen optie ik zit momenteel in SCO unix

mc staat gewoon op de SCO Skunkware cd hoor

installeren doe je zo:

# pkgadd -d /dev/cdrom/cdrom1 COMPONENT_NAME

[RemcoX]

De oplossing in mijn eerste post is ook 1 regel op de prompt. Die al geprobeerd?

[bodiug]

waar blijft die xargs rm dan op hangen, wat is de foutmelding?

[Verwijderd]

Op maandag 21 januari 2002 11:42 schreef RemcoX het volgende:
een poging:

code:

for i in `find`; do rm $I; done

(in de betreffende dir natuurlijk )

ben deze nu aan het proberen

[bodiug]

dat is hetzelfde als | xargs rm

gewoon rm op elke file...

wat is je foutmelding?

[Verwijderd]

Op maandag 21 januari 2002 13:34 schreef warp het volgende:

[..]

mc staat gewoon op de SCO Skunkware cd hoor

installeren doe je zo:

# pkgadd -d /dev/cdrom/cdrom1 COMPONENT_NAME

ja dat klopt en die heb ik ook
maar mc is heel traag in wissen en op 3 systemen mc installen en een paar uur wachten is niks buiten dat als je wilt scripten heb je niks aan mc

liever lui als moe he !

[Verwijderd]

Op maandag 21 januari 2002 13:43 schreef guidob het volgende:
dat is hetzelfde als | xargs rm

gewoon rm op elke file...

wat is je foutmelding?

hmm hij is van mijn screen buff af maar was iets over directory bla die bla error 2

maar ja ik vertrouw die schijven ook niet meer die er in zitten dus daar kan het ook aan liggen maar dat is nog niet zeker
leuk servertje he !
iets van 1000 scripts die naar elkaar en van elkaar gaan
inc $a -> $Z en die wisselen per script weer van waarde


iemand intresse :-)>

[warp]

Op maandag 21 januari 2002 13:44 schreef lemac4444 het volgende:
liever lui als moe he !

ah! een echte beheerder dus

[St@m]

kan het niet gewoon in dos? allemaal moeilijke scriptjes of is dit een heel dom antwoord......

[RemcoX]

Op maandag 21 januari 2002 14:36 schreef Djonnie het volgende:
of is dit een heel dom antwoord......

ja

[Verwijderd]

Op maandag 21 januari 2002 14:31 schreef warp het volgende:

[..]

ah! een echte beheerder dus

jij zegt het

[Papillon]

find . -name * -exec rm {};

LET OP !
. voor directory (ben ervan uitgegaan dat je in de goede dir staat)
Die haakjes zijn accolades !

[Verwijderd]

Op maandag 21 januari 2002 16:29 schreef Papillon het volgende:
find . -name * -exec rm {};

LET OP !
. voor directory (ben ervan uitgegaan dat je in de goede dir staat)
Die haakjes zijn accolades !

is nu bezig dus je hoort het nog

[Verwijderd]

Op maandag 21 januari 2002 16:29 schreef Papillon het volgende:
find . -name * -exec rm {};

LET OP !
. voor directory (ben ervan uitgegaan dat je in de goede dir staat)
Die haakjes zijn accolades !

snap er geen jota meer van als ik dit draai :
find . -name * -exec rm {};
dan krijg ik
ksh: /bin/find: arg list too long

hoe krijd ik die zooi weg

[odysseus]

Die find-opdracht gaat ook niet werken, want dat roept alsnog rm aan en die kan er niets mee...
Levert SCO ook de sourcecode van packages mee? In dat geval zou je even een alternatieve rm kunnen compileren (zit in package 'filetools' of iets gelijkaardigs) waarin je dat buffer op bijvoorbeeld 1024 zet. Wel zorgen dat je dat ding niet system-wide compileert, want als hij dan dingen niet meer doet ben je niet blij .

[Verwijderd]

hmmmm ben al blij dat hij nog draait
maar in het verleden heb ik zoiets gedaan met awk of sed
maar ik zou bij god niet meer weten hoe nou wordt boeken werk vrees ik

[Verwijderd]

Ik heb een mail folder die meer als 1 Miljoen files heeft

alle files in deze folder wil ik verwijderen maar rm loopt vast.

andere suggesties ook welkom

Gewoon Windows installeren No flame

[Papillon]

Op maandag 21 januari 2002 16:43 schreef odysseus het volgende:
Die find-opdracht gaat ook niet werken, want dat roept alsnog rm aan en die kan er niets mee...

Ik zag het..

wat voor melding geeft xargs dan ? Want die moet het splitten als het goed is...

En anders probeer je maar:

ls | awk '{system("rm " $0)}'

dus:
ls <pipe> awk <quote><accolade>system<haakje><dubbelquote>rm <dubbelquote> $0<haakje><accolade><quote>

[Papillon]

Op maandag 21 januari 2002 16:49 schreef Athalon het volgende:

[..]

Gewoon Windows installeren No flame

Yep.. en dan na 65538 bestanden de melding krijgen de disk is full ??

[yeadder]

Op maandag 21 januari 2002 16:49 schreef Athalon het volgende:

[..]

Gewoon Windows installeren No flame

(ook geen flame )

zou je dat kunnen beargumenteren inplaats van zo te roepen, want daar heeft de topic starter toch niks aan.

(sorry aals het verkeerd over komt )

[warp]

Op maandag 21 januari 2002 16:06 schreef lemac4444 het volgende:

jij zegt het

Niet alleen ik -> http://www.informatik.uni-trier.de/~bern/Bofh/

[Verwijderd]

Op maandag 21 januari 2002 16:29 schreef Papillon het volgende:
find . -name * -exec rm {};

LET OP !
. voor directory (ben ervan uitgegaan dat je in de goede dir staat)
Die haakjes zijn accolades !

dan krijg ik als foutmelding :

/bin/find: arg list too long

hmm ik denk dat SCO unix gewoon wat limietjes heeft ofzo want iets had toch wel moeten werken denk ik zo

[Papillon]

Voor de zekerheid (mail gemod en ondertussen drie extra gepost)

En anders probeer je maar:

ls | awk '{system("rm " $0)}'

[warp]

Of gewoon zo (ff scriptje maken):

#!/bin/sh

foreach file ( * )
rm "$file"
end

[odysseus]

code:

#!/usr/bin/perl
$dir = "/dir/die/leeg/moet";
opendir (DIR, "$dir);
unlink (readdir (DIR));

En dan maar hopen dat perl zelf met een groter buffer werkt, als het goed is roept perl namelijk niet 'rm' aan maar gaat het direct unlinken. Eventueel zou je zoiets vast ook in C kunnen schrijven, maar daar ben ik niet echt in thuis...

[Verwijderd]

Beginnen alle scripts met dezelfde letter ?!
ander lijkt het mij toch mogelijk om te zeggen rm -f a*
enzovoort of snap ik het nu niet.

[The Jester]

Maak een nieuwe partitie aan en edit je fstab
In de fstab mount je de betreffende paritie, met als mountpoint de probleemdirectory. Vervolgens formatteer je de betreffende directory/partitie/mountpoint, of hoe je het ook wilt noemen.

* The Jester zou het zo aanpakken...

[Verwijderd]

zou je dat kunnen beargumenteren inplaats van zo te roepen, want daar heeft de topic starter toch niks aan.

(sorry als het verkeerd over komt )

Jij hebt volkomen gelijk, de topicstarter heeft hier helemaal niets aan.

Maar ik las over dit topic, en kreeg toen van die kriebels om er toch wat over te zeggen. Maar zoiets zullen we allemaal wel eens hebben over een bepaalde vraag, ik niet uitgezonderd

[Verwijderd]

Misschien een omweg maar FF met
ls > verwijder.ksh

vi verwijder.ksh

in vi
:1,$s/^/rm /

zodat je krijgt:

rm file1
rm file2
enz.....

het filetje even executable maken met chmod en vervolgens runnen

edit:

btw..... zorg dat je /var groot genoeg is, het wordt ws een aardig groot file

[Verwijderd]

Op maandag 21 januari 2002 17:26 schreef Athalon het volgende:

[..]

Jij hebt volkomen gelijk, de topicstarter heeft hier helemaal niets aan.

Maar ik las over dit topic, en kreeg toen van die kriebels om er toch wat over te zeggen. Maar zoiets zullen we allemaal wel eens hebben over een bepaalde vraag, ik niet uitgezonderd

Ik wil je toch bij deze vragen om dat soort opmerkingen in de toekomst achterwege te laten. Het voegt niks toe aan de discussie en is alleen maar voer voor verdere flames/trolls. Volgende keer kan je hier een waarschuwing voor verwachten.

[bodiug]

Op maandag 21 januari 2002 17:29 schreef hajee het volgende:
Misschien een omweg maar FF met
ls > verwijder.ksh

vi verwijder.ksh

in vi
:1,$s/^/rm /

zodat je krijgt:

rm file1
rm file2
enz.....

het filetje even executable maken met chmod en vervolgens runnen

inderdaad, volgens mij is dit wel een goeie... wordt een mooi bestand...

ben benieuwd of dit gaat werken

maar wel #!/bin/ksh bovenaan zetten of gewoon met ksh vanaf cmd line runnen.

[Verwijderd]

Volgende keer kan je hier een waarschuwing voor verwachten.

Wat jij wil, het is jouw feestje hier. Maar je bent nu ernstig, is Linux nu al goed

[Verwijderd]

Op maandag 21 januari 2002 17:04 schreef Papillon het volgende:
Voor de zekerheid (mail gemod en ondertussen drie extra gepost)

En anders probeer je maar:

ls | awk '{system("rm " $0)}'

DEZE werkt
rare is dat er ook ls inzit maar het werkt

heb nu alleen nog een paar errors :
rm: msg. non-existent

maar dat komt wel goed.

tnx
je verdient een sigaar

[Verwijderd]

Op maandag 21 januari 2002 17:29 schreef hajee het volgende:
Misschien een omweg maar FF met
ls > verwijder.ksh

vi verwijder.ksh

in vi
:1,$s/^/rm /

zodat je krijgt:

rm file1
rm file2
enz.....

het filetje even executable maken met chmod en vervolgens runnen

edit:

btw..... zorg dat je /var groot genoeg is, het wordt ws een aardig groot file

ja dat had ik in gedachten met find /path >file
en dan in de file een replace doen van path naar rm path
maar het ging er mij om dat het op 1 regel kan
anders kom je er nooit achter

:-)

[The Jester]

Op maandag 21 januari 2002 17:55 schreef lemac4444 het volgende:

tnx
je verdient een sigaar

En jij was 't!

[Verwijderd]

Op maandag 21 januari 2002 17:18 schreef Devinity het volgende:
Beginnen alle scripts met dezelfde letter ?!
ander lijkt het mij toch mogelijk om te zeggen rm -f a*
enzovoort of snap ik het nu niet.

in dit geval gaat dit niet op want ze worden random aangemaakt dus heb je met 1 miljoen files veel problemen

[JeroenE]

DEZE werkt
rare is dat er ook ls inzit maar het werkt

Het enige wat ik kan verzinnen is dat je in het verleden altijd "ls *" intikte en nu niet. Als ik er niet naast zit dan gaat in het geval van het gebruik van "*" je shell de argumentatielijst opbouwen. Je hebt dan eigenlijk het commando "ls bestand1 bestand2". Waarschijnlijk loop je dan tegen limieten aan. Dan krijg je dus meldingen dan find de argumentatielijst te lang vind omdat je shell alle miljoen files er 1 voor 1 achter heeft geplakt.

[Papillon]

ls werkt altijd wel.. echter op het moment dat je wildcards gaat gebruiken (ls *.dat) krijg je dezelfde error als met vele andere commando's. nl. arg. list too long..

awk is in feite een tekstprocessing gevalletje die regel bij regel iets kan afhandelen. In de commando ls | awk'{system("rm " $0)}' zal hij voor elke regel (= filenaam aangeleverd door ls) de commando rm <regel> uitvoeren.

[Verwijderd]

Volgens mij had de tweede oplossing van Blaataaps ook moeten werken...

[blaataaps]

Volgens mij ook (:

[deadinspace]

Op maandag 21 januari 2002 17:26 schreef The_Jester het volgende:
Maak een nieuwe partitie aan en edit je fstab
In de fstab mount je de betreffende paritie, met als mountpoint de probleemdirectory. Vervolgens formatteer je de betreffende directory/partitie/mountpoint, of hoe je het ook wilt noemen.

* deadinspace zou het zo aanpakken...

En dat gaat dus niet werken

Als je een fs op een mountpoint mount, dan komt de inhoud van het fs tijdelijk 'over' de inhoud van het mountpoint te staan, maar de originele inhoud van het mountpoint verdwijnt niet, het is op dat moment alleen niet toegankelijk.
Als je dat fs dan weer unmount, dan staat in het mountpoint gewoon weer de originele inhoud.

[blaataaps]

De door jester genoemde methode is trouwens wel een leuke manier om evt gevoelige data te verstoppen : )

[deadinspace]

Op dinsdag 22 januari 2002 15:59 schreef blaataaps het volgende:
De door jester genoemde methode is trouwens wel een leuke manier om evt gevoelige data te verstoppen : )

En dan ook nog encryptie en stenografie gebruiken... Crackers, eat your heart out

[Servowire]

Hoe heet dat programma waarmee je zelf je partitietabel kan (verneuken) ook alweer

Dat werkt zeker weten... maar de nu de naam

[blaataaps]

dd if=/dev/zero of=/dev/hda
dat verneukt de partitietabel wel.
Of anders parted fdisk cfdisk ofzo.

[Verwijderd]

Enige wat dan overblijft is volgens mij de hele dir weggooien en later weer aan maken.
dus:
rm -rf /directory

en hem daarna weer aan maken.