[Bash] Open dir rip-script

[Nibble]

Ik ben bezig met een script te maken op een open dir te rippen (ben vast het wiel opnieuw aan het uitvinden, maar ik heb nog geen alternatief gevonden )
Afijn, hier volgt wat (ranzige code):

code:

#!/bin/bash
DIRTELLER=0
PICTELLER=0
NRDIRS=155
NRPICS=100
SITE=http://vulsitein.com/dir

if !test -d ./output mkdir output
cd output

while $DIRTELLER < $NRDIRS :
  do
   if !test -d ./$DIRTELLER
    then
      mkdir $DIRTELLER
   fi
   while $PICTELLER < $NRPICS :
     do
      echo $SITE/$DIRTELLER/$PICTELLER.jpg
     done
   PICTELLER='expr $PICTELLER + 1'
  done
DIRTELLER='expr $DIRTELLER + 1'

zoals je ziet moet het programma gewoon bruutweg server request sturen oplopend in nummer en een directory van dat nummer aanmaken in de output dir(en als deze nog niet bestaan deze aanmaken).
So far so good, het is allemaal wat roestig en een boek unix-scripts erbij toch al een eindje gekomen, alleen krijg ik elke keer de error melding "Unexpected end of file op de laatste regel 1 extra buiten het bestand lang is.
Ik verwacht dat het ergens in de loop zit, maar ik kan het niet vinden.
Do's mag je toch gewoon nesten ?
C&C welkom.

[Grijze Vos]

wget -r <url>

[Nibble]

Grijze Vos schreef op 27 juni 2004 @ 23:43:
wget -r <url>

Daar had ik dus ook al zelf aan gedacht, maar helaas:

HTTP request sent, awaiting response... 403 Forbidden
23:36:40 ERROR 403: Forbidden.

dat werkt dus niet iemand anders een suggestie ?

[_Squatt_]

Even met de opties van wget spelen, vooral --referer is waarschijnlijk handig (en eventueel ook --user-agent en --load-cookies).

Overigens vind ik een loopje in bash altijd mooier zo:

code:

for DIRTELLER in `seq 0 155`
do
    echo Nummer: $DIRTELLER
done

_{maar er zijn vele manieren om hetzelfde te bereiken, vooral een kwestie van smaak}

[curry684]

Shell- oftewel OS-specific scripting in de relevante fora aub: -> Non-Windows Operating Systems

[Wilke]

Zoals Grijze Vos al opmerkt moet je maar eens gaan spelen met wget en de opties daarvan.

Stel ook een delay in tussen de requests, anders ga je na een tijdje ook wel geweigerd worden denk ik.

[sjink]

Nibble schreef op 27 juni 2004 @ 23:23:
...(ben vast het wiel opnieuw aan het uitvinden, maar ik heb nog geen alternatief gevonden )\...

Ik kan gewoon met Download Accelerator rechtermuisknop en dan "download all" doen, werkt uitstekend hoor

[Zwerver]

sjink schreef op 28 juni 2004 @ 08:40:
[...]


Ik kan gewoon met Download Accelerator rechtermuisknop en dan "download all" doen, werkt uitstekend hoor

Ja joh? vind ik knap dat je dat onder linux kan doen

[Wilke]

sjink schreef op 28 juni 2004 @ 08:40:
Ik kan gewoon met Download Accelerator rechtermuisknop en dan "download all" doen, werkt uitstekend hoor

Joy, met of zonder gratis spyware erbij geleverd?

[Niek]

Ik zou er zelf eerder met seq doorheen lopen ipv "expr $var+1". Zelf gebruik ik meestal zoiets:

code:

for dir in $(seq 0 155); do mkdir $dir; cd $dir; for pic in $(seq 0 100); do wget http://www.site.com/galleries/$dir/$pic.jpg; done; cd ..; done

BTW, dit zou ik dus alleen gebruiken voor "ClosedDir" ripping, als het een OpenDir(TM) is kan je beter wget -mirror gebruiken.