[*NIX/BSD] Grep & save alle links uit HTML

[PjotrP]

Ik heb een berg HTML documenten van waaruit gelinkt wordt naar honderden PDF documenten:
bash-2.05a$ more test.html | grep "<A HREF=\"n"
<TD><FONT SIZE=-1><A HREF="n9810418.pdf">English</A></FONT></TD>
<TD><FONT SIZE=-1><A HREF="n9810223.pdf">English</A></FONT></TD>
<TD><FONT SIZE=-1><A HREF="n9814411.pdf">English</A></FONT></TD>
<TD><FONT SIZE=-1><A HREF="n9810229.pdf">English</A></FONT></TD>
<TD><FONT SIZE=-1><A HREF="n9813136.pdf">English</A></FONT></TD>
etc.

De links krijg ik wel, maar op welke manier kan ik de links automatisch pipen naar een programma als curl?

[odysseus]

code:

#!/usr/bin/perl
while (<>)
{
  $_ =~ s/^.*HREF=\"//;
  $_ =~ s/\".*$//;
  print;
}

Vervolgens kun je die dingen in een lijst naar curl sturen of ze één voor één verwerken (middels 'for i in `cat mijn_html_bestand | ./script.pl`; do curl $i; done')

[u_nix_we_all]

Ik denk dat jij zoiets wilt:

code:

for regel in `cat test.html | grep "<HREF=\"n" |cut -f2 -d\" ` 
do
curl  www.url.nl/$regel
done

Hiermee gooi je de uitvoer van het cat / grep / cut (het cut gedeelte knipt
het 2e veld (-f2) als je " als delimiter gebruikt (-d\" ) in dit geval
alleen de naam van de pdf in de variabele regel, elke keer een nieuwe regel,
en gebruikt die in het curl regeltje.

[PjotrP]

Dank jullie allebei . Ik ben een stuk verder en heb het al bijna werkend