[ASP] Slurp

[Verwijderd]

Luitjes,
Voor eigen gebruik haalde ik altijd de nieuwspagina van teletekst (101) op middels onderstaand sciptje. Echter, sinds kort lukt (mag) dat niet meer: You don't have permission to access /tekst/101-01.html on this server.
Volgens mij doet dit scriptje hetzelfde als een browser. Wat zullen ze veranderd hebben aan hun config?

code:

<%
Function getPage (method, url, data)
  Set objXmlHttp = Server.CreateObject("MSXML2.XMLHTTP")
  With objXmlHttp
    .Open method, url, False
    .SetRequestHeader "REFERER", url
    If method = "post" Then 
      .SetRequestHeader "Content-Type", "application/x-www-form-urlencoded"
    End If
    .Send data
  End With
  stream = objXmlHttp.responseBody
  Set objStream = Server.CreateObject("ADODB.Stream")
  With objStream
    .Open
    .Type = 2
    .WriteText (stream)
    .Position = 0
    .Charset = "latin1"
  End With
  getPage = objStream.ReadText(-1)
  objStream.close
  Set objStream = Nothing
  Set objXmlHttp = Nothing
End Function

getPage ("get","http://teletekst.nos.nl/tekst/101-01.html",null)
%>

[gorgi_19]

Je kan allicht de webmaster mailen. Als het toegestaan is, zal hij je naar alle informatie verwijzen die je nodig hebt.

[Verwijderd]

Denk niet dat de webmaster blij is als de content geslurpt wordt, of het nou legaal is of niet...

[bigtree]

Er wordt waarschijnlijk een check uitgevoerd op je user_agent. Als je een telnet-sessie opent naar teletekst.nos.nl en je vraagt het document op die manier op, krijg je dezelfde respons als die jij beschrijft. In IE doet hij het wel gewoon.

[whoami]

Zie gorgi_19.

Mail de webmaster en vraag om toestemming, of vrag of het toegelaten is. Aangezien je zelf al weet dat het rippen van content meestal niet toegestaan (illegaal) is, doen we hier op P&W er dan ook niet aan mee.

Op de teletekst site staat trouwens dit:

Het is bijgevolg NIET toegestaan om de pagina's op te slaan anders dan voor persoonlijk gebruik, of ze te herdistribueren (bijv. via e-mail of Usenet News).

[ Voor 33% gewijzigd door whoami op 09-05-2003 18:43 ]