[PHP] Door proxy backup nemen

Pagina: 1
Acties:

  • Profidiam
  • Registratie: December 2001
  • Laatst online: 25-01-2025
Ik wil van ong. 3500 html pag. een backup nemen (emaillist bij yahoogroups.). Dit moet gebeuren door een proxy.

Tot nu toe doe ik het zo:

PHP:
1
2
3
4
5
6
7
8
9
10
11
12
<?
 $fp = fsockopen("proxy.pandora.be", 8080);
 $url = "http://groups.yahoo.com/group/rds/message/100?source=1";
 if (!$fp) die; 
 fputs($fp, "GET $url HTTP/1.0\r\n\r\n");  
 while (!feof($fp)) 
    {    
        echo nl2br(fgets($fp, 128));  
    }  
 fclose($fp);  
 
?>

en dit krijg ik als uitvoer
code:
1
2
3
4
5
6
7
8
9
10
11
12
HTTP/1.0 302 
Date: Wed, 09 Jan 2002 11:08:42 GMT 
Content-Type: text/plain 
Expires: Wed, 09 Jan 2002 11:08:42 GMT 
Cache-Control: no-cache, no-cache="Set-Cookie", private 
Server: Apache/1.3.3 (Unix) 
Pragma: no-cache 
Via: 1.1 ncgent01 (NetCache NetApp/5.0.1R2D12) 
Location: http://groups.yahoo.com/group/rds/auth?done=%
2Fgroup%2Frds%2Fmessage%2F100%3Fsource%3D1 

Aren't you supposed to be somewhere else?

Nu, als ik dezelfde link volg in internet explorer , dan geeft hij gewoon de mail. Dit wijst dus op een soort van beveiliging bij yahoo, die allee "echte" browsers toelaat. Is er een manier om mijn request identiek te maken aan een request die internet explorer zou doen, of heeft iemand ee aner/beter idee ?
De bedoeling is dat alle mails dan geparsed worden en in een database gestopt worden.

Alvast bedankt

Da RuBBaH DuCK SKWaT - Ellen what did ye do ?- een test


  • CyBeR
  • Registratie: September 2001
  • Niet online

CyBeR

💩

als het echt een beveiliging is bij yahoo tegen dit soort dingen kun je gewoon een useragent header meesturen en je scriptje zich voor laten doen als zijnde MSIE of netscape ofzo.

maar mischien moet je die Location: header nalopen, of allebei :)

success in elk geval ;)

All my posts are provided as-is. They come with NO WARRANTY at all.


  • drm
  • Registratie: Februari 2001
  • Laatst online: 09-06-2025

drm

f0pc0dert

Profidiam:
Is er een manier om mijn request identiek te maken aan een request die internet explorer zou doen, of heeft iemand ee aner/beter idee ?
User-Agent: header volgens mij.
En dan daarin zetten wat in JavaScript in navigator.userAgent staat

dit even runnen in IE:
code:
1
2
3
4
5
<html>
<script language="JavaScript" type="text/javascript">
document.write ( navigator.userAgent );
</script>
</html>

en de geprinte string even in de User-Agent header van je request zetten.

Verder is er wellicht een manier te bedenken om te zien hoe een Internet Explorer een request doet aan bv. een php-scriptje?

Music is the pleasure the human mind experiences from counting without being aware that it is counting
~ Gottfried Leibniz


  • Engineer
  • Registratie: Juni 2001
  • Laatst online: 04-05 00:03

Engineer

Software

.

[ Voor 100% gewijzigd door Engineer op 13-10-2018 17:03 ]