Check alle échte Black Friday-deals Ook zo moe van nepaanbiedingen? Wij laten alleen échte deals zien

Python: Scrapyd deploy error urlopen error [Errno 111]

Pagina: 1
Acties:

  • Storm90
  • Registratie: September 2008
  • Laatst online: 09-09 15:23
Hallo allemaal,

Ik heb zojuist een nieuwe Ubuntu server ingericht met het volgende geïnstalleerd:

- OpenSSH
- Scrapy
- Scrapyd (scrapy deploy)
- Uncomplicated Firewall (ufw)

Nu probeer ik echter een Scrapy project te deployen (welke zich bevindt in de /var/scraper folder) met het commando "scrapy-deploy -L default", maar dan krijg ik de volgende foutmelding terug:

Bash Session:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Traceback (most recent call last):
  File "/usr/local/bin/scrapyd-deploy", line 269, in <module>
    main()
  File "/usr/local/bin/scrapyd-deploy", line 74, in main
    f = urllib2.urlopen(req)
  File "/usr/lib/python2.7/urllib2.py", line 127, in urlopen
    return _opener.open(url, data, timeout)
  File "/usr/lib/python2.7/urllib2.py", line 404, in open
    response = self._open(req, data)
  File "/usr/lib/python2.7/urllib2.py", line 422, in _open
    '_open', req)
  File "/usr/lib/python2.7/urllib2.py", line 382, in _call_chain
    result = func(*args)
  File "/usr/lib/python2.7/urllib2.py", line 1214, in http_open
    return self.do_open(httplib.HTTPConnection, req)
  File "/usr/lib/python2.7/urllib2.py", line 1184, in do_open
    raise URLError(err)
urllib2.URLError: <urlopen error [Errno 111] Connection refused>


Ik heb poort 6800 (poort welke scrapyd gebruikt voor het deployen van projecten) en 22 open gezet in de firewall maar dat maakte geen verschil.

Ik kwam op een internetpagina tegen dat dit probleem mogelijk aan de http_proxy variable lag (weet niet meer de url). Maar er zit geen proxy server op ons netwerk, dus ik heb geprobeerd deze variable een lege waarde mee te geven door het commando export http_proxy="" uit te voeren.
We maken gebruik van de Proxy Middleware, dus toen bovenstaand niet hielp heb ik nog geprobeerd de Proxy url's binnen de settings.py van scrapy uit te zetten, maar dat hielp ook niet.

Ik weet verder niet wat ik nog kan proberen. Googlen haalt niets uit. Iemand hier die mogelijk een oplossing weet?

EDIT: Het probleem is al opgelost. Ik had een User en Password mee moeten geven in de scrapy.cfg

[ Voor 4% gewijzigd door Storm90 op 14-04-2014 15:41 ]