Hallo allemaal,
Ik heb zojuist een nieuwe Ubuntu server ingericht met het volgende geïnstalleerd:
- OpenSSH
- Scrapy
- Scrapyd (scrapy deploy)
- Uncomplicated Firewall (ufw)
Nu probeer ik echter een Scrapy project te deployen (welke zich bevindt in de /var/scraper folder) met het commando "scrapy-deploy -L default", maar dan krijg ik de volgende foutmelding terug:
Ik heb poort 6800 (poort welke scrapyd gebruikt voor het deployen van projecten) en 22 open gezet in de firewall maar dat maakte geen verschil.
Ik kwam op een internetpagina tegen dat dit probleem mogelijk aan de http_proxy variable lag (weet niet meer de url). Maar er zit geen proxy server op ons netwerk, dus ik heb geprobeerd deze variable een lege waarde mee te geven door het commando export http_proxy="" uit te voeren.
We maken gebruik van de Proxy Middleware, dus toen bovenstaand niet hielp heb ik nog geprobeerd de Proxy url's binnen de settings.py van scrapy uit te zetten, maar dat hielp ook niet.
Ik weet verder niet wat ik nog kan proberen. Googlen haalt niets uit. Iemand hier die mogelijk een oplossing weet?
EDIT: Het probleem is al opgelost. Ik had een User en Password mee moeten geven in de scrapy.cfg
Ik heb zojuist een nieuwe Ubuntu server ingericht met het volgende geïnstalleerd:
- OpenSSH
- Scrapy
- Scrapyd (scrapy deploy)
- Uncomplicated Firewall (ufw)
Nu probeer ik echter een Scrapy project te deployen (welke zich bevindt in de /var/scraper folder) met het commando "scrapy-deploy -L default", maar dan krijg ik de volgende foutmelding terug:
Bash Session:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
| Traceback (most recent call last): File "/usr/local/bin/scrapyd-deploy", line 269, in <module> main() File "/usr/local/bin/scrapyd-deploy", line 74, in main f = urllib2.urlopen(req) File "/usr/lib/python2.7/urllib2.py", line 127, in urlopen return _opener.open(url, data, timeout) File "/usr/lib/python2.7/urllib2.py", line 404, in open response = self._open(req, data) File "/usr/lib/python2.7/urllib2.py", line 422, in _open '_open', req) File "/usr/lib/python2.7/urllib2.py", line 382, in _call_chain result = func(*args) File "/usr/lib/python2.7/urllib2.py", line 1214, in http_open return self.do_open(httplib.HTTPConnection, req) File "/usr/lib/python2.7/urllib2.py", line 1184, in do_open raise URLError(err) urllib2.URLError: <urlopen error [Errno 111] Connection refused> |
Ik heb poort 6800 (poort welke scrapyd gebruikt voor het deployen van projecten) en 22 open gezet in de firewall maar dat maakte geen verschil.
Ik kwam op een internetpagina tegen dat dit probleem mogelijk aan de http_proxy variable lag (weet niet meer de url). Maar er zit geen proxy server op ons netwerk, dus ik heb geprobeerd deze variable een lege waarde mee te geven door het commando export http_proxy="" uit te voeren.
We maken gebruik van de Proxy Middleware, dus toen bovenstaand niet hielp heb ik nog geprobeerd de Proxy url's binnen de settings.py van scrapy uit te zetten, maar dat hielp ook niet.
Ik weet verder niet wat ik nog kan proberen. Googlen haalt niets uit. Iemand hier die mogelijk een oplossing weet?
EDIT: Het probleem is al opgelost. Ik had een User en Password mee moeten geven in de scrapy.cfg
[ Voor 4% gewijzigd door Storm90 op 14-04-2014 15:41 ]