[Ubuntu 16.04] Connection reset by peer op Virtual Box

[storeman]

Ik heb al een paar dagen ruzie met Ubuntu 16.04 op versie 5.1.8 van Virtual Box.

Ik probeer door middel van Ansible een aantal rollen te downloaden en te installeren. Ook probeer ik packages te installeren voor PHP dmv Composer. Steeds loopt dit fout. Dezelfde actie op dezelfde Virtual Box op Ubuntu 14.04 geeft geen problemen. Op een testsysteem in de cloud geeft dezelfde actie geen probleem.

Wat doe ik:
- Standaard installatie met twee netwerkinterfaces van Ubuntu Server 16.04
- Al dan niet installeren van de Virtual Box additions (maakt geen verschil)
- Systeem volledig updaten of niet (maakt geen verschil)

Dan een paar commando's als root:

code:

apt update
apt install -y python-setuptools python-pip build-essential libssl-dev python2.7-dev git
sudo pip install --upgrade pip
pip install -U paramiko PyYAML Jinja2 httplib2 six pycrypto

cd /root
git clone https://github.com/ansible/ansible
cd ansible
git pull --rebase
git submodule update --init --recursive

Ik heb een bestand met rollen die Ansible moet installeren (required_roles.yml):

code:

- src: ajsalminen.hosts
- src: andreaswolf.letsencrypt
- src: ANXS.apt
- src: ANXS.fail2ban
- src: ANXS.cron
- src: ANXS.ntp
- src: ANXS.tmpreaper
- src: flyapen.jenkins
- src: francois2metz.btsync
- src: kamaln7.swapfile
- src: nbz4live.php-fpm
- src: storeman.certificates
- src: tersmitten.ssh-keys
- src: tersmitten.ufw
- src: willshersystems.sshd
- src: willshersystems.users
- src: yatesr.timezone

Die installeer ik dmv:

code:

source /root/ansible/hacking/env-setup
ansible-galaxy install -r required_roles.yml

Output:

code:

ERROR! Unexpected Exception: [Errno 104] Connection reset by peer

Wat heb ik geprobeerd:
- Ubuntu Server 14.04, OK!
- Server in de cloud, OK!
- Wel/Geen updates/upgrades, FAILS!
- Wel/Geen VBoxAdditions, FAILS!
- In VirtualBox een andere netwerkkaart ingesteld, FAILS!
- Ping via shell mee laten lopen naar een adres, deze ping geeft geen packet-loss terwijl ik wel die error krijg
- Een composer update geeft een fout die dezelfde oorzaak lijkt te hebben:

code:

Loading composer repositories with package information                                                                       Reading composer.json of tecnickcom/tcpdf (6.0.076)Failed to decode response: zlib_decode(): data error
RetryingUpdating dependencies (including require-dev)
Failed to decode response: zlib_decode(): data error
Retrying with degraded mode, check https://getcomposer.org/doc/articles/troubleshooting.md#degraded-mode for more info
Your configuration does not allow connection to http://packagist.org. See https://getcomposer.org/doc/06-config.md#secure-http for details.
http://packagist.org could not be fully loaded, package information was loaded from the local cache and may be out of date

  [Composer\Downloader\TransportException]
  Your configuration does not allow connection to http://packagist.org. See https://getcomposer.org/doc/06-config.md#secure-http for details.

- Een composer install met beschikbare lock-file gaat wel goed, maar wel met berichten over corrupte zip files. Dan schakelt composer over naar de "Source", ik denk github

Ik ben tamelijk wanhopig. Wie kan mij helpen dit verder te onderzoeken. Mijn idee is dat er af en toe een pakketje kwijtraakt, waardoor het zip-bestand niet valid terug komt. Maar ook een praatje tegen https://galaxy.ansible.com/api/v1 lijkt kapot te gaan.

[Hero of Time]

Heb je ook al met beide (dus deze 16.04 die fout gaat en 14.04 die goed gaat) gekeken naar versies van software e.d.? Ook eens een strace erbij gedraaid om te zien wat er allemaal aangeroepen wordt? Is er een specifieke reden waarom je pip bijwerkt voordat je de modules download? Wat als je dat niet doet (het updaten)?

En ook de troubleshooting links gelezen? Volgens die getcomposer pagina over secure-http staat er het volgende:

secure-http#

Defaults to true. If set to true only HTTPS URLs are allowed to be downloaded via Composer. If you really absolutely need HTTP access to something then you can disable it, but using Let's Encrypt to get a free SSL certificate is generally a better alternative.

De melding die je krijgt gaat specifiek over http, niet https. Ergens zou het mij niet verbazen als de redirect naar https niet volgt, op http blijft en zo door deze setting de mist in gaat. Daarom dus ook draaien met strace.

[storeman]

Bedankt voor je antwoord.

Ik ben er ondertussen achter dat ik gewoon een foutief Ansible-Galaxy pakket had ingevoerd . Met een behoorlijk jammelijke fout als gevolg. Blijft toch vreemd dat dit op 14.04 niet speelde... Ansible draait nu dus goed.

Probleem met Composer heb ik nog steeds. Composer is vrij lastig te debuggen. Wat jij daar aanhaalt over Composer gaat over eigen gehoste packages die ook prima over SSL kunnen. Daar is geen probleem. Het lijkt er nu eerder op dat een of ander in een bepaalde timeout loopt en daardoor bepaalde zip-bestanden corrupt raken. Ik heb al geprobeerd om de specifieke composer process timeout te verhogen, maar dat blijkt niet het probleem.

Het specifieke pakket waar hij op stukloopt is tecnickcom/tcpdf. Deze heeft een nogal uitgebreide lijst met tags, en bij het langslopen van deze gaat ie kapot. Hierbij wordt wel een retry gedaan en worden de alle composer.json bestanden wel goed ingelezen. Maar op de een of andere manier lijkt het er vervolgens wel op dat er ergens een corrupt zip-bestand staat die composer ook niet zelf weggooit.