rsync vanaf een externe SFTP server

[WoBBeL]

Ik ben al een tijdje aan het stoeien maar het lukt mij niet helemaal om een bepaalde setup te krijgen die ik wil.

Ik heb een leverancier die bepaalde bestanden elk uur klaar zet op een server die ik via internet kan benaderen door middel van SFTP. Authenticatie gebeurd door middel van een gebruikersnaam en een private key waarvan de leverancier uiteraard alleen het publieke gedeelte heeft.

Dit alles werkt prima. Ik kan via Filezilla (Windows) als PHP (zowel Linux als Windows) verbinding maken en ook lukt het om bestanden te downloaden.

Ik wil echter graag wat automatiseren en dit lukt niet met Filezilla en PHP is daar alles behalve de goede taal voor (gaat om grotere bestanden en dit kost ontzettend veel resources wat op NAS systemen eigenlijk altijd erg karig is). Het moet vanaf meerdere systemen mogelijk zijn (CentOS, Ubuntu maar ook NAS'sen die op Linux draaien). Ik had de goede hoop om "rsync" te gebruiken hiervoor maar ik loop tegen een issue aan.

Als ik het volgende commando draai:

code:

rsync -azv -e "ssh -i /home/wobbel/auth.key" [e-mail]:/data/monitor/ /home/wobbel/sftp/

Dan krijg ik altijd dezelfde foutmelding:

code:

protocol version mismatch -- is your shell clean?
(see the rsync man page for an explanation)
rsync error: protocol incompatibility (code 2) at compat.c(178) [Receiver=3.1.3]

Als ik Google mag geloven betekent dit dat mijn shell die wordt gebruikt niet "clean" is maar er al data wordt verstuurd voordat ik uberhaupt een filetransfer start. Ze geven aan dat je dit kan testen door even via SSH te connecten met het volgende commando om te kijken of je output krijgt:

code:

ssh -i /home/wobbel/auth.key [e-mail]

Als ik dit commando echter draai krijg ik géén toegang, ik krijg de volgende melding:

code:

This service allows sftp connections only.
Connection to sftp.server.nl closed.

Ik kan dus niet verbinden om output te testen. Of de melding "This service allows sftp connections only." is juist de output waar rsync over valt maar hoe kan ik dat zeker weten?

Ik heb even een zetje nodig in de goede richting, hopelijk kan ik daarna zelf alles fiksen kwestie van wat crons hoop ik

[igmar]

Dit gaat niet werken : rsync start een remote rsync process op de andere kant on te bepalen welke data moet worden overgezet. Dat werkt in dit geval niet : Je kan alleen sftp gebruiken.

Je zal dus wat anders moeten gebruiken.

[Douweegbertje]

sftp is misschien dan wel "ftp over ssh protocol" - het is geen shell zelf wat je krijgt. Dus dit gaat niet lukken helaas. Gewoon echt een shell krijgen is je oplossing.

[init6]

Je zou even kunnen kijken naar rclone. Opensource tool die via meerdere storage backends bestanden over en weer kan sleuren. https://rclone.org/

[Hero of Time]

Je kan met openssh opgeven dat een bepaalde groep alleen sftp kan en geen interactieve shell mag hebben. Elke tool die dat wil, wat rsync dus probeert, zal falen.

Je zal dus een andere oplossing moeten bedenken. Bijvoorbeeld eerst een dir listing opvragen en deze vergelijken met wat je lokaal hebt. Alles wat na je laatste lokale entry komt, moet je dan ophalen.
Zoiets wat hierboven wordt genoemd door @init6.

[thunder7]

In plaats van sftp te gebruiken, zou je de folder ook kunnen mounten, en dan rsync tegen je mountpoint laten praten

https://furick.com/icbd/2...a-folder-in-ubuntu-linux/

[WoBBeL]

@init6 dat ziet er goed uit, dat is een package die vrij eenvoudig overal te installeren is. Ik ga hier eens mee testen. Ik was niet op de hoogte dat rsync een 'echte' shell nodig heeft zoals @Hero of Time of time ook aangeeft.

[WoBBeL]

Nog geen uur later werkt alles met rclone. Bedankt!