FTP protocol, file transfer klaar of niet?

[smeerbartje]

Even een klein vraagje tussendoor. We maken gebruik van het FTP protocol om bestanden heen-en-weer te transferren. Echter na wat onderzoek bleek dat het FTP protocol geen "locking mechanisme" of iets dergelijks kent. Dus even nagedacht en we komen tot de volgende mogelijkheden om te kunnen checken of een file 100% klaar is met de transfer:

• Zorg dat elke file (het betreft csv files) een footer record heeft met bijvoorbeeld "EOF". Als een "tail" van de file deze string dus niet bevat, dan is de transfer nog niet klaar.
• Laat na elke file een "check" file aanmaken, met dezelfde filename. Als er dus een "check" file bestaat, dan weet je zeker dat het transfer proces is afgerond.

Weten jullie nog andere manieren om zoiets te realiseren?

[thaan]

Een MD5 voor en na verzending over elk bestand draaien en die vergelijken.

[_Apache_]

Bestanden uploaden als filename.extentie.filepart, na het uploaden hernoemen en een hashcheck als eindcontrole.

[P_de_B]

uploaden naar een directory /in_progress en na de upload verplaatsen naar een directory /done?

[begintmeta]

*loze opmerking, laat maar achterwege*

[ Voor 82% gewijzigd door MueR op 30-11-2011 11:48 ]

[smeerbartje]

Bedankt voor jullie reacties; probleem is dat de versturende kant "domme gebruikers" zijn. D.w.z. ze gebruiken een standaard FTP client (soms zelfs windows explorer) om de files te uploaden. We kunnen niet van ze verwachten dat ze hashes gaan berekenen (en meesturen??) e.d.

[begintmeta]

Ik vroeg me in de gecensureerde post al af waarom je ftp wil gebruiken. Het moet dus vooral laagdrempelig zijn

Ik denk toch echt dat je ook naar een ander systeem kan kijken. WebDAV lijkt dan redelijk, aangezien dat in veel besturingssystemen standaard wordt ondersteund en verder ook aardige clients beschikbaar zijn. Dat vergt dan misschien wat onderwijsactiviteit voor de gebruikers. Eventueel zou je ook een webfrontend kunnen maken. Je zou ook een mail-in service kunnen maken, met dan eventueel een ftp of WebDAV-mogelijkheid om de bestanden op te halen dat is ook laagdrempelig.

Scripten dat een bestand wordt verplaatst naar een andere directory als de overdracht correct is verlopen is ook een aardig idee (of gebruikmaken van ingebouwde functies), maar je moet dan eventueel wel kijken wat je met conflictoplossing wil doen (twee uploads van 'hetzelfde bestand' tegelijk) hoe je dat terugkoppelt naar de uploader etc. Hashes zou je al voor de upload/bij de gebruiker moeten hebben, dat maakt het lastiger.

(sorry voor de eventueel weer loze opmerking MueR)

[ Voor 38% gewijzigd door begintmeta op 30-11-2011 12:53 ]

[IceM]

Welke ftp daemon en OS gebruik je? Er zijn daemons met de mogelijkheid om scripts te gebruiken, dan zou het eenvoudig zijn om post-upload dingen uit te voeren (hash berekenen, extra bestand aanmaken etc). Ik neem aan dat je vooral aan de server kant controle wilt uitoefenen op de files?

[GlowMouse]

IceM schreef op woensdag 30 november 2011 @ 12:31:
Welke ftp daemon en OS gebruik je? Er zijn daemons met de mogelijkheid om scripts te gebruiken, dan zou het eenvoudig zijn om post-upload dingen uit te voeren (hash berekenen, extra bestand aanmaken etc). Ik neem aan dat je vooral aan de server kant controle wilt uitoefenen op de files?

Of config-opties als http://www.proftpd.org/do...fig_ref_HiddenStores.html

[Evilbee]

Ik heb in het verleden dit opgelost door een scriptje te maken die iedere minuut de filesize opslaat. Zodra de filesize 2 minuten niet is veranderd gaan we er van uit dat de upload klaar is.

[RomeoJ]

Evilbee schreef op donderdag 15 december 2011 @ 17:27:
Ik heb in het verleden dit opgelost door een scriptje te maken die iedere minuut de filesize opslaat. Zodra de filesize 2 minuten niet is veranderd gaan we er van uit dat de upload klaar is.

Dan kan de upload wellicht klaar zijn, maar dan weet je nog niet of deze 100% is geüpload.

Verder: wat _Apache_ en P_de_B voorstellen.

[ Voor 6% gewijzigd door RomeoJ op 15-12-2011 17:32 ]

[Evilbee]

RomeoJ schreef op donderdag 15 december 2011 @ 17:31:
[...]


Dan kan de upload wellicht klaar zijn, maar dan weet je nog niet of deze 100% is geüpload.

Verder: wat _Apache_ en P_de_B voorstellen.

Maar als het bestand na 2 minuten niet meer groter wordt, denk ik niet dat er nog wat bij komt en is waarschijnlijk de verbinding verbroken.

[Aionicus]

gewoon sfv checker aan je ftp hangen, daarna instellen dat ie die bestanden checken en voor de domme users hun spullen uploaden dat software een sfvtje meestuurd . voila problem sorted.

[Creepy]

En een ftp deamon gebruiken die je aan een database kan koppelen? Met proftpd kan dat bijv. Die kan dan een insert doen in een tabel nadat een upload succesvol is afgerond. Alle entries in die tabel zijn dus gegarandeerd goed afgerond.

[RomeoJ]

Evilbee schreef op donderdag 15 december 2011 @ 17:34:
[...]

Maar als het bestand na 2 minuten niet meer groter wordt, denk ik niet dat er nog wat bij komt en is waarschijnlijk de verbinding verbroken.

Als de cliënt tussentijds de verbinding verbreekt terwijl de overdracht nog niet afgerond is, dan zou je al corrupte bestanden krijgen, en er dus niets aan hebben.

Zover ik de TS begrijp is dit een eis en zou dit door middel van PGP of MD5 signatures prima opgelost kunnen worden, maar geeft tevens aan dit niet helemaal als ideale situatie te zien door de 'domme' gebruikers aan de cliënt kant.

[begintmeta]

RomeoJ schreef op donderdag 15 december 2011 @ 22:20:
...
Als de cliënt tussentijds de verbinding verbreekt terwijl de overdracht nog niet afgerond is, dan zou je al corrupte bestanden krijgen, en er dus niets aan hebben.
...

Als de client daar melding van zou maken, en de gebruikers niet te dom zijn, zou dat op zich wel een te oerzien probleem moeten zijn.

[smeerbartje]

Mensen, bedankt voor jullie input! Hash checking is echt te "moeilijk". Die hiddenstores lijken me wel wat; even kijken of de ftp server dit ondersteunt.

[YopY]

Als het vooral toegangkelijk voor de gebruiker moet zijn lijkt een (eenvoudige) web front-end met een upload progress indicator toch het handigst en laagdrempeligst voor de gebruiker. Maar dat kost natuurlijk enige ontwikkeltijd - afhankelijk van kennis en vaardigheid enkele dagen (incl. testen e.d.). Controleren of een bestand volledig geupload is kan dan zoals in de eerste paar posts aangegeven is. Voor de gebruiker is het iig duidelijk wanneer een bestand geupload is door de progress indicator.

Ik meen alleen gehoord te hebben dat upload indicators best wel lastig zijn in webapps.

[begintmeta]

Dat leek mij inderdaad ook en IMHO blijft gebruik van WebDAV het overwegen waard.