[FTP] multi treads, after upload script

[Daros]

Vage titel maar hoop dat jullie mij kunnen helpen.

Op een server draait nu een watchtool, wanneer een order word ingeschoten upload hij deze automatisch naar een andere server. Hier draait ook een script die de FTP dir weer leeghaalt.

Zo werkt het beknopt, maar..
De volgende problemen ontstaan:

• de Watchtool gebruikt maar 1 tread en die is door de ontvangende server gelimiteerd op 170kb/s
• de ontvangende server leest de dir uit en haalt alles weg (ook al is het niet compleet)

Wat ik nu al voor elkaar heb:
gebruik van een ander FTP programma, deze upload gewoon elk uur alles wat er nog niet staat met maximaal 25 treads naar de FTP server.

Nadeel blijft alleen dat de ontvangende server soms nog steeds langskomt en de boel wegtrekt voor het klaar is.

Nu komt dus mijn vraag, weet iemand hoe ik en met meerdere treads tegelijk kan uploaden maar ook dat het eerst in een /temp word geplaatst en als alles geupload is het word verplaatst naar de /.

Ik hoop dat iemand mij kan helpen, of mij een richting kan geven waar ik kan zoeken.

[Daros]

Ik hoop dat iemand mij kan helpen?

[lier]

Misschien kan je beginnen met eerst een duidelijk omschrijving te geven!?

Een samenvatting aan vragen:

Wat is een watchtool?
Wat is zijn taak?

Wie doet de upload naar de server?
Waarom doet de server zelf ook download?

In het algemeen:

Waarom wordt gebruik gemaakt van FTP?
Waarin kunnen orders gemaakt worden (online app???)?
Hoe ziet het proces eruit?
Wat is jouw rol in het proces?
Is het een test situatie of een live probleem?

[Daros]

lier schreef op vrijdag 16 september 2011 @ 11:38:
Misschien kan je beginnen met eerst een duidelijk omschrijving te geven!?

Een samenvatting aan vragen:

Wat is een watchtool?
Wat is zijn taak?

http://www.watchdirectory.net/
Dit programma houd een map in de gaten, als er hierin wat verandert start hij een opdracht, in dit geval die map uploaden naar een FTP server. Nadeel: Gaat maar met 1 tread.

Wie doet de upload naar de server?

Dit doet nu WatchDirectory

Waarom doet de server zelf ook download?

De server zelf (aan onze kant) doet niet downloaden, het is een one way sync.

In het algemeen:

Waarom wordt gebruik gemaakt van FTP?

Eis vanaf de ontvangende kant.

Waarin kunnen orders gemaakt worden (online app???)?

Windows app, deze schrijft de "orders"(mappen) weg lokaal. (Windows 2003 server)

Hoe ziet het proces eruit?

Het is potoboeken software, klant maakt in het pakket (via client tool) zijn order. Een order bestaat uit een aantal bestanden (XML en PDF met foto's)

Wat is jouw rol in het proces?

Hun IT'er komt er niet uit, in het verleden hier en daar geholpen, nu ben ik weer gevraagd.

Is het een test situatie of een live probleem?

Het is een Live probleem.

Bedankt voor je vragen, hoop dat je iets hebt aan mijn antwoorden.

[Joolee]

Wat is er mis mee om gewoon zelf te scripten? Run een commandline ftp utility, laat deze uploaden naar de /tmp/bestand. Na het uploaden wordt de naam gewijzigd naar /bestand.

Lijkt mij geen rocket-science.

[Fish]

De meest gebruikte oplossing imho

is gewoon de ftp client naar een tijdelijke directory te uploaden. en wanneer die klaar is te moven naar de definitieve folder.
of eerst een .tmp naam te geven die jij niet moved. en aan het eind te renamen.

veel b2b dingen die zo werken

[ Voor 6% gewijzigd door Fish op 16-09-2011 11:59 ]

[Daros]

Oke, had gehoopt dat er misschien al iets voor bestaat.

Mede omdat ze ook graag einde dag een rapportage willen hebben.
Maar begrijp uit de antwoorden dat het custom build word

[Fish]

Zowiezo moet je niet dom alles oppakken maar iets wat aan een bepaald mask voldoet.

[DeBolle]

Joolee schreef op vrijdag 16 september 2011 @ 11:58:
Run een commandline ftp utility, laat deze uploaden naar de /tmp/bestand. Na het uploaden wordt de naam gewijzigd naar /bestand.

^^^^^^^ Dit.

Is de enig veilige methode om te voorkomen dat een incompleet bestand wordt gepakt, een mv is zoals dat wordt genoemd "atomic" - een single proces dat exclusief op de bestandsnaam werkt.
Rapportage kun je vrij gemakkelijk uit de ftp server (vsftpd neem ik aan) halen als je de xferlog aanzet.

Edit: Oh, wacht .. het gaat om een Windows server. Ik ging uit van de gemiddelde Unix/Linux server. Met Windows als ftp server heb ik geen ervaringen, ik weet niet of een rename ook atomic is onder een Windows OS.

[ Voor 16% gewijzigd door DeBolle op 16-09-2011 12:27 ]