350 GB uploaden over 4g

[Eric_1993]

Mijn vraag
Kan je een groot bestand (350GB) uploaden over 4G?

Relevante software en hardware die ik gebruik
Ik ben niet van plan om het zelf uit te voeren. Maar ik ben heel nieuwsgierig of het zou kunnen werken om een groot bestand van 350 GB te uploaden over 4G.

Wat ik al gevonden of geprobeerd heb
- Gezocht op Tweakers.net
- Gezocht op google.nl

[GioStyle]

Het is goed mogelijk, maar de kans is groot dat je provider daar een stokje voor steekt.

[ Voor 11% gewijzigd door GioStyle op 02-03-2016 22:03 ]

[Verwijderd]

Waarom zou dat niet kunnen? het is afhankelijk van je software hoe deze omgaat met "verbroken" verbindingen etc....

[Fish]

Gebruik in iig een protocol/software die kan resumen.

met filezilla kan het iig

maar 350Gig ? database i presume,

[ Voor 18% gewijzigd door Fish op 02-03-2016 22:06 ]

[Eric_1993]

Fish schreef op woensdag 02 maart 2016 @ 22:04:
Gebruik in iig een protocol/software die kan resumen.

met filezilla kan het iig

Ik wil FileZilla gebruiken over SFTP. Maar zelfs nu als ik upload en de verbinding wordt verbroken is het bestand gelijk mislukt. Hoe kan ik in FileZilla resume instellen?

[Fish]

filezille doet afaik geen sftp, wel ftps of ftpes

Bij mij werkt het resumen out of the box.

[gambieter]

Eric_1993 schreef op woensdag 02 maart 2016 @ 22:01:
Wat ik al gevonden of geprobeerd heb
- Gezocht op Tweakers.net
- Gezocht op google.nl

En wat heb je gevonden? Dit is wel erg gemakzuchtig om te claimen.

En waarom zou het niet kunnen als er een provider is die het toelaat, en een abo heeft ervoor?

[Eric_1993]

gambieter schreef op woensdag 02 maart 2016 @ 22:09:
[...]

En wat heb je gevonden? Dit is wel erg gemakzuchtig om te claimen.

En waarom zou het niet kunnen als er een provider is die het toelaat, en een abo heeft ervoor?

Ik heb wel informatie kunnen vinden over hoe een 4g netwerk werkt, en dat je grote bestanden sneller kan uploaden over 4G. Maar mijn bestand van 350GB duurt nog wel ff, dus wilde gewoon weten of dat wel lukt.

[F_J_K]

Proberen = weten

Er zijn natuurlijk wel wat manieren om zekerder te zijn dat alles correct overkomt, zoals opsplitsen, checksums, etc.

Sneakernet is overigens misschien goedkoper en/of sneller.

[sig69]

Fish schreef op woensdag 02 maart 2016 @ 22:07:
filezille doet afaik geen sftp, wel ftps of ftpes

Filezilla doet zeker wel sftp, gebruik het bijna dagelijks. Resumen heb ik dan weer geen ervaring mee, nooit last van verbroken verbindingen.

[Eric_1993]

sig69 schreef op woensdag 02 maart 2016 @ 22:19:
[...]

Filezilla doet zeker wel sftp, gebruik het bijna dagelijks. Resumen heb ik dan weer geen ervaring mee, nooit last van verbroken verbindingen.

Klopt FileZilla doet zeker SFTP. Ik gebruik het ook. Maar dat resume is mij ook niet bekend helaas. Heb zelf ook bijna nooit last van verbroken verbindingen maar is wel behoorlijk k*t als het bestand bijna klaar is en opeens de verbinding verbroken wordt

[Verwijderd]

Om snelheid te maken: Ga dichtbij een mast zitten (niet té dicht, want anders overstuur je het). Vuistregel: bij een mast van 20 meter hoog: afstand moet tussen de 200 en 300 meter zijn.

Doe dit ook op een "rustig" tijdstip. Dat is bv. 5 uur in de ochtend op een zondag. Dan heb je de snelste snelheden. Ook in een landelijk gebied dat doen is beter.

Echter, als je deze informatie niet op een laptop hebt, dan is het een ander verhaal. Echter, dat tijdstip geldt dan nog wel.

Neem anders de laptop mee, en hang hem aan een glasvezel (eventueel bij een vriend of zo). Effe een kratje bier wegdrukken, en dan is je bestand wel weg hoor.

[ Voor 0% gewijzigd door Verwijderd op 02-03-2016 22:23 . Reden: tikfouten ]

[Fish]

Eric_1993 schreef op woensdag 02 maart 2016 @ 22:22:
[...]


Klopt FileZilla doet zeker SFTP. Ik gebruik het ook. Maar dat resume is mij ook niet bekend helaas. Heb zelf ook bijna nooit last van verbroken verbindingen maar is wel behoorlijk k*t als het bestand bijna klaar is en opeens de verbinding verbroken wordt

sig69 schreef op woensdag 02 maart 2016 @ 22:19:
[...]

Filezilla doet zeker wel sftp, gebruik het bijna dagelijks. Resumen heb ik dan weer geen ervaring mee, nooit last van verbroken verbindingen.

quote: https://wiki.filezilla-project.org/FileZilla_FTP_Server

Support for SFTP (SSH File Transfer Protocol) is not implemented in Filezilla Server.

[aawe mwan]

Fish schreef op woensdag 02 maart 2016 @ 22:46:
Support for SFTP (SSH File Transfer Protocol) is not implemented in Filezilla Server.

Grappig dat er dat staat op een pagina die een uur geleden voor het laatst ge-edit is, want in FileZilla Client kan ik gewoon het SFTP protocol kiezen en ik heb dat wel eens gebruikt om te verbinden met mijn SSH server.

[shure-fan]

Over het algemeen heb je bij het afsluiten van een 4g abo ook een datalimiet,

Denk dat een laptop bij iemand aan een goede verbinding een optie zou kunnen zijn, of anders een usb-hdd opsturen

[CyBeR]

Fish schreef op woensdag 02 maart 2016 @ 22:46:
[...]


[...]


[...]

Hoe interessant is Filezilla Server in deze situatie, precies?

[Fish]

CyBeR schreef op woensdag 02 maart 2016 @ 23:20:
[...]
Hoe interessant is Filezilla Server in deze situatie, precies?

nou .. ftp vereist 2 kanten, een server en een client

Net zo relevant als de client dus

aawe mwan schreef op woensdag 02 maart 2016 @ 23:09:
[...]
Grappig dat er dat staat op een pagina die een uur geleden voor het laatst ge-edit is, want in FileZilla Client kan ik gewoon het SFTP protocol kiezen en ik heb dat wel eens gebruikt om te verbinden met mijn SSH server.

Ja nou, ik zal hem niet stiekem meer editen om jullie te naaien

[ Voor 77% gewijzigd door Fish op 03-03-2016 00:17 ]

[Gadgeteer]

Eric_1993 schreef op woensdag 02 maart 2016 @ 22:01:
Mijn vraag
Kan je een groot bestand (350GB) uploaden over 4G?

Relevante software en hardware die ik gebruik
Ik ben niet van plan om het zelf uit te voeren. Maar ik ben heel nieuwsgierig of het zou kunnen werken om een groot bestand van 350 GB te uploaden over 4G.

Wat ik al gevonden of geprobeerd heb
- Gezocht op Tweakers.net
- Gezocht op google.nl

Eric_1993 schreef op woensdag 02 maart 2016 @ 22:05:
[...]

Ik wil FileZilla gebruiken over SFTP. Maar zelfs nu als ik upload en de verbinding wordt verbroken is het bestand gelijk mislukt. Hoe kan ik in FileZilla resume instellen?

Eric_1993 schreef op woensdag 02 maart 2016 @ 22:12:
[...]


Ik heb wel informatie kunnen vinden over hoe een 4g netwerk werkt, en dat je grote bestanden sneller kan uploaden over 4G. Maar mijn bestand van 350GB duurt nog wel ff, dus wilde gewoon weten of dat wel lukt.

Wat is het nu? Ben je wel of niet van plan om het te doen?
Ik ben wel benieuwd waarom je het zou willen. Voor 350GB zijn vast andere oplossingen te bedenken.

[Puc van S.]

Fish schreef op woensdag 02 maart 2016 @ 23:25:
[...]

nou .. ftp vereist 2 kanten, een server en een client

Net zo relevant als de client dus

Ja, maar iemand die de filezilla client gebruikt, is uiteraard niet gelimiteerd om te uploaden naar andere servers dan alleen maar ftp servers waar de filezilla server op draait

[Equator]

Even los van de discussie over het al dan niet ondersteunen van een protocol door de client, de vraag is of het mogelijk is om dit te doen.

4G levert je een dataverbinding met een bepaalde bandbreedte. Ik heb niet de max upload van 4G in mijn hoofd zitten, dus ik kan je niet aangeven hoe lang dit zou kunnen duren. Ik weet wel dat je provider het niet leuk gaat vinden vanwege het dataverbruik. Of anders gezegd, jij zal waarschijnlijk een stevige rekening krijgen, dus je provider vindt het allemaal prima

Verder is alle draadloze techniek onderhevig aan storingen, tijdelijk wegvallende verbindingen, hogere latency, of verlaging van bandbreedte. Het transporteren van grotere bestanden op die manier gaat daar last van ondervinden.

Onder het motto "Never underestimate de bandwidth of a truck full of tapes" zou ik het bestand op een externe disk zetten en naar de locatie rijden. Waarschijnlijk is dat sneller

[Deveon]

Is een harddisk via een koerier niet veel goedkoper en misschien zelfs sneller?

[Remy!!!!]

En anders een kwestie van het bestand zippen in meerdere zipjes? Mocht er dan een bestand zipje fout gaan dan kan je het makkelijk hervatten.

[Trommelrem]

Eric_1993 schreef op woensdag 02 maart 2016 @ 22:01:
Mijn vraag
Kan je een groot bestand (350GB) uploaden over 4G?

Ja, dat kan. Ik heb een aantal keer een file van 50-100 GB geupload over 4G, waarvan zelfs een aantal batches achter elkaar van meerdere files van 50-100 GB per stuk, maar ik denk dat een single bestand van 380 GB niet zo'n probleem gaat zijn.

Sterker nog, aangezien de upload van 4G hoger is dan ADSL/VDSL, denk ik dat je grote bestanden juist over 4G moet versturen. Vereiste is wel dat je niet te dicht bij of niet te ver weg van de mast zit om de upload een beetje hoog te houden.

Ik zie toevallig op de pagina van mijn provider dat de snelheid 120/50 is. De 50 upload haal ik vaak wel, maar boven de 50 download kom ik niet. Waarschijnlijk omdat mijn terminal geen externe antenne heeft.

[ Voor 24% gewijzigd door Trommelrem op 03-03-2016 09:42 ]

[SomerenV]

Even los van de vraag of het mogelijk is: waarom wil je in godsnaam 350GB uploaden via 4G? Het lijkt me sterk dat je niet ergens op wifi kan, of een kabel in kan prikken. Ik heb T-Mobile 4G (momenteel 100Mbps down en 10 up) dus laten we er even een rekensommetje op loslaten:

1MB per seconde upload. Per minuut is dat 60MB. 350GB is grofweg 360.000MB. Deel dat door 60 en je krijgt 60.000 en dat is het aantal minuten dat je bezig zult zijn om alles te uploaden. Dat komt neer op 100 uur, oftewel iets meer dan 4 volle dagen. En dat als je constant aan het uploaden bent.

[jeroen3]

Providers hebben meestal iets in de FUP staan over langdurige sessies.

Beter splits je het op in ongecomprimeerde zip files, en verstuur je die. Dat is veel eenvoudiger te pauzeren/controleren. Eventueel met wat multipar. Net als de binaries op usenet.

Ik neem aan dat de inhoud van de 350GB al gecomprimeerd is? Anders kun je snelle compressie inschakelen bij het 7zippen. Het in/uit-pakken duurt wel eventjes als je het comprimeerd doet.

[agoNITE]

Eric_1993 schreef op woensdag 02 maart 2016 @ 22:01:
Ik ben niet van plan om het zelf uit te voeren.

Eric_1993 schreef op woensdag 02 maart 2016 @ 22:12:
Maar mijn bestand van 350GB duurt nog wel ff, dus wilde gewoon weten of dat wel lukt.

Huh

[Crim]

Als je een provider kan vinden die dit toe laat kan het vast wel via rsync, eventueel met de --partial optie om afgebroken transfers weer te resumen.

[Eric_1993]

Equator schreef op donderdag 03 maart 2016 @ 09:28:
Even los van de discussie over het al dan niet ondersteunen van een protocol door de client, de vraag is of het mogelijk is om dit te doen.

4G levert je een dataverbinding met een bepaalde bandbreedte. Ik heb niet de max upload van 4G in mijn hoofd zitten, dus ik kan je niet aangeven hoe lang dit zou kunnen duren. Ik weet wel dat je provider het niet leuk gaat vinden vanwege het dataverbruik. Of anders gezegd, jij zal waarschijnlijk een stevige rekening krijgen, dus je provider vindt het allemaal prima

Verder is alle draadloze techniek onderhevig aan storingen, tijdelijk wegvallende verbindingen, hogere latency, of verlaging van bandbreedte. Het transporteren van grotere bestanden op die manier gaat daar last van ondervinden.

Onder het motto "Never underestimate de bandwidth of a truck full of tapes" zou ik het bestand op een externe disk zetten en naar de locatie rijden. Waarschijnlijk is dat sneller

Wat jij zegt komt is toch alleen geldig voor de download dacht ik? Er zijn namelijk niet echt een maximum aan het aantal GB wat je mag uploaden denk ik

Wat is het nu? Ben je wel of niet van plan om het te doen?
Ik ben wel benieuwd waarom je het zou willen. Voor 350GB zijn vast andere oplossingen te bedenken.

Ik ben het niet van plan om het te doen, omdat draadloze verbindingen doorgaans erg onstabiel zijn. Ik ben gewoon benieuwd of het zou kunnen werken

[Goudstalen]

Lijkt me sterk dat het alleen voor download een limiet is. Het heet ook een datalimiet, niet download limiet.

Kan het werken? Vast wel, hoewel de stabiliteit van het netwerk mogelijk niet goed genoeg is. Zoveel gigabyte duurt lang om te uploaden, en dus veel kans dat tussendoor je verbinding even wegvalt en je hele progressie dus kwijt is.

Daarnaast is het inderdaad niet praktisch (volgens mij is een HDD opsturen sneller) en is er geen provider die zoiets toestaat. Zelfs met een onbeperkt abonnement zijn er regels tegen buitenproportioneel gebruik, dus daar gaat het ook niet mee.

[u_nix_we_all]

Volgens mij kent sftp geen resume (omdat dit op basis van ssh is), maar ftps zou het wel moeten kunnen.

[sdk1985]

Eric_1993 schreef op woensdag 02 maart 2016 @ 22:22:
[...]


Klopt FileZilla doet zeker SFTP. Ik gebruik het ook. Maar dat resume is mij ook niet bekend helaas. Heb zelf ook bijna nooit last van verbroken verbindingen maar is wel behoorlijk k*t als het bestand bijna klaar is en opeens de verbinding verbroken wordt

Als SFTP een optie is dan is FTP het ook. Ik zou even overschakelen naar FTP. Dat kost minder cpu en gaat vaak sneller.

Los daarvan krijg ik in filezilla, bij FTP, gewoon de optie "resume" (samen met overwrite, etc) zodra een deel van het bestand al ergens staat. Dus dat zal je in ieder geval niet tegenhouden.

[ Voor 4% gewijzigd door sdk1985 op 03-03-2016 15:35 ]

[Eric_1993]

sdk1985 schreef op donderdag 03 maart 2016 @ 15:33:
[...]

Als SFTP een optie is dan is FTP het ook. Ik zou even overschakelen naar FTP. Dat kost minder cpu en gaat vaak sneller.

Los daarvan krijg ik in filezilla, bij FTP, gewoon de optie "resume" (samen met overwrite, etc) zodra een deel van het bestand al ergens staat.

Ik upload het bestand van 350GB meestal via mijn vaste internet van Ziggo. Ik heb alleen problemen met de uploadsnelheid. Normaal moet het 41 uur duren met een snelheid van 2,5 MBps (20Mbit). Het probleem is dat de uploadsnelheid binnen een dag daalt naar 1,7MBps. Dus daardoor doet het 10 tot 20 uur langer voor het bestand geüpload is. En dan blijf ik die lage uploadsnelheid ook houden als ik iets wil uploaden over FileZilla of via Syncback. Zodra ik het modem (TC7210) reset, heb ik weer 20Mbit. Heeft er iemand een idee hoe dit komt? De ontvangende server is een WDMyCloud die bij mijn opa staat die thuis een downloadsnelheid heeft van 40Mbit bij Telfort.

[u_nix_we_all]

sdk1985 schreef op donderdag 03 maart 2016 @ 15:33:
[...]

Als SFTP een optie is dan is FTP het ook.

Dat is wel wat kort door de bocht hoor. Ten eerste is het een compleet ander protocol (het eerste is gebaseerd op ssh wat bijvoorbeeld standaard op de meeste Linux servers beschikbaar is, het tweede is iets wat je zult moeten installeren en configureren op de meeste servers) en verder gaat bij FTP alles (incl. inloggegevens) zonder encryptie over de lijn, en dat is ook niet altijd wenselijk

[Ebayzo]

Eric_1993 schreef op donderdag 03 maart 2016 @ 15:39:
[...]


Ik upload het bestand van 350GB meestal via mijn vaste internet van Ziggo. Ik heb alleen problemen met de uploadsnelheid. Normaal moet het 41 uur duren met een snelheid van 2,5 MBps (20Mbit). Het probleem is dat de uploadsnelheid binnen een dag daalt naar 1,7MBps. Dus daardoor doet het 10 tot 20 uur langer voor het bestand geüpload is. En dan blijf ik die lage uploadsnelheid ook houden als ik iets wil uploaden over FileZilla of via Syncback. Zodra ik het modem (TC7210) reset, heb ik weer 20Mbit. Heeft er iemand een idee hoe dit komt? De ontvangende server is een WDMyCloud die bij mijn opa staat die thuis een downloadsnelheid heeft van 40Mbit bij Telfort.

Ik begin te vermoeden dat het over backups gaat? Kan je niet beter met incrementals gaan werken dan constant die 350GB overpompen ?

[sdk1985]

Eric_1993 schreef op donderdag 03 maart 2016 @ 15:39:
[...]


Ik upload het bestand van 350GB meestal via mijn vaste internet van Ziggo. Ik heb alleen problemen met de uploadsnelheid. Normaal moet het 41 uur duren met een snelheid van 2,5 MBps (20Mbit). Het probleem is dat de uploadsnelheid binnen een dag daalt naar 1,7MBps. Dus daardoor doet het 10 tot 20 uur langer voor het bestand geüpload is. En dan blijf ik die lage uploadsnelheid ook houden als ik iets wil uploaden over FileZilla of via Syncback. Zodra ik het modem (TC7210) reset, heb ik weer 20Mbit. Heeft er iemand een idee hoe dit komt? De ontvangende server is een WDMyCloud die bij mijn opa staat die thuis een downloadsnelheid heeft van 40Mbit bij Telfort.

Zoals gezegd, gebruik geen SFTP om veel of grote bestanden te uploaden. Ik heb daar slechte ervaringen mee. Via FTP gaat het vele malen efficienter, en heb je dus resume. Bij SFTP ben je ook afhankelijk van de doelkant. Ik heb een atomservertje die niet eens 4 MB/s kan uploaden via SFTP, maar via FTP de 100 Mbit wel haalt.

Kan prima zijn dat je snelheid niet daalt via FTP.

u_nix_we_all schreef op donderdag 03 maart 2016 @ 15:42:
[...]


Dat is wel wat kort door de bocht hoor. Ten eerste is het een compleet ander protocol (het eerste is gebaseerd op ssh wat bijvoorbeeld standaard op de meeste Linux servers beschikbaar is, het tweede is iets wat je zult moeten installeren en configureren op de meeste servers) en verder gaat bij FTP alles (incl. inloggegevens) zonder encryptie over de lijn, en dat is ook niet altijd wenselijk

Via 4G en de thuisverbinding zou dat geen bezwaar mogen opleveren. Via een publieke hotspot is natuurlijk een ander verhaal.

Verder is de gedachte inderdaad SFTP>Linux>FTP servertje staat er in een paar minuten op.

[ Voor 26% gewijzigd door sdk1985 op 03-03-2016 15:47 ]

[Eric_1993]

Ebayzo schreef op donderdag 03 maart 2016 @ 15:43:
[...]
Ik begin te vermoeden dat het over backups gaat? Kan je niet beter met incrementals gaan werken dan constant die 350GB overpompen ?

Het is maar 1 bestand wat 350GB is. Dat bestand is namelijk een Veracrypt bestandscontainer. En van die container kun je geen incrementals maken omdat een back-up programma het ziet als gewoon een bestand. Dus ik moet heel die grote bestand uploaden

[Eric_1993]

sdk1985 schreef op donderdag 03 maart 2016 @ 15:45:
[...]

Zoals gezegd, gebruik geen SFTP om veel of grote bestanden te uploaden. Ik heb daar slechte ervaringen mee. Via FTP gaat het vele malen efficienter, en heb je dus resume. Bij SFTP ben je ook afhankelijk van de doelkant. Ik heb een atomservertje die niet eens 4 MB/s kan uploaden via SFTP, maar via FTP de 100 Mbit wel haalt.

Kan prima zijn dat je snelheid niet daalt via FTP.

Klopt, dat denk ik dus ook. Maar waarom heb ik dan weer 20 Mbit als ik het modem reset?

[sdk1985]

Eric_1993 schreef op donderdag 03 maart 2016 @ 15:47:
[...]


Klopt, dat denk ik dus ook. Maar waarom heb ik dan weer 20 Mbit als ik het modem reset?

Omdat het systeem dan 2 minuten kan bijkomen (random idee)? Heb je al eens geprobeerd om te pauzeren in plaats van te resetten? Dan kun je het uitsluiten of bevestigen .

edit:
Nu je met de ,voor mij nieuwe, informatie komt over Ziggo+modemreset+snelheid moet ik denken aan mijn Ziggo Cisco router. Dat ding werd bij langdurige belasting altijd te warm en dan ging de snelheid eruit (lees 300GB downloaden). Ik heb dat destijds opgelost door hem op een metalen rekje van +- 10cm hoog te zetten. Er zijn ook tweakers die via de USB poort een 12 CM fan erop hebben geplakt .

[ Voor 35% gewijzigd door sdk1985 op 03-03-2016 15:54 ]

[CodeCaster]

Eric_1993 schreef op donderdag 03 maart 2016 @ 15:46:
[...]


Dat bestand is namelijk een Veracrypt bestandscontainer.

Het lijkt dat we eindelijk aan de bron van dit XY-probleem zijn aangekomen.

Kun je niet van de bestanden in de container een incrementele backup maken, en deze backup weer op een goede manier laten versleutelen? Gaat een hoop data schelen.

[ Voor 5% gewijzigd door CodeCaster op 03-03-2016 15:50 ]

[Eric_1993]

sdk1985 schreef op donderdag 03 maart 2016 @ 15:49:
[...]

Omdat het systeem dan 2 minuten kan bijkomen (random idee)? Heb je al eens geprobeerd om te pauzeren in plaats van te resetten? Dan kun je het uitsluiten of bevestigen .

Nee, snelheid blijft hetzelfde. Zodra het uploaden klaar is, moet ik soms ook iets anders uploaden een dag later, en dan blijft de snelheid steken op 1,5 MBps als ik het modem dus niet heb gereset.

Het lijkt dat we eindelijk aan de bron van dit XY-probleem zijn aangekomen.

Kun je niet van de geopende container een incremental backup maken, en deze backup weer op een goede manier laten versleutelen? Gaat een hoop data schelen.

Maar dan moet ik 2 bestandscontainers maken, 1 de orginele en de andere waar de incrementele backups komen. Wordt dat dan geen puinhoop, omdat je na verloop van tijd niet weer weet onder welke jaar een factuur hoort bijvoorbeeld?

[CodeCaster]

Eric_1993 schreef op donderdag 03 maart 2016 @ 15:58:
Maar dan moet ik 2 bestandscontainers maken

Dat móet niet.

Je gaat van "ik heb een encryption container met bestanden die ik wil backuppen" naar "dus ik moet bij iedere backup 350GB uploaden, hoe doe ik dat?", waarbij je dus een paar tussenstappen en mogelijke alternatieven overslaat.

Je kunt proberen dat laatste probleem op te lossen, maar daarbij zullen een hoop meer problemen ontstaan. Je kunt ook een paar stappen terug nemen, en proberen je backup op een andere manier op te lossen, terwijl het geheel gewoon onleesbaar blijft voor anderen.

[ Voor 6% gewijzigd door CodeCaster op 03-03-2016 16:09 ]

[sdk1985]

Los van dat ik voorstander ben van het echte probleem oplossen ben je er wat mij betreft wat te vroeg bij met je XY probleem. Backups van 350GB zijn anno 2016 helemaal niet zo heel gek. Mijn eigen PC heeft een capaciteit van 5+ TB. Alleen de OS drive is al meteen al 200GB. De eerste keer dat je een backup maakt (je full backup) zul je toch echt moeten uploaden. Eeuwig met incrementals werken is ook geen optie. Na een paar incrementals is het tijd voor een nieuwe chain. Dus het is tevens een terugkerend probleem.

Dat het niet handig is dagelijks een fullbackup van 350GB te gaan uploaden is zeker waar, maar probleem Y blijft bestaan. Voor de inrichting van de backup zelf kan wat mij betreft beter een nieuw topic worden gestart.

[CodeCaster]

sdk1985 schreef op donderdag 03 maart 2016 @ 17:01:
ben je er wat mij betreft wat te vroeg bij met je XY probleem

Het duurde slechts veertig reacties voordat TS zei wat 'ie nu eigenlijk echt probeert te doen. Tot dat punt was het enige mogelijke antwoord "Probeer het, en kijk wat er gebeurt".

[ Voor 14% gewijzigd door CodeCaster op 03-03-2016 17:04 ]

[sdk1985]

CodeCaster schreef op donderdag 03 maart 2016 @ 17:03:
[...]

Het duurde slechts veertig reacties voordat TS zei wat 'ie nu eigenlijk echt probeert te doen. Tot dat punt was het enige mogelijke antwoord "Probeer het, en kijk wat er gebeurt".

Daar ben ik het niet mee eens. Ook al gaat de TS zijn hele werkwijze veranderen (lees incrementals) dan blijft de 350 GB regelmatig terugkeren.

Overschakelen naar FTP blijft nog steeds de meest voor de hand liggende optie (snelheid, resume optie, private verbinding dus SSL/TLS niet nodig). Als dat stabiel werkt dan kun je eens gaan kijken of incrementals een optie zijn of dat er wellicht een veel betere oplossing is (hint: de standaard Windows mappen staan bij mij in Dropbox).

Verder zijn er inderdaad veel reacties nodig omdat veel relevantie informatie ontbrak in de topicstart.

[Eric_1993]

sdk1985 schreef op donderdag 03 maart 2016 @ 17:01:
Los van dat ik voorstander ben van het echte probleem oplossen ben je er wat mij betreft wat te vroeg bij met je XY probleem. Backups van 350GB zijn anno 2016 helemaal niet zo heel gek. Mijn eigen PC heeft een capaciteit van 5+ TB. Alleen de OS drive is al meteen al 200GB. De eerste keer dat je een backup maakt (je full backup) zul je toch echt moeten uploaden. Eeuwig met incrementals werken is ook geen optie. Na een paar incrementals is het tijd voor een nieuwe chain. Dus het is tevens een terugkerend probleem.

Dat het niet handig is dagelijks een fullbackup van 350GB te gaan uploaden is zeker waar, maar probleem Y blijft bestaan. Voor de inrichting van de backup zelf kan wat mij betreft beter een nieuw topic worden gestart.

Ik maak dan ook geen full backups elke dag die ik dan upload. Ik upload het Veracrypt bestandscontainer minimaal 1x per maand, ligt er net aan hoeveel bestanden er bij zijn gekomen of zijn gewijzigd. Maar ik ga het de volgende keer problemen om over FTP te uploaden. Dus dit wordt zeker nog vervolgd

[sdk1985]

Ik heb zelf overigens slechte ervaringen met incrementals. Fullbackups kun je makkelijker en sneller restoren. Zeker als de software niet meer werkt. Zo heb ik nog een externe WD schijf staan die incrementals maakte van mijn documenten. Toen het noodlot toesloeg bleek dat die weigerde te recoveren als de partities niet identiek waren. Met alle gevolgen van dien. Incrementals handmatig extracten was echt een drama. Ook wat recenter met Acronis heb ik weleens fouten gekregen tijdens het "berekenen" van de Chains waardoor ik de laatste backup onverwachts niet kon terugzetten. Uit een fullbackup kun je individuele bestanden terughalen, uit de incrementals wil dat meestal niet.

Een leuk alternatief is een cloudoplossing. Binnen Windows kun je dan denken aan Dropbox (1 TB voor 9,99) of self-hosted alternatieven als OwnCloud. Voordeel van Dropbox is dat je via de website ook nog +- 30 dagen version history hebt. Van het OS zelf maak ik een lokale (NAS) Acronis (full) backup.

Op Linux kun je een r-sync gebruiken. Ik ben van plan dat te gebruiken voor de 8 TB schijf in mijn NAS. Daar komen elke paar dagen een paar bestanden van 3 GB bij maar 99% van de content veranderd nooit. Ik ga naar iemand anders zijn NAS met dezelfde schijf r-syncen. Heb je meteen mooie offsite backup:P.

[ Voor 3% gewijzigd door sdk1985 op 03-03-2016 17:24 ]

[Crahsystor]

Misschien is iets in de hoek van bittorrent sync ook een oplosssing. Bij torrents is het vaak 1 groot bestand dat opgesplitst moet worden en waarbij regelmatig onderbrekingen plaatsvinden. Met bestaande oplossingen moet dat dus vrij eenvoudig gaan.
Veiligheid hangt natuurlijk af van de oplossing die je dan kiest. Zet je zelf iets op dat direct met elkaar communiceert of laat je het via een server lopen en vertrouw je er op dat je data niet belangrijk genoeg is om te kraken en de encryptie voldoende is om geen gelegenheidsdoelwit te worden als het echt mis gaat op die server.

[Eric_1993]

Crahsystor schreef op donderdag 03 maart 2016 @ 17:24:
Misschien is iets in de hoek van bittorrent sync ook een oplosssing. Bij torrents is het vaak 1 groot bestand dat opgesplitst moet worden en waarbij regelmatig onderbrekingen plaatsvinden. Met bestaande oplossingen moet dat dus vrij eenvoudig gaan.
Veiligheid hangt natuurlijk af van de oplossing die je dan kiest. Zet je zelf iets op dat direct met elkaar communiceert of laat je het via een server lopen en vertrouw je er op dat je data niet belangrijk genoeg is om te kraken en de encryptie voldoende is om geen gelegenheidsdoelwit te worden als het echt mis gaat op die server.

Ik gebruik Veracrypt om al mijn administratie dus versleuteld te bewaren in die map. Ik gebruik daarbij AES - Twofish - Serpent met Whirlpool van SHA-512

[Ravefiend]

Eric_1993 schreef op donderdag 03 maart 2016 @ 17:47:
[...]
Ik gebruik Veracrypt om al mijn administratie dus versleuteld te bewaren in die map. Ik gebruik daarbij .....
[...]

Regel #X: vertel nooit precies welke encryptie je allemaal gebruikt. Dat maakt het alleen maar makelijker voor de NSA en co.

[ Voor 7% gewijzigd door Ravefiend op 03-03-2016 18:07 ]

[CyBeR]

En is dat je schaduwboekhouding of waarom heb je dat in een encrypted container zitten?

[SPee]

Wat ze "vroeger" deden, was om het grote bestand te rar-ren en deze in kleinere bestanden van enkele MB's op te splitsen. Je kreeg dan wel ontiegelijk veel bestanden, maar het was iig geen 1 bestand en bij fouten hoefde je dit niet te herhalen. Dit kan nu met meerdere compressiebestanden.
Moet je wel de HD capaciteit hebben om die bestanden ernaast te kunnen zetten.

Maar 350GB over het mobiele netwerk?
-12GB/mnd is bij T-mobile de max en daarna kost het €12,50 per 2GB = €4225 extra
-8GB/mnd is bij Vodafone de max en daarna kost het €0,10 per MB = ~ €3420 extra
-20GB/mnd is bij KPN de max en daarna kost het €7,50 per 1GB = €2475 extra
(tenzij je met minimale snelheid wil uploaden, maar dan gaat het met ~32Kbps = 2GB/dag = duur van 5 maanden!)


Ik denk dat het via een externe HDD overzetten een stuk goedkoper en sneller gaat.

[Verwijderd]

Gebruik in iedergeval rsync ipv een simpele filecopy als het netwerk de bottleneck is. En ik denk dat een harddisk met de post sneller is

[Fish]

Puc van S. schreef op donderdag 03 maart 2016 @ 07:51:
[...]


Ja, maar iemand die de filezilla client gebruikt, is uiteraard niet gelimiteerd om te uploaden naar andere servers dan alleen maar ftp servers waar de filezilla server op draait

Heb ik dat gezegt ?

nee, ik heb het over filezilla in het algemeen gehad. en niets anders. Dat de meeste mensen aannemen dat het de client is met [insert random ftp server] kan ik niets aan doen.


Heen een weer rijden is wss goedkoper

[ Voor 4% gewijzigd door Fish op 03-03-2016 19:34 ]

[Barrycade]

En spreek je je opa ook nog eens

[MAX3400]

CyBeR schreef op donderdag 03 maart 2016 @ 18:05:
En is dat je schaduwboekhouding of waarom heb je dat in een encrypted container zitten?

Afgezien van wat er in zit; is het niet efficienter (in tijd en mogelijk qua kosten of ergernis) om te bekijken of boekhoudingen gesplitst kunnen worden per maand / kwartaal / jaar. Hierdoor is het verzenden en ophalen van de boekhouding veel sneller/simpeler alleen moet je goed in de gaten houden welke encrypted containers waar ook alweer voor dienen etc.

Tenzij je Shell heet of Microsoft, geloof ik niet dat je meer dan 20GB / jaar aan boekhouding genereert. Ja, als je elk bonnetje op 4800dpi 32-bit kleur scant naar BMP. Je zal maar Deloitte heten en elk jaar van Eric_1993 350GB aan boekhouding krijgen voor de jaarrekening...

[Fish]

Ik zou het faxen over 4g

[donny007]

Wat is de bestemming van die upload eigenlijk; praten we over een eigen server, cloud provider of NAS op locatie?

Vergeet 4G alvast... Ook upload telt mee met het dataverbruik, dat wordt astronomisch duur.

Optie 1: Versleutel de bestanden individueel (ipv die grote container): dan zijn incrementele back-ups wel mogelijk. De eerste back-up zal lang duren, maar daarna gaat het vlot.

Optie 2: Splits de container op in 5GB chunks, en upload die over de vaste verbinding. als er wat mis gaat hoef je alleen dat stukje opnieuw te uploaden. Verifieer de upload middels checksums.

Optie 3: Back-up maandelijks naar een extern medium, bewaar dat medium op een externe locatie (bijv. op je werk of bij kennissen).

[Damic]

Fish schreef op donderdag 03 maart 2016 @ 20:28:
Ik zou het faxen over 4g

Telex baby

Ik zou, zoals al verschillende mensen hebben gezegd, de container zippen/rarren en in stukken kappen van een gig en zo uploaden.

[Fish]

Damic schreef op donderdag 03 maart 2016 @ 20:39:
[...]
Telex baby

Ik zou, zoals al verschillende mensen hebben gezegd, de container zippen/rarren en in stukken kappen van een gig en zo uploaden.

(helaas vrees ik dat telex efficienter is dan fax )
Morse !!!

Als je gaat rarren, kun je beter gelijk ook parren

[ Voor 7% gewijzigd door Fish op 03-03-2016 20:41 ]

[Gomez12]

Ik zou ook gewoon meerdere containers aanmaken, bijv per jaar. Hoeveel mutaties heb je nu daadwerkelijk nog in 2012?

[Eric_1993]

donny007 schreef op donderdag 03 maart 2016 @ 20:37:
Wat is de bestemming van die upload eigenlijk; praten we over een eigen server, cloud provider of NAS op locatie?

Vergeet 4G alvast... Ook upload telt mee met het dataverbruik, dat wordt astronomisch duur.

Optie 1: Versleutel de bestanden individueel (ipv die grote container): dan zijn incrementele back-ups wel mogelijk. De eerste back-up zal lang duren, maar daarna gaat het vlot.

Optie 2: Splits de container op in 5GB chunks, en upload die over de vaste verbinding. als er wat mis gaat hoef je alleen dat stukje opnieuw te uploaden. Verifieer de upload middels checksums.

Optie 3: Back-up maandelijks naar een extern medium, bewaar dat medium op een externe locatie (bijv. op je werk of bij kennissen).

De server aan de overkomt is een WDmyCloud van 2TB. Het is dus van mijzelf, en staat bij m'n opa.

[shure-fan]

Eric_1993 schreef op donderdag 03 maart 2016 @ 15:39:
[...]


Ik upload het bestand van 350GB meestal via mijn vaste internet van Ziggo. Ik heb alleen problemen met de uploadsnelheid. Normaal moet het 41 uur duren met een snelheid van 2,5 MBps (20Mbit). Het probleem is dat de uploadsnelheid binnen een dag daalt naar 1,7MBps. Dus daardoor doet het 10 tot 20 uur langer voor het bestand geüpload is. En dan blijf ik die lage uploadsnelheid ook houden als ik iets wil uploaden over FileZilla of via Syncback. Zodra ik het modem (TC7210) reset, heb ik weer 20Mbit. Heeft er iemand een idee hoe dit komt? De ontvangende server is een WDMyCloud die bij mijn opa staat die thuis een downloadsnelheid heeft van 40Mbit bij Telfort.

Oke, dus aan beide kanten een vaste aansluiting (en niks met 4g),

Dan bij je opa een servertje neerzetten achter een router die je op afstand kunt beheren (die router plaats je in dmz)
Die server kun je dan tenminste benaderen, en de bestanden laat je via r-sync syncen, aan jou kant laat je het ziggo modem bridgen en plaats je eenzelfde router als bij je opa (mikrotik of iets dergelijks) teven plaats je een servertje aan jou kant waar je de te verzenden bestanden op zet,

Zo kun jij je gewoon bezighouden met andere dingen terwijl je de beide servers in de nachtelijke uren hun sync proces laat doen

[SBTweaker]

gambieter schreef op woensdag 02 maart 2016 @ 22:09:
[...]

En wat heb je gevonden? Dit is wel erg gemakzuchtig om te claimen.

En waarom zou het niet kunnen als er een provider is die het toelaat, en een abo heeft ervoor?

Even gemakzuchtig als je antwoord.