[filetransfer] 600GB kopieren van machine A naar B

[cappie]

Ik heb hier een setup staan met 2 machines.. een E8400 @ 3.61 en een i7 920 @ 3.33 en 2 hele flinke RAID sets.. 3COM 1Gbit switch, 1Gbit NIC op een Asus P5Q Pro en een 1Gbit NIC op een Asus P6T...

Ik wil de E8400 een reformat geven en de RAID set opnieuw indelen, maar daarvoor moet ik zo'n 600GB kopieren naar de nieuwe machine. Via SMB gebruik ik maar 25mb/ps (20-25%) van m'n Gigabit netwerk, via filezilla ftp haal ik zo nu en dan 100mb/ps, maar dit zakt ook regelmatig weer in naar 25mb/ps

Zijn er speciale tooltjes waarmee je een gebufferde (en gecomprimeerde) datastream kunt overgooien tussen 2 machines? Ik moet echt iets hebben wat sneller werkt, want dit is echt ruk.. zelfs op Campzone haalde ik ruim 80-100mb per seconde (constant) over 't gigabit netwerk daar...

Alvast bedankt voor 't reageren.

[ Voor 24% gewijzigd door cappie op 09-04-2009 16:07 ]

[robkds]

Virusscanner uitschakelen?

[cappie]

robkds schreef op donderdag 09 april 2009 @ 16:08:
Virusscanner uitschakelen?

Ik draai geen virusscanner op deze machines, de sustained throughput speeds op beide machines ligt >200mb per seconde... dus in theorie zou ik nog een 2Gbit pijp kunnen vullen met data.

Alle overbodige processen staan uit.. de E8400 draait WinXP en de i7 draait Windows 7.

[chromeeh]

* Virusscanners uit
* Kleine files zijn veeeeeeel trager als grote files
* Meerdere sessies via bijv. aanzetten (bij veel kleine files)

Aanzetten en een nachtje doorlaten lopen op bijv. een brakke zondag ochtend is geen optie?

Heb je die 'firewall' in Windows 7 uitgezet?

[ Voor 9% gewijzigd door chromeeh op 09-04-2009 16:17 ]

[Graviton12]

Eerste beste wat ik vond is van ubuntu maar komt eigenlijk overeen met jouw topic lijkt me.
Kerel geeft ook aan dat smb trager is dan ftp + dat je nooit de volle snelheden haalt door andere beperkingen.
Zou vrij normaal zijn.

http://ubuntuforums.org/archive/index.php/t-650488.html

[ Voor 11% gewijzigd door Graviton12 op 09-04-2009 16:15 ]

[cappie]

chromeeh schreef op donderdag 09 april 2009 @ 16:13:
* Virusscanners uit
* Kleine files zijn veeeeeeel trager als grote files
* Meerdere sessies via bijv. aanzetten (bij veel kleine files)

Aanzetten en een nachtje doorlaten lopen op bijv. een brakke zondag ochtend is geen optie?

Ik wil het vandaag gedaan hebben... ik zoek dan ook een tool die aan beide kanten de boel kunnen compressen en een compressed datastream met een buffer van desnoods 512 a 1024mb aan RAM kost... boeit me niks.. ik wil transfer speed!!

[SinergyX]

Zelfde probleem hier, zeker met kleinere (en veel) bestanden duikt het naar de 20-30MB/sec.

Via FTP laat ik nu een downloadmanager 4-8 verbindingen starten, dan blijft hij redelijk stabiel op de 50-60MB/sec.

Anders hele 600GB even zippen, dan oversturen?

[Graviton12]

Misschien kan je beter zoeken naar (ftp) tools die meerdere verbindingen gebruiken zodat je eigenlijk altijd maximum van lijn in gebruik hebt.

[Graviton12]

SinergyX schreef op donderdag 09 april 2009 @ 16:20:
Zelfde probleem hier, zeker met kleinere (en veel) bestanden duikt het naar de 20-30MB/sec.

Via FTP laat ik nu een downloadmanager 4-8 verbindingen starten, dan blijft hij redelijk stabiel op de 50-60MB/sec.

Anders hele 600GB even zippen, dan oversturen?

Lol what he says is hetzelfde.
Das juist, DAP heeft ook ftp functie bv

[cappie]

Graviton12 schreef op donderdag 09 april 2009 @ 16:15:
Eerste beste wat ik vond is van ubuntu maar komt eigenlijk overeen met jouw topic lijkt me.
Kerel geeft ook aan dat smb trager is dan ftp + dat je nooit de volle snelheden haalt door andere beperkingen.
Zou vrij normaal zijn.

http://ubuntuforums.org/archive/index.php/t-650488.html

FTP gebruik ik nu, filezilla client -> filezilla server.. Jumbo frames staan al aan.. alle optimalisatie die ik me kan bedenken staat al aan.. snelheid zakt iedere keer weer in naar 20-30mb per seconde.. te triest voor woorden...

[Deveon]

is de schijven fysiek overplaatsen geen optie? (geen raid expert)
of misschien een externe disk?

[The Eagle]

Je kunt ook eens proberen of het wat sneller wil met een corsslink tussen beide machines.
SMB is sowieso een stuk trager als FTP, da's algemeen bekend
Je hebt geen mogelijkheid even ergens anders een HDD te lenen
Overigens wil je de transfer middels FTP starten vanaf de Vista machine en XP de FTP-server laten zijn. NIET de FTP starten als upload vanuit de XP-machine.

[cappie]

Graviton12 schreef op donderdag 09 april 2009 @ 16:21:
Misschien kan je beter zoeken naar (ftp) tools die meerdere verbindingen gebruiken zodat je eigenlijk altijd maximum van lijn in gebruik hebt.

Als ik filezilla open zet met 8 file streams, dan blijft de snelheid laag... dat terwijl ik alle vormen van caching heb aanstaan (qua disk) en met HDtach beHOORlijke snelheden haal.. (E8400 heeft 3x750 en de i7 heeft 3x1TB).

Snelheid van de E8400 = ~220mb per seconde
Snelheid van de i7 = ~350mb per seconde

[ Voor 8% gewijzigd door cappie op 09-04-2009 16:29 ]

[raymonvdm]

Afhankelijk van je OS. Zou je kunnen kijken naar rsync

[Flyduck]

http://download.chip.eu/nl/Fastcopy-1.91_774728.html

[Dim]

Probeer eens rsync, hier is een versie voor Windows te krijgen.

[cappie]

Flyduck schreef op donderdag 09 april 2009 @ 16:41:
http://download.chip.eu/nl/Fastcopy-1.91_774728.html

Fastcopy werkt alleen lokaal.. maar wel bedankt voor de tip.. zoiets, maar dan via netwerk en dan zou 't perfect zijn..

[cappie]

Dim schreef op donderdag 09 april 2009 @ 16:42:
Probeer eens rsync, hier is een versie voor Windows te krijgen.

Eens kijken naar rsync...

[Verwijderd]

Je kan misschien eens kijken naar ASUS AI Direct Link.
Er staat meer info in je manual normaal

[THE_FIREFOX]

Waarom gooi je de de harde schijving in de andere pc? Meestel werkt het zonder problemen wanneer de controller van dezelfde fabriekant is

[Hooglander1]

cappie schreef op donderdag 09 april 2009 @ 16:28:
[...]


Als ik filezilla open zet met 8 file streams, dan blijft de snelheid laag... dat terwijl ik alle vormen van caching heb aanstaan (qua disk) en met HDtach beHOORlijke snelheden haal.. (E8400 heeft 3x750 en de i7 heeft 3x1TB).

Snelheid van de E8400 = ~220mb per seconde
Snelheid van de i7 = ~350mb per seconde

Caching is juist goed bij kleine bestanden, dus zet dat eens snel weer aan!

[Verwijderd]

Meer snelheid ga je niet halen.
Zelfs als je een 1TB schijf in de ene machine plaatst en de data daarop zet om vervolgens het omgekeerde in de andere machine te doen haal je de snelheid niet in aangezien je dan twee keer een kopieerslag moet maken.

De enige optie is om de harde schijven fysiek te verplaatsen. Dan haal je circa 400MB/s

[GoldenBatt]

Mijn ervaringen zijn dat die onboard gigabit kaartjes de snelheid omzeep helpen. Toen ik Intel Pro gigabit kaart in mijn systeem stak ging snelheid plots ook dik omhoog (onboard iets van 40-50MB/s, met uitschieter keer naar 70 wat heel snel terug liep) (intel pro doet rustig +90mb/s)

[peak]

Ik zie nergens dat je hebt gekeken naar de netwerk adapter.
Ik zie nergens dat je hebt geprobeerd om de MTU op beide machines te verhogen. ( Jumboframes )

Dit bevordert de doorvoer snelheid van wat grotere bestanden. Niet echt fijn voor bestanden < 1MB

[Verwijderd]

Hooglander1 schreef op donderdag 09 april 2009 @ 19:41:
[...]


Caching is juist goed bij kleine bestanden, dus zet dat eens snel weer aan!

Dat zegt ie toch ook

[swtimmer]

Heb je niet gewoon teveel lijnen nu openstaan, dat je harddisk constant moet zoeken naar het volgende schrijfstuk?

[peak]

cappie schreef op donderdag 09 april 2009 @ 16:28:
[...]


Als ik filezilla open zet met 8 file streams, dan blijft de snelheid laag... dat terwijl ik alle vormen van caching heb aanstaan (qua disk) en met HDtach beHOORlijke snelheden haal.. (E8400 heeft 3x750 en de i7 heeft 3x1TB).

Snelheid van de E8400 = ~220mb per seconde
Snelheid van de i7 = ~350mb per seconde

Hoeveel data staat er op de i7?? Je hebt daar 3x 1TB.
Ik heb geen verstand van de raid die jij draait, maar zou je geen degraded raid kunnen draaien? Dus 1 schijf eruit halen, in je ander systeem zetten, je ding doen en dan weer terug toevoegen zodat het weer een clean raid wordt?

Ik weet niet of dit mogelijk is, dus don't flame me

[Hooglander1]

Verwijderd schreef op donderdag 09 april 2009 @ 20:01:
[...]


Dat zegt ie toch ook

Ik heb het echt 3 keer verkeerd gelezen dan

* Hooglander1 gaat in een hoekje zitten schamen...

[Vicarious]

Al eens met wireshark gekeken of je wat raars ziet?

[LieveNiels]

Ik weet dat je zoekt naar een oplossing om je transfersnelheid in het algemeen op te krikken, maar als je de kopieeractie ten tijde van de TS was gestart, dan was je 600GB met 30MB/ps nu zo ongeveer wel binnen geweest.

[Vicarious]

LieveNiels schreef op donderdag 09 april 2009 @ 21:11:
Ik weet dat je zoekt naar een oplossing om je transfersnelheid in het algemeen op te krikken, maar als je de kopieeractie ten tijde van de TS was gestart, dan was je 600GB met 30MB/ps nu zo ongeveer wel binnen geweest.

Dat helpt hem in de toekomst natuurlijk niet. Buiten het feit dat je het natuurlijk gewoon MOET weten. Ben jij nou tweaker of niet?

Zonder gekheid: kijk even met wireshark op netwerkniveau of je iets raars ziet. Verder kun je wellicht in de switch kijken of je errors op de interfaces ziet en eens kijken of het helpt om TCP offloading op je netwerkkaartje uit te zetten. Ik vermoed dat het probleem netwerkgerelateerd is omdat de schijven wel gewoon goed performen en FTP tov smb ook weinig uitmaakt.

[cappie]

Even nog een laatste reactie voor de archieven, en dan mag hier een slotje op: (tenzij mensen nog verder willen praten over het op hoge snelheid kopieren van bestanden tussen 2 machines)

De terugzetactie liep een stuk vlotter dan de kopieeractie.. kopieren van Windows 7 naar Windows 7 verliep met 122 (!!!) MB per seconde.. constant... binnen 1.5 uur was de 600GB gekopieerd, ipv de 5 uur die ik nodig heb gehad met Windows XP naar Windows 7

Ik hou van Windows 7

[ Voor 14% gewijzigd door cappie op 08-05-2009 16:01 ]

[Verwijderd]

files met netcat overpompen?

even de versie voor jouw os downloaden en instructies volgen

http://www.g-loaded.eu/20...ouple-of-useful-examples/

server $ nc -l 3333
client $ nc 192.168.0.1 3333
server $ cat backup.iso | nc -l 3333
client $ nc 192.168.0.1 3333 > backup.iso

[ Voor 33% gewijzigd door Verwijderd op 08-05-2009 16:06 ]

[cappie]

Verwijderd schreef op vrijdag 08 mei 2009 @ 16:04:
files met netcat overpompen?

even de versie voor jouw os downloaden en instructies volgen

http://www.g-loaded.eu/20...ouple-of-useful-examples/

server $ nc -l 3333
client $ nc 192.168.0.1 3333
server $ cat backup.iso | nc -l 3333
client $ nc 192.168.0.1 3333 > backup.iso

Afgezien van 't feit dat ik al klaar ben met de kopieeractie EN geen linux draai EN het feit dat ik bestanden wil kopieren (niet een complete disk) mis ik buffering in netcat...