Bestandsoverdracht efficiënter dan via netwerk

[dutchdj]

Ik zoek een?
oplossing voor de snelste bestandsoverdracht tussen 2 pc's in 1 case

Wat is je budget?
€5-€100

Heb je bepaalde (merk)voorkeuren?
[i]geen voorkeur/i]

Specificeer het systeem en de omgeving waarin je het product gaat gebruiken.?
zoals gezegd, 2 pc's in 1 case. de ene is fileserver, de andere is game/edit machine

Ik ben regelmatig bezig met het bewerken van bestanden. deze kopieer ik vanaf mijn fileserver naar mijn editmachine, bewerk deze en zet ze weer terug naar mijn fileserver. Beide machines zijn voorzien van een sata SSD, dus de theoretisch maximale snelheden van schrijven zitten rond de 500MB/s.
Netwerkpoorten in de beide pc's zijn 1 Gbps, en er zijn in beide pc's USB poorten beschikbaar van maximaal USB 3.2 Gen1, 5Gb/s.

dit laatste zette me dus aan het denken en na wat zoeken kwam ik USB data transfer kabels tegen..
Nu is de vraag dus..
-werkt dit beter dan de netwerkverbinding?
-is een USB data transfer kabel echt een "ding" , of is een usb-usb kabel gewoon hetzelfde?
-Heeft iemand een ander idee?

[arvidbeheerder]

Ik heb geen idee of het beter werkt, maar heb je gekeken wat op dit moment je bottleneck is? En wat is nu je doorvoersnelheid?

[aawe mwan]

Je zou de 2 PC's allebei van een tweedehands 10 Gbps netwerkkaart kunnen voorzien.
Dan kunnen ze in elk geval met je volle SSD snelheid bestanden kopieren naar elkaar.

Verder is voorkomen natuurlijk altijd beter dan genezen: ga bijvoorbeeld remote editen, of data rsyncen.

[martyw]

Volgens dit staatje haalt USB 3.2 Gen 1 effectief 3.2Gb/s, dat is meer dan je over je 1 Gb/s netwerk trekt. Voor zover ik weet is er een verschil tussen USB oplaad kabels en data kabels, zie hier

Verder eens met @aawe mwan - wellicht kan je workflow efficienter?

[dutchdj]

@arvidbeheerder ik zit nu op ~110Mb/s dus neem ik aan dat dat de bottleneck/ max is van de ethernet.
@aawe mwan PCIe oplossing is niet voorhanden. Geen slot vrij.
Verder is het remote editten niet echt praktisch ivm bestandsgrootte en gebruikte software
@martyw met usb data kabel bedoel ik dit : https://www.onlinekabelsh...tpGZYSuE1nNhoCbcEQAvD_BwE

Er zit een blokje tussen die 'iets' doet?

[martyw]

dutchdj schreef op vrijdag 12 februari 2021 @ 18:57:
@arvidbeheerder ik zit nu op ~110Mb/s dus neem ik aan dat dat de bottleneck/ max is van de ethernet.
@aawe mwan PCIe oplossing is niet voorhanden. Geen slot vrij.
Verder is het remote editten niet echt praktisch ivm bestandsgrootte en gebruikte software
@martyw met usb data kabel bedoel ik dit : https://www.onlinekabelsh...tpGZYSuE1nNhoCbcEQAvD_BwE

Er zit een blokje tussen die 'iets' doet?

In de specificatie van deze USB 2.0 kabel staat

datasnelheid: tot 480 Mbit/s

Je wilt een USB 3.2 Gen 1 kabel, bv. zoiets: https://www.centralpoint....bucm3-am05b-num-11506073/

[Voor 56% gewijzigd door martyw op 12-02-2021 19:07]

[Jan Smit]

Er zijn USB 3.2 naar UTP die 2,5 Gbit doen.
Dan met een nette UTP kabel haal je toch 2,5Gbit en dat over USB.

[dutchdj]

@martyw misschien een niet heel slim voorbeeld inderdaad, maar wat doet dat blokje ertussen? Een gewone usb a-usb a zou praktisch hetzelfde moeten kunnen toch??

[dutchdj]

@Jan Smit ik snap de logica niet helemaal van de verlopen.. usb - cat - cat - usb.. of ik moet usb - cat - switch - cat - usb doen.. maar dat wordt een duur grapje. Ivm met de 2.5Gbps.

[RGAT]

martyw schreef op vrijdag 12 februari 2021 @ 19:06:
[...]


In de specificatie van deze USB 2.0 kabel staat

[...]

Je wilt een USB 3.2 Gen 1 kabel, bv. zoiets: https://www.centralpoint....bucm3-am05b-num-11506073/

Tenzij dat met USB3.x veranderd is heb je dan alsnog wat meer dan alleen een kabeltje nodig, vandaar ook het blokje in de USB 2.0 kabel waar de chip in zit... Wat je met deze 3.2 Gen 1 kabel zou doen is hooguit de ene computer de VUSB van de andere laten voeden

Een andere optie is 2x een USB 3 netwerkadapter met een UTP kabeltje er tussen, hangt er een beetje vanaf welke je haalt, sommige zijn wat onstabiel, verder een euro of 40 per stuk dus met kabeltje erbij zo'n 85 euro totaal...

Zou er gewoon van eBay of hier op V&A twee 10GbE kaartjes in gooien en een DAC of UTP kabeltje er tussen, heb je 10Gb/s, moet je overigens wel een beetje tweaken om SMB direct in te stellen voor snelheid.
Of goedkoper: tweedehands Infiniband adapters, nog iets meer tweaken maar zo 40Gb/s

[Gomez12]

Goedkoopste lijkt mij zoiets : https://www.onlinekabelsh...t-20-gbps-zwart-1-5-meter

Volgens specs : ondersteunt Thunderbolt networking tot 10 Gbps (Peer-To-Peer)

Ik heb alleen geen idee wat Thunderbolt Networking inhoud

[RGAT]

Gomez12 schreef op vrijdag 12 februari 2021 @ 19:29:
Goedkoopste lijkt mij zoiets : https://www.onlinekabelsh...t-20-gbps-zwart-1-5-meter

Volgens specs : ondersteunt Thunderbolt networking tot 10 Gbps (Peer-To-Peer)

Ik heb alleen geen idee wat Thunderbolt Networking inhoud

Iets wat alleen maar werkt als TS toevallig 2 computers heeft met elk een Thunderbolt connector.
Die lijken veradelijk veel op USB-C want het is dezelfde connector maar niet hetzelfde protocol, werkt dus niet tenzij TS prijzige Thunderbolt poorten heeft

[dutchdj]

@RGAT nee niet aanwezig 😁

[DVX73]

Is een externe SSD gebruiken om de data te verplaatsen een optie?

[webfreakz.nl]

TB3 controllers zijn te koop:

https://tweakers.net/cont...BdFlijpJVtJKloZGFUmxtbS0A

Ik weet alleen niet of je daar dan TCP/IP overheen kan gaan draaien.

[dutchdj]

DVX73 schreef op vrijdag 12 februari 2021 @ 19:42:
Is een externe SSD gebruiken om de data te verplaatsen een optie?

Nee niet echt

[dutchdj]

webfreakz.nl schreef op vrijdag 12 februari 2021 @ 19:42:
TB3 controllers zijn te koop:

https://tweakers.net/cont...BdFlijpJVtJKloZGFUmxtbS0A

Ik weet alleen niet of je daar dan TCP/IP overheen kan gaan draaien.

Geen optie helaas ivm niet beschikbare PCIe poorten

[RGAT]

dutchdj schreef op vrijdag 12 februari 2021 @ 19:45:
[...]

Geen optie helaas ivm niet beschikbare PCIe poorten

Dan zit je eigenlijk direct vast aan USB opties zoals een link-kabel of twee netwerkadapters.

[DVX73]

Je zou op je edit machine een local cache kunnen aanmaken om de performance te verbeteren.

[dutchdj]

Hier is een juiste link..

https://www.amazon.nl/dp/...0P50?_encoding=UTF8&psc=1

Zou technisch gezien 2 keer zo snel moeten zijn een cat oplossing

[dutchdj]

DVX73 schreef op vrijdag 12 februari 2021 @ 19:56:
Je zou op je edit machine een local cache kunnen aanmaken om de performance te verbeteren.

Ik kopieer lokaal naar lokaal. Als de cat kabel de bottleneck is, wat heeft de local cache voor toegevoegde waarde?

[Greatsword]

@dutchdj Voor mijn beeldvorming 2 Pc's dus ook 2x een besturingssysteem toch?

Hoe groot zijn de bestanden en hoe "snel" heb je ze weer nodig op de andere Pc?

Waarom niet gewoon een Cloud Sync? Sharepoint of anders Dropbox, OneDrive etc.

https://www.microsoft.com...harepoint-plans?market=nl

[Voor 22% gewijzigd door Greatsword op 12-02-2021 20:13]

[dutchdj]

@Greatsword bestanden 1-5 Gb. Ik heb de bestanden altijd 'nu' nodig. Terugschrijven naar de fileserver kan wel met de 100Mb.
Ivm met het 'nu' verhaal is cloud eigenlijk geen optie, ook ivm de traagheid van mijn internetverbinding.

[dutchdj]

@Greatsword bestanden 1-5 Gb. Ik heb de bestanden altijd 'nu' nodig. Terugschrijven naar de fileserver kan wel met de 100Mb.
Ivm met het 'nu' verhaal is cloud eigenlijk geen optie, ook ivm de traagheid van mijn internetverbinding.

Inderdaad 2 besturingssystemen, beide win10

[fm77]

dutchdj schreef op vrijdag 12 februari 2021 @ 20:25:
@Greatsword bestanden 1-5 Gb. Ik heb de bestanden altijd 'nu' nodig. Terugschrijven naar de fileserver kan wel met de 100Mb.
Ivm met het 'nu' verhaal is cloud eigenlijk geen optie, ook ivm de traagheid van mijn internetverbinding.

Geen antwoord op je vraag, maar waarom hou je die bestanden niet gewoon op je edit pc?
Is er een reden dat je ze op de server wilt hebben staan?
Als je klaar bent met werken kan je de bestanden toch alsnog naar de server weg laten schrijven?

[Voor 9% gewijzigd door fm77 op 12-02-2021 20:30]

[Croga]

dutchdj schreef op vrijdag 12 februari 2021 @ 20:03:
Ik kopieer lokaal naar lokaal. Als de cat kabel de bottleneck is, wat heeft de local cache voor toegevoegde waarde?

Als je een replicatie systeem tussen de server en de PC op zet dan maakt de snelheid een stuk minder uit omdat de lokale bestanden op de PC altijd up-to-date zijn. Zodra jij aanpassingen doet zorgt de replicatie er voor dat ze op de server, op den duur, ook weer up-to-date zijn. Vandaar local cache....

[Crahsystor]

@dutchdj Ik zou gaan voor de USB > RJ45 adapters. Het is een hoop geld voor eigenlijk een sneller kabeltje, maar het geeft je wat je wilt, het is eenvoudig en blijft voorlopig nog bruikbaar. Eventueel voor andere machines.
Daarnaast hoef je niks nieuws in je workflow te doen.
Alternatief is gewoon een flinke SSD erbij en alles continue syncen met de server. Maar dat zal al snel duurder zijn dan andere oplossingen (los van de systemen vervangen).

[Crahsystor]

Croga schreef op vrijdag 12 februari 2021 @ 20:32:
[...]

Als je een replicatie systeem tussen de server en de PC op zet dan maakt de snelheid een stuk minder uit omdat de lokale bestanden op de PC altijd up-to-date zijn. Zodra jij aanpassingen doet zorgt de replicatie er voor dat ze op de server, op den duur, ook weer up-to-date zijn. Vandaar local cache....

Maar hiermee kan hij niet sneller bestanden ophalen. De PC blijft dan verbonden met 1Gbps, wat nu vol zit bij een transfer. Hij wil bestanden ophalen en meteen bewerken. Of ze nu van een NVMe cache komen of de andere kant van de wereld, de PC kan het met 1Gbps gewoon niet allemaal aan. Of de cache moet een mirror zijn van de fileserver én in de PC zitten.

[Damic]

@dutchdj je hebt een aantal keer gevraagd wat die zwarte blokjes doen tussen de usb kabels, maar volgens mij is daar geen antwoord opgekomen. Het blokjes is eigenlijk een controller die de 2 pc's laat weten dat ze van elkaar client zijn vermits een pc poort altijd HOST is. Daarmee dat er ook staat dat de software snel geïnstalleerd is maar dat er ook problemen mee kunnen zijn zoals een transfer die ineens ophoud.

De USB naar UTP kun je volgens mij niet via een switch laten lopen omdat ze anders werken dan een officieel IP protocol en ze komen altijd per 2, zelfde verhaal als de vast usb kabels er zit een controller tussen Zie post van @Crahsystor

[dutchdj]

Die mirror zie ik niet zitten ivm capaciteit.

Ik ga even duiken in die usb-rj45 oplossing.

[Crahsystor]

Damic schreef op vrijdag 12 februari 2021 @ 20:51:
[...]

De USB naar UTP kun je volgens mij niet via een switch laten lopen omdat ze anders werken dan een officieel IP protocol en ze komen altijd per 2, zelfde verhaal als de vast usb kabels er zit een controller tussen

Ze werken juist wél met de normale, officiële, protocollen. Je hebt aan één zo'n ding genoeg als je andere netwerkapparatuur ook die gewone protocollen ondersteund. In dit verhaal dus die voor een 2,5Gbps Ethernet verbinding.
TS zal dus een kabel moeten leggen tussen server en PC, maar alleen omdat de andere apparatuur nog maar tot 1Gbps gaat. (Onderlinge afstand is even niet interessant)

[Damic]

Na de oog opener van @Crahsystor
@dutchdj https://tweakers.net/netw...GlkjqzAxMzUHSBuampkD52loA

[dutchdj]

Yes.. @Jan Smit had 'm al gepost

[_Apache_]

Het lijkt er op dat dit misschien iets is. Het lijkt een controller waarbij je steeds 1 device kan laten verbinden met een usb controller. Zet daar achter een vlotte SSD, en dat lijkt je al een heel eind te zijn.

Kopieer het van machine 1 naar de disk, als je hem op machine 2 nodig hebt klik je de controller om. Dan word de verbinding verbroken van machine 1 naar machine 2. Et voila, data 'over'.

https://superuser.com/que...-to-2-computers-at-a-time

[dutchdj]

fm77 schreef op vrijdag 12 februari 2021 @ 20:30:
[...]

Geen antwoord op je vraag, maar waarom hou je die bestanden niet gewoon op je edit pc?
Is er een reden dat je ze op de server wilt hebben staan?
Als je klaar bent met werken kan je de bestanden toch alsnog naar de server weg laten schrijven?

Omdat het regelmatig oude bestanden zijn. fileserver is ~9TB HDD's
Edit machine werkt met SSD om openen en wegschrijven efficiënter te kunnen doen.
HDD zitten in fileserver vanwege stroomverbruik

[Tvdl2000]

2 X hot swap HDD caddy's 1 voor ieder systeem... ff hdd overpluggen en je hebt alles gelijk ter beschikking. en totale kostten 40 a 50 eurie