(e)SATA vs Thunderbolt 3 vs USB 3.1 vs 10Gbe vs NVMe vs PCIe

[Mastakilla]

Momenteel zitten in mijn desktop een hoop schijven in RAID 5 op een LSI MegaRAID controller, maar ik zou op termijn overwegen om mijn opslag (always-on) extern te maken.

Hiervoor zou ik graag de verschillen weten tussen alle mogelijke interfaces.

Throughput kan je makkelijk vinden en is bij de meeste interfaces die ik vermeldde wel voldoende.

Ik heb echter, naast al mijn media, ook enkele VMs en wat games en apps op mijn RAID5 staan.
Vandaar dat alle andere aspecten, naast throughput, ook belangrijk zijn:
zoals I/O, CPU verbruik, stroom verbruik, access time, etc, etc

Daar vind ik echter bijna niets over...

Ik begrijp dat sommige aspecten afhangen van de implementatie (chipset), maar hoop toch een beter inzicht hierin te krijgen...

Bedankt!

[Bigs]

Je kunt een externe SAS JBOD aan je huidige controller hangen en je schijven daarin overplaatsen, dan is je storage extern met dezelfde performance als nu. Wat wil je precies bereiken met het extern plaatsen van je storage?

[ Voor 7% gewijzigd door Bigs op 19-09-2017 16:11 ]

[Mastakilla]

De storage wordt ook gebruikt door het media center en zou ook via het internet beschikbaar moeten zijn.
Nu moet ik daarvoor constant mijn (overclockte) desktop laten opstaan.

[Orion84]

Is het dan niet vooral gewoon handiger om even onderscheid te maken tussen verschillende soorten data die je er op hebt staan?

Dus je foto en video naar een NAS (makkelijk overal bereikbaar te maken) en je apps en games op een vlotte SSD (dat hoeft niet extern bereikbaar te zijn, maar heeft wel hoge performance eisen)?

[ Voor 24% gewijzigd door Orion84 op 19-09-2017 16:15 ]

[Mastakilla]

Die vlotte SSD van 1TB staat intussen al zo goed als vol.

Uit ervaring weet ik intussen dat die SSD enkel de kritieke zaken mag bevatten (OS, veel gebruikte VMs, veel gebruikte apps) en dat al de rest op de RAID5 moet komen. Vooral die veel gebruikte VMs nemen wel wat plaats in...
Anders loopt het binnen de korste keren mis (vol) en kan ik weer gaan prutsen om het op te lossen.

[Bigs]

En heb je daadwerkelijk meer dan de 120MB/s doorvoer nodig die je met een NAS via Gigabit Ethernet haalt? VM’s hebben normaalgesproken vooral behoefte aan IOPS.

[Orion84]

Dat stond niet in je topicstart

Maar mijn punt blijft natuurlijk staan: Je geeft aan dat je (een deel van) je opslag buiten je PC wilt plaatsen om het makkelijker toegankelijk te maken voor je mediacenter en voor toegang vanaf buiten je netwerk. Maar dat is natuurlijk totaal niet relevant voor VMs, apps, games. Dus voor je zoektocht naar externe storage zou ik me als ik jou was even focusen op de zaken die relevant zijn voor de data die je daadwerkelijk extern wilt opslaan.

En daarnaast even kijken hoe je de data die nu niet meer op je SSD past, maar je wel high performant wilt hebben op die PC kan gaan opslaan. Hetzij door extra SSD storage te plaatsen, of op een snelle raid array (nadat je bulk data die je voor je mediacenter wilt gebruiken daar van hebt verplaatst naar een NAS bijvoorbeeld).

[Mastakilla]

Bigs schreef op dinsdag 19 september 2017 @ 16:27:
En heb je daadwerkelijk meer dan de 120MB/s doorvoer nodig die je met een NAS via Gigabit Ethernet haalt? VM’s hebben normaalgesproken vooral behoefte aan IOPS.

Ik werk veel met video's en dit gaat met mijn huidige setup (denk ik al 5 jaar intussen) tegen 400-500MB/sec sequentieel.
120MB/sec zou voor mij aanvoelen als het stenen tijdperk

Heb ook pas in heel mijn huis CAT6A kabels gelegd en 10Gbe NICs zijn eindelijk ook betaalbaar aan het worden...

Orion84 schreef op dinsdag 19 september 2017 @ 16:30:
Dat stond niet in je topicstart

Maar mijn punt blijft natuurlijk staan: Je geeft aan dat je (een deel van) je opslag buiten je PC wilt plaatsen om het makkelijker toegankelijk te maken voor je mediacenter en voor toegang vanaf buiten je netwerk. Maar dat is natuurlijk totaal niet relevant voor VMs, apps, games. Dus voor je zoektocht naar externe storage zou ik me als ik jou was even focusen op de zaken die relevant zijn voor de data die je daadwerkelijk extern wilt opslaan.

En daarnaast even kijken hoe je de data die nu niet meer op je SSD past, maar je wel high performant wilt hebben op die PC kan gaan opslaan. Hetzij door extra SSD storage te plaatsen, of op een snelle raid array (nadat je bulk data die je voor je mediacenter wilt gebruiken daar van hebt verplaatst naar een NAS bijvoorbeeld).

Mja, 2TB SSD zit even gemakkelijk stampvol en nog meer vind ik momenteel nog wat duur.
Een extra RAID vind ik ook wat absurd, maar zal er eens over nadenken...

Maar los daarvan, zou ik nog steeds graag een antwoord hebben op mijn topic vraag (al is het puur uit interesse )

[Orion84]

Mastakilla schreef op dinsdag 19 september 2017 @ 16:42:
[...]

[...]

Mja, 2TB SSD zit even gemakkelijk stampvol en nog meer vind ik momenteel nog wat duur.
Een extra RAID vind ik ook wat absurd, maar zal er eens over nadenken...

Datzelfde geldt uiteindelijk toch ook voor eender welke externe opslag? Sterker nog, het zou me niet verbazen dat externe opslag met de vereiste performance specs even duur of duurder is dan vergelijkbare interne opslag. En dan is het dus veel belangrijker om je goed af te vragen wat je precies op high performance storage wilt hebben (en wellicht gewoon intern moet houden) en wat je extern wilt plaatsen om overal beschikbaar te hebben. Pas als er een significante overlap zit in data die zowel high performance eisen heeft, als extern beschikbaar moet zijn, dan wordt het interessant om te kijken naar externe opslag met een high performance interface.

Maar los daarvan, zou ik nog steeds graag een antwoord hebben op mijn topic vraag (al is het puur uit interesse )

Sorry, dat is een beetje Tweakers eigen, om in brede zin naar het oorspronkelijke probleem te kijken, in plaats van enkel de specifieke vraag te beantwoorden

Ik heb verder te weinig ervaring met / kennis van de betreffende technieken om wat zinnigs te zeggen over "I/O, CPU verbruik, stroom verbruik, access time, etc, etc".

Wat ik zelf doe met videobewerking is dat ik het ruwe materiaal op mijn SSD zet (vanaf het geheugenkaartje van de camera). De gewenste bewerkingen / compilatie doe. Daarna gaat het ruwe materiaal naar de NAS (mocht ik er ooit nog wat mee willen) en ook het eindresultaat gaat naar de NAS (zodat ik het makkelijk op allerlei apparaten / plekken kan bekijken). Daarna gaat het ruwe materiaal weer van de SSD af om ruimte te maken voor een volgend project.

[Mastakilla]

Geen probleem daarmee! In tegendeel

Maar dan nog heb ik interesse in een antwoord op mijn vraag

[TommyboyNL]

Mastakilla schreef op dinsdag 19 september 2017 @ 17:22:
Geen probleem daarmee! In tegendeel

Maar dan nog heb ik interesse in een antwoord op mijn vraag

Misschien is het dan handig als je die vraag ook stelt, in geen van jouw posts in dit topic staat een vraag(teken).

[Bigs]

Mastakilla schreef op dinsdag 19 september 2017 @ 17:22:
Geen probleem daarmee! In tegendeel

Maar dan nog heb ik interesse in een antwoord op mijn vraag

We hadden eerst ook wat meer informatie nodig.

eSATA, Thuderbolt 3, USB3 en PCIe/NVMe vallen af omdat je dat niet kunt delen tussen meerdere PC's

Blijft over: een NAS met 10GbE en SSD read/write cache of tiering, zoals de QNAP TVS-682 (excl. 10GbE netwerkkaart). Je SSD's functioneren als write cache en read cache voor je working set (bijvoorbeeld het project waar je op dat moment aan werkt, bij QNAP past de cache zich vrij rap aan), of als tier waarbij je working set automatisch op de SSD's wordt gezet (maar je dus geen write cache hebt voor koude data). (De rest van) je data staat op lekker stille 5400 rpm harde schijven.

Het kost wel wat, dus je kunt je afvragen of je die performance echt nodig hebt.

[ Voor 6% gewijzigd door Bigs op 19-09-2017 18:44 ]

[Mastakilla]

TommyboyNL schreef op dinsdag 19 september 2017 @ 17:25:
[...]

Misschien is het dan handig als je die vraag ook stelt, in geen van jouw posts in dit topic staat een vraag(teken).

Excuses als dit niet duidelijk was...

De vraag is:
Wat is het verschil tussen (e)SATA, Thunderbolt 3, USB 3.1, 10Gbe, NVMe, PCIe voor opslagsystemen qua throughput, access time, IOPS, power usage, CPU usage?

Bigs schreef op dinsdag 19 september 2017 @ 18:41:
[...]


We hadden eerst ook wat meer informatie nodig.

eSATA, Thuderbolt 3, USB3 en PCIe/NVMe vallen af omdat je dat niet kunt delen tussen meerdere PC's

Blijft over: een NAS met 10GbE en SSD read/write cache of tiering, zoals de QNAP TVS-682 (excl. 10GbE netwerkkaart). Je SSD's functioneren als write cache en read cache voor je working set (bijvoorbeeld het project waar je op dat moment aan werkt, bij QNAP past de cache zich vrij rap aan), of als tier waarbij je working set automatisch op de SSD's wordt gezet (maar je dus geen write cache hebt voor koude data). (De rest van) je data staat op lekker stille 5400 rpm harde schijven.

Het kost wel wat, dus je kunt je afvragen of je die performance echt nodig hebt.

Ik heb reeds HDDs en een RAID Controller en denk dus eerder aan een zelfbouw projectje ipv een QNAP ofzo.

En ik ben zeker ook geïnteresseerd in de vergelijking met interfaces als eSATA, Thunderbolt 3, USB3 en PCIe/NVMe, omdat
1) Ik wil juist weten hoe de externe oplossingen vergelijken met interne oplossingen (om te kunnen bepalen of het wel een optie is om extern te gaan met mijn apps, games en VMs)
2) Enkel tussen de NAS en de desktop heb ik meer nodig dan throughput. Dus desnoods kan ik gerust de NAS aansluiten aan de desktop via eSATA, Thunderbolt 3, USB3 en PCIe/NVMe. De mediacenter en de rest kan ik dan nog met een gewone Gbit / 10Gbit ethernet aansluiten.

[hans_lenze]

Allereerst een block diagram van een moderne Intel processor (Kaby Lake), zodat we het over dezelfde unit hebben. De rest van het verhaal is gebaseerd op dit diagram:

Als volgende een lijstje van verbindingen en protocollen die bij elkaar horen. Zie dit als het type kabel en de taal die daar over wordt gesproken.

Naam	Snelheid	Gekoppeld aan
(e)SATA	6Gbps, 0,1ms	Chipset (onboard SATA interfaces) of PCI-E (extra SATA controller)
USB 3.1	10Gbps, 0,03ms	Chipset (alle bewerkingen worden door de CPU uitgevoerd). Generieke aansluiting voor externe apparatuur.
10Gbit Ethernet	10Gbps, 0,03ms	Hier komt geen opslag uit. Je zou er FC of TCP/IP met iSCSI over kunnen babbelen maar dat zijn geen simpele kastjes die je aan het eind van de kabel prikt.
Thunderbolt3	40Gbps, 0,02ms	DisplayPort en PCI-E (let op: deze PCI-E lanes kunnen vanaf de CPU of vanaf de chipset komen. Soms is hij gekoppeld aan twee lanes, soms aan vier lanes). Generieke aansluiting voor externe apparatuur.
PCI-E	8Gbps (per lane), 0,001ms	CPU of chipset (snelheid afhankelijk van het aantal lanes). Generieke aansluiting voor interne apparatuur.
NVMe	8Gbps (per lane), 0,06ms	geoptimaliseerd block based opslag protocol voor over een PCI-E bus (snelheid afhankelijk van het aantal lanes)

Wat valt hier op?

• Dat PCI-E de gemene deler is onder Thunderbolt3, NVMe en een aantal SATA controllers
• Dat NVMe het snelste opslag protocol is dat over de PCI-E bus gaat
• Dat niet alle PCI-E aansluitingen in het CPU block diagram gelijkwaardig zijn. Er hangen er een aantal direct aan de CPU (die zijn het snelste) en een aantal aan de chipset (die zijn langzamer)
• Dat 10Gbit Ethernet op zichzelf geen opslag aan kan bieden, daar zijn meer doosjes en chips en protocollen voor nodig

Nog twee mooie plaatjes uit de Intel marketing machine:

Latency van verschillende opslag units tot de processor en de oorzaak daarvan.


Een super snelle externe SSD. Dit is dus een NVMe SSD in een Thunderbolt3 behuizing.

[Navi]

Mocht je voor 10G ethernet gaan staat hier een mooie tabel waar je de verschillende soorten kabels kunt vergelijken:

https://www.uptimed.nl/ve...-over-fiber-en-koper-rj45

Heb overigens al 2 praktijkcases gehoord over QNAP's met een caching SSD. Ja het wordt ondersteunt en zit in de software, maar het schijnt heel erg slecht te werken.