28 Drive JBOD direct verbinden

[tjbrouwer]

Ik ben al een tijd aan het denken hoe ik dit project ga verwezenlijken.

Ik wil mijn huidige server vervangen door een reeds verkregen PowerEdge R620, het enigste probleem is opslag. Al snel viel mijn ook op de https://tweakers.net/pric...ech-4f28-mining-rack.html vanwege zijn grote capaciteit aan 3.5 inch drives. Nu zit ik alleen al een tijd te denken hoe ik dit zo simpel/budget mogelijk ga verbinden.

Zoals het er nu uit ziet lijkt het dat ik ze aan een https://www.spareit.nl/nl...6fqrv9TAryFBoCmp8QAvD_BwE SAS extender moet connecten en die aan een SFF 8088 naar 8087 kaart https://nl.aliexpress.com...QZrEuSEUyiYhoCjTgQAvD_BwE . Deze zou ik dan kunnen verbinden met SFF8088 kabels in een daarvoor bedoelde kaart in de R620. Maar sinds ik niemand dit online zie doen vraag ik me af of dit kan. (schijven zijn SATA)

Iemannd advies/ervaring?


Edit: Ik draai unraid op de R620

[Jazzy]

Vind je het leuk om dit aan de praat te krijgen of zoek je gewoon een simpele en betaalbare oplossing? In geval van dat laatste kun je beter een NUC oid. of, dan wel in combinatie met, een NAS aanschaffen.

Als je dit leuk vindt voor de hobby dan ga je dit niet oplossen met een SAS adapter aangezien je schijven SATA zijn. De meeste disk enclosures voor SATA hebben een USB-interface maar zijn maar geschikt voor 4 tot 6 schijven. Als je ze direct op je server wilt aansluiten moet je dus een shitload aan multiport SATA-adapters kwijt kunnen, wat dan weer niet past in een 1U server.

[ Voor 28% gewijzigd door Jazzy op 13-02-2025 13:52 ]

[tjbrouwer]

Jazzy schreef op donderdag 13 februari 2025 @ 13:46:
Vind je het leuk om dit aan de praat te krijgen of zoek je gewoon een simpele en betaalbare oplossing? In geval van dat laatste kun je beter een NUC oid. of, dan wel in combinatie met, een NAS aanschaffen.

Als je dit leuk vindt voor de hobby dan ga je dit niet oplossen met een SAS adapter aangezien je schijven SATA zijn. De meeste disk enclosures voor SATA hebben een USB-interface maar zijn maar geschikt voor 4 tot 6 schijven. Als je ze direct op je server wilt aansluiten moet je dus een shitload aan multiport SATA-adapters kwijt kunnen, wat dan weer niet past in een 1U server.

Ik vind het leuk om er voor de hobby mee bezig te zijn (En geen NUC in de wereld die 20+ discs aankan, maar wil in het eindproduct ook iets wat expendable is. Als ik nu 20 drives toevoeg waar ik hoop nog een jaar of 3 mee door te kunnen en zodra het nodig is meer drives.

Het is dus niet mogelijk om een kabel zoals dit te gebruiken?

[Juup]

tjbrouwer schreef op donderdag 13 februari 2025 @ 14:14:
... En geen NUC in de wereld die 20+ discs aankan, ...

Via USB (of Thunderbolt) toch wel?

[tjbrouwer]

Juup schreef op donderdag 13 februari 2025 @ 14:19:
[...]

Via USB (of Thunderbolt) toch wel?

In het kader van netjes houden lijkt 20 external drives kopen niet de beste optie.
Zal ook mijn post even aanpassen maar de R620 draait unraid

[Juup]

tjbrouwer schreef op donderdag 13 februari 2025 @ 14:20:
In het kader van netjes houden lijkt 20 external drives kopen niet de beste optie.

Of een paar 10-bay external enclosures (Sabrent heeft er eentje maar er zijn er vast meer).

[Ben(V)]

Ik weet niet of dat een foutje in je titel is maar 28 Drive in jbod is een soort van kamikaze actie voor je data.
Er hoeft maar een disk defect te raken en je loopt het risico al je data kwijt te zijn.

Jbod kan de data zomaar in blokken over veel disken verspreiden.

[tjbrouwer]

Ben(V) schreef op donderdag 13 februari 2025 @ 14:42:
Ik weet niet of dat een foutje in je titel is maar 28 Drive in jbod is een soort van kamikaze actie voor je data.
Er hoeft maar een disk defect te raken en je loopt het risico al je data kwijt te zijn.

Jbod kan de data zomaar in blokken over veel disken verspreiden.

Niet echt een JBOD, misschien meer een diskshelf. Maar natuurlijk draait er een duo parity. Voor zover ik UnRaid ervaring heb kiest de software zelf waar het het neerzet maar splitst het niet.

[Ben(V)]

JBOD is disken samenvoegen tot een volume.

En data wordt in blokken weggeschreven verspreid over het volume en de blokken van een file worden echt niet bij elkaar gehouden.
Die blokken worden random weggeschreven waar de diskcontroller maar ruimte vind.

[Jazzy]

Ben(V) schreef op donderdag 13 februari 2025 @ 14:56:
JBOD is disken samenvoegen tot een volume.

En data wordt in blokken weggeschreven verspreid over het volume en de blokken van een file worden echt niet bij elkaar gehouden.
Die blokken worden random weggeschreven waar de diskcontroller maar ruimte vind.

Wat jij beschrijft is striping (RAID 0).

[lordgandalf]

Op linux heb je JBOD of just a bundle of disks wat gewoon een groep van schijven is die als een linux device word doorgegeven. Waar de TS het over heeft is een disk shelve of een disk cabinet.

[kdekker]

Volgens mij gebruiken wij zakelijk een 1U 16 SATA 3.5" bay server (waar al een extender in zit, volgens mij een Gigabyte of Asrock server), waar met een SAS HBA kaart (geen raid controller, maar domme HBA extender) in zit. SATA past namelijk op een SAS HBA. Je bent afhankelijk van je extender hoeveel disks er aan passen.

Ik gok dat - als je Dell dat zelf nog niet heeft - wel een losse PCIe kaart (of riser) te vinden is waarmee je een HBA erbij prikt. De Perc controllers die een Dell vaak standaard heeft, kan misshien ook in JBOD draaien, maar dat weet ik niet (meer; te lang geleden voor mij Dell).

[White Feather]

Jazzy schreef op donderdag 13 februari 2025 @ 15:12:
[...]
Wat jij beschrijft is striping (RAID 0).

Nee, JBOD is de schijven als 1 grote opslag zien en er dan naartoe schrijven. Het kan dan prima dat er data van 1 file op verschillende HD’s terecht komt.

Een Raid 0 is de data verdelen in het aantal schijven dat je hebt en dan naar iedere schijf schrijven. Dan heb je dus ook tig x de schrijf/leessnelheid, want de data wordt per definitie verdeeld over de schijven.

De kans dat je data weg is met een Raid 0 100% als er een schijf kapot gaat. Bij een JBOD heb je een redelijke kans dat je nog wat files kunt terughalen. Al vermindert dat wel met het aantal schijven dat je hebt.

[Jazzy]

White Feather schreef op donderdag 13 februari 2025 @ 17:57:
[...]

Nee, JBOD is de schijven als 1 grote opslag zien en er dan naartoe schrijven. Het kan dan prima dat er data van 1 file op verschillende HD’s terecht komt.

JBOD is een stel losse schijven, precies wat de naam zegt. Als jij dat ziet als 1 grote opslag dan komt dit doordat je een volume hebt aangemaakt wat over meerdere schijven spant.

[Ben(V)]

Jazzy schreef op donderdag 13 februari 2025 @ 15:12:
[...]
Wat jij beschrijft is striping (RAID 0).

Nee bij striping worden om en om blokken naar een andere disk geschreven.
Bij jbod worden de disken gewoon aan elkaar geplakt om een groot volume te vormen.
En dat volume wordt beschreven met blokken van een file waar toevallig ruimte is en echt niet als een continues blok.

En hoe meer schijven je hebt hoe groter de kans dat de blokken waar een file uit bestaat over meerdere schijven verdeelt worden.
Met als gevolg dat bij uitval van een disk je veel kwijt bent (of kunt zijn).

Vroeger toen Windows nog een FAT structuur gebruikte gingen we een defragmentation tool draaien om file continues te maken vanwege de betere performance, maar met NTFS en Ext4 is die performancewinst verdwenen en doen we dat niet meer.

[Nopheros]

Ik heb al meer dan 10 jaar een pc draaien die ik gebruik als media server met op sommige momenten 20 sata disks aangesloten op een simpele jbod controller, iets van 64TB in totaal. Worden allemaal, stuk voor stuk, gezien als losse schijven.

Pci 4x kaartjes die dan een stuk of 8 schijven aan kunnen. Hiervoor ook een mobo aangeschaft die genoeg pci 4x sloten had om het te laten werken.

Heb nog nooit gehoord dat JBOD onderdeel zou zijn van een soort raid opstelling eigenlijk maar als ik even zoek op internet dan lopen de meningen uiteen blijkbaar. De fabrikant van mijn pci kaarten ziet het in ieder geval als oplossing voor het aansluiten van meerdere lossen schijven zoals ook hier beschreven:

Wikipedia: JBOD

Helaas geen ervaring met de vraag van de TS..

[ Voor 66% gewijzigd door Nopheros op 13-02-2025 20:54 ]

[White Feather]

Jazzy schreef op donderdag 13 februari 2025 @ 18:37:
[...]
JBOD is een stel losse schijven, precies wat de naam zegt. Als jij dat ziet als 1 grote opslag dan komt dit doordat je een volume hebt aangemaakt wat over meerdere schijven spant.
[/

Het is in ieder geval zeker geen Raid 0 en aangezien TS 28 schijven wil, neem ik niet aan dat hij 28 losse disks gaat lopen aansturen 😀

[tjbrouwer]

White Feather schreef op donderdag 13 februari 2025 @ 20:24:
[...]

Het is in ieder geval zeker geen Raid 0 en aangezien TS 28 schijven wil, neem ik niet aan dat hij 28 losse disks gaat lopen aansturen 😀

Hoewel ik geen plan heb om ze in te delen lijkt het me het handigst als Unraid ze wel allemaal kan zien?

[Jazzy]

Ben(V) schreef op donderdag 13 februari 2025 @ 19:31:
Bij jbod worden de disken gewoon aan elkaar geplakt om een groot volume te vormen.

Dat kan inderdaad, maar is een keuze en bovendien iets wat je op OS-niveau doet. Het OS ziet gewoon een aantal losse schijven (letterlijk wat JBOD betekent), die kun je in je OS dan bijvoorbeeld samenvoegen door er een volume op aan te maken wat meerdere losse disken bestrijkt.

Op de storega-laag is JBOD letterlijk wat het zegt, gewoon een aantal losse disks.

Nog maar even een Wiki quote toevoegen:

JBOD (just a bunch of disks or just a bunch of drives) is an architecture using multiple hard drives exposed as individual devices.

Wikipedia: Non-RAID drive architectures

[ Voor 21% gewijzigd door Jazzy op 14-02-2025 12:34 ]

[White Feather]

tjbrouwer schreef op vrijdag 14 februari 2025 @ 10:26:
[...]


Hoewel ik geen plan heb om ze in te delen lijkt het me het handigst als Unraid ze wel allemaal kan zien?

Unraid ziet de schijven sowieso allemaal apart.

Je kunt standaard in Unraid per schijf maximaal één volume maken, maar dan heb je geen redundancy voor het geval er een schijf faalt. Bovendien moet je zelf gaan lopen bijhouden op welke schijf wat staat, in plaats van een minder aantal volumes me een veel grotere opslag te hebben.

Meestal wordt kiest men er voor om een aantal schijven te groeperen en wordt gekozen voor enkele of dubbele redundancy. Die regelt Unraid dan verder voor je.

[Ben(V)]

Jazzy schreef op vrijdag 14 februari 2025 @ 12:32:
[...]
Dat kan inderdaad, maar is een keuze en bovendien iets wat je op OS-niveau doet. Het OS ziet gewoon een aantal losse schijven (letterlijk wat JBOD betekent), die kun je in je OS dan bijvoorbeeld samenvoegen door er een volume op aan te maken wat meerdere losse disken bestrijkt.

Op de storega-laag is JBOD letterlijk wat het zegt, gewoon een aantal losse disks.

Nog maar even een Wiki quote toevoegen:

[...]

Wikipedia: Non-RAID drive architectures

Ik weet niet wat je nu probeert duidelijk te maken, maar mijn punt was dat bij gebruik van jbod de blokken waar een file uit bestaat niet per definitie aaneensluitend en niet op dezelfde disk terecht komen.
Het file management systeem (NTFS of Ext4 of...) ziet alleen maar een volume en geen disken.

Dat kan ook het file management systeem betreffen waardoor bij het falen van een enkele disk heel veel data weg kan zijn.

[dcm360]

Ik vind het wel uiterlijk vermakelijk dat de vraag over 'werkt deze manier van aansluiten' verzand in een discussie over wat JBOD is (ik zou die mensen trouwens aanraden om even te spieken wat Wikipedia daar over zegt, het sluit aan bij wat Jazzy al zei) en hoe je de schijven in zou moeten delen.

Een SAS-controller in de server, een expander in het storage-chassis en dan aansluiten met breakout-cables zou inderdaad de manier moeten zijn om het werkend te krijgen. In Storage showcase topic - 50+ TB storage systems zijn er enkele systemen die ongeveer een dergelijke setup gebruiken, maar dan met de expander niet in een los chassis maar in de server zelf.

[tjbrouwer]

dcm360 schreef op vrijdag 14 februari 2025 @ 13:20:
Ik vind het wel uiterlijk vermakelijk dat de vraag over 'werkt deze manier van aansluiten' verzand in een discussie over wat JBOD is (ik zou die mensen trouwens aanraden om even te spieken wat Wikipedia daar over zegt, het sluit aan bij wat Jazzy al zei) en hoe je de schijven in zou moeten delen.

Een SAS-controller in de server, een expander in het storage-chassis en dan aansluiten met breakout-cables zou inderdaad de manier moeten zijn om het werkend te krijgen. In Storage showcase topic - 50+ TB storage systems zijn er enkele systemen die ongeveer een dergelijke setup gebruiken, maar dan met de expander niet in een los chassis maar in de server zelf.

Bedankt voor het goede antwoord, nu vraag ik me wel af ik een hele PC in de case bouw voor stroom van de disks omdat alle SAS expanders stroom via PCI-E hebben?

[Detmer]

Maar als je daar een PC in gaat bouwen heb je de Dell ook niet meer nodig? Of je moet willen hobbyen met een cluster?

Ik zou denk ik een voeding in de behuizing stoppen en de groene + zwarte draad met elkaar verbinden. Dan staat de voeding altijd aan zodat de schijven en SAS expander stroom krijgen. Unraid stuurt dan wel aan of schijven uitschakelen of inschakelen.

[dcm360]

tjbrouwer schreef op dinsdag 25 februari 2025 @ 14:29:
[...]


Bedankt voor het goede antwoord, nu vraag ik me wel af ik een hele PC in de case bouw voor stroom van de disks omdat alle SAS expanders stroom via PCI-E hebben?

Voor de stroomvoorziening naar de expanders kan je goedkope PCIe-risers halen die met een molex/sata/floppy-connector stroom kunnen leveren vanaf de PSU in het chassis. Daadwerkelijk een pc inbouwen kan ook, maar dat is wat overkill als je alleen stroomvoorziening nodig hebt voor een PCIe-slot.

[tjbrouwer]

Detmer schreef op dinsdag 25 februari 2025 @ 14:37:
Maar als je daar een PC in gaat bouwen heb je de Dell ook niet meer nodig? Of je moet willen hobbyen met een cluster?

Ik zou denk ik een voeding in de behuizing stoppen en de groene + zwarte draad met elkaar verbinden. Dan staat de voeding altijd aan zodat de schijven en SAS expander stroom krijgen. Unraid stuurt dan wel aan of schijven uitschakelen of inschakelen.

En dan zo'n miner PCI kaart die je met molex kunt voeden voor de expander?

Hieronder nog een schema hoe het dan gemaakt wordt minus de stroomvoorziening

Edit: Kan de extender dan deze kaart zijn? De 8087 van de converter dus gewoon in 1 van de poortjes drukken?
https://www.spareit.nl/nl...6fqrv9TAryFBoCmp8QAvD_BwE

[ Voor 16% gewijzigd door tjbrouwer op 25-02-2025 15:28 ]