Storage over meerdere devices

[Verwijderd]

Hi,

Ik heb een hypothetisch geval.
Mijn NAS loopt vol met zijn opslag maar ik heb nog wel wat Raspberry's liggen en oude schijven. Is het mogelijk om een platform te creëren die verdeeld is over meerdere systemen / hardware en samen één storage pool vormen.

Voorbeeld, kan ik de opslag van mijn NAS combineren met ftp ruimte van een VPS, harde schijf van een familie lid op een andere locatie met een Raspberry?

Ik denk zelf dat dit mogelijk zou moeten zijn met Kubernetes maar dat gaat me vooralsnog en brug te ver maar zeker de moeite waard om me in te verdiepen.

Eigenlijk dus distributed storage pool. Bestaat zoiets?

[Brahiewahiewa]

Verwijderd schreef op donderdag 4 november 2021 @ 13:19:
Hi,

Ik heb een hypothetisch geval.
Mijn NAS loopt vol met zijn opslag maar ik heb nog wel wat Raspberry's liggen en oude schijven. Is het mogelijk om een platform te creëren die verdeeld is over meerdere systemen / hardware en samen één storage pool vormen.

Voorbeeld, kan ik de opslag van mijn NAS combineren met ftp ruimte van een VPS, harde schijf van een familie lid op een andere locatie met een Raspberry?

Ik denk zelf dat dit mogelijk zou moeten zijn met Kubernetes maar dat gaat me vooralsnog en brug te ver maar zeker de moeite waard om me in te verdiepen.

Eigenlijk dus distributed storage pool. Bestaat zoiets?

Tuluk bestaat dat. Maar eerlijk gezegd ben ik van mening dat je daar zelf ook wel wat google skills in had kunnen investeren

En je kunt natuurlijk ook al wel voorspellen dat e.e.a. nogal afhankelijk is van de netwerkverdingen tussen de individuele apparaten; verwacht geen sub-second response tijden van de NAS van je zusje 100km verderop

[Verwijderd]

Brahiewahiewa schreef op donderdag 4 november 2021 @ 14:34:
[...]

Tuluk bestaat dat. Maar eerlijk gezegd ben ik van mening dat je daar zelf ook wel wat google skills in had kunnen investeren

En je kunt natuurlijk ook al wel voorspellen dat e.e.a. nogal afhankelijk is van de netwerkverdingen tussen de individuele apparaten; verwacht geen sub-second response tijden van de NAS van je zusje 100km verderop

Ik kom niet verder dan GlusterFS en DFS maar zijn dat ook de dingen die ik bedoel, ik ben eigenlijk op zoek naar ervaringen hierin.

[Brahiewahiewa]

Verwijderd schreef op donderdag 4 november 2021 @ 14:35:
[...]


Ik kom niet verder dan GlusterFS en DFS maar zijn dat ook de dingen die ik bedoel, ik ben eigenlijk op zoek naar ervaringen hierin.

Denk dat de storage oplossingen die jij noemt zich meer lenen voor een (personal) cloud oplossing.
Althans, iets wat niet meteen stuk gaat als de netwerkverbinding er een keertje uitligt maar daar gracefully van recovert

[downtime]

Verwijderd schreef op donderdag 4 november 2021 @ 13:19:

Ik heb een hypothetisch geval.

Je hebt geluk. Hypothetisch kan alles.

Mijn NAS loopt vol met zijn opslag maar ik heb nog wel wat Raspberry's liggen en oude schijven. Is het mogelijk om een platform te creëren die verdeeld is over meerdere systemen / hardware en samen één storage pool vormen.

Praktisch kun je dat wel vergeten. Dit soort distributed storage oplossingen werken eigenlijk altijd met meerdere soortgelijke apparaten. SMB en FTP en random andere zaken aan elkaar koppelen gaat niet werken. Wel zou je op elke RPI een SMB fileshare kunnen aanmaken en die dan via DFS als 1 disk (met elke fysieke share als subfolder eronder) kunnen aanbieden. Maar dan heb je dus wel een server nodig die de DFS share zelf host. Ik weet niet of een NAS dat kan doen.

[Verwijderd]

Wel zou je op elke RPI een SMB fileshare kunnen aanmaken en die dan via DFS als 1 disk (met elke fysieke share als subfolder eronder) kunnen aanbieden. Maar dan heb je dus wel een server nodig die de DFS share zelf host. Ik weet niet of een NAS dat kan doen.

Wordt dat dan gezien als één grote schijf? Maar dat is allemaal in een LAN, zou dat ook werken over een VPN over meerdere locaties denk je?

[pennywiser]

DRBD

Je opmerking over Kubernetes plaats ik niet helemaal icm met jouw vraag. Met Kubernetes distribueer je een container platform, en knoop je niet zomaar storage aan elkaar.

[ Voor 95% gewijzigd door pennywiser op 04-11-2021 15:05 ]

[Verwijderd]

pennywiser schreef op donderdag 4 november 2021 @ 15:01:
DRBD

Je opmerking over Kubernetes plaats ik niet helemaal icm met jouw vraag. Met Kubernetes distribueer je een container platform, en knoop je niet zomaar storage aan elkaar.

DRBD looks promising, kan zijn wat ik bedoel ja.

Voor wat het stukje Kubernetes betreft, dan heb ik dat verkeerd begrepen, ik heb er nog nooit mee gewerkt. Ik nam aan dat dat een gedistribueerde software laag was, niet alleen voor containers. Thanks voor de uitleg.

[nvaert1986]

Verwijderd schreef op donderdag 4 november 2021 @ 13:19:
Hi,

Ik heb een hypothetisch geval.
Mijn NAS loopt vol met zijn opslag maar ik heb nog wel wat Raspberry's liggen en oude schijven. Is het mogelijk om een platform te creëren die verdeeld is over meerdere systemen / hardware en samen één storage pool vormen.

Voorbeeld, kan ik de opslag van mijn NAS combineren met ftp ruimte van een VPS, harde schijf van een familie lid op een andere locatie met een Raspberry?

Ik denk zelf dat dit mogelijk zou moeten zijn met Kubernetes maar dat gaat me vooralsnog en brug te ver maar zeker de moeite waard om me in te verdiepen.

Eigenlijk dus distributed storage pool. Bestaat zoiets?

Wat voor NAS gebruik je? Bestaan daar geen Expansion Bay's voor (deze heb je tegenwoordig met NAS storage). Anders ie een grotere / betere NAS kopen de beste / veiligste oplossing

Als alternatief: Je kunt van een Raspberry Pi een GlusterFS server (even Googlen op GlusterFS Raspberry Pi en je vindt er informatie over) maken met externe storage. Vervolgens kun je deze storage dan op je NAS mounten en gebruiken als je een echte budget oplossing wil. Deze RAW storage evt. weer toevoegen aan een LVM pool en klaar. Aangeraden is dit echter zeker niet. Bij 1 stroomstoring of hik heb je grote kans op data corruptie. Dit is echt enkel in high-end professionele omgevingen aangeraden waar er UPS voorzieningen zijn.

[Verwijderd]

nvaert1986 schreef op vrijdag 5 november 2021 @ 09:27:
[...]


Wat voor NAS gebruik je? Bestaan daar geen Expansion Bay's voor (deze heb je tegenwoordig met NAS storage). Anders ie een grotere / betere NAS kopen de beste / veiligste oplossing

Als alternatief: Je kunt van een Raspberry Pi een GlusterFS server (even Googlen op GlusterFS Raspberry Pi en je vindt er informatie over) maken met externe storage. Vervolgens kun je deze storage dan op je NAS mounten en gebruiken als je een echte budget oplossing wil. Deze RAW storage evt. weer toevoegen aan een LVM pool en klaar. Aangeraden is dit echter zeker niet. Bij 1 stroomstoring of hik heb je grote kans op data corruptie. Dit is echt enkel in high-end professionele omgevingen aangeraden waar er UPS voorzieningen zijn.

Thanks, dit had ik inderdaad ook gevonden. Het gaat me niet zozeer om de nas want ik kan nog schijven erbij prikken, het was echter wel de aanleiding. Ik weet dat je bij Nextcloud bijvoorbeeld extra space kan toevoegen middels Google Drive en volgens mij ook Dropbox. Dus toen dacht ik; zoiets zal toch ook kunnen met Linux? GlusterFS lijkt het inderdaad te zijn maar ben inderdaad wel bang voor corruptie en redundantie.