Welke S3 compatible open source software

[pinockio]

Momenteel gebruik ik back-upsoftware die compatible is met o.a.:

Amazon S3
Azure (blobs)
Backblaze

Het gaat om CloudBerry.

Nu is opslag bij Amazon en Azure vrij duur; in de Backblaze cloud een stuk goedkoper maar ik wil voor privébestanden eigenlijk een eigen cloud opzetten. Op den duur met replicatie zodat ik tussen thuis en het werk kan repliceren.

Cloudberry heeft over de mogelijke oplossingen al wat informatie online gezet:
https://www.cloudberrylab...orage-vendors-comparison/

Minio

Minio is an open source object storage solution written mostly in Go. It offers an API for integrating with S3 object storage servers, as well as a command-line interface that can communicate with S3. The command-line interface also allows you to work with object storage data using familiar Unix commands, like ls and diff.

OpenStack Swift

Swift is the object storage component within OpenStack, an open source platform for building cloud environments. Although Swift is open source, it is developed primarily by SwiftStack, a commercial object storage vendor.

Ceph
Ceph is an open source storage platform developed primarily by Red Hat, with contributions from a number of other organizations and individuals.

Ik heb Minio getest maar dit liep vast op het feit dat de TLS-encryptie die Minio gebruikt (in de howto die ik vond) niet compatible is met Cloudberry.

Ik ben vrij handig met vMware ESXi en Linux maar howto's zonder fouten en gebaseerd op up to date software is niet altijd te vinden.

Het mooiste zou zijn een open source VM (appliance) maar zoiets heb ik nog niet kunnen vinden. In sommige gevallen is ook een vSphere server noodzakelijk.

Heb je ervaring met het ene of andere pakket en wil je dat delen? Ga je gang

[Freeaqingme]

Wat zijn je eisen/wensen tav dingen als availability?

[pinockio]

Hoe betrouwbaarder hoe beter.
Op termijn wil ik een tweede locatie gaan koppelen voor replicatie.

De hardware bestaat momenteel uit uitgefaseerde servers die nog wel betrouwbaar zijn - 2x Dell T420 servers met elk 2x 8 core CPU en 8-bay RAID (RAID6) optie.

99.9999999999 beschikbaarheid is niet realistisch, dat weet ik wel.

Aanvankelijk ga ik het als testsysteem opzetten, als het betrouwbaar blijkt te zijn ga ik er meer mee doen.

Betrouwbaarder dan bijvoorbeeld ESXi of Linux hoeft het niet

Aanvulling op wat hierboven staat: De betaalde versie van ESXi is nodig voor vSphere server. Dat wil ik dus niet. Het gaat om een zo goedkoop mogelijke oplossing, het liefst open source. In principe wil ik alleen de schijven kopen. De rest van de hardware (servers, routers, switches) is aanwezig.

In mijn ervaring kan elk systeem een keer uitvallen, dataverlies is erg maar niet onoverkomelijk. Bedenk dat het BACKUP data is; de software biedt ook de optie voor hybride backup met daarbij dus lokale backups.

DUS: wie heeft ervaring met dergelijke systemen?

OK, niemand dus.
Mijn keuze heb ik gemaakt:

Swift vereist Openstack, dat is overkill
Ceph werkt alleen op RedHat (vervelende rpm-distro)

Het enige wat ik nodig heb is object storage... verder niets.

[ Voor 24% gewijzigd door pinockio op 29-12-2018 09:06 ]

[hans_lenze]

iets als Minio? https://github.com/minio/minio

[Sjnirk]

Vergelijk je het trouwens met S3 - glacier?

Als je daar nog mogelijke aanschaf van servers + stroomverbruik bij gooit, vraag ik me af of het zo 1-2-3 veel goedkoper wordt.

[CAPSLOCK2000]

Ceph werkt op ieder Linux-distro.
Ik draai het momenteel uit Docker images, dat is helemaal distributie onafhankelijk.
Je hebt het over een VM. Het is niet onmogelijk om je storage te virtualiseren, maar er zitten wel wat haken en ogen aan. Niet in het minst de vraag of je nog wel bij je backups kan als alles stuk is, of dat je dan eerst je VM-omgeving terug moet halen van backup...

[pinockio]

Minio heb ik getest, zie boven, ik kwam wat haken en ogen tegen, maar dt lijkt nu de beste kanshebber.

Amazon Glacier is niet te vergelijken met bijv. Azure storage qua retrieval speed; dat is mijn benchmark. Amazon S3 storage wel. Ik vergelijk het ook met BackBlaze.
Er zitten trouwens meer kanten aan deze discussie, zoals de AVG.

Met 8x8 TB in RAID6 kom ik op ca. 48 TB opslag; hiervoor betaal je bijvoorbeeld per maand € 192 bij BackBlaze en € 960 bij Microsoft (Azure). Amazon S3 storage (niet Glacier) is duurder.

CAPSLOCK2000:
Docker images: ook interessant, maar ik denk er op zich niet aan om bovenop VMWare Linux te draaien en dan daar bovenop weer Docker. Om als main OS een Linux distributie te draaien op deze servers kan natuurlijk ook, maar mijn ervaringen met ESXi zijn zo goed dat ik de flexibiliteit ervan erg ben gaan waarderen. Ook is het mogelijk om native Linux storage te gebruiken (EXT4) door Raw Device Mapping.

Voorlopige keuzes:
3rd party of eigen Cloud? (Amazon S3 / Glacier / BackBlaze / Azure of eigen cloud ?)
Voorlopig: Azure + Eigen cloud

Welk object storage systeem? Minio / Ceph / Swift? Minio

Welke redundancy? RAID6 + in de toekomst replicatie over twee locaties.

Welk type virtualisatie? ESXi

[ Voor 17% gewijzigd door pinockio op 02-01-2019 06:05 ]