Dataset opslag service.

[ThiemoSeysMCT]

Mijn vraag:
Er werd mij gevraagd om op een kostenefficiënte wijze een dataset bestaande uit foto's op te slaan in de cloud.

Relevante software:
Hiervoor heb ik gekeken naar de volgende services: Azure Storage(File, Disk, Blob en Avere vFXT) en ook de respectievelijke Amazon diensten zoals Amazon Simple Storage Service (Amazon S3), Amazon FSx Lustre.

Wat ik al geprobeerd heb:
Na al die services te vergelijken kwam Azure Blob storage er als goedkoopste uit en viel de performace nog goed mee. Wel vroeg ik mij af of er misschien toch nog een betere dienst hiervoor bestaat?

Alvast Bedankt voor het meedenken!

[boyette]

wat voor functionaliteit heb je nodig?

[Room42]

Je geeft echt veel te weinig info over wat je ermee wilt doen, @ThiemoSeysMCT. Hoe moet de data toegankelijk zijn, waarvoor wordt het gebruikt, hoeveel data betreft het, hoeveel traffic/requests verwacht je? Dat heeft allemaal impact op de oplossing én op de prijs.

[ThiemoSeysMCT]

Excuseer voor de beperkte info, hieronder wat meer uitleg.

De dataset bevat momenteel 1200 foto's maar dit zal nog sterk groeien. In principe zou dit moeten werken met tienduizenden foto's wat ongeveer een dataset zou opleveren van rond de 100gb. Veel meer zal het zeker niet worden.

De foto's worden minstens elke maand in een python progamma ingelezen om zo neurale netwerken te trainen. Momenteel is dit elke maand maar dat zal maximaal oplopen tot 4x per maand vaker zal het zeker niet zijn. Moesten de foto's aanspreekbaar zijn met een python library zou dit ideaal zijn.

Alvast bedankt voor de snelle reacties!

[ Voor 7% gewijzigd door ThiemoSeysMCT op 18-04-2020 18:25 . Reden: extra info ]

[boyette]

worden elke maand in een programma ingelezen
maar daar moeten we dus meer over weten

hoe werkt dat programma
op welke manieren kan het verbinden met cloud opslag..

welke connectie methodes heeft het
of moet het een lokaal gemount drive zijn?

[ThiemoSeysMCT]

Het is een programma geschteven in python, nu wordt er gebruikt gemaakt van de azure storage blob library. Dit is de standaard python library van Azure Blob Storage om in python te communiceren met Azure Blob Storage. De foto's worden via deze library gedownload en lokaal opgeslagen om ze zo te kunnen inlezen in een numpy array om hierna dan ze te voeden aan een neuraal netwerk. Dit is gemaakt met Tensorflow/Keras

Het moet dus geen lokaal gemounte drive zijn maar een service waar foto's van kunnen gedownload worden naar een lokaal medium.

Een andere optie om nog te verbinden moest er geen python library voor bestaan is via een REST api.

[Room42]

Wat betalen jullie daar nu dan voor?

Je noemt AWS S3, maar welke storage class heb je bekeken? Als ik het zo lees, is S3 Standard Infrequent Access voor jullie goed. Als je dan de python scripts met Lambda draait, is de datatransfer het goedkoopst (tabje data transfer). De data gaat dan niet het internet op ($0.09 per GB) maar naar een region ($0.02 per GB). Qua opslag ben je dan $0.0135 per GB x 100 = $1,35 per maand kwijt.

edit:

Gewoon S3 lijkt toch goedkoper.

Even een calculatie gemaakt, op basis van 10000 bestanden die je eenmaal per maand uploadt en 4x per maand downloadt:


Als je dus binnen AWS blijft (bijvoorbeeld met Lambda of een EC2 instance), scheelt dat dus net geen 28 euro per maand.

Bij Azure ben ik niet zo goed op de hoogte van de storage class opties, dus dat zou ik moeten onderzoeken.

[ Voor 33% gewijzigd door Room42 op 19-04-2020 17:26 ]