Waarom duurt S3 Glacier Deep Archive 12 uur?

[dev000]

Ik overweeg Amazon S3 Glacier Deep Archive in te zetten voor een paar projecten van mij. Ik heb vele gigs aan gegevens van oude data die eigenlijk weg kan maar die ik toch wil bewaren. Maar de prijs van S3 Glacier Deep Archive is zo laag (1$ per Tb per maand) dat ik die wil gebruiken als nood archief.

Maar weet iemand hoe dit werkt? Ik lees dat het 12 uur kan duren voordat je je data weer kunt benaderen. Zou dit betekenen dat dit fysiek ergens op tapes wordt opgeslagen in een grote kluis en dat een Amazon medewerker de tape uit het archief moet halen als je iets terug wilt recoveren? Hoe zou dit werken?
En heeft iemand hier al ervaringen mee?

[blubbers]

dev000 schreef op vrijdag 21 februari 2020 @ 14:30:
Ik overweeg Amazon S3 Glacier Deep Archive in te zetten voor een paar projecten van mij. Ik heb vele gigs aan gegevens van oude data die eigenlijk weg kan maar die ik toch wil bewaren. Maar de prijs van S3 Glacier Deep Archive is zo laag (1$ per Tb per maand) dat ik die wil gebruiken als nood archief.

Maar weet iemand hoe dit werkt? Ik lees dat het 12 uur kan duren voordat je je data weer kunt benaderen. Zou dit betekenen dat dit fysiek ergens op tapes wordt opgeslagen in een grote kluis en dat een Amazon medewerker de tape uit het archief moet halen als je iets terug wilt recoveren? Hoe zou dit werken?
En heeft iemand hier al ervaringen mee?

Ik kan niet geloven dat 2020 er nog data op tapes in een doos bewaard worden. Ik zou eerder denken dat deze dedicaded storages niet 24/7 draaien? En wanneer je deze dan opvraagt tot de storage ingeschakeld is?

[Bor]

Het systeem is bedoelt voor long time retention en archivering voor data waar je niet snel bij hoeft. Performance is geen hoofddoel.

Wat heb je zelf al ondernomen om tot een antwoord op jouw vragen te komen? Een eerste zoektocht in Google legt het eea al uit namelijk.

IT-Pro legt het doel mooi uit:

AWS S3 Glacier Deep Archive is an AWS storage solution designed to archive data that will be rarely--if ever--accessed.

AWS S3 Glacier has always served as a solution for data archiving. Most organizations have data that they need to keep for an extended period of time, even if that data is not actively being used. However, there is a big difference between archived data that gets accessed once in a while, and archived data that must be retained but that will probably never be accessed again. This is where Amazon’s new S3 Glacier Deep Archive comes into play. S3 Glacier Deep Archive is a solution for storing archive data that only needs to be accessed in the rarest of circumstances.

[ Voor 63% gewijzigd door Bor op 21-02-2020 14:39 ]

[The Eagle]

Dr zijn nog bedrijven zat die tapes gebruiken. Maar dat was niet het punt
Ontopic: Misschien helpt dit om het te doorgronden: https://aws.amazon.com/bl...ass-glacier-deep-archive/

Verder geen ervaring mee, maar de crux van dit soort dingen zit hem er meestal in dat het spul bij lange na niet online beschikbaar hoeft te zijn. Azure heeft ook zoiets, daarbij moet de data eerst wat zij noemen "rehydrated" worden voor je hem kunt benaderen. Het is bedoeld als long term storage voor spul dat je jaren niet hoeft of wilt te benaderen, maar wel wilt of moet bewaren. Afhankelijk van je use case (denk aan wettelijke bewaartermijnen) kan dat een hele interessante optie zijn.

[dev000]

Bor schreef op vrijdag 21 februari 2020 @ 14:36:
Wat heb je zelf al ondernomen om tot een antwoord op jouw vragen te komen? Een eerste zoektocht in Google legt het eea al uit namelijk.

Daar was ik al achter. Maar mijn vraag is: hoe werkt dit? (wordt dit op tapes opgeslagen en gebeurt dit handmatig)

[Bor]

dev000 schreef op vrijdag 21 februari 2020 @ 14:38:
[...]


Daar was ik al achter. Maar mijn vraag is: hoe werkt dit? (wordt dit op tapes opgeslagen en gebeurt dit handmatig)

Daar doet Amazon geen uitspraken over afaik. Het is een cloud dienst. De achterliggende techniek is eigenlijk voor de afnemer niet interessant en kan veranderen over tijd.

[ Voor 18% gewijzigd door Bor op 21-02-2020 14:40 ]

[Malantur]

Uit het FAQ:

Q: What is the backend infrastructure supporting the S3 Glacier storage class?

In general, AWS does not disclose the backend infrastructure and architecture for our compute, networking, and storage services, as we are more focused on the customer outcomes of performance, durability, availability, and security. However, this question is often asked by our customers. We use a number of different technologies which allow us to offer the prices we do to our customers. Our services are built using common data storage technologies specifically assembled into purpose-built, cost-optimized systems using AWS-developed software. S3 Glacier benefits from our ability to optimize the sequence of inputs and outputs to maximize efficiency accessing the underlying storage.

[Rannasha]

dev000 schreef op vrijdag 21 februari 2020 @ 14:38:
[...]


Daar was ik al achter. Maar mijn vraag is: hoe werkt dit? (wordt dit op tapes opgeslagen en gebeurt dit handmatig)

Dat is natuurlijk een bedrijfsgeheim van Amazon. Her en der zijn er verschillende bronnen die speculeren over verschillende technieken. Bijvoorbeeld gewoon op tapes of met goedkope harddisks die uitgeschakeld blijven tot ze nodig zijn.

Overigens zal er ongetwijfeld weinig handmatig werk in zitten. Tape-opslag op grote schaal kan gewoon met robots gedaan worden. Zie bijvoorbeeld dit filmpje dat de tape-robot in het datacentrum van CERN laat zien.

[Orion84]

Heb mijn ruwe foto en videomateriaal een tijd in Glacier opgeslagen gehad als backup, via de glacier app op een Synology NAS.

Één keer gebruikt voor het restoren van 250GB aan data na een disk crash. Duurt inderdaad even voor de restore start en je wilt de boel zo instellen dat hij niet alle data in 1 klap opvraagt want dan kan het snel in de papieren lopen. Maar wat ik me herinner had ik alles binnen een week terug. Prima voor archief materiaal zoals in mijn geval, wat je dus niet stante pede nodig hebt.

Is wel al weer een aantal jaar geleden en zit inmiddels al weer een aantal jaar op de C2 dienst van Synology zelf. Dus weet niet hoe representatief mijn ervaring nog is.
Zie voor het hele verhaal: Orion84 in "[Synology] Backup strategieën en tools"

[ Voor 21% gewijzigd door Orion84 op 21-02-2020 15:01 ]