X Petabyte Backup/Archive

[grrrommm]

Hi,

ik ben op zoek naar een disk archive systeem die kan schalen in de petabytes(10+) en vroeg me af of iemand hier ervaring mee heeft e/o mij kan helpen aan wat informatie (soortgelijke projecten).

Ik zoek een oplossing die:

- Niet snel hoeft te zijn (dit in verhouding tot enterprise oplossingen zoals EMC)
- Modulair is qua opbouw (uitbreidbaar); begin punt is 1 Petabyte schaalbaar naar 10 Petabytes.
- Betrouwbaar; een backup zal wekelijks gemaakt worden (van dit systeem). Een failure van het systeem is negatief, maar zeker niet dramatisch.
- Goede/geweldige verhouding Peta/euro.

Zou top zijn als iemand mij een project kan aanwijzen waar ze een soortgelijke oplossing hebben geïmplementeerd.

Zelf al gekeken naar o.a. Blazeserver (niet bestendig genoeg) / QNAP TS-EC1679U-RP (goede prijs / kwaliteit).

Bedankt!!!

[Q]

Welkom op GOT

Dit is niet een vraag voor een consumenten forum maar voor een bedrijf gespecialiseerd in grotere storage oplossingen?

[ Voor 85% gewijzigd door Q op 13-04-2013 12:02 ]

[Perkouw]

Je vraag is nu wel erg breed geformuleerd, wat voor budget moeten we denken niet alleen qua aanschaf maar ook qua draaiende houden van het geheel ?

Je kan gaan voor backblaze servers met 45 disks, je kan ook gaan voor andere oplossingen van HP en dergelijke waar je 2.5'' disks gebruikt. Of je kan gaan voor Norco behuizingen.

Wil je de beste verhouding qua peta/euro dan lijkt me voor de hand liggen dat je voor een backblaze server gaat, dit is simpelweg de goedkoopste manier. Voor nu komt je vraag erg over als een helpdesk-vraag (lees, geen goede onderbouwing/uitleg etc.) en zoek je, lijkt mij, een zakelijke oplossing. Hier kan je beter bedrijven voor inhuren die hier in gespecialiseerd zijn.

Kijk anders ook hier even rond -> Storage showoff topic - 10+ TB storage systems

Edit: Je spreekt trouwens over een wekelijkse back-up van ''dit'' systeem, bedoel je daarmee de storage oplossing of ?

[ Voor 21% gewijzigd door Perkouw op 13-04-2013 12:13 ]

[grrrommm]

Hey,

Bedankt voor de reacties, de vraag is idd wel erg breed met het doel ook wat creatiever oplossingen te vinden. Ik zoek zeker een zakelijke oplossing, misschien is dat niet de bedoeling van dit forum (gezien de vorige reactie). Mocht dat zo zijn, dan hoor ik dat graag.

Ik ga eens kijken naar Norco.

Cheers.

[XanderDrake]

Tenzij je er vele ruggen voor over hebt, zou ik meer richting een mooie grote kast (a lá Stacker) en vervolgens een low power system maken en FreeNAS erop zetten.

[Verwijderd]

Als je het hebt over een Coolermaster Stacker dan heb je een nogal grote hal nodig om al die kasten kwijt te kunnen.... Er kunnen dacht ik 7 schijven in * 3TB = 21, heb je zo'n 50 kasten nodig voor 1PB.

[edit]Er moet ergens een artikel zijn over een backup leverancier en Google hoe die custom cases gebruiken om zo goedkoop mogelijke storage te creëren.

[ Voor 27% gewijzigd door Verwijderd op 13-04-2013 13:16 ]

[M2M]

Er is dan eigenlijk maar 1 manier...

http://blog.backblaze.com...uild-cheap-cloud-storage/

[Verwijderd]

Jaaa, die bedoelde ik M2M.

[M2M]

tja, dat blijft de beste oplossing voor gigantische storage needs, schaalbaarheid zo goedkoop mogelijk

[Perkouw]

grrrommm schreef op zaterdag 13 april 2013 @ 12:49:
Hey,

Bedankt voor de reacties, de vraag is idd wel erg breed met het doel ook wat creatiever oplossingen te vinden. Ik zoek zeker een zakelijke oplossing, misschien is dat niet de bedoeling van dit forum (gezien de vorige reactie). Mocht dat zo zijn, dan hoor ik dat graag.

Ik ga eens kijken naar Norco.

Cheers.

Zelfs voor creatieve oplossingen zijn er meer details nodig als een budget e.d., maar helemaal als basics wat is het doel van het systeem (lees waarvoor gaat het gebruikt worden).

Een creatieve oplossing is die van backblaze, je kan hier natuurlijk ook zelf mee aan de haal gaan echter raad ik je, wederom, aan om hier specialisten voor in te schakelen. En dan niet alleen voor het ontwerpen van een case waar mogelijk meer disks in kunnen maar ook wat betreft de bekabeling e.d.

En ook zoals eerder gezegd, goedkoper ga je het niet vinden.

[ Voor 9% gewijzigd door Perkouw op 13-04-2013 13:14 ]

[XanderDrake]

Verwijderd schreef op zaterdag 13 april 2013 @ 13:00:
Als je het hebt over een Coolermaster Stacker dan heb je een nogal grote hal nodig om al die kasten kwijt te kunnen.... Er kunnen dacht ik 7 schijven in * 3TB = 21, heb je zo'n 50 kasten nodig voor 1PB.

Mijn stacker 830 kunnen 3 4-in-1 modules, gekoeld en zonder proppen. Das dus 12 schijven.
12 x 4TB = 48 * 20 kasten = kleine PB
20 kasten. Tja.

[Mijzelf]

Archive.org heeft zijn eigen PetaBox ontwikkeld met als belangrijkste eis een gunstige PB/$ verhouding. Dit product is (was?) ook te koop via Capricorn Technologies.
Mogelijk is deze oplossing wel duurder dan nodig voor de OP, aangezien die PetaBox ook redelijke toegangstijden nodig heeft door de aard van archive.org (publiek toegankelijke internet backups).

[Verwijderd]

XanderDrake schreef op zaterdag 13 april 2013 @ 13:21:
[...]

Mijn stacker 830 kunnen 3 4-in-1 modules, gekoeld en zonder proppen. Das dus 12 schijven.
12 x 4TB = 48 * 20 kasten = kleine PB
20 kasten. Tja.

Haal de module met de usb poorten en aan/uit knop eruit en je kan er 4 in kwijt. 16 schijven dus. Blijft een wereldkast maar ik snap niet dat ze zelf niet bedacht hadden dat die module beter elders geplaatst had kunnen worden.

[Perkouw]

Mijzelf schreef op zaterdag 13 april 2013 @ 13:22:
Archive.org heeft zijn eigen PetaBox ontwikkeld met als belangrijkste eis een gunstige PB/$ verhouding. Dit product is (was?) ook te koop via Capricorn Technologies.
Mogelijk is deze oplossing wel duurder dan nodig voor de OP, aangezien die PetaBox ook redelijke toegangstijden nodig heeft door de aard van archive.org (publiek toegankelijke internet backups).

Van diezelfde pagina;

It is now in the fourth version. General specs are:
24 disks per 4U high rack units
10 units per rack
running Ubuntu
240 disks of 2 TB/each per rack

Mijn bak heeft 45 disks, en daar kan je dus 180TB (45x4TB) in kwijt. 24 disks is niet speciaal, kijk naar de Norco cases.

[jacovn]

Waar ik gewerkt heb stonden EMC oplossingen als je over petabytes sprak. Vaak meerdere 4 of 8 gbps fiberchannel conneties naar een SAN toe.
Want je kunt wel zo veel opslag hebben, je moet ook je data erop/eraf kunnen krijgen.
Ik weet niet meer precies hoe groot ze waren in opslag capaciteit, maar ik dacht 0.8 - 1.2 petabyte of zo.
Dat was dan 2 kubieke meter kast met fans erin waar spreken tot op een paar meter onmogelijk is.
Dit is 5 jaar terug, het zal wel veel kleiner zijn nu lijkt me.

[grrrommm]

Hartelijk dank voor alle reacties!!

Wat meer info:

- Budget is ~ 100K Euro per PetaB; network switch (Cisco 6509 per kast, 42U).
- Per node minimaal 2x 10 Gb (uitgaande dat je ~ 15 nodes hebt per Peta, dus 30x 10 Gb/s). Het doel is niet om veel iops te krijgen maar vooral veel data kwijt te kunnen met een redelijke snelheid (zeker geen EMC high-end, oid)
- Het doel is om van ongeveer 500 verschillende nodes (o.a. ook verbonden met EMC SAN, andere lokaal) een backup te maken (dus virtual tape liberary). Dit archief word dan door de week op tape gezet. De backups zelf zijn geen petabytes (backup window is wel erg groot)
- Voor het filesystem (ZFS waarschijnlijk) ideeen welkom.

We gebruiken al EMC VNX series.

Cheers!!!

[ Voor 7% gewijzigd door grrrommm op 13-04-2013 21:31 ]

[Perkouw]

Goed budget weten we nu, maar stroomkosten e.d. zijn irrelevant ?
Nogmaals, je kunt hiervoor het beste contact opnemen met professionals dan de vraag hier op het forum te stellen. Goed bedoeld overigens.

[ Voor 51% gewijzigd door Perkouw op 13-04-2013 21:20 ]

[grrrommm]

Snap ik, weet alleen dat hier ook professionals zitten. Mocht iemand een goede partij kennen, met "open" ideeën, dan zou ik dat graag horen.

Stroomkosten en KVA per rack, niet relevant.

Bedankt

[ Voor 22% gewijzigd door grrrommm op 13-04-2013 21:34 ]

[Q]

Met zo'n budget en er dan zo goedkoop vanaf proberen te komen

De apparatuur is het minste van je problemen, het gaat om het design en hoe je denkt de data te gaan ontsluiten + hoe je groter gaat schalen. En hoe ga je al die data van je clients af halen naar je backup storage toe binnen een redelijke tijd zonder een te grote belasting van de productie storage?

Vragen, vragen vragen.

Je kunt beter een onafhankelijke storage prof inhuren, dat moet makkelijk kunnen van dat budget die gewoon ff lekker met je gaat zitten en alles helemaal tot in detail uitwerk en even heel goed met je mee denkt over wat je echt wilt.

[ Voor 59% gewijzigd door Q op 14-04-2013 01:10 ]

[redfoxert]

Als je doel is een backup oplossing te maken hiermee dan moet je eens met je EMC reseller gaan praten over Avamar. Als het echt om storage gaat is misschien Datadomain van EMC een oplossing?

100k per PB is een behoorlijk scherp budget. Met 4TB disks hou je iets meer dan 50k over per "node" voor de rest van je metaal. die eerste 45k gaan alleen al op aan (goedkope) 4TB disken. Denk je echt dat je het daar mee red, inclusief netwerk connectivity?

[jacovn]

Een cisco 65xx scaled niet echt goed (80 gbps per slot, en cisco telt niet eerlijk met in- en uitgaand verkeer optellen)
Wellicht is een cisco nexus met een fex per kast slimmer ?

In een 42 U rack kun je dan 10 stuks 4U servers kwijt, en 1 maal een 2U fex (32 x10 ge voor 10k $)
Heel veel geaffenceerde layer3 afhandeling hoef je toch niet te doen lijkt me

[Q]

Het is ook raadzaam om na te rekenen of de investering in 10Gbit het waard is, tov iedere machine een 4x1GB bond te geven en alleen je backbone op 10Gbit te zetten indien nodig.

Ik ken dit soort oplossingen niet goed, maar hoe ontsluit je 1 petabyte in deze context? Ga je 1 petabyte NTFS volume maken, of dat sharden ofzo weet ik het?

[ Voor 46% gewijzigd door Q op 14-04-2013 11:36 ]

[Snow_King]

Is een distributed opslag systeem als Ceph niets? Daar kan je gewoon simpele dozen bij blijven prikken en jij hoeft niets te doen.

Je moet er alleen voor zorgen dat je de data op dat systeem krijgt. De distributie over alle nodes wordt daarna voor je geregeld.

[CAPSLOCK2000]

Op mijn werk spelen we met de gedachte om Ceph te gaan gebruiken in combinatie met HP-P2000's. Zo'n HP-P2000 is een vrij eenvoudige doos met schijven, die zetten we wel vaker in als we simpele storage nodig hebben. Die willen we aansluiten op een eenvoudige server waar we dan Ceph op draaien. Ceph moet zorgen voor high-availability. Dit plan is nog niet verder dan het "leuk idee" stadium.

[Q]

Ik werk met wat P2000 spul maar dat schaalt niet in het budget wat de TS gaf. Voor grote storage moet je ook gaan denken aan clustering. Lustre of ceph bijvoorbeeld. Hoe mature is Ceph?

P2000 is leuk entry-level spul, maar best duur als building block voor je 1 PB storage.

Als het mijn geld zou zijn zou ik zeker zo'n backblaze pod setup overwegen.

[ Voor 17% gewijzigd door Q op 14-04-2013 15:28 ]

[grrrommm]

CEPH....goede tip! dank ervoor.

[Q]

Q schreef op zondag 14 april 2013 @ 15:25:
Hoe mature is Ceph?

De eerste stable is van 2012. De 2e stable is van 2013. Weet niet of ik daar mijn infra op zou baseren, maar tja.

[Snow_King]

Q schreef op zondag 14 april 2013 @ 15:25:
Ik werk met wat P2000 spul maar dat schaalt niet in het budget wat de TS gaf. Voor grote storage moet je ook gaan denken aan clustering. Lustre of ceph bijvoorbeeld. Hoe mature is Ceph?

Het POSIX filesystem (CephFS) moet je nog even van weg blijven, maar de componenten zoals RADOS en RBD zijn al stabiel en kan je prima mee werken.

Ik weet van meerdere 1PB+ setups die al een flinke tijd in productie zijn.

[Q]

Snow_King schreef op zondag 14 april 2013 @ 19:55:
[...]
Het POSIX filesystem (CephFS) moet je nog even van weg blijven, maar de componenten zoals RADOS en RBD zijn al stabiel en kan je prima mee werken.

Ik weet van meerdere 1PB+ setups die al een flinke tijd in productie zijn.

Die jij hebt helpen opzetten

[grrrommm]

redfoxert schreef op zondag 14 april 2013 @ 01:51:
Als je doel is een backup oplossing te maken hiermee dan moet je eens met je EMC reseller gaan praten over Avamar. Als het echt om storage gaat is misschien Datadomain van EMC een oplossing?

100k per PB is een behoorlijk scherp budget. Met 4TB disks hou je iets meer dan 50k over per "node" voor de rest van je metaal. die eerste 45k gaan alleen al op aan (goedkope) 4TB disken. Denk je echt dat je het daar mee red, inclusief netwerk connectivity?

Zeker, niet met EMC, maar wel met oplossingen die hier voorgesteld worden. Maar goed, zal ze eens vermaken met de vraag

[Snow_King]

Q schreef op zondag 14 april 2013 @ 20:02:
[...]


Die jij hebt helpen opzetten

Die heb ik niet gebouwd, niet iedereen wil 1PB hebben Neemt niet weg dat ik de mensen die ze gebouwd hebben wel ken en er tevreden over zijn.

1PB opslag bouwen is voor Ceph geen uitdaging.