Hoe bouw je een storage-oplossing van 1 petabyte?

[Q]

Op het moment van schrijven zijn de prijzen van harde schijven bespottelijk hoog. Het 10+ TB show off topic is daarom ook erg stil.

Om de tijd te doden vind ik het wel leuk om met elkaar eens na te denken hoe je een storage-oplossing met een totale capaciteit van 1 petabyte kan bouwen. Dat is ongeveer 1000 terrabyte. Probeer het je voor te stellen.

Duizend terrabyte.

Waarom is het leuk om na te denken over het opzetten van zoveel storage? Omdat je dit niet meer rond krijgt met een groot chasis en een paar diskjes. Denk ik.

Maar hoe dan wel?

Laten we voor de discussie wel wat vereisten vast stellen.

1. De netto capaciteit moet minimaal 1 petabyte zijn
2. De capaciteit moet als 1 vollume beschikbaar zijn, dus als 1 file system. Als ik een df -h of onder Windows de eigenschappen opvraag van het volume wil ik 1 petabyte zien.
3. De storage hardware moet redundant zijn, verlies van een disk mag niet tot dataverlies leidens.
4. Als storage over meerdere systemen wordt verdeeld moet de uitval van 1 systeem niet tot dataverlies leiden.
5. De oplossing moet beschermen tegen datacorruptie, indien mogelijk.
6. Open source technologie heeft een voorkeur
7. Hou het zo goedkoop mogelijk
8. het moet schalen in capaciteit en performance.

Je kunt EMC opbellen, maar we willen het goedkoop houden en bovendien: dat is niet leuk. Je mag voor je ideeën best afkijken hoe andere storage partijen dit doen. Hoe doen de nieuwsgroepenproviders dit?

Iemand suggesties?

[wagenveld]

Dan moet je al een heel rack vol storage doosjes met een soort overlappende interface aanspreken. Dus zeg 10 doosjes met elk 135TB in een rack, interface zorgt voor een volume over de 10 doosjes heen. Moet je wel je eigen software schrijven denk ik?
Nummers even hiervan gestolen: http://blog.backblaze.com...-0revealing-more-secrets/

[Q]

Daarmee behandel een hoop vereisten niet. Hoe ga je er voor zorgen dat die 10+ doosjes een samenhangend geheel worden? Daar ligt het interessante stuk.

[ Voor 12% gewijzigd door Q op 17-11-2011 21:04 ]

[wagenveld]

Dit ziet er interessant uit: http://ceph.newdream.net/

[nislim]

Dit kan misschien ook interessant zijn: Wikipedia: Clustered file system

[SpamLame]

Voort bordurend op wagenveld's voorzet

-Elke pod heeft interne redundantie (RAID/ZFS)
-Elke pod serveert een LUN uit aan een "controller"
-De "controller" smeed dat weer samen in een RAID/ZFS volume, waarbij een enkele pod mag uitvallen
-De "controller" serveert een LUN of share aan zijn host(s) van 1PB+

Een pod gebaseerd op die van BB met 135TB aan RAW diskspace met 3*15 disk R6 maakt 117 TB unformatted. Ik geef een spanned LUN uit van (ik stel) 100TB aan de "controller"

Dan zit ik met 10 pods (=10 100TB LUN's) aan de 1PB echter geen redundatie op uitval van een pod
Dus nog vier pods erbij, maakt 14 LUN's van 100PB.
Daar maak ik weer een 14* 100TB R6 volume van met hotspare wat mijn netto capaciteit op 1.1PB brengt.
Geen redundatie op uitval van de controller.

14 pod behuizingen (a 4U? wellich dat je dan met een 55U KPN kast wegkomt)
490 spindels voor opslag (490*€200=€98000 aan disken alleen)
1 behuizing voor de controller
backend netwerk (IB FC Eth wat je wilt) en interfaces
software, zolang ze maar volumes kan spannen en als 1 LUN aanbieden

Volgens mij zijn alle punten dan afgetikt..

[The Eagle]

Gewoon kopen

http://www.oracle.com/us/...lar-axiom-600-488677.html

Scales to 1.6 PB capacity

More info: http://www.oracle.com/us/...r-axiom-600-ds-487458.pdf

[moppentappers]

Mogelijk iets met glusterFS? Ik kan me best voorstellen dat als je allemaal mensen met glasvezel wat storage laat aanbieden je die petabyte wel zou kunnen halen. Zeker als je bijvoorbeeld zorgt dat wanneer je bijvoorbeeld 2TB toevoegt aan de pool je 1TB prive data op het storage cluster mag zetten voor persoonlijk gebruik, redundante storage wordt dan ineens behoorlijk goedkoop.

[Mr_gadget]

Al eerder langsgekomen: 67 Petabytes, bij Backblaze
Die prijzen van de harddisks in hun verhaal zullen alleen wel niet meer kloppen...

[redfoxert]

Mr_gadget schreef op donderdag 17 november 2011 @ 23:02:
Al eerder langsgekomen: 67 Petabytes, bij Backblaze
Die prijzen van de harddisks in hun verhaal zullen alleen wel niet meer kloppen...

120 dollar voor een 1.5TB disk komt anders nog aardig in de richting ?

[ItsValium]

Als je het allemaal goed bekijkt is dit best makkelijk doenbaar.

1 SuperServer 2026T-URF4+ als filer heads met eender welke vorm van ZFS distro gevuld met SSD's als cache en 2 super high end processoren, afgeladen met RAM en LSI kaartjes ... Wil je echt full redundancy dat zal dit waarschijnlijk niet opensource zijn en moet je er twee van aanschaffen.

10 * SuperChassis 847E26-RJBOD (45disk jbod met expander backplane) gevuld met 3tb disks.

Config van de volumes en de JBOD's vraagt wat denkwerk, maar je kan er zo perfect boven de petabyte uitkomen zonder al te veel kopzorgen en met bergen performance (10gbit ethernet van de head naar het netwerk)

Redelijk betaalbaar gezien de eis van min. 1 petabyte en redundancy ...

Heb op de zaak iets soortgelijks draaien (al is de totale capaciteit slechts 16 TB verdeelt over 4 JBOD's met twee volledig redundante filerheads) en werkt super...

[ Voor 17% gewijzigd door ItsValium op 17-11-2011 23:29 ]

[S-A-I-N-T]

Met Isilon!!

http://www.isilon.com/ex-series

[Q]

Ik ben zelf qua design niet zo gecharmeerd van een enkele head die dan de pods als 1 virtuele disk ontsluit. Dit schaalt niet en je hebt een spof. Hoe Los je dat op?

[heuveltje]

redfoxert schreef op donderdag 17 november 2011 @ 23:13:
[...]


120 dollar voor een 1.5TB disk komt anders nog aardig in de richting ?

Nu weer wel ja

[PeterPan]

Interessant topic. Ik vraag me ook af hoe bijvoorbeeld Backblaze dit doet. Die individuele 'pods' begrijp ik wel, maar hoe ze daar een redundant filesystem overheen leggen is volgens mij een eigen oplossing.
Volledig redundant met ook meerdere 'heads', ik weet niet of daar standaard open source oplossingen voor zijn.

[sl1000]

Zo gek zijn dit soort hoeveelheden heden ten dage helemaal niet meer hoor
Een klant van mij heeft een omgeving met meer dan 5 Petabyte netto. een ander gebruikt een sl8500 tape library system i.c.m. 2 buffer eva's om 15 petabyte te ontsluiten. (soort archief systeem)

Alleen het in één volume aanspreken van zoveel data is volgens mijn weten niet mogelijk met de standaard commercieel beschikbare storage systemen. de meeste hebben upper limits op de maximale grootte van de luns die ze kunnen aanbieden. Op bijvoorbeeld de XP24000 is het geloof ik iets van 60TB.

ik ben dus wel benieuwd welke commerciele storage oplossingen ook daadwerkelijk een volume van die grootte aan een host kunnen aanbieden.

[Q]

Volgens mij kan ipsilon oid dat, van emc. Dit schaalt volgens henzelf tot 10 petabytes.

@SL1000, hoe is dit bij de klant opgebouwd? Waarvoor zoveel storage?

[ Voor 64% gewijzigd door Q op 18-11-2011 19:18 ]

[Q]

wagenveld schreef op donderdag 17 november 2011 @ 21:28:
Dit ziet er interessant uit: http://ceph.newdream.net/

Dit is zeker gaaf, want het is veel veiliger dan Lustre.

Lustre heeft een groot gebrek: 1 OSD dood en je data is weg. Zie ook mijn blog post:
http://louwrentius.com/bl...isk-of-serious-data-loss/

[hostname]

wagenveld schreef op donderdag 17 november 2011 @ 20:57:
Dan moet je al een heel rack vol storage doosjes met een soort overlappende interface aanspreken. Dus zeg 10 doosjes met elk 135TB in een rack, interface zorgt voor een volume over de 10 doosjes heen. Moet je wel je eigen software schrijven denk ik?

Dat denk ik niet. Je kan onder Linux gewoon raw block devices exporteren over het netwerk (weet even niet meer exact welke techniek ervoor gebruikt werd, iSCSI oid?). Vervolgens kan je die allemaal gewoon weer in een array gooien op je interface en gaan. Dan zit je alleen wel met een SPOF. Je zal waarschijnlijk inderdaad naar een cluster filesystem moeten gaan kijken wil je het helemaal zonder SPOF oplossen.

[begintmeta]

Bij Hitachi/Isilon/whatever gaan shoppen/(afkijken)?

Ik heb geen (betrouwbaar) idee

[ Voor 61% gewijzigd door begintmeta op 18-11-2011 20:06 ]

[sl1000]

Q schreef op vrijdag 18 november 2011 @ 19:07:
Volgens mij kan ipsilon oid dat, van emc. Dit schaalt volgens henzelf tot 10 petabytes.

@SL1000, hoe is dit bij de klant opgebouwd? Waarvoor zoveel storage?

Het schalen tot die grootte is het probleem niet. Als de box het niet met internal storage kan, dan kun je er wel modulair external storage achter "klikken". maar echt via fcp, fcoe, of iscsi zo'n volume aan een host aanbieden dat levert volgens mij meer puzzels op dan je op het eerste gezicht zou denken . ik ben het tot nu toe nog niet tegen gekomen iig. (ook de noodzaak voor dit soort grote volumes niet, maar dat terzijde).
'k vraag me bv af hoe je dat ooit moet backuppen / restoren binnen een redelijke termijn.

[sl1000]

hostname schreef op vrijdag 18 november 2011 @ 19:22:
[...]

Dat denk ik niet. Je kan onder Linux gewoon raw block devices exporteren over het netwerk (weet even niet meer exact welke techniek ervoor gebruikt werd, iSCSI oid?). Vervolgens kan je die allemaal gewoon weer in een array gooien op je interface en gaan. Dan zit je alleen wel met een SPOF. Je zal waarschijnlijk inderdaad naar een cluster filesystem moeten gaan kijken wil je het helemaal zonder SPOF oplossen.

bluearc is in dat geval errug gaaf. (Helaas) net overgenomen door Hitachi.
ik zit me daar momenteel in te verdiepen