Cloud storage? Google Filesystem? Hardware/Software hiervoor

[campr112]

Ok, deze topic is om feedback te krijgen van de storage-tweaker-community.

Stelling: Je wilt een groot (cloud is altijd groot) storage platform opzetten a la GFS (google filesystem). Dat wordt dus opgebouwd uit run-of-the-mill PC componenten en netwerken. Dit om de kosten van aanschaf laag te houden.

Mijn idee was, je pakt het volgende, Atom gebaseerde, pico-itx moederbord:

Hier zitten 2 SATA poorten op, en 1x Gbit netwerk poort. Je zet hier 2x 2.5" schijven onder en maakt dit tot een soort module. Specs van het bordje zijn trouwens hier te vinden: http://campr2.demon.nl/ga...d/12886-1/motherboard.JPG Specs van de 500Gbyte 2.5" schijven hier: http://campr2.demon.nl/ga...ry/d/12893-1/harddisk.JPG

Je hebt dan voor 7.6Watt 1Tbyte aan storage die aan het netwerk kan hangen met 1Gbit (Max mogelijk maar iets van 30Mbyte/sec) connectivity. En alles wat je qua voeding nodig hebt is 5V. Als je dit een beetje slim verpakt kan je heel wat Tbytes kwijt in 1U/2U rack ruimte. Ik dacht zelf aan een soort uitklapbare shelf a la de google server:


Al de Gbit kabels die hier uit voort komen zet je op een Cisco Catalyst 4948-10GE poorts switch:
http://www.cisco.com/en/U...etin0900aecd80246560.html

Voor software zou ik gaan voor een Linux oplossing, vooral om licentiekosten te vermeiden. Er zijn nog weinig Open-Source cloud-based file systemen (toch?). GlusterFS is er eentje van: http://gluster.com/products/index.php (Maar wel met kosten?)


Kom op, schieten! Iemand een beter idee voor hardware of software? Ik ben wel benieuwd!

Robert

[Q]

Ik vraag me af of je oplossing kosten / energie en ruimte efficiënt genoeg is. Je hebt 1 UTP aansluiting per TB nodig. Dat worden een hele hoop kabels + switches. Stop de waarden in een excelsheet en reken het allemaal eens door?

Het idee van een soort van simpele modules is niet verkeerd. Onderstaand voorbeeld is ook zoiets, alleen dat iets groter qua schaal.

Misschien leuk om te zien:

http://blog.backblaze.com...uild-cheap-cloud-storage/

Iets met laptop schijfjes doen is geen verkeerd idee, omdat ze veel kleiner zijn en zuiniger. Echter, zijn 2 laptopdisks zuiniger dan een enkele 1 TB disk? Of 3 voor 1,5 TB?

Als je zo'n storage pod kon bouwen op basis van laptop disks dan kun je aardig wat data kwijt per server.

[ Voor 39% gewijzigd door Q op 06-11-2009 22:29 ]

[campr112]

Hun uitgangspunt is alleen iets anders, ze backen het 1x op, en dan laten ze het staan. Ze missen dus wat google bijvoorbeeld wel heeft, Throughput. Hele mooie oplossing die ze daar gebouwd hebben, goedkoop en zeer effectief voor wat ze het nodig hebben.

Laptop schijven van 500Gig nemen ~1.34-1.7W/500Gig.. Een EcoGreen 1.5Tbyte schijf is 5.2-6.3W
Dus 3x500G laptop is 5.1W max verbruik terwijl de Ecogreen 1.5Tbyte 6.3W max is.. Dus ja, verassing! Het is zuiniger... En dan is de 2.5" schijf nog een 5400 toeren schijf, voor een 4200 valt het nog gunstiger uit, die verbruikt max 1.5W/stuk.. Dus maar 4.5W Bijkomend voordeel is ook dat de hele oplossing in 5V gemaakt kan worden, 12V is niet meer nodig, Het is dus mogelijk een efficientere voeding te bouwen.

Je moet qua stroomverbruik wel iets verder kijken dan je neus lang is. Om 3Tbyte aan storage te maken heb je voor 3.5" schijven maar 1 controller nodig, dat zijn er voor 2.5" schijven al 3! Dus voor 3Tbyte:
2.5": 6x disk, 3x controller= 24W 5V
3.5": 2x disk, 3x controller= 17.6W 12V&5V

Dus ja, 3.5" is zuiniger... 640Gbyte 2.5" HDs pakken zal wat helpen, maar niet veel.

Qua volume:
2.5" schijf is 66.36 cm^3
3.5" schijf is 389.42 cm^3
Een 3.5" schijf is dus bijna 6 keer zo groot (qua volume) als een 2.5" schijf voor 'maar' 3x zoveel opslag ruimte... Ik had niet verwacht dat het verschil zo groot zou zijn.. En gezien een controller ongeveer de maat heeft van 2x 2.5" schijven, speel je qua volume redelijk kiet.

Met 2.5" schijven ben je dus wel wat meer vermogen en netwerkpoorte kwijt, maar je hebt ook een hoop meer performance.

De 2.5" oplossing kost ook een hoop meer, de schijven zijn ongeveer 2x zo duur en je hebt meer controllers nodig. Maarja, je moet ook maar kiezen tussen drie dingen (en je mag er twee kiezen):
1. Kosten
2. Volume
3. Snelheid

Als je klein/snel wil, gaat het duur worden. Als je snel en goedkoop wilt, gaat het ten kosten van de ruimte.

Ga binnenkort maar eens aan de slag met Sketchup om te kijken hoeveel er in een 19" rack passen, en dan wel modulair ge-installeerd, zodat ze ook nog vervangbaar zijn.

[campr112]

En nog iets veel coolers waar ik nu achterkom:
Je kan deze oplossing dus aan een PoE poortje hangen. Zo'n poort levert max 15.4W (volgens Cisco) op 48V. Het enige nadeel van PoE? 10/100 only, geen 1000Mbit... Jammer...

Cisco's kunnen wel meten hoeveel iedere poort gebruikt, dus zo kan je ook weer in de gaten houden of er schijven stilstaan (en dus kapot zijn). Enige nadeel van Cisco's? Meestal geen redundante voedingen.

Cool....

Rob

[campr112]

Ga dit weer oppakken, gezien 1Tbyte 2.5" schijven nu uit zijn. Vanavond wat meer berekeningen.

[campr112]

WDBlue zijn voor 1 Tbyte 1.7W/stuk.

Dus in totaal voor 2Tbyte storage zit je op 8.4W!
Da's wel heel weinig voor een NASje.. Dat betekend gewoon dat je met een 3A 5V (15W) al uit de voeten kunt (opstarten trekt wat meer).

[Xorsist]

Klinkt als een heel intressant project. Het staat of valt alleen met de kosten van je bordjes.
Als je onder linux bijvoorbeeld MooseFS zou gebruiken dan heb je een distributed FS waar je geen kosten aan hebt.
Raid 0 is leuk maar je hebt geen redundantie, zou mogelijk zijn met eerder genoemd FS maar ja kosten van de HDD's gaan dan zwaar op je begroting wegen. Bij (op moment van schrijven) van 130 euro per Tb gaat het erg hard als je zaken als redundantie in wilt gaan bouwen.
Dan word het de vraag of het verschil in verbruik van 3,5" schijven opwegen tegen de hoeveelheid schijven welke aangeschaft moeten worden voor dezelfde storage grootte.
Ik heb even het verhaal doorgerekend in excel maar het verschil in aanschaf billijkt het verschil in verbruik na 5 jaar nog niet. Dan praat ik alleen nog maar over de harde schijven.

code:

product verbruik (W)    verbruik/2 (W)  kosten aanschaf verbruik/jr (Kwh)   verbruik in euro    kosten na 5 jaar
Western Digital Scorpio Blue, 1TB SATA-300, 8MB, 5200rpm    1,7 3,4 € 260,00    29,784  € 7,45  € 297,23 
Western Digital Caviar GreenPower WD20EARS, 2TB 6       € 100,00    52,56   € 13,14     € 165,70 
Western Digital Caviar GreenPower WD10EARS, 1TB 5,4 10,8    € 56,00     94,608  € 23,65     € 174,26

Excuses voor mijn lack in tabel skills, doe ik normaal niet aan.

Ik heb de Greenpower 1TB erbij gezet en dan zie je dat de kosten na 5 jaar hoger zijn als van de 2 TB uitvoering. Daarentegen billijkt dat het verschil met de aanschafprijs van de 2,5"scorpio's nog steeds absoluut niet.

[ Voor 11% gewijzigd door Xorsist op 10-08-2010 20:01 ]