Storage showcase topic - 50+ TB storage systems

[Q]

Een NAS is een NAS. ESXI draai je maar op een andere doos. Gebruik je NAS dan als ISCSI target. Maar hou zaken gescheiden. Zou ik zeggen. Dan hou je het simpel.

[ Voor 13% gewijzigd door Q op 16-08-2012 21:08 ]

[VorCha]

Q schreef op donderdag 16 augustus 2012 @ 21:08:
Een NAS is een NAS. ESXI draai je maar op een andere doos. Gebruik je NAS dan als ISCSI target. Maar hou zaken gescheiden. Zou ik zeggen. Dan hou je het simpel.

Waarom? de 'grote jongens' doen het ook
http://www.vce.com/vblock/

[FireDrunk]

Ik zie op die site nergens dat ze de storage in de ESXi server hebben zitten...

[VorCha]

FireDrunk schreef op donderdag 16 augustus 2012 @ 23:43:
Ik zie op die site nergens dat ze de storage in de ESXi server hebben zitten...

letterlijk gezien zit de storage inderdaad niet in de ESXi, het zijn dan weliswaar 3 x 42U Rackkasten, toch wordt een vblock als 1 geheel gezien en geplaatst. Hypervisor, storage en netwerk in 1 dus.
In ieder geval zou ik me niet willen vastpinnen op dat een NAS en een Hypervisor per definitie gescheiden zouden moeten zijn en/of blijven.
Sterker nog, in ieder geval jij FireDrunk weet dat ik de 2 probeer te combineren.

[KorneelB]

VorCha schreef op vrijdag 17 augustus 2012 @ 10:13:
[...]

letterlijk gezien zit de storage inderdaad niet in de ESXi, het zijn dan weliswaar 3 x 42U Rackkasten, toch wordt een vblock als 1 geheel gezien en geplaatst. Hypervisor, storage en netwerk in 1 dus.
In ieder geval zou ik me niet willen vastpinnen op dat een NAS en een Hypervisor per definitie gescheiden zouden moeten zijn en/of blijven.
Sterker nog, in ieder geval jij FireDrunk weet dat ik de 2 probeer te combineren.

dus als ik een Dell storage solution koop, een dell rack met switches, en een dell rack met dell virtualizatie bakken, en daar een grote sticker op plak die overal overheen gaat, dan is het 1 oplossing?

het gaat hier om een discussie dat 1 fysieke machine niet zowel storage als virtualizatie moet doen. dat is echt iets heel anders dan de door jou in het voorbeeld genoemde oplossing.

[DDX]

Dell heeft al kan en klare oplossingen :

http://www.dell.com/us/en...ion-infrastructure?~ck=bt

[Q]

Als je dezelfde doos voor storage en voor virtualisatie gebruikt ben je een prutser. Geen van de gegeven voorbeelden tonen aan dat zo'n groot bedrijf zo mallotig is. Zelfs al ben je een cheapskate thuis dat je wilt combineren: doe het niet. Storage hou je gescheiden van de rest. Dan blijf je ook flexibel en het is beter voor de beschikbaarheid. Aan die storage doos kom je niet. Wat je met je virtualisatie platform loopt te fucken maakt niet uit.

[ Voor 18% gewijzigd door Q op 18-08-2012 00:21 ]

[brederodekater]

Q schreef op zaterdag 18 augustus 2012 @ 00:20:
Storage hou je gescheiden van de rest. Dan blijf je ook flexibel en het is beter voor de beschikbaarheid.

Ik heb twee VMs draaien op mijn server en heb tot op de dag van vandaag nog nooit enige vormen van problemen ondervonden. Ik noem het een efficiënte & veilige manier om zaken zo logischerwijs gescheiden te houden.

Weliswaar staan de VMs niet op m'n 12-disk array vanwege de constante I/O, wat voorkomt dat de spindown functie niet werkt. Ze staan daarom op een aparte 4-disk RAID-5.

Geef eens een wat uitgebreidere onderbouwing van je stelling?

[GioStyle]

Ik denk dat Q bedoelt dat je VM's op je storage staat. Als je je VM's en storage op dezelfde bak heb, maar je houdt het gescheiden zie ik voor thuisgebruik het probleem niet zo.

[FireDrunk]

Ik vind juist dat 2 systemen lastiger beschikbaar te houden zijn dan 1. Bij 2 systemen die afhankelijk zijn, betekend downtime lagere beschikbaarheid voor beide systemen.
Bij een one-in-a-box systeem heb je maar 1 systeem te onderhouden, en vooral voor thuis, kan je dus aan 1 systeem werken, of niet. Niet meer en niet minder.

Als je alles in losse stukjes hebt gestopt, kan prutsen aan 1 schakel je hele systeem platleggen.

[thof]

FireDrunk schreef op zaterdag 18 augustus 2012 @ 10:33:
Ik vind juist dat 2 systemen lastiger beschikbaar te houden zijn dan 1. Bij 2 systemen die afhankelijk zijn, betekend downtime lagere beschikbaarheid voor beide systemen.
Bij een one-in-a-box systeem heb je maar 1 systeem te onderhouden, en vooral voor thuis, kan je dus aan 1 systeem werken, of niet. Niet meer en niet minder.

Als je alles in losse stukjes hebt gestopt, kan prutsen aan 1 schakel je hele systeem platleggen.

Ook de snelheid hoog houden lijkt mij een groter issue bij twee losse systemen. Single link Gigabit ethernet volstaat wellicht voor een enkele VM, maar bij meerdere kan het dan al lastig worden. Dan zal er meer gekeken moeten worden naar glasvezel of infiniband oplossingen, wat de kosten ook weer laat stijgen. Voor thuisgebruik mogelijk niet rendabel, voor bedrijfsmatig gebruik mogelijk wel.

[FireDrunk]

En het single-point-of-failure syndroom bij bedrijven helpt ook altijd...
Bedrijven willen alles maar scheiden zodat het minder kapot zou gaan... Maar als de storage het niet doet staat toch 90% van je datacenter effectief stil...

[Q]

Daarom hebben bedrijven vaak ook dubbele SAN storage. Liefst gescheiden locaties. Storage is zo'n beetje het gevoeligste stukje. Daarom zet je storage op en dan blijf je er met je poten 100% van af, behalve leverancier-approved updates. Als extra veiligheidsmaatregel zorg je voor backups. Maar dat is je allerlaatste redmiddel want het duurt een eeuwigheid om terrabytes terug te restoren, afhankelijk van de technologie.

Menigeen hierzo zal thuis geen backups maken. Slechts een enkeling heeft het geld er voor over om een dual NAS/SAN setup te bouwen.

Des te meer reden om van je NAS/Storage af te blijven. Flikker een separate machine neer waar je lekker mee gaat kloten, met KVM XEN VMware HyperV whatever. Gigabit is meestal niet zo'n issue en wat is er mis met teaming / multipath iscsi? Stop een quad port nic in je machines en klaar.

Het scheiden van systemen is een hele goede aanpak, want het ontvlecht je infrastructuur en maakt alles eenvoudiger. Dat staat los van redundacy, door bijvoorbeeld clustering, dat je er voor zorgt dat je individuele hosts down kunt brengen voor onderhoud zonder downtime.

Je gaat niet zozeer scheiden omdat het dan minder kapot gaat, je gaat scheiden om het beheersbaar te houden, dat is iets anders. Het gevolg kan wel zijn dat je minder downtime hebt omdat er minder snel verstoringen optreden.

[ Voor 22% gewijzigd door Q op 18-08-2012 15:05 ]

[Dadona]

Q schreef op zaterdag 18 augustus 2012 @ 00:20:
Als je dezelfde doos voor storage en voor virtualisatie gebruikt ben je een prutser. Geen van de gegeven voorbeelden tonen aan dat zo'n groot bedrijf zo mallotig is. Zelfs al ben je een cheapskate thuis dat je wilt combineren: doe het niet. Storage hou je gescheiden van de rest. Dan blijf je ook flexibel en het is beter voor de beschikbaarheid. Aan die storage doos kom je niet. Wat je met je virtualisatie platform loopt te fucken maakt niet uit.

Door harder te schreeuwen krijg je niet opeens je gelijk.
Ik zie je punt wel, maar vergelijkingen blijven listig en naar mijn idee kun je in dit geval kun je een bedrijfs- en thuisomgeving niet met elkaar vergelijken.

Diverse bedrijven zullen met VMs schuiven over systemen, al naar gelang de workload. Het stelt ze in staat dat ze systemen uit kunnen schakelen. Maar om zo dynamisch en efficiënt om te kunnen gaan met systemen moet de storage wel elders (centraal) staan. Dan heb ik het nog niet eens over efficiënties ten aanzien van koeling, redundancy, ..

In een thuissituatie zul je toch vaak zien dat er VMs worden ingezet omdat het systemen kan uitsparen, veelal is één enkel systeem al krachtig genoeg. De flexibiliteit van schuiven en migratie zal voor velen minder relevant zijn. Gaat de laatste VM uit, dan mag de storage ook uit en daarmee het totale systeem.

Het neemt niet weg dat ik ook een tweede 'NAS' zou invoeren, maar dan wel degelijk één voor calamiteiten. In mijn geval is dat een afgeslankte versie die de hoog kritische VMs en data op identieke wijze kan aanbieden.

[VorCha]

'VorCha is voortaan een prutser'

Sorry Q, je argument dat je niet aan je NAS prutst maar wel aan de hypervisor vind ik een argument van niets. Beide zijn in ieder geval voor mij kritiek genoeg om aan beide niet te veel te willen prutsen. Als ik dat wel doe, dan heb ik backups en fallbacks. Het single-point-of-failure principe is ook al benoemd, als mijn NAS uitvalt heb ik niets meer aan mijn ESX en andersom het zelfde

De reden dat ik wel wil prutsen met mijn colocatie doos is praktisch, ik heb daar 1U ter beschikking en wil het vooralsnog niet uitbreiden.

Beroepsmatig zal de vraag om hypervisor en storage te combineren mij niet snel gesteld worden, gelukkig wordt ik wel betaald om 'out-of-the-box' te denken.

Een andere overweging is stroomverbruik. 2 systemen is toch weer meer stroomverbruik. En zeker thuis is dat ook een factor van overweging. Maar goed, dit is het 10TB+ showoff topic en niet het zuinige server topic.

[DDX]

Reden dat veel bedrijven (doen wij op werk ook) externe storage hebben is dat je dan idd gebruik kan maken van vmware failover opties ed.
Maar voor fysieke server laat ik storage graag lokaal, want idd zoals je aangeeft als je probleem heb met je san is alles opeens down.

[nielsdc]

Q schreef op zaterdag 18 augustus 2012 @ 15:00:
Daarom hebben bedrijven vaak ook dubbele SAN storage. Liefst gescheiden locaties. Storage is zo'n beetje het gevoeligste stukje. Daarom zet je storage op en dan blijf je er met je poten 100% van af, behalve leverancier-approved updates. Als extra veiligheidsmaatregel zorg je voor backups. Maar dat is je allerlaatste redmiddel want het duurt een eeuwigheid om terrabytes terug te restoren, afhankelijk van de technologie..

Het scheiden van systemen is een hele goede aanpak, want het ontvlecht je infrastructuur en maakt alles eenvoudiger. Dat staat los van redundacy, door bijvoorbeeld clustering, dat je er voor zorgt dat je individuele hosts down kunt brengen voor onderhoud zonder downtime.

Je gaat niet zozeer scheiden omdat het dan minder kapot gaat, je gaat scheiden om het beheersbaar te houden, dat is iets anders. Het gevolg kan wel zijn dat je minder downtime hebt omdat er minder snel verstoringen optreden.

Helemaal mee eens, de zaken eenvoudig houden is het meest belangrijk. In mijn ervaring hebben clusters in veel gevallen een lagere uptime dan een enkele server, omdat het de omgeving veel complexer maakt.Meestal weet de beheer organisatie daar niet goed mee om te gaan, wat regelmatig voor problemen zorgt. In theorie mooi, en het kan goed werken als het goed beheerd word, maar in de praktijk is dat zelden het geval. Politiek gezien kan de kwaliteit van de beheer organisatie nooit besproken worden tussen leverancier en klant (en redundancy is vaak een eis), en dus gaat het vaak mis. KISS werkt...

[FireDrunk]

Zo heb ik ooit bij een bedrijf gezeten waar ze de AD DC op een desktopje hadden draaien...
Ik begon in eerste instantie te steigeren, maar later bleek dat ze 4 van die boxjes reserve hadden liggen...

Prik -> prik -> restore

[-Venom-]

Hebben jullie met dit weer geen problemen qua koeling? ik merk hier dat alles een graad of 15 warmer word dan normaal.

Ik heb er uit voorzorg maar eens een ventilator voor gezet voor wat extra koeling
(die kan ik zelf ook wel gebruiken trouwens )

[brederodekater]

Ik zat er inderdaad over na te denken om m'n bak uit te zetten, maar de schijven bleven redelijk stabiel op maximaal 41 graden. Rond 20:00 zette m'n vrouw de deur van de studeerkamer open

[Jormungandr]

Q schreef op zaterdag 18 augustus 2012 @ 15:00:
Daarom hebben bedrijven vaak ook dubbele SAN storage. Liefst gescheiden locaties. Storage is zo'n beetje het gevoeligste stukje. Daarom zet je storage op en dan blijf je er met je poten 100% van af, behalve leverancier-approved updates.

Dat je het maar weet. In combi met de warmte is dit weekend een heel plezier geweest voor onze on-call mensen. Leuk telefoontje hoor als de airco uitvalt, de klant z'n Symmetrix VMAX begint te vaulten, afsluit en alle ESX farms meesleurt.

Ben trouwens wel benieuwd hoe warm alles loopt in mijn 2U Norco. Vanavond maar eens een data collection starten.

[Hakker]

Ook hier max 41 graden geweest voor mijn schijven. normaal is de max 32 maar gezien het weer uitermate tervreden hoe mijn eigen bak het houdt.

anyways de boel hier ook maar eens dumpen.
Build log databeest

Databeest Specs
Case	Custom, zie buildlog en pics
Mobo	Supermicro X9-SAE-V
CPU	Intel Xeon E3-1265LV2
RAM	32 GB, 4x 8GB ECC
OS	ZFSguru (FreeBSD 10.3.004)
Controllers	IBM M1015 IT Flashed 2x HP SAS Expander
SSD	2x Intel Postville 160 GB (OS, ZIL)
Harddisks	1x RaidZ2 8x 3TB WD Green 1x RaidZ2 8x 4TB Hitachi 5K4000 1x RaidZ2 8x 4TB WD RED 1x RaidZ2 8x 6TB WD RED 1x RaidZ2 8x 10TB HGST HE10
capaciteit raw	216 TB storage
capaciteit bruikbaar	162 TB storage
Network	2x onboard 1 GB nics
power	~140 watt idle ~220 watt load

Update 26-1-2013:
nieuwe specs van de server aangezien de meeste hardware vervangen is ondertussen.
update2 21-9-2013
verbruik bijgezet omdat ik het eindelijk heb kunnen meten
update3 7-7-2014
nieuwe batch hdd's erbij
update4 12-10-2015
meer hdd's, geheugen verdubbeld en fan locaties veranderd zodat de airflow beter is geworden.
update5 8-12-2017
Moar space

[ Voor 135% gewijzigd door Hakker op 08-12-2017 14:40 ]

[dutch_warrior]

@Hakker
Mooie build, ben zelf ook een tijd geleden begonnen aan een soortgelijke case build.
Door wat prive problemen lag dat stil echter heb ik van het weekend het project weer opgepakt, ik zal binnenkort eens wat foto's online zetten .
Het mounting gedeelte voor de harddisks is het enigste grote onderdeel wat ik nog moest uitwerken, heb jij veel last van trillingen met de schijven in die u-profielen?

EDIT:
Ah ik lees al in je build-log dat je geen last hebt van resonantie , dan ga ik denk ik voor een soortgelijke oplossing kiezen tenzij dit gepatenteerde technologie is.

[ Voor 18% gewijzigd door dutch_warrior op 20-08-2012 17:00 ]

[Verwijderd]

Dat is een stoere HDD casing zeg! En ook mooie (custom?) SATA power. Zoiets wil ik in de toekomst misschien doen voor een 2,5" HDD/SSD NAS.

[ Voor 29% gewijzigd door Verwijderd op 20-08-2012 17:10 ]

[Q]

Heel erg leuk, custom case. Tweaker++. Die Corsair voeding kan geen toeval zijn.

[Q]

Jormungandr schreef op maandag 20 augustus 2012 @ 11:29:
[...]


Dat je het maar weet. In combi met de warmte is dit weekend een heel plezier geweest voor onze on-call mensen. Leuk telefoontje hoor als de airco uitvalt, de klant z'n Symmetrix VMAX begint te vaulten, afsluit en alle ESX farms meesleurt.

Anekdote die hier besproken mag worden. Zorg, lijkt me, altijd voor 2 fysiek gescheiden locaties met hun eigen stand-alone arcos zodat je een server room af kunt sluiten mocht de airco dood gaan.

Moet je wel monitoring hebben op temperatuur, anders staat alles te koken zonder dat je het door hebt. Eindgebruikers die bellen dat het systeem plat ligt is geen temperatuur monitoring, vind ik dan.

[jadjong]

Hakker schreef op maandag 20 augustus 2012 @ 12:32:
Ook hier max 41 graden geweest voor mijn schijven. normaal is de max 32 maar gezien het weer uitermate tervreden hoe mijn eigen bak het houdt.

anyways de boel hier ook maar eens dumpen.
Build log databeest

[afbeelding]
[afbeelding]
[afbeelding]

Wat is het?
Op het moment een enkele RaidZ2 array van 8x3 TB schijven. met 2x 160 GB intel Postvilles als boot en L2ARC & ZIL

grootte?
21 TB waarvan 15,5 TB bruikbaar (als je in windows kijkt)

Wat draai je?
FreeBSD 9.1 en ZFSGuru 0.20b6 van CiPHER

Ik vind die voedingsconnectoren erg strak naast elkaar zitten. Als je nu een disk wilt vervangen moet je in het ergste geval 8 offline halen. Met iets meer slack tussen de disks kan je makkelijker eentje er tussenuit vissen.

[brederodekater]

jadjong schreef op maandag 20 augustus 2012 @ 20:01:
[...]

Ik vind die voedingsconnectoren erg strak naast elkaar zitten. Als je nu een disk wilt vervangen moet je in het ergste geval 8 offline halen. Met iets meer slack tussen de disks kan je makkelijker eentje er tussenuit vissen.

Da's niks

[thalantis]

mooie build hakker, je schrijft dat je hem meeneemt naar een lan enzo, is dat niet heel bewerkelijk met die kabels?

[-Venom-]

Zow hey, dat is strak gemaakt en ideaal qua 'hotswap' daar heeft zeker wel wat tijd ingezeten om dat allemaal uit te meten en te maken?

[FireDrunk]

Dat is helemaal niet hot swappable.. Daar zijn de powerkabels niet lang genoeg voor

[Verwijderd]

Als de disks er aan de andere kant uit zouden kunnen, zou het wel mogelijk zijn.

[FireDrunk]

Lol, Met een hamer past kan alles

[Hakker]

De schijven zijn niet echt hot swappable. In theorie natuurlijk wel maar aangezien de PC erboven staat moet ik de boel wel los koppelen wil ik bij mijn schijven kunnen komen.
Maar hoe vaak moet je een schijf verwisselen... eens in het jaar misschien. Dat ding is voor storage en niet zozeer heel veel actief gebruik dus wat dat betreft lag daar ook niet mijn prioriteit. Ik wilde vooral veel opslag hebben wat ik makkelijk af kon breken en mee kon sleuren want ja de server gaat ook naar een paar LANs. Dan is het slepen van een Norco van 2 verdiepingen compleet gevult al een leuke opgave
Nu weegt het zwaarste 25 kilo en is 50x25x30 cm wat dus goed handelbaar is.

MAAR als het moet kan ik het zo hot swappable maken. Het is feitelijk niets meer dan langere kabels gebruiken dan dat ik nu doe, maar het heeft gewoon weinig zin daarnaast zo erg is het nu ook weer niet om een bak 10 minuten offline te hebben.

@CiPHER
De sata voedingsconnector is een Silverstone CP06. Kost iets van 7 euro maar daar kan je het zelf amper voor maken.

@dutch_warrior
nope de kast is geheel stil. Je moet de hdd's ook echt een beetje erin duwen omdat tijdens het bewerken ervan het aluminium al ietsjes buigt. Het belangrijkste is dat het U profiel 30 millimeter breed is met 2 millimeter dikke randen dus bv 30x20x2 of 30x15x2 en helaas die maat kan je niet bij de Gamma of Karwei halen.
Daarnaast alles staat bij mij op foam of rubber In het ergste geval zal ik het foam zo nu en dan moeten vervangen omdat het hard wordt maar dat bedrijf die dat spul maakt zit bij mij om de hoek en kost mij feitelijk een biertje voor de moeite

@thalantis
Ik hoef op het moment slechts 4 kabels los te koppelen. en als ik 1 kast vol heb praat ik over 9 kabels.
Ik heb 1 molex wat los moet. Deze heb ik voor de zekerheid verlengd dus als de molex kapot gaat hoef ik alleen een molex verleng kabeltje te wisselen.
2 tot 6 mini-sas to sata kabels en dat zijn locked kabels.
Als laatste 1 tot 2 kabels van de voeding zodat de sata power kabels los zitten.
Nou klitteband erom en je kan het zo in de HDD kast stoppen en vervoeren.

De enige kabel die echt problemen kan geven is de molex kabel maar dat heb ik opgelost door elke keer de verlengkabel los te koppelen. Als die het zou begeven dat is het gewoon een andere erop en je kan weer verder. Nee wat dat betreft gelukkig hebben we die nieuwe aansluitingen die heel wat robuuster zijn

@jadjong
Nou het zijn 4 schijven die los zouden moeten er zitten er nu 2 van 4 aan en moet de bak toch offline als ik een schijf moet vervangen. Dus of ik er dan 1 of 4 even los moet halen maakt dan weinig uit.

@ Q
Eigenlijk is het wel toeval. Het was tenslotte een voeding die ik had liggen van de PC die nu in ook in de server zit. Uiteindelijk zal ik waarschijnlijk toch moeten kijken naar bv een Silverstone 1500 watt. Niet omdat de Corsair het niet aan zou kunnen maar meer omdat je maar 500 watt kan gebruiken wat niet over de PCI-E aansluitingen gaan. de HX1000 heeft 2 12volt lijnen die tegen de 500 watt kunnen leveren. 1 is voor alle PCI-E aansluitingen om de voeding en de andere voor de rest.

[ Voor 43% gewijzigd door Hakker op 21-08-2012 16:13 ]

[Q]

Waarom is 'maar' 500 watt een issue?

[thalantis]

ja mijn norco 2 verdiepingen sjouwen is geen pretje maar altijd nog beter dan mijn kubus

[Jormungandr]

Ach, hotswap is lekker [H]ardcore . Voor thuissituaties is hotswap beperkt nuttig, maar ik ben toch blij dat ik mijn norco niet uit de rails moet halen en open moet vijzen voor 1 kapotte disk.

[Hakker]

Q schreef op dinsdag 21 augustus 2012 @ 20:39:
Waarom is 'maar' 500 watt een issue?

Omdat je praat over uiteindelijk 48 schijven en 3 controllers en waarschijnlijk ook nog wat de rest van de pc wat dan op die 500 watt moet werken.

1000 watt zelf is goed genoeg dus misschien eens met corsair eens mailen of het mogelijk is de pci-e aansluiting om te gooien naar sata versies en dan zou het in princiepe helemaal geen probleem moeten vormen, want dat heb ik beide 12 volt lijnen tot mijn beschikking.

Ik ben ook niet echt actief van plan om het nu al gelijk te doen ik kijk het gewoon eerst aan, maar ik denk niet dat ik het uiteindelijk zal gaan redden met slechts 1 12 volt lijn

[ Voor 14% gewijzigd door Hakker op 22-08-2012 19:34 ]

[FrankGNL]

Hardware

#	Product	Prijs	Subtotaal
1	IBM ServeRAID M5014	€ 269,95	€ 269,95
1	Seagate Barracuda 7200.11 ST310005N1D1AS-RK, 1TB	€ 81,45	€ 81,45
8	Seagate Barracuda Green ST2000DL003, 2TB	€ 96,90	€ 775,20
1	Western Digital Caviar Green WD6400AACS, 640GB	€ 0,-	€ 0,-
1	Fractal Design Define XL Titanium Grey USB 3.0	€ 125,-	€ 125,-
1	AMD FX-6100 Boxed	€ 105,80	€ 105,80
1	be quiet! Pure Power L8 630W	€ 66,45	€ 66,45
1	Samsung 830 series 256GB	€ 173,95	€ 173,95
2	Kingston KVR1333D3N9/8G	€ 35,02	€ 70,04
2	Kingston ValueRAM KVR1333D3N9K2/8G	€ 35,49	€ 70,98
1	Gigabyte GA-970A-UD3	€ 80,50	€ 80,50
Bekijk collectie Importeer producten		Totaal	€ 1.819,32

Op dit systeem staat VMWare ESXi5 geinstalleerd en alle systeem disken van de VM's staan thin prov. op de SSD schijf en additionele disken staan op een 640GB 7200RPM disk,
Verder heb ik een RDM van een 1TB schijf gemaakt en gepresenteerd aan de backup server.

Ik heb een RAID 5 configuratie met 8 x 2TB deze virtual disk zit als een RDM aan mijn file server.

Virtuele machines

OS/Appliance	Functie
Windows server 2008 R2	Domein Controller
Windows server 2008 R2[/td bgcolor=#fafafa]	File Server
Windows server 2008 R2	TMG
Windows server 2008 R2	Management
Windows server 2008 R2	Jumphost
Windows server 2008 R2	Backup
Windows server 2008 R2	Virtual Center
Windows server 2008 R2	SQL
Zabbix Appliance	Zabbix

Foto's

Hier een overzicht van het systeem .


Binnenkant.


Voorkant.


Achterkant.


MegaRAID Storage Manager.


Performance. met kopieren van de RAID naar SSD haal ik ongeveer 100mb/s


Hier de 1TB Backup disk en de RAID 5
Ik heb laatst de RAID her geconfigureerd, dus staat nog niet veel op

Omschrijving

Ik wil altijd meer, ik begon eerst met een normale pc met vmware workstation, toen ben ik overgestapt naar hyper-v maar nu zit ik goed bij ESXi.
Kwa storage ben ik begonnen met 2 x 4 in RAID 0 (mobo RAID), maar ik vond dit maar weinig, dus moest gaan kijken naar een RAID Controller die compatible was met VMWare , eerst wou ik de LSI 9260, maar het geld groeit me helaas niet op me rug, dus ben ik uiteindelijk bij de IBM uitgekomen, die exact hetzelfde is als de 9260, maar deze kaart heeft 265MB Cache en geen RAID 6.
Heb ik dit allemaal nodig, niet echt, maar vind het leuk om er mee te rommelen

Toekomst

Ik zit met verschillende ideeen in mijn hoofd, of ik ga naar een mobo voor 2 CPU en 12 geheugenbankjes of ik ga naar een grootere kast met een RAID controller met plek voor 16 disks.

[Verwijderd]

Wat moet je in hemelsnaam met een x aantal Terabyte?

Ik kom niet eens aan 400 GB.

[Dadona]

FireDrunk schreef op vrijdag 19 augustus 2011 @ 10:16:
Die vraag is al heel vaak langsgekomen

• Pr0n
• Backups
• Pr0n
• Films
• Pr0n
• Series
• Games
• Pr0n
• ISO's
• Pr0n
• Foto's
• En misschien een beetje pr0n

Neemt niet weg dat het wel aardig is om dit onderdeel te laten uitmaken van de standaard vragen.

[FireDrunk]

Treesize FTW

[ Voor 65% gewijzigd door FireDrunk op 23-08-2012 21:53 ]

[jjust]

McGreenNL schreef op donderdag 23 augustus 2012 @ 20:10:
........hele mooie build....

zo dat ziet er wel heel netjes uit.

Ik hoop dit weekend mijn server opnieuwd op te bouwen. Nu met een mobo die wel raidcontrollers ondersteund.

[sig69]

McGreenNL schreef op donderdag 23 augustus 2012 @ 20:10:
*knip* gelieve geen lange quotes posten als dat onnodig is.

Mooi hoor, maar maak een thumbnails aub? Volgens mij heb ik zojuist m'n halve databundel er doorheen gedraaid....

[ Voor 93% gewijzigd door Verwijderd op 24-08-2012 12:58 ]

[FireDrunk]

[sarcasme]3MB per foto maar joh :+[/sarcasme]

[The Executer]

sig69 schreef op donderdag 23 augustus 2012 @ 23:38:
[...]

Mooi hoor, maar maak een thumbnails aub? Volgens mij heb ik zojuist m'n halve databundel er doorheen gedraaid....

offtopic:
Moet je zulke grote posts niet gaan quoten

[Q]

Dadona schreef op donderdag 23 augustus 2012 @ 20:52:
[...]

Neemt niet weg dat het wel aardig is om dit onderdeel te laten uitmaken van de standaard vragen.

[muppet99]

@firedrunk: Heb jij nu niet een mapje weggepoetst? Pr0n genaamd

@Hakker: Ik heb jouw log met open mond zitten doorlezen . Zeer strak gebouwd. Heb je al een meting gedaan van het stroomverbruik? Was ik wel even benieuwd naar.

[Pixeltje]

muppet99 schreef op vrijdag 24 augustus 2012 @ 09:23:
@firedrunk: Heb jij nu niet een mapje weggepoetst? Pr0n genaamd

Hoezo, er staat toch duidelijk 2.2 TB "movies"

[FireDrunk]

* FireDrunk heeft geen pr0n meer in opslag... Dat kan toch via live streaming tegenwoordig

[ Voor 3% gewijzigd door FireDrunk op 24-08-2012 10:12 ]

[VorCha]

Verwijderd schreef op donderdag 23 augustus 2012 @ 20:48:
Wat moet je in hemelsnaam met een x aantal Terabyte?

Het is dan welliswaar nog geen 2 TB maar hier de output van du -h --max-depth=1 van mijn data directory

893G ./Video
85G ./Documenten
199G ./Muziek
148G ./Software
283G ./Archief
1.6T ./

En nee ./Video bevat geen p0rn, die stond op een andere disk.

[Big Womly]

Verwijderd schreef op donderdag 23 augustus 2012 @ 20:48:
Wat moet je in hemelsnaam met een x aantal Terabyte?

Ik kom niet eens aan 400 GB.

Hoe hou jij het vol met 400GB?! Ik heb 3*320GB steken, waarvan ongeveer 700GB effectief bruikbaar. Die staan vol met OS (uiteraard), een paar games en vooral foto's en muziek.
Af en toe een beetje photoshop en veel muziekberwerking en je krijgt al gouw een paar hele grote bestanden.
Ja, ik zou alles naar 128kbps MP3 kunnen omzetten, maar dan verlies je kwaliteit. FLAC zou kwalitatief wel een oplossing zijn, maar dan nog heb je toch redelijk wat ruimte nodig (tov MP3) en WAV is nu eenmaal makkelijker voor opslag en bewerking Zelfde voor foto's: RAW en PSD
En dan heb ik mijn 1TB schijf er nog niet bijgerekend voor backups.

Als je dan ook nog veel met video bezig bent, of je hebt een aardig archief aan films ter beschikking, heb je die ruimte wel nodig.

[Dadona]

Ach, laten we het er gewoon op houden dat een ieder eigen behoefen heeft:
-Hoe hou je het vol met alleen een fiets? Ik moet vaak 300 kilometer reizen. -Ik werk in dezelfde stad.
-Hoe kan je slechts dat energie/water/..verbruik hebben? Ik zit op het gemiddelde -Ik ben alleen 's avonds thuis.
-Waarom heb je voldoende aan zo weinig storage? Ik moet dit/dat/.. -Ik stream en schiet geen video.
-Waarom heb je zoveel storage? ...je zit in het verkeerde topic.

Ik ken meer mensen die alles makkelijk op een 500GB schijf kunnen krijgen. Maar ik en mijn vader krijgen dat niet voor elkaar. Hij met foto's tot terug in de jaren zeventig ofzo en dat is de afgelopen jaren geëxplodeerd met RAW. Ik zit persoonlijk al op 1,14TB aan ruw beeldmateriaal, exclusief tijdelijke bestanden, en projectfiles. Daar komt de backup nog eens overheen (op een ander systeem).

[Hakker]

muppet99 schreef op vrijdag 24 augustus 2012 @ 09:23:
@firedrunk: Heb jij nu niet een mapje weggepoetst? Pr0n genaamd

@Hakker: Ik heb jouw log met open mond zitten doorlezen . Zeer strak gebouwd. Heb je al een meting gedaan van het stroomverbruik? Was ik wel even benieuwd naar.

Ik heb helaas geen meter om het te meten ik zou nodig eens een degelijke aan moeten schaffen.

[Q]

LAC toren van pisa:



Download server 8.5 TB + NAS 18 TB = 26,5 TB netto capaciteit.

De HP server is mijn Internet router (Linux + iptables) en informeert de servers als de stroom is uitgevallen. Deze machine zit dus aan de UPS en praat via het netwerk met de andere servers.

Ik ga er vanuit dat de kans op aardbevingen gering is. Of misschien moet ik toch die poten aan elkaar vast gaan schroeven met wat plaatjes.

Tevens vertrouw ik graag mijn apparatuur toe aan ikea kwaliteit tafeltjes van 5 euro per stuk.

Kortom, super professionele high-end setup...

[ Voor 95% gewijzigd door Q op 27-08-2012 00:46 ]

[victorb]

Ik heb ook een lackrack gemaakt Filmpje en foto's volgen nog

[-Venom-]

Ik hoop niet dat jij kinderen hebt rondlopen Q... ik zou het hier niet aandurven met mijn 3 jarige orkaan in huis

[Q]

Dan had ik niet zoiets neergezet, veel te gevaarlijk.

[victorb]

je kan er sowieso met lange schroeven 1 geheel van maken

[Borromini]

Q schreef op maandag 27 augustus 2012 @ 00:35:
LAC toren van pisa:

[afbeelding]

Download server 8.5 TB + NAS 18 TB = 26,5 TB netto capaciteit.

De HP server is mijn Internet router (Linux + iptables) en informeert de servers als de stroom is uitgevallen. Deze machine zit dus aan de UPS en praat via het netwerk met de andere servers.

Ik ga er vanuit dat de kans op aardbevingen gering is. Of misschien moet ik toch die poten aan elkaar vast gaan schroeven met wat plaatjes.

Tevens vertrouw ik graag mijn apparatuur toe aan ikea kwaliteit tafeltjes van 5 euro per stuk.

Kortom, super professionele high-end setup...

Is dat kastje met het blauwe lampje je NAS of is dat een behuizing die in de handel te krijgen is (Fractal Design Mini?)?

[Dadona]

Ik zou hoekprofielen aan het bovenblad vastmaken (en misschien het bovenste deel van de poten) en die iets boven het blad laten uitsteken. Op die manier valt de poot binnen het hoekprofiel. Je kunt zo de zaak snel loshalen van elkaar en het staat toch een stuk veiliger.

[Q]

Borromini schreef op maandag 27 augustus 2012 @ 20:02:
[...]

Is dat kastje met het blauwe lampje je NAS of is dat een behuizing die in de handel te krijgen is (Fractal Design Mini?)?

Micro servertje.

http://louwrentius.com/bl...is-a-great-nas-or-router/

[ppl]

VorCha schreef op vrijdag 24 augustus 2012 @ 10:42:
85G ./Documenten

Dat is aardig veel voor documenten. Wat voor documenten heb je dan? Heb je soms je hele post gedigitaliseerd?

[VorCha]

ppl schreef op dinsdag 28 augustus 2012 @ 00:27:
[...]

Dat is aardig veel voor documenten. Wat voor documenten heb je dan? Heb je soms je hele post gedigitaliseerd?

76GB daarvan zijn foto's, dat krijg je ervan met een dSLR. De top 5 is als volgt 15G, 7.9G, 6.7G, 5.9G en 4.6G. Overigens nog niet eens in RAW format, daar heb ik me nog niet aan gewaagd.
Mijn post digitaliseer ik ook, maar dat is nog maar een schamele 63Mb omdat ik het pas sinds kort (weer) consequent doe. En dan nog zal dat niet snel oplopen als ik het zo bekijk.

[ppl]

Aha, dat verklaart een hoop Die foto's heb ik zelf in een aparte map staan. Bij mij zijn documenten echt alleen maar dingen waar tekst en eventueel wat dingen als grafieken, diagrammen, foto's, etc. in staan. Maar goed, Parallels Desktop en VMware Fusion vinden dat vm's ook documenten zijn...rare keuze imo.

[lampie1979]

1 extra 3TB en een 4TB zijn onderweg. Gekozen voor Hitachi externe (gezien die substantieel goedkoper zijn dan interne...). Open maken en inbouwen die handel.

Eens kijken hoe die 4TB samengaat met de 1280ML. Areca heeft mij verzekerd dat dat gaat werken.

Ben benieuwd.

[ Voor 29% gewijzigd door lampie1979 op 28-08-2012 23:22 ]

[Yorinn]

Ik zit nu dan ook (eindelijk) aan de 10TB bruto. Netto is hier 8GB van over.

En dat in een klein mini-ITX kastje. De kast is een Fractal Design Array R2:

Waarin ik onderstaande setup gebruik:

#	Product	Prijs	Subtotaal
1	Intel Pentium G6950 Boxed	€ 79,95	€ 79,95
2	Hitachi Ultrastar 7K3000, 3TB	€ 296,19	€ 592,38
2	Samsung Spinpoint F4 EG HD204UI, 2TB	€ 94,40	€ 188,80
1	Fractal Design Array R2 Mini ITX NAS Case	€ 123,80	€ 123,80
1	Scythe Big Shuriken	€ 0,-	€ 0,-
1	Kingston ValueRAM KVR1333D3N9/2G	€ 10,71	€ 10,71
1	Intel Desktop Board DH57JG	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 995,64

De 2*2TB schijven heb ik in RAID-1 staan voor de wat belangrijkere zaken. De belangrijkste zaken wil ik ergens in september ook nog in de cloud brengen.

De 2*3TB schijven staan in RAID-0 en zijn vooral bedoelt om al mijn films, muziek (meeste in FLAC geript van legale cd's) en andere bestanden op te slaan.

Ik ben nu bezig om al mijn bestanden van mijn 2TB schijven over te kopiëren naar mijn 6TB-RAID 0 opslag, omdat de 2TB-RAID 1 al bestond. Dan kan ik morgen beginnen met Windows 8 installeren over Windows 7 in. De pc/server wordt ook voor normalere zaken gebruikt.

[VorCha]

Ik wil niet heel lullig zijn maar je voldoet niet aan een aantal criteria

Yorin schreef op donderdag 30 augustus 2012 @ 19:16:
Ik zit nu dan ook (eindelijk) aan de 10TB bruto. Netto is hier 8GB van over.

2.Een netto capaciteit van minimaal 10 TB.

De 2*2TB schijven heb ik in RAID-1 staan voor de wat belangrijkere zaken. De belangrijkste zaken wil ik ergens in september ook nog in de cloud brengen.

De 2*3TB schijven staan in RAID-0 en zijn vooral bedoelt om al mijn films, muziek (meeste in FLAC geript van legale cd's) en andere bestanden op te slaan.

5.Toepassing van redundancy, het systeem moet falen van minimaal 1 storage disk kunnen overleven.

Dan kan ik morgen beginnen met Windows 8 installeren over Windows 7 in. De pc/server wordt ook voor normalere zaken gebruikt.

1.Dedicated server systeem (niet in gebruik als werkstation / game systeem) dus NAS of Virtualisatie server.

[victorb]

Mijn Build voldoet helaas ook niet aan de voorwaarden voor dit topic 15tb bruto 9tb netto. Je kan het beter in het DIY nas topic plaatsen. Daar is alle ruimte voor kleinere builds

Raid0 past ook niet helemaal in de geest van dit topic

[pipo de C]

Yorin schreef op donderdag 30 augustus 2012 @ 19:16:
Ik zit nu dan ook (eindelijk) aan de 10TB bruto. Netto is hier 8GB van over.

Damn.. Ben je mooi klaar mee...

[brederodekater]

victorb schreef op donderdag 30 augustus 2012 @ 20:26:
Mijn Build voldoet helaas ook niet aan de voorwaarden voor dit topic 15tb bruto 9tb netto. Je kan het beter in het DIY nas topic plaatsen. Daar is alle ruimte voor kleinere builds

Raid0 past ook niet helemaal in de geest van dit topic

Je hebt flink ingeleverd op je netto capaciteit. Wat draai je, 5x 3TB in RAID-6?

[victorb]

brederodekater schreef op donderdag 30 augustus 2012 @ 23:52:
[...]


Je hebt flink ingeleverd op je netto capaciteit. Wat draai je, 5x 3TB in RAID-6?

Jep maar dan de zfs variant raidz2 als ik raidz1 (raid5) zou draaien mag ik wel in het topic Hij voldoet verder aan alle eisen Dus met toekomstige upgrades komt die hier ook ooit langs

[HarmoniousVibe]

Hmm, laat ik ook maar eens in dit topic posten.

Dit is wat ik in de loop der tijd bij elkaar heb gesprokkeld. In vergelijking met sommige andere builds uit dit topic redelijk run-of-the-mill, maar dat mag voor mij de pret niet dempen. Voor mij waren de belangrijkste zaken eigenlijk dat hij veel storage moet kunnen hebben en dat hij fluisterstil moet zijn. En hij moet snel genoeg zijn. Deze bak is overigens zeker niet alleen een storagebak; hij functioneert tevens als HTPC, network infrastructure node, private cloud en als general purpose LAMP-server.

System specifications
Component	Value
Behuizing	Corsair Obsidian 550D
PSU	Seasonic X-560 80+ Gold
Moederbord	MSI 790XT-G45
CPU	AMD Phenom II X4 965 Black Edition
RAM	GeIL Ultra GX22GB6400UDC & Kingston HyperX KHX8500D2K2/4G
Netwerk	Standaard dual 1GigE
Internet	100/100 FttB/EttH
Controller	LSI LSI SAS3081E-R-SGL
Hard drive cage	Norco SS-500
Hard drive (OS)	Kingston SSDNow S100 SS100S2/16G 16GB
Hard drive (data)	9 x Western Digital Green WD20EARS, 2TB
Operating system	Ubuntu "Precise Pangolin" 12.04
RAID array configuration	MDADM RAID6
Filesystem	XFS
Netto storage capacity	14TB
UPS	Nee.
Idle power usage	Niet gemeten.
Functies	NAS (lokaal over NFSv4 en remote over ssh en http(s)), HTPC (XBMC), router, dhcpd, firewall (Shorewall), sshd, nginx, apache2, mysqld, postgres, icecast, Tor relay node, sabnzbd, rtorrent, private clould (Spideroak), backup target voor enkele andere servers, etc

Plaatjes

Overzichtsshot:


5-in-3 Hotswap-bay (front):


5-in-3 Hotswap-bay (rear):


Drive cages van de Obsidian:


Extra info

 21:47:53 up  1:29,  1 user,  load average: 0.63, 0.70, 0.75

             total       used       free     shared    buffers     cached
Mem:          5969       5834        135          0        138       4808
-/+ buffers/cache:        887       5082
Swap:            0          0          0

Filesystem      Size  Used Avail Use% Mounted on
/dev/md5         13T  7,1T  5,8T  56% /mnt/data

Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10] 
md5 : active raid6 sdh[10] sdf[1] sde[5] sdi[9] sdc[12] sdg[8] sdj[6] sdd[11] sda[7]
      13674590720 blocks super 1.2 level 6, 512k chunk, algorithm 2 [9/9] [UUUUUUUUU]

LABEL=data /mnt/data    xfs     defaults,user,exec,noatime,nodiratime,sunit=1024,swidth=7168,inode64,swalloc,allocsize=1g,largeio,logbufs=8,logbsize=256k,delaylog 0    2

Data wordt in ieder geval veel gebruikt :

 eth0  /  monthly

       month        rx      |     tx      |    total    |   avg. rate
    ------------------------+-------------+-------------+---------------
      Oct '11    588.52 GiB |    4.57 TiB |    5.15 TiB |   16.51 Mbit/s
      Nov '11    235.05 GiB |    3.58 TiB |    3.81 TiB |   12.63 Mbit/s
      Dec '11    254.62 GiB |    4.84 TiB |    5.09 TiB |   16.31 Mbit/s
      Jan '12    311.94 GiB |    5.63 TiB |    5.93 TiB |   19.03 Mbit/s
      Feb '12      2.77 TiB |    7.60 TiB |   10.37 TiB |   35.55 Mbit/s
      Mar '12      4.77 TiB |    8.90 TiB |   13.67 TiB |   43.85 Mbit/s
      Apr '12      5.34 TiB |   11.02 TiB |   16.36 TiB |   54.22 Mbit/s
      May '12      5.11 TiB |    9.19 TiB |   14.30 TiB |   45.86 Mbit/s
      Jun '12      4.87 TiB |    7.91 TiB |   12.78 TiB |   42.37 Mbit/s
      Jul '12      5.45 TiB |    9.21 TiB |   14.67 TiB |   47.03 Mbit/s
      Aug '12      4.66 TiB |    8.09 TiB |   12.75 TiB |   40.90 Mbit/s
      Sep '12    362.37 GiB |  728.84 GiB |    1.07 TiB |   36.42 Mbit/s
    ------------------------+-------------+-------------+---------------
    estimated      3.65 TiB |    7.34 TiB |   10.99 TiB |

[Borromini]

Het is 'Precise Pangolin'

Welk FS? ZFS?

Edit: bah. Had het bestandssysteem een paar lijntjes hoger verwacht .

[ Voor 38% gewijzigd door Borromini op 04-09-2012 01:37 ]

[Dadona]

Ziet ie wel dat er Penguin staat in plaats van Pangolin, maar niet dat het filesystem XFS is, dat nota bene een eigen regel heeft gekregen.

[HarmoniousVibe]

Haha, ik wist dat het iets met een P was. Had er niet zo erg op gelet moet ik zeggen. Sinds Hardy zijn ze alleen maar moeilijkere codenamen gaan verzinnen . Persoonlijk vind ik Penguin veel cooler overigens

Het FS is XFS inderdaad. Zal de mountopties er nog even bijzetten.

[victorb]

Nette build nu nog andere kast en alles hotswap

[Q]

code:

/dev/md5               17T   17T  176G  99% /storage

[ Voor 10% gewijzigd door Q op 05-09-2012 18:19 ]

[whatzert]

lampie1979 schreef op dinsdag 28 augustus 2012 @ 23:22:
1 extra 3TB en een 4TB zijn onderweg. Gekozen voor Hitachi externe (gezien die substantieel goedkoper zijn dan interne...). Open maken en inbouwen die handel.

Eens kijken hoe die 4TB samengaat met de 1280ML. Areca heeft mij verzekerd dat dat gaat werken.

Ben benieuwd.

Ik ben ook benieuwd hoe het met die 4TB Hitachi Touro is verlopen

[Dadona]

Q schreef op woensdag 05 september 2012 @ 18:19:

code:

/dev/md5               17T   17T  176G  99% /storage

Nieuwe build!
Je weet dat je eigenlijk rond de 80% al aan een uitbreiding mag gaan denken he?

[victorb]

Nieuwe build!

Ik ben voor

[Q]

Ik denk meer aan grote najaar schoonmaak.

Bij een nieuwe build zou ik voor de 100 TB gaan in RAID 6. Zit je om en nabij de 10K. Wordt een beetje een keuze tussen een (nieuwere) auto en een NAS

[Mr_gadget]

Je gaat waarschijnlijk ook geen schijven overzetten maar gewoon nieuw schijven kopen? Anders wordt data overzetten wat lastig waarschijnlijk?

[Q]

Ik zou nooit uitbreiden maar telkens gewoon een nieuwe NAS neerzetten. Met verse hardware en niet met 3 jaar oude disks. Oude NAS kan dan als backup dienen van deel van data van nieuwe NAS.

Een van de belangrijkste wijzigingen zou voor mij zijn het inzetten van server moeder borden omdat ik geen PCIe 4x en 8x heb voor fibrechannel of infiniband of quad gig ethernet of 10G ethernet. ECC ram zou een leuke extra zijn.

Het grote 'probleem' van grote NAS builds is om die data er snel naartoe/vanaf te kopieren. Gigabit ethernet schiet niet op. Je moet dus wat bruters gaan inzetten en daar van meet af aan op gaan bouwen.

[victorb]

100 TB gaan in RAID 6

Wil je je ideeen delen? Lijkt me intresante build 100TB

[GioStyle]

24x 4TB schijven in een Norco RPC-4224 en je hebt bijna 100TB.

[Q]

Ik ga de komende jaren geen 10K besteden aan een 100TB NAS. Maar fantaseren is leuk.

Ik wil altijd 1 grote storage pool hebben, geen storage verdeeld over partities, systemen etc. Dat is waardeloos. Geef mij maar 1 mountpoint van 100 GB.

Ik zou gewoon een 24 disk chasis met hotswap disks kopen en die volproppen met 4TB disks. Moet je er nog 4 ergens kwijt maar dat lukt wel.

Ik zou er nog steeds gewoon Linux op flikkeren en alles in 1 grote MDADM RAID 6 smijten met 1 hot spare.
Maar toegegeven, ZFS lokt wel omdat je met zulke grote hoeveelheden data gewoon last begint te krijgen van de wet van de grote getallen. Het risico op data corruptie wordt 'niet verwaarloosbaar'.

Maar ZFS heeft zijn nadelen. Met het verdwijnen van Sun en Open solaris is de officiele tak van ZFS dood. Er is alleen nog de proprietary shizle van Oracle en dat is geen optie. Dus dan blijft over: FreeBSD. BSD bestaat al lang heeft een schare aanhangers, maar de BSD community is niet groot. Als het eenmaal draait, dan werkt het ok. Maar ik hoop dat tegen de tijd dat ik eventueel een 100 TB build zou overwegen, BTRFS eindelijk 100% stable is en geschikt is voor productie.

[Borromini]

ZFS op Linux wordt ondersteund/ontwikkeld door het Lawrence Livermore National Laboratory in de VS dat trouwens ook regressietesten uitvoert op de code die ze ter beschikking stellen.

Daar wordt dus overheidsgeld tegenaan gegooid. Ik denk niet dat je je voorlopig een betere sponsor kan wensen .

Meer info over het 'labo':

Wikipedia: Lawrence Livermore National Laboratory

[ Voor 21% gewijzigd door Borromini op 05-09-2012 23:32 ]

[victorb]

Ja maar waarom dan perse 100TB als je met 80 TB zeg maar met 24 disken genoeg heb. End aardoro ook niet extra disken hoeft weg te proppen. 80TB en 100TB raken toch wel vol

[Q]

Ik weet van het bestaan van die kernel module voor Linux http://zfsonlinux.org . En er wordt driftig aan gewerkt en gereleased. Maar ik weet niet of ik daar mijn geld en data op wil gaan inzetten, interessant is het wel.

Er bestaaat niet zoiets als genoeg. Zeker niet met storage. 80 TB is gewoon geen 100 TB. En 100 TB is een mooi getal. Heerlijk irrationeel, maar iedereen met meer dan 10 TB aan storage is al irrationeel bezig. Toegegeven, 100 TB is eigenlijk makkelijk te halen met wat disks. Misschien is 2⁷ TB een hogere lat. Daar heb je minimaal 32 disks voor nodig, 35 met parity en hot spare.

Je moet de lat een beetje hoog leggen, een beetje uitdaging zoeken. Misschien een excuus om bewust te kiezen om juist geen kant-en-klare 24 disk case te kopen maar zelf iets heel gaafs te bouwen. Weet ik het.

Als je je eigen kast bouwt, kun je proberen het ding bijvoorbeeld heel stil te houden waarbij je een wat groter vollume op de koop toe neemt. We zijn hier toch Tweakers?

[ Voor 11% gewijzigd door Q op 06-09-2012 00:09 ]

[victorb]

Ok zelfbouw kast is wel gaaf ja. Een soort storage pod idee is wel gaaf maar dan als cube met bovenin alle disken

[Q]

Ja, maar dan ruim en handzaam opgezet. Ik hoef me dan niet aan 19" 4U te houden ofzo.

BTW voor mij zou ik ook van enige Hardware RAID controllers af willen. Ik heb deze dagen mijn download server omgezet van Debian naar Ubuntu 12.04 en gelukkig is er een gek geweest die de verouderde HighPoint 2320 Rocket Raid drivers heeft gepatched zodat ze met een 3.2 kernel werken, maar anders zat ik nu in de shit.

Tenzij je persé een Windows-based build wil maken, laat hardware RAID lekker links liggen dan. Koop simpele HBAs zodat je gewoon extra veel SATA/SAS poorten hebt, en doe de RAID lekker in software. ZFS of MDADM.

Ik heb destijds voor mijn 18 TB NAS de HighPoint RocketRaid 2324 gekocht omdat dit ding in 1 PCIe kaart 16 poorten geeft, maar het is eigenlijk een semi-hardware RAID controller en heeft proprietary drivers nodig. Dat is uiteindelijk op de lange termijn 3x kut.

Laten we eens wild doen. Stel nu dat we voor 128 TB zouden gaan met minimaal 32-35 disks. Wat voor HBA's zou je daar voor moeten inzetten? Iets met SAS en van die expanders? Ik zou het nu niet meer weten.

Misschien is 4K content nog iets om dit soort belachelijke storage capaciteit te 'verantwoorden'. Wie weet dat er tegen die tijd dat soort content te downloaden is.

[ Voor 92% gewijzigd door Q op 06-09-2012 00:18 ]

[Q]

Q is toch eens gaan spelen met ZFS onder Ubuntu op zijn download bak.

code:

zpool                       5.2T   62G  5.2T   2% /storage

met 4x 2TB 7200 RPM haal ik 500+ MB/s schrijven en 300 MB/s lezen. Niet super, maar ok zat.

code:

root@server:~# zpool status
  pool: zpool
 state: ONLINE
 scan: none requested
config:

    NAME        STATE     READ WRITE CKSUM
    zpool       ONLINE       0     0     0
      raidz1-0  ONLINE       0     0     0
        sdf     ONLINE       0     0     0
        sdg     ONLINE       0     0     0
        sdh     ONLINE       0     0     0
        sdi     ONLINE       0     0     0

errors: No known data errors

[Verwijderd]

Q schreef op donderdag 06 september 2012 @ 00:10:
Ja, maar dan ruim en handzaam opgezet. Ik hoef me dan niet aan 19" 4U te houden ofzo.

BTW voor mij zou ik ook van enige Hardware RAID controllers af willen. Ik heb deze dagen mijn download server omgezet van Debian naar Ubuntu 12.04 en gelukkig is er een gek geweest die de verouderde HighPoint 2320 Rocket Raid drivers heeft gepatched zodat ze met een 3.2 kernel werken, maar anders zat ik nu in de shit.

Tenzij je persé een Windows-based build wil maken, laat hardware RAID lekker links liggen dan. Koop simpele HBAs zodat je gewoon extra veel SATA/SAS poorten hebt, en doe de RAID lekker in software. ZFS of MDADM.

Ik heb destijds voor mijn 18 TB NAS de HighPoint RocketRaid 2324 gekocht omdat dit ding in 1 PCIe kaart 16 poorten geeft, maar het is eigenlijk een semi-hardware RAID controller en heeft proprietary drivers nodig. Dat is uiteindelijk op de lange termijn 3x kut.

Laten we eens wild doen. Stel nu dat we voor 128 TB zouden gaan met minimaal 32-35 disks. Wat voor HBA's zou je daar voor moeten inzetten? Iets met SAS en van die expanders? Ik zou het nu niet meer weten.

Misschien is 4K content nog iets om dit soort belachelijke storage capaciteit te 'verantwoorden'. Wie weet dat er tegen die tijd dat soort content te downloaden is.

Wat dacht je van deze HBA? Je kan tenminste 32 schijven kwijt.

http://www.webconnexxion....i-2.0-x8.html?language=en

[VorCha]

Q schreef op donderdag 06 september 2012 @ 00:10:
Laten we eens wild doen. Stel nu dat we voor 128 TB zouden gaan met minimaal 32-35 disks. Wat voor HBA's zou je daar voor moeten inzetten? Iets met SAS en van die expanders? Ik zou het nu niet meer weten.

Misschien is 4K content nog iets om dit soort belachelijke storage capaciteit te 'verantwoorden'. Wie weet dat er tegen die tijd dat soort content te downloaden is.

Backblaze already here

[victorb]

Verwijderd schreef op donderdag 06 september 2012 @ 04:42:
[...]

Niet hele lappen tekst quoten voor 1 linkje eronder. Kan je beter alleen in de quote laten staan de zin waar je op reageerd

[Pantagruel]

Q schreef op donderdag 06 september 2012 @ 00:10:
snip..

Laten we eens wild doen. Stel nu dat we voor 128 TB zouden gaan met minimaal 32-35 disks. Wat voor HBA's zou je daar voor moeten inzetten? Iets met SAS en van die expanders? Ik zou het nu niet meer weten.

Misschien is 4K content nog iets om dit soort belachelijke storage capaciteit te 'verantwoorden'. Wie weet dat er tegen die tijd dat soort content te downloaden is.

Zonder budget beperkingen en compatibiliteit echt gecheckt te hebben:

#	Product	Prijs	Subtotaal
1	Supermicro X9DA7	€ 555,50	€ 555,50
2	Intel Xeon E5-2609 Boxed	€ 285,-	€ 570,-
40	Hitachi Ultrastar 7K4000, 4TB	€ 424,-	€ 16.960
2	LSI SAS 9201-16i	€ 393,-	€ 786,-
1	Enermax Platimax EPM1500EGT	€ 292,90	€ 292,90
1	Samsung 830 series 128GB	€ 91,90	€ 91,90
2	Samsung 830 series 256GB	€ 171,95	€ 343,90
6	Kingston KTD-PE310QK3/48G	€ 582,50	€ 3.495,-
Bekijk collectie Importeer producten		Totaal	€ 23.095

Nu nog een strakke behuizing en wat andere benodigde prullaria (kabeltjes, etc.) en dan kom je toch wel aan een slappe €30.000 , da's een flinke auto .

Beoogde setup 4x RAID-Z2 array van 10 stuks 4TiB (effectief ca. 128 TiB) over de 2 LSI controllers en de onboard SAS controller, 128 GiB SSD als OS drive en 2x 256 GiB SSD als ZIL/LARC. Jammer genoeg kom je met dit bordje niet aan de gouden regel mbt ZFS geheugen wensen ' voor ieder TiB opslag, 1GiB RAM', wil je dit echt zul je voor een Quad Xeon bordje moeten gaan.

[FireDrunk]

Je kan er toch gewoon 16 x 8GB of 16 x 16GB in doen?

[Q]

Verwijderd schreef op donderdag 06 september 2012 @ 04:42:
[...]


Wat dacht je van deze HBA? Je kan tenminste 32 schijven kwijt.

http://www.webconnexxion....i-2.0-x8.html?language=en

Precies wat ik zou willen. Maar ik koop geen HighPoint meer. Want hun 'open source' driver is in feite een closed source driver (binary blob) en dankzij 1 iemand op het internet kan ik nu mijn 2320 onder Ubuntu gebruiken met de Linux 3.2 kernel, want Highpoint werkt de drivers niet bij.

Ik wil een HBA die native in de kernel wordt ondersteund of een open-source driver heeft die door de community wordt onderhouden. Liefst een kaart die veel wordt gebruikt zodat er ook veel behoefte aan ondersteuning is.

Ik heb er geen moeite mee om bijvoorbeeld 2x16 + poorten op het mobo te gebruiken. Of 4x8 of zelfs 5x 8 poorten.

Aan de andere kant, ik draai nog steeds een oude Debian op mijn 18 TB NAS en daar ga ik nooit meer wat aan veranderen. Dat risico kan ik niet nemen. Het probleem daarvan is dat je geen security updates meer krijgt, maar thuis is dat niet zo'n issue. Maar ik wil niet aan een oud OS vast zitten.


Maar eigenlijk kijk ik dan weer liever naar iets met sas expanders. Bandbreedte zat. Geen gekke controller nodig. Maar daar ben ik nog niet goed in thuis. Dat wordt ik wel als ik ooit een 128 GB build ga maken

De backblaze storage pod heeft een hele gave kast, maar die kast is gebouwd met het oog op een zo klein mogelijk formaat voor in data centers. Ik weet niet of dat mij zo boeit. Ik zou iets gaafs willen bouwen.

[VorCha]

Pantagruel schreef op donderdag 06 september 2012 @ 12:09:
Jammer genoeg kom je met dit bordje niet aan de gouden regel mbt ZFS geheugen wensen ' voor ieder TiB opslag, 1GiB RAM', wil je dit echt zul je voor een Quad Xeon bordje moeten gaan.

Is dat niet deels op te heffen door gebruik te maken van fusionkaarten zoals

1

OCZ RevoDrive 3 X2 PCI-Express SSD 240GB

€ 393,-