Storage showcase topic - 50+ TB storage systems

[Tijgert]

Ik neem aan dat een simpel gekocht nasje hier niet in mag?

Op dit moment heb ik een Netgear RNDU6000 NAS (gewoon cash tellen en klaar, niks sleutelen) met 6x2TB (Raid5), maar wil dat van de week upgraden naar 6x3TB.
Maarja, als het dan toch zulke vormen aan gaat nemen, waarom dan geen snellere eigenbouw...

Daar ga ik me dan maar even op orienteren en ik zie hier een hoop goede info!

[ppl]

Pakjebakmeel schreef op dinsdag 22 januari 2013 @ 08:17:
Klopt, echter heeft de onboard Realtek kaart nogal problemen. Hij mag dan wel aan de PCIe bus hangen en via iPerf een mooie 945Mbit/s neerzetten maar hij vind Samba ab-so-luut niet leuk. Throughput blijft hangen op een magere 5 tot 10 MiB/s. Om die reden een simpele PCI Intel controller ingestoken die minder throughput heeft maar geen last met Samba.

Bij Realtek is het inderdaad goed opletten geblazen. Er zijn een aantal modellen die het prima doen, ook met iets als ESXi maar een ander deel levert rare networking issues op. We zien het op werk ook met de diverse machines. De probleemgevallen maken allemaal gebruik van bepaalde Realtek chips. Je kunt flashen tot je een ons weegt maar de problemen blijven. Wij lossen het dan ook altijd op met een losse Intel NIC waarvan we weten dat die wel goed werkt. Uiteraard alleen wanneer we een PCIe kaart kunnen toevoegen, zo niet dan is al snel het advies om de machine te vervangen door een model uit ons standaard assortiment (die doen het namelijk wel probleemloos).

Performance is leuk.. Op papier en voor rebuilds van arrays maar ik gebruik hem voornamelijk via 802.11n waarmee ik maximaal 22MiB/s haal op mijn goede laptop en sporadisch aan de kabel via Gigabit maar ook daar is de disk IO afdoende voor.

Zolang het maar voldoet voor waar je het voor wil toepassen. Het is leuk om overkill te hebben maar aan het eind wat meer centen op de bankrekening is toch wat leuker.

Kernel, Samba, Apache en MySQL zijn denk ik de grootste pakketten die er op draaien en die zijn toch wel in een minuutje of 15 a 20 te compileren.

De vraag is ook in hoeverre dat nog nodig is. Je kunt dat compileren ook elders doen en er een pakketje van bouwen (.deb, .rpm, etc.). Dat is zelfs nog veel voordeliger omdat je dan gewoon de package manager van de distro kan gebruiken waardoor het installeren, upgraden, verwijderen een heel stuk eenvoudiger wordt dan wanneer je het direct compileert op die machine. Uiteraard zou je ook gewoon voor iets kunnen kiezen die gebruik maakt van binaries en je dus niet hoeft te compileren. Voor wie weinig geduld heeft is dat sowieso een beter plan dan te gaan compileren...ook al doe je dat op een mega snelle bak.

[FreakNL]

Ik mag hier ook eindelijk posten. Niet helemaal puur storage, maar storage maakt er natuurlijk wel deel van uit:





De server had ik al een tijdje, is een 2008 R2 servert met 32GB geheugen en een i7 processor. Doet Hyper-V rolletje met een stuk of 12 VM's (van webserver tot VPN server, van databeest tot een virtuele desktop met Windows 7 voor mezelf)..

Geheel draait qua storage op 2 HP p400's met snelle storage (8x72GB HP SAS 15k, raid-5) en iets minder snelle storage (4x72gb HP SAS 10k, raid-5) en trage storage (4xHD204ui 2TB schijven op de onboard Intel RST (raid-5)).. Backup van deze zooi op een externe schijf (die Samsung G3 die links nog net in beeld staat ) die af en toe gesynced wordt met een identieke schijf die bij mijn ouders ligt. En dan praat ik echt over de essentiele dingen zoals documenten, mp3's, VM's etc.. De echte grote bestanden (films, series) gingen op een andere manier;

Ik had namelijk ook nog 2 dual quickports van Sharkoon aan mijn server hangen waar een verscheidenheid aan schijven inzaten. En dan had ik in de woonkamer ook nog eens een quickport aan mijn HDX hangen met een verscheidenheid aan schijfjes.. Af en toe syncen, en klaar. Op zich best een gedoe, maar ik had geen netwerk in mijn woonkamer en op deze manier was mijn media toch ook wel een klein beetje gebackuped (altijd dubbel uitgevoerd).. Soort vertraagde RAID-1

Anyways, nu ik eindelijk UTP naar mijn hifi set gelegd heb was het tijd om het mediasysteem een beetje te veranderen. Ik kan nu immers alles gewoon via het netwerk afspelen. Waar ik echter voor mijn server wel voor RAID gekozen heb (ook omdat ik het regelmatig backup) was ik voor mijn media (toch al een TB of 6 inmiddels) daar een stuk huiveriger voor. Ik heb niets tegen RAID, maar je moet altijd in gedachten houden dat je controller of je enclosure stuk kan gaan. En dan zit je toch met de gebakken peren, als je geen backups hebt. En backups maken van een mediaverzameling van 6tb+ is ook een hel.. Liever heb ik dan "losse" schijven met een soort parity disks. Snapraid dus. En als er dan onverhoopt toch 3 schijven in 1 keer stuk gaan, tja, dan heb ik in ieder geval de andere "losse" schijven nog...

Ik heb daarom een Sharkoon 8-bay RAID-station gekocht die ik middels USB 3.0 koppel aan mijn server. Ik heb de RAID functionaliteit van het apparaat uitgezet, waardoor het apparaat gewoon in JBOD mode draait. Ik krijg dus 8 losse schijven gepresenteerd in mijn OS;

3x3tb
3x2tb
2x1.5tb

Ik gebruik 2x3tb voor parity, dus effectief hou ik 12TB aan netto ruimte over.

Deze setup staat overigens totaal niet in verhouding met de setups die ik soms in dit topic zie (hoewel mijn server wel redelijk profi is), maar voor mij is dit voldoende. De raidbox is niet snel, maar voldoet aan de eisen. Voor snelle storage heb ik de SAS schijven, die raidbox is slechts voor de opslag van (veel/grote) media. Ik ben tot nu toe tevreden met deze oplossing. Een NAS is een mooiere oplossing, maar gelijk weer een stuk duurder. Mijn server staat sowieso 24/7 aan, dus de meerwaarde van een NAS over DAS is er voor mij niet. In de toekomst kan ik er bijvoorbeeld nog een 2e bijkopen en de disks bijvoegen in de snapraid config. Maar voorlopig heb ik weer wel even genoeg aan 12TB


edit/
Owja, ik heb een VM die plex doet voor mijn mobiele devices en de HDX pakt (via YAMJ) de films/series op via netwerk shares. Snapraid heeft geen pooling (groot nadeel tov RAID), dus je films (of series) staan dus op losse schijven. Dit heb ik als volgt opgelost;

D:\films (deze map delen als Films)
D:\films\3tb1 (in deze map je schijf mounten)
D:\films\3tb2 (in deze map je 2e schijf mounten)

Plex (en YAMJ/HDX) gewoon laten verwijzen naar \\server\films en 3tb1 en 3tb2 volgooien met films. Werkt prima.. Op je windows pc heb je in die share natuurlijk wel een tussenmap voor je bij je films komt en je kan via de driveletter van de share niet meer zien hoeveel ruimte je nog vrij hebt, maargoed, dat is overkomelijk... Bovendien had ik toch al DFS dus die vrije schijfruimte was sowieso niet representatief...

[ Voor 10% gewijzigd door FreakNL op 29-01-2013 01:58 ]

[Tijgert]

Liever heb ik dan "losse" schijven met een soort parity disks. Snapraid dus. En als er dan onverhoopt toch 3 schijven in 1 keer stuk gaan, tja, dan heb ik in ieder geval de andere "losse" schijven nog...

Die Sharkoon ziet er bijzonder interessant uit moet ik zeggen...
Zelf heb ik bij gebrek aan beter (en gebrek aan beter verstand en ook maar enige kennis) een houtje touwtje handmatige mirror doos. 12 stuks 3TB voor al mijn HD films en kiddie stuff (tekenfilms dus he), dubbel uitgevoerd dus een schijf kan kapot vallen en dan heb ik een kopie.



Zo'n Sharkoon 8 drive Raid tower ziet er erg gaaf uit... is dat ook maar enige vorm van veilig?

[FreakNL]

Ik heb geen ervaring met de raid-functionaliteit van de box. Ik denk dat het op zich wel veilig is, maar het blijft natuurlijk wel Sharkoon, dat is geen high-end spul. En als dat ding stuk gaat ben je (denk ik) alles kwijt, behalve misschien als je een zelfde type op de kop kan tikken maar zelfs dan ben je denk ik niet zeker..

Voor de prijs hoef je het niet te laten, maar ik zou wel willen aanraden om het op dezelfde manier als mij uit te voeren, dus met JBOD en dan snapraid draaien...

http://snapraid.sourceforge.net/

[nero355]

Prijs is een koopje als je beseft dat je voor 2x USB 3.0 als 60 € armer bent : http://nl.hardware.info/p...aid-station#tab:overzicht

Echt een gaaf ding

[Tijgert]

Mijn 'oplossing' is weliswaar erg omslachtig en niet gebruiksvriendelijk, maar er kan bliksem inslaan en alles slopen en dan nog gebeurt er niks ergs.
Misschien dat met die paranoia 2x 5 drive Raid station beter zou zijn... niks veiligers dan een mirror...

[Dannisi]

FreakNL schreef op maandag 28 januari 2013 @ 19:55:
...
Ik heb daarom een Sharkoon 8-bay RAID-station gekocht die ik middels USB 3.0 koppel aan mijn server. Ik heb de RAID functionaliteit van het apparaat uitgezet, waardoor het apparaat gewoon in JBOD mode draait. Ik krijg dus 8 losse schijven gepresenteerd in mijn OS;

3x3tb
3x2tb
2x1.5tb

Ik gebruik 2x3tb voor parity, dus effectief hou ik 12TB aan netto ruimte over.
...

Dan zijn het toch gewoon losse disks? als je JBOD zou doen zou je 1 groot volume krijgen.

[Tijgert]

Kan je in die toren de drives ook per stuk aan zetten of moeten ze allemaal tegelijk aan?

[FreakNL]

denniskrol schreef op dinsdag 29 januari 2013 @ 12:50:
[...]

Dan zijn het toch gewoon losse disks? als je JBOD zou doen zou je 1 groot volume krijgen.

Met JBOD worden vaak verschillende dingen bedoeld, vooral door NAS leverancies. JBOD, SPAN, BIG, etc:

The concept of concatenation, where all the physical disks are concatenated and presented as a single disk, is NOT a JBOD, but is properly called BIG or SPAN. The usage of "JBOD" and BIG or SPAN are frequently confused. This can create confusion and frustration, given the significantly different logical arrangement of the various types. Concatenation, referred to by such unambiguous terms as SPAN or BIG, requires software to bond/append drives together, where JBOD does not.

Volgens mij is het van origine zo dat bij JBOD je de disks individueel gepresenteerd krijgt. Zo heb ik het ook altijd geleerd... Later is er echter een beetje verandering in terminologie gekomen blijkbaaar...

Nog twee linkjes waar mensen er ook niet uitkomen:
http://www.tomshardware.co.uk/forum/269549-14-raid-jbod
http://www.avsforum.com/t/1066787/jbod-question

Maargoed, we bedoelen hetzelfde, losse disks.. Sharkoon noemt dat trouwens weer "Clean Mode", om de verwarring nog groter te maken


En er zit geen aan- of uitknopje aan voor de individuele disks, om die vraag nog even te beantwoorden.

[ Voor 22% gewijzigd door FreakNL op 29-01-2013 14:32 ]

[Sc0tTy]

FreakNL schreef op maandag 28 januari 2013 @ 19:55:
Ik mag hier ook eindelijk posten. Niet helemaal puur storage, maar storage maakt er natuurlijk wel deel van uit:


[afbeelding]

KNIP

Die sharkoon ziet er nice uit voor back-up inderdaad

Mooi iemand anders die een chieftec heeft Jammer genoeg gaat mijn bigtower ( Ik heb een mini/midi/big ) er uit, of iig de server die er in zit en wil ik gaan vervangen met een RPC-4224 en een array upgrade.

Ik wil van 5x3tb in raid 5 naar 2 raids van 6x3tb in raid 6 Ik twijfel alleen nog tussen 2 losse raids of één 60 raid. Uiteindelijk moeten het twee raidsets worden van beide 12 disks

Als alles klaar is zal ik m'n nieuwe beestje hier ook posten

[ Voor 8% gewijzigd door Sc0tTy op 29-01-2013 19:29 ]

[Verwijderd]

SPAM verwijderd.

[ Voor 255% gewijzigd door _Dune_ op 29-01-2013 23:05 ]

[FreakNL]

Misschien nog leuk om te vermelden;

(gaat meer over snapraid dan over de Sharkoon):

Ik heb er rond de 20 uur over gedaan om de volgende disk-set te syncen met Snapraid:

3tb - Parity
3tb - Parity-Q

3tb - Series1 (leeg)
2tb - Series2 (zo goed als vol)

2tb - Overig (1tb gebruikt)

2tb - Films1 (1tb gebruikt)
1.5tb - Films2 (800gb gebruikt)
1.5tb - Films3 (leeg)


Na sync heb ik de Films2 schijf geformatteerd (wel eerst mijn data veilig gesteld op een andere, losse USB disk). Snapraid detecteert dat overigens niet, logisch ook, want het is een on-demand iets natuurlijk. Behalve als je een sync gaat draaien, dan geeft hij een error. Je moet dus ook echt zelfs je disks in de gaten houden.

Enfin, daarna een SnapRaid Fix gestart om de data terug te halen (de Films2 disk was dus als het ware een nieuwe/vervangende disk). Hij is daarmee een uurtje of 6 bezig geweest, en was zojuist klaar. Willekeurig ff rondgeklikt en alle films doen het zo te zien weer.

Ik ben hier best tevreden over en vertrouw er ook wel op dat mijn serie/film verzameling die ik de afgelopen 10 jaar opgebouwd heb nu redelijk veilig is. Zelfs als de Sharkoon stuk gaat. Het zijn immers gewoon losse devices. Natuurlijk kan de Sharkoon nog affikken (of zelfs mijn hele huis), maargoed, je moet ergens een grens trekken. Belangrijke data gaat bij mij eens in de zoveel tijd offsite, maar om nou bij mijn ouders ook nog eens 6tb+ aan media te gaan opslaan gaat me wat ver.. Het zou jammer zijn als ik het kwijt raak, maar onmisbaar is het nou ook weer niet...

[ Voor 4% gewijzigd door FreakNL op 31-01-2013 00:00 ]

[Pakjebakmeel]

Misschien toch even een leuke toevoeging, ik heb het D510MO bordje omgewisseld met een D2700MUD. 1.6Ghz Atom --> 2.1Ghz Atom. Op zich niet heel interessant maar de onboard NIC is nu een intel en geen sch**t realtek. Het resultaat spreekt voor zich:

[Waking_The_Dead]

Aangezien ik nu ook meer dan 10TB in mijn server heb, post ik ook maar even mijn specs:

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 0,-	€ 0,-
6	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 111,30	€ 667,80
1	Lian Li PC-Q08 Zwart	€ 90,50	€ 90,50
1	Corsair XMS3 CMX16GX3M2A1333C9	€ 72,80	€ 72,80
1	Huntkey Jumper 300G	€ 63,-	€ 63,-

System specifications
Component	Value
Case	Lian Li PC-Q08 Zwart
CPU	Onboard AMD Fusion E-350
RAM	Corsair XMS3 CMX16GX3M2A1333C9
Motherboard	Asus E35M1-I
Operating system	FreeBSD 8.3 (FreeNAS 8.3.0)
Controller	Onboard
Hard drive	6 x Seagate Barracuda 7200.14 ST3000DM001, 3TB
RAID array configuration	RAID-Z2
Netto storage capacity	12TB (10,7TiB)
Network	Intel Gigabit CT Desktop Adapter
UPS	Nee
Filesystem	ZFS v28
Idle power usage	n/a
Extra

Deze NAS bevat enkel ISO rips van mijn fysieke DVD en Blu Ray collectie.
Ik sla hoofdzakelijk schijfjes op in ISO formaat maar er zijn ook een paar uitzonderingen.
Films die absoluut niets aan extra's bevatten (zoals een aantal E1 releases) daar sla ik gewoon de m2ts file van op. Dat scheelt een paar 100MB aan slechte trailers. En van de extended versies van Lord Of The Rings heb ik voor de drie films telkens van de twee schijfjes per film 1 m2ts bestand gemaakt

Aanvankelijk was ik begonnen met de rips op mijn Synology DS211+ te zetten. Maar die was redelijk snel vol aangezien daar ook nog een pak andere zaken opstaan. Dus een aparte server voor het digitaliseren van mijn DVD en Blu Ray collectie dan maar....

In oktober 2011 ben ik begonnen met het verzamelen van de nodige hardware. Oorspronkelijk zaten er 6 x 1TB schijven in. Wat ge-experimenteer met ZFS en een paar dode schijven later had ik 4 x 3TB + 2 x 2TB. Een tijdje geleden stond mijn server op 90% van de capaciteit en heb ik dan maar de laatste twee 2TB schijven door 3TB exemplaren vervangen waardoor ik de 10TB grens voorbij zat.

Momenteel is mijn NAS voor tweederde gevuld en is gans mijn collectie geript. Normaal gezien kan ik dus nog wel een jaartje voort nu

Zo staat hij momenteel samen met mijn Synology naast de meterkast.

Foto's van de binnenkant... zegt niet veel natuurlijk aangezien alles nogal opeengepakt zit in die Lian-Li behuizing.

De Lian-Li kast was zowat de enige optie die me beviel gezien de ruimte waar de server moest komen net te smal is om een full-tower in kwijt te kunnen. Hierdoor ben ik ook beperkt tot 6 schijven waardoor mijn upgrade-strategie er noodgedwongen in bestaat om systematisch alle schijven door grotere exemplaren te vervangen.

edit 2013-04-15
Aangezien ik aanhoudend problemen had met het streamen van Blu Ray ISO's heb ik enige tijd gezocht naar de oorzaak hiervan. Na lang zoeken heb ik uiteindelijk een Intel netwerkkaartje toegevoegd en het probleem was verholpen. Geen Realtek meer voor mij.

[ Voor 63% gewijzigd door Waking_The_Dead op 15-04-2013 11:44 . Reden: Intel Gigabit CT Desktop Adapter toegevoegd ]

[Pakjebakmeel]

Waking_The_Dead schreef op vrijdag 15 februari 2013 @ 11:33:
Aangezien ik nu ook meer dan 10TB in mijn server heb, post ik ook maar even mijn specs:

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 0,-	€ 0,-
6	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 111,30	€ 667,80
1	Lian Li PC-Q08 Zwart	€ 90,50	€ 90,50
1	Corsair XMS3 CMX16GX3M2A1333C9	€ 72,80	€ 72,80
1	Huntkey Jumper 300G	€ 63,-	€ 63,-
Bekijk collectie Importeer producten		Totaal	€ 894,10

Draait op FreeNAS 8.3.0 met 6 x 3TB in RAID-Z2.

Bruto dus 18TB. Twee schijven zijn redundant dus dan blijft er 12TB netto over. Maar ZFS snoept daar ook nog wat van af en na TB->TiB conversie heb ik uiteindelijk 10.7TiB aan beschikbare opslagcapaciteit.

Er moet een post zijn met informatie over het systeem. Vertel iets meer over je systeem en waarom je bepaalde keuzes hebt gemaakt. Let op: Je post gebruikt de tabel zoals onderaan deze topic start weergegeven. Dit maakt je topic veel leesbaarder.
Je verteld uitgebreid over je build, niet slechts specs posten. Je behandeld die onderwerpen die jouw build speciaal en interessant maken. Als je geen verhaal hebt, hoor je mogelijk niet in deze lijst.
Foto's van binnen en buitenkant zijn vanaf nu 'verplicht'. Pics or it didn't happen.
Foto's moeten in het topic direct zichtbaar zijn, dus niet alleen maar links naar plaatjes.

pics!

[Waking_The_Dead]

Pakjebakmeel schreef op vrijdag 15 februari 2013 @ 15:26:
[...]


[...]


pics!

Da's voor vanavond. Ik zit op het werk nu

Edit: eerste foto toegevoegd. De rest volgt later.

[ Voor 11% gewijzigd door Waking_The_Dead op 15-02-2013 21:50 ]

[B2]

Gisteren dan eindelijk in gebruik genomen, mijn winterproject : 24 TB custom design server.
Er draaien een aantal services ieder in een eigen vm. O.a een router/firewall, fileserver, Plex MediaServer, download vm met SABnzbd, rtorrent e.d. Als virtualisatie software gebruik ik KVM.

Voor de storage gebruik ik ZFSGuru. Via VT-d worden de twee IBM M1015 kaarten doorgegeven zodat ZFSGuru direct toegang heeft tot de 2TB disken en de l2arc cache ssd.

Systeem specificaties
Component	Value
Case	Eigen Design
Power	Silverstone SST-ST45SF-G (450W)
CPU	Intel Xeon E3-1230v2
RAM	32 GB (4x Kingston KVR1333D3E9S/8G)
Motherboard	Supermicro X9SCM-F
Operating system	Hypervisor : Fedora 17
Controller	2x IBM ServeRAID M1015
OS SSD	Crucial m4 CT128M4SSD2 128GB
Hard drive	12 x Western Digital Green WD20EARX, 2TB
Cache	Intel Ephraim X25-E 64GB
RAID array configuration	RAID-Z2
Netto storage capacity	+/- 20TB
Network	Intel Gigabit
Filesystem	ZFS
Idle power usage	+/- 45-50w

Meer foto's volgen nog Nu even 8TB data overgooien vanaf de oude server

De case is helemaal gemaakt met aluminium U-profielen en 1,5mm dikke plaat. Verder zijn alle power kabels custom gemaakt. Het geheel heeft airflow door 4 500-rpm fans.
Verder moet er nog een mooi afdek profieltje op zodat de spleet aan de linkerkant niet meer zichtbaar is...

[ Voor 8% gewijzigd door B2 op 18-02-2013 08:19 ]

[FireDrunk]

Waarom Fedora 17 (en niet 18, bedoel ik)? En welke tools gebruik je om al die VM's te managen? Gewoon virt-manager of iets exotisch?

[ Voor 10% gewijzigd door FireDrunk op 18-02-2013 08:24 ]

[B2]

FireDrunk schreef op maandag 18 februari 2013 @ 08:24:
Waarom Fedora 17 (en niet 18, bedoel ik)? En welke tools gebruik je om al die VM's te managen? Gewoon virt-manager of iets exotisch?

virsh virt-manager is GUI.
De kvm versie van fedora 18 gaf problemen met vt-d.

[FireDrunk]

Ah, goed om te weten! Ik wilde zelf graag KVM vanaf een USB3.0 stick gaan draaien om eens te kijken of ik de onboard controller door kan geven.

Is Virsh een beetje makkelijk? Want ik krijg altijd nare gevoelens bij libvirt, dat is zo bloated voor mijn gevoel..

[B2]

FireDrunk schreef op maandag 18 februari 2013 @ 08:33:
Is Virsh een beetje makkelijk? Want ik krijg altijd nare gevoelens bij libvirt, dat is zo bloated voor mijn gevoel..

Tja ik ben niet anders gewend Enige waar ik even gedoe mee had waren de irq's van de M1015 kaarten. Deze moest ik handmatig op een ander adres zetten, anders zag ZFSGuru ze niet.

[FireDrunk]

Je bedoelt door middel van die PCI back config van KVM?

[B2]

FireDrunk schreef op maandag 18 februari 2013 @ 09:03:
Je bedoelt door middel van die PCI back config van KVM?

Correct. argh dubbelpost

[ Voor 5% gewijzigd door B2 op 18-02-2013 09:18 ]

[B2]

FireDrunk schreef op maandag 18 februari 2013 @ 09:03:
Je bedoelt door middel van die PCI back config van KVM?

Correct.
In dit stukje, waar je VT-d doet, de laatste regel en dan het 'slot' gedeelte :

code:

<hostdev mode='subsystem' type='pci' managed='yes'>
      <source>
        <address domain='0x0000' bus='0x01' slot='0x00' function='0x0'/>
      </source>
      <rom bar='off'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>
</hostdev>

[FireDrunk]

Weer wat geleerd, thanks!

[Q]

180 TB storage voor $10K



$60K voor 1 Petabyte vind ik niet verkeerd. Zou 50K euro zijn ongeveer. Mooie BMW of een Petabyte

[ Voor 29% gewijzigd door Q op 20-02-2013 22:11 ]

[brederodekater]

Q schreef op woensdag 20 februari 2013 @ 22:07:
180 TB storage voor $10K



$60K voor 1 Petabyte vind ik niet verkeerd. Zou 50K euro zijn ongeveer. Mooie BMW of een Petabyte

Hun 19" racks moeten wel goed aan de grond genageld zijn met al dat gewicht aan één kant

[Pakjebakmeel]

B2 schreef op maandag 18 februari 2013 @ 08:12:
Gisteren dan eindelijk in gebruik genomen, mijn winterproject : 24 TB custom design server.
Er draaien een aantal services ieder in een eigen vm. O.a een router/firewall, fileserver, Plex MediaServer, download vm met SABnzbd, rtorrent e.d. Als virtualisatie software gebruik ik KVM.

Nice nice.. Ik wil ook nog zo'n custom powerstripje maken voor de disks.. Waar heb je die 'click-on' connectoren vandaan en zijn die een beetje betrouwbaar aangezien ze meestal niet aangelast zijn maar gewoon de isolatie van de draad doorboren?

[brederodekater]

Pakjebakmeel schreef op donderdag 21 februari 2013 @ 10:14:
[...]


Nice nice.. Ik wil ook nog zo'n custom powerstripje maken voor de disks.. Waar heb je die 'click-on' connectoren vandaan en zijn die een beetje betrouwbaar aangezien ze meestal niet aangelast zijn maar gewoon de isolatie van de draad doorboren?

Die kun je bijvoorbeeld bij Highflow kopen, onder de Modding-sectie. Ze zitten naar mijn weten niet anders in elkaar dan de kant en klare kabeltjes.

Ik heb hetzelfde in mijn server toegepast, 2x 6 schijven aan elkaar geschakeld, en heb er nog nooit problemen mee gehad. Wel natuurlijk even kijken wat je voeding aankan

[B2]

brederodekater schreef op donderdag 21 februari 2013 @ 11:11:
[...]


Die kun je bijvoorbeeld bij Highflow kopen, onder de Modding-sectie. Ze zitten naar mijn weten niet anders in elkaar dan de kant en klare kabeltjes.

Ik heb hetzelfde in mijn server toegepast, 2x 6 schijven aan elkaar geschakeld, en heb er nog nooit problemen mee gehad. Wel natuurlijk even kijken wat je voeding aankan

Precies, ik heb ze bij Highflow vandaan, inclusief kabel. Het kost even wat gepruts om de kabels er goed in te krijgen (tip: maak ze een klein beetje warm met een aansteker) maar het werkt perfect.

Inderdaad even naar je voeding kijken wat een rail aan kan.

[brederodekater]

B2 schreef op donderdag 21 februari 2013 @ 11:25:
[...]


Precies, ik heb ze bij Highflow vandaan, inclusief kabel. Het kost even wat gepruts om de kabels er goed in te krijgen (tip: maak ze een klein beetje warm met een aansteker) maar het werkt perfect.

Inderdaad even naar je voeding kijken wat een rail aan kan.

Nog een tip; Ultra-strak ziet er cool uit (zie mijn pics) - Ik heb zelf de kabels gespannen toen de schijven al op hun plek zaten met de connectoren erop - Maar mocht je later een schijf willen vervangen, dan kan het lastig zijn om 'maakt niet uit welke' connector los te maken

[BartNL]

ik heb nog een stel lege disks liggen uit de tijd dat mijn fileserver lang niet alle blu-rays kon bevatten. Heb geïnspireerd door http://www.servethehome.c...ost-jbod-enclosures-raid/ een 2e Norco 4224 en een HP SAS expander gekocht. Bedoeling is om hier de 6x3TB + 12x2TB + 6x1,5TB schijven in te stoppen. Qua ruimte totaal onnodig maar gewoon omdat het kan.
HP SAS expander krijg ik niet werkend in een mobo zonder CPU dus een H61 bordje gekocht met Celeron G1610 CPU.
Ben nu aan het proefdraaien met 6x3TB in raid5 en lijkt bemoedigend. Ben er ondertussen achter dat ik de UPS moet upgraden omdat 500W niet genoeg gaat zijn voor 48 disks. Gisteren daarom via V&A een 1500VA exemplaar gekocht

[GioStyle]

Een 2e Norco 4224 kopen, omdat het kan. Held!

[jacovn]

Hoeveel bandbreedte heb je naar deze extra kast toe. Is dat met infiniband, en dan 4x sata 300 ?

[Pantagruel]

BartNL schreef op maandag 25 februari 2013 @ 23:19:
ik heb nog een stel lege disks liggen uit de tijd dat mijn fileserver lang niet alle blu-rays kon bevatten. Heb geïnspireerd door http://www.servethehome.c...ost-jbod-enclosures-raid/ een 2e Norco 4224 en een HP SAS expander gekocht. Bedoeling is om hier de 6x3TB + 12x2TB + 6x1,5TB schijven in te stoppen. Qua ruimte totaal onnodig maar gewoon omdat het kan.
HP SAS expander krijg ik niet werkend in een mobo zonder CPU dus een H61 bordje gekocht met Celeron G1610 CPU.
Ben nu aan het proefdraaien met 6x3TB in raid5 en lijkt bemoedigend. Ben er ondertussen achter dat ik de UPS moet upgraden omdat 500W niet genoeg gaat zijn voor 48 disks. Gisteren daarom via V&A een 1500VA exemplaar gekocht

BartNL gaat voor de 1e plek in 't 10+ TB topic.
Deze setup gaat dan richting de 100+ TB, welles waar niet binnen één behuizing, maar voorlopig toch

@FD, zie TS zijn huidige server heeft al 66 TB aan opslag, hang je er de 51 TB bij (RAID level is de vraag) dan ga je wel over de 100TB.

[ Voor 6% gewijzigd door Pantagruel op 26-02-2013 10:41 ]

[FireDrunk]

3*6 = 18
12*2 = 24
6*1.5 = 9
18 + 24 + 9 = 51TB?

Waar haal jij 100TB vandaan?

[BartNL]

@Firedrunk
't wordt zoals Pantagruel aangeeft,
1e Norco kast 66TB (raid6) direct aan de Areca
2e Norco kast 15TB (raid5)+ 20TB (raid6) + 7,5TB (raid5) via de SAS expander
dus totaal 108,5TB

@jacovn
ik denk 4x sata300, haal ruim meer dan 400MB/s over de SAS expander maar weet nit zeker of dat niet de maximum transferrate van de raid-5 array is. Zal later nog eens wat testjes doen.


3e volume aan het initialiseren en er zit dan 101TB aan de Areca controller

[ Voor 21% gewijzigd door BartNL op 27-02-2013 18:02 ]

[Pakjebakmeel]

BartNL schreef op dinsdag 26 februari 2013 @ 20:05:
@Firedrunk
't wordt zoals Pantagruel aangeeft,
1e Norco kast 66TB (raid6) direct aan de Areca
2e Norco kast 15TB (raid5)+ 20TB (raid6) + 7,5TB (raid5) via de SAS expander
dus totaal 108,5TB

omfg. Op zich leuk idd zeker gewoon 'omdat het kan' maar ik ben wel benieuwd wat de NUON hier ongeveer aan verdiend

B2 schreef op donderdag 21 februari 2013 @ 11:25:
[...]


Precies, ik heb ze bij Highflow vandaan, inclusief kabel. Het kost even wat gepruts om de kabels er goed in te krijgen (tip: maak ze een klein beetje warm met een aansteker) maar het werkt perfect.

Inderdaad even naar je voeding kijken wat een rail aan kan.

WOEI

[FireDrunk]

Netjes! Veel werk die kabetjes maken? Moet ik eigenlijk ook een keer doen...

[ Voor 83% gewijzigd door FireDrunk op 01-03-2013 11:16 ]

[BartNL]

Pakjebakmeel schreef op vrijdag 01 maart 2013 @ 10:13:
[...]ik ben wel benieuwd wat de NUON hier ongeveer aan verdiend

zowel kast 1 als 2 staan normaliter in slaapstand en gebruiken dan < 1W dus dat valt mee. Totale verbruik van beide kasten wanneer ik van array naar array kopiëer zit nu op zo'n 500W. Tijdens normaal gebruik gaat het afhangen van welke array gebruikt wordt. De niet gebruikte arrays gaan tijdens gebruik in slaapstand.
Ik verwacht dat het gemiddelde verbruik ruim onder de 100W gaat uitkomen of 2 kWh per dag en dus €160 per jaar. Rivier, Mycom en Azerty zijn veel blijer met mij

[Pakjebakmeel]

FireDrunk schreef op vrijdag 01 maart 2013 @ 11:16:
Netjes! Veel werk die kabetjes maken? Moet ik eigenlijk ook een keer doen...

Trek een uurtje uit voor de 1ste die je maakt en iets minder voor de 2e als je de handigheid te pakken hebt. Het is voornamelijk even opletten en de boel netjes afwerken met krimpkous.

Het resultaat daarintegen is de moeite meer dan waard.

Grootformaat plaatjes:

https://plus.google.com/p...lbums/5830594704991236769

[ Voor 12% gewijzigd door Pakjebakmeel op 03-03-2013 09:43 ]

[Q]

BartNL schreef op maandag 25 februari 2013 @ 23:19:
ik heb nog een stel lege disks liggen uit de tijd dat mijn fileserver lang niet alle blu-rays kon bevatten. Heb geïnspireerd door http://www.servethehome.c...ost-jbod-enclosures-raid/ een 2e Norco 4224 en een HP SAS expander gekocht. Bedoeling is om hier de 6x3TB + 12x2TB + 6x1,5TB schijven in te stoppen. Qua ruimte totaal onnodig maar gewoon omdat het kan.
HP SAS expander krijg ik niet werkend in een mobo zonder CPU dus een H61 bordje gekocht met Celeron G1610 CPU.
Ben nu aan het proefdraaien met 6x3TB in raid5 en lijkt bemoedigend. Ben er ondertussen achter dat ik de UPS moet upgraden omdat 500W niet genoeg gaat zijn voor 48 disks. Gisteren daarom via V&A een 1500VA exemplaar gekocht

Leuk om te zien dat er in deze tijden nog mensen voor dikke storage gaan.

Ik vond deze kast trouwens erg leuk, helaas wel duur:

4U Storage Chassis support up to 45x HDD

http://www.supermicro.nl/...47/SC847E16-R1K28JBOD.cfm

Voorkant:

Achterkant:


hier kan dus 45 x 4TB = 180 TB rauwe capaciteit in. Twee dikke RAID6 van 22 schijven met 1 global hot-spare zou nog steeds 45 - 2x2 -1 = 40x4 = 160 TB redundante storage opleveren. Dat zou moeten lukken voor ongeveer 9000 aan disks, 2K voor dit chassis en dan nog 1K voor de pc zelf. dus 12K euro. Is te doen voor de echte storage idioot.

[ Voor 20% gewijzigd door Q op 03-03-2013 22:16 ]

[analog_]

Ik zou het houden bij raidsetjes van 9 in raid5 of 10 disk raid6 volumes. Dan komt er nog wat IOPS uit op kleine transacties en is rebuilding niet zo dramatisch.

[Hakker]

Q schreef op zondag 03 maart 2013 @ 22:12:
[...]


Leuk om te zien dat er in deze tijden nog mensen voor dikke storage gaan.

Ik vond deze kast trouwens erg leuk, helaas wel duur:

4U Storage Chassis support up to 45x HDD

http://www.supermicro.nl/...47/SC847E16-R1K28JBOD.cfm

Voorkant:
[afbeelding]
Achterkant:
[afbeelding]

hier kan dus 45 x 4TB = 180 TB rauwe capaciteit in. Twee dikke RAID6 van 22 schijven met 1 global hot-spare zou nog steeds 45 - 2x2 -1 = 40x4 = 160 TB redundante storage opleveren. Dat zou moeten lukken voor ongeveer 9000 aan disks, 2K voor dit chassis en dan nog 1K voor de pc zelf. dus 12K euro. Is te doen voor de echte storage idioot.

Misschien een domme vraag maar hoe wou je die files benaderbaar maken? er is geen ruimte voor een backplate zelfs en het enige wat in de beschijving staat zijn leds en een power+reset knop ik zie bv niks dat de mogelijkheid bied om zelfs een netwerkkabel aan te kunnen sluiten maar ik zal wel zijn.



Chenbro RM91250
maar zorg wel dat je weet waar je aan begint. De kast alleen al weegt 52 kilo en dat is volgens mij zonder de drive cages. Van mij part is het met maar als je 50 HDD's erin propt gooi je er toch al zeker 32 kilo extra bij dus dan krijg je meer te maken met YouTube: "Weird Al" Yankovic - Living With A Hernia

[Q]

Hakker schreef op zondag 03 maart 2013 @ 23:07:
[...]
Misschien een domme vraag maar hoe wou je die files benaderbaar maken? er is geen ruimte voor een backplate zelfs en het enige wat in de beschijving staat zijn leds en een power+reset knop ik zie bv niks dat de mogelijkheid bied om zelfs een netwerkkabel aan te kunnen sluiten maar ik zal wel zijn.

[afbeelding]

Chenbro RM91250
maar zorg wel dat je weet waar je aan begint. De kast alleen al weegt 52 kilo en dat is volgens mij zonder de drive cages. Van mij part is het met maar als je 50 HDD's erin propt gooi je er toch al zeker 32 kilo extra bij dus dan krijg je meer te maken met YouTube: "Weird Al" Yankovic - Living With A Hernia

die Supermicro hang je met SAS aan je daadwerkelijke storage server, ik lette even niet goed op, er komt dus nog een paar k bij voor de server zelf.

De Chenbro is een leukere kast want daar past de server zelf ook in. Het gewicht is niet zo'n punt. Koop er gewoon een goede kast bij en zorg voor een 2e persoon bij het installeren. Dat hoort er gewoon bij. Voor 2300 ex btw vind ik het een leuk ding. Kan dus 200 TB netto in.

Met 50 disks moet je staggered spinup werkende krijgen of een hele dikke (dure) UPS kopen. Dat dan weer wel.

Ergens wordt het interessant(er) om toch voor een clustered oplossing te gaan waarbij je meerdere losse goedkopere servers met zeg 16 disks per stuk aan elkaar knoopt. Kun je een hele server malfunction overleven.

[ Voor 13% gewijzigd door Q op 04-03-2013 00:36 ]

[analog_]

Elke supermicro case kan je in EATX tray krijgen en in jbod config waarbij het dus via een extender loopt. Toevallig gisteren ook naar zitten kijken en hij kost ongeveer 3000 zonder substantiele hardware bij ahead-it.eu.

[Q]

Toch is het probleem met deze grote kasten dat je single point of faillure van de disks verschuift naar zaken als voeding, moederbord, controller(s), etc. Een van die dingen stuk en je data kan alsnog naar de kloten zijn.

Mijn vorige voeding stond in de fik (Coolermaster crap) en die had best de disks kunnen frituren.

Daarom zou ik wel een Lustre of ander soort cluster achtige oplossing willen bouwen met goedkopere cases met per case minder schijven, zeg 16-24 ofzo en dan gewoon stacken.

Dat geeft waarschijnlijk meer redundancy, maar je stroomkosten worden er alleen niet minder van als je niet iets met WOL doet. En dan gaat de volgorde van booten etc. weer uitmaken.

Maar dat is de volgende fase. Niet aso veel storage in 1 chassis, want dat schaalt uiteindelijk niet, maar veel storage over meerdere chassis, geclustered.

Wie gaat zoiets bouwen?

Er is helaas volgens mij geen goed clustered file system dat echt ok werkt, denk ik. Dus dat je gewoon RAID 5/6 over servers heen doet als het ware, liefst op file niveau.

[analog_]

Ik ben momenteel stiekem bezig met een HA storage opstelling maar moet eerst de infiniband wat op tempo brengen want ik kom nog niet verder dan 400MB/sec nu met ipoib. Ik heb het wel maar over 350GB MLC en 200GB SLC en 14TB op spindles. Grote probleem is nu opensm compileren op OpenIndiana, helaas is er enkel documentatie van een vage japanner.

Het gaat mij om het concept en IOPS.

[ Voor 5% gewijzigd door analog_ op 05-03-2013 00:53 ]

[Pantagruel]

analog_ schreef op dinsdag 05 maart 2013 @ 00:47:
Ik ben momenteel stiekem bezig met een HA storage opstelling maar moet eerst de infiniband wat op tempo brengen want ik kom nog niet verder dan 400MB/sec nu met ipoib. Ik heb het wel maar over 350GB MLC en 200GB SLC en 14TB op spindles. Grote probleem is nu opensm compileren op OpenIndiana, helaas is er enkel documentatie van een vage japanner.

Het gaat mij om het concept en IOPS.

Ik heb in t verleden ook met de combi IB en OI/Solaris SE lopen prutsen, maar niet zo zeer in de HA setting.
In vergelijking tot linux (ca. 900 MB/sec Read and Write van/naar RAM disk) kwam ik met de write speeds onder OI niet verder dan ca. 450 MB/sec (posting), onder Solaris SE bleef write steken op ca. 350 MB/sec maar dat was andere (oudere) hardware en op een ISCSI target terwijl Linux en OI een SRP target waren.

De afgelopen maand heb ik met ZFS on Linux lopen spelen en dat werkt op zich goed. OK niet de makkelijke beheer oppervlakte die ZFSguru biedt, maar de CLI is ook weer niet zo'n ramp. Voordeel is dat infiniband tenminste redelijk eenvoudig werkend is te krijgen. Op een vdev als SRP target haal ik ca 200 MB/sec Write en ca. 300 MB/sec read (striped set van 4x 320 GB WDAC SATA disks [oude meuk]).

Klopt de info van syoyo is cryptisch, ik heb altijd opensm vanuit windows of linux gestart en de compile onder OI links laten liggen.

Een andere optie is een Infiniband switch aanschaffen welke van een subnet manager herbergt. Gebruikt/refurb op Ebay vanaf 100 euro voor een 8 poorts SDR exemplaar, DDR (20 Gbps) vanaf ca 650 euro.

[ Voor 10% gewijzigd door Pantagruel op 05-03-2013 10:26 . Reden: Infiniband switch. ]

[analog_]

Ha, eindelijk iemand die de miserie kent. syoyo inderdaad, ik ben inmiddels zover dat de boel ansich compiled maar er missen twee libraries van opensm, er gaat volgens mij iets fout in z'n linker script ofzo. Ik ga er nog één keer naar kijken en dan geef ik het op, dan zal het ook een zfs-on-linux oplossing worden waarschijnlijk.

[BartNL]

ondertussen plan laten varen om 6x 1.5TB er bij te zetten. Van de 1.5TB schijven die ik had liggen blijken er minimaal twee problematisch.
Verder draait e.e.a. nu wel prima. Via de SAS expander haal ik tot nu toe 600-700MB/sec van de 24 disk Raid 6 array naar de 12 disk Raid 6 array.

[Pantagruel]

BartNL schreef op dinsdag 05 maart 2013 @ 20:05:
ondertussen plan laten varen om 6x 1.5TB er bij te zetten. Van de 1.5TB schijven die ik had liggen blijken er minimaal twee problematisch.
Verder draait e.e.a. nu wel prima. Via de SAS expander haal ik tot nu toe 600-700MB/sec van de 24 disk Raid 6 array naar de 12 disk Raid 6 array.

Dat zijn lekkere getallen.

[FireDrunk]

24 disks en dan 600MB/s halen, dat is maar 20MB/s per disk... Vind ik eigenlijk een beetje tegenvalen...

[soulrider]

van 24disks naar 12 disk array
met piek op 700:
dat maakt 700/(12discs-2parity): 70 MB/s per disc op de ene array,
en 700/(24 dicscs - 2 parity) = bijna 32MB/s op de andere array.

hoe dan ook: die 600MB/s en 700MB/s zijn wel lekkere cijfers :-)

[FireDrunk]

Tis niet slecht nee, maar het kan vast sneller met 24 disks

[ Voor 13% gewijzigd door FireDrunk op 06-03-2013 11:34 ]

[BartNL]

volgens mij nauwelijks met de schijven die er nu in zitten.

[FireDrunk]

Uh? Elke moderne schijf van >1TB doet 100MB/s sequentieel lezen en schrijven...

[Pakjebakmeel]

Mijn futiele WD greenline schijfje.. 5400rpm zelfs als ik me niet vergis:

code:

gentoo proftpd # hdparm -Tt /dev/sdc

/dev/sdc:
 Timing cached reads:   1854 MB in  2.00 seconds = 927.34 MB/sec
 Timing buffered disk reads: 382 MB in  3.01 seconds = 126.97 MB/sec

[BartNL]

FireDrunk schreef op woensdag 06 maart 2013 @ 14:39:
Uh? Elke moderne schijf van >1TB doet 100MB/s sequentieel lezen en schrijven...

Zijn schijven van twee tot drie jaar oud dus in jouw beleving dan vast niet modern. Ter info aantal x gebruikte disk met Crystal diskmark sequential write slowest - fastest MB/s waarden,
4x Samsung HD203WI -> 54 - 112 MB/s
2x Samsung HD204UI -> 70 - 148 MB/s
3x Seagate ST2000DL003 -> 58 - 113 MB/s
3x Seagate ST32000542AS -> 58 - 114 MB/s

Er zit theoretisch misschien iets meer in maar praktisch lijkt dat in mijn setup niet te lukken. Het is ook zo dat wanneer ik twee grote bestanden (bluray remux) naar de twee raid arrays kopieer ik mar net tot boven 700MB/s totaal kom. Lijkt of het aan de rest van de setup (controller, expander, kabels, backplanes) ligt.

[Shunt]

.

[ Voor 103% gewijzigd door Shunt op 24-03-2013 11:33 ]

[VorCha]

ehum, misschien dat je de TS nog een keer door zou kunnen nemen

Heb geen raid of ZFS. Gewoon 6x 3tb pure storage voor series en films. ..... Ik heb overwogen om raid 6 te gaan gebruiken maar voor de data die ik er op heb staan vind ik dat gewoon niet belangrijk genoeg...

5.Toepassing van redundancy, het systeem moet falen van minimaal 1 storage disk kunnen overleven.

Er staat Windows 8 op om het voor het vriendingetje ook wat makkelijker te maken om het toetsenbordje te pakken en eens wat anders te doen dan alleen XBMC bvb een beetje sims ofzo.

1.Dedicated server systeem (niet in gebruik als werkstation / game systeem) dus NAS of Virtualisatie server.

Met 18TB aan RAW storage ruimte zou je toch tenminste 1 disk voor reduntantie kunnen 'opofferen'?

Daarnaast heb je het over losse disken? ofwel 6 schijven zichtbaar voor windows? Niet echt 10TB aan netto ruimte zoals bedoeld, lijkt mij.

[Q]

VorCha schreef op zondag 24 maart 2013 @ 11:11:
ehum, misschien dat je de TS nog een keer door zou kunnen nemen

[...]


5.Toepassing van redundancy, het systeem moet falen van minimaal 1 storage disk kunnen overleven.


[...]

1.Dedicated server systeem (niet in gebruik als werkstation / game systeem) dus NAS of Virtualisatie server.

Met 18TB aan RAW storage ruimte zou je toch tenminste 1 disk voor reduntantie kunnen 'opofferen'?

Daarnaast heb je het over losse disken? ofwel 6 schijven zichtbaar voor windows? Niet echt 10TB aan netto ruimte zoals bedoeld, lijkt mij.

Helaas is de tekst gewist maar wat ik uit deze reactie begrijp was deze build niet zo interessant voor dit topic. Er is niets speciaals aan en de build voldoet niet aan de voorwaarden.

Dit topic is niet voor puur patsen, het moeten wel een beetje boeiende builds zijn.

[ Voor 4% gewijzigd door Q op 24-03-2013 22:43 ]

[KorneelB]

freak1 schreef op maandag 26 september 2011 @ 10:34:
oh, te lang alweer niet gepost.. upgrade projectje want die eerste plek wil ik terug..


Freak1's DS3611xs

System specifications
Component	Value
Case	Synology DS3611xs + 2 X DX1211
CPU	Intel Core I5 (bromolow)
RAM	8 GB
Motherboard	Synology Made
Operating system	Synology Custom Linux Distro version 4.2
Controller	Custom
Hard drive	36 X Hitachi DeskStar H3IK40003272SE, 3 stuks op coldspare
RAID array configuration	3 X 12 disk Synology Hybrid Raid met 2 disk redundancy (RAID 6 variant)
Netto storage capacity	120 TB
Network	4 X 1gbit in LAG, 4 Gbit effectief
UPS	Ja, SmartUPS 3000VA
Filesystem	EXT 4
Idle power usage	idle ongeveer 120 watt. full power 220 watt

Pics zijn niet echt bijzonder deze keer, zelfde als de vorige keer

[thalantis]

aardige investering weer

[ieperlingetje]

freak1 schreef op dinsdag 26 maart 2013 @ 11:10:
[...]

Stel dat we uitgaan dat je deze schijven voor 150 euro per stuk hebt kunnen krijgen (wat ik betwijfel) lig je aan 5850 euro Wou dat ik ook kon.

[Perkouw]

@Freak1,

Disks bevallen jou ook goed ? Heb er hier ook al een aantal draaien en tot dusver nog niets op kunnen aanmerken eigenlijk. Had een stapel van deze, Seagate Barracuda 7200.14 ST3000DM001, jongens gehaald. Maar dat beviel me toch niet echt met DOA's en RMA's.
Die 4TB disks zijn voor nu in ieder geval de nieuwe kandidaat voor het andere 45 disk systeem.

ghehehe wat betreft de 1e plek. Regel 3 -> Deze storage moet in 1 systeem (chasis) zitten.

[ Voor 37% gewijzigd door Perkouw op 26-03-2013 15:28 ]

[ieperlingetje]

Perkouw schreef op dinsdag 26 maart 2013 @ 15:24:
@Freak1,ghehehe Regel 3 -> Deze storage moet in 1 systeem (chasis) zitten.

Mocht iemand ooit een storage cluster bouwen met individuele systemen die niet de 10TB grens doorbreken, maar wel als cluster de grens doorbreekt: dan kom je toch in aanmerking om in de lijst opgenomen te worden. Dit zijn namelijk heel interessante builds die in de schijnwerpers mogen staan.

[Perkouw]

ieperlingetje schreef op dinsdag 26 maart 2013 @ 15:29:
[...]


[...]

Waarom staat zijn huidige build er niet in dan? (het was trouwens als geintje richting Freak1)

[ Voor 16% gewijzigd door Perkouw op 26-03-2013 15:31 ]

[KorneelB]

Perkouw schreef op dinsdag 26 maart 2013 @ 15:30:
[...]


Waarom staat zijn huidige build er niet in dan? (het was trouwens als geintje richting Freak1)

geen idee...
de manier waarop ik t overigens interepreteer mbt dat ene chassis, is dat het vanuit 1 ding aangestuurd moet worden. dus niet 3 servers die onderling communiceren..
het is bij mij echt 1 chassis, de 2 losse expansions zijn gewoon bays.. daar zit geen enkele intelligentie in...

[Perkouw]

freak1 schreef op dinsdag 26 maart 2013 @ 15:33:
[...]

geen idee...
de manier waarop ik t overigens interepreteer mbt dat ene chassis, is dat het vanuit 1 ding aangestuurd moet worden. dus niet 3 servers die onderling communiceren..
het is bij mij echt 1 chassis, de 2 losse expansions zijn gewoon bays.. daar zit geen enkele intelligentie in...

Dames en heren, het was grappig bedoeld. Jullie lezen het echt te serieus.
Anyway, las je nog wat ik zei over die disks. ? Ben benieuwd hoe ze jou bevallen tot dusver.

[ Voor 3% gewijzigd door Perkouw op 26-03-2013 15:37 ]

[jacovn]

Mijn file server is op ZFSguru gebaseerd. Na een half jaar aanmodderen met unraid (raad ik iedereen af die wat hoger gespannen verwachting heeft qua performance) is dit een verademing.
De server is bedoeld voor opslag van films. Hiervoor had ik die op losse hdd's staan, en via e-Sata aan een afspeler gekoppeld. Jaren terug heb ik ooit een thecus nas gehad, maar door de lage overdracht snelheid en geringe schaalbaarheid ben ik daar toen van af gestapt.

De keuze voor de vorige kast (CM stacker) is simpel, die had ik al staan (2 zelfs) met unraid was de inzet om de bestaande collectie aan 1000, 1500 en 2000 GB HDD's te hergebruiken. Ik wilde het goedkoop oplossen, en heb norcotec HDR-5-v2 5in3 racks van 10 euro gekocht, een noctua pwm fan geplaatst.

Nu ben ik overgestapt naar Norco 19" chassis omdat het structureel wat een betere oplossing is, de 3 fans koelen alle hdds (ik weet niet eens zeker of het nu een voordeel of nadeel is)

Toen unraid niet naar mijn zin werkte heb ik meer 3 en 4 TB hdds gekocht om binnen zfs 2 raidz2 pools van 10 hdd's te kunnen maken. Inmiddels heb ik al die oude hdd's (40) verkocht en ben ik bezig om server 2 te vullen met 3 TB disks.

Server 1 specifications
Component	Value
Case	Norco 4220
CPU	Xeon E3-1225V2
RAM	32 GB Supermicro MEM-DR380L-HL01-EU16
Motherboard	Supermicro X9SAE-V
Powersupply	Seasonic Platinum 760
Operating system	ZFS Guru 10.1 with ZFS v5000
Controller	2x IBM M1015 flashed to IT mode
Hard drive	10x Hitachi 7K4000
Hard drive	10x Toshiba DT01ACA300
SSD	Intel X25 80 GB
SSD	1 Samsung 830 64 GB
array configuration	Pool 1 RaidZ2 10 x Toshiba DT01ACA300 Pool 2 RaidZ2 10 x Hitachi 7K4000
Filesystem	ZFS v5000
Idle power usage	~160Watt (no spindown)
Extra	Noctua PWM fans met Zalman PWM mate controllers

16 HDD's op de M1015 controllers.
4 HDD's op het moederbord.
1 SSD voor boot
1 SSD voor L2ARC voor beide pools

[ Voor 141% gewijzigd door jacovn op 04-12-2015 13:48 . Reden: Cpu changed ]

[Perkouw]

Pic's or it didn't happen!

[jacovn]

ik moet ergens de pictures kunnen uploaden, een suggestie ?

thx, dropbox moet lukken, even een test:

[ Voor 80% gewijzigd door jacovn op 26-03-2013 21:04 ]

[Perkouw]

jacovn schreef op dinsdag 26 maart 2013 @ 19:38:
ik moet ergens de pictures kunnen uploaden, een suggestie ?

T.net photoalbum ?
Tinypic?
Imgur?
Imgbox?
Imagebam ?
Dropbox?
etc....

[Q]

Klinkt allemaal heel interessant maar 2 dingen:

1. Pics or it didn't happen -> store ze op tweakers.net
2. vertel er een verhaal bij, leg je build en keuzes uit zodat mensen er ook iets van opsteken.

[Waking_The_Dead]

3 SSD's? Voor het afspelen van films? Hebben die hoegenaamd nut (op de bootschijf na dan)?
In welk formaat sla je je films op? Met 47TiB kan je zelf in BD-ISO formaat al een paar uurtjes film kijken me dunkt.
En aangezien je toch geen spindown toepast; waarom gooi je niet alles in 1 pool ipv 2?

[ Voor 17% gewijzigd door Waking_The_Dead op 27-03-2013 13:03 ]

[FireDrunk]

Dat is voor ZIL en L2ARC, heeft weinig met de daadwerkelijke opslag van data te maken...

[Waking_The_Dead]

FireDrunk schreef op woensdag 27 maart 2013 @ 13:20:
Dat is voor ZIL en L2ARC, heeft weinig met de daadwerkelijke opslag van data te maken...

I know, maar wat voor nut heeft dit als je je server enkel gebruikt voor opslag van films?

[jacovn]

Spindown moet nog.
Ik heb opgemaakt uit wat ik las dat er geen verschillende type hdd's in een pool zouden moeten zitten.

Het zijn geen .iso files, maar folder structuren. En ja ik kan een paar uurtjes kijken zo. Het is natuurlijk een collectie van jaren, mijn HT hobby voer ik al meer dan 15 jaar uit.

En discussies over de hoeveelheid opslag zijn toch zinloos hier. Die ene pool is alleen voor Granny Pron, een speciale subsectie van wat algemeen als Pron wordt beschouwd

[jacovn]

Waking_The_Dead schreef op woensdag 27 maart 2013 @ 13:30:
[...]


I know, maar wat voor nut heeft dit als je je server enkel gebruikt voor opslag van films?

Ik hoop dat de Yadis informatie van de films in de L2Arc komt te staan. Mijn HDI dune speler heeft die nodig als door de lijst gescrolled wordt.

[Waking_The_Dead]

jacovn schreef op woensdag 27 maart 2013 @ 13:31:
[...]

Ik hoop dat de Yadis informatie van de films in de L2Arc komt te staan. Mijn HDI dune speler heeft die nodig als door de lijst gescrolled wordt.

Aha, juist ja. Had ik niet aan gedacht.

Betreffende verschillende disks binnen één pool: een pool kan bestaan uit meerdere vdev's. Jij heb nu twee pools bestaande uit elk één vdev. Je had je twee vdev's ook in één pool kunnen hangen wat betere performance oplevert. Maar aangezien we hier over films spreken, zou dit in de praktijk wellicht niets uitmaken. En aangezien je blijkbaar van plan bent om spindown nog in te stellen, zijn twee pools misschien inderdaad beter in dit geval.

[jacovn]

Inderdaad 2 pools gemaakt om diegene spindown te kunnen doen waar niet de film af komt.
Ik had dit bij unraid (even snel de mond spoelen) met alle hdd's die niet gebruikt werden.

Dit moet toch de helft in geluidsproductie van de hdds schelen. De server staat in de HT ruimte nu, geen andere ruimte in huis waar ik hem kwijt kan zonder ruzie met mijn vrouw te krijgen vrees ik.

[FireDrunk]

Koop een goede kast met geluidsisolatie, en je hebt nergens last van.. Heb hier 10 schijven draaien en mijn server is fluisterstil.

(Fractal Design Define XL 3.0)

[jacovn]

FireDrunk schreef op woensdag 27 maart 2013 @ 16:33:
Koop een goede kast met geluidsisolatie, en je hebt nergens last van.. Heb hier 10 schijven draaien en mijn server is fluisterstil.

(Fractal Design Define XL 3.0)

Ik heb voor mijn pc ook een define xl, en echt fluisterstil is het niet echt.
Het staat bij mij in een vrij stille ruimte en dan hoor je alles gewoon. Maar goed het is acceptabel voor me zo.

Verder passen er geen 20 hdds in zonder hem ernstig te verbouwen..

[KorneelB]

koop een Synology, werkt altijd en is fluisterstil

[FireDrunk]

Er passen by defailt 10 schijven in, en je kan er volgens mij 2 * 5-in-3 modules in kwijt?

[jacovn]

Zit 4x5,25 bay in, dus 1x 5in3, en dan nog 1 positie vrij.

Synology was me te duur toen ik nadacht over welke oplossing ik wilde. Ben ondertussen wel duurder uitgekomen dan origineel gedacht, maar het is ook wat hobby natuurlijk.

[FireDrunk]

Tja, als je echt 20 disks wil, kan je beter een Norco chassis kopen. Nadeel daarvan is weer dat je alle fans moet vervangen om het ding stil te krijgen... en goede stille fans om 20 disks te koelen, zijn ook niet echt goedkoop... Dan praat je toch al snel over een 6-tal Noctua fans...

[jacovn]

Het is prima zo, ik heb foto's gemaakt en zal ze proberen te plaatsen.
Gelukt via dropbox

[ Voor 12% gewijzigd door jacovn op 28-03-2013 10:53 ]

[KorneelB]

Perkouw schreef op dinsdag 26 maart 2013 @ 15:24:
@Freak1,

Disks bevallen jou ook goed ? Heb er hier ook al een aantal draaien en tot dusver nog niets op kunnen aanmerken eigenlijk. Had een stapel van deze, Seagate Barracuda 7200.14 ST3000DM001, jongens gehaald. Maar dat beviel me toch niet echt met DOA's en RMA's.
Die 4TB disks zijn voor nu in ieder geval de nieuwe kandidaat voor het andere 45 disk systeem.

ghehehe wat betreft de 1e plek. Regel 3 -> Deze storage moet in 1 systeem (chasis) zitten.

ik zal je eerlijk zeggen, ben er wel enthousiast over zover. ben echt nog volop in de conversie, dus wellicht dat ik nog ergens tegenaanloop, maar vlekkeloos herkend, lekkere snelheid, ja, nog niet ontevreden

[BartNL]

freak1 schreef op donderdag 28 maart 2013 @ 08:02:
koop een Synology, werkt altijd en is fluisterstil

werkt altijd is als Tweaker natuurlijk een nadeel en je betaalt per slot duidelijk meer dan bij zelfbouw.

[BartNL]

FireDrunk schreef op donderdag 28 maart 2013 @ 08:31:
...en goede stille fans om 20 disks te koelen, zijn ook niet echt goedkoop... Dan praat je toch al snel over een 6-tal Noctua fans...

vijf fans van vijf euro doen dat ook. Ik gebruik zelf Artic Cooling fans in 80mm PWM en 120mm TC (temperatuurgeregeld) uitvoering. Misschien zijn het op termijn geen goede fans maar doen nu stil en goed hun werk.
Lastigst in mijn Norco's zijn niet de 24 harddisks maar de controller, expander en netwerkadapters waar ik dus ook extra koeling op heb gezet. Met name de HP SAS expander en Intel netwerkadapters zijn "server grade" en berekend op veel luchtflow.

[jacovn]

Ik heb ook een fan boven de 3 m1015 kaarten hangen anders worden die veel te heet.
Ze hebben geperforeerde slotkaarten, en ook de blikjes ertussen zijn geperforeerd, maar dat was niet genoeg voor natuurlijke airflow.

[KorneelB]

BartNL schreef op donderdag 28 maart 2013 @ 21:42:
[...]

werkt altijd is als Tweaker natuurlijk een nadeel en je betaalt per slot duidelijk meer dan bij zelfbouw.

zie mijn eerder gerefereerde topic.. dat valt dus vies tegen dat je minder zou betalen voor zelfbouw..

[BartNL]

freak1 schreef op vrijdag 29 maart 2013 @ 06:10:
[...]zie mijn eerder gerefereerde topic.. dat valt dus vies tegen dat je minder zou betalen voor zelfbouw..

ik denk €65 voor mijn zelfbouw in Norco kasten tegen €100 voor jouw Synology. Bij 36 of 48 slots telt dat aardig aan. Zelfbouw zou nog flink goedkoper kunnen wanneer je M1015 combineer met een SAS expander en dan ZFSGuru of FreeNas zou draaien.

[FireDrunk]

Die discussie moet je niet hier voeren, maar in zijn oude topic... Je staat er verteld van hoeveel dingen je nog moet aanschaffen bij zelfbouw (fans, kabeltjes, en dat soort spul vergeet je snel...)

En een SAS Expander? Die dingen zijn niet te betalen (300,- +)

[Xiphalon]

Volgens de pricewatch is een HP sas expander 'maar' iets meer dan 200 euro

pricewatch: HP SAS Expander Card

[FireDrunk]

Ah, ik zie dat ze in prijs gedaald zijn

Dat ding verstookt ook nog eens iets van 20W geloof ik, dus ik zou er persoonlijk niet voor kiezen, maar dat ben ik... Alhoewel het wel een goedkope oplossing is voor 48 schijven...

[ Voor 16% gewijzigd door FireDrunk op 29-03-2013 10:44 ]

[jacovn]

Dan zet je die in een externe behuizing op een mainbord (zonder cpu ?) met een voeding en hebt het equivalent van de synology uitbreidingsbox ?