Storage showcase topic - 50+ TB storage systems

[brederodekater]

FireDrunk schreef op zondag 27 april 2014 @ 15:09:
Al gezien, is met een SAS Expander... Leuk, maar in veel gevallen niet handig (ZFS).

Op zich zou die SAS Expander toch niets moeten uitmaken, of denk je dat er ergens een bandbreedte bottleneck zit? Volgens mij is de Intel 82599 10Gbit NIC ook ondersteund, dus ik dacht dat dit wel een leuk bordje voor een ZFS system zou zijn.

[Q]

Was het niet zo dat ZFS + bepaald type SAS expander issues gaf, maar dat het helemaal geen vuistregel is? Maar omdat ooit een aantal mensen met die adapters problemen hadden dat expanders als groep nu opeens persona non grata worden verklaard, terwijl SAS expanders juist ideaal zijn voor ZFS setups?

[ Voor 48% gewijzigd door Q op 27-04-2014 16:52 ]

[brederodekater]

Q schreef op zondag 27 april 2014 @ 16:51:
Was het niet zo dat ZFS + bepaald type SAS expander issues gaf, maar dat het helemaal geen vuistregel is? Maar omdat ooit een aantal mensen met die adapters problemen hadden dat expanders als groep nu opeens persona non grata worden verklaard, terwijl SAS expanders juist ideaal zijn voor ZFS setups?

Bij deze gedachte kan ik mijzelf aansluiten... maar wie is de eerste die z'n portemonnee trekt om het te proberen... ik?

Ik ben nu zelf door m'n 20TB opslag heen. Ik heb al een aantal keren lopen opruimen, maar heb nu nog 900GB vrij & kan/wil verder niets weggooien.. Tijd dus voor een upgrade / of nieuwe server.

ZFS is de meest logische volgende stap voor mij, met 12x 4TB Hitachi Deskstars op het oog in raidz2. De vraag is alleen nog waar ik het allemaal op ga aansluiten Dit bord lijkt mij op het eerste gezicht geweldig qua aansluitmogelijkheden, niet alleen m.b.t de disks, maar ook de optie voor 10Gbit Ethernet.. iets wat ik nu al back-2-back heb met m'n workstation.

[Q]

12 devices in 1 RAIZ2 vdev is al niet optimaal en gaat je zeker serieus capaciteitsverlies opleveren.
10 devices zou wel uitkomen.

http://www.opendevs.org/r...igned-space-overhead.html

Ik overweeg zelf steeds meer om gewoon MDADM te gebruiken en ZFS daar boven op te gooien waarbij ZFS me kan waarschuwen als er corruptie op treed en in welke files.

Volgens mij kun je dan ook, als je de RAID device groeit met een aantal disks, ook je VDEV laten groeien. Je kunt geen extra devices aan een vdev toevoegen, maar je kunt een device in je vdev wel upgraden van bijvoorbeeld 2 naar 4 TB volgens mij, dus dit zou moeten werken.

Nee, je hebt dan niets aan 'self healing' (wat ik in mijn hoofd altijd vertaal naar 'sexual healing') wat ZFS als meerwaarde biedt maar je bouwt een hoop flexibiliteit in. De vraag is hoe belangrijk je data is.

En dan speelt er nog mijn vermoeden dat die URE discussie over 10x10^14 onnodige bangmakerij is. Dus de kans dat ZFS mijn leven gaat redden. Tja. Maar ik ga kijken of ik dat kan testen.

[ Voor 68% gewijzigd door Q op 27-04-2014 21:20 ]

[jacovn]

Server 2
Het is het broertje van nummer 1, wederom een norco 4220

Server 2 specifications
Component	Value
Case	Norco 4220
CPU	Xeon E3-1220
RAM	32 GB
Motherboard	supermicro X9scm-iif
Powersupply	Seasonic Platinum 760
Operating system	ZFS Guru 10.1featuring FreeBSD 10.1 RELEASE with ZFS v5000
Controller	2x IBM M1015 flashed to IT mode
Hard drive	10x HGST 7K4000
Hard drive	10x Toshiba DT01ACA300
SSD	Intel 520 120 GB
SSD	1 Samsung 830 64 GB
array configuration	Pool 3 RaidZ2 10 x Toshiba DT01ACA300 Pool 4 RaidZ2 10 x Seagate st4000dm000
Filesystem	ZFS v5000
Idle power usage	~160Watt (no spindown)
Extra	Noctua PWM fans met Zalman PWM mate controllers

Wederom voor ZFSguru gekozen omdat dit me goed is bevallen bij de 1e server. Ik had de hardware al staan, en de case ook al meer dan een half jaar draaien met 10x3TB in raidz2 en heb hem vol gemaakt met een 2e pool met 10x4TB.
Deze server heeft een iets langzamere CPU dan de 1e server, maar voor mijn toepassing is dit ook overkill.

Verder weinig over te vertellen.

[ Voor 47% gewijzigd door jacovn op 04-12-2015 13:42 . Reden: hdd's swapped from seagate to HGST ]

[Q]

Erg leuk, je neemt nu plaats 5 en 6 in op de grote lijst. Alles bij elkaar 112 TB storage, gaaf.

Even voor de duidelijkheid: is dit als storage uitbreiding of is dit een 1 op 1 backup?

[ Voor 26% gewijzigd door Q op 08-05-2014 20:01 ]

[jacovn]

Uitbreiding.. Films hoef ik niet 1:1 te backuppen. Er is altijd wel weer wat nieuws te downloaden, al heb ik door bitrot/slechte sectoren wel eens films verloren waarvan ik het jammer vind om ze niet meer te hebben.

[-Moondust-]

jacovn schreef op donderdag 08 mei 2014 @ 20:26:
Uitbreiding.. Films hoef ik niet 1:1 te backuppen. Er is altijd wel weer wat nieuws te downloaden, al heb ik door bitrot/slechte sectoren wel eens films verloren waarvan ik het jammer vind om ze niet meer te hebben.

Gewoon opnieuw downloaden dan toch? Overigens een erg mooie config. Issie een beetje stil?

[ Voor 3% gewijzigd door -Moondust- op 08-05-2014 20:39 ]

[jacovn]

Niet stil genoeg helaas. Staat in de ruimte waar ik film in kijk en die is acoustisch aangepast en geisoleerd.
Dus ik hoef niet een hoog volume te draaien, en bij stille passages hoor je dan toch ventilator geluid, en ook 10 hdds maken toch lawaai als ze draaien.

Ik kwam van 20 hdd's in een cooler master stacker behuizing (met 4 stuks 5in3 racks) en daar zat dezelfde noctua fan aan de voorkant. Ik had gehoopt het stiller te krijgen met de fan in de kast, en dempende mat overal waar ik het plakken kon.
Al met al ben ik er niet echt op vooruit gegaan, maar ook niet achteruit, en het is nu hot swap mocht ik een slechte hdd krijgen.

Het was alleen stiller toen ik unraid draaide, daar was maar 1 hdd actief, en liep een fanspeed script wat goed werkte, dan gingen de pwm fans in snelheid terug. (Dat was dan ook min of meer het enige wat goed werkte in unraid, voor de rest was het naadje)

[ Voor 5% gewijzigd door jacovn op 08-05-2014 21:03 ]

[Kavaa]

@jacovn

Is snelheid zo belangrijk voor je?

Waarom neem je geen Synology? Die zijn een stuk stiller en zuiniger.
En als je een film gaat kijken heb je neem ik aan niet 200MB overdracht nodig lijkt mij?

[thalantis]

Q schreef op donderdag 08 mei 2014 @ 19:53:
Erg leuk, je neemt nu plaats 5 en 6 in op de grote lijst. Alles bij elkaar 112 TB storage, gaaf.

Even voor de duidelijkheid: is dit als storage uitbreiding of is dit een 1 op 1 backup?

Q je mag die van mij ook wel aanpassen in de lijst, is al een tijdje anders
thalantis in "Storage showoff topic - 10+ TB storage systems"
zijn 2 kasten norco en ri-vier

[jacovn]

djkavaa schreef op donderdag 08 mei 2014 @ 21:40:
@jacovn

Is snelheid zo belangrijk voor je?

Waarom neem je geen Synology? Die zijn een stuk stiller en zuiniger.
En als je een film gaat kijken heb je neem ik aan niet 200MB overdracht nodig lijkt mij?

Synology scaled niet, of althans niet via een concept wat me aanstaat. (Infiniband connectie naar externe kast met weer hdd's)

Verder is een 12 slots synology net zo duur als een 20 slots zelfbouw zfsguru machine. Zeker als je een server bouwt met componenten die net alles kunnen doen wordt het echt veel goedkoper (voor 20 - 24 slots)
- geen xeon maar een i3, celeron of pentium (100-150 euro minder)
- geen 32 gb ecc ram, maar 8 gb non ecc (200-300 euro minder ?)
- geen 10 GE verbinding (350 euro)
- geen supermicro mainbord met ipmi (50 euro minder)
- el cheapo voeding i.p.v. Seasonic (70 euro minder)

Ik had dus wel 800 euro kunnen besparen waarschijnlijk en net zo goed film kunnen kijken.
Mainbord, cpu en geheugen had ik nog liggen uit de unraid tijd toen ik dacht dat mijn issues cpu/geheugen gerelateerd waren. Toen maar een flinke stap in cpu power gemaakt, maar unraid bleef slecht werken.
2e server is al wat goedkoper, en als ik nummer 3 ooit bouw zal hij nog wel goedkoper worden.
Je kunt nu ook ecc gebruiken met een 70 euro cpu bijvoorbeeld.
Een 2U 12 slot ri-vier kast is iets van 150 euro, 100 euro voeding, 1 m1015 kaart, en niet te duur moederbord en 16 a 24 gb ram en je bent nog geen 500 euro kwijt.

[Kavaa]

jacovn schreef op vrijdag 09 mei 2014 @ 21:18:
[...]

Synology scaled niet, of althans niet via een concept wat me aanstaat. (Infiniband connectie naar externe kast met weer hdd's)

Verder is een 12 slots synology net zo duur als een 20 slots zelfbouw zfsguru machine. Zeker als je een server bouwt met componenten die net alles kunnen doen wordt het echt veel goedkoper (voor 20 - 24 slots)
- geen xeon maar een i3, celeron of pentium (100-150 euro minder)
- geen 32 gb ecc ram, maar 8 gb non ecc (200-300 euro minder ?)
- geen 10 GE verbinding (350 euro)
- geen supermicro mainbord met ipmi (50 euro minder)
- el cheapo voeding i.p.v. Seasonic (70 euro minder)

Ik had dus wel 800 euro kunnen besparen waarschijnlijk en net zo goed film kunnen kijken.
Mainbord, cpu en geheugen had ik nog liggen uit de unraid tijd toen ik dacht dat mijn issues cpu/geheugen gerelateerd waren. Toen maar een flinke stap in cpu power gemaakt, maar unraid bleef slecht werken.
2e server is al wat goedkoper, en als ik nummer 3 ooit bouw zal hij nog wel goedkoper worden.
Je kunt nu ook ecc gebruiken met een 70 euro cpu bijvoorbeeld.
Een 2U 12 slot ri-vier kast is iets van 150 euro, 100 euro voeding, 1 m1015 kaart, en niet te duur moederbord en 16 a 24 gb ram en je bent nog geen 500 euro kwijt.

Das waar inderdaad;) En zelfbouw is natuurlijk ook wel leuk als het maar stabiel is natuurlijk.

[jacovn]

Die 500 euro klopt niet natuurlijk. Ik heb nog een mainbord liggen, en 8GB ram (rma moederbord en ik had al een replacement gekocht omdat de afhandeling schandalig lang duurde)
Er ligt ook nog een m1015, dus kast, voeding en cpu kopen en ik kan nummer 3 bouwen.
Maar wachten op de volgende bonus van mijn werk, want de 10 benodigde hdds kosten meer natrurlijk, al zullen die hopenlijk ook wel weer gezakt zijn in prijs.

[BartNL]

jacovn schreef op vrijdag 09 mei 2014 @ 21:18:
[...]Synology scaled niet, of althans niet via een concept wat me aanstaat. (Infiniband connectie naar externe kast met weer hdd's)

dat is eigenlijk wat mij in jouw setup verbaast. De snelheden die jij over 10Gb ethernet haalt zijn via zo'n Synology denk ik ook realistisch?
Zelf gebruik ik Chenbro expanders in verder lege Norco / Rivier kast en ik zie hier geen nadeel in voor opslag van media. Qua opzet vergelijkbaar aan Synology. Persoonlijk vind ik het een voordeel dat ik maar één fileserver heb met de mogelijkheid om deze d.m.v. expanders en vijf 24 slots 4u kasten naar 120 disks te kunnen schalen

[Q]

thalantis schreef op vrijdag 09 mei 2014 @ 20:37:
[...]


Q je mag die van mij ook wel aanpassen in de lijst, is al een tijdje anders
thalantis in "Storage showoff topic - 10+ TB storage systems"
zijn 2 kasten norco en ri-vier

U vraagt, wij draaien. 104 TB aan storage, toe maar.

Ik heb een topic report aangemaakt om dit topic te renamen naar 20+ TB en alles kleiner dan 20 TB ga ik uit de tabel gooien.

Ik denk dat dit nu echt wel een keer tijd is.

Daarmee zal ook mijn eigen systeem uit de lijst verdwijnen.

[ Voor 24% gewijzigd door Q op 09-05-2014 23:05 ]

[jacovn]

BartNL schreef op vrijdag 09 mei 2014 @ 22:01:
[...]

dat is eigenlijk wat mij in jouw setup verbaast. De snelheden die jij over 10Gb ethernet haalt zijn via zo'n Synology denk ik ook realistisch?
Zelf gebruik ik Chenbro expanders in verder lege Norco / Rivier kast en ik zie hier geen nadeel in voor opslag van media. Qua opzet vergelijkbaar aan Synology. Persoonlijk vind ik het een voordeel dat ik maar één fileserver heb met de mogelijkheid om deze d.m.v. expanders en vijf 24 slots 4u kasten naar 120 disks te kunnen schalen

Ja ongetijfeld ga je met een 12 slot synology ook wel 250 mbyte/sec halen met een 10 ge interface.
2K euro voor de basis, en 1K voor nog eens 12 sloten, max 36. 4k invetering dan.
Jij geeft al aan dat je naar 120 kan. Dus vandaar mijn argument dat het niet scaled.

Ik vind het niet erg dat ik 2 servers heb, ik heb ze ook nog eens in 2 pools elk verdeeld. Dus ik moet films van 4 shares af halen. Voordeel is wel dat het niet allemaal aan staat, en geluid maakt als ik het nodig heb. (Spindown per pool)
Had ik de servers in een aparte ruimte gehad, was het denk ook mooier geweest 1 volume te hebben met alle titels erin. Maar dat gaat niet in mijn woon situatie, dus ik heb het nu zo opgelost.

[-Venom-]

Ik heb een topic report aangemaakt om dit topic te renamen naar 20+ TB en alles kleiner dan 20 TB ga ik uit de tabel gooien.

Ik dacht al wat te anders te zien in de titel, als het goed is veranderd mijn systeem aankomende week ook compleet en kom ik richting de 40TB (bruto)

[BartNL]

jacovn schreef op zaterdag 10 mei 2014 @ 06:27:
[...]Ja ongetijfeld ga je met een 12 slot synology ook wel 250 mbyte/sec halen met een 10 ge interface.
2K euro voor de basis, en 1K voor nog eens 12 sloten, max 36. 4k invetering dan.
Jij geeft al aan dat je naar 120 kan. Dus vandaar mijn argument dat het niet scaled.

ja, de prijs en uitbreidbaarheid zijn naast mijn gebruik ook de redendat ik geen Synology heb.

Ik vind het niet erg dat ik 2 servers heb, ik heb ze ook nog eens in 2 pools elk verdeeld. Dus ik moet films van 4 shares af halen. Voordeel is wel dat het niet allemaal aan staat, en geluid maakt als ik het nodig heb. (Spindown per pool)
Had ik de servers in een aparte ruimte gehad, was het denk ook mooier geweest 1 volume te hebben met alle titels erin. Maar dat gaat niet in mijn woon situatie, dus ik heb het nu zo opgelost.

hier staat de storage op zolder dus qua geluid en ruimte heb ik minder een probleem. Ik gebruik bewust meerdere volumes omdat mijn ervaring is dat één volume onhandig is. Met XBMC maakt het ook niet uit dat de films over meerdere volumes verspreid staan.

[thalantis]

Q schreef op vrijdag 09 mei 2014 @ 23:01:
[...]


U vraagt, wij draaien. 104 TB aan storage, toe maar.

Ik heb een topic report aangemaakt om dit topic te renamen naar 20+ TB en alles kleiner dan 20 TB ga ik uit de tabel gooien.

Ik denk dat dit nu echt wel een keer tijd is.

Daarmee zal ook mijn eigen systeem uit de lijst verdwijnen.

bedankt alleen als je op mijn naam klikt gaat hij nog naar de oude post, de lian-li cube is al een tijd niet meer

https://gathering.tweaker...message/40896261#40896261

[ Voor 6% gewijzigd door thalantis op 10-05-2014 11:44 ]

[-Moondust-]

BartNL schreef op zaterdag 10 mei 2014 @ 10:08:
Ik gebruik bewust meerdere volumes omdat mijn ervaring is dat één volume onhandig is.

Wat is daar onhandig aan?

[-Moondust-]

jacovn schreef op vrijdag 09 mei 2014 @ 21:57:
Die 500 euro klopt niet natuurlijk. Ik heb nog een mainbord liggen, en 8GB ram (rma moederbord en ik had al een replacement gekocht omdat de afhandeling schandalig lang duurde)
Er ligt ook nog een m1015, dus kast, voeding en cpu kopen en ik kan nummer 3 bouwen.
Maar wachten op de volgende bonus van mijn werk, want de 10 benodigde hdds kosten meer natrurlijk, al zullen die hopenlijk ook wel weer gezakt zijn in prijs.

Waar heb je al die storage voor nodig?

[BartNL]

-Moondust- schreef op zaterdag 10 mei 2014 @ 13:34:
[...]Wat is daar onhandig aan?

ik bedoel dit in het kader van een 20+ TB systeem. Stel dat je ooit wilt upgraden of een probleem met je raidset hebt dan moet je je data ergens kwijt. Wanneer je één groot volume hebt zul je een backup volume / ruimte nodig hebben dat alle data van je grote volume aan kan. Dat kan lastig zijn wanneer je bijvoorbeeld 24x 3TB in één volume hebt. Mijn idee is dat wanneer je 12 schijven hebt je beter 2x 6 schijven in raid-5/raidz1 kunt hebben dan 1x 12 schijven in raid-6/raidz2.
Afweging ligt ook aan hoeveel ruimte je hebt in je fileserver. Stel dat je bijvoorbeeld 24 of meer schijven zou draaien kun je ook met volumes van meer schijven werken.

[-Moondust-]

I agree, alleen voor dagelijks gebruik is het wel erg handig om alles op 1 plek te hebben.

[jacovn]

-Moondust- schreef op zaterdag 10 mei 2014 @ 13:40:
[...]

Waar heb je al die storage voor nodig?

Allemaal home made Granny P0rn uiteraard.

Waar zou je het anders voor gebruiken dan ?

[Spoooky]

Kunnen de builds die niet meer voldoen aan de aangepaste grens van 20TB niet in de (aangepaste) topicstart (blijven) staan?

Is toch wel interessant om te zien hoe anderen hun system hebben opgebouwd...

[Q]

Overview of GoT <20 TB storage arrays
User	Netto capacity	RAID Level used	# of disks	Platform	Remarks
Perkouw	90 TB	RAID 0	45	Windows	Gebaseerd op Blackblaze storage pod met sata port multipliers. Windows 2008. Geen redundancy, platform bestaat uit meerdere RAID 0 arrays. UPDATE (Verkocht)
thalantis	54 TB	RAID 6	20	Windows	Met 1880ix-24 (RAID 6) in Norco 4224 UPDATE (Vervangen)
Pantagruel	48 TB	RAID Z2 (2x)	20	ZFSguru
Itcouldbeanyone	45 TB	RAIDZ3 (x3), Stripe & Raid 1	97	FreeNas	Mellanox 56GB Infiniband adapter (40GB over glas), 3x NetApp DS2246
thibautb	44 TB	RAIDZ	15	FreeNAS	22G RAM, IBM 1015 + SAS Expander, 24 Bay Xcase case.
satcp	40 TB	RAIDZ2	6	Linux	Lian Li PC-Q26B, ASRock C236 WSI, HGST Ultrastar He10 10TB
Intellium	36 TB	RAID6	12	Linux	Infiniband 10Gbit voor storage verkeer met VMhosts | RAID met 1 hot-spare
Collie	36 TB	RAID6	20	Windows	Op een Areca 1880ix-24
-venom-	36 TB	Storage pools	20	WHS 2011	Norco RPC-4220 met HP SAS Expander Oude setup
DVL-2	32 TB	RAID 5+6	25	Windows 7	Areca 1880ix-24 + Lian-Li PC343B kast
zzattack	32 TB	RAIDZ1*	20	FreeBSD	*ZFS 4 x 5-disk RAIDZ1 fotos hardware
DJJ	28 TB	RAID 6	16	Windows	Windows Server 2008 R2 + Areca ARC-1680ix-16
Phoenix1337	28 TB	RAID 6	16	Linux	Ubuntu + MDADM RAID6
nightwing	28 TB	RAID-Z2	16	FreeBSD	Reguliere tower met 3-in-2 hot-swap HD cases.
CoBo	27 TB	RAID 5	8	Microsoft Windows server 2016	twee RAID 5 arrays, DVR
iMars	26TB	Snapraid5	6	Linux	Simpele thuisserver
brederodekater	25 TB	RAID 5+6	16	Windows 2k8	Areca ARC-1160 + Lian-Li V2100
Groentjuh	24 TB	RaidZ1	5	XCP-Ng	Niet alleen veel HDDs in een vol HTPC kastje
Chocola	24 TB	RAIDZ2	8	FreeNAS	10 Gb/s NIC
MrBarBarian	24 TB	RAIDZ2 & Mirror	20	Centos 7	CentOS icm ZFS on Linux. Combinatie met web/mail-server, 3x IBM card, XCase
Renegade666	23 TB	Raid 5	9	Windows Server 2019	WS2019 + RAID5 met HP Smartarray en 10Gbit
Aval0ne	22 TB	RAID 6	14	Windows	Windows 7 x64 + Areca ARC-1280
Midas.e	22 TB	RAID6	24	Ubuntu	Gebaseerd op ARECA 1170 controller + 2 arrays ieder in RAID 6
Kortfragje	20 TB	RaidZ2	6	Linux (Ubuntu 12.04)	KarelDoorman, standaard cooler master tower, hoofd server
B2	20 TB	RAIDZ2	12	Linux	ZFS on Linux, eigen design en build case
tbusquet	20 TB	RAIDZ1	13	FreeNAS	Met LSI SAS 3081E-R controller.
Kortfragje	20 TB	RaidZ2	14	Linux (CentOS 6.6)	MichielDeRuyter, Lian LI PCD8000, backup server
Fauna	20 TB	RAID 5	18	Windows	Windows Server 2008 Enterprise x64 + Areca ARC-1160, twee RAID 5 arrays
Borroz	18 TB	RAIDZ2	12	OpenIndiana + napp-it	RAIDZ2
iRReeL	18 TB	RAID 6	18	Windows 2k8	Areca ARC-1160 + Lian-Li V2100
Q	18 TB	RAID 6	20	Linux	Debian + MDADM software RAID, single array.
pakjebakmeel	17TB	RAID 5	8	Gentoo Linux	Low power MiniITX Intel Atom build
nielsdc	16 TB	RAIDZ1	10	Linux	ZFS on Linux met 2x RAID-Z1 + Lian Li v2000 kast + toekomstig infiniband
R0SSI	16 TB	RAID 6	10	Windows	Areca ARC-1231
Quindor	16 TB	No RAID	8	VMware ESXi	Drivebender diskpool / 8*2TB, 2xVertex2 (120+180GB)
Pantagruel	16 TB	RAID-Z2	10	FreeBSD	1x RAID1 1x RAID-Z2 array - FreeBSD 8.2 met ZFSGuru
Psycho_Bartje	16 TB	RAID-Z2	10	FreeNAS	Opgezet als stille en zuinige NAS.
Dj-Visto	15 TB	2x RAID 5	11	Linux	1x RAID 5 (8*2TB) + 1x RAID5 (3*1TB)
Flippy.nl	15 TB	RAID 6	10	Windows	Hardware RAID6 op een Areca 1261ML
Mr Alfabet	15 TB	RAID 6	12	Windows	Hardware RAID op een Areca 1231ML
Zware Unit	14 TB	RAID 5	16	FreeNAS	Areca ARC1280ML + Custom 19" rack.
een_naam	14 TB	No RAID	11	Windows	Windows Home server
Heuveltje	13 TB	Flexraid	12	Windows	Een flexraid oplossing
Marc H	13 TB	RAID 5	14	Windows 7	Highpoint RocketRaid 2300 x 2
n0m0r3675	13 TB	RAID 1	-	Freenas	Software RAID 1 in freenas.
Twazerty	13 TB	No RAID	10	Windows	Windows 7
VictorB	12 TB	Raidz2	6	ZFSGURU	IBM M1015, HP N364T, ZFS, Filmpjes
Waking The Dead	12 TB	RAID-Z2	6	FreeBSD 8.3	FreeNAS met ZFS
AndreStarTrek	12 TB	RAID6	8	Windows	Fotos Met redundante voeding
jjust	12 TB	Raid 5	8	WHS 2011	Areca ARC1222-SAS + Supermicro X9SCM-F
DDX	12 TB	RAID 6	10	Linux	Dell T620 + CentOS 6, two arrays with RAID5 and RAID6 with SSD read cache
Sleepie	12 TB	RAIDZ2	10	ZFSguru	IcyDock hotswap modules in customized Rebel12
Aapenootjes	12 TB	RAID6	15	Windows	Hardware RAID Highpoint 3560
Femme	12 TB	RAID5 + RAID1	14	-	Hardware RAID op een Areca 1280 | nieuw project
Diabolus	12 TB	RAID 5+6	20	Linux	2x RAID 6, 1x RAID 5 op 2x Areca ARC1231ML (2x BBU)
HyperBart	12 TB	RAID-Z1	5	FreeBSD	ZFS Guru op N40L MicroServer met 4 hotswapbays en de Optical Disk Drive Bay opgevuld met de 5de disk
vandijk	12 TB	RAID 6	8	VMware ESXi 5.5	Rackmount behuizing lackrack style gemonteerd
erikafoort	10 TB	RAID 6	6	Synology	Synology 2411+ met ruimte voor 12 disks
YaaD	10 TB	RAIDZ	6	-	ZFS
Contagion	10 TB	RAIDZ1	8	Linux	MDADM + ZFS on top via FUSE.
Nextron	10 TB	FlexRAID	6	ESXi	VM met Windows Server 2008 R2 en enkele pariteit FlexRAID
RazorBlade72nd	10 TB	RAID 5	8	Windows	Windows Server 8 Beta - Hyper-V 3.0 server. 2 x XEON, 96 GB RAM.

[ Voor 91% gewijzigd door Q op 07-01-2021 23:38 ]

[Q]

thalantis schreef op zaterdag 10 mei 2014 @ 11:44:
[...]


bedankt alleen als je op mijn naam klikt gaat hij nog naar de oude post, de lian-li cube is al een tijd niet meer

https://gathering.tweaker...message/40896261#40896261

Aangepast.

---

Ik heb alles <20 TB hierboven in een post geplakt. Ik link vanuit de topic start naar deze post. Ook is de tekst van de topic start aangepast op de nieuwe waarde van 20 TB.

[ Voor 8% gewijzigd door Q op 11-05-2014 03:08 ]

[FireDrunk]

Heb mezelf maar even uit de lijst gehaald, ik heb al lang geen 20TB meer
Zit nu op 4*4TB in RAIDZ onder ZFSonLinux, helemaal niet interessant dus

[jacovn]

Dan ben jij de enige die naar minder opslag toe gaat

[Q]

FireDrunk, are you drunk?

Zaken waar je nooit genoeg van kunt hebben:

1. Geld
2. Storage

[Kavaa]

@Q
Neem aan dat je het dan over IT hebt.
Hihi.

[-Moondust-]

4x4TB? Ik had dat nooit hier durven verkondigen. ;-)

[Goshimaplonker298]

Zal binnenkort toch ook aan uitbreiding moeten. Alle disks zitten bijna vol.
Gezien de prijs ga ik de overstap maken van 3TB WD Green disks naar 4TB WD Green disks.
Geen idee wanneer de 5TB greens nu eindelijk eens gaan komen maar qua prijs zullen ze dan nog wel een tijd te duur zijn.

[jacovn]

Kijk zo moet het
Jij kunt toch zo bijplaatsen neem ik aan ?
Die storage oplossing die jij hebt was toch 2 supermicro shelves met 36 drives elk ?
Je beschreef er 48 in je posting, dus dan nog 24 te gaan

[ Voor 83% gewijzigd door jacovn op 12-05-2014 07:33 ]

[thalantis]

Even een update de kasten hangen nu

[FireDrunk]

Ziet er netjes uit! Zijn de planken ook nog uitschuifbaar?

[thalantis]

nee de servers hoeven er toch niet zo vaak uit.
en gefeliciteerd

[Goshimaplonker298]

jacovn schreef op maandag 12 mei 2014 @ 07:16:
Kijk zo moet het
Jij kunt toch zo bijplaatsen neem ik aan ?
Die storage oplossing die jij hebt was toch 2 supermicro shelves met 36 drives elk ?
Je beschreef er 48 in je posting, dus dan nog 24 te gaan

Ja klopt, ga er heel binnenkort 12x4TB bijplaatsen dan kan ik weer een tijdje vooruit.

[jacovn]

Nieuwe #1 positie dan

[Midas.e]

Ik zie in de lijst nogal wat systemen staan welke niet voldoen aan de eisen van de lijst. Q?

[jacovn]

bedoel je:
5.Toepassing van redundancy, het systeem moet falen van minimaal 1 storage disk kunnen overleven.

Er staan inderdaad jbod opstellingen in.

Ik vindt ze wel interessant, want de hardware zou ook wel redundantie kunnen ondersteunen, en de gebruikte componenten kan een ander wat van leren.

[Q]

Er zitten wat systemen tussen die niet aan de redundancy eis voldoen om de redenen die jacovn noemt.

[lampie1979]

Ik zie dat mijn oude score er ook nog staat.

Ik heb inmiddels:

2 Raid 6 arrays

16x 4TB Raid 6
8x 3TB Raid 6
----------------------
88 Bruto
74 Netto

[Q]

Nu ben je nummer 6

[ Voor 4% gewijzigd door Q op 21-05-2014 22:30 ]

[-Venom-]

Hierbij mijn nieuwe configuratie ook maar even:


Tabel met systeem info

System specifications
Component	Value
Case	Norco RPC-4220
CPU	Intel Xeon X3440
RAM	2 x 4GB ECC
Motherboard	SuperMicro X8SI6-F-O
Operating system	Windows Home Server 2011
Controller	LSI 2008 8-Port 6Gb/s SAS Controller + SAS Expander
Voeding	Seasonic X-750 750 Watt
Hard drive	1 x Intel X25-M 120GB
Hard drive	1 x WD 160gb backupdrive
Hard drive	20 x Samsung Ecogreen 2tb
Netto storage capacity	36tb
Network	Gigabit door heel het huis
UPS	APC 750VA
Filesystem	NTFS
Idle power usage	alles actief rond de 150 watt

Zoals te zien een flinke upgrade van de oude, alles heerlijk compact in 1 behuizing is ook wel ideaal en hij is veel stiller en niet te vergeten ook veel sneller als de oude









Server draait weer WHS 2011 met StableBit Drivepool verdeeld in meerdere pools waarmee de belangrijke data altijd op meerdere schijven staat.

Ook meteen een Rack mount monitor ingebouwd, ideaal voor onderhoud
Onder de norco zit mijn 2de server met ZFS Guru als besturings systeem puur als backup voor belangrijke dingen.

Daaronder zit server nummer 3 maar die staat momenteel in de verkoop

PS foto's zijn gemaakt met mijn telefoon zal nog eens een echte camera pakken

[GioStyle]

Leuke setup!

En al je 20 schijven heb je via je SAS expander aangesloten?

En wat voor SAS expander gebruik je?

[-Venom-]

Ja alle 20 schijven zitten op de SAS Expander die is van HP type zou ik na moeten kijken

Systeemschijf en backupschijfje zitten rechtstreeks op het moederbord

[Verwijderd]

Reactie verhuist naar ZFS topic.

[ Voor 100% gewijzigd door Verwijderd op 22-07-2014 09:21 ]

[R0SSI]

Mijn build is iets aangepast, i.p.v. als extra opslagruimte in de desktop, is er een aparte server gekomen. Er zitten nu 12x2TB in een RAID6 configuratie, dus netto 20TB. Daarnaast nog een kleine RAID0 van 2x1TB voor VM's. Deze laatste RAID is gemaakt met ZFS met een SSD cache erbij. De server wordt dus niet alleen als opslagserver gebruikt, maar ook als VM host.
Ik zal binnenkort weer eens wat afbeeldingen posten

[Q]

Dit zou aan de ondergrens van dit topic kunnen voldoen. dus dit systeem zou een separate entry kunnen krijgen.

[BartNL]

R0SSI schreef op donderdag 14 augustus 2014 @ 13:19:
Ik zal binnenkort weer eens wat afbeeldingen posten

sinds het instellen van de 20TB grens is dit topic erg stil geworden dus ik kan niet wachten op nieuwe afbeeldingen

[Kavaa]

Ik verwacht dat er meer komen als mensen hun setup gaan upgraden van de kleinere drives naar grotere.

Als je al kijkt als je een case koopt waar 5 drives in kunnen dan zit je al aan de 20TB 5x4TB

[Goshimaplonker298]

Soon

Heb de eerste 6TB drive er al bijgepropt. Ze moeten nog ff iets meer zakken naar de €200 en dan gaan we weer eens wat uitbreiden.

[Nopheros]

Kom ik aanzetten met m'n 32TB, dacht dat ik veel had

Modbreak:

Zogenaamde 'Warez-requests' zijn hier uit den boze!

[ Voor 41% gewijzigd door Verwijderd op 15-08-2014 10:17 ]

[EnerQi]

BartNL schreef op donderdag 14 augustus 2014 @ 23:35:
[...]

sinds het instellen van de 20TB grens is dit topic erg stil geworden dus ik kan niet wachten op nieuwe afbeeldingen

Hmm dan moet ik nog foto's gaan maken . Al is mijn build niet zo heel spannend verwacht ik....

[-Venom-]

Momenteel heb ik nog vrije ruimte genoeg (al kan dat ooit snel veranderen) maar inderdaad als de 2TB schijven vervangen worden voor 6TB schijven groeit de opslag snel! 20x2TB of 20X6TB is nogal een verschil
Al heb ik nog 5 vrije satapoortjes op mijn moederbord die kunnen natuurlijk ook nog gevuld worden met 5x2TB erbij... het is dat die schijven zo duur zijn.......... (en ik een vrouw heb waarmee ik dan ruzie krijg )

[FireDrunk]

20*6TB is wel een monsterlijke aanschaf momenteel... Dan praat je over 3 a 4000 euro

[-Venom-]

Dat bedoel ik met duur....

[BartNL]

wanneer 20x 6TB voor €3000,- te koop was had ik ze al lang gehad

[-Moondust-]

10 x 4TB WD Red RAID-Z2 (in de verkoop nu) vervangen door 8 x 6TB WD Red win7 RAID6. Wat een verademing! Niet dat windows zo geweldig is, maar ik kan doen wat ik wil en weet het tenminste te besturen. ;-)

[Goshimaplonker298]

WD green 3TB disks zijn rond de €90
WD green 6TB disks zijn rond de €228

Als de 6TB de €200 naderd is het verschil voor mij klein genoeg om wat 3TB disks te gaan vervangen.
Oude 3TB disks kan ik weer verkopen om een gedeelte van de kosten te dekken.

In theorie kan ik ook disks bij plaatsen. heb op het moment van de 72 disks slots 20 vrij. Maar wil ook het aantal disks weer wat terug brengen zodat ik met een chassis (36 disks ) af kan.

[KorneelB]

ik ben redelijk geirriteerd want ik lig blijkbaar flink achter.. tijd voor een upgrade als de 8TB schijven er zijn.. 240 terrabyte netto.. of 0.24 petabyta..

[ppl]

Maar dan voldoe je wel aan de eis van dit topic!

[FireDrunk]

@freak1, je gaat mij toch niet vertellen dat je alleen maar wil upgraden om bovenaan te staan?


Dat is best.... Zielig

[-Moondust-]

Een freak is een freak toch? ;-)

[Q]

BartNL schreef op donderdag 14 augustus 2014 @ 23:35:
[...]

sinds het instellen van de 20TB grens is dit topic erg stil geworden dus ik kan niet wachten op nieuwe afbeeldingen

Misschien moet ik dan maar eens aan dit verzoek gaan voldoen. Alles staat klaar. Ff foto's zoeken.

[Q]

http://louwrentius.com/71...ased-on-zfs-on-linux.html



Video: YouTube: 71 TB NAS (ZFS on Linux) is relatively quiet

System specifications
Component	Value
Case	Ri-vier RV-4324-01A
Processor	Intel(R) Xeon(R) CPU E3-1230 V2 @ 3.30GHz
RAM	16 GB
Motherboard	Supermicro X9SCM-F
LAN	Intel Gigabit (Quad-port) (Bonding)
PSU	Seasonic Platinum 860
Controller	3 x IBM M1015
Disk	24 x HGST HDS724040ALE640 4 TB (7200RPM)
SSD	2 x Crucial M500 120GB
Arrays	Boot: 2 x 60 GB RAID 1 and storage: 18 x 4 TB RAIDZ2 + 6 x 4TB RAIDZ2
Brutto storage	86 TiB (96 TB)
Netto storage	71 TiB (78 TB)
OS	Linux Debian Wheezy
Filesystem	ZFS
Rebuild time	ZFS: depends on used space.
UPS	Back-UPS RS 1200 LCD using Apcupsd
Power usage	about  220

Intro

Deze server is een redelijke recht-toe-recht-aan build. Het gaat om een 19" chassis met 24 drive bays waar ik dus 4 TB disks in heb gestopt. De disks worden individueel aan het OS door gegeven via de IBM 1015 controllers, waarvan ik er drie heb ingebouwd. Dat was destijds kosten technisch handiger dan met een enkele controller werken en daar een (duurdere) SAS-expander aan koppelen.

Controllers

Ik heb de drie IBM 1015 controllers niet geflashed naar IT firmware omdat alles al prima functioneert en ik vond het teveel gedoe. Misschien dat het booten iets langer duurt, maar zo zal het zijn. Het grootste risico is misschien dat de disks met deze firmware - ook al worden ze 1-op-1 doorgezet - toch uit de array worden gekickt bij het minste of geringste, ik weet het niet.

Boot drives

Als boot gebruik ik twee SSDs in MDADM RAID 1. Een deel van de capaciteit zou ik als ZFS L2ARC cache in kunnen zetten maar ik verwacht dat ik daar in de praktijk niet zoveel aan ga hebben, dus waarschijnlijk blijft het bij puur gebruik als boot device.

Capaciteit en file system

Met ZFS on Linux in een 2 x RAIDZ2 VDEV configuratie haal ik 71 TiB aan capaciteit. De VDEVS zijn ongelijk: een 18 disk RAIDZ2 en een 6 disk RAIDZ2 samen 24 drives in de zpool. ZFS is erg slim en verdeelt de data naar ratio over de vdevs dus de kleinere vdev wordt propotioneel minder belast.

Performance

De machine is een snelheidsmonster. Met ZFS haalt de machine in een RAID0 configuratie 3.6 GB/s lezen en 2.9 GB/s schrijven. Q in "De CSL/OT-kroeg"
Aan die snelheid heb je in de praktijk niet zoveel, maar het is wel leuk.

De real-life performance met de 2 RAIDZ2 VDEVS is 1.9 GB/s voor schrijven en 2.6 GB/s voor lezen.

Networking

De content van de machine wordt ontsloten via een enkele gigabit verbinding, wat verder prima is. De machine heeft echter ook een quad-port gigabit interface die via een switch verbonden is met de andere storage servers.

In dit artikel op mijn blog leg ik uit hoe het mogelijk is om 450 MB/s te halen over gigabit.
http://louwrentius.com/ac...-using-linux-bonding.html

Ik doe er waarschijnlijk verstandiger aan om eens te kijken naar 10Gbe networking, maar zolang de switches nog niet zo betaalbaar zijn laat ik dat even links liggen.

Stroom verbruik en koeling

Omdat deze machine serieus stroom weet te vreten en mijn andere machines ook wel wat stroom gebruiken moet ik zorgvuldig met de startup volgorde zijn van mijn servers, anders raakt de UPS overbelast.

Net als mijn vorige storage server zal deze machine ook standaard altijd uit staan en alleen wanneer nodig worden opgestart via wake-on-lan.

Ik laat de koeling niet over aan de moederbord hardware omdat die zich niet bewust is van de harde schijf temperatuur. Ik kan de fans wel gewoon op een hoge stand laten staan, maar dat geeft weer zoveel herrie.

Om die reden stuur ik de fans aan via een eigen geschreven python scriptje. De snelheid van de fans worden aangestuurd op basis van de temperatuur van de warmste disk.

https://github.com/louwrentius/storagefancontrol

Ik heb ook nog een klein tooltje gemaakt om uit te kunnen lezen visueel in welk slot welke drive zit en wat de temperatuur is van die drive.

https://github.com/louwrentius/lsidrivemap

Beide tools werken via de IBM 1015 controller voor hun informatie.

Op de fotos is te zien dat ik boven de IBM 1015 controllers een ventilator heb geplaatst. Dit is hard nodig omdat de kaarten anders veel te warm worden.

Geluidsdruk

Ik heb geen DB metingen gedaan, maar het systeem is stukken stiller dan mijn oudere 18 TB NAS. Dit komt mede door de drie grote 120 mm ventilatoren die minder lawaai produceren dan de 5 x 80mm die in mijn oude server zitten. Bovendien blazen de 80 mm in die machine continue op vol vermogen, wat ook wel nodig is want die Norco kast koelt niet zo goed. Maar het resultaat is een rotlawaai.

Dankzij het script wordt de machine alleen iets luider op een warme dag, maar is standaard aangenaam stil.

Ikea power!

[ Voor 11% gewijzigd door Q op 03-11-2014 23:52 ]

[MM]

Goshimaplonker298 schreef op zaterdag 16 augustus 2014 @ 12:25:
WD green 3TB disks zijn rond de €90
WD green 6TB disks zijn rond de €228

Als de 6TB de €200 naderd is het verschil voor mij klein genoeg om wat 3TB disks te gaan vervangen.
Oude 3TB disks kan ik weer verkopen om een gedeelte van de kosten te dekken.

In theorie kan ik ook disks bij plaatsen. heb op het moment van de 72 disks slots 20 vrij. Maar wil ook het aantal disks weer wat terug brengen zodat ik met een chassis (36 disks ) af kan.

Die harde prijsdaling van 6tb disks maakt het ook voor nas systemen met minder slots eenvoudig om voor een betaalbaar bedrag de 20TB te overschrijden.

30TB netto (onder raid5) voor ruim onder de 2k budget:

#	Product	Prijs	Subtotaal
1	Intel Pentium G3258 Boxed	€ 57,05	€ 57,05
1	Gigabyte GA-H97N-WIFI	€ 100,45	€ 100,45
6	WD Red SATA 6 Gb/s WD60EFRX, 6TB	€ 241,90	€ 1.451,40
1	Fractal Design Node 304 Wit	€ 62,85	€ 62,85
1	Kingston DataTraveler microDuo 64GB Zwart	€ 27,56	€ 27,56
1	Crucial Ballistix Tactical BLT2C4G3D1608ET3LX0CEU	€ 66,05	€ 66,05
1	Seasonic S12G 450W	€ 64,-	€ 64,-
Bekijk collectie Importeer producten		Totaal	€ 1.829,36

Nu alleen de vriendin nog even overtuigen dat dit geen overkill is

[Lulukai]

Wat zijn eigenlijk de RAID5 prestaties op een moederbord van Gigabyte? Ik kon er niet direct iets over terugvinden. Wat zou de tijd om te rebuilden zijn als een HDD van 6TB uitvalt?

[ Voor 6% gewijzigd door Lulukai op 17-08-2014 19:31 ]

[FireDrunk]

FakeRAID? Daar zou ik echt niet eens aan durven denken met 6TB schijven

[GioStyle]

Reken maar op oneindig.

[BartNL]

Q schreef op zaterdag 16 augustus 2014 @ 22:34:
[...]
Misschien moet ik dan maar eens aan dit verzoek gaan voldoen. Alles staat klaar. Ff foto's zoeken

SAS kabels netjes weggewerkt. Zie dat je maar één 4-pins powerconnector per backplane gebruikt, zal wel mijn Norco ervaring zijn dat ik die allemaal dubbel aansluit. Gebruik je splitters van Ri-Vier?
800W PSU lijkt mij enorme overkill of trekken je schijven bij opstart zo veel vermogen?
Koeing op de M1015 had ik ook en voorheen ook op de HP SAS expanders die beiden op server luchtflow zijn berekend waar herrie geen probleem lijkt.
Zitten de Ikea tafeltjes nog aan elkaar vast of staan ze zo los op elkaar. Dat laatste zou mij te spannend zijn

[Verwijderd]

Nu ga ik ook maar een keertje.
Mijn machine staat op dit moment thuis in verband met uitbreidingen. Zijn thuis is in het datacenter.

System specifications
Component	Value
Case	X-Case
Processor	Intel(R) i3(R) CPU 2120 @ 3.30GHz
RAM	16 GB
Motherboard	Asus P8Z68-V
LAN	Intel Gigabit onboard
PSU	Corsair CX600M
Controller	Areca ARC-1320-16
Disk	15 x Seagate 4 TB (5900RPM)
SSD	1x Intel 320 40GB (OS) 1x Crucial MX100 128GB (ZIL) 1 x Crucial MX100 256GB (L2ARC)
Arrays	1 Zpool van 5x 4 TB RAIDZ Ashift=12
Bruto storage	60 TB
Netto storage	43 TiB (48 TB)
OS	FreeBSD 10.0 Release
Filesystem	ZFS
Extra	Qlogic 2460 4Gbit Fibrechannel

In gebruik voor media opslag (NFS/SMB geexporteerd) en de fibrechannel verbinding naar een VMware ESXi systeem.

Performance stats:
Read: 1.5GB/sec
Write: 1GB/sec

Excuus voor de lelijke foto crop
Wanneer de configuratie klaar is dan staat er wat kabel management op het programma en misschien nog wat betere foto's.

[ Voor 3% gewijzigd door Verwijderd op 18-10-2015 13:45 ]

[Staatslot]

Misschien lichtelijk offtopic, maar omdat je aangeeft dat hij eigenlijk in het datacenter hangt ben ik erg benieuwd.. Wat staat er op je sever voor data? Heb je het puur als backup, of ontsluit je je series of films bijvoorbeeld via een site-to-site vpn vanuit het datacenter? Want thuis is zo'n storage leuk omdat je ook gigabit hebt kun je alles snel rondpompen. Vanaf datacenter zie ik meteen risico's als toegang tot je data, datatraffic limieten etc..

Daarom benieuwd.. Misschien raken anderen enthousiast en draagt het weer bij tot meer show offs

[Verwijderd]

De bak doet dienst als storage voor mijn VMware ESXi machine. Hier draaien mail web,mail,dns etc op en verhuur ik wat VPSjes in kleine kring.
Voor de overige 40TB doet de machine dienst als Netflix achtige server (content word gestreamed naar diverse locaties)

Hij hangt daar aan een dedicated gigabit pijp waar ik mij geen zorgen hoef te maken over datalimieten.
Ik ben een van de weinige met die luxe vermoed ik

[FireDrunk]

Datalimieten zijn tegenwoordig zo asociaal hoog Bij mijn VPS bij TransIP krijg ik standaard al 2TB Traffic
En extra traffic is niet eens heel duur

[Q]

BartNL schreef op zondag 17 augustus 2014 @ 20:28:
[...]

SAS kabels netjes weggewerkt. Zie dat je maar één 4-pins powerconnector per backplane gebruikt, zal wel mijn Norco ervaring zijn dat ik die allemaal dubbel aansluit.

Naar mijn weten is dat niet nodig, de dubbele connector gebruik je doorgaans alleen als je ook redundante power supplies hebt, als ik het goed heb.

Gebruik je splitters van Ri-Vier?

Ik gebruik alleen een fan splitter van ri-vier, niet voor stroom, daar had ik er nog 1 van liggen die ik nodig had omdat mijn nieuwe seasonic voeding maar 5 x molex had en ik er met 6 backplanes dus 6 moest hebben.

800W PSU lijkt mij enorme overkill of trekken je schijven bij opstart zo veel vermogen?

Ik heb geen staggered spinup en de piek belasting bij het opstarten is 600+ watt. Ik hoop dat het
toeval is maar ik kan al een Corsair RMA terug sturen...

Koeing op de M1015 had ik ook en voorheen ook op de HP SAS expanders die beiden op server luchtflow zijn berekend waar herrie geen probleem lijkt.

Precies, ze lijken met het design van die dingen expres de benodigde ventilator weg te hebben gelaten omdat ze op forse airflow vertrouwen van dat soort 'lawaai' servers.

Een M1015 niet actief koellen, al is het er maar 1, is denk ik best tricky.

Maar dat issue had ik ook met mijn high points, waarvan er 1 zelfs een keer door de hitte geklapt was...
gelukkig geen data loss.

Zitten de Ikea tafeltjes nog aan elkaar vast of staan ze zo los op elkaar. Dat laatste zou mij te spannend zijn

De tafeltjes zitten los, maar het 2e tafeltje kan geen kant op vanwege de servers die tussen de poten liggen en het derde tafeltje heeft genoeg gewicht op zich om ook niet snel te verschuiven.

[-Venom-]

@ Q, hou je de 17TB server nu ook nog zelf? of wordt die op den duur verkocht?
En ik denk dat er bij jou geen kinderen rondlopen met de tafeltjes los op elkaar?? ik moet er niet aan denken hier met die kleine die rondtolt (al zal hij nooit uit zichzelf aan mijn spullen zitten) maar een ongelukje zit in een klein hoekje

[Q]

Ik denk nog na over de 17 TB maar als ik er nog een redelijke prijs voor krijg gaat hij denk ik weg.

Ik heb geen kinderen en die komen ook niet snel in die kamer

[zzattack]

Gezien er aardig wat Norco en M1015 gebruikers hier rondhangen: welke (lengte) SFF kabel gebruiken jullie om genoemde 2 te verbinden? Mijn huidige kabels hiervoor zullen niet lang genoeg zijn aangezien deze maar net aan voldoen i.c.m. de SASUC8i welke de SAS poorten op de achterkant heeft.

[Q]

Die van mij zijn 75 cm en dat is precies goed met deze kast.

[zzattack]

Cool, weet je toevallig waar ze vandaan kwamen? Kan in de hele pricewatch überhaupt maar 1 kabel vinden bij salland, en moet er 2 hebben

[MaTr1x]

System specifications
Component	Value
Case	Fractal Design Define XL USB 3.0 Black Pearl
Processor	Intel Core i3 530 @ 2.0 GHz
RAM	Corsair Dominator 4GB (2x2GB)
Motherboard	MSI H55-G43
PSU	Antec Earthwatts EA 500W
Controller 1	Dell PERC H700 512MB /w BBU
Disk	6x Toshiba DT01ACA300, 3TB (7200RPM)
Array	6x 3TB RAID 5
Controller 2	Dell PERC H310
Disk	1x Hitachi Deskstar, 2TB (7200RPM)
Disk	1x Seagate Barracuda, 2TB (7200RPM)
Disk	2x Samsung F1 HD103UJ, 1TB (7200RPM)
Arrays	2x 2TB RAID 0 | 2x 1TB RAID 1
Bruto storage	24 TB
Netto storage	20 TB
SSD	1x Crucial M4 CT064M4SSD2 64GB (boot disk)
OS	Windows Home Server 2011
LAN	Gigabit
Filesystem	NTFS
Power usage	125W

Info

Server draait al een jaartje, maar onlangs overgezet in een andere kast waarbij ik de 2e H310 heb vervangen voor een H700 en ik heb er een aantal disks bijgeplaatst. Wordt gebruikt als file storage server, o.a. om HD films en TV-series te streamen naar de Mede8er 600X3D in de huiskamer, voor simpele backups van diverse PC's en als FTP-server. RAID-kaarten worden uiteraard actief gekoeld met een 120mm fan via het zijpaneel. HDD's aan de H310 gaan op spindown d.m.v. zelf aangepaste driver.

[BartNL]

nu iedereen zo fanatiek reageert ook zelf de foto's maar eens updaten,

voorkant van StarTechstorage rack met van boven naar beneden Norco met PC hardware, Norco met SAS expander en Ri-Vier met SAS expander

achterkant van datzelfde rack. Zwarte kabels rechts zijn verbinding naar SAS expanders, dunne kabeltjes zwart en zwart/roze schakelen de PSU's in onderste kasten aan / uit.

inhoud bovenste kast met PC hardware. Links net naast de RAM reepjes is het 12V relais te zien waarmee de externe kasten in/uit worden geschakeld. In deze kast zitten 18 harddisks.

Norco kast met Chenbro SAS expander en PSU. In deze kast zitten 24 harddisks. Fans zijn TC type van Artic Freezer en regelen zichzelf.

Ri-Vier kast met Chenbro SAS expander en PSU. In deze kast zitten 12 harddisks. Fans zijn de standaard Ri-Vier exemplaren en zijn aangesloten op de temperatuur regelaar midden op foto.

Ruimte genoeg voor uitbreiding. Mogelijk door grotere schijven of door extra schijven te plaatsen. Voorlopig is dat niet nodig omdat ik nog genoeg vrije ruimte heb.

[Q]

Gaaf om te zien BartNL: hoe krijgen die expanders in de andere chassis nu stroom? Ze lijken in het lucht ledige te hangen.

Zitten er heatsinks op die raid controller in het bovenste chassis?

P.S. Misschien toch een beetje kabel management ?

[ Voor 16% gewijzigd door Q op 19-08-2014 12:23 ]

[Midas.e]

Q schreef op dinsdag 19 augustus 2014 @ 12:22:
Gaaf om te zien BartNL: hoe krijgen die expanders in de andere chassis nu stroom? Ze lijken in het lucht ledige te hangen.

Zitten er heatsinks op die raid controller in het bovenste chassis?

P.S. Misschien toch een beetje kabel management ?

Als je goed kijkt zie je een molex per expander zitten.

[BartNL]

SAS expanders hangen inderdaad los en krijgen stroom via 4-pin molex.
Op de Areca zitten standaard een heatsink en een hele matige koeler. Die heb ik vervangen door twee Zalman exemplaren waardoor de controller nu 20 graden koeler blijft.
Kabelmanagement is inderdaad niet netjes en dan vooral extern. Intern maakt mij minder uit. Er is ruimte zat en ik hoef er eigenlijk nooit bij.
Wel moet ik het rack aan de achterkant nog vastzetten, wanneer ik nu twee chassis helemaal naar voren trek om bij onderste chassis te komen (zoals op laatste foto) staat het rack op kantelen / of kantelt.

[-Moondust-]

Bart, welke Zalman koelers heb je op je Areca gezet? Hoe heb je die gemonteerd? Als je nog zin en tijd hebt om daar foto's van te maken, dan hou ik me aanbevolen. Ik ben iets soortgelijks van plan. Het geluid van dat kleine fannetje is te storend voor de woonkamer.

[ Voor 26% gewijzigd door -Moondust- op 19-08-2014 17:31 ]

[Speedwolf]

BartNL

Zeer leuke setup. Die plakkertjes vooraan op de je cases zijn serienummers van de HDs neem ik aan?
Ik zelf steek dat in een Exelsheet om het bij te houden maar heb dan ook maar 20 HDs in 1 case hehe

[Q]

@BartNL bedankt voor de toelichting.

[BartNL]

-Moondust- schreef op dinsdag 19 augustus 2014 @ 16:41:
Bart, welke Zalman koelers heb je op je Areca gezet? Hoe heb je die gemonteerd? Als je nog zin en tijd hebt om daar foto's van te maken, dan hou ik me aanbevolen. Ik ben iets soortgelijks van plan. Het geluid van dat kleine fannetje is te storend voor de woonkamer.

zijn Zalman VF900-Cu en die passen 1:1 als vervanging van bestaande koeler op de Areca 1882ix-24 die ik heb. Lastigste is om een koeler te vinden die niet diagonale bevestiging heeft zie connectie 1 in afbeelding van Zalman hieronder,

De originele koeler zit nauwelijks vast en is makkelijk los te halen.
Foto kijk ik morgen nog even naar (weet niet of ik het gemonteerd netjes op de foto krijg).

[BartNL]

Speedwolf schreef op dinsdag 19 augustus 2014 @ 16:59:Zeer leuke setup. Die plakkertjes vooraan op de je cases zijn serienummers van de HDs neem ik aan?
Ik zelf steek dat in een Exelsheet om het bij te houden maar heb dan ook maar 20 HDs in 1 case hehe

yep zijn de serienummers en is nodig omdat de volgorde niet altijd logisch is. Mijn raidsets bestaan telkens uit 6 disks maar de volgorde van de schijven / backplanes is niet van opvolgend d.w.z. het is niet zo dat bovenste rij door mijn Areca als slot 1 tm 4 wordt gezien. Ik zou misschien ook de SAS kabels kunnen omsteken maar met de plakkers is wel zo praktisch.
Door het maken van de foto's zijn me wel een paar dingen duidelijk geworden,
- twee van de PSU's zijn veel ouder dan ik dacht
- kabel management kan beter
- rack MOET ik vastzetten
- ik loop achter met de plakkers
Server is gelukkig betrouwbaar waardoor ik te weinig last heb van bovenstaande om het niet al opgelost te hebben

[ Voor 0% gewijzigd door BartNL op 20-08-2014 21:22 . Reden: plakkers zijn up-to-date ]

[-Moondust-]

BartNL schreef op dinsdag 19 augustus 2014 @ 20:20:
zijn Zalman VF900-Cu en die passen 1:1 als vervanging van bestaande koeler op de Areca 1882ix-24 die ik heb. Lastigste is om een koeler te vinden die niet diagonale bevestiging heeft zie connectie 1 in afbeelding van Zalman hieronder,
[afbeelding]
De originele koeler zit nauwelijks vast en is makkelijk los te halen.
Foto kijk ik morgen nog even naar (weet niet of ik het gemonteerd netjes op de foto krijg).

Heeft de 1882i-24 twee chips die gekoeld moeten worden? De normale 1882i met 2 x SFF8087 (= 8 x SATA) die ik heb heeft slechts één chip om te koelen. Ik was van plan een Zalman ZM-NB47J heatsink erop te zetten met een Scythe Kama Stay slot-koeler die op de heatsink blaast, maar jouw oplossing vind ik eigenlijk beter......mits de Zalman VF900-Cu niet hoorbaar is. Ik lees 18dB bij een minimaal toerental van 1350rpm. Dat is nog best flink. Wat mij betreft zou dat nog wel wat lager mogen, zeg 500-600rpm. Is de fan te vervangen of is dat maatwerk van Zalman? Heb je nog meer alternatieven gevonden of was de Zalman VF900-Cu de enige?

[BartNL]

een VGA koeler die op volgende oude videokaart past volstaat (van de Zalman site)
ATI Radeon X1600 Series
ATI Radeon X1300 Series
ATI Radeon 9*** Series (except 9550/9600)
ATI Radeon X*** Series
NVIDIA Geforce 6600 Series (except 6600 AGP Series)
NVIDIA Geforce FX 5600(FX 5700)
NVIDIA Geforce FX 5500
NVIDIA Geforce FX 5200
NVIDIA Geforce4 MX Series

Bij mij staat de server op zolder dus ik ben niet heel kritisch maar de Areca was op verdieping lager wel hoorbaar (oud huis met houten plafonds) en koelde zeer matig (Areca werd soms 70 °C+) dus vervangen. Toen ik zocht was de Zalman de enige die direct verkrijgbaar was en die op voorhand stil leek. Dat zijn de koelers in de praktijk ook terwijl ze veel beter koelen dan de standaard oplossing van Areca.
Op mijn Areca zat één actieve koeler met een klein fannetje in een groot koelblok. Daaronder zat de CPU en nog een 2e chip die ik allebei van een Zalman heb voorzien. De tweede chip kan waarschijnlijk ook wel passief. Kleinere componenten heb ik de meegeleverde passieve koellichaampjes geplakt die met de Zalman worden meegeleverd.

[ Voor 18% gewijzigd door BartNL op 19-08-2014 22:13 ]

[Speedwolf]

BartNL schreef op dinsdag 19 augustus 2014 @ 21:18:

Bij mij staat de server op zolder dus ik ben niet heel kritisch maar de Areca was op verdieping lager wel hoorbaar (oud huis met houten plafonds) en koelde zeer matig (Areca werd soms 70 °C+) dus vervangen.

Lekkere zolderverwarming
Gelukkig loop je niet te veel achter met je stickers en heb je betrouwbare HDs.
Nu ik heb dezelfde als jij en heb nog maar 1 defect(DOA) na ca 1 jaar tijd dus dat valt wel mee.

[-Venom-]

Blijft toch mooi om te zien al die dikke machine's

[KorneelB]

BartNL, hoe loopt het met windows 7?
heb ook een hele tijd mega RAID setups gedraait met Areca's, maar kreeg daar bij de grotere setups toch issues mee... hoe bevalt het?

[BHQ]

Verwijderd schreef op zondag 17 augustus 2014 @ 20:46:
Nu ga ik ook maar een keertje.
Mijn machine staat op dit moment thuis in verband met uitbreidingen. Zijn thuis is in het datacenter.

In welk DC heb je 'm hangen?

[BartNL]

freak1 schreef op donderdag 21 augustus 2014 @ 08:45:
BartNL, hoe loopt het met windows 7?
heb ook een hele tijd mega RAID setups gedraait met Areca's, maar kreeg daar bij de grotere setups toch issues mee... hoe bevalt het?

Ik boot van Intel SSD en de Areca volumes zijn als harddisks zichtbaar in Windows en dat werkt probleemloos. Grootste volumes die ik draai zijn 6x 4TB in raid-5.
Enige issues die ik tot nu toe gehad heb waren met de Norco backplanes waarvan er in twee jaar nu twee zijn uitgevallen. Dat is telkens dikke stress omdat het in eerste instantie lijkt dat een schijf uitvalt, daarna een tweede en dan een derde en die blijken dan niet defect maar wel allemaal op dezelfde backplane te zitten. Backplane vervangen en de disks zijn weer ok.
Daarnaast incidenteel een defecte harddisk waarbij de 3TB en 4TB seagates die ik gebruik tot nu toe betrouwbaar blijken. Ik heb 54 disks draaien en ik denk dat ik het afgelopen jaar maar 1 disk ben kwijtgeraakt. Ook bij scrubbing zie ik maar incidenteel fouten.
Wat mij betreft doet het wat het moet doen.