Storage showcase topic - 50+ TB storage systems

[GeeMoney]

FireDrunk schreef op maandag 25 juli 2016 @ 15:08:
@GeeMonkey, kan iorate "zien" op welke layer de IOPS verstookt worden dan?
Want in het geval van ZFS moet je rekening houden met je ARC hit ratio, (eventueel je L2ARC hit ratio), je vdev cache ratio, en daarvoor zit misschien zelfs nog client caching (in het geval van iSCSI).

Ik heb wel eens zitten kijken naar of er tools zijn die dit goed uit plotten (verschil tussen frontend iops en backend iops), maar die zijn er maar weinig.

Ik heb dan weer geen ervaring met ZFS maar afhankelijk van de load die te zien is, en de hardware die je test moet je dit duidelijk kunnen krijgen.
iorate kan in ieder geval onder linux en AIX de system cache ontwijken, ook kan je dit op AIX in ieder geval forceren middels mount/os opties. Ik weet niet of dit met ZFS(FreeBSD?) ook kan.

Als je een cache hebt van zeg 16GB dan is het zaak om te testen met een workset groter dan 16GB, nadat die cache gevuld is zakt de performance natuurlijk in en weet je dat je buiten je cache om zit. (iorate kan zo goed als 100% random i/o patronen genereren waardoor de cache permanent omzeild kan worden.)

Voorbeeld uit de praktijk: Recent een EMC mid-range systeem met 12TB SSD-Cache doorgetest vanuit een AIX Host met een data workset van 30TB. Deze test duurde langer dan 36 uur om tot goede zuivere resultaten te komen. (het vullen van de cache vergt tijd, en elke test wil ik minimaal 24 uur draaien alvorens met conclusies te komen).
Uiteraard spelen ook andere zaken een rol, CPU/Memory/Paden richting storage etc.

[ Voor 3% gewijzigd door GeeMoney op 25-07-2016 15:34 ]

[FireDrunk]

Helemaal de cache omzeilen is natuurlijk ook niet helemaal eerlijk. Het enige wat je dan ziet is het worst case scenario qua IOPS. In de praktijk zal je altijd meer zien, omdat er juist caching plaats vind.

Dat wil je ook juist, want caching helpt juist in performance. Dus de vraag is juist, hoeveel van je IOPS wil je gecached zien, en hoeveel hit ratio verwacht je van je cache.

Dat zijn soms veel belangrijkere vragen, dan wat is het bare minimum qua IOPS.

[jb044]

Ook maar eens een duit in het zakje doen

Recent mijn homeserver een rebuild gegeven vanwege aanhoudende onstabiliteit en daarbij speelden 2 dingen:
- ik wou niet de processor vervangen en had zo mijn eisen qua aansluitingen en wou vooral het maximale qua stabiliteit, kwam daarom uit bij een ASRock Rack Workstation/Server 1155 bordje. Dit bordje heeft nogal wat aansluitingen waaronder veel SATA poorten.
- Helaas was het wel een ATX bordje dus was ook een nieuwe kast noodzaak. Geen drama want op mijn Asus barebone kast was ik toch wel uitgekeken Dus gelijk maar voor de Fractal Define R5 gegaan met veel ruimte voor hdd's

Dus was er ineens ruimte voor aanvullende hdd's en wel 2x WD 8TB Nas schijven + kon ik ook nog de via eSata aangesloten schijf inbouwen. In totaal ruim boven de 20TB dus vandaar deze post.

Uiteindelijk wou het geheel wel booten en ook draaien, maar mijn usb3 docking station deed raar. Dus ook maar de voeding een upgrade gegeven en dat bleek de juiste gok. Alles draait nu al bijna een maand als een zonnetje.

Dit levert het volgende op:

• Fractal design Define R5
• Corsair RM650x
• 32GB DDR3 1600Mhz geheugen
• 2x Samsung 2TB schijven
• 1x 4TB Seagate schijf
• 1x 4TB WD NAS schijf
• 1x 256GB Samsung 840Pro SSD
• ASRock 216WS moederbord
• Intel i7 3770S CPU
• 1x 1TB via USB3 docking station (eSata dockingstation gebruik ik nu niet meer)
• ASUS BW 16D1HT Bluray brander

Omdat ik het allemaal in de loop der jaren heb opgebouwd maar ook deels omdat Linux mijn OS van voorkeur is en het een server met uiteenlopende taken betreft geen ZFS. Maar ook niet geheel een standaard setup met alleen partities:

/dev/mapper/centos_trinity-root 127,930GB
/dev/sdd1 3.813,584GB
/dev/sde1 3.755,448GB
/dev/sdh2 1,990GB
/dev/md129 15.259,474GB
/dev/mapper/data_trinity-home 255,875GB
/dev/mapper/data_trinity-var 1.299,366GB

SSD doet deels dienst als OS storage (boot reguliere partitie, rest LVM), en deels als LVM cache partitie. De 2TB Samsungs werken als Raid1 array met daarbovenop Linux LVM (waarbij het grootste volume wordt versnelt door de SSD LVM cache partitie). De 2 4TB schijven gebruik ik als backup en data partitie, de 2 8TB schijven als RAID0 array voor alle films.

In totaal dus circa 2TB + 2x 4TB + 16TB + 1TB (extern) en nog wat SSD GB's = +/- 27TB

Machine doet dienst als homeserver (deels hobby, deels werk) en htpc, heb verder nog een workstation die ook ruim in de storage zit, dus anders dan voor werk projecten die op de webserver draaien gebruik ik de machine niet echt als NAS. Nu ja voor de fun heb ik ooit een iscsi target aangemaakt maar daar doe ik verder weinig mee.

[GeeMoney]

FireDrunk schreef op maandag 25 juli 2016 @ 16:09:
Helemaal de cache omzeilen is natuurlijk ook niet helemaal eerlijk. Het enige wat je dan ziet is het worst case scenario qua IOPS. In de praktijk zal je altijd meer zien, omdat er juist caching plaats vind.

Dat wil je ook juist, want caching helpt juist in performance. Dus de vraag is juist, hoeveel van je IOPS wil je gecached zien, en hoeveel hit ratio verwacht je van je cache.

Dat zijn soms veel belangrijkere vragen, dan wat is het bare minimum qua IOPS.

Dat is juist het mooie van iorate.
Je kan het allemaal

[azerty]

jb044 schreef op maandag 25 juli 2016 @ 22:10:
...

Op de RAID-1 van je boot zie ik geen verdere redundantie, waardoor ik niet zeker weet of je het lijstje in mag:

5. Toepassing van redundancy, het systeem moet falen van minimaal 1 storage disk kunnen overleven.

[Q]

jb044 schreef op maandag 25 juli 2016 @ 22:10:
Ook maar eens een duit in het zakje doen

Een hoop storage en ik denk dat je er erg blij mee bent.

Jouw build doet echter zoals Azerty terecht opmerkt niet aan de voorwaarden om in de lijst te komen. Bovendien tellen OS schijven en losse externe non-redundante schijven niet mee.
Dat je LVM hebt toegepast is aardig, maar niet echt heel speciaal.

Bij meer van dit soort aanmeldingen denk ik dat de ondergrens maar weer eens omhoog moet

[jb044]

My Bad, TL;DR

Maar ja idd works for me, en wie weet CentOS 8 zal toch ook ooit wel eens uitkomen en dat zou zomaar een goede reden kunnen zijn om het dan wel goed aan te pakken, dan meld ik me wel weer

[azerty]

Zo, nu de data aan het kopiëren is, tijd om een post te maken

System specifications
Component	Value
Case	Logic Case 4U Server (20 bay)
CPU	Intel i3-6100
RAM	2x KVR21E15D8/16 => 32GB
Motherboard	ASRock Rack E3C236D4U
Operating system	Debian + ZoL
Controller	2x Dell PERC H200 (geflasht naar IT mode)
Hard drive	20x WD Blue WD40EZRZ, 4TB
Hard drive	1 x Crucial M500 (120 GB) - boot
RAID array configuration	2x RAIDZ2 van 10 disks (2 vdevs, 1 pool)
Netto storage capacity	64TB (53.5 TiB netto na ZFS overhead)
Network	Gigabit (Intel I210: 2 port, Intel I210: management)
UPS	APC Back-UPS BR1200G-GR
Filesystem	ZoL
Idle power usage	~115W (zonder spindown vermoed ik)
"Off" power usage	~2.5W (enkel management interface online)
Peak boot usage	350+W (boot piek, enkele secondes)
Avg write power usage	~190W
Avg read power usage	~160W
Extra	Alle disks hebben LUKS

Het systeem kan je in een wenslijst vinden: inventaris: ZFS (reverse breakout kabel ontbreekt)

ZFS II

Voor meer foto's van de case kun je deze review lezen: komt nog

En ja, op dit moment draait het systeem degraded omdat er 1 schijf het begeven heeft... Die moet ffe RMA. Resilver met systeem dat +- 50% vol zit duurde 11 uur

[ Voor 31% gewijzigd door azerty op 05-08-2016 01:16 ]

[HyperBart]

azerty schreef op zondag 31 juli 2016 @ 11:16:
Zo, nu de data aan het kopiëren is, tijd om een post te maken

System specifications
Component	Value
Extra	Alle disks hebben LUKS

[GeeMoney]

azerty schreef op zondag 31 juli 2016 @ 11:16:
Zo, nu de data aan het kopiëren is, tijd om een post te maken

Het systeem kan je in een wenslijst vinden: inventaris: ZFS (reverse breakout kabel ontbreekt)

(Ik werk dit straks verder bij met foto's)

Het is pure opslag maar speelt performance nog mee?
Je hebt maar 2x1Gbit en als het tegen zit gebruik je er maar 1 van.
Theoretisch kan hier wel wat performance uitkomen en het zou toch zonde zijn als je dat niet gebruikt?

[azerty]

GeeMoney schreef op maandag 01 augustus 2016 @ 07:40:
[...]


Het is pure opslag maar speelt performance nog mee?
Je hebt maar 2x1Gbit en als het tegen zit gebruik je er maar 1 van.
Theoretisch kan hier wel wat performance uitkomen en het zou toch zonde zijn als je dat niet gebruikt?

Voorlopig ben ik tevreden met wat er is. Als het niet voldoende is kijk ik wel om het probleem aan te pakken.

[sdk1985]

Heb ondertussen een X300 6 TB en een Seagate Nas HDD 8 TB voor het eerst liggen, de Seagate 8 TB Archive SSD had ik al. Ben vandaag benchmarks aan het draaien .

Valt in ieder geval op dat de X300 een heethoofd is. Die moet je echt actief koelen. Zonder actieve koeling zit hij tijdens benchmarken zo op de 45 graden... Ter vergelijking; de Seagate NAS zit nu op 26 graden. Met een fan erop is er overigens niets aan de hand.. Edit: Anvil maakt de schijven warm.

Een ander nadeel is de herrie. Random acties lijkt het alsof ze grind in de schijf hebben gestort en tijdens spinnen is er een hoge zoemtoon te horen (die zal niet iedereen horen, zit op erg hoge frequentie). De X300 heeft geen PUIS support. Het voelt een beetje als een budget schijf, dat is het natuurlijk ook. Performance nog niet in Excel gezet, misschien verrast hij daar nog positief.

[ Voor 47% gewijzigd door sdk1985 op 20-08-2016 18:33 ]

[FireDrunk]

45c onder load. Waar kan ik tekenen?

Mijn HGST 4TB 7200RPM schijven zitten altijd rond de 51-53 graden

[sdk1985]

Haha, HGST's heb ik helaas niet ter vergelijking. Tijdens testen zitten ze bovenop mijn CM690II in een sata dock (wel direct op sata0 naar mobo aangesloten).

Update: Anvil hakt er aardig in, de Seagate NAS HDD is nu 41 granden run1. Tijdens run 2 werd dat 43 na graden . Met HD Tune Pro bleef hij 26 graden. Zal straks de X300 eens opnieuw testen met 2x Anvil achter elkaar. Vermoedelijk kwam daar de 45 graden vandaan.

Ander dingetje: Tijdens idle hoor je soms een scanner geluid. Lijkt wel alsof die NAS HDD garbage collection heeft want zodra je een test start is het weg. Enkele seconden na de test is het terug. Na 5 minuten is het weg.

[ Voor 94% gewijzigd door sdk1985 op 20-08-2016 18:37 ]

[FireDrunk]

Seagates doen idd aan background scanning. Soort scrub maar dan binnen de disk.

[Q]

FireDrunk schreef op zaterdag 20 augustus 2016 @ 18:03:
45c onder load. Waar kan ik tekenen?

Mijn HGST 4TB 7200RPM schijven zitten altijd rond de 51-53 graden

Dat mag wel qua spec maar geen behoefte om ze toch wat beter te koelen?

[FireDrunk]

Zitten al flink in de koeling, kast heeft 2*12CM, 1*14CM en 1* 18CM fans, (en een goede dubbele noctua CPU fan.)

Als ik ze 2c lager wil hebben, moet ik de fans 2 keer zo hard laten draaien voor mijn gevoel. Dan maakt mijn server meer kabaal dan ik er voor over heb om ze 2c te koelen

Bovendien heeft het meer te maken met de warmte in de kamer nu (26.4c).

's Winters zijn ze ~43-46c als de kamer 19-21c is.

[ Voor 18% gewijzigd door FireDrunk op 20-08-2016 19:06 ]

[sdk1985]

Als iemand nog graag een bepaalde test ziet stuur dan gerust een dm. Anders laat ik het even bij hd tune, anvil en pcmark7.

[Q]

FireDrunk schreef op zaterdag 20 augustus 2016 @ 19:03:
Zitten al flink in de koeling, kast heeft 2*12CM, 1*14CM en 1* 18CM fans, (en een goede dubbele noctua CPU fan.)

Als ik ze 2c lager wil hebben, moet ik de fans 2 keer zo hard laten draaien voor mijn gevoel. Dan maakt mijn server meer kabaal dan ik er voor over heb om ze 2c te koelen

Bovendien heeft het meer te maken met de warmte in de kamer nu (26.4c).

's Winters zijn ze ~43-46c als de kamer 19-21c is.

Ok, ik hou ze zelf zoals je misschien wel weet van die video constant op 40 graden met een scriptje zonder al te veel herrie, maar dat hangt natuurlijk van de kast af of dat echt mogelijk is. Uiteindelijk mag het van de specs dus tja.

[FireDrunk]

[root@NAS ~]# sensors
power_meter-acpi-0
Adapter: ACPI interface
power1:        4.29 MW (interval =   1.00 s)

i350bb-pci-0600
Adapter: PCI adapter
loc1:         +57.0°C  (high = +120.0°C, crit = +110.0°C)

coretemp-isa-0000
Adapter: ISA adapter
Physical id 0:  +37.0°C  (high = +75.0°C, crit = +85.0°C)
Core 0:         +30.0°C  (high = +75.0°C, crit = +85.0°C)
Core 1:         +32.0°C  (high = +75.0°C, crit = +85.0°C)
Core 2:         +29.0°C  (high = +75.0°C, crit = +85.0°C)
Core 3:         +27.0°C  (high = +75.0°C, crit = +85.0°C)
Core 4:         +30.0°C  (high = +75.0°C, crit = +85.0°C)
Core 5:         +31.0°C  (high = +75.0°C, crit = +85.0°C)

Ik kan misschien eens kijken of de flow 'onderin' de kast misschien te laag is. De CPU is een aangename temperatuur, maar de NIC's (onboard) zijn misschien ook wat aan de hete kant...

Ik heb een passieve voeding in het systeem zitten, wat waarschijnlijk eerder voor convectie warmte de kast in zorgt ipv afvoering van warme lucht.

[Q]

FireDrunk schreef op zaterdag 20 augustus 2016 @ 21:49:

Ik kan misschien eens kijken of de flow 'onderin' de kast misschien te laag is. De CPU is een aangename temperatuur, maar de NIC's (onboard) zijn misschien ook wat aan de hete kant...

Ik heb een passieve voeding in het systeem zitten, wat waarschijnlijk eerder voor convectie warmte de kast in zorgt ipv afvoering van warme lucht.

Die NIC is wel warm ja maar ook dat is vast nog wel binnen spec ,, ik heb een 90mm fan boven mijn 3 controllers en de quad-pord gigabit nic hangen. Die laatste moet zeker ook gekoeld worden.

Je noemt zelf al je passieve voeding: die zou eigenlijk met een extra fan gecompenseerd moeten worden denk ik. Maar zitten de disks onderin, waar dus ook die warmte zich mogelijk ophoopt?

[ Voor 7% gewijzigd door Q op 21-08-2016 01:13 ]

[FireDrunk]

Hele mik zit in een Fractal Design Define XL, de 2 front fans zijn 12CM en blazen lucht van voren de kast in, (dus ook direct langs de schijven). Er zit een 14CM fan achterop die naar buiten blaast, en de standaard 18CM fan blaase naar boven.

Lijkt me dat de 'trek' van lucht door de kast wel goed is, en er dus niet echt warmte kan ophopen.
De voeding krijgt zijn verse aanvoer (ookal is het niet geforceerd), van onder de kast, waar normaal voedingen een fan hebben. Ik verwacht ook daar geen extreme temperaturen.

Fan besturing is trouwens niet via het bord, maar via een los controllertje (krijg je bij de XL) met een pot metertje. Kan je 4 fans mee regelen uit mijn hoofd.

[ Voor 14% gewijzigd door FireDrunk op 21-08-2016 12:09 ]

[Q]

Tja, klinkt verder OK, ik weet het ook niet. Die van mij staat wel in een aparte kamer waar ik zelf nooit zit dus misschien tolereer ik wel meer herrie dan jij, dat kan ook een factor zijn. Anyway.

[FireDrunk]

Goed, omdat het dit weekend weer knallend warm zou gaan worden, vanmorgen toch maar even de server uitgezet om deze even een onderhoudsbeurt te geven.

De stoffilters waren enigszins vol, maar niet onoverkomelijk. Wel ben ik erachter waarom sommige harddisks te warm werden.



De foto laat het niet zien, maar er zit een schot tussen de voeding en de schijven (welke ik 'vergeten' was). Daardoor ontstaat er geen natuurlijke flow van de warmte, en denk ik dat de warmte blijft hangen in dat compartiment.

Ik heb nu (niet meer op de foto te zien) de linkse schijven verplaatst naar de bovenkant (en de SSD naar beneden), waardoor de 6 schijven nu onder elkaar zitten.

Et voila:

[Q]

Kijk Sherlock Holmes heeft het mogelijke probleem gevonden.

Ik verwacht dat in jouw grafiek de warmste harde schijven de onderste zijn. Dat compartiment krijgt door je passieve voeding nog steeds relatief weinig koeling. Of zitten er aan de voorkant actieve fans?

[FireDrunk]

Ja, 2*14CM, die naar binnen blazen.

[jacovn]

Die kast koelt gewoon niet erg goed met alle hdd posities gevuld.
Ik heb hgst ultrastars in mijn pc zitten. 5 x 7200 en 3 x 5400 en die worden ook goed 40 graden.
Er zitten noctua 140 mm pwm fans in en een seasonic voeding met pfc maar daar draait de fan niet of nauwelijks van.

[Q]

Het kan zijn dat met zoveel fans aan de voorkant er overdruk ontstaat en teweinig airflow. Zeker als je voeding effectief niet meehelpt?

Als de kast niet goed koelt, zouden de schijven in temperatuur moeten dalen als je de zijkand van de kast even open houdt voor een paar uur

[FireDrunk]

Kast koelt prima, je moet alleen (in mijn geval) opletten dat je niet een paar schotjes over het hoofd ziet
Dan blijft er van de koeling weinig over.

Kast kan prima lucht van voren aanzuigen, dat is geen punt. Kan van de beide zijkanten, en van de onderkant, daar zit ook een grote ingang.

[Q]

@FireDrunk, ik had gehoopt dat je ook een meting zou doen ter controle omdat je mooie grafiekjes bijhoudt

Meten = weten.

[thalantis]

Ze hebben weer op voorraad, 8 stuks nu.

https://ri-vier.eu/rivier...2a-p-389.html?cPath=1_3_7

[Q]

Helaas, geen reden om er weer een te kopen, ik heb nog genoeg storage

[Verwijderd]

Modbreak:

Je bent in het verleden aangesproken om iets niet meer te doen; houd je daar aan ajb.

[ Voor 77% gewijzigd door Verwijderd op 08-09-2016 13:56 ]

[FireDrunk]

Misschien leuk voor mensen die nog op zoek zijn naar een goedkope 10Gb switch:
http://www.servethehome.c...w-quality-control-absent/

(Lees even over de quality control rant heen... beetje overtrokken...)

[Shamalamadindon]

thalantis schreef op dinsdag 06 september 2016 @ 14:30:
Ze hebben weer op voorraad, 8 stuks nu.

https://ri-vier.eu/rivier...2a-p-389.html?cPath=1_3_7

Zelfde model als X-case UK verkoopt trouwens, https://www.xcase.co.uk/c...p-bays?variant=9205909957

[mindcrash]

Leo1010 schreef op vrijdag 09 september 2016 @ 14:21:
[...]


Zelfde model als X-case UK verkoopt trouwens, https://www.xcase.co.uk/c...p-bays?variant=9205909957

Zijn de meegeleverde fans echt low noise of is het beter om ze (icm met een Lack Rack) te vervangen door een stel Noctua's?

[Shamalamadindon]

mindcrash schreef op maandag 12 september 2016 @ 17:00:
[...]


Zijn de meegeleverde fans echt low noise of is het beter om ze (icm met een Lack Rack) te vervangen door een stel Noctua's?

Dat durf ik niet te zeggen. Hou wel even in de gaten dat het hier om fans gaat die wat dikker zijn dan normaal.

[Q]

mindcrash schreef op maandag 12 september 2016 @ 17:00:
[...]


Zijn de meegeleverde fans echt low noise of is het beter om ze (icm met een Lack Rack) te vervangen door een stel Noctua's?

De fans zijn heel groot en dik en dat maakt de machine fluister stil, tenzij je een warme dag hebt, dan ga je 'm wel horen.

Let op, standaard fan speed op de bios = behoorlijk aanwezig geluidsniveau.

Ik bereik onderstaand geluidsniveau met een eigen script onder Linux (zie video) dat de fan speed bepaalt aan de hand van de warmste harde schijf via PWN op het moederbord.

De fans hebben 4 draden.

YouTube: 71 TB NAS (ZFS on Linux) is relatively quiet

40K views

[ Voor 4% gewijzigd door Q op 13-09-2016 06:11 ]

[BartNL]

ik denk dat het geluidsnivo heel persoonlijk is. Ik vind de standaard fans in de XCase en Ri-Vier kasten lawaaiig en zou ze wel vervangen.

[Q]

Dan loop je wel het risico dat je harde schijven onvoldoende gekoeld worden, die grote fans zitten er niet voor niets in.

Op een laag toerental hoor je de machine vrijwel niet (luister maar in de video) en kunnen de schijven toch koel blijven. Desnoods neem je een hardware fan controller bordje dat reageert op de temperatuur in de kast en sluit je daar de fans op aan.

[alexke1988]

Ik heb mijn middelste fans uit de ri-vier case gehaald. hdd's blijven onder de 40c
Ik gebruik nu noctua fans achteraan.

[BartNL]

ik gebruik moederbord aansluiting of een controller om de fans te regelen. Die grote fans zitten er in voor server grade hardware (lees fanloze CPU koeler en 10000rpm SAS schijven) die ik niet gebruik dan wel van een eigen fan voorzie (raid controller en CPU).

[sdk1985]

Ik heb ondertussen een 8 TB Seagate NAS hdd erbij en een extra 8 TB Seagate Archive hdd. Die laatste blijven me verbazen. In het skylake systeem haalt hij 12 MB/s op random writes op crystaldisk met 1 GB dus die cache doet goed zijn werk. Het overzetten van 3 TB was wel wat problematischer, heeft een uur of 12 geduurd, zeg 60 MB/s. Je krijgt dan dips naar 5-10 MB/s. Echter nu zet ik vandaag een tweede transfer op en tot nu toe doet hij onafgebroken gemiddeld 150+ MB/s op 372 GB van de 950 GB. De truuk lijkt te zijn dat de disk 98% is belast. Mogelijk kan hij zijn background processen binnen die 2% afronden. Als dat klopt dan zou je over het netwerk eigenlijk altijd de 120 MB/s verwachten.




De Seagate nas HDD gebruik ik overigens als snapraid parity disk.

[ Voor 15% gewijzigd door sdk1985 op 31-10-2016 11:55 ]

[Q]

sdk1985 schreef op maandag 31 oktober 2016 @ 11:52:
Ik heb ondertussen een 8 TB Seagate NAS hdd erbij en een extra 8 TB Seagate Archive hdd. Die laatste blijven me verbazen. In het skylake systeem haalt hij 12 MB/s op random writes op crystaldisk met 1 GB dus die cache doet goed zijn werk.

En dat is dus ook meteen een nietszeggende test.

Het overzetten van 3 TB was wel wat problematischer, heeft een uur of 12 geduurd, zeg 60 MB/s. Je krijgt dan dips naar 5-10 MB/s.

Dat is conform verwachting van dit type schijf toch?

Echter nu zet ik vandaag een tweede transfer op en tot nu toe doet hij onafgebroken gemiddeld 150+ MB/s op 372 GB van de 950 GB. De truuk lijkt te zijn dat de disk 98% is belast. Mogelijk kan hij zijn background processen binnen die 2% afronden. Als dat klopt dan zou je over het netwerk eigenlijk altijd de 120 MB/s verwachten.

[afbeelding]


De Seagate nas HDD gebruik ik overigens als snapraid parity disk.

De truc is niet om de disk zwaar sequentieel te belasten, ik volg de logica niet en het past ook niet bij wat ik van SMR drives begrijp.

Ik kan me voorstellen dat een SMR drive prima presteert als de disk niet hoeft te re-writen. En het zal ook afhangen van de data: veel kleine files of een paar grote.

[sdk1985]

Waarom is Crystal disk nietszeggend? Het geeft aan dat als jij een aantal writes wil doen deze schijf dat significant sneller kan verwerken dan een normale schijf. Bij TLC ssd's als de 850 Evo concluderen we toch ook niet dat je niks aan het SLC stuk hebt? In de realtime races van Pcmark zie je ook dat een archive schijf een desktop schijf outperformed met 400 punten. Dus het vertaalt ook naar de praktijk, net als bij die SSD.

Hetgeen ik probeerde te verklaren is dat ik onafgebroken 300 GB kon schrijven zonder snelheidsdips. Dit matched niet helemaal met het verhaal van de 20 GB cache die op de achtergrond wordt weggeschreven. Een schijf kan maar één ding tegelijk, probeer maar eens vanaf 3 verschillende schijven een transfer te starten. Dan kakt alles in terwijl de totaal som veel lager uitkomt dan de 1 op 1 transfer. Dus die die dips naar 5 MB/s duiden erop dat hij op de achtergrond te druk is. Dat was even de context van mijn verhaal. Ik ging er vanuit dat iedereen hiermee bekend was.

Vanuit de SSD's weten we dat als de cache sneller leeg wordt geschreven dan dat hij wordt gevuld dat je dan in de praktijk niets merkt van het achterliggende TLC. Hierop heb ik mijn hypothese geïnspireerd dat bij deze transfer de schijf genoeg performance in reserve had om die 20 GB leeg te houden. Dat zou an sich kunnen want de losse sequentiële performance is circa 190 MB/s. Op circa 60% van de transfer het feest over, toen werd de disk ook weer 100% belast. As we speak is de steady state performance gedaald naar 35 MB/s en is de prognose dat het nog 6 uur duurt. Pauzeer ik die transfer voor één minuut dan stijgt de snelheid weer naar 120 MB/s.

TLDR: Eigenlijk zou je de datatransfer snelheid handmatig moeten beperken tot pak hem beet 100 MB/s. Daarmee ben je dan in theorie 66% sneller klaar dan dat je dit niet doet.

[ Voor 8% gewijzigd door sdk1985 op 31-10-2016 16:08 ]

[FireDrunk]

Ik denk niet dat het aan de transfersnelheid ligt. De offloading van Cache naar disk gaat toch met een bepaald tempo, omdat de disk na een paar TB waarschijnlijk moet gaan rewriten.

Goede kans dat de disk eerst alle sectoren beschrijft alsof ze 'single' cell zijn (PMR), en pas als de datahoeveelheid groter wordt dan wat de disk aan kan door op die manier beschreven te worden, de schrijfmethode om te zetten naar SMR.

Als je de transfersnelheid capped op 60MB/s ga je iets langer snelheid houden op het moment dat de disk onderwater begint in te kakken, maar SMR writes zijn echt maar een paar MB/s dus loopt je cache in no time vol.

[sdk1985]

FireDrunk schreef op maandag 31 oktober 2016 @ 16:21:
Goede kans dat de disk eerst alle sectoren beschrijft alsof ze 'single' cell zijn (PMR), en pas als de datahoeveelheid groter wordt dan wat de disk aan kan door op die manier beschreven te worden, de schrijfmethode om te zetten naar SMR.

Ja dat dacht ik eerst ook, echter deze keer heb ik in één keer 3 TB naar de schijf gezet en dat heeft toch 12 uur geduurd. Als hij eerst in 'legacy' mode zou werken dan zou je verwachten dat dit pas bij 8/3=2.66 TB zou plaatsvinden. De snelheidsdips traden veel eerder op. Ik begon de transfer namelijk om 15:00 en toen ik twee uur later keek waren ze er al. Daar komt bij dat het hoge tempo van deze 300GB optrad nadat er al 3 TB aan data opstond. Dus die hypothese is eigenlijk ontkracht. (Zou ook een aparte mapping table vereisen zoals bij een SSD.)

Blijven bijzondere dingen die SMR schijven . Maar tot heden nog steeds positief. Het is dat ze zo duur zijn anders zou ik ze als desktop hdd aanraden. Ze hebben namelijk langer garantie over meer TB/jaar en meer power-on hours terwijl de performance de eerste X GB flink hoger ligt.

FireDrunk schreef op maandag 31 oktober 2016 @ 16:21:
Als je de transfersnelheid capped op 60MB/s ga je iets langer snelheid houden op het moment dat de disk onderwater begint in te kakken, maar SMR writes zijn echt maar een paar MB/s dus loopt je cache in no time vol.

Ik betwijfel dat eigenlijk. Immers als je bijvoorbeeld 5MB/s aan SMR toeschrijft dan zou het legen van de cache 20.000/5=4000 seconde duren. In de praktijk ben je na 20-30 seconde alweer good to go.

Zover ik heb begrepen is het enige nadeel van SMR dat hij eerst de oude datamoet uitlezen en daarna de drie sporen tegelijk gaat wegschrijven. Aangezien je een aparte lees en schrijfkop hebt hoeft dat geen vertraging te veroorzaken.

Persoonlijk denk ik dat die extreem lage write waardes komen doordat de schijf én nieuwe data aan het verwerken is én met een buffer aan het hannesen is. Dat zou in ieder geval het bovenstaande gedrag verklaren.

[ Voor 29% gewijzigd door sdk1985 op 31-10-2016 23:11 ]

[FireDrunk]

Waarom 8/3? SMR is dacht ik meerdere sectoren per "Standaard PMR sector". Maar hoeveel precies, weet ik niet.

Ik dacht ergens 4 gelezen te hebben, maar kan het zo niet vinden.

[psy]

Wellicht nog interessant voor de mensen hier, de Seagate SkyHawk 8 TB voor € 197,38
https://www.amazon.de/dp/B01LXGAE3P/
Staat nu alweer op € 372,38 ...maar rechts kan je hem nog voorbestellen voor die € 197,38 .
https://www.amazon.de/gp/...ld?ie=UTF8&mv_size_name=5

Pricewatch pricewatch: Seagate SkyHawk, 8TB

[ Voor 12% gewijzigd door psy op 01-11-2016 20:01 ]

[GioStyle]

psy schreef op dinsdag 01 november 2016 @ 20:00:
Wellicht nog interessant voor de mensen hier, de Seagate SkyHawk 8 TB voor € 197,38
https://www.amazon.de/dp/B01LXGAE3P/
Staat nu alweer op € 372,38 ...maar rechts kan je hem nog voorbestellen voor die € 197,38 .
https://www.amazon.de/gp/...ld?ie=UTF8&mv_size_name=5

Pricewatch pricewatch: Seagate SkyHawk, 8TB

Dat is gewoon een prijsfout waarbij je niet geleverd wordt, lijkt me. 2000 euro voor 80TB is spotgoedkoop. Leuke optie om mijn 10x 3TB mee uit te breiden.

[sdk1985]

Ondertussen heb ik mijn NAS omgebouwd en ben ik de nieuwe snapraid aan het wegschrijven. Momenteel haal ik daar 738 MB/s en gaat het iets langer dan 7 uur duren om alle data met de parity disk te syncen.

Opbouw:
De blocksize heb ik op 128 gezet met autosave op 256.
Seagate NAS hdd 8 TB - parity
Seagate Desktop hdd 3 TB - d0
Seagate Desktop hdd 3 TB - d1
Seagate Archive HDD 8 TB - d2
Seagate Archive HDD 8 TB - d3

Bij elkaar 30 TB waarvan 22 TB effectief bruikbaar. De oude schijven heb ik er nu uitgegooid (Samsung 204UI, 103SJ en 103UJ).

FireDrunk schreef op dinsdag 01 november 2016 @ 07:43:
Waarom 8/3? SMR is dacht ik meerdere sectoren per "Standaard PMR sector". Maar hoeveel precies, weet ik niet.

Ik dacht ergens 4 gelezen te hebben, maar kan het zo niet vinden.

Ik kan het nu dus ook niet meer vinden maar ik meen me te herrineren dat ik tijdens mij smr review heb achterhaald dat de schrijfkop 3 sporen breed in beslag nam en dat ze daarnaast een strookje leeg lieten. Doe je dat namelijk niet dan krijg je een cascade effect en moet je de hele disk herschrijven. De leeskop was kleiner en kon gewoon 1 spoor apart uitlezen.

psy schreef op dinsdag 01 november 2016 @ 20:00:
Wellicht nog interessant voor de mensen hier, de Seagate SkyHawk 8 TB voor € 197,38
https://www.amazon.de/dp/B01LXGAE3P/
Staat nu alweer op € 372,38 ...maar rechts kan je hem nog voorbestellen voor die € 197,38 .
https://www.amazon.de/gp/...ld?ie=UTF8&mv_size_name=5

Pricewatch pricewatch: Seagate SkyHawk, 8TB

Zit er dik in dat je niets krijgt. Maatje probeerde het recent nog met een GTX 1080 bij Afuture die 200 euro onder de prijs zat. Heeft 1.5 week op levertermijn onbekend gestaan en toen kwam de mail, of hij bij wilde betalen of annuleren.

[ Voor 50% gewijzigd door sdk1985 op 02-11-2016 00:02 ]

[psy]

De kans op levering acht ik ook bijzonder klein. Ach dat maakt ook niks uit

[sdk1985]

Dat is ook weer zo (zolang je credit card limiet hoog genoeg is). Ik gun het je wel hoor .

[Stampertjen]

Blijkbaar zijn er toch nog mensen die net zoals ik nooit genoeg data opslag hebben

Eind dit jaar (nu gaat aanleg tuin voor van de vriendin ) zal ik mijn HTPC ook eens aanpakken. Momenteel is dit een m-ITX systeem met 41TB die uit zijn voegen barst. En aangezien ik met aansluit beperkingen zit staat heel de zooi niet in RAID dus dit kan wel eens erg slecht aflopen.

[sdk1985]

Bij mij is alles ook weer op de schop gegaan. Ik heb er een archive schijf bijgezet en kwam nog een oude 2 TB schijf tegen die ook nog paste.

Seagate NAS hdd 8 TB - parity
Seagate Desktop hdd 3 TB - d0
Seagate Archive HDD 8 TB - d1
Seagate Archive HDD 8 TB - d2
Seagate Archive HDD 8 TB - d3
Samsung Spinpoint F2 2 TB - d4

Totaal 37TB waarvan 29 TB bruikbaar. OS draait vanaf een Intel 330 180 GB.

Sync updaten duurde 7,5 uur voor 11 TB. Daarvan was 40% van de tijd de oude spinpoint F2 de boosdoener. Als dat problematisch blijft gaat die weer weg.

[ Voor 14% gewijzigd door sdk1985 op 06-12-2017 01:36 ]

[Q]

Het is wel een beetje stil gevallen qua hoarders

[thalantis]

Nee hoor, heb net mijn zelfbouw server na wat problemen ermee vervangen door een synology ds3617xs met 12 schijven van 10TB WD Red (raid 6)

[sdk1985]

thalantis schreef op woensdag 6 december 2017 @ 20:35:
Nee hoor, heb net mijn zelfbouw server na wat problemen ermee vervangen door een synology ds3617xs met 12 schijven van 10TB WD Red (raid 6)

Krijg je daarmee geen afgrijselijke rebuild times?

[thalantis]

Vond het wel meevallen, consistency check was na 41 uren klaar. Mijn zelfbouw server was ook zolang bezig met een rebuild.

Mijn ds3617xs vervangt ook gelijk mijn ds1815+ en heb een windows 10 machine virtueel draaien op de synology, vind ik wel handig, die handelt sonarr af en autosub en nzbget aangezien die package's nog ontbreken op de ds3617xs

Mijn backup zelfbouw server heb ik nog steeds voor de backup, het kopieren van de backup server naar de nas ging met rond de 700MB/sec

Kon namelijk mijn Intel X520-T2 10Gb gewoon overzetten in mijn nieuwe Synology Nas https://www.synology.com/...twork_interface_cards&p=1

[Tortelli]

@thalantis Package support van de DS3617xs is wat minder verwacht ik, aangezien die voornamelijk voor zakelijke doeleinden gebruikt wordt?. Blijf de 3617 interessant maar ook wel een flinke investering vinden (zeker in combinatie met de HDD's), pijnlijk blijft hierbij dat HDD's nauwelijks in prijs zijn gezakt de afgelopen jaren.

De 10Gbit mogelijkheid is wel erg fraai, zeker gecombineerd met performance en potentiële capaciteit.

[ Voor 15% gewijzigd door Tortelli op 07-12-2017 08:35 ]

[thalantis]

@Tortelli Ik lees dat Synology de toolchain voor de DS3617xs nog niet heeft vrijgegeven

(the DS3617xs has a different toolchain which is not yet released by Synology and if it is released there still has to be someone who will incorporate this toolchain in the spksrc environment and build packages for this architecture and also the spkrsc must be able to support DSM 6 packages)

https://github.com/SynoCommunity/spksrc/issues/2870
Comment van meneer Autosub

Ben erg blij met mijn DS3617xs, reageert erg vlot, zowel plex als emby, ook vanaf mijn iMac in finder duurde de map opbouw minimaal 10 sec naar mijn ds1815+ en nu staat het er direct.

De windows 10 machine die virtueel draait merk je niet eens dat die virtueel is als ik die via rdp overneem vanaf het internet (via vpn natuurlijk naar mijn sophos utm) of lokaal.

Voordeel is ik hoef nog maar 1 machine (nas) aan te hebben ipv van 2 (nas + zelfbouw server)

[ Voor 33% gewijzigd door thalantis op 07-12-2017 10:37 ]

[nero355]

Q schreef op woensdag 6 december 2017 @ 19:10:
Het is wel een beetje stil gevallen qua hoarders

Hoarder hier

Zit nog een beetje te twijfelen welke HDD's ik moet kopen en welke setup en zo : Doordat HDD's steeds groter worden is een DIY NAS steeds saaier aan het worden

Eerst zat ik te denken aan 11x 6TB RAIDZ3, maar ondertussen kan dat net zo goed 6x 10TB RAIDZ2 worden... Zit je dan met je oude Stacker STC-T01 die je voor NAS doeleinden hebt bewaard en dus straks niet propvol zit

Cheapo LSI HBA controller + SAS > 4x SATA kabels heb ik al dus nou de rest nog!

[Mevius]

Q schreef op woensdag 6 december 2017 @ 19:10:
Het is wel een beetje stil gevallen qua hoarders

Ho ho!



Zal binnenkort even toelichten waar ik überhaupt mee bezig ben.

[sdk1985]

Zie dat je een stuk of 20 Archive HDD's hebt draaien. Het viel mij op dat de eerste lichting archive HDD's AR13 firmware hebben en de latere AR17. Seagate kon/wilde de verschillen niet melden. Update is niet beschikbaar. Valt mij wel op dat ze aan de read kant niet altijd bijster snel zijn, heb weleens 60 MB/s op een .tar.gz gezien. Op het eerste model met AR13 heb ik dit niet gemerkt. Die heb ik destijds met 3 TB erop flink gebenchmarked (crystaldiks, pcmark, atto, enz). De nieuwste staat nu ook 3 TB op dus zou eigenlijk eens moeten vergelijken.

[Hakker]

Was niet stil geworden maar ik was het vergeten dus een update gestuurd en nu dat ZFSGuru dood is moet ik eens kijken naar iets nieuws.

[nero355]

Hakker schreef op vrijdag 8 december 2017 @ 14:46:
Was niet stil geworden maar ik was het vergeten dus een update gestuurd en nu dat ZFSGuru dood is moet ik eens kijken naar iets nieuws.

Gewoon clean FreeBSD installeren en de hele meuk importeren : Done!

[Q]

Hakker is nu de nummer 1 met 162 TB netto met 40 harde schijven.

Zijn custom case is ook leuk om te zien.

https://gathering.tweaker...message/38777200#38777200

[ Voor 49% gewijzigd door Q op 08-12-2017 19:54 ]

[Hakker]

Trouwens een geinige bug is wel dat de bios ondertussen een error geeft tijdens opstarten (die 2-3 keer dat het dat doet) dat hij niet automatisch doorstart en dan kijk je verder en dan blijkt dat het aantal schijven de bios ruimte opgegeten heeft en er dus geen ruimte meer in de bios is om de nieuwe schijven in de lijst te zetten en dus niet gebruikt kunnen worden om van te booten.

[Q]

Wow, daar sta je ook niet bij stil. Heb ook een Supermicro bord, maar met 24 + 2 schijven geen last. Die van mij staat standaard uit, dus zo'n bug zou dan wel erg rot zijn.

Bios update nog een optie?

[geenwindows]

Bij deze show ik mijn "Nas" voor mijn Digitale hamster eigenschappen

System specifications
Component	Value
Name	LMFS
Case	Fractal Design Node 804
CPU	AMD Ryzen7 1700
RAM	16 GB, 2x DDR4 8GB
Motherboard	Asrock B350M PRO4
Operating system	Unraid
Hard drive	XFS en BTRFS
Controller	2x Supermicro AOC-SAS2LP-MV8, en Onboard controller
Hard drive	2x Crucial BX100 250GB
Hard drive	3x WD Red 4TB
Hard drive	3x WD Green 4TB
Hard drive	1x WD Green 3TB
Hard drive	1x WD Green 2TB
Hard drive	2x WD Green 1TB
Hard drive	2x WD Blue Mobile 1TB (2.5" hdd's)
USB stick	Samdisk Ultra fit 16GB - Unraid boot
Bruto storage capacity	33.5 TB
Netto storage capacity	24.2 TB
Network	onboard Gigabit
UPS	PowerWalker VI1200
Idle power usage	laatste check was inclusief UPS 80Watt, alles draaiend zonder activiteit

Ooit begon het als een Low budget zelfbouw hobbybob/knutsel projectje, puur voor de lol en wat meer dan alleen een simpele desktopje.
begon eerst hem in elkaar te zetten met hardware wat in de doos lag te verstoffen. telkens een beetje meer, dan weer een hardeschijf erbij. dan weer een nieuw idee qua software. en zo ging het maar door tot wat er nu staat.
Voor nu draait ie: Plex Media Server, Nexcloud, wat software voor automatische downloads en een Virtual Machine voor wat experimentjes. in de toekomst wil er nog Domotcz en MotionEye erbij zetten.
hoewel ik voor nu nog ruim genoeg ruimte over heb op de hardeschijven ben ik langzaam alweer aan het kijken naar een nog grotere behuizing. de reden is eigenlijk dat de hardeschijven behoorlijk warm kunnen worden wanneer het flink aan het rekenen is. de ryzen is vergeleken met de hiervoor inzittende i7 toch een klein beetje een heethoofd. en dat terwijl aan de achterzijde van de cpu de hardeschijven zitten...
kortom, het blijft een doorlopende project dat regelmatig weer een keertje veranderd word...

pics:

[Hakker]

Q schreef op woensdag 13 december 2017 @ 00:10:
Wow, daar sta je ook niet bij stil. Heb ook een Supermicro bord, maar met 24 + 2 schijven geen last. Die van mij staat standaard uit, dus zo'n bug zou dan wel erg rot zijn.

Bios update nog een optie?

Nou je kan gewoon booten en alles doen, maar je moet een keyboard eraan hebben hangen om op enter te kunnen rammen. Probleem is lastiger wanneer je een nieuwe bootschijf erin zet. Dan zal ik eerst even mij M1015 los moeten koppelen om de dataschijven even uit de boot te halen om zo de nieuwe SSD te kunnen zien. Alles is niet een groot probleem maar gewoon bizar om mee te maken. Het moederbord is duidelijk niet gemaakt met zoveel schijven in het achterhoofd.

[nero355]

geenwindows schreef op woensdag 13 december 2017 @ 11:55:
hoewel ik voor nu nog ruim genoeg ruimte over heb op de hardeschijven ben ik langzaam alweer aan het kijken naar een nog grotere behuizing.

Ik zou eerder al die schijven dumpen en grotere exemplaren halen : Ben je gelijk van die oudere kleinere schijven af!

[Q]

SM verkoopt zelf chassis met een capaciteit van 70+ schijven dus ik denk dat een ander moederbord het probleem zou oplossen, dit is gewoon pech hebben.

[Philip J. Dijkstra]

Ik heb nu een ds916+ met dx513 expansion unit. Ik heb er 4x 4tb wd red en 2x 8tb seagate ironwolf in zitten als 1 x 24tb shr btfrs volume. Ik overweeg al heel lang (1) dit te houden, (2) een ds3617xs te halen of (3) een zelfbouw nas te maken.

Ik vind de cpu van de 916+ niet sterk genoeg om er echt leuke dingen mee te doen maar ik ben heel blij met dsm (docker, encrypted share, download station met firefox plugin om magnet links door te sturen, gemakkelijke updates)
Ik las recent dat de ds3617xs geen shr ondersteund en dat is juist een feature waar ik zo blij mee ben.
Unraid spreekt mij ontzettend aan maar ik twijfel over dat snel naar een ssd schrijven om het vervolgens traag door te duwen naar de schijven.
Freenas, dat hele politieke spel rondom de vorige freenas release heeft mij wat huiverig gemaakt.
Soms denk ik ook dat het misschien verstandig is om de nas zo dom en simpel mogelijk te houden en virtualisatie op een aparte machine onder te brengen. Genoeg mogelijkheden om uit te pluizen, houdt mij van de straat 😀

[Tortelli]

Ik loop met exact hetzelfde rond, maar wil juist van SHR en EXT4 af; wil een BTFRS raid 6 maken met 6*10TB voorlopig.
Heb nu 4*4TB en 3*6TB in SHR met totaal 25TB aan bruikbare ruimte (en een SSD voor appz/ incoming downloads).

Om dat te doen moet ik een andere Synology (of whatever) kopen, omdat ik mijn huidige data niet kwijt wil natuurlijk.... DS1817+ kopen (met als nadeel dat die bijna direct vol zit en ik mijn 3*6TB HGST's overhoud). 3018xs is niet erg interessant omdat ik direct een uitbreidingsunit nodig heb en dan beter een 3617xs kan kopen..... initiële investering is dan alleen wel fors.

De 4x4TB kan ik sowieso wel kwijt bij mijn ouders/broer (backup o.a.).

[Q]

BTRFS considered harmful.
https://btrfs.wiki.kernel.org/index.php/RAID56

[Mr_gadget]

Dit geld niet voor Synology:
GeeMoney in "BTFRS Raid 5/6 (synology) niet gebruiken"

Maar dit is geen discussietopic over Synology! Dit is een showoff topic

[geenwindows]

nero355 schreef op woensdag 13 december 2017 @ 19:16:
[...]

Ik zou eerder al die schijven dumpen en grotere exemplaren halen : Ben je gelijk van die oudere kleinere schijven af!

Daar heb ik aan zitten denken, maar dat lost de temperatuur problemen niet op. Wel word wanneer de kleintje het begeven vervangen door grotere versies. Hij staat trouwens in m'n studeer/hobby kamer, de ventilatie harder zetten vind ik niet zo tof, wil graag een beetje rust hebben
en de toekomst plannen gaan nog gekker worden wanneer ik een grotere behuizing heb.

offtopic:
met de grotere behuizing de server en desktop samen voegen. 1 bakbeest wat de energie rekening omhoog gooit ipv 2

[nero355]

geenwindows schreef op woensdag 13 december 2017 @ 22:34:
Daar heb ik aan zitten denken, maar dat lost de temperatuur problemen niet op. Wel word wanneer de kleintje het begeven vervangen door grotere versies. Hij staat trouwens in m'n studeer/hobby kamer, de ventilatie harder zetten vind ik niet zo tof, wil graag een beetje rust hebben
en de toekomst plannen gaan nog gekker worden wanneer ik een grotere behuizing heb.

offtopic:
met de grotere behuizing de server en desktop samen voegen. 1 bakbeest wat de energie rekening omhoog gooit ipv 2

Als ik dit zo eens zie dan is er geen reden voor te warme HDD's :
http://themodzoo.com/2014/05/fractal-design-node-804/4/

De twee HDD"s die bij je controllers in de buurt zitten zou je met zoiets kunnen koelen :
https://www.ebay.com/itm/...-Card-Cooler/201988061471
of
https://www.ebay.com/itm/...racket-Tools/132276314625

Krijgen je controllers ook gelijk wat frisse lucht

[geenwindows]

nero355 schreef op donderdag 14 december 2017 @ 17:37:
[...]

Als ik dit zo eens zie dan is er geen reden voor te warme HDD's :
http://themodzoo.com/2014/05/fractal-design-node-804/4/

De twee HDD"s die bij je controllers in de buurt zitten zou je met zoiets kunnen koelen :
https://www.ebay.com/itm/...-Card-Cooler/201988061471
of
https://www.ebay.com/itm/...racket-Tools/132276314625

Krijgen je controllers ook gelijk wat frisse lucht

hmja, hoewel dit niet heel verkeert is vind ik het toch mee een pleister op de wond dan een echte goede oplossing. hoewel de controllers inderdaad wel wat koeling kunnen gebruiken (de betreffende hdd eronder wordt vergeleken met de andere er naast aanzienlijk warmer) lost dit het probleem nog niet op. de hdd's aan de achterkant hebben ook koel problemen. het scheel zo wat 10 graden bij zware stress.
deze behuizing is leuk voor een simpele nas, niet echt om een rekenbeest in te houden, wat zich ook nog een een redelijke stille ruimte moet houden
ben een beetje aan het kijken naar behuizingen als de Liam Li pc D8000 en Termaltake Core W200 samen met een aantal hotswap hdd cases zodat het vervangen van een hdd ook zonder gereedschap kan
(en het lijkt mee ook gaaf om de server en desktop in een huis te hebben... Projectjes

[Hakker]

geenwindows schreef op vrijdag 15 december 2017 @ 12:51:
[...]


hmja, hoewel dit niet heel verkeert is vind ik het toch mee een pleister op de wond dan een echte goede oplossing. hoewel de controllers inderdaad wel wat koeling kunnen gebruiken (de betreffende hdd eronder wordt vergeleken met de andere er naast aanzienlijk warmer) lost dit het probleem nog niet op. de hdd's aan de achterkant hebben ook koel problemen. het scheel zo wat 10 graden bij zware stress.
deze behuizing is leuk voor een simpele nas, niet echt om een rekenbeest in te houden, wat zich ook nog een een redelijke stille ruimte moet houden
ben een beetje aan het kijken naar behuizingen als de Liam Li pc D8000 en Termaltake Core W200 samen met een aantal hotswap hdd cases zodat het vervangen van een hdd ook zonder gereedschap kan
(en het lijkt mee ook gaaf om de server en desktop in een huis te hebben... Projectjes

Voor dat soort projectjes zou ik eerder kijken naar Caselabs (waar TT zijn W200 gewoon geripped heeft) en Mountain Mods ipv Thermaltake. Hoewel het werkt voelt het altijd gewoon goedkoop aan. En als je in de realm van die bedragen zit zou ik zeggen ga zelf een kast maken enige wat je nodig heb is geduld. In de meeste gevallen hoef je echt geen pro modder te zijn om een kast te maken en de voldoening is groot.
Skynet hoe mijn fileserver gedubbed is heeft zijn harde schijven constant tussen 30-35 graden met fans op 7v De bak is net zo stil als mijn gamepc. Dus ja het kan wel veel schijven hebben in een stille server

[ Voor 7% gewijzigd door Hakker op 15-12-2017 15:37 ]

[geenwindows]

custom case heb ik nog niet aan gedacht. zelf prutsen ga ik niet doen. daar heb ik te weinig geduld voor
maar t zijn toekomst plannen, het duurt nog wel even voordat dit project start, eerst de plannen goed uit bedenken en dan het budget er voor vrij maken, vooral dat laatste gaat tijd kosten

[Goshimaplonker298]

Hey er is weer leven hier.

Heb mijn systeem ondertussen een update gegeven naar 36*8TB WD RED en 2x6TB WD Red in Raid 1.
Rest is nog steeds JBOD.

Is nu een 1U server met XEON D processor waar een HGST 4U60 disk enclosure aan hangt zodat ik kan uitbreiden tot 60 disks

[Q]

Goshimaplonker298 schreef op vrijdag 15 december 2017 @ 19:51:
Hey er is weer leven hier.

Heb mijn systeem ondertussen een update gegeven naar 36*8TB WD RED en 2x6TB WD Red in Raid 1.
Rest is nog steeds JBOD.

Is nu een 1U server met XEON D processor waar een HGST 4U60 disk enclosure aan hangt zodat ik kan uitbreiden tot 60 disks

We want pics ! Als je je post updated ga je omhoog in de lijst

[Goshimaplonker298]

Zoals gevraagd

System specifications
Component	Value
Systeem	SuperServer 5018D-FN4T
Storage	HGST 4U60
CPU	Xeon D-1541
RAM	128GB
Motherboard	Supermicro X10SDV-8C-TLN4F
Operating system	ESX / UBUNTU
Controller	LSI 9300-8E
ESX Data store SSD	1x 960GB Intel DC P3700 3x 960GB Samsung PM863
Hard drive Media	36x WD 8TB RED
Hard drive Data	2x WD 6TB RED
RAID array configuration	Storage disks in JBOD
RAID array configuration	Data Disks in software Raid 1
RAID array configuration	ESX Data Store in JBOD
Netto storage capacity	288TB voor media (TV. Movies, Anime) + 6TB voor data + 4TB ESX Data stores
Network	Gigabit
UPS	APC Smart-UPS met maintenance bypass panel
Rack	APC Netshelter CX 36U
Filesystem	EXT 4 / VMFS

Draai ESXi op de server.
Een van de VM's heeft de LSI 9300-8E controller als PCI device op passthrough.
Deze VM draait Ubuntu met daarin de media en data storage partities.
Verder draai ik op de ESX server diverse VM voor test en klooi doeleinden.
Hangen op het moment 2 HGST 4U60 disk enclosures in de kast. De bovenste is leeg

Rack overzicht


Rack Closeup


HGST 4U60

[Hakker]

Okay waar de fok kan je die dingen uberhaupt kopen. Ik zie ze alleen voorgevuld en dan gaan voor richting de 20K+ per kast. Begrijp me niet verkeerd maar in die 4 jaar is er zeker voor 15K aan spul ingegaan. Gaaf allemaal maar echt heel ver buiten mijn budget

Bedoel ik schrok me een tering jantje na een 2,5K upgrade.

[ Voor 9% gewijzigd door Hakker op 16-12-2017 16:16 ]

[Goshimaplonker298]

Hakker schreef op zaterdag 16 december 2017 @ 16:15:
Okay waar de fok kan je die dingen uberhaupt kopen. Ik zie ze alleen voorgevuld en dan gaan voor richting de 20K+ per kast. Begrijp me niet verkeerd maar in die 4 jaar is er zeker voor 15K aan spul ingegaan. Gaaf allemaal maar echt heel ver buiten mijn budget

Bedoel ik schrok me een tering jantje na een 2,5K upgrade.

Ze worden af en toe leeg op Ebay aangeboden. Zo heb ik ze ook gekocht. Zeker niet voor €20K+ per kast.
Er zit voor aardig wat aan waarde in maar das over de loop van de jaren opgebouwd. Af en toe vervang ik iets. Koop wat nieuws verdien een deel er van terug met de verkoop van het oude en zo verder. Zo ben ik van 3TB naar 6TB en toen door naar de 8TB schijven gegaan. Zelfde met de overgang van de Supermicro SC847 systemen naar de nieuwe 1U server met de 4U60 disk array.

Op de server zelf draai ik ESXi en heb ik mijn test omgeving draaien die ik gebruik om mijn skills up to date te houden.

Ergens kost het natuurlijk klauwen met geld. Maar dat doen bijna alle hobbie's

[Raven]

Goshimaplonker298 schreef op zaterdag 16 december 2017 @ 20:00:

Hakker schreef op zaterdag 16 december 2017 @ 16:15:

offtopic:
Op Ebay (en dergelijke) kun je nog wel meer leuke dingen vinden : IBM z890: ‘When an 18 Year Old Buys a Mainframe’
"What does it take to move a 2,300lb. mainframe into your parents’ basement? This is a great – and at times hilarious – story:"

Geen idee hoeveel opslag zo'n ding heeft...

[Q]

@Goshimaplonker298 Je staat op nummer 1 ik heb de lijst bijgewerkt. Hakker, het was kort maar krachtig.

[Shamalamadindon]

Hakker schreef op zaterdag 16 december 2017 @ 16:15:
Okay waar de fok kan je die dingen uberhaupt kopen. Ik zie ze alleen voorgevuld en dan gaan voor richting de 20K+ per kast. Begrijp me niet verkeerd maar in die 4 jaar is er zeker voor 15K aan spul ingegaan. Gaaf allemaal maar echt heel ver buiten mijn budget

Bedoel ik schrok me een tering jantje na een 2,5K upgrade.

Ebay. Hou vooral ook Servethehome in de gaten,

https://forums.servetheho...php?forums/great-deals.8/

[satcp]

Dit systeem heb ik nu al een tijdje:

System specifications
Component	Value
Case	Lian Li PC-Q26B Zwart (met 4 x Lian Li BP2SATA hotswap backplane)
CPU	Intel Xeon E3-1245 v6
Cooling	Noctua NH-U9S
RAM	32GB (2 x Samsung M391A2K43BB1-CRC 16GB DDR4 2400MHz ECC)
Motherboard	ASRock Rack C236 WSI
Power Supply	Seasonic Focus Plus 550 Platinum
Operating system	Gentoo Linux
Controller	Onboard SATA van Intel C236 chipset
Hard drive	1 x Intel DC S3520 2.5" 150GB (system) 7 x HGST Ultrastar He10 10TB (waarvan 1 als cold spare)
RAID array configuration	6 x 10TB in RAIDZ2
Netto storage capacity	40TB
Network	2 x Intel Gigabit Ethernet
UPS	APC Smart-UPS 750 met apcupsd
Filesystem	ZFS
Idle power usage	55W (zonder spindown) 45W (zonder spindown maar met head unloading)
Read/write power usage	65-75W
Peak power usage	150W (boot)

Het systeem dient hoofdzakelijk als Samba fileserver voor een aantal Windows clients hier in huis. Daarnaast draaien er een paar virtual machines op.

Omdat ik de kast reeds had was de keuze in moederborden beperkt tot mini-ITX-modellen. Dan kom je al snel terecht bij ASRock Rack. De ASRock Rack E3C236D2I is in trek bij zelfbouwers van compacte NAS-systemen maar heeft helaas slechts 6 SATA-poorten. Op het moment van kiezen was ik van plan om 6 schijven in RAIDZ2 te plaatsen + een hot spare. Dus 6 SATA-aansluitingen was te weinig. Een host bus adapter (HBA) zou uiteraard uitkomst bieden maar het bordje heeft slechts 1 PCIe-slot en dat wil ik vrijhouden voor een eventuele upgrade naar 10 Gigabit Ethernet. Dan maar de ASRock Rack C236 WSI. Dit moederbord is vrijwel identiek aan de E3C236D2I maar ruilt het M.2-slot voor 2 extra SATA-poorten. Jammer genoeg verliest de C236 WSI wel IPMI ten opzichte van de E3C236D2I.

Uiteindelijk heb ik beslist geen hot spare te gebruiken (wel een cold spare) dus ik had in principe toch het E3C236D2I moederbord kunnen nemen (met een M.2 SATA of NVMe SSD voor het systeem). Toch is dat gemis van IPMI niet zo problematisch. Out-of-band management is ook mogelijk via het verguisde Intel AMT (CPU met HD Graphics vereist voor KVM).

De keuze voor een cold spare is misschien wat vreemd maar een hot spare lijkt me bij RAID6/RAIDZ2 minder belangrijk dan bij RAID5/RAIDZ1 waar je onmiddellijk redundantie verliest bij uitval van 1 schijf. De reserveschijf slijt niet en het scheelt toch weer een heel klein beetje op de elektriciteitsrekening. Uiteraard had ik de schijf pas kunnen kopen wanneer nodig maar ik voel me er beter bij ze in reserve te hebben. Dan heb je alvast geen problemen met out-of-stock als je ze dringend nodig hebt. Voor alle duidelijkheid: Er worden uiteraard automatische backups gemaakt van het systeem dus weinig of geen data zou verloren gaan bij een fatale crash van de array. Het gaat mij meer om het minimaliseren van downtime bij schijfuitval.

De server draait 24 op 7 (zonder spindown - het duurt namelijk ruim 15 seconden eer de schijven weer opgestart zijn). Hoewel dit systeem niet snel vermelding zal krijgen in het grote zuinige server topic lijkt de keuze voor een feature-arm moederbord, weinig maar grote schijven, en het gebruik van de onboard SATA-controller in plaats van een HBA, wel vruchten af te werpen: Vergeleken met veel andere builds in dit topic is het verbruik per terabyte relatief laag.

Het systeem vervangt een ondertussen haast antieke NAS die idle 120 watt verbruikte.

[Q]

satcp schreef op maandag 18 december 2017 @ 21:09:
Dit systeem heb ik nu al een tijdje:

Hele strakke build, ziet er erg netjes uit en ook mooi gefotografeerd

Ik sta ook wel te kijken van het idle verbruik, hoe laag dat is.

Hoe lang duurt bij jou een ZFS scrub en hoeveel data staat nu op de RAIDZ2 ?

[satcp]

Q schreef op maandag 18 december 2017 @ 21:46:
Hoe lang duurt bij jou een ZFS scrub en hoeveel data staat nu op de RAIDZ2 ?

Momenteel staat er nog maar een kleine 7 TB data op.

Hoelang de scrub duurt kan ik op dit moment niet precies zeggen want de laatste heeft gelopen terwijl er op het systeem gewerkt werd. Ik meen me te herinneren dat het ongeveer 3 à 3.5 uur duurde voor exact 5 TB toen ik de nieuwe server net in gebruik had genomen.

Update: Vannacht heeft de scrub ongestoord z'n werk kunnen doen. Het scrubben van 10.38 TB duurde exact 4 uur 47 minuten wat overeenkomt met een leessnelheid van 632 MB/s.

Die 10.38 TB is uiteraard inclusief de extra pariteitsgegevens. Voor een RAIDZ2 array met 6 schijven is de werkelijke hoeveelheid gebruikersdata dan 10.38 x 4 / 6 = 6.92 TB wat redelijk overeenkomt met wat er effectief op de array staat (waarschijnlijk moet je ook nog rekening houden met de compressiefactor maar die is praktisch 1 over de hele array bekeken).

[ Voor 32% gewijzigd door satcp op 19-12-2017 21:34 . Reden: Preciezere cijfers ]

[thelightning]

Ik heb blijkbaar ergens ingesteld dat hij maandelijks een scrub doet. Ik laat hem lekker zijn gang gaan en het gaat prima.

1 pool van 20x 4TB Seagate. 4 Vdev's van 5x 4TB per stuk.
storage 57T 47T 9.4T 84% /storage

scan: scrub repaired 0 in 18h15m with 0 errors on Sun Dec 10 18:39:43 2017

Dat komt neer op een dikke 850MB/sec. Niet geweldig met ~220MB/sec per vdev maar voldoende is het wel.

[ Voor 10% gewijzigd door thelightning op 04-01-2018 09:45 ]

[GioStyle]

satcp schreef op maandag 18 december 2017 @ 21:09:
-knip-

Lekkere build. Die kast heb ik ook met daarin 10x 3TB.

Mocht ik later meer ruimte nodig hebben, dan haal ik één voor één een schijf eruit, vervang ze door grotere examplaren en dan zpool set autoexpand=on.

[Q]

satcp schreef op maandag 18 december 2017 @ 23:19:
[...]

Momenteel staat er nog maar een kleine 7 TB data op.

Hoelang de scrub duurt kan ik op dit moment niet precies zeggen want de laatste heeft gelopen terwijl er op het systeem gewerkt werd. Ik meen me te herinneren dat het ongeveer 3 à 3.5 uur duurde voor exact 5 TB toen ik de nieuwe server net in gebruik had genomen.

Update: Vannacht heeft de scrub ongestoord z'n werk kunnen doen. Het scrubben van 10.38 TB duurde exact 4 uur 47 minuten wat overeenkomt met een leessnelheid van 632 MB/s.

Die 10.38 TB is uiteraard inclusief de extra pariteitsgegevens. Voor een RAIDZ2 array met 6 schijven is de werkelijke hoeveelheid gebruikersdata dan 10.38 x 4 / 6 = 6.92 TB wat redelijk overeenkomt met wat er effectief op de array staat (waarschijnlijk moet je ook nog rekening houden met de compressiefactor maar die is praktisch 1 over de hele array bekeken).

Gezien het aantal disks lijkt me dit een te verwachten resultaat. Je zult dus bij zeg 30 TB aan data in gebruik een rebuild performance van ongeveer 15 uur hebben. Dat lijkt me uitstekend voor thuis.

Ik heb even gekeken en volgens mijn eigen blog doe ik 40 TB scrubben in 9 uur, maar met 24 disks mag dat ook wel.

[ Voor 4% gewijzigd door Q op 02-01-2018 21:31 ]

[DeKemp]

Na een hele tijd op meer dan 80% vol gezeten hebben heb ik eindelijk mijn server geüpgraded.
Dit gedaan door een 2e M1015 en 6x3tb schijven erbij te zetten en de pool uittebreiden met een tweede vdev.


Ja, de kabels kunnen wel wat netter. Zou eigenlijk wat kortere sata kabels moet gebruiken

System specifications
Component	Value
Case	Sharkoon t9 value
Bays	3 x Icy Dock MB455SPF-B
CPU	Intel Xeon E3-1230 @ 3.2GHz
RAM	4 x 8gb ECC
PSU	Seasonic G-Serie 450Watt
Motherboard	Supermicro X9SCL-F
Hypervisor	ESXI 6.5 update 1
Operating system NAS	FreeNAS-9.10.2-U6
Controller Freenas	2 x IBM M1015 (it mode)
Controller ESXI	Areca ARC-1220
Hard drive	12 x Western Digital Red WD30EFRX
Hard drive	2 x Western DigitalRed WD10EFRX
RAID array NAS	1 pool bestaande uit 2 x 6 3tb disk raidz2 vdevs
RAID array ESXI	raid 1 bestaande uit 2 1tb disk voor esxi storage
Netto storage capacity	24 TB
Network	Onboard intel NIC's
UPS	APC Back-UPS Pro 900
Filesystem	ZFS
Idle power usage	~110 Watt
Extra	-

[ Voor 3% gewijzigd door DeKemp op 14-01-2018 16:01 ]

[thelightning]

Looking good. Misschien kan je de lengte van de kabels juist gebruiken om een nette kabelroute te maken. De kabels bundelen met tie-wraps/klitteband zou ook wonderen doen.

[cobo]

Bij deze wil ik mijn server aanmelden voor de lijst (Het is ook lang rustig geweest hier). Op de de server heb ik Microsoft Windows server 2016 draaien. Samen met software op tv programma's op te kunnen nemen (DD-TV en PLEX). Hier naast draait ook de Unifi controler samen met Ubiquiti Unifi video videobewakingssoftware.

De vaak gebruikte programma op deze server is PLEX

System specifications
Component	Value
Case	Onbekend
CPU	Intel Core i5 2400
RAM	8GB
Motherboard	Asus P8B75-M
Operating system	Microsoft Windows server 2016
Controller	Areca ARC-1222
Hard drive	4x Seagate Desktop hdd 4TB, ST4000DM000 4x Seagate Barracuda Compute 5TB, ST5000LM000 1x Samsung SM843T 480GB OS 1x Seagate Spinpoint M8 1TB 1x Seagate Barracuda Compute 2,5", 2TB
RAID array configuration	1x RAID 5 Seagate Desktop hdd 4TB, ST4000DM000 1x RAID 5 Seagate Barracuda Compute 5TB, ST5000LM000
Netto storage capacity	27 TB
Network	3x gigabit singel
UPS	Nee
Filesystem	NTFS
Idle power usage	Nog niet gemeten
Extra	Hauppage WinTV-DualHD Digital Device cine C2

Foto's:

[_AvA_]

Het word zo langzamerhand tijd dat ik me ook aanmeld. Wat een maand of wat geleden begon met een server uit de kliko, liep uit tot inkopen en verkopen van wat enterprise spul. Steeds met een minimale investering upgraden en dan het overige spul weer verkopen zodat de investering uiteindelijk op niets uitkomt. Dat 'flippen' van hardware blijft een leuke bezigheid.

De 'main' server, een HP DL380G7, draait FreeNAS 11.2 RC2 met daarop Plex, en een paar SMB shares.
De tweede server, een HP DL580G5, draait Win Server 2019. Via RDP log ik in en vul ik de 'main' server met media

System specifications
Component	Value
Case	HP DL380G7
CPU	Intel Xeon X5660 x2
RAM	96GB
Motherboard	HP DL380G7
Operating system	FreeNAS 11.2 RC2
Controller	LSI HBA MiniSAS
Hard drive	60TB (15x4TB 7200rpm SAS RAIDz)
Hard drive	12TB (12x1TB 7200rpm SATA RAIDz)
Hard drive	8TB (4x2TB 7200rpm SATA RAIDz)
Hard drive	5.25TB (7x750GB 7200rpm SATA RAIDz)
Hard drive	2.4TB (8x300GB 15000rpm SAS)
Netto storage capacity	70TB ongeveer
Network	4x gigabit
UPS	Nee
Filesystem	ZFS
Idle power usage	Heeft zijn eigen groep in de meterkast
Extra	3x 64GB HP SSD in RAID 5 voor de Plex jail

Goh wat een geklungel met die tabel

[YouTube: My server rack]

Met een beetje geluk kan ik over een tijd de schijven kleiner dan 4TB ook vervangen voor 4TB exemplaren en de oude weer verkopen.
Een andere upgrade is voor het vierkoppige monster (DL580G5 met 4x quad-core Xeon). Er zit nu 32x1GB geheugen in, dit ga ik vervangen voor 32x4GB, zodat ik PrimoCache een grotere cache kan laten maken en hierdoor de writes van de SSD's die daar in zitten kan beperken.