Storage showcase topic - 50+ TB storage systems

[nero355]

@_AvA_ Zoveel overkill vraagt eigenlijk om een 10 Gbps NIC en dan het liefst met 2x 10 Gbps erop!

Lekker man!

[_AvA_]

Die heb ik inderdaad liggen (overgehouden uit een partij). De sfp+ dac kabel heb ik helaas nog niet. Wat ik ook nog niet heb is de kennis om het SMB verkeer over die 10G NIC te laten lopen en het internetverkeer over gigabit. Ik weet dat het mogelijk is maar moet me er nog in verdiepen. Bedankt voor je berichtje!

[casemodder]

_AvA_ schreef op zaterdag 15 december 2018 @ 04:20:
Het word zo langzamerhand tijd dat ik me ook aanmeld. Wat een maand of wat geleden begon met een server uit de kliko, liep uit tot inkopen en verkopen van wat enterprise spul. Steeds met een minimale investering upgraden en dan het overige spul weer verkopen zodat de investering uiteindelijk op niets uitkomt. Dat 'flippen' van hardware blijft een leuke bezigheid.

De 'main' server, een HP DL380G7, draait FreeNAS 11.2 RC2 met daarop Plex, en een paar SMB shares.
De tweede server, een HP DL580G5, draait Win Server 2019. Via RDP log ik in en vul ik de 'main' server met media





[YouTube: My server rack]

Met een beetje geluk kan ik over een tijd de schijven kleiner dan 4TB ook vervangen voor 4TB exemplaren en de oude weer verkopen.
Een andere upgrade is voor het vierkoppige monster (DL580G5 met 4x quad-core Xeon). Er zit nu 32x1GB geheugen in, dit ga ik vervangen voor 32x4GB, zodat ik PrimoCache een grotere cache kan laten maken en hierdoor de writes van de SSD's die daar in zitten kan beperken.

Het is nooit overkill als het voor hobby is

Gaaf rack heb je zo, doet me een beetje aan myplayhouse denken. Btw geweldig progamma dat PrimoCache, gebruik het nu ook een paar weken en je storage voelt zoveel sneller aan

Staat alles ook 24/7 aan? En wat verbruikt het zoal?

[_AvA_]

Bedankt! Ja het staat 24/7 aan, hoeveel het verbruikt weet ik niet. Het zal wel boven de kilowatt zijn.
Vandaag wat kleine wijzigingen doorgevoerd in de DL580G5:
- HP P400 smartarray kaart geinstalleerd, voor de tweede drivecage die er in zit. 512MB cache met batterij
- HP P411 SmartArray kaart geinstalleerd om de D2500 en D2700 aan te kunnen sluiten, moet nog in HBA mode gezet worden. Ook 512MB cache en batterij.
- Onboard SmartArray geupgrade van 128MB naar 512MB cachegeheugen, en batterijbackup geinstalleerd, dat had ie nog niet.
- Chelsio 10GB NIC geinstalleerd

Wat ik nog wil doen is HBA mode activeren op de P411, en ik moet een voedingskabel uit de donor DL580G5 halen voor de extra backplane die in de tweede drivecage zit.
De onderste Dell servers gaan ook het rack uit, die gebruik ik toch niet, heb ik meteen plaats voor de D2700. 128GB DDR2 plaatsen nadat ik het uit een stapel Dells heb getrokken.

Ik zag ook dat ik een paar 750 watt voedingen heb in een ML350, die ga ik dus mooi gebruiken om de DL380G7 te upgraden voordat die ML350 weer op marktplaats gaat (maar dan met twee 460watt voedingen )

Als ik er aan toe kom maak ik wel wat foto's van de geheugenupgrade, is wel leuk om te zien al die reepjes op elkaar gepropt.

[nero355]

_AvA_ schreef op zondag 16 december 2018 @ 06:12:
- HP P400 smartarray kaart geinstalleerd, voor de tweede drivecage die er in zit. 512MB cache met batterij

Dat is wel echt een serieus oude controller...

De P410 en hoger zijn echt een verademing!

- HP P411 SmartArray kaart geinstalleerd om de D2500 en D2700 aan te kunnen sluiten, moet nog in HBA mode gezet worden. Ook 512MB cache en batterij.

NICE!

Wat ik nog wil doen is HBA mode activeren op de P411

Dat is teveel gedoe en werkt dan ook nog eens niet altijd lekker : Neem een LSI HBA voor dat soort dingen

De onderste Dell servers gaan ook het rack uit, die gebruik ik toch niet, heb ik meteen plaats voor de D2700. 128GB DDR2 plaatsen nadat ik het uit een stapel Dells heb getrokken.

Het klinkt misschien gek, maar je hebt kans dat Dell RAM niet met een HP server wil samenwerken!

Goed testen dus

[Greetoz]

_AvA_ schreef op zaterdag 15 december 2018 @ 04:20:
Het word zo langzamerhand tijd dat ik me ook aanmeld. Wat een maand of wat geleden begon met een server uit de kliko, liep uit tot inkopen en verkopen van wat enterprise spul. Steeds met een minimale investering upgraden en dan het overige spul weer verkopen zodat de investering uiteindelijk op niets uitkomt. Dat 'flippen' van hardware blijft een leuke bezigheid.

De 'main' server, een HP DL380G7, draait FreeNAS 11.2 RC2 met daarop Plex, en een paar SMB shares.
De tweede server, een HP DL580G5, draait Win Server 2019. Via RDP log ik in en vul ik de 'main' server met media





[YouTube: My server rack]

Met een beetje geluk kan ik over een tijd de schijven kleiner dan 4TB ook vervangen voor 4TB exemplaren en de oude weer verkopen.
Een andere upgrade is voor het vierkoppige monster (DL580G5 met 4x quad-core Xeon). Er zit nu 32x1GB geheugen in, dit ga ik vervangen voor 32x4GB, zodat ik PrimoCache een grotere cache kan laten maken en hierdoor de writes van de SSD's die daar in zitten kan beperken.

Gave setup. Ik heb mijn HP DL's de deur uit gedaan om het stroomverbruik. Heb nu een supermicro met een lowpower xeon en stroomverbruik is gehalveerd.

Update op mijn setup:

System specifications
Component	Value
Case	NORCO RPC-4224
Processor	Intel(R) Xeon(R) CPU L5630 @ 2.13GHz
RAM	24 GB DDR3
Motherboard	Supermicro X8ST3-F
LAN	4x Ethernet 1Gbps
PSU	Corsair HX850W
Controller	1x Areca ARC-1880I
SAS Expander	HP SAS Expander
Disk	10x Seagate IronWolf 8TB (2x RAID-5)
Disk	1 x WD Green 1TB (Temp Download)
Disk	2 x WD RE4 500GB (RAID-1) voor VM's
Bruto storage	82 TB
Netto storage	66 TB
OS	VMWare esxi 6.5
Filesystem	NTFS
UPS	APC Smart-UPS 1000

---

Networking

24 ports Netgear Gbit "smart" switch. ubiquiti accespoints in het huis , CAT6 bekabeling. In de server zit een extra dual GBit adapter voor pfSense. onboard dual GBIT gebruik ik voor het interne dataverkeer.

Setup

Alles draait op ESXi 6.5. Daarop een DC, EX, FS, Download machine en webserver en een VM met pfSense als firewall/router. en een virtual synology

Toekomst

Issues?

Sinds vorige week vloog de UPS er opeens uit met een Relay failure. Beetje jammer aangezien de accus net vervangen zijn.

[ Voor 22% gewijzigd door Greetoz op 17-12-2018 16:41 ]

[_AvA_]

nero355 schreef op maandag 17 december 2018 @ 12:02:
Dat is wel echt een serieus oude controller...

Dat klopt, als het goed is dezelfde generatie als de onboard controller van de DL580G5.
Het is over het algemeen gewoon een zwaar verouderd apparaat, en hoewel er 4 quadcores in zitten, zijn die nog van vóór socket 771, namelijk socket 604. Ik heb wel nieuwer spul liggen maar vind dit wel een geinig beessie.

De P410 en hoger zijn echt een verademing!

Wat is er zoveel anders aan dan? Snelheid? Bios?

Dat is teveel gedoe en werkt dan ook nog eens niet altijd lekker : Neem een LSI HBA voor dat soort dingen

De enige LSI HBA die ik heb zit in de DL380G7. En om nou een controller te gaan kopen voor 25x146GB schijfjes die ik alleen gebruik om mee te spelen is me dan weer te veel. Kun je me iets meer vertellen over wat er zoal mis kan gaan? Dat het instellen van die kaart in HBA modus een heel gedoe is dat heb ik hier en daar ook gelezen, maar dat houd me niet tegen

Greetoz schreef op maandag 17 december 2018 @ 16:32:
[...]


Gave setup. Ik heb mijn HP DL's de deur uit gedaan om het stroomverbruik. Heb nu een supermicro met een lowpower xeon en stroomverbruik is gehalveerd.

Update op mijn setup:

---

Networking

24 ports Netgear Gbit "smart" switch. ubiquiti accespoints in het huis , CAT6 bekabeling. In de server zit een extra dual GBit adapter voor pfSense. onboard dual GBIT gebruik ik voor het interne dataverkeer.

Setup

Alles draait op ESXi 6.5. Daarop een DC, EX, FS, Download machine en webserver en een VM met pfSense als firewall/router. en een virtual synology

Toekomst

Issues?

Sinds vorige week vloog de UPS er opeens uit met een Relay failure. Beetje jammer aangezien de accus net vervangen zijn.

Dikke setup! Heb je ook fotootjes er van? Die Norco behuizing komt me bekend voor, misschien op youtube gezien. Mooi ding! Ik hoor veel goede dingen over ubiquiti, ze schijnen ook een betaalbare 10Gb switch te hebben.
Misschien is het relais van je UPS nog wel te vervangen. Als je daar geen zin in hebt houd ik me aanbevolen voor het lijkje.

--Edit--
RAM upgrade gedaan:
[YouTube: HP DL580G5 upgrading RAM from 32 to 112GB]

[nero355]

_AvA_ schreef op maandag 17 december 2018 @ 19:03:
Wat is er zoveel anders aan dan? Snelheid? Bios?

De P400 is op een andere onderliggende chip gebaseerd dan de P410 en latere modellen.

Tevens is de support van de P410 veel beter : Nieuwere HDD's werken beter, Firmware en dingen als HPACUCLI/HPSSACLI ondersteunen hem veel beter

De enige LSI HBA die ik heb zit in de DL380G7. En om nou een controller te gaan kopen voor 25x146GB schijfjes die ik alleen gebruik om mee te spelen is me dan weer te veel. Kun je me iets meer vertellen over wat er zoal mis kan gaan? Dat het instellen van die kaart in HBA modus een heel gedoe is dat heb ik hier en daar ook gelezen, maar dat houd me niet tegen

Heel simpel gezegd : De hele Pxxx serie wil je niet als HBA gebruiken!

Ik heb enorm veel ellende gezien met die dingen in HBA mode en alle problemen verdwenen als sneeuw voor de zon op het moment dat er een H220 (H240 is ook crap! niet meer LSI based!) of random LSI HBA in diezelfde systemen ging

[Greetoz]

_AvA_ schreef op maandag 17 december 2018 @ 19:03:

Dikke setup! Heb je ook fotootjes er van? Die Norco behuizing komt me bekend voor, misschien op youtube gezien. Mooi ding! Ik hoor veel goede dingen over ubiquiti, ze schijnen ook een betaalbare 10Gb switch te hebben.
Misschien is het relais van je UPS nog wel te vervangen. Als je daar geen zin in hebt houd ik me aanbevolen voor het lijkje.

Ik ga hem zelf nog wel proberen te repareren ja, aangezien ik net 4 maanden geleden nieuwe accus erin heb gezet.

Hierbij een snel kiekje

[nero355]

@Greetoz Zie ik daar nou de enige echte originele https://wiki.eth0.nl/index.php/LackRack ?!

NICE!

[Greetoz]

nero355 schreef op zaterdag 22 december 2018 @ 14:25:
@Greetoz Zie ik daar nou de enige echte originele https://wiki.eth0.nl/index.php/LackRack ?!

NICE!

Jazeker, in mijn vorige huis had ik een half hoog 19 inch rack staan maar daar had ik hier geen ruimte meer voor. Nu staat het in de gangkast onder de kapstok. Past precies en de jassen zijn altijd lekker warm!

[Shunt]

Zo ondertussen zal ik mijn opstelling ook maar eens posten.
Ik heb sinds mijn budget houder en ik uit elkaar zijn mijn oude non redunant HTPC / NAS maar eens uit elkaar gepeuterd en wat fatsoenlijks gemaakt.

Case	Inter-Tech IPC 3U-30255 (extra 5 bay disk bay ipv 3x 5.25 bays)
CPU	AMD Ryzen 5 2400 (dit was een miskoop ik had gehoopt de GPU passtrough te kunnen gebruiken maar dat zit er niet in)
RAM	24GB
Motherboard	Gigabyte AX370
Operating System	Unraid
Controller	DELL PERC H310 (flashed naar SAS9207-8i) and on-board controller (6)
Hard drive	7x 6TB ST6000DM003 Barracuda
Hard drive	4x 3TB ST3000DM001 (worden nu uitgefaseerd vanwege onbetroubwaarheid)
Hard drive	1x 3TB HGST_HDN724030ALE640
SSD	500GB Samsung M.2 (deze zal vervangen worden voor een PCI-E model zodra ik daar zin in heb van 1TB.
Unnraid array configruation	All disk in one "array with 2x 6TB as parrity" and 500gb ssd as cash disk.
Netto storage	45 TB
Network	Build in Gigabit
UPS	Not yet configured
Filessytem	XFS
Idle power usage	Onbekend nog

In de huidige setup kan ik 14x disks kwijt en uit eindelijk wil ik alle 3TB modellen vervangen voor 6TB modelletjes.
Er is ook nog een UPS in de maak en zodra die klaar is kan alles of naar de zolder of naar de meterkast. Daar ligt ook nog een 19 inch 24 poorts POE switch te wachten om netjes opgehangen te worden.

Als ik ergens wat meer budget vrij krijg voor hobby projectjes zal ik waarschijnlijk het moederbord en cpu nog vervangen voor een intel setup zodat ik wat meer power heb en een igpu die direct aan VM gehangen kan worden.

In Docker draaien de gebruikelijke applicaties als SAB, Radarr, Sonarr en Nextcloud.
Ook draaien er een aantal VM's waarvan een voor mijn Ubiquiti controller. (De Docker variant loopt hopeloos achter). En een VM om wat op te kloten met Ubuntu.

[jacovn]

Gelukkig had rivier nog wel rails, kan ik eindelijk de behuizingen fatsoenlijk monteren.
Nooit mogelijk met het Norco 15U rack helaas, maar nu een ander rack waarin het wel kan. Staat stuk netter.

En maar €26 ex btw.
Op amazon USA $45 maar veel shipping, voor 3 stuks met invoerrechten bijna €200
Amazon UK £45
Amazon DE €123

[ Voor 25% gewijzigd door jacovn op 10-01-2019 05:50 ]

[azerty]

Greetoz schreef op zaterdag 22 december 2018 @ 11:37:
[...]


Ik ga hem zelf nog wel proberen te repareren ja, aangezien ik net 4 maanden geleden nieuwe accus erin heb gezet.

Hierbij een snel kiekje

[Afbeelding]

Hoe heb je die case gemount op die hoogte? Is het een "extended" lack rack? Extra supports gebruikt?

[Greetoz]

azerty schreef op zaterdag 23 februari 2019 @ 21:06:
[...]


Hoe heb je die case gemount op die hoogte? Is het een "extended" lack rack? Extra supports gebruikt?

Het is deze: https://m2.ikea.com/nl/nl...afel-zwartbruin-40104294/

Volgens mij heb ik verder geen extra supports gebruikt. Hij ligt gewoon op de plank.

[azerty]

Greetoz schreef op zondag 24 februari 2019 @ 07:46:
[...]


Het is deze: https://m2.ikea.com/nl/nl...afel-zwartbruin-40104294/

Volgens mij heb ik verder geen extra supports gebruikt. Hij ligt gewoon op de plank.

Dat verklaart het inderdaad Een "gewone" Lack Rack heeft die plank niet

Vraag het omdat ik een extra case op kop getikt heb en die in mijn gewone Lack Rack moet zien in te passen

[GarBaGe]

Seagate's HAMR technologie is zo goed als productiewaardig.
Volgend jaar de eerste 24TB disks.
Er zit weer flinke storage groei aan te komen.
https://www.anandtech.com/show/13935/seagate-hdd-plans-2019

[Q]

GarBaGe schreef op zondag 24 februari 2019 @ 12:09:
Seagate's HAMR technologie is zo goed als productiewaardig.
Volgend jaar de eerste 24TB disks.
Er zit weer flinke storage groei aan te komen.
https://www.anandtech.com/show/13935/seagate-hdd-plans-2019

Leuk nieuws.

Een groot probleem is dat de sequentiële snelheid niet echt toe neemt ten opzichte van de capaciteit van een schijf. Stel je hebt een 14 TB schijf en hij kan 250 MB/s lezen/schrijven dan ben je ~15 uur bezig om het ding vol te schrijven of leeg te trekken. Dat heeft wel gevolgen voor RAID rebuild tijden. En hoe langer die duren hoe groter de risico's.

Dual-actuator is al een verbetering, maar wat dit voor de betrouwbaarheid en prijs doet....

[_AvA_]

Op YouTube inmiddels aardig wat video's over het 'shucken' van externe schijven.
Daarbij word een goedkope externe harde schijf ontdaan van de disk, voor gebruik in NAS systemen bijvoorbeeld.
De rage op het moment is de WD Elements 10TB schijf, die in het buitenland gekocht kan worden in de aanbieding voor rond de 120 dollar.
In NL kost zo'n schijf het dubbele... Iemand een gouden tip waar we het moeten zoeken?

[nero355]

_AvA_ schreef op dinsdag 5 maart 2019 @ 14:15:
De rage op het moment is de WD Elements 10TB schijf, die in het buitenland gekocht kan worden in de aanbieding voor rond de 120 dollar.

Als dat bij Amazon.com is dan zou je eens door kunnen clicken en kijken wat de prijs is als alle kosten voor je erbij worden berekend qua BTW en Import heffingen!

Zo heb ik een keer lekker cheap kabels gekocht voor mijn LSI Controller, waarbij ik 4 stuks kocht voor de prijs van 1 of 2 kabels in Nederland!
En ook nog eens van een beetje merk i.p.v. noname meuk!

[Verwijderd]

_AvA_ schreef op dinsdag 5 maart 2019 @ 14:15:
Op YouTube inmiddels aardig wat video's over het 'shucken' van externe schijven.
Daarbij word een goedkope externe harde schijf ontdaan van de disk, voor gebruik in NAS systemen bijvoorbeeld.
De rage op het moment is de WD Elements 10TB schijf, die in het buitenland gekocht kan worden in de aanbieding voor rond de 120 dollar.
In NL kost zo'n schijf het dubbele... Iemand een gouden tip waar we het moeten zoeken?

Ik heb dit met een aantal WD MyBooks (8TB) gedaan van amazon.de, die komen af en toe voor 150-160 in de aanbieding. Ik heb een alert op camelcamelcamel staan die mij een mail stuurt als ze onder de 170 ofzo duiken.

[Operations]

Ik weet niet zeker of ik "vals" speel aangezien ik wel twee behuizingen gebruik maarrrrrr de storage feitelijk allemaal in dezelfde behuizing zitten. (En ik dus ook maar 1 bord + cpu gebruik, okee bordje is discutabel )

Ik heb aan de hand van deze link:

https://www.servethehome....closure-save-iteration-2/

Mijn Areca 1882ix buitenlangs (SFF8088=>SFF8088) verbonden met mijn HP SAS Expander. Dit zit op een PE-2SD1-R10-1 PICMG (met jumper op Always ON, werkt perfect) met eigen voeding.

De config:

System specifications
Component Value
Case 1 = NORCO RPC-4224 (voor de Storage)
Case 2 = Inter tech 4088
Processor Intel(R) Xeon(R) CPU E5-2690 v2
RAM 128GB DDR3 PC12800
Motherboard Supermicro X9SRL-F
LAN 2x Ethernet 1Gbps + 2x 10Gbps Mellanox Connect-x3
PSU Seasonic Focus 750Watt (Case 2) + Corsair RM650x (Case 1)
Controller 1x Areca ARC-1882ix-12
SAS Expander HP SAS Expander
Disk 10x WD Red 4TB (1x RAID-6)
Disk 4 x HGST 3TB (1 x RAID-5)
Disk 5 x HGST 4TB (1 x RAID-5)

OS Windows 2019
Filesystem NTFS
UPS Eaton 1600 Pro (Beide cases op zelfde UPS)

Mocht ik dus wel "vals" spelen, excuus daarvoor en dan mag uiteraard mijn post verwijderd worden.

P.S. tweakers sig klopt niet helemaal meer. De SSD raid array heb ik express niet genoemd omdat die dus niet in dezelfde case als de overige disks zit

[ Voor 11% gewijzigd door Operations op 11-03-2019 00:19 ]

[unezra]

GarBaGe schreef op zondag 24 februari 2019 @ 12:09:
Seagate's HAMR technologie is zo goed als productiewaardig.
Volgend jaar de eerste 24TB disks.
Er zit weer flinke storage groei aan te komen.
https://www.anandtech.com/show/13935/seagate-hdd-plans-2019

WTF...
24T is absurd veel.

Is dat nog veilig te doen zonder next-gen filesystems als ZFS?

[azerty]

Operations schreef op zondag 10 maart 2019 @ 23:54:
Ik weet niet zeker of ik "vals" speel aangezien ik wel twee behuizingen gebruik maarrrrrr de storage feitelijk allemaal in dezelfde behuizing zitten. (En ik dus ook maar 1 bord + cpu gebruik, okee bordje is discutabel )

Ik heb aan de hand van deze link:

https://www.servethehome....closure-save-iteration-2/

Mijn Areca 1882ix buitenlangs (SFF8088=>SFF8088) verbonden met mijn HP SAS Expander. Dit zit op een PE-2SD1-R10-1 PICMG (met jumper op Always ON, werkt perfect) met eigen voeding.

De config:

System specifications
Component Value
Case 1 = NORCO RPC-4224 (voor de Storage)
Case 2 = Inter tech 4088
Processor Intel(R) Xeon(R) CPU E5-2690 v2
RAM 128GB DDR3 PC12800
Motherboard Supermicro X9SRL-F
LAN 2x Ethernet 1Gbps + 2x 10Gbps Mellanox Connect-x3
PSU Seasonic Focus 750Watt (Case 2) + Corsair RM650x (Case 1)
Controller 1x Areca ARC-1882ix-12
SAS Expander HP SAS Expander
Disk 10x WD Red 4TB (1x RAID-6)
Disk 4 x HGST 3TB (1 x RAID-5)
Disk 5 x HGST 4TB (1 x RAID-5)

OS Windows 2019
Filesystem NTFS
UPS Eaton 1600 Pro (Beide cases op zelfde UPS)

Mocht ik dus wel "vals" spelen, excuus daarvoor en dan mag uiteraard mijn post verwijderd worden.

P.S. tweakers sig klopt niet helemaal meer. De SSD raid array heb ik express niet genoemd omdat die dus niet in dezelfde case als de overige disks zit

Nee, "valsspelen" is het zeker niet, anders mogen er nog een paar het lijstje uit: BartNL in "Storage showoff topic - 20+ TB storage systems"

Ik ga in de nabije toekomst trouwens ook die richting uit. JBOD unit gekocht, moet nu enkel nog bekijken wat de huidige nodig heeft aan upgrades om die extra schijven te verwerken

@BartNL Je foto's doen het niet meer

[MewBie]

unezra schreef op maandag 11 maart 2019 @ 07:05:
[...]


WTF...
24T is absurd veel.

Is dat nog veilig te doen zonder next-gen filesystems als ZFS?

Ik denk dat je uberhaupt zoiets niet in een raid opstelling wilt hebben. De rebuild tijden van je array zullen belachelijk lang zijn mocht er een schijf uitvallen.

[unezra]

MewBie schreef op maandag 11 maart 2019 @ 08:53:
[...]
Ik denk dat je uberhaupt zoiets niet in een raid opstelling wilt hebben. De rebuild tijden van je array zullen belachelijk lang zijn mocht er een schijf uitvallen.

Zulke schijven duw je ook niet in een JBOD opstelling. JUIST zoiets zou ik in een RAID array willen duwen, maar dan wel een striped-mirror of RAID10.

ZFS is redelijk lief met een striped mirror.

Al zou ik privé twijfelen of ik zoiets niet enkel in een mirror zou duwen. Een stripe voegt wel wát toe qua snelheid, maar vergroot ook de kans op dataverlies. 24T per volume is privé prima, dus dan is een stripe (RAID-1 equivalent) denk ik een logische keuze.

[Operations]

azerty schreef op maandag 11 maart 2019 @ 08:26:
[...]


Nee, "valsspelen" is het zeker niet, anders mogen er nog een paar het lijstje uit: BartNL in "Storage showoff topic - 20+ TB storage systems"

Ik ga in de nabije toekomst trouwens ook die richting uit. JBOD unit gekocht, moet nu enkel nog bekijken wat de huidige nodig heeft aan upgrades om die extra schijven te verwerken

@BartNL Je foto's doen het niet meer

@azerty puur uit nieuwsgierigheid, welke JBOD case heb je gekocht en welke raidcontroller ga je gebruiken?

[azerty]

Operations schreef op maandag 11 maart 2019 @ 10:52:
[...]

@azerty puur uit nieuwsgierigheid, welke JBOD case heb je gekocht en welke raidcontroller ga je gebruiken?

SC847E26-RJBOD1 in combinatie met een LSI SAS9201-16E.

Ik zit enkel in problemen met mijn mobo omdat er geen slot meer over is denk ik En nieuw mobo is ook weer een nieuwe CPU, RAM, ...

[Operations]

azerty schreef op maandag 11 maart 2019 @ 11:29:
[...]


SC847E26-RJBOD1 in combinatie met een LSI SAS9201-16E.

Ik zit enkel in problemen met mijn mobo omdat er geen slot meer over is denk ik En nieuw mobo is ook weer een nieuwe CPU, RAM, ...

Just to be sure.... je weet dat die Supermicro kasten (prachtig qua materiaal enzo) een bak herrie maken...

Ik had er een en uiteindelijk weg gedaan omdat hij simpelweg te veel lawaai maakte. Nou zeg ik daar wel bij dat ik iets gevoeliger ben voor geluid dan de meeste mensen maar vooral de voedingen in die kasten maken een bak lawaai...

[azerty]

Operations schreef op maandag 11 maart 2019 @ 14:14:
[...]


Just to be sure.... je weet dat die Supermicro kasten (prachtig qua materiaal enzo) een bak herrie maken...

Ik had er een en uiteindelijk weg gedaan omdat hij simpelweg te veel lawaai maakte. Nou zeg ik daar wel bij dat ik iets gevoeliger ben voor geluid dan de meeste mensen maar vooral de voedingen in die kasten maken een bak lawaai...

Opstijgende vlieger qua geluid, ja, dat weet ik ondertussen

Die komt niet in de slaapkamer te staan, en zal hoogstwaarschijnlijk, net zoals de huidige iteratie, ook niet 24/7 draaien.

[Q]

Voor thuisgebruik zie ik RAID nog steeds als de beste oplossing om het risico van een defecte schijf te mitigeren. Zelfs met de nu veel grotere disk sizes.

Het kern probleem van de grote disk sizes is niet het feit dat ze zo groot zijn, maar dat ze niet veel sneller zijn geworden qua throughput.

Door het gebrek an throughput duurt een rebuild van 1 schijf veel langer: de tijd die het kost om ofwel de data (ZFS) of de hele schijf te moeten rebuilden (MDADM of HW RAID).

Ik ben van mening dat RAID of RAIDZ(2) nog prima mee kan voor ons thuisgebruikers. Als je veiligheid wilt dan is RAID6 wel het minimum en kun je beter RAID60 overwegen, dus meerdere RAID6 arrays gestriped.

Met ZFS stop je gewoon je schijven in meerdere RAIDZ2 vdevs en met MDADM kun je daadwerkelijk gewoon een RAID60 maken.

Het risico van de trage rebuild is dat er nog meer schijven stuk kunnen gaan gedurende de rebuild. Met RAID6 kun je er al twee verliezen. Door RAID60 toe te passen maak je de RAID6 array kleiner (dus minder disks) dus minder risico dat er een 2e in die specifieke array stuk gaat.

Ik zou zelf nog steeds voor deze oplossing kiezen omdat je nog steeds 1 groot storage volume krijgt en dat je dus niet je data over je storage volumes moet gaan balansen.

[BartNL]

azerty schreef op maandag 11 maart 2019 @ 08:26:
[...]
@BartNL Je foto's doen het niet meer

nog erger ze bestaan niet meer

Setup is qua opbouw nog wel hetzelfde Voor mezelf wel leuk om te zien dat het gezien mijn originele post blijkbaar al 7 jaar zo draait.

[SadisticPanda]

Q schreef op woensdag 13 maart 2019 @ 09:12:
Voor thuisgebruik zie ik RAID nog steeds als de beste oplossing om het risico van een defecte schijf te mitigeren. Zelfs met de nu veel grotere disk sizes.

Het kern probleem van de grote disk sizes is niet het feit dat ze zo groot zijn, maar dat ze niet veel sneller zijn geworden qua throughput.

Door het gebrek an throughput duurt een rebuild van 1 schijf veel langer: de tijd die het kost om ofwel de data (ZFS) of de hele schijf te moeten rebuilden (MDADM of HW RAID).

Ik ben van mening dat RAID of RAIDZ(2) nog prima mee kan voor ons thuisgebruikers. Als je veiligheid wilt dan is RAID6 wel het minimum en kun je beter RAID60 overwegen, dus meerdere RAID6 arrays gestriped.

Met ZFS stop je gewoon je schijven in meerdere RAIDZ2 vdevs en met MDADM kun je daadwerkelijk gewoon een RAID60 maken.

Het risico van de trage rebuild is dat er nog meer schijven stuk kunnen gaan gedurende de rebuild. Met RAID6 kun je er al twee verliezen. Door RAID60 toe te passen maak je de RAID6 array kleiner (dus minder disks) dus minder risico dat er een 2e in die specifieke array stuk gaat.

Ik zou zelf nog steeds voor deze oplossing kiezen omdat je nog steeds 1 groot storage volume krijgt en dat je dus niet je data over je storage volumes moet gaan balansen.

Met raid mitigeer je geen defecte schijf, je garandeert beschikbaarheid. Voor thuisgebruikers is dit in 9/10 gevallen waardeloos. Je kan gerust uurtje of 2 zonder je filmcollectie zitten of wat er ook op je nas staat.

Imho voor de gewone thuisgebruiker is de combinatie JBOD/mergerfs/snapraid/paar scriptjes veel intressanter voor de gewone gebruiker.

- Voordelen:
- JBOD -> Gewoon uitbreiden met willekeurig schijfgrootte. Mixen van 1GB schijf met 8TB schijven is geen probleem
- JBOD -> 1 schijf kapot, is enkel data van die schijf die hersteld moet worden, de rest is gewoon nog beschikbaar zonder echte snelheidsverlies
- Geen 1:1 dus ransomware maakt minder kans
- Weinig resource intensief
- Minder 'diskverlies'; upgraden wil niet zeggen dat alle disks upgegrade moeten worden

Nadelen:
- Geen 100%
- Snapshots/parity moeten manueel genomen worden (of met scriptje)
- Aangezien het allemaal aparte disks zijn die apart werken, snelheid is snelheid vandisk waarop je aan het lezen bent.
- bitrot wordt pas gemerkt bij scrub. (maar wel hersteld normaal)


Voor bedrijven is het andere koek, maar voor thuisgebruiker vind ik dit ideaal

[BartNL]

azz_kikr schreef op woensdag 13 maart 2019 @ 11:09:
[...]Imho voor de gewone thuisgebruiker is de combinatie JBOD/mergerfs/snapraid/paar scriptjes veel intressanter voor de gewone gebruiker.

...voor thuisgebruiker vind ik dit ideaal

een "paar scriptjes" als ideale oplossing voor "de gewone gebruiker" lijkt mij niet maar dat is hier denk ik offtopic

[azerty]

BartNL schreef op woensdag 13 maart 2019 @ 09:48:
[...]

nog erger ze bestaan niet meer

Setup is qua opbouw nog wel hetzelfde Voor mezelf wel leuk om te zien dat het gezien mijn originele post blijkbaar al 7 jaar zo draait.

Hoe moeten wij dan nu je setup nog kunnen bekijken?

Geen zin om ze op Tweakers te heruploaden?

[SadisticPanda]

BartNL schreef op woensdag 13 maart 2019 @ 12:19:
[...]


[...]

een "paar scriptjes" als ideale oplossing voor "de gewone gebruiker" lijkt mij niet maar dat is hier denk ik offtopic

1 lijn= "snapraid sync"

eventueel elke dag/week "snapraid scrub"

als dat al te moeilijk is, wat zo je dan in op een tweakers website


Of is dit topicje, wie heeft er minste verstand van en smijt er gewoon meeste geld tegen om de 20TB kaap te halen?

Hier trouwens zo 27TB net draaien. Geen idee van globaal want zitten letterlijk hoop schijven in van verschillende groottes

[BartNL]

azz_kikr schreef op woensdag 13 maart 2019 @ 15:05:
[...]Of is dit topicje, wie heeft er minste verstand van en smijt er gewoon meeste geld tegen om de 20TB kaap te halen?

het idee was volgens mij ooit om zo groot mogelijke systemen te showen. Hoe je dat systeem dan opbouwt doet er in dit topic niet toe. Wat mij betreft hoe groter hoe mooier. Een 200TB systeem wordt niet veel minder duur door een scriptje

[gastje01]

BartNL schreef op woensdag 13 maart 2019 @ 16:12:
[...]

het idee was volgens mij ooit om zo groot mogelijke systemen te showen. Hoe je dat systeem dan opbouwt doet er in dit topic niet toe. Wat mij betreft hoe groter hoe mooier. Een 200TB systeem wordt niet veel minder duur door een scriptje

Ik vind het bouwen net wel mooi. Ik heb zelf, lekker lui een Synology draaien met 28 TB (24 TB netto, met SSD cache). Hoewel dit qua specs prima mee kan vind ik het net mooi om te zien wat iedereen hier zelf in elkaar gezet heeft en hoe het allemaal is aangesloten, dat is ook een deel van de show-off toch?

[BartNL]

gastje01 schreef op woensdag 13 maart 2019 @ 20:05:
[...]

Ik vind het bouwen net wel mooi. Ik heb zelf, lekker lui een Synology draaien met 28 TB (24 TB netto, met SSD cache). Hoewel dit qua specs prima mee kan vind ik het net mooi om te zien wat iedereen hier zelf in elkaar gezet heeft en hoe het allemaal is aangesloten, dat is ook een deel van de show-off toch?

ik verwoorde het niet goed. Het maakt voor mij wel uit hoe het in elkaar zit en heb ik meer met de hardware dan met de software keuzes.

[Q]

azz_kikr schreef op woensdag 13 maart 2019 @ 11:09:
[...]


Met raid mitigeer je geen defecte schijf, je garandeert beschikbaarheid. Voor thuisgebruikers is dit in 9/10 gevallen waardeloos. Je kan gerust uurtje of 2 zonder je filmcollectie zitten of wat er ook op je nas staat.

Ik waardeer je stijl, ik ben ook wel zo uitgesproken met termen als 'waardeloos', maar ik kom meestal dan wel met een sterker verhaal.

Voor thuisgebruik wil je iets met weinig onderhoud en veel gemak. Snapraid gebruik ik zelf niet maar die voldoet niet aan deze eisen wat mij betreft.

* Geen enkel groot volume maar een hoop losse schijfjes die je moet beheren (alleen dit al is een dood doener)
* Geen real-time bescherming zoal je die al krijgt met de goedkoopste 2+ disk Synology/Qnap (scheelt gewoon gezeur)
* Het opzetten van ZFS of MDADM is een of twee regels en je bent klaar, snapraid heeft veel meer om het lijf (no sysadmin at home!)

Als mijn mening zou worden gevraagd dan zou ik snapraid niet aanraden. Ik zal niet het type zijn dat zal zeggen dat hij snapraid 'waardeloos' vind , dat moeten mensen maar voor zichzelf uitmaken. Als je er zelf blij mee bent prima

[SadisticPanda]

Q schreef op woensdag 13 maart 2019 @ 21:34:
[...]


Ik waardeer je stijl, ik ben ook wel zo uitgesproken met termen als 'waardeloos', maar ik kom meestal dan wel met een sterker verhaal.

Voor thuisgebruik wil je iets met weinig onderhoud en veel gemak. Snapraid gebruik ik zelf niet maar die voldoet niet aan deze eisen wat mij betreft.

* Geen enkel groot volume maar een hoop losse schijfjes die je moet beheren (alleen dit al is een dood doener)
* Geen real-time bescherming zoal je die al krijgt met de goedkoopste 2+ disk Synology/Qnap (scheelt gewoon gezeur)
* Het opzetten van ZFS of MDADM is een of twee regels en je bent klaar, snapraid heeft veel meer om het lijf (no sysadmin at home!)

Als mijn mening zou worden gevraagd dan zou ik snapraid niet aanraden. Ik zal niet het type zijn dat zal zeggen dat hij snapraid 'waardeloos' vind , dat moeten mensen maar voor zichzelf uitmaken. Als je er zelf blij mee bent prima

Ja, waardeloos was mss net iets kort door de bocht uitgedrukt...waardeloos is het zeker niet.
Mss beetje verder inlezen in snapraid/mergerfs....

- Mijn jbod is gesoon als 1 groot volume beschikbaar, daarvoor zorgt mergerfs. Ik bepaal zelfs welke data op welke schijf. Zo gaan alle tv series automatisch naar de series schijven en blijven dezelfe series bij elkaar.
Kan zelfs gewoon om,het even welke schijf toevoegen. Bv een ntfs disk van collega vol porn en is gewoon direct zichtbaar..in het zelfde grote volume.
- het is zo realtime als je wil, je voert commando uit. En het is gebackupt. Hier is het gesoon lege sync folder aanmaken en hij begint te syncen. Realtime heeft zo zijn nadelen. Als ik iets delete, is het nog niet echt weg...ja je hebt bij zfs snapshots enzo maar zfs blijft “duur”. Duur om uit te breiden en iets duurder bij opstart doordat je iets hogere specs moet hebben. Ik kan gewoon van stel oude schijven verder,gaan en langzaam upgraden.
-opzetten van snapraid is 2 config filetjes. Niet bepaald rocket science.

Heb ook nog netgeartje nas staan met netto 24tb, nou niet echt bepaald iets om trots over te zijn. Elke malloot kan dit kopen en in werking zetten...

Als tweaker wil ik voor thuis liefst zo goedkoop en betrouwbaar mogelijk. En dan is snapraid en mergerfs ideaal.
Op het werk waar uptime wel belangrijk is en geld minder issue is draait er dan ook een 1.1PB netto san

Probleem is gewoon meeste mensen kennen enkel raidX of zfs. Er zijn zoveel meer dingen die soms betere oplossing zjn. (Hangt af van usecase tot usecase ofc)

Ik vind een zelfbouwnasje met 2x1tb indrukwekkender dan ene of andere dure synology met 24 bays. Pluggen en klaar....niks aan...niks geleerd.

[Q]

azz_kikr schreef op woensdag 13 maart 2019 @ 22:14:


- Mijn jbod is gesoon als 1 groot volume beschikbaar, daarvoor zorgt mergerfs.

Dus het is nu al een oplossing met twee producten: je hebt ook mergerfs nodig. Ik was dat tegen gekomen maar ik las niet dat jij dit ook gebruikte. Dan neem je wel een nadeel weg.

Het is vooral waar jij risico voor jezelf ziet en wat je wilt afdekken tegen welke kosten.

Ik wilde zelf graag dikke opslag neerzetten maar zo simpel mogelijk volgens het KISS principe. Juist met storage wil ik iets stabiels en simpels.

Een dikke Gevulde Synology/Qnap/Netgear prima! Niets mis mee! Kijk ik niet op neer, al kan zo’n ding mogelijk niet voldoen aan de voorwaarden van dit topic, mogelijk dat er een goed “verhaal” bij zit, dat maakt uit, voor mij dan.

Voor mij was kant-en-klaar te duur en meende ik met zelfbouw goedkoper uit te zijn. En storage was mijn hobby dus tja

Anyway, ik vind snapraid + mergefs niet echt KISS maar mensen moeten zelf maar bepalen op basis van hun eigen wensen wat ze prettig vinden. Als het voor je werkt, prima.

[nero355]

azz_kikr schreef op woensdag 13 maart 2019 @ 22:14:
Heb ook nog netgeartje nas staan met netto 24tb, nou niet echt bepaald iets om trots over te zijn. Elke malloot kan dit kopen en in werking zetten...

Ik vind een zelfbouwnasje met 2x1tb indrukwekkender dan ene of andere dure synology met 24 bays. Pluggen en klaar....niks aan...niks geleerd.

Helemaal mee eens!

Het ergste aan die kant en klare krengen vind ik nog wel dat het vaak Linux is, maar als je dan iets buiten de kant en klare opties wilt doen je meteen tegen een hele grote hoge dikke muur aan knalt en je dus ineens zwaar beperkt bent! Verschrikkelijk irritant!

[Q]

nero355 schreef op donderdag 14 maart 2019 @ 14:35:
[...]

Helemaal mee eens!

Het ergste aan die kant en klare krengen vind ik nog wel dat het vaak Linux is, maar als je dan iets buiten de kant en klare opties wilt doen je meteen tegen een hele grote hoge dikke muur aan knalt en je dus ineens zwaar beperkt bent! Verschrikkelijk irritant!

Die dingen zijn anno 2018+ halve mini-cloud applicatie platformen, dus de vraag is een beetje wat je zoekt en hoe beperkt ze nu werkelijk nog zijn.

[maomanna]

Verwijderd schreef op dinsdag 5 maart 2019 @ 16:18:
[...]


Ik heb dit met een aantal WD MyBooks (8TB) gedaan van amazon.de, die komen af en toe voor 150-160 in de aanbieding. Ik heb een alert op camelcamelcamel staan die mij een mail stuurt als ze onder de 170 ofzo duiken.

Ze zijn er weer!

https://www.amazon.de/Wes...astpl%2Caps%2C145&sr=1-11

Maar nou heb ik het idee dat deze uit Amerika worden verscheept.
Daar kost de plaat 125usd. de prijs is incl importkosten in Duitsland.

Hier nog een, wel uit Duitsland:
https://www.amazon.de/WD-...fRID=N9GEY3H0GZMG7DCD7666

[ Voor 28% gewijzigd door maomanna op 15-03-2019 16:56 ]

[panomi]

maomanna schreef op vrijdag 15 maart 2019 @ 16:53:
[...]


Ze zijn er weer!

https://www.amazon.de/Wes...astpl%2Caps%2C145&sr=1-11

Maar nou heb ik het idee dat deze uit Amerika worden verscheept.
Daar kost de plaat 125usd. de prijs is incl importkosten in Duitsland.

Hier nog een, wel uit Duitsland:
https://www.amazon.de/WD-...fRID=N9GEY3H0GZMG7DCD7666

Koop de raid versie (2x8TB) € 297 / 2 = € 148 per disk incl. verzending.
https://www.amazon.de/WD-...1-3&keywords=my+book+raid

[dcm360]

panomi schreef op vrijdag 15 maart 2019 @ 22:29:
[...]


Koop de raid versie (2x8TB) € 297 / 2 = € 148 per disk incl. verzending.
https://www.amazon.de/WD-...1-3&keywords=my+book+raid

Behalve dan dat €148.- voor een disk van 4TB niet goedkoop is. Je zit er namelijk een factor 2 naast, de capaciteit die er staat is de totaalcapaciteit, niet die per disk. Tenzij ze daar ook al ergens disks van 20TB kunnen krijgen voor het model met de meeste opslag.

[panomi]

dcm360 schreef op vrijdag 15 maart 2019 @ 23:21:
[...]

Behalve dan dat €148.- voor een disk van 4TB niet goedkoop is. Je zit er namelijk een factor 2 naast, de capaciteit die er staat is de totaalcapaciteit, niet die per disk. Tenzij ze daar ook al ergens disks van 20TB kunnen krijgen voor het model met de meeste opslag.

Ah, ik ging uit van een RAID-1 config...het is dus een RAID-0.

[maomanna]

dan deze aanbieding. toppertje

https://www.amazon.de/dp/...=nl_NL&tag=peppercom09-21

[iMars]

Tijd voor "vers bloed"

Volgens mij komt mijn systeem ook in aanmerking voor een nederig plekje in de lijst Heb nog niet alles binnen dus is het slechts een vooraankondiging (mag dat?)

System specifications
Component	Value
Case	Silverstone Sugo SST-SG11B
CPU	Intel Core i3-8100 Boxed
RAM	2x 16GB Kingston DDR4-2400
Motherboard	Fujitsu D3644-B
Operating system	Ubuntu server
Controller	Onboard sata
Hard drive	6x 5TB 2,5" Seagate
Hard drive	Transcend 1TB SSD (boot+docker)
RAID array configuration	Snapraid icm MergerFS
Netto storage capacity	25GB
Network	Onboard Intel I219LM
UPS	Nee
Filesystem	Ext4 + MergerFS
Idle power usage	Nog niet bekend
Extra

Status/crosspost: iMars in "Heb je iets nieuws en MOET je het gewoon showen deel 123"

Dit systeem gaat mijn huidige zelfbouw-NAS (Intel Atlom D525 + 4x 2TB RAID5) en mijn mini ESXi servertje (i5-4590T/16GB RAM/256GB SSD) vervangen in het kader van "zuiniger" en meer "Future-proof"

Het begon met 10x 4TB SAS en 5x 8GB DDR4 registered ECC. De hdd's bleken meer stroom te trekken dan ik eigenlijk wilde en koos daarvoor voor mergerfs zodat niet alle disks aan gaan. Lang verhaal kort: SAS verkocht en nu voor 6x 5TB 2,5" gekozen (de bekende externe Seagate's). Moederbord had ik gekozen om er 4x8GB op te kunnen prikken, vandaar de Fujitsu D3644-B. Ook wilde ik voor de i5-8400 gaan, maar deze ondersteund geen ECC. Dus de goedkopere en zuinige(re) i3-8100 gekocht. Afgelopen weekend kwam ik erachter dat mijn mobo+proc wel ECC ondersteund, maar niet registered Dus nieuw geheugen besteld en ander geheugen op V&A geplaatst.

Omdat mijn servertje merendeels zal gaan idle'en, wilde ik een lage idle verbruik. Met parren, rarren en andere intensere taken mag het verbruik best omhoog gaan. Ook heb ik ervoor gekozen om 1TB nvme SSD te nemen voor de snelheid. De dockers en "hot storage" zal hier gebruik van maken zodat de hdd's niet continua aan hoeven te staan en een spindown kunnen krijgen.

Zodra alles binnen is, wil ik een aantal power meetingen doen om het verbruik in kaart te brengen.

Ik ga er Ubuntu server op draaien met een aantal docker containers, o.a.:
• Home Assistant
• Unifi controller
• Spotweb
• NZBGet
• Moquitto
• Portainer
• Traefik
• Grafana/Influxdb

[GioStyle]

Nice. Een mooi besluit om toch naar 2.5” schijfjes over te stappen. Scheelt je aanzienlijk aan stroomkosten.

Heb je toevallig al verbruikcijfers?

[iMars]

GioStyle schreef op dinsdag 19 maart 2019 @ 19:55:
Nice. Een mooi besluit om toch naar 2.5” schijfjes over te stappen. Scheelt je aanzienlijk aan stroomkosten.

Heb je toevallig al verbruikcijfers?

Beste advies ooit! (Kuddos voor diegene die voorbeeld gaf om de sas schijven te verkopen)

Lever wel wat opslag in, maar 25TB is al véél meer dan nodig. Plus mooie kleine behuizing is een grote pre!

Heb nog geen cijfers, omdat ik nog niet alles binnen heb. Zodra ik dat heb, ga ik testen qua gebruik. Ben zelf ook erg nieuwsgierig

[Q]

Leuke build!

Toch ben ik van mening dat we met de huidige schijf capaciteit op een punt zitten dat het topic 40+ TB als ondergrens zou mogen gaan hanteren.

[iMars]

Q schreef op dinsdag 19 maart 2019 @ 22:41:
Leuke build!

Toch ben ik van mening dat we met de huidige schijf capaciteit op een punt zitten dat het topic 40+ TB als ondergrens zou mogen gaan hanteren.

Dat had ik met m’n 10x 4TB SAS niet eens gehaald

[iMars]

GioStyle schreef op dinsdag 19 maart 2019 @ 19:55:
Nice. Een mooi besluit om toch naar 2.5” schijfjes over te stappen. Scheelt je aanzienlijk aan stroomkosten.

Heb je toevallig al verbruikcijfers?

Alles geinstalleerd, op de HDD's na:

#	Product	Prijs	Subtotaal
1	Intel Core i3-8100 Boxed	€ 126,95	€ 126,95
1	Fujitsu D3644-B	€ 152,-	€ 152,-
1	Silverstone Sugo SST-SG11B	€ 67,95	€ 67,95
1	Leicke ULL Power Supply 120 W	€ 35,-	€ 35,-
2	Kingston ValueRAM KVR24N17D8/16	€ 89,54	€ 179,08
1	Mini-box picoPSU 90	€ 38,95	€ 38,95
1	Transcend MTE220S 1TB	€ 157,-	€ 157,-

Bovenstaand systeem (dus nog wel zonder de 5TB HDDs) is behoorlijk zuinig.
• Clean install Ubuntu server 18.04.02 LTS, BIOS standaard, geen powertop: 11 Watt
• Clean install Ubuntu server 18.04.02 LTS, BIOS standaard, powertop auto-tune: 6,1 Watt

[Xanquezer]

Ik doe ook maar eens een post hier

Mijn specs:

System specifications
Component	Value
Case	Backblaze
CPU	Intel Xeon E3-1220V2 Boxed8
RAM	8GB, 2x4GB DDR3 EEC, dual-channel
Motherboard	Intel S1200BTL
Operating system	Windows server 2016 datacenter
Controller	Silicon image 3124
Hard drive	15x WD Green HDD, 3TB
Hard drive	10x HGST Ultrastar 4TB
Hard drive	5x HGST Ultrastar 5TB
Hard drive	Samsung 256GB ssd - OS
RAID array configuration	7x raid0 of 2 disks
Netto storage capacity	110 TB (excl ssd)
Network	2x onboard Intel Gigabit, Intel Quad adapter (nic teaming) + ILO
PSU	2* 1000 watt coolermaster 80+ gold
UPS	Nog niet
Idle power usage	idle (alle hdd`s uit) 70-100 watt, stress, zekering klapt eruit...

Kleine note*, is nog under construction.

Pics or didnt happen?

[Q]

Xanquezer schreef op woensdag 20 maart 2019 @ 19:57:
Ik doe ook maar eens een post hier

Mijn specs

Leuk! Kun je toelichen hoe je precies met raid/redundancy omgaat?

[iMars]

@Xanquezer dat is toch 110TB bruto storage? Niet netto?

Nevertheless, mooie case die backblaze

[Xanquezer]

De letters van het alfabet waren op...

31 drives, 26 letters...

Dus ik heb 7 kleine raid 0 storages gemaakt zo dat t alfabet passend is

Ik moet er nog meer aan doen, als ik disken erbij ga plaatsen, kom ik weer letters te kort
Vandaar de note* under construction.

[Q]

Y

Xanquezer schreef op donderdag 21 maart 2019 @ 07:44:
De letters van het alfabet waren op...

31 drives, 26 letters...

Dus ik heb 7 kleine raid 0 storages gemaakt zo dat t alfabet passend is

Ik moet er nog meer aan doen, als ik disken erbij ga plaatsen, kom ik weer letters te kort
Vandaar de note* under construction.

Hoe beheer je je data dan? Lijkt mij een klus om bij te houden waar wat staat?

Vind je het niet erg om data te verliezen door een defecte drive?

[Xanquezer]

Ja, nu niet.
Ik wil in de toekomst nog diverse raid 1 setjes gaan maken. Puur voor backup.
De server is dus ook nog niet in bedrijf.

[Shunt]

Xanquezer schreef op donderdag 21 maart 2019 @ 08:19:
Ja, nu niet.
Ik wil in de toekomst nog diverse raid 1 setjes gaan maken. Puur voor backup.
De server is dus ook nog niet in bedrijf.

Waarom zo ontzettend moeilijk doen?
Er is zo veel moois op de markt waar je dit allemaal automagich kunt regelen.
Persoonlijk gebruik ik unraid (omdat high performance voor mijn opslag totaal niet nuttig is).
Wat is de gedachte achter je huidige setup?

[DennusB]

Shunt schreef op donderdag 21 maart 2019 @ 08:50:
[...]

Waarom zo ontzettend moeilijk doen?
Er is zo veel moois op de markt waar je dit allemaal automagich kunt regelen.
Persoonlijk gebruik ik unraid (omdat high performance voor mijn opslag totaal niet nuttig is).
Wat is de gedachte achter je huidige setup?

unRaid is echt een prachtige oplossing hiervoor, draait hier ook naar volle tevredenheid

[Xanquezer]

UnRaid kan ik nog eens proberen.
Bedankt voor de tip! @Shunt

[Shunt]

Xanquezer schreef op donderdag 21 maart 2019 @ 11:02:
UnRaid kan ik nog eens proberen.
Bedankt voor de tip! @Shunt

Leuk detail ik heb het leren kennen via linus van Linus tech tips.
Die gebruiken ook de storinators en dan met Unraid als storage software.
Heb er zelf docker bij draaien (alles op de cach disk zodat er geen diskspin voor dat soort dingen hoeft te gebeuren) En er draaien een paar vm's in KVM op de unraid doos. Alles intergreert lekker achter een mooie console en nadat je een fatsoenlijke grote (als je veel download) 500gb + cash disk er in zet is het heerlijk om mee te werken.

Mijn systeem verstouwt zo 2/3tb per maand.
Dus dan is een fatsoenlijke grote en snelle SSD voor cashing echt een must!

Ik ga binnenkort weer eens op shop toer om twee disks bij te plaatsen zodat ik aan de max van mijn kast zit 14 disks. Ik begin nu zo tegen de 70% aan te lopen van de meeste van mijn schijven.

[ Voor 11% gewijzigd door Shunt op 21-03-2019 11:20 ]

[nero355]

Xanquezer schreef op donderdag 21 maart 2019 @ 07:44:
De letters van het alfabet waren op...

31 drives, 26 letters...

Ik dacht dat Windows dan dubbele letters ging gebruiken dus AA/AB/BB/ZZ en zo

Maar ehh... waarom niet gewoon alles disks door grotere exemplaren vervangen ?!

Kost wat, maar als je de huidige disks verkoopt krijg je ook weer een flink stuk van de kosten terug

[Xanquezer]

Als de letters op zijn kan je alleen nog HDD mappen aanmaken.

Deze schijven had ik verzameld / nog liggen.
Binnenkort nieuwe, zo 45* 10 TB ofzo
We zien wel hoe groot de portomenee is

[Q]

Grappig, ik wist niet dat unraid betaald was.

Voor dat geld zou ik met een Windows platform gewoon eventueel wat bij betalen en een hardware RAID controller kopen zodat je lekker met 1 volume kunt werken en goede raid performance hebt.

Oud maar vertrouwd.

[Shunt]

Q schreef op donderdag 21 maart 2019 @ 20:50:
Grappig, ik wist niet dat unraid betaald was.

Voor dat geld zou ik met een Windows platform gewoon eventueel wat bij betalen en een hardware RAID controller kopen zodat je lekker met 1 volume kunt werken en goede raid performance hebt.

Oud maar vertrouwd.

Ja lekker niet bij je raid set kunnen als je een filnke failure hebt, of tijdens een rebuild de zuster / broeder schijfjes er mee uit vlamen omdat ze allemaal op het einde lopen. En leuk dat iedere keer als iemand iets aan raakt op je raidset dat heel je array gaat draaien. Nee laat mij maar gewoon lekker dat bedrag af tikken ipv allemaal moelijk doen met een linux distro en systemen die eigenlijk veel te complex zijn voor simpel thuis gebruik. Windows is verder ook niet gratis en een deftige raid controller voor 12+ disks is ook niet heel goedkoop zullen we maar zeggen.

[ Voor 5% gewijzigd door Shunt op 22-03-2019 07:44 ]

[Greetoz]

Hier ook weer een update. Over gegaan op watercooling voor de CPU dit zorgde voor een lagere temperatuur in de hele case. De Raidkaart is vervangen voor een nieuwe Areca zodat ik de HP SAS Expander de deur uit kon. Geheugen verdubbeld naar 48GB en 2 extra 8TB disks en de download disk geupgrade naar 4TB.

System specifications
Component	Value
Case	NORCO RPC-4224
Processor	Intel(R) Xeon(R) CPU L5630 @ 2.13GHz
RAM	48 GB DDR3
Motherboard	Supermicro X8ST3-F
LAN	4x Ethernet 1Gbps
PSU	Corsair HX850W
Controller	1x Areca ARC-1882ix met 4GB ram en BBU
Disk	12x Seagate IronWolf/Enterprise 8TB (2x RAID-5)
Disk	1 x Seagate ES 4TB (Temp Download)
Disk	2 x WD RE4 500GB (RAID-1) voor VM's
Bruto storage	101 TB
Netto storage	85 TB
OS	VMWare esxi 6.5
Filesystem	NTFS
UPS	APC Smart-UPS 1000

Eindelijk ook uitgevonden waarom mijn raidsets zo slecht in spindown gingen. De Esxi server polde de smart status van de disks elke 30 minuten. Deze functie uit gezet en door de raidkaart zelf laten afhandelen heeft ervoor gezorgd dat het gemiddelde verbruik met 40% is gedaald.

foto van de binnenkant nu:

[Q]

Shunt schreef op vrijdag 22 maart 2019 @ 07:44:
[...]

Ja lekker niet bij je raid set kunnen als je een filnke failure hebt, of tijdens een rebuild de zuster / broeder schijfjes er mee uit vlamen omdat ze allemaal op het einde lopen. En leuk dat iedere keer als iemand iets aan raakt op je raidset dat heel je array gaat draaien. Nee laat mij maar gewoon lekker dat bedrag af tikken ipv allemaal moelijk doen met een linux distro en systemen die eigenlijk veel te complex zijn voor simpel thuis gebruik. Windows is verder ook niet gratis en een deftige raid controller voor 12+ disks is ook niet heel goedkoop zullen we maar zeggen.

Je maakt er een beetje een drama van, maar de werkelijkheid is dat RAID juist super robuust en stabiel is. Je benoemt theoretische en kleine risico's.

Als ik nu weer een nieuwe bak zou bouwen, zou ik wederom voor ZFS of MDADM gaan, super simpel, super stabiel. Zelf nooit problemen gehad en ik draai meerdere arrays.

Het is prima dat jij voor unraid kiest, volgens mij heb jij ook niet de Linux expertise dus is het voor jou misschien ook de betere keuze.

[Q]

Greetoz schreef op vrijdag 22 maart 2019 @ 11:22:
Hier ook weer een update.

[Afbeelding]

Leuk, waarom heb je zoveel geheugen in de machine gestopt?
Hoe zijn de temps van de schijven met die radiator in de airflow, gaat dat goed?

[Shunt]

Q schreef op vrijdag 22 maart 2019 @ 16:40:
[...]


Je maakt er een beetje een drama van, maar de werkelijkheid is dat RAID juist super robuust en stabiel is. Je benoemt theoretische en kleine risico's.

Als ik nu weer een nieuwe bak zou bouwen, zou ik wederom voor ZFS of MDADM gaan, super simpel, super stabiel. Zelf nooit problemen gehad en ik draai meerdere arrays.

Het is prima dat jij voor unraid kiest, volgens mij heb jij ook niet de Linux expertise dus is het voor jou misschien ook de betere keuze.

Oh ik heb zo'n 100 systemen onder mijn beheer gehad op zakelijk gebied met raid en ben daar enigszins verzuurd door geraakt. Al het gezeik dat ik daar mee heb gehad is gewoon niet meer grappig. Voor thuis en dus iets wat lang niet bedrijfskritisch is zie ik geen noodzaak van dure raid controllers en hardware raid.
Voordelen van mixed disk sizes, cost, en gebruiksgemak gaan voor mij dan boven de voordelen van raid.]

Ik heb toen ik mijn oude NAS uit elkaar gepeuterd heb naar zo'n beetje alle mogelijke pakketjes gekeken. ZFS is voor thuis gebruik in mijn mening totaal zijn doel voorbij. Naast leuk want hobby en interesse.

Maar we derailen een beetje

[Greetoz]

Q schreef op vrijdag 22 maart 2019 @ 16:41:
[...]


Leuk, waarom heb je zoveel geheugen in de machine gestopt?
Hoe zijn de temps van de schijven met die radiator in de airflow, gaat dat goed?

Er draaien een aantal servers op, oa een Exchange. 24gb was net te weinig.
De disks zijn tussen de 35 en 45 graden. Dat komt echter vooral door het feit dat de server in de gang kast staat en de warme lucht er een beetje blijft hangen. De disk temp is trouwens bijna hetzelfde met een gewone luchtkoeler. De raidkaart is wel 10c koeler.

[ Voor 8% gewijzigd door Greetoz op 22-03-2019 20:50 ]

[Kecin]

Xanquezer schreef op woensdag 20 maart 2019 @ 19:57:
Ik doe ook maar eens een post hier

Mijn specs:

System specifications
Component	Value
Case	Backblaze
CPU	Intel Xeon E3-1220V2 Boxed8
RAM	8GB, 2x4GB DDR3 EEC, dual-channel
Motherboard	Intel S1200BTL
Operating system	Windows server 2016 datacenter
Controller	Silicon image 3124
Hard drive	15x WD Green HDD, 3TB
Hard drive	10x HGST Ultrastar 4TB
Hard drive	5x HGST Ultrastar 5TB
Hard drive	Samsung 256GB ssd - OS
RAID array configuration	7x raid0 of 2 disks
Netto storage capacity	110 TB (excl ssd)
Network	2x onboard Intel Gigabit, Intel Quad adapter (nic teaming) + ILO
PSU	2* 1000 watt coolermaster 80+ gold
UPS	Nog niet
Idle power usage	idle (alle hdd`s uit) 70-100 watt, stress, zekering klapt eruit...

Kleine note*, is nog under construction.

Pics or didnt happen?
[Afbeelding]

[Afbeelding]

Hoe kom je aan zo'n case? Ik zie prijzen van 10k voorbij komen op hun site, kan natuurlijk via hun gekocht zijn, maar er zijn lijkt me ook andere mogelijkheden?

^{Binnenkort mijn schamele 32 tb setup hier maar eens posten . HP Elitedesk G1, Core i7, 3x6TB, 1x10TB, 1x 4TB, 2x480GB SSD, op een HP SmartArray P420}

[ Voor 4% gewijzigd door Kecin op 22-03-2019 22:46 ]

[Q]

Shunt schreef op vrijdag 22 maart 2019 @ 17:17:
[...]

Oh ik heb zo'n 100 systemen onder mijn beheer gehad op zakelijk gebied met raid en ben daar enigszins verzuurd door geraakt. Al het gezeik dat ik daar mee heb gehad is gewoon niet meer grappig.

Maar we derailen een beetje

Grappig, mijn professionele ervaring is 180 graden omgekeerd. Nooit problemen. Altijd stabiel.
Ik vraag me echt de context af wat er nu werkelijk aan de hand was met die RAID horror-stories.

Maar dan zou ik werkelijk zelf de analyse willen uitvoeren en niet afgaan op wat andere mensen zeggen, gaat alleen niet lukken op een forum

[Xanquezer]

Kecin schreef op vrijdag 22 maart 2019 @ 22:41:
[...]

Hoe kom je aan zo'n case? Ik zie prijzen van 10k voorbij komen op hun site, kan natuurlijk via hun gekocht zijn, maar er zijn lijkt me ook andere mogelijkheden?

^{Binnenkort mijn schamele 32 tb setup hier maar eens posten . HP Elitedesk G1, Core i7, 3x6TB, 1x10TB, 1x 4TB, 2x480GB SSD, op een HP SmartArray P420}

Zoeken, heeeeeell veeeeell geluk hebben en er 1 kopen voor n acceptabel bedrag.

[Shunt]

Q schreef op zaterdag 23 maart 2019 @ 01:44:
[...]


Grappig, mijn professionele ervaring is 180 graden omgekeerd. Nooit problemen. Altijd stabiel.
Ik vraag me echt de context af wat er nu werkelijk aan de hand was met die RAID horror-stories.

Maar dan zou ik werkelijk zelf de analyse willen uitvoeren en niet afgaan op wat andere mensen zeggen, gaat alleen niet lukken op een forum

Tja easy verhaal hoor. Een tiental servers op lastige locaties die problemen hadden met de raid controllers. Van corrupte configs tot gewoonweg dood zijn en stoppen met werken. Meerdere malen issues met disk batches die kapot gingen tijdens rebuilds (gelukkig was alles raid 60.). Om nog maar niet te spreken over de rebuild times (maar dat was te wijten aan het lage budget en dus trage controllers).

Nee voor thuis ben ik een groot fan van keep it simple, stupid and within budget!

[Q]

Shunt schreef op zaterdag 23 maart 2019 @ 11:04:
[...]

Tja easy verhaal hoor. Een tiental servers op lastige locaties die problemen hadden met de raid controllers. Van corrupte configs tot gewoonweg dood zijn en stoppen met werken. Meerdere malen issues met disk batches die kapot gingen tijdens rebuilds (gelukkig was alles raid 60.). Om nog maar niet te spreken over de rebuild times (maar dat was te wijten aan het lage budget en dus trage controllers).

Nee voor thuis ben ik een groot fan van keep it simple, stupid and within budget!

Tja anekdotes, ik heb er ook eentje voor je, niet van mijzelf:

https://www.reddit.com/r/...ce=share&utm_medium=web2x

Ik denk dat jouw slechte ervaringen met RAID andere oorzaken heeft. Maar nogmaals dat kan ik niet via een forum vast stellen, dat zou ik zelf moeten onderzoeken.

Je doet voorkomen alsof het een slecht idee is om thuis RAID toe te passen maar dat is ongegrond. Prima dat jij een andere oplossing kiest, omdat je de risico's anders weegt.

Heel veel mensen kopen een Synology of Qnap en draaien dan ook RAID1 of RAID5/6. Werkt allemaal prima, super robuust. RAID voor thuisgebruik is een prima optie.

[ArcticTiger]

Veel gekeken, nu toch maar eens posten

Mijn huidige setup (voor zolang het nog duurt)

System specifications
Component	Value
Case	SuperMicro 846BA-R920B
CPU	Intel Xeon E3-1230 v6
RAM	64 GB
Motherboard	Supermicro X11SSM-F
Operating system	FreeNAS
Controller	LSI SAS 9207-8i
Hard drive	12 x WD Blue 3,5" (64MB cache, 5400rpm), 4TB
Hard drive	12 x WD Re (WD2000FYYZ), 2TB
Hard drive	2 x Intel 535 2,5" SSD 120GB (boot)
Hard drive	2 x Samsung SM863 480GB (480GB voor jails)
RAID array configuration	1 x Mirror 2 x 480gb, 1 x 2 x Raid-Z2 (12 x 4TB) = 32TB, 1 x 2 x Raid-Z2 (12 x 2TB) = 16 TB
Netto storage capacity	48 TB
Network	2x Onboard Intel Gigabit I210-AT
UPS	-
Idle power usage	~150 Watt
Extra	SAS backplane vervangen voor SAS2 backplane, 2x 2,5" rear hotswap, 2x 2,5" intern, fanwall vervangen voor stillere fans

Een mooi project, veelal gebruikt voor de film collectie en een paar jails.
Helaas nooit echt verder van de grond gekomen.

[iMars]

Vandaag alles eindelijk compleet en kunnen inbouwen...

Hippocampus: 26TB netto storage

    

System specifications
Component	Value
Case	Silverstone Sugo SST-SG11B
CPU	Intel Core i3-8100 Boxed
RAM	2x 16GB Kingston DDR4-2400
Motherboard	Fujitsu D3644-B
Operating system	Ubuntu server
Controller	Onboard sata
Hard drive	6x 5TB 2,5" Seagate (~25TB cold-storage)
Hard drive	Transcend 1TB SSD (boot/docker/hot-storage)
RAID array configuration	Snapraid icm MergerFS
Bruto storage capacity	31TB
Netto storage capacity	26TB
Network	Onboard Intel I219LM
UPS	Nee
Filesystem	Ext4 + MergerFS
Idle power usage	Nog niet bekend

Ik twijfel nog over hoe ik de 6 hdd's ga gebruiken (ZFS/MergerFS+snapraid/iets anders).
Het wordt in ieder geval een pool van 25TB.
Besloten om nu mergerfs i.c.m. snapraid te gebruiken:

$ lsblk 
NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop0         7:0    0  89.3M  1 loop /snap/core/6673
loop1         7:1    0  89.4M  1 loop /snap/core/6818
loop2         7:2    0  88.4M  1 loop /snap/core/6964
sda           8:0    0   4.6T  0 disk 
└─sda1        8:1    0   4.6T  0 part /mnt/parity/1-parity
sdb           8:16   0   4.6T  0 disk 
└─sdb1        8:17   0   4.6T  0 part /mnt/data/disk1
sdc           8:32   0   4.6T  0 disk 
└─sdc1        8:33   0   4.6T  0 part /mnt/data/disk2
sdd           8:48   0   4.6T  0 disk 
└─sdd1        8:49   0   4.6T  0 part /mnt/data/disk3
sde           8:64   0   4.6T  0 disk 
└─sde1        8:65   0   4.6T  0 part /mnt/data/disk4
sdf           8:80   0   4.6T  0 disk 
└─sdf1        8:81   0   4.6T  0 part /mnt/data/disk5
nvme0n1     259:0    0 953.9G  0 disk 
├─nvme0n1p1 259:1    0   512M  0 part /boot/efi
└─nvme0n1p2 259:2    0 953.4G  0 part /
$ df -h
Filesystem      Size  Used Avail Use% Mounted on
udev             16G     0   16G   0% /dev
tmpfs           3.2G  3.8M  3.2G   1% /run
/dev/nvme0n1p2  938G  279G  612G  32% /
tmpfs            16G     0   16G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs            16G     0   16G   0% /sys/fs/cgroup
/dev/loop0       90M   90M     0 100% /snap/core/6673
/dev/loop1       90M   90M     0 100% /snap/core/6818
/dev/loop2       89M   89M     0 100% /snap/core/6964
/dev/nvme0n1p1  511M  6.1M  505M   2% /boot/efi
tmpfs           100K     0  100K   0% /var/lib/lxd/shmounts
tmpfs           100K     0  100K   0% /var/lib/lxd/devlxd
/dev/sdb1       4.6T   89M  4.5T   1% /mnt/data/disk1
/dev/sdc1       4.6T   89M  4.5T   1% /mnt/data/disk2
/dev/sdd1       4.6T   89M  4.5T   1% /mnt/data/disk3
/dev/sde1       4.6T   89M  4.5T   1% /mnt/data/disk4
/dev/sdf1       4.6T   89M  4.5T   1% /mnt/data/disk5
/dev/sda1       4.6T   89M  4.6T   1% /mnt/parity/1-parity
tmpfs           3.2G     0  3.2G   0% /run/user/1000
1:2:3:4:5        23T  440M 22.8T   1% /storage/cold
$ 

En nu vullen maar

Moest vandaag even mijn server open maken, gelijk van de gelegenheid gebruik gemaakt om wat extra foto's te maken van de disks:
     

[ Voor 40% gewijzigd door iMars op 16-01-2020 19:47 ]

[geenwindows]

december 2020:
Om toch nog dit jaar aan de 50TB grens te komen heb ik de afgelopen 2 maanden gekeken wat we nog konden veranderen, Budget is dit jaar niet ruim genoeg voor een algehele upgrade
de wd green 1TB mag zijn laatste rondjes in de NVR verslijten. voor de wd green 2TB heb ik voor nu nog geen plannen mee. Deze 2 zijn vervangen door een 2TB en 6TB hdd (WD Red PLUS (EFRX))
ook heb ik voor de VM's 2x Samsung 970 evo NVME ssd toegevoegd.
de GT710 heb ik er maar weer uit gehaald. de GTX1050ti kan prima de unRAID GUI en Plex Transcode op zich nemen.
de netwerkkaart (Intel PRO/1000 PT Dual Port) is al eerder dit jaar uit dit systeem gehaald en naar mijn OPNsense bakkie gegaan.

2020 update;
Meer hdd's en wat kleine aanpassingen, o.a:
Supermicro AOC-SAS2LP-MV8 vervangen door één LSI SAS 9201-16i, de sas2lp heeft een Marvel controller welke er om bekend staat geregeld een hdd offline te droppen (dit is in een JBOD setup niet zo'n ramp, reboot en het werkt weer, RAID setup is dan weer andere koek)
tevens nog een hdd toegevoegd, een 6TB WD "white label" (externe hdd)
naast opslag heb ik ook nog een 3e GPU toegevoegd, een GTX1050TI, puur voor Plex Transcode.
en omdat ik nog een pcie poort vrij had en een Intel PRO/1000 netwerkkaart had liggen deze ook maar in gebruik genomen.
Kabel management verdient nog verbetering...

in 2017 al eens mijn server build hier laten zien, nu is deze afgelopen 12 maanden flink veranderd.

System specifications
Component	Value
Name	LMFS
Case	Lian Li PC-D8000B
CPU	AMD Threadripper 1950x
RAM	64GB, 4x DDR4 16GB
Motherboard	Gigabyte Aorus X399 Gaming 7
GPU	Asus ROG Strix RX VEGA64 OC edition 8GB - VM
GPU	Gigabyte GeForce GTX 1050Ti D5 4G - unRAID GUI + Plex Transcode
Controller	1x LSI SAS 9201-16i, en Onboard controller
Operating system	Unraid
File Systeeme	XFS en BTRFS
Hard drive	2x Samsung 970 evo NVME
Hard drive	2x Crucial BX100 250GB
Hard drive	2x Crucial MX500 1TB
Hard drive	1x Samsung 850 EVO 250GB
Hard drive	1x Samsung 850 EVO 500GB
Hard drive	2x WD Red 6TB plus
Hard drive	1x WD 'white label" 6TB
Hard drive	5x WD Red 4TB plus
Hard drive	1x WD Red 2TB plus
Hard drive	2x WD Green 4TB
Hard drive	1x Seagate IronWolf 4TB
Hard drive	1x Seagate IronWolf 6TB
Hard drive	1x WD Green 3TB
Hard drive	1x WD Green 1TB
USB stick	Samdisk Ultra fit 16GB - Unraid boot
Bruto storage capacity	66.25TB
Netto storage capacity	52.6TB
UPS	EnerGenie UPS 1500 VA
Idle power usage	onbekend (een betrouwbare energiemeter staat nog op mijn verlanglijstje)

helaas heb ik de de laatste aanpassingen deze week (meer hdd'ss!) vergeten om fatsoenlijke foto's te maken (en voor nu ook een wat oudere foto van het begin stadium gebruikt), deze maak ik wanneer ik weer een reden heb om de kast weer te open (open zijde staat richting de muur en het beestje is best wel zwaard om 'even' van zijn plek te halen )

ik heb zoals je ziet zijn de hardeschijven uit de oude build grotendeels hergebruikt en wat aangevuld, na 3 jaar liep ik toch redelijk tegen zijn capaciteit aan, de komende 3 jaar kan ik er weer even tegenaan
(de behuizing heeft nog 6 hdd plekken vrij (en nog een aantal 5.25 bays))
dit keer ben ik helemaal gek gegaan en ben gegaan voor een volledige openloop watersysteem met EK spul, en om het nog een beetje "raar' te maken, heb ik de pomp+reservoir buiten de behuizing geplaatst. (het is een dichte kast en wou toch wel graag kunnen zien dat er een waterloop in zit )

uiteraard draai ik nog steeds met volle tevredenheid Unraid, enkel heb ik wel last van de "vega reset bug" oftwel wanneer ik een vm afsluit/herstart wordt de gpu niet meer vrij gegeven en dien ik dus de gehele systeem te rebooten, dit is geen unraid dingetje maar een vega/linux ding. ik laat mn desktop VM gewoon aanstaan, scheelt mij weer wat extra moeite doen



oktober '19:
'server' onderhoud.
rode koelvloeistof eruit en nu clear vloeistof erin (hoewel ik het toch nog een beetje smerige kleur vind hebben)


tevens ook een aantal 'onveilige" sata powerkabels vervangen, helaas is de kabel bende nu ietsjes meer een bende dan voorheen.

op de foto ziet het er ernstiger uit dan dat het daadwerkelijk is...



vega reset bug is inmiddels ook verholpen, beetje een dirty hack maar het werkt Unraid is op het moment van schrijven bezig met RC 6.8 waar de amd vega reset bug patch in is verwerkt...
2020 update: nope, patch is niet stabiel en eruit gehaald, hoewel m'n Win10 VM prima werkt, enkel met driver 17.3.x nieuwere driver kan ik op geen enkele manier werkend krijgen, tijdens install verliest beeldscherm de verbinding en Windows loopt vast (geen remote control meer mogelijk) op m'n linux vm blijft de reset bug ook nog steeds aanwezig...

[ Voor 37% gewijzigd door geenwindows op 30-12-2020 21:56 . Reden: December 2020 update ]

[Q]

geenwindows schreef op zaterdag 8 juni 2019 @ 22:09:
in 2017 al eens mijn server build hier laten zien, nu is deze afgelopen 12 maanden flink veranderd.

System specifications
Component	Value
Name	LMFS
Case	Lian Li PC-D8000B
CPU	AMD Threadripper 1950x
RAM	64GB, 4x DDR4 16GB
Motherboard	Gigabyte Aorus X399 Gaming 7
GPU	MSI GeForce GT 710 1GD3H LP - Unraid
GPU	Asus ROG Strix RX VEGA64 OC edition 8GB - VM
Controller	2x Supermicro AOC-SAS2LP-MV8, en Onboard controller
Operating system	Unraid
File Systeeme	XFS en BTRFS
Hard drive	2x Crucial BX100 250GB
Hard drive	1x Crucial MX500 1TB
Hard drive	1x Samsung 830 series SSD 128GB
Hard drive	1x Samsung 850 EVO 250GB
Hard drive	1x Samsung 850 EVO 500GB
Hard drive	2x WD Red 6TB
Hard drive	5x WD Red 4TB
Hard drive	2x WD Green 4TB
Hard drive	1x Seagate IronWolf 4TB
Hard drive	1x WD Green 3TB
Hard drive	1x WD Green 2TB
Hard drive	2x WD Green 1TB
USB stick	Samdisk Ultra fit 16GB - Unraid boot
Bruto storage capacity	53.3TB
Netto storage capacity	40.2TB
Network	onboard Gigabit
UPS	EnerGenie UPS 1500 VA
Idle power usage	onbekend

helaas heb ik de de laatste aanpassingen deze week (meer hdd'ss!) vergeten om fatsoenlijke foto's te maken, deze maak ik wanneer ik weer een reden heb om de kast weer te open (open zijde staat richting de muur en het beestje is best wel zwaard om 'even' van zijn plek te halen )

ik heb zoals je ziet zijn de hardeschijven uit de oude build grotendeels hergebruikt en wat aangevuld, na 3 jaar liep ik toch redelijk tegen zijn capaciteit aan, de komende 3 jaar kan ik er weer even tegenaan
(de behuizing heeft nog 6 hdd plekken vrij (en nog een aantal 5.25 bays))
dit keer ben ik helemaal gek gegaan en ben gegaan voor een volledige openloop watersysteem met EK spul, en om het nog een beetje "raar' te maken, heb ik de pomp+reservoir buiten de behuizing geplaatst. (het is een dichte kast en wou toch wel graag kunnen zien dat er een waterloop in zit )

uiteraard draai ik nog steeds met volle tevredenheid Unraid, enkel heb ik wel last van de "vega reset bug" oftwel wanneer ik een vm afsluit/herstart wordt de gpu niet meer vrij gegeven en dien ik dus de gehele systeem te rebooten, dit is geen unraid dingetje maar een vega/linux ding. ik laat mn desktop VM gewoon aanstaan, scheelt mij weer wat extra moeite doen

[Afbeelding: server in rek]

[Afbeelding: waterkoeling server4]
die RGB op de 2 rams sticks krijg ik niet uit
wat je niet ziet op de foto: 2x 16gb ram sticks (Non-RGB), 2e sas/sata controler, de 'nieuwe' 4 hdd's

Ik heb je in de lijst gezet, maar ik heb wel wat opmerkingen:

1. De 2e foto is onscherp
2. Je kast lijkt een dradenbende, niet een goed voorbeeld, zullen we maar zeggen

Wat ik wel aardig vond is de toepassing van de AOC-SAS2LP-MV8 die ik niet kende. Maar eigenlijk is dit een veredelde Game PC met een zooi schijven er in geslapped. Dat overtreedt in principe de regels.

[geenwindows]

Q schreef op zondag 9 juni 2019 @ 00:14:
[...]


Ik heb je in de lijst gezet, maar ik heb wel wat opmerkingen:

1. De 2e foto is onscherp
2. Je kast lijkt een dradenbende, niet een goed voorbeeld, zullen we maar zeggen

Wat ik wel aardig vond is de toepassing van de AOC-SAS2LP-MV8 die ik niet kende. Maar eigenlijk is dit een veredelde Game PC met een zooi schijven er in geslapped. Dat overtreedt in principe de regels.

1. heb ff een opmerking in m'n bericht toegevoegd.
2. is bij de laatste aanpassing verbeterd, enkel geen foto van
betreft game pc, hier ben ik het niet helemaal mee eens, het is toch echt een server build. het enige wat hem wat meer richting de Game pc plaats is de GPU. (en de cpu is nou ook niet echt een game beest)
hij zit vol met server taken, Plex, unifi, nexcloud en domoticz...

[Q]

geenwindows schreef op zondag 9 juni 2019 @ 00:23:
[...]


1. heb ff een opmerking in m'n bericht toegevoegd.
2. is bij de laatste aanpassing verbeterd, enkel geen foto van
betreft game pc, hier ben ik het niet helemaal mee eens, het is toch echt een server build. het enige wat hem wat meer richting de Game pc plaats is de GPU. (en de cpu is nou ook niet echt een game beest)
hij zit vol met server taken, Plex, unifi, nexcloud en domoticz...

Als je wilt, kun je die 2e foto vervangen door een scherp exemplaar waarbij ook dat kabel management is verbeterd?

[GioStyle]

Geenwindows heeft duidelijk geen last van OCD.

[geenwindows]

Q schreef op zondag 9 juni 2019 @ 10:25:
[...]


Als je wilt, kun je die 2e foto vervangen door een scherp exemplaar waarbij ook dat kabel management is verbeterd?

als ik de volgende aanpassing doe zal ik ff wat betere foto's maken (nu wel een telefoon waar de camera goed werkt), moet ik het natuurlijk niet weer vergeten

GioStyle schreef op zondag 9 juni 2019 @ 10:56:
Geenwindows heeft duidelijk geen last van OCD.

oh ja wel hoor. enkel zit het in een dichte behuizing en dan boeit mij het net ietsjes minder. als het een raampje had dan was ik echt flink getriggert door de verschillende soort kabeltjes, en die stomme RGB ram sticks, zelfs de verschillende soort hdd's zou nog irriteren.

[Renegade666]

Sinds kort ook even met mijn opslag bezig geweest, val nu ook boven de 20+ TB

Helemaal tevree ben ik nog niet, maar laat het eerst zo want, kost veel geld om te willen wat ik wil.
Het is de jaren wat verzameld spul. Schijven zijn vaak wel nieuw. De rest via V/A & MP.

Verder staat hij alleen aan wanneer nodig, dus vaak savonds. Voor de rest gewoon uit.
Voornamelijk film en serie opslag. en 2de backup locatie voor de muziek.

Tabel met systeem info

System specifications
Component	Value
Case	Fractal Design, Type weet ik zo niet
CPU	Intel Core i5 4570
RAM	20GB
Motherboard	Gigabyte GA-Z97-UD5H
Operating system	Windows Server 2019/td]
Controller	HP Smartarray P420 + 1GB + Batterij / Onboard sata controller
Hard drive	5x 4TB WD & Seagate in RAID5
Hard drive	1x 3TB WD
Hard drive	1x 2TB Seagate
Hard drive	1x 2TB Samsung
Hard drive	1x 120GB SSD Samsung Evo 850
RAID array configuration	RAID5 + losse disks atm
Netto Opslag	23TB
Network	10Gbit tussen PC en Server. De rest onboard 1Gbit
UPS	Nee
Filesystem	NTFS
Idle power usage	Geen idee
Extra

In de toekomst nog 3x 4TB er bij doen, en migratie naar RAID6.
De andere 3 losse schijven er dan uit.Anders past het niet

Nog wat pics:

[ Voor 19% gewijzigd door Renegade666 op 10-06-2019 18:45 ]

[Q]

Renegade666 schreef op zondag 9 juni 2019 @ 16:34:
Sinds kort ook even met mijn opslag bezig geweest, val nu ook boven de 20+ TB

...

Fractal kast is altijd goed. Kun je die plaatjes even roteren?

De redundante opslag haalt de drempel eigenlijk niet....

[Renegade666]

@Q
Foto's staan goed op mijn pc. Als ze worden geupload niet meer...

Maar kan beter de hele post verwijderen, omdat hij toch niet voldoet aan de juiste criteria.

[Q]

Als je ze op je PC draait zodat ze daar fout staan, dan staan ze mogelijk goed als je ze upload. Als je dat doet dan strijk ik over mijn hart en mag je toch in de lijst

[M2M]

geenwindows schreef op zaterdag 8 juni 2019 @ 22:09:
in 2017 al eens mijn server build hier laten zien, nu is deze afgelopen 12 maanden flink veranderd.

Ik houdt daar wel van, waterkoeling in je NAS. En dan ook nog een bij elkaar geraapte rij opslag om het af te toppen.

[Switching Power]

Ik zal mijn kleine Plex/nas server ook maar eens laten zien.

System specifications
Component	Value
Case	U-NAS NSC-800
CPU	Intel Xeon D-1587, 16core @ 1,7GHZ
RAM	128GB, 4x 32GB ECC DDR4
Motherboard	SuperMicro X10SDV-16C+-TLN4F
Operating system	Windows Server 2019 Datacenter
Controller	LSI 9340-8i met IT firmware
Hard drive	8x Seagate IronWolf Pro 14TB
Hard drive	4x Samsung SSD 970 PRO 1TB
Hard drive	2x Samsung SSD 860 PRO 2TB
Hard drive	1x Samsung SSD 860 PRO 256GB
RAID array 1 configuration	tiered storage space met de 8x IronWolf in RAID6 en de 4x 970 PRO in RAID10 als cache
RAID array 2 configuration	mirrored storage space met de 2x 860 PRO 2TB
Bruto storage capacity array 1	106TB
Netto storage capacity array 1	77,3TB
Bruto storage capacity array 2	3,73TGB
Netto storage capacity array 2	1,85TB
Network	onboard 10Gbit tussen PC en Server. De rest onboard 1Gbit
UPS	APC Smart-UPS 700
Filesystem	ReFS op array 1 en NTFS op array 2
Idle power usage	90W met idle draaiende disks en 3VM's
Extra	Custom fan bracket voor 3x 50mm fan's en air duct over het hele mainboard

De 77TB pool is in gebruik als data disk voor de plex library en algemene opslag.
Op de 1,8TB pool staat de plex database en VM's die in Hyper-V draaien.

De voeding van de server heb ik over gekocht van mede tweaker @renedis.
Omdat de originele bedrading niet geschikt was voor de behuizing heeft de voeding compleet nieuwe bedrading gekregen.
Voor:

Na:


Omdat dit moederbord maar 1 M.2 en 1 PCIe slot heeft zitten de Nvme SSD's met zijn 4 in een bifurcation riser op het enigste PCIe slot.


De storage controller zit via een M.2 naar PCIe riser net boven de SSDs


Alle hardisk's zitten in de hotswap bays aan de voorkant.

[Q]

Dat is flink wat CPU, RAM en storage in zo’n klein doosje!

[GioStyle]

Dikke setup, volgens mij kan ie met zijn setup zijn hele wijk van Plex voorzien.

[Switching Power]

Ja omdat het zo een klein kastje is heb ik gelijk maar het maximale erin gestopt, het moederbord zit er aan de zijkant ingepropt dus eruit halen om later het RAM te upgraden had ik niet zoveel zin in.

Dit moederbord is te krijgen met en zonder fan op de cpu heatsink, ik heb hem met fan gekocht omdat deze ongeveer €50 goedkoper was en als enigste op voorraad was, maar vanwege de maat van het kastje heb ik de fan bovenop de heatsinker af gehaald en met gevouwen plastic kap en 3 fans een windtunnel over de CPU en RAM gemaakt om alles koel te houden.

En nee we gaan de hele wijk niet van plex voorzien dat mag niet he , familie zou er wel bij kunnen via de OpenVPN server die er ook op draait.

[renedis]

Switching Power schreef op maandag 10 juni 2019 @ 01:30:
Ik zal mijn kleine Plex/nas server ook maar eens laten zien.

Leuk om te zien dat m’n oude voeding zo goed gebruikt wordt netjes ook met de cablesleeving zo!

[Renegade666]

Q schreef op zondag 9 juni 2019 @ 23:49:
Als je ze op je PC draait zodat ze daar fout staan, dan staan ze mogelijk goed als je ze upload. Als je dat doet dan strijk ik over mijn hart en mag je toch in de lijst

Bij deze aangepast.

[Q]

Renegade666 schreef op maandag 10 juni 2019 @ 18:45:
[...]


Bij deze aangepast.

Stukken beter! Laatste stap, als je de kleine template invult en mij stuurt via DM dan gooi ik je in de lijst. De instructie tabel/html code zit in de start post.

Zie hierboven voor wie in de lijst wil (@recente posters)

[ Voor 10% gewijzigd door Q op 10-06-2019 18:56 ]

[Renegade666]

@Q

Done