Tijd voor mijn eerste topic in lange tijd. Een custom NAS welke ik afgelopen maanden heb gebouwd en gegeven het donkere uiterlijk van de front cover maar de naam "Data Monolith" heb gegeven. 
Achtergrond
Iedere paar jaar wissel ik van NAS/techniek. Deze iteratie had ik meer ruimte nodig om een hoop grote backups te consolideren, wilde ik remote management (LOM) en wilde ik geen gebruik meer maken van de mogelijkheid om de NAS aan mijn tv te hangen. Op deze manier kon ik wat meer kijken naar "echte" server hardware. Dit gaf ook ruimte aan waar de NAS gehangen kon worden (hoeft nu niet meer in de buurt van de televisie) en de meterkast leek de ideale plaats.
Techniek
Qua hardware zit er een Asrock C2750D4I in met 16GB ECC low voltage memory op 1600MHz. 5x 4t WD RED HDDs zorgen voor de storage en een 840 EVO van 256 GB zorgt voor OS en cache disks. Power wordt geleverd door een 150W Picopsu en iedere HDD heeft een eigen buffer. 4 Everflow 40mm PWM fans zorgen voor zeer stille koeling.
Dit alles draait Ubuntu LTS en ZFS (ZoL) voor het filesysteem.
Cardboard prototype
Alvorens te beginnen met ontwerpen en bouwen wilde ik eerst kijken of alles paste. Daarom ben ik begonnen met een stuk karton en wat oude/nieuwe onderdelen.

Eerste cut-out


Proefliggen

Bij het eerste ontwerp wilde ik 4 individuele fan-mounts.
Proefhangen

Zoals je ziet, weinig plek in de meterkast voor een normale case, maar plek genoeg voor een metertje hardware.
Design
Nadat het kartonnen deel klaar was heb ik alles getekend in een 3d pakket zodat het gefabriceerd kon worden.

Base, 3mm alu. 880x220 mm

Cover, 3mm plexiglas.
Cover

De uiteindelijke 2 kleuren welke ik het mooiste vond. Dit is verkrijgbaar in alle kleuren van de regenboog. De donkere kleur is het uiteindelijk geworden.

Gefabriceerde cover kwam binnen. Door de 45mm hoogte moest het na het buigen gezaagd worden wat wat lelijke randen gaf. Deze zie je toch niet dus niets aan gedaan.
Base

Het uiteindelijke ontwerp is ietsje langer dan mijn eerste versie.

Hardware proefliggen.

Helaas de gaten te dicht bij de rand ontworpen. Ook een nare lijn erin door buigen.

Ook deze grote gaten bogen niet goed.
Omdat de buiging en bewerkingen van de aluminium plaat toch lelijke plekken achter liet heb ik de base laten afvlakken alvorens te laten anodiseren. Dit is met wat kans 's werelds platste case
Anodiseren

Meer kleurtjes om te kiezen.

Het donker blauw-grijze resultaat.

Demping

Er zitten speciale grommet dempers van 3mm diepte in met bijpassende schroeven zodat het niet te vast aangedraaid kan worden waardoor de demping vermindert. Dit was initieel niet de bedoeling maar de custom dempers die ik wilde waren niet te krijgen (tegen een redelijke prijs).
Sata board
Omdat de Picopsu nu niet echt 's werelds meest stabiele PSU is en omdat ik graag per-disk SATA activity wilde zien heb ik een klein PCB'tje ontworpen. De 12 en 5v rail hebben ~500uF per stuk en er is een transistortje wat een led aanstuurt zodat we niet de maximale stroom van de SATA spec overschrijden.

Alle grote onderdelen voor de SATA bordjes bij elkaar.


Dit is een ander SATA bruggetje wat ik van Ebay heb om even te kijken of het paste.

Custom bordjes binnen.

4/5 gebouwd en getest.
Opbouw

Gewoon zoals een normale case alles erin en erop schroeven.

Koeling door 4 PWM 40mm fans.
Plaatsing




Mocht je nog vragen hebben or meer plaatjes willen dan hoor ik het graag en zal ik het topic aanpassen. Meer plaatjes en een andere build blog plus metingen van de hardware is te vinden op mijn blog.
Update Jan 2017
Mid 2016 ging de IPMI controller (remote login) van de Asrock C2750D4I stuk. Dit viel nog onder garantie van de fabrikant en dus moest het moederbord terug. Deze RMA duurde zo lang dat ik van de nood maar een deugd heb gemaakt en de server een mid-life update heb gegeven.
Omdat de tijd niet stilstaat is er een Supermicro X10SDV-4C-TLN2F in gegaan. Deze heeft een Intel D-1521 Broadwell Xeon SOC met 4 + 4 HT cores en 10 gigabit netwerk aan board. De 6 sata poorten zijn genoeg voor de disks en er is een M.2 NVME aanwezig voor een SSD. Deze Xeon-on-a-chip kan 45 watt verstoken, wat leidde tot problemen met de bestaande koeling. Onder load ging de CPU naar 100+c en dus moest er iets gedaan worden.
Voor het OS/cache is een Samsung SM961 256Gb M.2 SSD erbij gekomen wegens de zeer hoge I/O snelheden. Voor het geheugen is er 32Gb 2133Mhz DDR4 ECC ingeprikt. Het is allemaal een beetje overkill maar ZFS vindt het prima
Om de hitte-problemen aan te pakken wilde ik niet de fans vergroten maar de flow beter krijgen. Ik heb een poging gedaan een andere koeler te krijgen maar dat was geen succes (1 miskoop en er bestaat een mooie 1u koperen unit maar die is alleen in de US goed verkrijgbaar en de transportkosten waren afschrikwekkend
) Dus als eerste heb ik een prototypetje fan-rack laten printen in 3d (via 3dhubs.com, Lacko's hub in Amsterdam) om de server in 2 delen op te delen. Daar is er met een stukje karton een air-shroud gemocked voor de CPU. Dit werkte prima en de CPU is nu 59 idle en 75 onder 100% load.


Je kunt hier ook de geplaatste NVME SSD al zien onder een 3-tal heatsinks rechtsonder net onder de SATA kabels. Het fan rack en de air-shroud heb ik daarna ontworpen met TinkerCad en laten printen door verschillende hubs (Alex' en Rence' hubs).


Tinkercad had niet alle opvulling goed maar dat was niet zo'n probleem (zie spleetje tussen de T en de H bijvoorbeeld). Het resultaat zag er best ok uit en was sterk genoeg. Na nog een klein beetje vijlwerk en wat finetuning paste het prima.
Er zit een plexiglas cover over de server welke de bovenkant afsluit, op deze manier is er nog iets iets zichtbaar.


Er zaten al 5 WD Red 4Tb schijven in maar ik wilde graag een hot spare in mijn ZFS zpool hebben dus moest de SSD plaats maken. Bij het originele ontwerp van de server had ik daar al rekening met gehouden dat dat ooit kon gebeuren dus was het slechts een kwestie van wat gaatjes uitboren en mounten. De 840 EVO is met pensioen gegaan en een verse WD Red 4Tb pakt nu de ruimte in.


Als laatste heb ik een HDD pcb'tje (via Ebay) toegevoegd welke met een led laat zien of de disk draait. Deze active spare moet niet draaien als er niets te doen is. Dat was makkelijk geregeld met hdparm in Linux en zo heb ik nog wat visuele feedback.

En daarmee moet de server weer een tijdje mee. De volgende upgrade zal een 10gbps netwerk zijn in andere computers in huis zodat we wat kunnen doen met al deze nieuwe bandbreedte. (Of het ook echt nodig is? Ehrm...
)
Achtergrond
Iedere paar jaar wissel ik van NAS/techniek. Deze iteratie had ik meer ruimte nodig om een hoop grote backups te consolideren, wilde ik remote management (LOM) en wilde ik geen gebruik meer maken van de mogelijkheid om de NAS aan mijn tv te hangen. Op deze manier kon ik wat meer kijken naar "echte" server hardware. Dit gaf ook ruimte aan waar de NAS gehangen kon worden (hoeft nu niet meer in de buurt van de televisie) en de meterkast leek de ideale plaats.
Techniek
Qua hardware zit er een Asrock C2750D4I in met 16GB ECC low voltage memory op 1600MHz. 5x 4t WD RED HDDs zorgen voor de storage en een 840 EVO van 256 GB zorgt voor OS en cache disks. Power wordt geleverd door een 150W Picopsu en iedere HDD heeft een eigen buffer. 4 Everflow 40mm PWM fans zorgen voor zeer stille koeling.
Dit alles draait Ubuntu LTS en ZFS (ZoL) voor het filesysteem.
Cardboard prototype
Alvorens te beginnen met ontwerpen en bouwen wilde ik eerst kijken of alles paste. Daarom ben ik begonnen met een stuk karton en wat oude/nieuwe onderdelen.

Eerste cut-out


Proefliggen

Bij het eerste ontwerp wilde ik 4 individuele fan-mounts.
Proefhangen

Zoals je ziet, weinig plek in de meterkast voor een normale case, maar plek genoeg voor een metertje hardware.
Design
Nadat het kartonnen deel klaar was heb ik alles getekend in een 3d pakket zodat het gefabriceerd kon worden.
Base, 3mm alu. 880x220 mm
Cover, 3mm plexiglas.
Cover

De uiteindelijke 2 kleuren welke ik het mooiste vond. Dit is verkrijgbaar in alle kleuren van de regenboog. De donkere kleur is het uiteindelijk geworden.

Gefabriceerde cover kwam binnen. Door de 45mm hoogte moest het na het buigen gezaagd worden wat wat lelijke randen gaf. Deze zie je toch niet dus niets aan gedaan.
Base

Het uiteindelijke ontwerp is ietsje langer dan mijn eerste versie.

Hardware proefliggen.

Helaas de gaten te dicht bij de rand ontworpen. Ook een nare lijn erin door buigen.

Ook deze grote gaten bogen niet goed.
Omdat de buiging en bewerkingen van de aluminium plaat toch lelijke plekken achter liet heb ik de base laten afvlakken alvorens te laten anodiseren. Dit is met wat kans 's werelds platste case
Anodiseren

Meer kleurtjes om te kiezen.

Het donker blauw-grijze resultaat.

Demping

Er zitten speciale grommet dempers van 3mm diepte in met bijpassende schroeven zodat het niet te vast aangedraaid kan worden waardoor de demping vermindert. Dit was initieel niet de bedoeling maar de custom dempers die ik wilde waren niet te krijgen (tegen een redelijke prijs).
Sata board
Omdat de Picopsu nu niet echt 's werelds meest stabiele PSU is en omdat ik graag per-disk SATA activity wilde zien heb ik een klein PCB'tje ontworpen. De 12 en 5v rail hebben ~500uF per stuk en er is een transistortje wat een led aanstuurt zodat we niet de maximale stroom van de SATA spec overschrijden.

Alle grote onderdelen voor de SATA bordjes bij elkaar.

Dit is een ander SATA bruggetje wat ik van Ebay heb om even te kijken of het paste.

Custom bordjes binnen.
4/5 gebouwd en getest.
Opbouw

Gewoon zoals een normale case alles erin en erop schroeven.
Koeling door 4 PWM 40mm fans.
Plaatsing




Mocht je nog vragen hebben or meer plaatjes willen dan hoor ik het graag en zal ik het topic aanpassen. Meer plaatjes en een andere build blog plus metingen van de hardware is te vinden op mijn blog.
Update Jan 2017
Mid 2016 ging de IPMI controller (remote login) van de Asrock C2750D4I stuk. Dit viel nog onder garantie van de fabrikant en dus moest het moederbord terug. Deze RMA duurde zo lang dat ik van de nood maar een deugd heb gemaakt en de server een mid-life update heb gegeven.
Omdat de tijd niet stilstaat is er een Supermicro X10SDV-4C-TLN2F in gegaan. Deze heeft een Intel D-1521 Broadwell Xeon SOC met 4 + 4 HT cores en 10 gigabit netwerk aan board. De 6 sata poorten zijn genoeg voor de disks en er is een M.2 NVME aanwezig voor een SSD. Deze Xeon-on-a-chip kan 45 watt verstoken, wat leidde tot problemen met de bestaande koeling. Onder load ging de CPU naar 100+c en dus moest er iets gedaan worden.
Voor het OS/cache is een Samsung SM961 256Gb M.2 SSD erbij gekomen wegens de zeer hoge I/O snelheden. Voor het geheugen is er 32Gb 2133Mhz DDR4 ECC ingeprikt. Het is allemaal een beetje overkill maar ZFS vindt het prima
Om de hitte-problemen aan te pakken wilde ik niet de fans vergroten maar de flow beter krijgen. Ik heb een poging gedaan een andere koeler te krijgen maar dat was geen succes (1 miskoop en er bestaat een mooie 1u koperen unit maar die is alleen in de US goed verkrijgbaar en de transportkosten waren afschrikwekkend
Je kunt hier ook de geplaatste NVME SSD al zien onder een 3-tal heatsinks rechtsonder net onder de SATA kabels. Het fan rack en de air-shroud heb ik daarna ontworpen met TinkerCad en laten printen door verschillende hubs (Alex' en Rence' hubs).
Tinkercad had niet alle opvulling goed maar dat was niet zo'n probleem (zie spleetje tussen de T en de H bijvoorbeeld). Het resultaat zag er best ok uit en was sterk genoeg. Na nog een klein beetje vijlwerk en wat finetuning paste het prima.
Er zit een plexiglas cover over de server welke de bovenkant afsluit, op deze manier is er nog iets iets zichtbaar.
Er zaten al 5 WD Red 4Tb schijven in maar ik wilde graag een hot spare in mijn ZFS zpool hebben dus moest de SSD plaats maken. Bij het originele ontwerp van de server had ik daar al rekening met gehouden dat dat ooit kon gebeuren dus was het slechts een kwestie van wat gaatjes uitboren en mounten. De 840 EVO is met pensioen gegaan en een verse WD Red 4Tb pakt nu de ruimte in.
Als laatste heb ik een HDD pcb'tje (via Ebay) toegevoegd welke met een led laat zien of de disk draait. Deze active spare moet niet draaien als er niets te doen is. Dat was makkelijk geregeld met hdparm in Linux en zo heb ik nog wat visuele feedback.
En daarmee moet de server weer een tijdje mee. De volgende upgrade zal een 10gbps netwerk zijn in andere computers in huis zodat we wat kunnen doen met al deze nieuwe bandbreedte. (Of het ook echt nodig is? Ehrm...

[ Voor 27% gewijzigd door DennisF op 22-01-2017 09:25 . Reden: Typos, opmaak, 2017 update ]