[Upgrade]Advies upgrade/uitbreiding DIY-NAS

[FREAKJAM]

Ik heb inmiddels al bijna 3 jaar de volgende setup draaien en moet de boel gaan uitbreiden. Ik heb deze vraag ook al eens voorgelegd in het DIY NAS topic, maar ik wil nu keuzes gaan maken, dus daarom toch maar even een eigen topic.

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 V3 Boxed	€ 309,99	€ 309,99
1	Supermicro X10SL7-F	€ 273,25	€ 273,25
6	WD Red WD30EFRX, 3TB	€ 115,95	€ 695,70
1	BitFenix Shadow	€ 66,50	€ 66,50
7	Sharkoon SATA III standard (50cm)	€ 0,-	€ 0,-
1	Kingston ValueRAM KVR16E11K4/32	€ 252,95	€ 252,95
1	Seasonic G-series 360 watt	€ 63,95	€ 63,95
1	Crucial M500 2,5" 240GB	€ 112,93	€ 112,93
Bekijk collectie Importeer producten		Totaal	€ 1.775,27

Ik heb ESXi 6.5 met een aantal virtual machines:

• pfSense (DHCP, DNS & NAT, Internet routing)
• CentOS 7 VM1: ZFS + Samba (RAIDZ2)
• CentOS 7 VM2: Plex Media server (Emby als backup)
• CentOS 7 VM3: NZBGet, Couchpotato, Sonarr
• CentOS 7 VM4: MySQL en nog wat ander rommel om mee te spelen.

Wat ik van plan ben:

• ESXi inruilen voor Rancher, SmartOS, FreeNAS 10 (nog in beta) en Proxmox (heb nog geen keuze kunnen maken, maar ik wil wel 100% zeker overstappen naar lxc en of een docker principe).
• Afscheid nemen van pfSense (Unifi USG Pro 4 ligt al klaar op de planken)
• ZFS pool uitbreiden en/of opnieuw inrichten. Ik heb nu 6x3TB RAIDZ2 draaien, maar de pool begint aardig vol te lopen (89%). Ik heb advies nodig bij het uitbreiden van mijn storage. Ik kan er een hoop disken bij plaatsen en een 2de vdev toevoegen aan mijn pool, of een nieuwe grote pool inrichten. Mijn Supermicro X10SL7 moederbord beschikt over 14 poorten, dus in principe kan ik er een 2de VDEV van 6 disken bij steken. Sweet spot is een nieuwe 10 disk RAIDZ2 pool, maar ik wil ook geen overkill. Heel veel disken betekent ook dat ik waarschijklijk een nieuwe case moet gaan kopen en een andere psu, aangezien mijn huidge maar 360 watt aan kan.

Wat is de beste aanpak qua storage?
Ik heb geen 2de systeem tot mijn beschikking, dus data overpompen met zfs send/receive wordt lastig. Wellicht dat ik het lokaal op de server zelf kan regelen, omdat ik poorten vrij heb op mijn moederbord. Probleem is wel dat ik nu passthrough gebruik naar een VM. Zou betekenen dat ik lokaal FreeNAS of iets dergelijks moet booten en daar de boel moet overzetten. Ik draai verder eigenlijk al jaren met weinig issues (paar uitzondering na) RAIDZ2 met 6 disks dus daar ben ik eigenlijk wel tevreden over. Ik zie het bijvoorbeeld ook wil zitten om te migreren naar 6x6TB of 6x8TB.

Door het bij 6 drives te houden hoef ik mijn case en voeding ook niet te vervangen en dat vind ik persoonlijk ook best wel prettig. Qua storage voor mijn VM's ben ik van plan een grotere SSD te gaan nemen. Mijn Plex Metadata draait nu ook op ZFS en mijn zpool wordt ook gebruikt tijdens het transcoden en dat gaat niet helemaal vlekkeloos. Wanneer 2 mensen remote tegelijkertijd iets via Plex kijken, is het bijna altijd ellende (Plex crashed continue en de 2 streams krijgen bijna letterlijk ruzie met elkaar). Ik wil het liefst dus een grote SSD voor mijn VM/container data + plex metadata. Idem dito voor mijn OS. Ik boot nu ESXi vanaf een usb-stick, maar ik zie het ook wel zitten om een SSD in te gaan zetten voor mijn OS.

RAID1 voor VM/container storage en mijn OS (dus in totaliteit 4 SSD's) heb ik nu voor ogen. Ik kan er een Crucial M500 bij kopen en die samen mijn de SSD uit mijn huidige setup gebruiken voor RAID1 SSD, en 2 nieuwe SSD's gebruiken voor VM/container storage. (Ik ben er alleen nog niet over uit welke).

Idem dito voor de 6TB of 8TB drives. Ik lees hier en daar veel artikelen dat 8TB drives op dit moment nog niet optimaal zijn voor ZFS gebruik.

Some drives 8TB and larger are using SMR (Shingled Magnetic Recording) which should not be used with ZFS if you care about performance until drivers are developed. Be careful about any drive that says it’s for archiving purposes.

Iemand ervaring met dan wel 6TB of 8TB drives die men van harte kan aanraden? Rest mij alleen nog de migratie tactiek en wat de doen met mijn "oude" drives. Ik heb 6 WD-RED's die ik inmiddels 3 jaar in gebruik heb en een 7de die nog nieuw op de plank ligt (backup). Hopelijk kan ik die verkopen en er nog iets aan verdienen. Persoonlijk denk ik dat +10 drives (dus een setup met 2 vdev's bijvoorbeeld) overkill is, ook qua stroomkosten.

Heb ik wellicht nog iets over het hoofd gezien of heeft iemand anders een bright idea?

[FREAKJAM]

Ondanks (nog) geen reactie toch nog een vraag aangezien ik toch keuzes moet gaan maken.

Ik ben van plan mijn cpu + memory + mobo en hard-drives te verhuizen naar een nieuw chassis en te gaan uitbreiden met een 2de vdev. Ik heb een 3U case op het oog, welke compatible is met een standaard PSU.

Ik ben voornemens alles bare-metal (Linux + ZFS + Docker + Portainer/Rancher) te gaan draaien, zonder virtualisatielaag. Kan iemand mij adviseren hoe ik het beste mijn drives kan aansluiten in deze case? Ik ben van plan er een 2de vdev bij te gaan plaatsen van 6 drives, waardoor ik op een totaal kom van 12 SATA-drives. Ik ga SSD's inzetten voor het OS en Dockerstorage. Ik twijfel nog of ik 2 SSD's ga inzetten in een mirror (OS + docker-storage op zelfde drives) of dat ik het ga splitsen (2x mirror voor zowel OS als docker-storage). Ik kan uiteindelijk 4 SSD's kwijt in het chassis, dus dat is geen probleem. (je kunt een extra drive carrier erbij plaatsen).

Waar ik voornamelijk mee zit, is dat ik niet weet hoe ik alle drives moet aansluiten in een dergelijke case die beschikt over mini-sas poorten (SFF-8087). Ik heb hier helemaal geen ervaring mee en ondanks dat ik veel forums heb gelezen (FreeNAS, Reddit, Unraid fora etc), snap ik het eigenlijk nog steeds niet. (ben ook nooit een hardware man geweest). Sommige mensen spreken over het plaatsen van een sas expander om deze vervolgens aan te sluiten op de LSI2308, andere zeggen dat de expander overbodig is en dat je de sas-connectoren van de case kunt gebruiken.

TL;DR

• Hoe sluit ik deze 12 SATA drives aan op mijn moederbord in combinatie met genoemde case?
• Welke kabels heb ik allemaal nodig?
• Heb ik een sas expander nodig? (bijv een Intel RES2SV240)

Wanneer bovenstaand helder is ga ik nog even opzoek naar een geschikte PSU en nieuwe hard drives, maar dat gaat wel goed komen denk ik zo.

[ Voor 11% gewijzigd door FREAKJAM op 10-03-2017 14:21 ]

[FlorisVN]

Collega van mij heeft praktisch dezelfde case alleen dan 4U dacht ik.
Hij gebruikt de SAS aansluitingen allemaal op 2 Highpoint RocketRAID 2720SGL kaartjes.
Link : pricewatch: Highpoint RocketRAID 2720SGL

Alles draait in RAID6 met HOST OS Server 2012R2.

Dus zo kan je het ook doen..

[Verwijderd]

Ik ben voornemens alles bare-metal (Linux + ZFS + Docker + Portainer/Rancher) te gaan draaien, zonder virtualisatielaag

Niet echt storage gerelateerd maar; Mag ik vragen waarom? Het grote voordeel van container based werken is schaalbaarheid en een voorbereidende stap naar FaaS achtige hosting. De applicaties die je gebruikt zijn zo goed als allemaal statisch.
Het implementeren van een container omgeving introduceert alleen maar complexiteit die niets toevoegt aan de functionaliteit van je omgeving.

Leuk om mee te spelen is het natuurlijk altijd maar voor deze workloads is virtualisatie nog altijd the way to go.

[ Voor 10% gewijzigd door Verwijderd op 10-03-2017 15:39 ]

[FREAKJAM]

FlorisVN schreef op vrijdag 10 maart 2017 @ 15:28:
Collega van mij heeft praktisch dezelfde case alleen dan 4U dacht ik.
Hij gebruikt de SAS aansluitingen allemaal op 2 Highpoint RocketRAID 2720SGL kaartjes.
Link : pricewatch: Highpoint RocketRAID 2720SGL

Alles draait in RAID6 met HOST OS Server 2012R2.

Dus zo kan je het ook doen..

Thanks. Vrij dure kaartjes wel. Op de Intel zitten volgens mij een stuk meer poorten.

Verwijderd schreef op vrijdag 10 maart 2017 @ 15:38:
[...]


Niet echt storage gerelateerd maar; Mag ik vragen waarom? Het grote voordeel van container based werken is schaalbaarheid en een voorbereidende stap naar FaaS achtige hosting. De applicaties die je gebruikt zijn zo goed als allemaal statisch.
Het implementeren van een container omgeving introduceert alleen maar complexiteit die niets toevoegt aan de functionaliteit van je omgeving.

Leuk om mee te spelen is het natuurlijk altijd maar voor deze workloads is virtualisatie nog altijd the way to go.

Ik heb nu een aantal VM's draaien waar ik alle genoemde applicaties op draai. Van alle deze applicaties is een docker image te verkrijgen en met behulp van Watchtower kun je je docker images automatisch updaten. Networking en firewalling en dergelijke (zowel in ESXi als pfSense) heb ik ooit niet meer nodig, aangezien ik een USG Pro 4 op de plank heb liggen. Waarom ZFS ia passthrough doorgeven aan een VM binnen ESXi als je met docker ZFS direct kunt aanspreken?

Ik zie eigenlijk alleen maar voordelen

[Verwijderd]

Goede pagina die mijn punt nog eens goed benadrukt; De grote hoeveelheid complexiteit die je toevoegt om het geheel te laten draaien. Zowel een bloated OS waar van alles mis kan gaan als het inrichten en bijhouden van Docker.

Dit vergeleken met een Vmware omgeving met hardware HBA passthrough waarbij je ook directe toegang tot de ZFS laag hebt in een VM.

De voordelen in het verhaal mis ik ook compleet maar dat kan aan mij liggen. Don't get me wrong; Ik draai een soortgelijke, iets uitgebreidere omgeving maar dan met Emby (Ik snap niet waarom men Plex gebruikt, maar dat is een andere discussie:) ) Ik heb ook naar Docker/Rocket gekeken om de mogelijkheden uit te breiden maar ik heb de juiste argumenten niet gevonden. Prove me wrong. Graag zelfs!

VMware/KVM en Docker sluiten elkaar trouwens niet uit. Je kan een omgeving bouwen waarbij je beide combineert. Dit doe je feitelijk al wanneer je Docker in een public cloud gebruikt.

[ Voor 5% gewijzigd door Verwijderd op 13-03-2017 09:26 ]

[FREAKJAM]

Een Ubuntu LTS installatie hoeft toch niet zozeer bloated te zijn? Je installeert enkel de basis en je installeert vervolgens Docker. Ik heb veel opties overwogen trouwens, zo ook de nieuwe FreeNAS versie waar inmiddels een RC van is gereleased en Proxmox. CoreOS (inmiddels hernoemd naar Container Linux) en SmartOS (Joyent Triton) heb ik ook allemaal overwogen. Persoonlijke ontwikkeling speelt ook mee in mijn keuze: Ik wil iets anders leren en docker of een andere "container-os" lijkt me zeer interessant.

Nadeel met passthrough is dat ik een hele HBA moet doorgeven, dat dat gaat sowieso betekenen dat ik er een 2de HBA bij dien te plaatsen. Je zegt dat je een soortgelijke/uitgebreidere omgeving draait. Wat draai je dan precies?

Wat betreft Emby; ik snap je punt. Ik gebruik het privé ook in combinatie met Kodi. Ik gebruik eerder Plex om mijn vrienden tevreden te stellen. Ik ben nog ooit voornemens alles om te zetten naar Emby.

Mijn meest belangrijke vraag blijft trouwens nog wel onbeantwoord: hoe ik het het beste alle drives dien aan te sluiten wanneer verdeeld over 2 vdev's in een dergelijke case en welke kabels ik dan nodig heb. De keuze voor een OS moet nog gemaakt worden denk ik zo. Je brengt mij in ieder geval wel weer aan het twijfelen

edit:
zpool is inmiddels ook 91% vol en scrub-snelheid is nu ook echt om te huilen
Toch maar even wat schonen voor nu..

scan: scrub in progress since Mon Mar 13 01:00:01 2017
9.07T scanned out of 14.8T at 297M/s, 5h40m to go
0 repaired, 61.11% done

[ Voor 10% gewijzigd door FREAKJAM op 13-03-2017 10:19 ]

[Zsub]

Gerelateerd aan je hele passthrough-dilemma, je overweegt in de TS Proxmox. Ik heb daar zelf een tijdje geleden mee gespeeld en het ziet er handig uit. Volgens mij kan het tegenwoordig ook ZFS, dus draait je pool gewoon bare metal en vervolgens kan je delen van je pool doorzetten naar VMs, of via NFS bijvoorbeeld integraal doorzetten.

Krijg de indruk dat dat een groot deel van de complexiteit weg zou nemen?