Nieuwe ZFS server met virtualisatie

[maomanna]

Na al het lezen van de ZFS, DIY NAS en zuinige server topics ben ik een beetje het spoor bijster.

Nu ben ikzelf opzoek naar een vervanger voor mn huidige "server" of hoe je het ook wilt noemen.

Momenteel ben ik in het bezit van een
- AMD E350 ITX mobo met 6 satapoorten
- 2x 4tb (JBOD)
- 2x 1tb in raid1
- 1x 2tb (jbod)
- 1x 60gb Vertex3 SSD (OS - Ubuntu server 14.04 LTS)
- 4gb DDR3
- Chenbro case (4x hotswap)

Heb nog een aantal 2TB schijven en 1 4TB schijf liggen.

Wordt momenteel ingezet voor:
- fileserving (NFS, SMB, FTP)
- downloaden (SABNZBD, Sickbeard, Couchpotato, Deluge)
- mysql (paar kleine DB's (Youless en wat arduino dumps)

- Wat ik ermee wil gaan doen?
- Het bovenstaande
- NVR
- Unifi controller
- Testdingetjes

Budget?

+- 400,-

Makkelijk uit kunnen breiden met schijven zou zeer prettig zijn.

Nu wil ik eigenlijk meer opslag creëren en over gaan naar ZFS, met 1 parity disk (RAID-Z?)
Wat op de 4TB's staat, zijn maar films en series, dus indien verloren is er niks aan de hand.
Voor de 2x 1TB zou dat dramatisch zijn.
Ook zou ik wel wat dingen willen virtualiseren.
Het mooiste zou zijn als ik alles in een eigen VM kan zetten.
Nu vraag ik mij af wat dan het meest handig is?
Esxi bare-metal en dan alles in losse VM's?
Of een *nix OS erop met ZFS en dan via VirtualBox de rest laten lopen? Zoja welk OS?

Heb ik voor ZFS echt ECC nodig? of volstaat voor simpel thuisgebruik ook normaal DDR3 geheugen?
^{Discussie gevonden, niet nodig voor mijn gebruik}

Nu zit ik aan het volgende te denke qua hardware:

#	Product	Prijs	Subtotaal
1	Intel Core i3 4130 Boxed	€ 113,50	€ 113,50
1	ASRock B85M Pro4	€ 64,-	€ 64,-
1	ASRock H97 Pro4	€ 87,50	€ 87,50
2	Crucial CT102464BA160B	€ 44,50	€ 89,-
1	Dell PERC H310 Integrated RAID Controller Full Height (405-12172)	€ 95,28	€ 95,28
1	Cooler Master GM G450M	€ 52,50	€ 52,50
Bekijk collectie Importeer producten		Totaal	€ 501,78

Staan nog 2 Mobo's in, geen idee welke ik het beste kan gebruiken.
De genoemde Dell H310 wil ik flashen naar IT zodat ik m voor ZFS kan gebruiken.
Ik zie dat er veel Celeron G1840 voorbij komen. Dat plus een beetje meer power zou dan wenselijk zijn.
Dit bedrag wat hier staat is wel boven mn budget, dus als het lager kan zou dat geweldig zijn.

==== edit ====
Thnx modje voor t juist verplaatsen
==== /edit ====

Groeten,
Maomanna

[Verwijderd]

Ik heb je post even in een nieuw topic gegoten.

Wat betreft je wensen:

Je kunt partities op je disks maken zodat je bijvoorbeeld twee pools kunt maken. Eén als mirror over al je disks. En de ander als RAID-Z die veel groter is en de bulk data opslaat. Voordeel is dus dat je eerste mirror pool veel veiligheid biedt; met 4 schijven bijvoorbeeld kunnen er dan 3 stuk gaan, en dan heb je nog steeds je data. Dat in combinatie met ZFS snapshots zorgt voor een goede bescherming van je gegevens en daar hoef je dus niet veel voor te doen.

Echter, je wilt ook een heleboel dingen erop draaien. Je kunt overwegen om dit te splitsen. Dat maakt het allemaal wel eenvoudiger en ook robuuster. Dus een ZFS server met misschien torrent of wat andere dingen erop, maar niet teveel. En een ander systeempje voor wat testdingetjes en andere zaken die je bijvoorbeeld een ander OS (Ubuntu) kunt laten draaien. Dan gebruik je dus netwerkopslag. Als protocol kun je NFS gebruiken of CIFS (Samba).

Over ECC heb ik al wat gezegd in onze DM-thread, en je hebt inmiddels het ECC topic gevonden. Zijn er nog verdere vragen over dit onderwerp?

Bedenk dat als je voor een onboard Realtek van ASRock gaat, je beter een Intel CT kaartje van een paar tientjes kunt opnemen in je lijstje. Want dat werkt veel beter dan met name de Realtek chip die in de B85M Pro4 zit, en ook in andere bordjes van ASRock.

Geheugen kun je beter doen; CL9 op 1,35 volt is nu standaard. Lager kan ook voor een meerprijs.

Die controller ken ik niet, maar het is een LSI SAS2008 controller? Indien je hem naar IT-mode firmware kunt flashen, werkt dat denk ik prima. Maar je kunt dan ook overwegen om een SuperMicro serverbordje te kopen en het iets luxer te doen; dat je gewoon Mini-SAS op je moederbord hebt. Dat is natuurlijk wel gaaf. En dan ligt ECC ook meer voor de hand; omdat je dan alles hebt wat ECC ondersteunt.

Je processor is alleen wel jammer in die zin dat hij weinig cores heeft. Je kunt voor ZFS beter meer cores op iets lagere frequency draaien. Maar volgens mij ondersteunen de normale Core i3's wel weer ECC en de i5's niet. Een Xeon-chip kun je ook overwegen. Zo duur zijn ze niet. Daar zijn ze meer scheutig met cores op lagere frequency.

[SanderH_]

Opletten met die Dell PERC H310. Deze staat blijkbaar verkeerd in de Pricewatch. Had ik een tijd geleden al eens gemeld maar is nog niet aangepast.

Je wilt dit model, niet het model waar de Pricewatch naar doorlinkt.

[maomanna]

Klopt inderdaad! De eerste is degene die ik wil. thans een controller die goed geprijsd is met 2x sas.
Het nemen van een moederbord met SAS aansluitingen, maakt het geheel fors duurder.
Heb moederborden bekeken die 14+ satapoorten biedt, maar zijn boven mijn budget, waardoor ik goedkoper uit ben met de controller.

Xeon's zijn zeg maar de droom, maar dan hou ik weinig budget over, daar de goedkoopste +- 210,- kost.
Een mooie intel quadcore, uit de normale reeks zou dan afdoende zijn.

Ik zit nu met name dus alleen met de CPU nog. Welke

Naar het geheugen ga ik eens kijken.

Het geheel hoeft niet razend snel te draaien, zolang het laden van een webpagina oid maar geen minuten duurt.

Welk host OS is aan te raden?

=========== edit =============
Een mobo met meer satapoorten en zwaardere cpu:

#	Product	Prijs	Subtotaal
1	Intel Core i5 4440 Boxed	€ 179,-	€ 179,-
1	Gigabyte GA-Z87X-OC Force	€ 172,46	€ 172,46
2	Crucial CT102464BA160B	€ 44,50	€ 89,-
1	Seasonic G-series 360 watt	€ 56,95	€ 56,95
Bekijk collectie Importeer producten		Totaal	€ 497,41

oude config met zelfde cpu

#	Product	Prijs	Subtotaal
1	Intel Core i5 4440 Boxed	€ 179,-	€ 179,-
1	ASRock H97 Pro4	€ 87,50	€ 87,50
2	Crucial CT102464BA160B	€ 44,50	€ 89,-
1	Dell PERC H310 Integrated RAID Controller Full Height (405-12172)	€ 95,28	€ 95,28
1	Seasonic G-series 360 watt	€ 56,95	€ 56,95
Bekijk collectie Importeer producten		Totaal	€ 507,73

Ik denk dat een lichtere cpu (een deftige dual core?) met de controller me het verste gaat brengen. Hoewel de controller 60,- duurder is dan in de PW.

====edit2====
ik kan ook alle VM voor lief laten, mn serv opnieuw inrichten en het geld investeren in grotere schijven en controller. Wat is wijsheid?

[ Voor 79% gewijzigd door maomanna op 22-07-2015 00:52 ]

[maomanna]

Hoe gaat ZFS met AMD? Volgens mij heeft AMD geen Intel netwerkchips (opzich logisch), wordt de Bigfoot een beetje ondersteund?

Ik denk dat dit opzich wel een aardig systeempje is!

#	Product	Prijs	Subtotaal
1	Intel Core i5 4440 Boxed	€ 179,-	€ 179,-
1	ASRock Z87 Extreme6	€ 123,50	€ 123,50
2	Crucial CT102464BA160B	€ 43,50	€ 87,-
1	Seasonic G-series 360 watt	€ 56,95	€ 56,95
Bekijk collectie Importeer producten		Totaal	€ 446,45

[ Voor 87% gewijzigd door maomanna op 23-07-2015 09:00 ]

[Verwijderd]

Dat soort bordjes moet je echt niet nemen hoor. Als je een duur bord wilt, kijk dan naar SuperMicro. Geen enthusiast bordjes kopen met vage chips erop. Dan kun je beter zelf spul aanschaffen wat goed wordt ondersteund. Bovendien is de BIOS van dit soort enthusiast bordjes vaak enkel voor Windows gemaakt en zaken als ACPI enzovoorts kunnen dan problemen geven.

Op het geheugen had ik al feedback geleverd.

Om hoeveel schijven gaat het verder? Je hebt een aantal schijven nu, maar wil je bijkopen of in wat voor configuratie wil je je schijven gaan gebruiken? Dat dien je denk ik eerst op een rij te hebben voordat je hardware aanschaft. Want je kunt evengoed voor een leuke SuperMicro plank gaan waar bijvoorbeeld al Mini-SAS in zit.

[u_nix_we_all]

Die Dell H310 heb ik zelf ook, en is inderdaad een LSI2008 chipset, en is te flashen met de LSI (IT mode)firmware.
Let wel even op, sommige moederborden willen die controller niet goed herkennen, maar dat schijnt op te lossen te zijn door het afplakken van een paar contactjes op de pci-e connector.

[maomanna]

Met het geheugen was ik al bezig.
Heb CAS8 gevonden, 2x8gb.

Een lichtere CPU, als het niet voldoende is, dan kan ik altijd nog naar de i5 4440/4460 gaan. IIG beter dan de E350 die momenteel actief is.

#	Product	Prijs	Subtotaal
1	Intel Pentium G3258 Boxed	€ 67,95	€ 67,95
1	ASRock B85M Pro4	€ 64,-	€ 64,-
1	Aerocool VS92BK	€ 44,50	€ 44,50
1	Crucial Ballistix Tactical BLT2C8G3D1608ET3LX0CEU	€ 97,50	€ 97,50
1	Dell PERC H310 Integrated RAID Controller Full Height (405-12172)	€ 95,28	€ 95,28
1	Seasonic G-series 360 watt	€ 56,95	€ 56,95
Bekijk collectie Importeer producten		Totaal	€ 426,18

Zelf wil ik nog wel een schijf bijkopen, de 4TB van Seagate, de ST4000DM000?
Dan kom ik op 4 dezelfde schijven uit, die ik dan weer in RAID-Z kan zetten.

Met SM mobo

#	Product	Prijs	Subtotaal
1	Intel Pentium G3258 Boxed	€ 67,95	€ 67,95
1	Supermicro X10SL7-F	€ 262,95	€ 262,95
1	Aerocool VS92BK	€ 44,50	€ 44,50
1	Crucial Ballistix Tactical BLT2C8G3D1608ET3LX0CEU	€ 97,50	€ 97,50
1	Seasonic G-series 360 watt	€ 56,95	€ 56,95
Bekijk collectie Importeer producten		Totaal	€ 529,85

Heb dan wel gelijk ook de mogelijkheid om gebruik te maken IMPI. Weet wat het is, maar hoe ik ermee om moet gaan is nog even uitzoeken.

===edit====

ik vind net SmartOS, een *nix distro met native ZFS en VM capaciteiten. Heeft iemand hier al ervaring mee?

[ Voor 28% gewijzigd door maomanna op 23-07-2015 15:23 ]

[u_nix_we_all]

maomanna schreef op donderdag 23 juli 2015 @ 15:15:
ik vind net SmartOS, een *nix distro met native ZFS en VM capaciteiten. Heeft iemand hier al ervaring mee?

Ik draai nog met OpenIndiana, een soort voorloper van Illumos / SmartOS, en is ook gebaseerd op OpenSolaris. Het kostte mij vaak wel wat extra tijd en moeite om dingen aan de gang te krijgen, en er zijn ook dingen die gewoon niet werken. Virtualbox werkt bij mij wel goed, bij SmartOS zit KVM voor virtualisatie, dat wilde bij mij niet zo geweldig draaien, maar SmartOS is natuurlijk een stuk verder ontwikkeld, juist met als doel een virtualisatie-platform te zijn.
Voordelen: ZFS is super stabiel, veel van de orginele ontwikkelaars zijn naar Illumos gegaan, goed schaalbaar, en virtualisatie mooi geintergreerd.\
Nadelen: Redelijk onbekende distro, werkt allemaal net weer anders (als je Linux gewend bent), dus veel uitzoeken, en weinig bronnen.

[maomanna]

zie nu dat het geheugen niet compatible is met het mobo.
Modules die wel compatible zijn, zijn ver boven mijn budget.
De bovenste samenstelling komt dat het dichtst in de buurt.

[FireDrunk]

Is een HP MicroServer Gen8 niks voor je? Dan heb je een G1610 CPU, die is al 2,3 keer zo snel als een E350, en kan 4 schijven huisvesten. Bovendien heeft het ding ECC.

Mocht je echt veel met virtualisatie gaan doen, kan je er denk ik beter een machine naast zetten...

Qua OS zou ik persoonlijk Linux gebruiken, de ZFS ondersteuning is prima, en de Virtualisatie ondersteuning deste beter... SmartOS heeft KVM, maar persoonlijk ben ik er nog niet zo van onder de indruk. Veel tools die wel onder Linux (icm KVM) werken, werken weer niet onder SmartOS.

Maar een OS is een hele persoonlijke keuze. Probeer gewoon voor je je server definitief besteld wat in VirtualBox of VMWare Player, dan merk je snel genoeg wat je het beste bevalt.

Als je daarna een keuze qua OS hebt gemaakt, kan je kijken welke hardware beter of minder goed werkt onder dat OS.

[rookie no. 1]

FireDrunk schreef op vrijdag 24 juli 2015 @ 18:02:
Is een HP MicroServer Gen8 niks voor je? ...en kan 4 schijven huisvesten.

Zeven stuks met een paar aanpassingen (met een bracket twee extra en dan nog ruimte bij de DVD-speler voor een 2.5"). Uiteraard een extra SAS controller met IT firmware als je ZFS of Storage Spaces wilt gebruiken. Dat laatste is trouwens wel ideaal als je met verschillende soorten en groottes aan disks zit opgescheept.

Dan heb je een G1610 CPU, die is al 2,3 keer zo snel als een E350...

En deze kun je later nog makkelijk upgraden naar een Xeon als je spaarrekening weer wat is aangevuld

[ Voor 15% gewijzigd door rookie no. 1 op 24-07-2015 22:55 ]

[maomanna]

FireDrunk schreef op vrijdag 24 juli 2015 @ 18:02:
Is een HP MicroServer Gen8 niks voor je? Dan heb je een G1610 CPU, die is al 2,3 keer zo snel als een E350, en kan 4 schijven huisvesten.

Helaas, die kast is al te klein.
Heb er nu al 6 in gebruik, heb nog een aantal 2tbs en ga nog 1x 4tb bijkopen. Zit dan op ong 9 schijven.

Qua OS zou ik persoonlijk Linux gebruiken, de ZFS ondersteuning is prima, en de Virtualisatie ondersteuning deste beter... SmartOS heeft KVM, maar persoonlijk ben ik er nog niet zo van onder de indruk. Veel tools die wel onder Linux (icm KVM) werken, werken weer niet onder SmartOS.

Maar een OS is een hele persoonlijke keuze. Probeer gewoon voor je je server definitief besteld wat in VirtualBox of VMWare Player, dan merk je snel genoeg wat je het beste bevalt.

Als je daarna een keuze qua OS hebt gemaakt, kan je kijken welke hardware beter of minder goed werkt onder dat OS.

Goed idee! Kan dat prima doen op mn desktop :-) thanks!

[maomanna]

Opzich heb ik hier ook wel oren naar.

#	Product	Prijs	Subtotaal
1	Intel Pentium G3258 Boxed	€ 67,95	€ 67,95
1	ASRock Z97 Extreme6	€ 164,95	€ 164,95
1	Aerocool VS92BK	€ 44,50	€ 44,50
1	Crucial Ballistix Tactical BLT2C8G3D1608ET3LX0CEU	€ 98,-	€ 98,-
2	Samsung 850 EVO 120GB	€ 66,-	€ 132,-
Bekijk collectie Importeer producten		Totaal	€ 507,40

Intel gbit kaart, bekende Z97 chipset, schijnt aardig zuinig bordje te zijn. 2x M.2, waar ik dan wel weer budget voor heb tov de supermicro.
snel DDR3L met lage CL.

[FireDrunk]

Bedenk wel dat de SATA poorten op dat bordje niet 100% geschikt hoeven zijn voor een grote array icm ZFS.
Bovendien, als je ESXi wil draaine, kan je beter een simpeler bord kopen zodat je een losse HBA kan kopen om door te geven via VT-d, nadeel is weer dat je CPU dit niet ondersteund. Dan zul je naar een i5 of Xeon moeten gaan.

[maomanna]

precies.
Ze ondersteunen nu wel VT-x, maja.
ESXi is iets voor later. Wellicht kan ik dan een E3-1220v3 op de kop tikken.
Als ik ESXi/VM even laat voor wat het is en een fileserver only opzet met ZFS.
Wat zou dan prijs/technisch het beste zijn?

[Verwijderd]

maomanna,

Het is mij niet duidelijk wat je nou precies wilt. Begrijp ik goed dat je een NAS wilt met drie schijven? Want je zegt dat je al twee keer 4TB hebt en je wilt één keer 4TB bijkopen en dat in RAID-Z zetten. Voor zo weinig schijfjes kun je ook kijken naar een veel goedkoper en veel zuiniger J1900 platform, zonder ECC.

Ga je grof geld uitgeven, ga dat dan niet doen aan zo'n Enthusiast ASRock setje, maar koop serverspul met ECC ondersteuning en onboard LSI SAS controller. Dan doe je wat nuttigs met je geld.

Samsung SSDs zijn ongeschikt voor veel zaken - zoals sLOG en ook voor in RAID of multi-disk ZFS pools zou ik ze sterk afraden. Waarom koop je geen veel betere SSD als de Crucial MX200 256GB voor praktisch dezelfde prijs? Die kun je als 128GB SLC SSD gebruiken en beschikt over power-capacitors. Samsung doet aan onveilige writes en is incompatible met alles behalve single disk storage zoals in een typische Windows desktop. Geen objectieve reden om een Samsung SSD aan te schaffen al helemaal niet voor een ZFS build. Waarom wil je überhaupt twee SSDs?

Ook over virtualisatie dien je een keuze te maken. Ga je een Hypervisor draaien als ESXi, dan wordt je hardware keuze nog veel kritieker. Want totaal onduidelijk of ESXi je hardware gaat ondersteunen, zoals de ASrock chip e.d. Dat dien je dan allemaal te controleren. Het verdient mijn aanbeveling je setup niet te foutgevoelig/complex te maken maar storage en virtualisatie lekker gescheiden te houden. Dan hoef je veelal ook niet zulke dure hardware aan te schaffen en heb je uiteindelijk ook meer RAM beschikbaar voor ZFS en voor je VMs omdat je het over twee systemen kunt uitsmeren.

[maomanna]

Ik laat de keuze voor VM/virtualiseren vallen. Het lijkt me leuk om daarmee te spelen, maar verwacht er te weinig mee te gaan doen ben ik bang. Hebfactor??

Dan blijft alleen de NAS en bijhorende zaken over.

Wordt momenteel ingezet voor:
- fileserving (NFS, SMB, FTP)
- downloaden (SABNZBD, Sickbeard, Couchpotato, Deluge)
- mysql (paar kleine DB's (Youless en wat arduino dumps)

Een zuinig maar wat krachtiger bordje dan die E350 is wel wenselijk.

[VoYaGeRTM]

Neem dan net zoals Firedunk en Cipher al zeggen een goedkoper moederbord + kaart (lsi2008).
Als je al duurder gaat is een supermicro bord veel beter dan die dure bordjes voor eigen gamen en ocen.
Ben het aardig eens met wat beide zeggen.

Als het bij die 2 blijft, dan zou ik gaan voor een bordje rond 45-60 euro + kaart.
Als je ZFS als optie wilt houden dan lijkt me 8GB+ het beste kwa geheugen en een pentium/i3.
Hoewel er ook goede quadcore braswells zijn op het moment.
Neem nou niet die G3258, die is nou niet echt de meest energie zuinige. (hij kan op hogere clocks zelfs mijn i5 2500k in watts voorbij lopen)

[Verwijderd]

@maomanna: heb je J1900 bijvoorbeeld als platform overwogen? En kun je bevestigen dat het uiteindelijk om slechts drie schijven gaat die je wilt aansturen? Dan zou een Q1900-DC bordje van ASRock al prima zijn. Ben je voor 200 euro klaar voor moederbord+cpu+heatsink+geheugen+voeding. Superzuinig en 100% passief gekoeld. Alleen geen ECC en tot 4 schijven van prik voorzien met de onboard DC-DC voeding.

Als jij 10 of 20 schijven wilt, levert dit een heel ander plaatje op dan 3 schijven. Dus zet nou eens op een rijtje wat je precies wilt en kies daar een goed hardwareplatform bij. Eventueel kun je je virtualiatie-host duurder maken en met ECC voorzien want die heeft het nog harder nodig dan de ZFS server (zie ECC discussie topic). Of je kiest beide voor ECC maar dan gaat je budget wel fors omhoog.

Je zult dus iets duidelijker moeten zijn wat je precies probeert te bereiken; pas dan kun je gericht advies ontvangen.

[FireDrunk]

No offence, maar ik zou geen SabNZBd, CouchPotato en Deluge op een J1900 willen draaien...

Dat is beetje alsof je Oracle op een Raspberry Pi gaat zetten

[VoYaGeRTM]

Cipher, ben al met hem aan het praten op een chat.
Het gaat zeker om meer dan 3 schijven.
Maar om het simpel te houden voor wat hij wil en niet te complex, is virtualisatie vervallen.

Wat firedunk al zegt, J1900 word een beetje krap voor wat die wil.

[maomanna]

Verwijderd schreef op maandag 27 juli 2015 @ 16:03:
@maomanna: heb je J1900 bijvoorbeeld als platform overwogen? En kun je bevestigen dat het uiteindelijk om slechts drie schijven gaat die je wilt aansturen? Dan zou een Q1900-DC bordje van ASRock al prima zijn. Ben je voor 200 euro klaar voor moederbord+cpu+heatsink+geheugen+voeding. Superzuinig en 100% passief gekoeld. Alleen geen ECC en tot 4 schijven van prik voorzien met de onboard DC-DC voeding.

Niet overwogen omdat het geen meerwaarde heeft tov het huidige systeem.

Verwijderd schreef op maandag 27 juli 2015 @ 16:03:
Als jij 10 of 20 schijven wilt, levert dit een heel ander plaatje op dan 3 schijven. Dus zet nou eens op een rijtje wat je precies wilt en kies daar een goed hardwareplatform bij. Eventueel kun je je virtualiatie-host duurder maken en met ECC voorzien want die heeft het nog harder nodig dan de ZFS server (zie ECC discussie topic). Of je kiest beide voor ECC maar dan gaat je budget wel fors omhoog.

Het gaat niet over 3 schijven. In de OT staat dat ik nu al 6 schijven up and running heb, 1 4TB schijf al heb liggen en er nog een bij wil kopen (maakt 8 schijven en komt totaal uit op 4x 4TB) een aantal 2TB schijven (zullen er 2 ~ 4 zijn) zit ik op 10 ~ 12 schijven.

Uiteindelijk wil ik toe naar 12x 4TB (8 vanuit HBA en 4 op mobo (dan nog 1 voor OS) maar dat gebeurd in fases waarbij de 2TB schijven later vervangen gaan worden.

==== edit ====

Tot nu toe nog behoorlijk gepuzzeld en afwegingen gemaakt.

Voor basismachine ga ik hiermee beginnen:

#	Product	Prijs	Subtotaal
1	Intel Celeron G1840 Boxed	€ 35,01	€ 35,01
1	ASRock B85M Pro4	€ 64,-	€ 64,-
1	Aerocool VS92BK	€ 44,50	€ 44,50
2	3Ware 3Ware Multi-lane SATA cable CBL-SFF8087OCF-05M	€ 9,40	€ 18,80
2	Crucial CT102464BA160B	€ 39,95	€ 79,90
1	Dell PERC H310 Integrated RAID Controller Full Height (405-12172)	€ 95,28	€ 95,28
1	Crucial MX200 2,5" 250GB	€ 94,95	€ 94,95
Bekijk collectie Importeer producten		Totaal	€ 432,44

Dit in combinatie met mhddfs

Mocht de cpu niet krachtig genoeg, dan vervang ik de celeron door een i3.

[ Voor 49% gewijzigd door maomanna op 27-07-2015 16:56 ]

[Verwijderd]

Maar wat wil je doen met je schijven?

In je startpost lees ik:
- 2x 1TB
- 1x 2TB
- 2x 4TB

Nu ga je één keer 4TB bijkopen. Wat wil je vervolgens met die schijven doen? Eén RAID-Z met 3x 4TB, dat kan; 8TB bruikbare ruimte oftewel 7TiB ongeveer.

Dan zou je nog een RAID-Z met de overige schijven kunnen doen, waarbij de 2TB disk als 1TB gebruikt wordt. Met ZFSguru kun je partitioneren en die ruimte alsnog gebruiken, maar dat kan zeker niet altijd.

Nu heb je het over 12 schijven, waarbij je langzaam de oudere schijven voor de nieuwe wilt vervangen. Je hebt het ook opeens over mhddfs - een soort UnionFS waarmee je dus waarschijnlijk meerdere ZFS pools onder één noemer met gedeelde vrije ruimte beschikbaar wilt maken?

Kortom, het is mij nog niet helemaal duidelijk wat je setup nu gaat worden, en dat maakt het lastig om advies te geven voor hardware.

Over de J1900. De meerwaarde van een J1900 setup zou kunnen zijn:
- veel zuiniger
- veel goedkoper
- 100% stil want voeding en CPU worden passief gekoeld
- Mini-ITX altijd universeel inzetbaar ook als mini-servertje later als je voor je echte ZFS server betere hardware hebt tegen die tijd

Omdat de J1900 een quadcore is op lage frequentie, kan hij goed concurreren met reguliere dualcores. Voorwaarde is wel dat je software goed gebruik kan maken met meerdere cores. Ik dacht dat dit ook gold voor SABnzbd+ enzovoorts. Of het veel verschil zou leveren met de G1840 die je nu in je lijstje hebt staan, betwijfel ik. Een 2,8GHz dualcore versus 2GHz quadcore met TurboCore. In SMP-workloads kan de J1900 mogelijk best wel eens sneller zijn. De IPC van de Celeron zal mogelijk wel iets hoger liggen. Maar de extra cores zouden dat in SMP-workloads ruimschoots moeten compenseren.

[maomanna]

Momenteel ben ik in het bezit van een
- AMD E350 ITX mobo met 6 satapoorten
- 2x 4tb (JBOD)
- 2x 1tb in raid1
- 1x 2tb (jbod)
- 1x 60gb Vertex3 SSD (OS - Ubuntu server 14.04 LTS)
- 4gb DDR3
- Chenbro case (4x hotswap)

Heb nog een aantal 2TB schijven en 1 4TB schijf liggen.

Makkelijk uit kunnen breiden met schijven zou zeer prettig zijn.

Nu heb ik die actief zijn, in jbod staan en dan merk je behoorlijk de beperking van de grootte van de disks. Zo heeft de ene 4tb bijv nog 1tb vrij en de ander nog maar 50gb. Dan is het fijn dat je de ruimte van de andere schijf kan gebruiken, zonder bijv de map films te verdelen over meerdere disks. Raid0 zou de meeste opslag betekenen maar het risico van raid0 hoef ik niet. Raid5/raidZ1 vind ik de beste oplossing qua veiligheid en ruimte. RaidZ2 vind ik weer te zonde voor de schijf, daar ik niet zoveel zekerheid hoef. Voor wat ik begrepen heb zorgt mhddfs ervoor dat losse schijven als 1 wordt gezien en de ruimte dus ook.

Nu wil ik eigenlijk meer opslag creëren en over gaan naar ZFS, met 1 parity disk (RAID-Z?)

Dus zoals hierboven beschreven.

In de setup met de celeron, kan ik 14 schijven kwijt. Ik heb nu dus 3x 4tb (2 in gebruik, 1 op de plank), daar wil ik er 1 bij kopen, zodat ik die ruimte samen kan gebruiken. Dan hou ik nog 10 satapoorten. 1 is voor de ssd voor os en apps/buffer voor sabnzbd. Als ik die 2tbs aansluit, hou ik zeg nog 6 poorten over welke ik later wil vullen, die het zelfde doel krijgen als de 4tbs in t begin, opslag van films en series etc.

[Verwijderd]

Als ik je goed begrijp, heb je al voldoende antwoord op je vragen?

[maomanna]

Het gaat zeer de goede kant op.
Is de keuze voor de filesystemen verstandig?

[ Voor 54% gewijzigd door maomanna op 27-07-2015 20:58 ]

[FireDrunk]

Filesystem != RAID Configuratie, en ik kan zo even niet vinden wat je precies wil.

Wat bedoel je precies met MHDDFS? Want ZFS regelt dat toch allemaal voor je?

[maomanna]

MHDDFS koppelt die schijven samen, niet in een raidconfig.

vb.

code:

Filesystem            Size  Used Avail Use% Mounted on
...
/dev/sda1              80G   50G   30G  63% /mnt/hdd1
/dev/sdb1              40G   35G    5G  88% /mnt/hdd2
/dev/sdc1              60G   10G   50G  17% /mnt/hdd3
mhddfs                180G   95G   85G  53% /mnt/virtual

Voordeel hiervan is dat je disks onafhankelijk van elkaar kan downspinnen.
Net als met snapRAID. bij ZFS moet je de hele raid downspinnen.

[FireDrunk]

Ok duidelijk, maar dit hele topic is bedoeld om je te helpen in je keuze voor hardware voor een ZFS machine?
Ligt je keuze voor ZFS nog niet vast?

[u_nix_we_all]

mhddfs koppelt geen schijven, maar filesystems als ik het zo zie. En op FUSE gebaseerd ook nog. Ik ken het niet echt, maar ik zou daar niet aan beginnen.
Een RAID maak je niet van filesystems, die maak je van disks.

[maomanna]

FireDrunk schreef op donderdag 30 juli 2015 @ 08:26:
Ok duidelijk, maar dit hele topic is bedoeld om je te helpen in je keuze voor hardware voor een ZFS machine?
Ligt je keuze voor ZFS nog niet vast?

Eerst zat ik te denken aan dat MHDDFS ivm downspinnen, maar uiteindelijk maakt dat voor mij niet uit. Als de hele RAID downspint, is dat ook goed. Als ik de data nodig heb, heb ik toch alle disks nodig.
Het blijft ZFS.
Zelf denk ik, na aanleiding wat HyperBart zei in een ander topic, dat ik ga beginnen met ZFSguru. Mocht dat niks zijn, ZFS export, freenas install, ZFS import. Dat zou erg goed moeten gaan.
Bovendien zie ik in het 20TB+ storage topic (en ook andere topics) dat veel mensen ZFSguru gebruiken.

Of jullie moeten aangeven dat native *BSD/Solaris of andere distro, een betere ondersteuning heeft voor ZFS?

[ Voor 6% gewijzigd door maomanna op 30-07-2015 10:36 ]

[Q]

Draai een OS/platform waar je je vertrouwd mee voelt. Als je niet zo bedreven bent met BSD/Linux dan zijn de kant-en-klare opties zoals ZFSguru en FreeNAS beter voor je geschikt.

Zelf ben ik redelijk handig met Linux en heb ik een zeer kale install gedaan van het OS, met ZFS-packages, NFS & SMB server en dat is het dan.

Je zet het 1x op en daarna - afgezien van de monitoring - heb je er geen omkijken meer naar.

[ Voor 12% gewijzigd door Q op 31-07-2015 09:15 ]

[maomanna]

precies, Datzelfde heb ik nu gedaan met Ubuntu. Dat gaat me prima af en zijn voldoende guides te vinden om dingen te doen/op te lossen waar ik me dan prima mee red. Nu heb ik alleen begrepen dat Ubuntu, ZFS niet native ondersteund, vandaar dat ik liever een OS zoek met een native ZFS ondersteuning, waar dan ook support voor is.

Verder wil ik om te starten 4x 4tb in raid-z1 en 4x 1tb in raid-z2 gaan draaien.

[ Voor 11% gewijzigd door maomanna op 31-07-2015 09:34 ]

[Q]

ZFS is puur om licentie redenen een kernel module onder Linux. ZoL doet qua functionaliteit Voor wat betreft de belangrijkste features niet onder voor de BSDs en de stabiliteit is OK. Als je bekender bent met Linux ben je daar mee beter af dan BSD waar je dan met je handen in het haar zit als de boel stuk gaat. Dat 'native' verhaal vind ik zelf niet van belang.

[FireDrunk]

"Native" is zelfs maar een drogreden, Je kan als je wil ZFS prima direct in de kernel compileren.
Het is meer dat by-default het als module gebeurt, maar dat geld ook voor *alle* wifi drivers

[maomanna]

ah ok. dacht dat de ondersteuning behoorlijk minder was.
@FireDrunk: Op je tweakblog vond ik je tut, die zal ik gaan volgen

[FireDrunk]

Die is intussen al wel wat ouder, maar op zich volgens mij nog prima toereikend voor Ubuntu 15.04 (de meest recente versie).

Zelf draai ik helemaal geen Ubuntu meer.

[maomanna]

oh, waar draai je nu op? en wat was je reden om over te gaan?

[FireDrunk]

Fedora, ik wilde vooral naar SystemD, de ZFS scripts zijn daar iets beter (automatische import at boot bijvoorbeeld).

Kernel upgrades zijn nog steeds eng Dat hebben ze bij geen enkele distro goed onder de knie... Zelfs als je DKMS gebruikt...

[DXaroth]

maomanna schreef op vrijdag 31 juli 2015 @ 12:06:
ah ok. dacht dat de ondersteuning behoorlijk minder was.
@FireDrunk: Op je tweakblog vond ik je tut, die zal ik gaan volgen

ZFS On Linux heeft de afgelopen jaren de achterstand met BSD hard ingehaald. BSD loopt nog altijd iets voor (dit mede omdat ZoL nog wat kleine features probeert na te bouwen die BSD al heeft, maar de gemiddelde gebruiker merkt daar weinig van.

Wat je altijd kan doen om te beginnen, is in virtualbox/vmware workstation gaan prutten, je kan makkelijk wat disks aanmaken van een paar honderd MB om de commandos etc te begrijpen... op die manier weet je precies waar je aan gaat beginnen zodra je hardware binnen komt.

[Verwijderd]

Je merkt het in zoverre dat bij een update je pool niet-importeerbaar kan zijn, of dat geheugenmanagement veel slechter werkt omdat ZFS bijna statisch RAM krijgt aangewezen ipv auto-tuning bij BSD, of dat ZFS-disks uit een cache file worden getrokken ipv device sensing zoals bij BSD, of dat een RAID-Z pool niet bootbaar is, of dat TRIM niet wordt ondersteund, enzovoorts.

De ZoL-implementatie lijkt inderdaad wel belangrijke stappen doorgemaakt te hebben en het kan prima bruikbaar zijn. Maar het verschil met BSD blijft groot. ZFS op Linux werkt zoals ZFS op BSD drie of vier jaar geleden dat deed. Dat is ook wel te danken aan het feit dat ZFS op BSD heel veel liefde heeft gekregen en er veel commits zijn geweest die BSD het beste platform maken voor wat betreft de kwaliteit van de ZFS implementatie.

[DXaroth]

Wat CiPHER bedoeld, is dat je goed op http://open-zfs.org/wiki/Features kan zien wat (ongeveer) de verschillen zijn, welke soort welke functies wanneer (of niet) geimplementeerd hebben, en wat die features betekenen... het meerendeel van de zaken die CiPHER meld ga je nl geen last van hebben (de TRIM feature gaat je weinig schelen als je geen SSDs gebruikt), de enige waar je wellicht naar wilt kijken (maar dat staat in de tut ook vermeld als ik het me goed herinner) is de memory management.. daarna ga je ook daar weinig van merken totdat je het enorm hevig gaat gebruiken.

[FireDrunk]

@CiPHER, goh, dan heeft ZFSonLinux dus nu de status van ZFSguru 1.8 (ish), en die vond je toen ook al prima....

Niets om je druk over te maken dus

[maomanna]

Duidelijk.

Als ik met mijn simpele gebruik er weinig van merk, ga ik ubuntu gebruiken. Debian lijkt er erg veel op dus dat zou ook nog kunnen. Dit tesamen met zfs on linux.

Zit alleen even te kijken met l2arc en zil. Die partities moet ik natuurlijk voor de installatie al maken op mn ssd?

[Verwijderd]

@DXaroth: nee dat is niet wat ik bedoel. De ZFS features implementeren was ZoL al erg snel mee. Maar dat maakt nog geen geavanceerde implementatie. Het echte werk begint bij het aankoppelen van het filesystem aan het operating system. Geheugenmanagement en hoe ga je de disks geven aan ZFS en hoe ga je booten. Dat zijn drie zaken die het OS moet doen en dus per ZFS implementatie platform specifiek is. Daar liggen de verschillen. Niet de features, die zijn vrijwel overal gelijk.

@FireDrunk: een schil voor de gebruiker als interface is nog wat anders dan een filesystem zelf - daar wil je eigenlijk vrij conservatief zijn. Dat valt bij een beheer-interface toch echt wel mee, maar bij een filesystem zeker niet. Een bug in ZFSguru dat je een sLOG disk niet kan toevoegen aan je pool, is toch echt van een andere grootte dan een bug in ZFS waardoor je metadata niet meer klopt en je '(corrupted metadata)' ziet bij je disks en UNAVAIL oftewel je kunt fluiten naar je data. Dat zijn hele andere dimensies van risico's en dus kun je niet zomaar een versie van een interface/schil vergelijken met iets essentieels als een filesystem. Eigenlijk alles mag falen in een thuisomgeving, behalve de opslag.

Misschien herinner je nog de introductie van Ext4 als default filesystem in Ubuntu. Gevolg is tal van corrupte systemen en de bugs werden in de komende maanden gefixed via updates, terwijl nog meer obscure corruptie bugs pas veel later werden gevonden. Dat is bij Ext4 - een magere update van een eeuwenoud filesystem wat op UFS is gebaseerd (Ext2, Ext3 voegt journaling toe, Ext4 zorgt voor snelheid dankzij meer fine-grained async operatie, ten koste van dataveiligheid in bijzondere situaties).

Mijn punt is dus dat als een kleine update van een simpel filesystem al voor zoveel problemen kan zorgen, het ook best aan te bevelen is om redelijk terughoudend te zijn met ZFS. Ik heb in het verleden al gezegd dat het grootste nadeel van ZFS zijn complexiteit is. Het heeft ook een hele tijd aan actieve developer-tijd gekost voordat ZFS enigszins stabiel liep; dat was eigenlijk pas sinds versie 14 implementatie in FreeBSD, vlak gevolgd naar versie 15 waarna ook nog wat corruptiebugs werden gevonden. En die corruptiebugs bleven opduiken, maar je ziet wel dat de frequentie afneemt. Dat is een duidelijk teken dat het filesystem en de implementatie ervan volwassen aan het worden is. Maar eigenlijk is het best logisch dat je een 20 jaar oud filesystem wilt gebruiken met een proven track record. Alleen hebben we nog niets bruikbaars wat een dergelijke staat van dienst heeft, behalve de ouderwetse onbruikbare legacy filesystems NTFS, Ext4 en UFS. 2e generatie dus onbruikbaar want zelfs geen zekerheid over errorcorrectie - het detecteren van corruptie is essentieel.

Daarom ook dat ik denk dat ZFS voor lange tijd nog relevant blijft, ook als het concurrentie krijgt van ReFS, Btrfs en HammerFS. ZFS is en blijft de meest volwassen, stabiel, feature-rijk en multi-platform next-gen filesystem dat je daadwerkelijk kunt gebruiken. Die status zal alleen maar groeien tot na een langere tijd er nieuwe generatie filesystems opduiken die weer voortbouwen op principes van ZFS en andere nieuwe filesystems. Dan gaat een nieuw tijdperk aanbreken. Maar dat kan zomaar 15 jaar verder zijn. Tot die tijd blijft ZFS een van de beste keuzes. En wat mij betreft kun je dan ook beter bij BSD blijven omdat die de beste ZFS implementatie bieden. Tenzij er een sterke voorkeur is naar Linux om wat voor reden, ZoL is voor veel dingen prima bruikbaar. Net even wat minder geavanceerd dan op BSD op sommige punten, misschien wat minder stabiel, een hele kleine maar grotere kans op corruptiebugs is potentiëel aanwezig, maar daar wil ik geen draak van maken.

[ Voor 6% gewijzigd door Verwijderd op 01-08-2015 00:58 ]

[Q]

maomanna schreef op zaterdag 01 augustus 2015 @ 00:09:
Duidelijk.

Als ik met mijn simpele gebruik er weinig van merk, ga ik ubuntu gebruiken. Debian lijkt er erg veel op dus dat zou ook nog kunnen. Dit tesamen met zfs on linux.

Zit alleen even te kijken met l2arc en zil. Die partities moet ik natuurlijk voor de installatie al maken op mn ssd?

Is misschien het beste, maar ik zou zeker overwegen om voor thuis het jezelf makkelijk te maken en l2arc en ZIL te laten voor wat het is. Betwijfel of je er wat aan hebt en het zorgt er hooguit voor dat je SSDs extra slijten. Risico zonder ZIL (dus ZIL echt uitschakelen) is dataverlies bij stroomuitval of crash.

Voor wat die discussie over ZFS op BSD vs Linux: voor thuis is ZoL prima. Als je FreeNAS of ZFSGuru wilt gebruiken draai je BSD, maar er is - zeker thuis - geen enkele zwaarwegende reden te bedenken waarom je BSD zou moeten gaan draaien, tenzij dat je expertise is.

Met mijn 71 TB machine heb ik wel eerst wat burn-in tests gedaan met ZFS + verschillende operaties om te zien of dat allemaal goed ging. Vlak nadat ik mijn machine had gemaakt kwam er ergens een blogpost van Delphix ofzo dat ze ZoL als productie-geschikt zagen. Dus tja.

https://clusterhq.com/2014/09/11/state-zfs-on-linux/

[ Voor 24% gewijzigd door Q op 01-08-2015 01:07 ]

[Twazerty]

FireDrunk schreef op maandag 27 juli 2015 @ 16:07:
No offence, maar ik zou geen SabNZBd, CouchPotato en Deluge op een J1900 willen draaien...

Dat is beetje alsof je Oracle op een Raspberry Pi gaat zetten

Ik draai SabNZBd, Deluge en Genius Vision NVR (met 4x 720p, 1x 1080p en 1x 3MP camera's) op een J1900.
Hij trekt het wel, maar inderdaad geen super performance. Al heb ik eerder last van een te trage hardeschijf (USB3.0 interface ) zodra SabNZBd aan de gang gaat. Ip cams gaan via een andere sata schijf.

Ik heb geen klagen. Hele setup zit als ik mij niet vergis onder de 30 watt, met 1x 4TB, 1x 2TB en 64 GB ssd.

[Verwijderd]

J1900 is een zwakke quadcore. Dat betekent dat single threaded apps erg traag zullen aanvoelen, als een oudere computer, maar dat multithreaded apps dat van een moderne mainstream processor zullen aanvoelen, zoals een core i3 dualcore.

Wat mij betreft perfect voor een instap ZFS servertje waarmee je ook nog wat andere dingen wilt doen. Alleen geen ECC en de 8-core Avoton versie is weer een stuk duurder dan de low-end consumer-positioned J1900.

[ Voor 31% gewijzigd door Verwijderd op 01-08-2015 01:08 ]

[DXaroth]

maomanna schreef op zaterdag 01 augustus 2015 @ 00:09:
Duidelijk.

Als ik met mijn simpele gebruik er weinig van merk, ga ik ubuntu gebruiken. Debian lijkt er erg veel op dus dat zou ook nog kunnen. Dit tesamen met zfs on linux.

Zit alleen even te kijken met l2arc en zil. Die partities moet ik natuurlijk voor de installatie al maken op mn ssd?

L2ARC en ZIL zijn optioneel; die gebruik je in grotere arrays om je performance te vergroten (de eerste voor lees performance, de laatste voor schrijf performance), voor kleinere arrays zijn die niet zo belangrijk.. ja het geeft je snellere schrijfsnelheden maar voor hetzelfde geld kan je ook een paar extra disks kopen om een grote array te bouwen.. daarnaast, meer dan 100MB/s schrijven ga je alleen merken als je een intern netwerk hebt wat >1gb is... anders zit je toch eerder aan die limiet dan aan je schrijfsnelheid.

[maomanna]

mja, de SSD die ik heb is 250gb, daar kan best wat vanaf voor ZIL en L2ARC.
Had begrepen dat voor ZIL je 10sec buffer van je max datadoorvoer moest hebben, dus een datadoorvoer naar hdd's van 100mb/s, geeft me een ZIL van 1GB. Voor wat extra capaciteit maken we er 2gb van.
Daar ga ik qua opslag etc niks van merken, wel bij het lezen etc.
Met schijven van 4tb lijkt het me wel een toegevoegde waarde.