[14TB+] PLEX Media server

[nldbobg]

Hallo,

Ik wil graag een media server / backup station bouwen.
Met daarin genoeg opslag en dit ook veilig realiseren.

Tijdens het zoeken naar oplossingen hiervoor kwam ik tot de conclusie dat ik het beste een servertje kan bouwen. Er is veel te vinden over ZFS, RAID en andere opslag mogelijkheden zoveel zelfs dat ik van gekkigheid een beetje vast ben gelopen.

Ik hoop dat jullie mij kunnen helpen met het verduidelijken waar ik op moet letten qua hardware (software ook graag , geef een voorzetje en ik lees mezelf er wel doorheen. op het grote ZFS topic na dan, die 264 pagina's zijn niet door te komen )

- Wat wil je doen met je nieuwe systeem?

+ Plex media server - draait op winows en beperkte linux distro's

Hiervoor een grote datapool met media bestanden nu is dat 7 TB bestaand uit losse schijven zonder failsafe.
Ik wil beginnen met 12 TB werkbare ruimte, met uitbreidings mogelijkheden.
met met extra zekerheid (failsafe)?

+ Backup van 3 PC's 1 mac, en software op apparte datapool

+ VMware voor

Teamspeak server
COD server
Download machine
Spelen met linux distro's

- Wat mag het systeem gaan kosten? Heb je een absolute maximumprijs? In- of exclusief verzendkosten, assemblage en dergelijke?

450 euro (minder mag altijd) voor CPU, MOBO, RAM, PSU, Case.

#	Product	Prijs	Subtotaal
1	Intel Core i5 4440 Boxed	€ 144,50	€ 144,50
1	ASRock H87M Pro4	€ 64,-	€ 64,-
1	Techsolo TS-S200	€ 75,25	€ 75,25
1	Crucial Ballistix Tactical BLT2C8G3D1608ET3LX0CEU	€ 120,95	€ 120,95
1	XFX Pro 550W	€ 51,60	€ 51,60
Bekijk collectie Importeer producten		Totaal	€ 456,30

+ budget voor schijven met 12TB "failsafe" datapool (hier heb ik wat extra hulp bij nodig, hoe kan ik dit het beste aansluiten? heb ik hier een raidkaart voor nodig? of kan ik dit anders opzetten? tips ed zijn zeer welkom op dit punt)
het gekozen MOBO heeft 6 SATA aansluitingen, ik heb er meer nodig, hoe kan ik dit het best oplossen?

- Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem? Wees specifiek en noem merk en model.

1 x SSD 120GB voor OS
2 x 2TB hdd als backup schijven voor PC's, mac, software, foto's
1 x PCIe wireless netwerk kaart ASUS - om intern media netwerk op te zetten

- Wat denk je allemaal nodig te hebben?
MOBO dat zoveel hdd's ondersteund of hoe kan ik zoiets het beste indelen? sata kaarten? raid kaarten?

- Heb je nog bepaalde (merk)voorkeuren? Waarom?

Geen

- Heb je nog bepaalde eisen/wensen? (grootte, geluidsniveau, energieverbruik etc.)

Energie balans? 98 procent van de tijd staat deze hier enkel te wachten op media stream, downloads, server's worden alleen voor war gebruikt, backup. hiernaast heeft deze genoeg power nodig om 2 full hd streams on the fly the kunnen decoden (i5 4440 - CPU=6500PM, PLEX heeft 2000PM per stream nodig)

- Ga je overklokken?
nee

Als jullie nog tips hebben hoor ik die graag.

[kroegtijger]

Gezien je een "failsave" wilt hebben, lijkt een Raid5-array mij het handigst. Om dat binnen budget voor elkaar te ben ik bang dat je aangewezen gaat worden op de raid-controller op je moederbord. Ik vrees dat het niet binnen budget gaat vallen om daar een goede upgrade op te doen. Daarom zou ik dan ook adviseren om een moederbord gebaseerd op een Z87-chipset te kiezen. Deze biedt wat betere ondersteuning voor Raid-arrays. Daarnaast is het handig om even in de gaten te houden of er voldoende SATA-connecties per controller beschikbaar zijn. Je kan de SATA-connecties niet van 2 controllers in 1 array gebruiken, dus het is handig dit in de gaten te houden. Waarschijnlijk zal je al snel uitkomen bij ATX-borden, aangezien die vaak 6+4 SATA bieden, waardoor je dus 6 disks van bv 4TB in Raid5 kan plaatsen voor je data (geeft je dus effectief 20TB ruimte) en de 4 andere SATA's kan je dan gebruiken voor SSD en CD-drive. Hou je er nog 2 over die je voor eventuele andere doeleinden eens kan gebruiken.
Wat betreft storage voor het OS zou ik adviseren een iets grotere SSD te nemen. Ik heb zelf nu een vergelijkbare host, met 120GB SSD en die is me eigenlijk net effe te klein. Het prettige van VMWare is dat je snapshots van je machine kan maken, maar dan moet dat wel op de storage erbij passen. Dat gaat nu niet. Ik zou dus een SSD van 240GB adviseren die je tot 200GB max vult met VM's
Je gekozen behuizing is een 19" rack model. Als je geen rack hebt, zou ik dat dus niet doen. Daarnaast zijn dergelijke cases niet gebouwd met het oog op stil, dus de kans dat je flink wat geluidsproductie hebt is best aannemelijk. Je zou ook voor een tower kunnen kijken; die zijn vaak wat vriendelijker voor consumenten-doeleinden.
De gekozen voeding van 550Watt is imho erg groot; je kan met 300Watt waarschijnlijk al prima af. HDD's verbruiken niet zo gek veel.
Wat de CPU betreft lijkt het me qua budget een logische keuze. Qua build zou een i7 of Xeon een betere keuze zijn, maar als er geen ruimte voor ligt houdt dat natuurlijk op en zou je later nog eens kunnen upgraden mocht het nodig zijn.

[nldbobg]

Bbedankt voor je reactie,

Ik heb naar aanleiding van je tips wat aanpassingen doorgevoerd.

Ook heb ik de aanwezige hardware toegevoegd aan het lijstje.

Hardware:

#	Product	Prijs	Subtotaal
1	Intel Core i5 4440 Boxed	€ 154,80	€ 154,80
1	Gigabyte GA-Z87X-UD3H	€ 139,05	€ 139,05
1	Fractal Design Define R4 Pearl Black	€ 82,94	€ 82,94
1	Asus PCE-N53	€ 31,87	€ 31,87
1	Scythe Mugen 4 PCGH Edition	€ 35,40	€ 35,40
1	Crucial Ballistix Tactical BLT2C8G3D1608ET3LX0CEU	€ 120,95	€ 120,95
1	XFX Pro 550W	€ 51,60	€ 51,60
Bekijk collectie Importeer producten		Totaal	€ 616,61

Opslag:

#	Product	Prijs	Subtotaal
2	Seagate ST2000VN000, 2TB	€ 82,85	€ 165,70
6	Seagate ST4000VN000, 4TB	€ 150,45	€ 902,70
2	BitFenix Molex naar 4x SATA adapter	€ 7,62	€ 15,24
9	Sharkoon SATA Kabel	€ 2,81	€ 25,29
1	Adata Premier Pro SP900 128GB	€ 61,95	€ 61,95
Bekijk collectie Importeer producten		Totaal	€ 1.170,88

Wat bedoel je met een betere keuze voor een I7 of Xeon?
vakantie geld is net aangekomen dus ik heb wel wat meer ruimte,

Het MOBO is er 1 met 8 sata poorten, die 6+4 heb ik niet kunnen vinden.

Met de PSU calculator die ik op het internet heb gevonden kwam ik op net geen 500W, vandaar mijn keuze voor deze.

De 4TB hardeschijven heb ik gekozen op mijn ervaringen met de 2TB en 3TB versie hiervan.

mvg Bob

(edit: extra verduidelijking, en gevonden: pricewatch: ASRock Z87 Extreme6)

[ Voor 3% gewijzigd door nldbobg op 21-05-2014 09:27 ]

[kroegtijger]

Wat betreft de CPU is het grote voordeel van de i7's en de Xeon's dat deze hyperthreading ondersteunen, en de i5 en i3 doen dat niet. Zie bijvoorbeeld http://tweakers.net/price.../330322;330324/categorie/
Hierin zie je ook aangegeven worden dat het aantal threads op de i5 4/4 is, terwijl de i7 dit met 4/8 kan doen. Hetzelfde geldt ook voor de Xeon. Daarnaast heeft de i7 wat meer Level3 Cache, wat het er uiteraard niet trager op maakt, maar daar zit in dit geval niet het heel grote verschil in dus.
Wat betreft borden met meer dan 8 SATA-controllers blijkt dat je hier inderdaad lang naar kan zoeken, aangezien de chipset dit niet ondersteund ik was in de war met de 990FX-chipset voor AMD's die wel 10 SATA's aan kan. Overigens geniet dan nog steeds wel de voorkeur om een losse controller te gebruiken, ook met het oog op consistentie. Je raid-array is namelijk afhankelijk van die controller. Stel dat je moederbord stuk zou gaan, dan kan je ook je data niet meer benaderen, tenzij je een exact dezelfde controller (moederbord) kan krijgen en de disks op dezelfde manier aansluit. Meestal dat tegen de tijd dat de controller / bord overlijd dat het niet meer verkrijgbaar is. Losse raid-controllers zijn in dat opzicht wat betrouwbaarder en langer verkrijgbaar mocht het mis gaan. Zelf ben ik mede om deze redenen van Raid-arrays voor thuis afgestapt. Voor echt snelle storage ben je immers toch beter af met SSD's qua bang-for-buck voor thuis, en voor data-storage heb je die snelheid eigenlijk nooit echt nodig. Zeker voor media-content is een stand-alone disk net zo prima.
Door middel van mappings kan je alles onder 1 grote share aanbieden (bijvoorbeeld mounten van volume op een folder ipv letter, of door gebruik van symbolic links). Voordeel daarvan is dat je daardoor alleen de disks laat opspinnen die je nodig hebt, en wat je niet gebruikt draait ook niet. Daardoor is je systeem zuiniger en stiller, maar heeft dus als nadeel dat een "folder" (eigenlijk dus disk) een limiet heeft van in dit geval 4TB.
De voeding lijkt me behoorlijk stevig. Een disk trekt (heel grofweg gerekend) zo'n 10Watt, wat in totaal dus neer komt op zo'n 80Watt áls alles tegelijkertijd zou draaien uiteraard. Komt nog CPU en moederbord bij die samen toch echt geen 200Watt trekken, dus waarom er uit je calculator dan 500Watt komt rollen is me een raadsel. Ik zou daar nog even goed onderzoek naar doen. Wat er uiteindelijk ook uit komt, neem in ieder geval wel een kwalitatief goede voeding (zoals de XFX die je nu hebt opgenomen)
Ik zie dat je ook een Wifi-kaartje hebt opgenomen in je build. Waarom precies? Dit soort systemen moet je niet met Wifi aan je netwerk willen hangen, en eigenlijk zou ik eerder een dubbele NIC in teaming erbij adviseren voor een snelle connectie naar die machine toe, maar dat is afhankelijk van de hoeveelheid traffic die je uiteindelijk van / naar de machine hebt lopen.

[CaDje]

Ik zou voordat je aan grote raid 5 arrays begint je even inlezen over de voor en nadelen van raid icm grote HD's. Zoek eens op google naar raid 5 icm 2, 3, of 4 TB HD's.

http://www.raid-failure.com/raid5-failure.aspx

[martijnnos]

Eigenlijk moet je een dual xeon server kopen van 1500

Nee voor het geen je aangeeft is die i5 wel goed, ook wordt hierboven aangegeven dat i3 geen HT heeft dit is onjuist, er zijn zeker i3 met Hyperthreading. Nu weet ik niet hoeveel dit met iets te maken heeft.

Verder zou ik juist wel dat ZFS topic lezen gewoon pagina 1 beginnen als dat je interesse niet wekt (heb je niet goed genoeg gelezen ) doe je het niet, ik denk alleen dat Raid 5 ook niet verstandig is (geen eigen ervaring mee en Raid of dit nu zfs of niet is het is en blijft geen back-up.

En het voedingsadvies, die sites gaan meestal uit van een bagger voeding en worstcase.

Bij ZFS wordt ook aangeraden ECC geheugen (en veel daarvan) te gebruiken dus dit is ook nog het overwegen waard misschien. Wat dan wel inhoud dat je een serverbordje moet hebben met een i3 of Xeon (dacht dat i5 en i7 geen ECC onder steunen)

Ook zie ik dat je 6 x 4TB en 2x 2TB ik begrijp niet helemaal waarvoor? raidz1 of raid5

Even iets van een ander forum geplukt. Dit moet de ideale configuratie zijn van het aantal schijven in een ZFS raid pool
RAID-Z: 3, 5 or 9 disks, hier geld 1 schijf stuk niets aan de hand meer alles weg.
RAID-Z2: 6 or 10 disks, en hier 2 schijven geen probleem anders alles weg.

Wat er op neerkomt als je een Raidz1 pool maken wilt je het best 5 schijven kan gebruiken en kom je dus zonder alle verliezen op een bruikbare pool van 16TB uit
Raidz2 6 schijven en ook 16TB
Je kan er ook meerdere aan elkaar koppelen.
Ook om de kosten te drukken zou je nog met 3TB schijven aan de gang kunnen, dan red je ook je 12TB bruikbaar (al zit er nog wel iets van verlies aan in ZFS)

kijk ook hier voor Het grote zuinige server topic staan ook wel eens nuttige dingen in
Het grote zuinige server topic

Ik hoop dat het wat inzicht geeft en verder heb ik er ook niet alle verstand van maar dan kan je weer verder zoeken.

[DXaroth]

nldbobg schreef op dinsdag 20 mei 2014 @ 03:13:
...

Je wilt een paar dingen in de gaten houden:

1) ZFS met VMWare is meer dan mogelijk, maar hier zitten wat haken aan:
1.a) het meest veilige is om een aparte HBA te gebruiken, hierdoor kan je de gehele HBA doorgeven aan 1 instance (waar je ZFS datapools op draaien), zodat ZFS zo dicht mogelijk bij je disks kan zitten (hoe dichter bij, hoe beter ZFS zijn ding kan doen)
1.b) Om een HBA direct door te geven heeft je CPU VT-d support nodig; de CPU die je gekozen heeft heeft dit wel, maar let er dus op dat als je besluit een andere CPU te willen, dat dat nodig gaat zijn

2) Voor ZFS geld, meer ram is nuttig.. zelfde met VMWare, dus een VMWare+ZFS oplossing is intensief op je RAM.. 16GB is voldoende om te beginnen (8-12 voor je ZFS instance, dan hou je 7-3 GB over voor andere instances). Let ook op dat het ram dat je gekozen hebt (en het moederbord) geen ECC ram ondersteunen.. dit kan handig zijn vanwege de extra (kleine) laag veiligheid die het toevoegt.

3) Als je meer disks wilt aansluiten heb je een raid kaart of een HBA nodig.. liggend aan of je ZFS wilt gaan draaien of een traditionele raid oplossing. voor ZFS zijn HBAs als deze veel gebruikt: pricewatch: IBM ServeRAID M1015 SAS/SATA Controller for System x ... deze heeft ruimte voor totaal 8 sata poorten (4 per SFF-8087 poort).. hier kan je dan alle disks aansluiten die voor je ZFS instance zijn, waarbij je de SATA poorten op je moederbord gebruikt om vmware te voorzien van opslag.

4) Bedenk je wel, dat als je media gaat streamen, dat wireless niet handig is.. het werkt, maar hoe hoger de kwaliteit media, hoe sneller je haperingen gaat merken door je wifi...

5) Failsafe is een groot woord, dit heeft te maken met hoe foutgevoelig je opstelling wilt zijn, raid 1, 5 en 6 hebben elk hun voor en nadelen (voor ZFS: raidz is ongeveer gelijk aan raid 5, en raidz2 is ongeveer gelijk aan raid 6); raid 1 kost veel extra disks (je hebt immers voor 4TB ruimte 2 disks van 4TB nodig dan), en is redelijk foutgevoelig (op zijn slechts kan je 1 disk kwijt raken, op zijn best de helft van al je disks).. raid 5 is efficienter met opslag, maar heeft maar een tollerantie voor 1 disk die kapot gaat (plus de langdradige discussie of raid 5 nu dood is of niet). raid 6 is wat minder efficient, maar door zijn 2e extra disk kan je er wel tot 2 kwijt raken voordat je data kwijt raakt.

6) Voor zuinige systemen wil je wel de zuinige topics op CSL doorlezen; zuinig moet kunnen, maar dat ligt ook redelijk aan hoe je je systeem gebruikt (wordt er veel gedownload, veel gekeken, etc)..

martijnnos schreef op woensdag 21 mei 2014 @ 11:17:
Eigenlijk moet je een dual xeon server kopen van 1500

Nee voor het geen je aangeeft is die i5 wel goed, ook wordt hierboven aangegeven dat i3 geen HT heeft dit is onjuist, er zijn zeker i3 met Hyperthreading. Nu weet ik niet hoeveel dit met iets te maken heeft.

Verder zou ik juist wel dat ZFS topic lezen gewoon pagina 1 beginnen als dat je interesse niet wekt (heb je niet goed genoeg gelezen ) doe je het niet, ik denk alleen dat Raid 5 ook niet verstandig is (geen eigen ervaring mee en Raid of dit nu zfs of niet is het is en blijft geen back-up.

En het voedingsadvies, die sites gaan meestal uit van een bagger voeding en worstcase.

Bij ZFS wordt ook aangeraden ECC geheugen (en veel daarvan) te gebruiken dus dit is ook nog het overwegen waard misschien. Wat dan wel inhoud dat je een serverbordje moet hebben met een i3 of Xeon (dacht dat i5 en i7 geen ECC onder steunen)

Ook zie ik dat je 6 x 4TB en 2x 2TB ik begrijp niet helemaal waarvoor? raidz1 of raid5

Even iets van een ander forum geplukt. Dit moet de ideale configuratie zijn van het aantal schijven in een ZFS raid pool
RAID-Z: 3, 5 or 9 disks, hier geld 1 schijf stuk niets aan de hand meer alles weg.
RAID-Z2: 6 or 10 disks, en hier 2 schijven geen probleem anders alles weg.

Wat er op neerkomt als je een Raidz1 pool maken wilt je het best 5 schijven kan gebruiken en kom je dus zonder alle verliezen op een bruikbare pool van 16TB uit
Raidz2 6 schijven en ook 16TB
Je kan er ook meerdere aan elkaar koppelen.
Ook om de kosten te drukken zou je nog met 3TB schijven aan de gang kunnen, dan red je ook je 12TB bruikbaar (al zit er nog wel iets van verlies aan in ZFS)

kijk ook hier voor Het grote zuinige server topic staan ook wel eens nuttige dingen in
Het grote zuinige server topic

Ik hoop dat het wat inzicht geeft en verder heb ik er ook niet alle verstand van maar dan kan je weer verder zoeken.

we zitten precies hetzelfde te schrijven.. naja, bijna dan.

Wel 1 melding, je bent niet geforceerd aan de hoeveelheid disks voor raidz/raidz2 (en ook raid5/raid6), je kan makkelijk 8 disks in raidz2 gooien en dan werkt het zoals je verwacht.. de enige MAAR is, dat het minder efficient is dan als de hoeveelheid disks minus hun parity (1 voor raidz, 2 voor raidz2) een meervoud van 2 is...

[ Voor 75% gewijzigd door DXaroth op 21-05-2014 11:44 ]

[Paul]

Je hebt een paar eisen:

- 14 TB
- Bescherming van je data
- VMware
- Plex Media Server

De wireless-eis zou ik als het ook maar even kan zo snel mogelijk laten vallen, van 14 TB op wireless wordt je niet vrolijk VMware en wireless ondersteuning is bij mijn weten ook non-existing... Omdat je VMware gaat draaien kun je op de console erg weinig, je kunt je servertje dus gewoon in de meterkast / kelder / kast plaatsen en een kabel trekken naar je router of switch.

Vanwege de 'failsafe' is ZFS een van de betere keuzes momenteel. Je spaart een RAID-controller uit (VMware zelf kan geen software raid), dat geld kun je inzetten op ECC. Omdat je behalve ZFS ook VMware wilt gebruiken moet je (om het veilig te doen) een hele controller doorgeven aan je ZFS-VM, bijvoorbeeld de pricewatch: IBM ServeRAID M1015 SAS/SATA Controller for System x Andere optie is een onboard controller, al zit je dan vaak al aan dingen die ver boven je budget zitten.

Helaas is ECC op Intel een redelijk deur grapje, je zit dan al aan een Xeon E3 of hoger, en alleen de processor is al 180 euro. Het kan ook zonder ECC, het is maar net wat je aan risico accepteert. Als je vooral gedownloade media opslaat kan het makkelijk zonder. Heb je echter data die je heel belangrijk vindt dan zou ik wel ECC nemen. Alternatief is een offsite kopie (backblaze of zo, of ergens nog een NASje neerzetten (2e hands bijvoorbeeld) zodat je er twee kopiën hebt.

[kroegtijger]

martijnnos schreef op woensdag 21 mei 2014 @ 11:17:
Eigenlijk moet je een dual xeon server kopen van 1500

Nee voor het geen je aangeeft is die i5 wel goed, ook wordt hierboven aangegeven dat i3 geen HT heeft dit is onjuist, er zijn zeker i3 met Hyperthreading. Nu weet ik niet hoeveel dit met iets te maken heeft.

Pak eens de specs erbij, en kijk eens goed:
http://ark.intel.com/compare/75043,75122
Aantal threads op de i5 4570 is 4 en op de i7 4770 is 8. Zeker in een VMWare omgeving maakt dat een wereld van verschil. Op een i5 zal je heel snel overprovissioning moeten gaan toepassen (heel kort door de bocht komt het erop neer dat meerdere VM's gebruik maken van 1 core dat op software-niveau, VMWare dus, wordt afgehandeld) terwijl je op de i7 en Xeon vanuit de hardware-laag al meerdere processen de core kan laten delen, wat aanzienlijk sneller is. Juist dat onderdeel is ook het enige écht grote voordeel van een i7 boven een i5.
Wat betreft ECC of non-ECC geheugen blijkt dat ECC in de praktijk eigenlijk gewoon te duur is voor consumenten, maar het zou wel de voorkeur hebben uiteraard. Het voordeel van ECC komt met name tot zn recht bij processen waar (heel) grote hoeveelheden data die absoluut consistent moet blijven in het geheugen worden geplaatst. Dit is met name bij databases e.d. het geval, maar ook bij Virtualisatie van omgevingen. Ikzelf neem het voor lief dat (heel) incidenteel je een spontane crash zal kunnen ondervinden. Het is lastig, maar imho niet veel meer dan dat. In een bedrijfs-situatie is dat natuurlijk anders en is een dergelijk verschijnsel absoluut onacceptabel. Dan is ECC dus eigenlijk een must.

[DXaroth]

kroegtijger schreef op woensdag 21 mei 2014 @ 15:21:
[...]
Wat betreft ECC of non-ECC geheugen blijkt dat ECC in de praktijk eigenlijk gewoon te duur is voor consumenten, maar het zou wel de voorkeur hebben uiteraard. Het voordeel van ECC komt met name tot zn recht bij processen waar (heel) grote hoeveelheden data die absoluut consistent moet blijven in het geheugen worden geplaatst. Dit is met name bij databases e.d. het geval, maar ook bij Virtualisatie van omgevingen. Ikzelf neem het voor lief dat (heel) incidenteel je een spontane crash zal kunnen ondervinden. Het is lastig, maar imho niet veel meer dan dat. In een bedrijfs-situatie is dat natuurlijk anders en is een dergelijk verschijnsel absoluut onacceptabel. Dan is ECC dus eigenlijk een must.

te duur? het scheelt nog geen 20 euro met non-ECC: http://tweakers.net/price...;324409;319126/categorie/

Bedenk wel he, dat als je een systeem gaat maken met 14+ TB aan disks, je dus minimaal 5 4TB disks in je systeem gaat hebben (waarschijnlijk zelfs 6 voor de raidz2).. dat is al 700 euro aan disks die je er in propt, dan gok ik dat het probleem van een ander moederbord moeten uitkiezen een grotere factor gaat spelen dan die 20 euro

ZFS is trouwens net zo hevig op ram als een database server; al het beschikbare ram wat hij mag gebruiken, zal hij gebruiken om te cachen, zowel async writes als reads.. ram errors kunnen dus corrupte data veroorzaken in bepaalde gevallen.

[Paul]

DXaroth schreef op woensdag 21 mei 2014 @ 15:50:
te duur? het scheelt nog geen 20 euro met non-ECC

De geheugenreepjes niet nee... De goedkoopste processoren met en zonder is (Intel) 150 euro duurder en aan moederborden ben je ook zo 50 euro verder...

[DXaroth]

Paul schreef op woensdag 21 mei 2014 @ 15:57:
[...]
De geheugenreepjes niet nee... De goedkoopste processoren met en zonder is (Intel) 150 euro duurder en aan moederborden ben je ook zo 50 euro verder...

Als je enkel naar intel kijkt wel ja, maar gelukkig supporten heel veel AMD processoren dit wel zonder de meerprijs. Maar zoals al zei, dat zijn keuzes en afwegingen die mijn inziens vaak zwaarder wegen dan het verschil in ram kosten.

[kroegtijger]

DXaroth schreef op woensdag 21 mei 2014 @ 15:50:
[...]


te duur? het scheelt nog geen 20 euro met non-ECC: http://tweakers.net/price...;324409;319126/categorie/

Da's inderdaad ongeveer 33% duurder. Dat is aanzienlijk imho

Bedenk wel he, dat als je een systeem gaat maken met 14+ TB aan disks, je dus minimaal 5 4TB disks in je systeem gaat hebben (waarschijnlijk zelfs 6 voor de raidz2).. dat is al 700 euro aan disks die je er in propt, dan gok ik dat het probleem van een ander moederbord moeten uitkiezen een grotere factor gaat spelen dan die 20 euro

Het geheugen zelf is relatief weinig duurder (alhoewel je al snel weer 40,- er tegenaan gooit; 8GB dekt de lading niet) maar met name de borden zijn (aanzienlijk) duurder en de keuze is vrij beperkt dan. Als het iets zou zijn dat ook nog daadwerkelijk écht meerwaarde geeft in performance, dan zou ik het er nog wel voor over hebben, maar het is alleen een stabiliteits-issue, waar je zeer waarschijnlijk niet eens tegenaan zal gaan lopen. Om daar nu al weer gauw 150,- extra tegenaan te gooien lijkt me niet handig; dan zou ik dat eerder in een knappe raid-controller steken.

ZFS is trouwens net zo hevig op ram als een database server; al het beschikbare ram wat hij mag gebruiken, zal hij gebruiken om te cachen, zowel async writes als reads.. ram errors kunnen dus corrupte data veroorzaken in bepaalde gevallen.

Hoe het op het moment zit met ZFS icm VMWare ESX hosts weet ik niet, maar de laatste keer dat ik hiermee bezig ben gegaan was pakweg een jaartje geleden, en toen was volgens mij de algemene mening dat het niet zo'n heel goed plan was, aangezien je de disks als raw device mapping aan de VM moet toewijzen, en dat ging toen net niet echt lekker. Mogelijk is dat al achterhaald, maar ik zou dergelijke oplossingen vooraf wel even goed controleren of het functioneel is in combinatie met een virtualisatie-laag. Eigenlijk is het namelijk ook niet het idee van VMWare om op deze manier te werken; die zien storage als een stand-alone device, waar de hosts gebruik van kunnen maken (meestal in de vorm van een SAN). De support op mapping van disks als raw device zal dan dus ook nooit echt geweldig gaan worden verwacht ik.

[DXaroth]

kroegtijger schreef op woensdag 21 mei 2014 @ 16:29:
[...]

Da's inderdaad ongeveer 33% duurder. Dat is aanzienlijk imho

[...]

Het geheugen zelf is relatief weinig duurder (alhoewel je al snel weer 40,- er tegenaan gooit; 8GB dekt de lading niet) maar met name de borden zijn (aanzienlijk) duurder en de keuze is vrij beperkt dan. Als het iets zou zijn dat ook nog daadwerkelijk écht meerwaarde geeft in performance, dan zou ik het er nog wel voor over hebben, maar het is alleen een stabiliteits-issue, waar je zeer waarschijnlijk niet eens tegenaan zal gaan lopen. Om daar nu al weer gauw 150,- extra tegenaan te gooien lijkt me niet handig; dan zou ik dat eerder in een knappe raid-controller steken.

Dit is precies hetzelfde wat Paul net zei, wat.. precies geen inhoud heeft..

Je -hoeft- niet alleen naar Intel te kijken.. 90% van alle mainstream AMD processoren ondersteunen ECC, en het gros van alle AMD moederborden ook. de 150,- waar je over spreekt is dus grof overdreven of alleen van toepassing als de koper kieskeurig is, en kieskeurige kopers betalen nou eenmaal meer.

[b]kroegtijger schreef op woensdag 21 mei 2014 @ 16:29:
[...]

Hoe het op het moment zit met ZFS icm VMWare ESX hosts weet ik niet, maar de laatste keer dat ik hiermee bezig ben gegaan was pakweg een jaartje geleden, en toen was volgens mij de algemene mening dat het niet zo'n heel goed plan was, aangezien je de disks als raw device mapping aan de VM moet toewijzen, en dat ging toen net niet echt lekker. Mogelijk is dat al achterhaald, maar ik zou dergelijke oplossingen vooraf wel even goed controleren of het functioneel is in combinatie met een virtualisatie-laag. Eigenlijk is het namelijk ook niet het idee van VMWare om op deze manier te werken; die zien storage als een stand-alone device, waar de hosts gebruik van kunnen maken (meestal in de vorm van een SAN). De support op mapping van disks als raw device zal dan dus ook nooit echt geweldig gaan worden verwacht ik.

Dat valt dus enorm mee; ZFS werkt 'gewoon' onder ESX, al wordt RDM niet aangeraden, maar in plaats daarvan gebruik te maken van de voordelen die VT-d bied...
Met VT-d kan je een compleet device doorgeven aan een enkele instance, die krijgt exclusieve toegang tot dat device, zelfs ESX gaat er niet tussen zitten.. hiermee is het dus mogelijk om een HBA controller (de M1015 van IBM is erg gewild hiervoor) direct door te geven aan een instance, dan heb je in 1 klap tot op 8 sata disks tot je beschikking op je instance, zonder dat ESX hier wat mee kan/gaat doen. dit is nagenoeg ideaal voor ZFS.
Overigens spreek ik over devices, het is naar mijn weten niet mogelijk om een enkele HDD door te geven via VT-d, je hebt er wel een aparte controller voor nodig (want communicatie naar je HDDs gaat via een sata controller, en die wordt weer wel gedeeld, dus ESX kan niet directe ongehinderde toegang bieden tot 1 disk, zonder de gehele controller door te geven.

RDM is, zoals je al zei, ook mogelijk, hierbij zitten echter nog steeds wat haken en ogen waardoor het wel werkt, maar niet altijd even betrouwbaar kan zijn (waardoor veel dus kiezen voor de VT-d oplossing)

[Paul]

DXaroth schreef op woensdag 21 mei 2014 @ 16:41:
Dit is precies hetzelfde wat Paul net zei, wat.. precies geen inhoud heeft..

Not sure if...

Je -hoeft- niet alleen naar Intel te kijken..

Helaas voor jou is 90% van de kopers 'kieskeurig'. Hoeveel AMD kom je daadwerkelijk tegen in het wild, en dan al helemaal met VMware erop... Vervolgens gaat performance en idle-verbruik ook nog meespelen.

Iedereen noemt het niet voor niets VT-d ipv AMD-Vi

Het kan, zeker, maar er valt veel minder over te vinden online, en persoonlijk heb ik liever iets waar mensen goede ervaringen mee hebben om mijn data op op te slaan dan iets waar niemand ervaring mee heeft.

[kroegtijger]

DXaroth schreef op woensdag 21 mei 2014 @ 16:41:
[...]

Dit is precies hetzelfde wat Paul net zei, wat.. precies geen inhoud heeft..

Je -hoeft- niet alleen naar Intel te kijken.. 90% van alle mainstream AMD processoren ondersteunen ECC, en het gros van alle AMD moederborden ook. de 150,- waar je over spreekt is dus grof overdreven of alleen van toepassing als de koper kieskeurig is, en kieskeurige kopers betalen nou eenmaal meer.

Als we ook naar AMD-oplossingen gaan kijken komt er plots een heel ander plaatje natuurlijk om de hoek, aangezien AMD met een heel andere manier van mulit-threading werkt. AMD heeft namelijk in tegenstelling tot Intel wel echt meer dan 4 cores opgenomen in hun recente architectuur (en ik doel dan uiteraard op de AM3+ based CPU’s; neem voor het gemak van de discussie bijvoorbeeld een FX-8350), maar deze 8 fysieke cores delen weer 4 floating points. Dat is dus een wezenlijk verschil van aanpak dat dat Intel hanteerd. Nadeel van de AMD’s is dan wel weer dat hun verbruik een stukje hoger ligt, én je geen iGPU hebt. Een aparte GPU is dus nodig (maakt op zich niet uit wat het is, als er beeld is dan is het al goed, maar toch moet er wel “iets” zijn).
Daarnaast is de performance van een i7-4770 enorm veel hoger dan de performance van een FX-9590 (het top-model desktop CPU van AMD). De vergelijking gaat daar dus al wel redelijk mank op, en om dan voor AMD te kiezen, uitsluitend om een betaalbare ECC-oplossing te gaan zoeken is imho dus de compleet verkeerde weg. Voor dergelijke builds is Intel toch echt de weg die je het beste kan bewandelen dan. (voor de goede orde, ik heb helemaal niets tegen AMD en ben op veel fronten zelfs liefhebber van hun producten, maar niet in de high-end en performance hoek)

[...]


Dat valt dus enorm mee; ZFS werkt 'gewoon' onder ESX, al wordt RDM niet aangeraden, maar in plaats daarvan gebruik te maken van de voordelen die VT-d bied...
Met VT-d kan je een compleet device doorgeven aan een enkele instance, die krijgt exclusieve toegang tot dat device, zelfs ESX gaat er niet tussen zitten.. hiermee is het dus mogelijk om een HBA controller (de M1015 van IBM is erg gewild hiervoor) direct door te geven aan een instance, dan heb je in 1 klap tot op 8 sata disks tot je beschikking op je instance, zonder dat ESX hier wat mee kan/gaat doen. dit is nagenoeg ideaal voor ZFS.
Overigens spreek ik over devices, het is naar mijn weten niet mogelijk om een enkele HDD door te geven via VT-d, je hebt er wel een aparte controller voor nodig (want communicatie naar je HDDs gaat via een sata controller, en die wordt weer wel gedeeld, dus ESX kan niet directe ongehinderde toegang bieden tot 1 disk, zonder de gehele controller door te geven.

RDM is, zoals je al zei, ook mogelijk, hierbij zitten echter nog steeds wat haken en ogen waardoor het wel werkt, maar niet altijd even betrouwbaar kan zijn (waardoor veel dus kiezen voor de VT-d oplossing)

Dat klinkt zeer positief in ieder geval. Zal ik binnenkort ook eens wat mee gaan spelen.

[kroegtijger]

Paul schreef op woensdag 21 mei 2014 @ 17:03:
[...]
Not sure if...
[...]
Helaas voor jou is 90% van de kopers 'kieskeurig'. Hoeveel AMD kom je daadwerkelijk tegen in het wild, en dan al helemaal met VMware erop... Vervolgens gaat performance en idle-verbruik ook nog meespelen.

Bij stom toeval wil het zo zijn dat ik dan wel weer op AMD en VMWare werk, maar da's meer omdat die hardware toevallig over bleef en nog niet aan vervanging toe is Het functioneert allemaal wel prima hoor, maar ik durf niet al te veel naar het verbruik van het ding te kijken

Iedereen noemt het niet voor niets VT-d ipv AMD-Vi

Het kan, zeker, maar er valt veel minder over te vinden online, en persoonlijk heb ik liever iets waar mensen goede ervaringen mee hebben om mijn data op op te slaan dan iets waar niemand ervaring mee heeft.

Ook daar ben ik het dan wel weer mee eens, maar dat hangt dan natuurlijk ook weer nauw samen met wat het precies voor data betreft. Echt belangrijke data staat toch ook nog in een (extern opgeslagen) backup natuurlijk. Dat wat minder / niet belangrijk is, is dat een ramp dan als het weg is? Het blijft natuurlijk wel een thuis-situatie en geen bedrijfs-omgeving. Daar spelen weer heel andere eisen uiteraard.

[nldbobg]

Wow wat een boel informatie,
Om te beginnen bedankt voor jullie tijd.

momenteel gebruik ik mijn PC met windows met daarop enkele VM's voor gameserver etc.
hiervoor gebruik ik een wireless netwerk kaart die door enkel door 1 VM wordt gebruikt voor wat testjes, vandaar deze kaart)

Ik heb de tijd genomen om wat verder in ZFS te duiken en in vmware een testje te doen hiermee.
na wat rondzoeken kwam ik er achter dat ZFS ook in ubuntu draaiend te krijgen is, dit heb ik even getest en het werkt inderdaad in een VM.
hiernaast beschikt ubuntu over een VMplayer, ik kan dus mijn eigen PC gebruiken om VM's te maken en deze daarna te exporteeren naar de Server om deze op ubuntu te draaien.
Dit zijn vooral windows game servers die weinig rekenkracht nodig hebben.
Ook ondersteund ubuntu de plex media server, wat een pre is voor mij.

stel dat ik op de SSD ubuntu instaleer,

met in mijn achterhoofd de tips voor 5x 3TB schijven gebruik, deze onder ubuntu in Raidz1 zet en ik dus 12TB aan schijfruimte heb,
kan ik dit dan via de 5 SATA aansluitingen het MOBO laten lopen of is hier een groot nadeel ten opzichte van een M1015 SAS kaart?

als ik er dan voor zorg dat mijn MOBO een extra PCI slot heeft voor later uitbreiding met een M1015.

heeft deze oplossing nog grote nadelen tov. het gebruik van ESXI (ik heb ESXI nog nooit gebruikt, maar kan dat natuurlijk altijd leren)

Ik ga in iedergeval wat aanpassingen doorvoeren in de build aan de hand van jullie tips.

[johnkeates]

Ga voor een moederbord met een C222, C224 of C226 chipset, bijv. een X10SL7 van SuperMicro. Dan heb je meteen 12 SATA poorten en ECC ondersteuning als je een Xeon E3 gebruikt. Ding heeft ook nog eens twee Gigabit Ethernet poorten en een losse dedicated IPMI poort (dat zit er ook in) en goede virtualisatie ondersteuning.

[ Voor 29% gewijzigd door johnkeates op 22-05-2014 04:02 ]

[nldbobg]

goede tip,
pricewatch: Supermicro X10SL7-F

Deze ( X10SL7) heeft 2 SATA3, 4 SATA2 en 8 SAS2 poorten.
geeft dit geen problemen met ZFS?
ik had altijd begrepen dat SAS een appart soort schijven was? of zit ik er hier dan finaal naast?

[Paul]

Je kunt SATA-schijven op een SAS-poort aansluiten, andersom niet. Ook hangt het van de SAS-implementatie en ook nog eens van de schijven af of het 99% of 100% werkt, maar de chips die Supermicro onboard gebruikt zijn allemaal geschikt voor SATA-schijven.

Ga je nu wel of geen gebruik maken van VMware vSphere Hypervisor / ESXi? VMware Server bestaat niet meer, daar is vSphere voor in de plaats gekomen. Alternatieven zijn Workstation of Player.

Als je vSphere zou gaan gebruiken dan kun je alleen de (controller met de) 8 SAS-poorten doorgeven aan je Ubuntu-VM. Als je Ubuntu bare metal draait kun je wel alle 14 poorten gebruiken. Ik zou dan wel eerder KVM of zo gebruiken ipv Workstation of Player om je VM's te draaien, Workstation of Player zijn toch eerder werkstation-programma's ipv iets wat echt bedoeld is om 24/7 mee productie te draaien. Maar dat is mijn persoonlijke mening

Je onboard SATA-aansluitingen hebben geen voor- of nadelen ten opzichte van zo'n IBM-kaart, beiden zijn bruikbaar. Enkel als je ESXi gebruikt heb je minimaal één aansluiting nodig voor een datastore voor het OS van je ZFS-VM, en dat kost dus meteen alle aansluitingen op die controller.

Als je VM's wilt draaien dan heeft ESXi als voordeel dat het een bare metal hypervisor is en dus de minste overhead geeft. VMware Player of Workstation draaien bovenop je OS en hebben dus een stuk meer overhead. KVM zit er tussenin, dat draait in je kernel ipv in userland.

Zelf draai in ESXi met een SSD voor (in mijn geval) FreeNAS (en nog wat VM's) en de 2e controller doorgegeven aan FreeNAS met daarop 5x4TB in RAID-Z1. Als ik uit wil breiden (het staat nog lang niet vol...) dan moet ik ook een losse PCIe-controller (zoals die IBM) kopen (en een grotere kast ) om voldoende poorten te hebben voor de uitbreiding.

Let wel op met uitbreiden bij ZFS: je kunt geen RAID-arrays vergroten, je kunt enkele complete arrays toevoegen. Als je één schijf toevoegt dan doet hij dat als losse schijf en is er dus geen enkele redundancy voor de data op die schijf...

[kroegtijger]

Helemaal eens met wat Paul hierboven beschrijft
Naar mijn mening is de ESXi-oplossing dan ook het prettigst, maar heeft als nadeel(tje) dat de machine waarop dit draait ook volledig dedicated is voor dit doeleinde. Even snel er een browser oid op starten zal niet gaan. Zolang dat geen bezwaar is, is vSphere Hypervisor imho de mooiste oplossing voor het moment.

[martijnnos]

kroegtijger schreef op woensdag 21 mei 2014 @ 15:21:
[...]

Ik Snap ook wel dat een i7 met HT meer virtuele cores heeft, maar het prijs verschil tussen i7 of xeon is niet groot. Wil je ECC moet je dat gewoon doen.

Maar hoe je niet zoveel cores, voor een paar simpele dingen die hier gedraaid worden kan je ook een i3 nemen die wel ECC en HT ondersteund heb je een dual core (met HT 4 virtuele cores) en dat scheeld €100 ? Maar het zou best kunnnen dat elke VM een aparte core moet hebben niet in verdiept verder.

Heb zelf een Xeon en wil nog een i3 of lagere haswell met ECC ondersteuning erbij voor voornamelijk data opslag en misschien nog wat mini server dingen. het is maar een idee zo kunnen mensen zelf zien wat ze willen.

Ohja,
En als je een g3220 ofzo gebruikt hebt en later toch nog een xeon wilt is moederbord en geheugen al goed, maar ja als je van te voren al twijfelt gewoon voor de xeon gaan als het budget er is.

[ Voor 12% gewijzigd door martijnnos op 24-05-2014 22:03 ]