Het grote DIY RAID NAS topic deel 3

[Verwijderd]

Tweakers, ik heb aardig wat NAS machines gebouwd, maar nog niet eerder in een proper server-chassis. Gezien de 12 à 16 HDD grootte is dat deze keer een wens cq noodzaak.

Mijn kennis over dergelijke chassis was tot dan alleen theoretisch, vandaar er maar gewoon een betaalbare min-of-meer willekeurig van Marktplaats opgepikt. Deed voorheen dienst als AVID server bij een ISP en is in Duitsland door ToolTec in elkaar gezet.

De "inrichting" van de kast gaat volgens een recept dat ik al jaren gebruik: een Supermicro serverboard (X9/X10/X11) met IBM of Dell controllers die als LSI 9211-8i in IT mode werken.

Maar dan begint wat voor mij een nog onduidelijk gebied is. De case is een AIC RMC-3E2-PI-XPSS-ML - R3G-6650P - I2C, met als backplane een aantal AIC TW-000-52072-AR R.A1, die een SEP (Storage Enclosure Processor) LC4032Y-75TN-101 SGPIO hebben.

Wat dat allemaal nu exact inhoudt, weet ik niet, maar vermeld het voor de volledigheid. Misschien is de aanwezigheid van een SEP al genoeg om te zeggen dat dit een slecht plan is.

Deze AIC backplane, is volgens het weinige dat ik er over kan Googlen, een zgn. "Actieve" backplane, versus een Passieve.

Moet ik hier bang voor zijn in combinatie met bijvoorbeeld FreeNAS/ZFS? Ik wil niet dat het ding iets toevoegt aan het datasignaal, het is puur voor nette connectiviteit, om een grote hoop kabels te vermijden.

Wat ik getest heb is dat de backplane prima kan omgaan met m'n geteste schijven; WD Greens van 2TB, WD REDs van 6TB en een mix van ES3 en ES4 Seagate Constellation 4TB drives, enkele SATA, de meesten SAS.

SMART info kreeg ik alleen van de SATA drives, vooralsnog niet van de SAS schijven, Vond ik wat verontrustend, maar denk niet dat dat nu relevant is.

De enige andere Google hit is een melding dat deze compatible is met de Promise SuperTrak TX8658/8650 SAS/SATA RAID controller. Zegt misschien ook al wat.

Is er een duidelijk oordeel te vellen over deze backplane? Bij twijfel ruk ik het hele ding er uit en ga rechtstreeks bekabelen.

[Verwijderd]

Altijd een PASSIEVE backplane nemen! Dan heb je later nooit gezeik met je HBA danwel expander, die in feite in je behuizing zit dan.

Met een passieve backplane is het gewoon mechanisch aangesloten en bepaal jij welke controller/expander je gebruikt. Ik heb in het verleden in elk geval heel veel problemen gehoord met actieve SAS backplanes. En waarom zou je dit doen? Passief is toch per definitie beter omdat je 'eerlijke' bandbreedte krijgt; gewoon één Mini-SAS connector per 4 disks, zoals het hoort.

[Verwijderd]

Verwijderd schreef op zondag 19 februari 2017 @ 16:22:
Ik heb in het verleden in elk geval heel veel problemen gehoord met actieve SAS backplanes.

Dank voor je antwoord, CiPHER; dat was mijn vrees exact. Het ding gaat er uit dus. Wil er niet elke keer over hoeven twijfelen of in geval van troubleshooten het "misschien toch niet" de backplanes zijn.

Is het los van een via-via anecdote op internet, nog mogelijk om te zien/bepalen of (deze) backplanes daadwerkelijk actief zijn? Moet er een bepaalde layout/chip/etc op zitten?

Kan me namelijk ook niet voorstellen dat de Areca RAID waar het altijd mee heeft gedraaid, gelukkig wordt van iets anders dan een passieve backplane.

Ze komen uit 2006/7 vermoed ik, en werken zonder morren met 6TB drives. Dat gaf mij wat hoop dat het "domme", cq. passieve, dingen zijn. Er zijn verhalen van oude, zgn. intelligente backplanes, die een 2TB limit kennen en al dan niet (via een COM-poort en X-modem!) geupgrade moesten.

[Verwijderd]

Of het passief of actief is hoort toch echt bij de productomschrijving te staan; want dat is essentieel.

[Verwijderd]

Die productomschrijving is in de praktijk niet-bestaand. Zal bij AIC wel ooit hebben bestaan, maar is nergens terug te vinden op internet.

Mijn chassis is ooit als complete server geleverd, dáár heb ik de (zeer summiere) handleiding van, maar dat is een gebruikshandleiding, en deze vermeld de onderdelen, niet de specs van deze onderdelen.

Mij zegt het niks, maar dit zijn de voor- en achterkant van het gevaarte:
Hopelijk is er definitief te zien of 't actief of passieve backplanes zijn.

[IceTeaGX]

Verwijderd schreef op zondag 19 februari 2017 @ 18:12:
[afbeelding]

Die zien er dan weer vrij passief uit.
4 lanes per rij van 4 schijven, er zit dus geen SAS expander oid op.

Hoogstens wat power filtering, maar dat is niet noodzakelijk slecht.

[Verwijderd]

Ziet er wat mij betreft ook uit als passieve poorten met idd per rij een Mini-SAS dus dat is heel goed nieuws!

[Verwijderd]

YES!!!

Dan ga ik nog steeds bedenken of ik deze backplane wel ga gebruiken, maar het kán in ieder geval zonder angst en beven.
Dank voor het determineren.

[zeroday]

Voor de experts wellicht simpel vraagje:

Hoe kan ik een RAID5 bestaande uit 3x3TB gaan vervangen voor 4x5TB zonder dat ik data verlies?

Ben ik genoodzaakt om de data eerst ergens anders naar te migreren?

[Verwijderd]

Nee dat hoeft niet. Je hebt een RAID5 dus je kunt een schijf missen. Je zou dus elke keer een schijf kunnen afkoppelen en een nieuwe (grotere) schijf kunnen gebruiken om deze te vervangen.

Bedenk wel dat dit een RISICOVOLLE procedure is! Je moet dit namelijk meerdere keren doen en elke keer als je RAID5 een schijf mist, loop je enorm veel risico wanneer de overige schijven een bad sector krijgen bijvoorbeeld. Dus maak zeker backups van de belangrijkste data! Echt doen!

Bij goede RAID-engines (en opvolgers als ZFS) kun je ook een schijf vervangen terwijl deze nog aangesloten is. Dit is veel veiliger, omdat tijdens het rebuilden je gewoon nog redundancy hebt en er dus een schijf kan uitvallen of een schijf een bad sector mag hebben.

Of dit ook voor jou geldt, hangt af welke RAID5 engine (software drivers of hardware controller) je gebruikt. Dit kun je opzoeken in de documentatie.

[IceTeaGX]

zeroday schreef op donderdag 2 maart 2017 @ 16:08:
Voor de experts wellicht simpel vraagje:

Hoe kan ik een RAID5 bestaande uit 3x3TB gaan vervangen voor 4x5TB zonder dat ik data verlies?

Ben ik genoodzaakt om de data eerst ergens anders naar te migreren?

Hoeveel aansluitingen voor schijven heb je?
Ik veronderstel iets van RAID controller (intel, onboard, of aparte kaart), of gebruik je een software oplossing?
Het is nogal vaag om een sluitend antwoord te kunnen geven?

[zeroday]

IceTeaGX schreef op donderdag 2 maart 2017 @ 16:59:
[...]

Hoeveel aansluitingen voor schijven heb je?
Ik veronderstel iets van RAID controller (intel, onboard, of aparte kaart), of gebruik je een software oplossing?
Het is nogal vaag om een sluitend antwoord te kunnen geven?

in dit geval heb ik 4 aansluitingen beschikbaar.
systeempje is een HP Microserver gen8 met een onboard B210i raid controllertje ..

maar het mag ook betrekking hebben op een Linux box met 4 aansluitingingen waarop de disks in AHCI mode staan en met softwareraid draaien

[Paul]

Wat is het uiteindelijke doel? Welke hardware, welke software, welk filesystem?

Als je doel iets met een software RAID is (ZFS bijvoorbeeld, of md) dan kun je die schijven aan de 2e PC hangen, de boel voorbereiden, data overzetten en dan de schijven overzetten naar de uiteindelijke doel-PC.

[zeroday]

Paul schreef op donderdag 2 maart 2017 @ 19:51:
Wat is het uiteindelijke doel? Welke hardware, welke software, welk filesystem?

Als je doel iets met een software RAID is (ZFS bijvoorbeeld, of md) dan kun je die schijven aan de 2e PC hangen, de boel voorbereiden, data overzetten en dan de schijven overzetten naar de uiteindelijke doel-PC.

niet lastiger maken dan het is:
Er is 1 server niet meer niet minder, uitbreiding van Raid mogelijk qua space zonder dat je data eerst ergens anders moet parkeren? simpel ja of nee kan volstaan

. Als dat namelijk op geen enkele manier kan ik zou bijv. een 4x3TB willen uitbreiden naar 4x10TB dan moet je dus een 'backup' systeem hebben en daarna de data overzetten.

Het mooiste zou namelijk zijn dat bij bijv. een raid5 eerst 1 disk verwisseld en dat bij alle 4 kan doen waarbij je later de raid qua ruimte zou kunnen expanden. Systeem blijft up en je data beschikbaar.

[Paul]

zeroday schreef op donderdag 2 maart 2017 @ 21:34:
niet lastiger maken dan het is:
Er is 1 server niet meer niet minder

Nu ja, blijkbaar heb je ook nog een Linux box met md

uitbreiding van Raid mogelijk qua space zonder dat je data eerst ergens anders moet parkeren? simpel ja of nee kan volstaan

Helaas is dat antwoord niet zo simpel Wat gebruik je voor het aanmaken van die array? Die HP SmartArray B210i? md? ZFS? Iets anders? Dat maakt heel veel verschil uit voor wat je met die array kunt

[MdBruin]

Ik denk dat je de Smart Array B120i bedoelt i.p.v. B210i zeroday
https://www.hpe.com/nl/en...oserver-gen8.5379860.html

Zoals CiPHER al eerder aan gaf, Ja het kan maar er zijn risico's aan verbonden.
Begeeft een van de schijven het of ontstaat er een fout dan loop je het risico dat je alle data kwijt kunt zijn.

Edit:
Maak je gebruik van de software RAID van de machine zelf of van het OS?

[ Voor 9% gewijzigd door MdBruin op 02-03-2017 22:18 ]

[zeroday]

Verwijderd schreef op donderdag 2 maart 2017 @ 16:54:
Nee dat hoeft niet. Je hebt een RAID5 dus je kunt een schijf missen. Je zou dus elke keer een schijf kunnen afkoppelen en een nieuwe (grotere) schijf kunnen gebruiken om deze te vervangen.

Bedenk wel dat dit een RISICOVOLLE procedure is! Je moet dit namelijk meerdere keren doen en elke keer als je RAID5 een schijf mist, loop je enorm veel risico wanneer de overige schijven een bad sector krijgen bijvoorbeeld. Dus maak zeker backups van de belangrijkste data! Echt doen!

Bij goede RAID-engines (en opvolgers als ZFS) kun je ook een schijf vervangen terwijl deze nog aangesloten is. Dit is veel veiliger, omdat tijdens het rebuilden je gewoon nog redundancy hebt en er dus een schijf kan uitvallen of een schijf een bad sector mag hebben.

Of dit ook voor jou geldt, hangt af welke RAID5 engine (software drivers of hardware controller) je gebruikt. Dit kun je opzoeken in de documentatie.

Duidelijk, in welke hoedanigheid wordt dan de opslag uitgebreid? gaat dat automatisch als bijv. de 3e grote HDD erbij gezet wordt? (mogelijk als de 3e schijf gesynced is met de overige) en dat je dan daarna een sync hebt met de 4e en waarbij de raid dan uitgebreid wordt?

Mij gaat het erom dat de totale grootte groter wordt en niet gelijk blijft (dus 8TB wordt 11TB bijv. en blijft niet 8TB)

[ Voor 10% gewijzigd door zeroday op 03-03-2017 08:28 ]

[unezra]

Verwijderd schreef op donderdag 2 maart 2017 @ 16:54:
Nee dat hoeft niet. Je hebt een RAID5 dus je kunt een schijf missen. Je zou dus elke keer een schijf kunnen afkoppelen en een nieuwe (grotere) schijf kunnen gebruiken om deze te vervangen.

Hij wil van 3 naar 4 schijven. Ik denk dat daar de grootste uitdaging in gaat zitten.

[zeroday]

Paul schreef op donderdag 2 maart 2017 @ 21:40:
[...]
Nu ja, blijkbaar heb je ook nog een Linux box met md
[...]
Helaas is dat antwoord niet zo simpel Wat gebruik je voor het aanmaken van die array? Die HP SmartArray B210i? md? ZFS? Iets anders? Dat maakt heel veel verschil uit voor wat je met die array kunt

ja ik heb 4 doosjes HP Microserver gen8 waarvan er 3 met OpenMediavault en 1x een VMWARE omgeving
maar het ging mij om het principe dat als ik bijv. een software raid heb of de HP 120i raid dat ik dan (ondanks) risco's over zou kunnen gaan

[Paul]

zeroday schreef op vrijdag 3 maart 2017 @ 08:22:
het ging mij om het principe dat als ik bijv. een software raid heb of de HP 120i raid dat ik dan (ondanks) risco's over zou kunnen gaan

Zoals ik al zei, dat verschilt...

Use case: Van een RAID 5 array van 3 schijven naar een RAID 5 array van 4 grotere schijven

HP B120i:
Schijven vervangen: Ja
Logisch volume vergroten: Staat er niet bij
Schijven toevoegen aan array: Staat er niet bij

In een ander document staat dat het wel kan, maar niet op alle controllers / OS'en zonder direct te vermelden welke combinaties wel en niet..

Linux MD:
Schijven vervangen: Ja
Logisch volume vergroten: Ja
Schijven toevoegen aan array: Ja

ZFS:
Schijven vervangen: Ja
Logisch volume vergroten: Ja
Schijven toevoegen aan array: Nee. Je kunt vdevs (arrays of losse schijven) toevoegen aan een pool, maar een bestaande vdev niet uitbreiden met extra schijven. Tevens is je pool net zo zwak als de zwakste vdev, dus 3 schijven in RAIDZ en een losse schijf is (bijna) net zo onveilig als 4 schijven in RAID 0. De (bijna) zit er in dat je 1 van de schijven in de RAIDZ kunt verliezen zonder dataverlies, maar als die ene schijf stuk gaat is alles stuk, ook de data op de RAIDZ vdev.

Nu heeft zo'n Microserver dacht ik 6 SATA-aansluitingen al passen er officieel maar 4 schijven in, dus met wat kabeltjes kun je in het ZFS scenario wel een 2e pool aanmaken met een degraded RAIDZ vdev van 4 schijven (3 schijven en een dummy), data kopiëren, oude schijven eruit, 4e nieuwe schijf er in en resilveren. <- Kan wel maar dan moet je de bestaande array ook degraden; server heeft maar 5 poortjes. Zou ik niet doen; zet die schijven dan tijdelijk in een andere server en klus ze later over

[ Voor 5% gewijzigd door Paul op 03-03-2017 10:12 ]

[FireDrunk]

HP MicroServer heeft 5 SATA aansluitingen, 4 voor de bays, en 1 losse (normaal gesproken voor de DVD speler). Deze 5e kan je overigens niet van booten.

[Paul]

Oh, hebben ze de 6e niet aangesloten... De B120i kan wel 6 schijven aansturen namelijk

[Q]

FireDrunk schreef op vrijdag 3 maart 2017 @ 10:06:
HP MicroServer heeft 5 SATA aansluitingen, 4 voor de bays, en 1 losse (normaal gesproken voor de DVD speler). Deze 5e kan je overigens niet van booten.

Je kunt niet in AHCI mode booten van de 5e poort, maar als je de controller in RAID mode zet en die 5e poort in een RAID0 vollume zet kan het wel. De overige poorten die je gewoon niet configureerd, lijken dan gewoon zich als reguliere AHCI poorten te gedragen.

Ik weet echter niet wat de impact is van een ingeschakelde RAID bios in combinatie met een rotte drive en ZFS. Ik denk zelf dat het allemaal wel meevalt.

Maar zelf boot ik van USB naar een sata 2.5" schijfje.

[FireDrunk]

Ik had een USB stick waar ik een GRUB loader op had staan die weer doorging met van de 5e poort booten

[Q]

FireDrunk schreef op vrijdag 3 maart 2017 @ 15:15:
Ik had een USB stick waar ik een GRUB loader op had staan die weer doorging met van de 5e poort booten

Dat is uiteindelijk misschien de 'veiligste' optie

Die stick wordt nooit beschreven, alleen gelezen dus die zal niet snel stuk gaan.

[unezra]

FireDrunk schreef op vrijdag 3 maart 2017 @ 15:15:
Ik had een USB stick waar ik een GRUB loader op had staan die weer doorging met van de 5e poort booten

Kan ook met een micro SD kaartje.
Slot zit er op en daar kun je van booten / een compleet OS op installeren...

[FireDrunk]

SD kaartje vond ik niet zo super makkelijk. Niet elke Linux installer vind dat leuk, en voor mijn gevoel is een SD kaart toch nog een tikkeltje minder betrouwbaar dan een USB stickje.

Maar technisch gezien heb je helemaal gelijk. Groot voordeel van de MicroServer is dat hij ook een interne USB poort heeft, dus het stickje zat sowieso niet in de weg ofzo.

Anders had ik sowieso voor een SD kaartje gekozen.

[unezra]

FireDrunk schreef op vrijdag 3 maart 2017 @ 16:10:
SD kaartje vond ik niet zo super makkelijk. Niet elke Linux installer vind dat leuk, en voor mijn gevoel is een SD kaart toch nog een tikkeltje minder betrouwbaar dan een USB stickje.

Mwah. In dit geval staat er niet meer dan een bootsector op maar SD kaarten worden ook gebruikt om bijvoorbeeld VMWare ESX in bedrijfssituaties op te draaien. Dat gaat dus geen problemen opleveren.

Thuis heb ik voor FreeNAS wel een USB stick d'r in zitten, zelfs eentje die extreem veel read/write cycles aan kan.

Maar technisch gezien heb je helemaal gelijk. Groot voordeel van de MicroServer is dat hij ook een interne USB poort heeft, dus het stickje zat sowieso niet in de weg ofzo.

Anders had ik sowieso voor een SD kaartje gekozen.

Klopt, je hebt de keuze. Da's een van de dingen waar je aan ziet dat de Microserver een *echte* server is. Intern USB en een (micro)SD kaart is standaard in HP servers.

[Pantagruel]

unezra schreef op vrijdag 3 maart 2017 @ 17:40:
[...]


Mwah. In dit geval staat er niet meer dan een bootsector op maar SD kaarten worden ook gebruikt om bijvoorbeeld VMWare ESX in bedrijfssituaties op te draaien. Dat gaat dus geen problemen opleveren.

Thuis heb ik voor FreeNAS wel een USB stick d'r in zitten, zelfs eentje die extreem veel read/write cycles aan kan.


[...]


Klopt, je hebt de keuze. Da's een van de dingen waar je aan ziet dat de Microserver een *echte* server is. Intern USB en een (micro)SD kaart is standaard in HP servers.

Een beetje spuit 11

HP heeft een Dual micro sdcard USB stick die voor dit soort dingen bedoeld lijkt te zijn. Werkt natuurlijk alleen op HPE hardware , maar bied wel mirrored micro sdcard's om vanaf te booten. De prijs is wel minder vriendelijk (ca. $80) dus zelf een of twee kopietjes maken van je USB stickie is een prijs vriendelijkere optie.

( De ESXi server boot vanaf een usb stick, reserve kopie gemaakt mbv ImageUSB )

[ Voor 6% gewijzigd door Pantagruel op 14-03-2017 14:35 . Reden: ImageUSB ]

[FireDrunk]

Wel een grappig concept, waarom dat perse in 1 USB device moet is natuurlijk een raadsel

Bestel gewoon op DealExtreme voor $1.48 per stuk, twee USB->MicroSD stickjes en doe hetzelfde, maar dan verdeeld over twee USB poorten

[TheBorg]

De kogel is door de kerk. Mijn QNAP met 6x 3TB is vol dus er moet wat groters komen. Ik heb lang met de gedachte gespeeld om gewoon een 8 bay QNAP te kopen maar de bloatware van een standaard NAS staat me nogal tegen. Ik moet zeggen dat de keuze nogal moeilijk was want kwa prijs maakt het niet zo veel uit. Wil je een NAS met 6 bays dan kom je weg met een goedkope kast, goedkoop moederbord en ditto processor. Daarnaast wil ik gebruik maken van 10GBe dus zonder mobo met die functie kom je bij een goedkoop moederbord al op 2 insteekkaarten (sata en netwerk) en dat werkt niet in een klein kastje.

Vooral kwa kasten is het een hel. Ik heb zo ongeveer het hele weekend zitten speuren maar beter dan de bekende U-NAS wordt het echt niet.



Er zijn twee modellen. 1 met het moederbord aan de zijkant:


En een andere met het moederbord aan de bovenkant (is iets duurder)


Ik ben voor de laatste gegaan. Als je ook maar iets wilt wijzigen moet anders alles uit elkaar. Ook is er wat meer plek voor de CPU fan. Voordat het ding op de stoep staat ben je 400 euro kwijt. Dat is serieus geld. Daar koop je ook een 19" case met 12 hot swap bays voor. Maar dat past niet in m'n meterkast...

Mobo Supermicro X11SSH-CTF:


Key features:
- 2x 10GBe
- 8x Sata
- 8x SAS
- M.2 voor boot drive.

Het laatste is leuk voor als het ooit nog gekker moet. Er is ook een model zonder SAS controller. Scheelt ongeveer 100 Euro.

TIP: Zoek je een mobo voor 8 bays zoek dan op chipset. De Intel C236 heeft 8 SATA poorten. Er is komt ook een nieuw model met 10 poorten.

Heel veel geld armer.

#	Product	Prijs	Subtotaal
1	Intel Xeon Processor E3-1240L v5	€ 320,-	€ 320,-
1	Supermicro X11SSH-CTF	€ 470,-	€ 470,-
1	Samsung SM961 128GB	€ 88,52	€ 88,52
1	U-NAS NSC-800 Server Chassis	€ 0,-	€ 0,-
1	Kingston ValueRAM KVR21E15D8K2/16	€ 159,73	€ 159,73
1	Supermicro PWS-203-1H	€ 73,02	€ 73,02
8	WD Red WD80EFZX, 8TB	€ 314,-	€ 2.512,-
Bekijk collectie Importeer producten		Totaal	€ 3.623,27

Mobo heeft 2 10GBe aansluitingen waarvan ik er 1 rechtstreeks in m'n PC wil prikken. Als ik het goed heb moet ik de interfaces dan bridgen om op de PC ook internet toegang te krijgen.

Ik heb gekozen voor PWS-203-1H voeding omdat deze maar 200 Watt is. Kwa efficiëntie komt dat denk ik wel lekker uit. Misschien wel beter als een platinum of titanium van 350 watt.

Het zou leuk zijn om in de OP wat meer kasten op te nemen als iemand nog alternatieven weet...

[FireDrunk]

Wauw, mooie build! Wel een hoop geld idd

Weet je trouwens zeker dat dat bord in die kast past? Want volgens Supermicro is het aan mATX plank, en pikt die kast alleen ITX?

[TheBorg]

In de NSC-810A past ook een Micro ATX bord en deze heeft een riser voor 2 kaarten. De NSC-810 met het mobo aan de zijkant is inderdaad Micro (met uiteraard maar 1 PCI kaart).

http://www.u-nas.com/xcart/home.php?cat=249

[ Voor 4% gewijzigd door TheBorg op 20-03-2017 14:26 ]

[Q]

TheBorg schreef op maandag 20 maart 2017 @ 14:15:


Mobo heeft 2 10GBe aansluitingen waarvan ik er 1 rechtstreeks in m'n PC wil prikken. Als ik het goed heb moet ik de interfaces dan bridgen om op de PC ook internet toegang te krijgen.

Leuke build!

Je hoeft niet te bridgen lijkt me, gewoon juiste Cat x kabels tussen NAS en PC, IP adresen toewijzen en klaar?

Wat voor OS ga je draaien op je NAS?

[TheBorg]

Q schreef op maandag 20 maart 2017 @ 15:42:
[...]


Leuke build!

Wat voor OS ga je draaien op je NAS?

CentOS want daar heb ik ervaring mee. Misschien dat met een ander OS wel 10% meer performance te halen is maar als je ergens mee bekend bent dan is het wel zo makkelijk.

De Thecus N7770-10G haalt "file copy to nas" in RAID5 met 7 drives 633MB/sec.
https://www.smallnetbuild...-naspt-r5-filecopy-from/3

Ik heb geen idee wat ik kan verwachten met 8 drives in RAID6. Als het geen 400MB is dan heb ik wel gefaald voor dit geld.

Ook geen idee of ik beter alles aan de LSI 3008 controller (12GBit) moet hangen (flashen in IT mode zodat het een SATA controller wordt) of aan de Intel controller (6Gbit). Misschien kan ik beide proberen zonder een rebuild. Dat is meteen een leuke studie voor het geval er iets fout gaat. RAID van de LSI zelf wil ik niet gebruiken. Als de spreekwoordelijke poep de ventilator raakt zul je zien dat er nergens meer een zelfde controller te krijgen is.

Je hoeft niet te bridgen lijkt me, gewoon juiste Cat x kabels tussen NAS en PC, IP adresen toewijzen en klaar?

Geen idee, ik ben er al mentaal op voorbereid dat dit 3 avonden puzzelen is.
Scheelt wel een 10GBe switch van 700 Euro.

Ik hoop dat ik over een week of wat kan gaan knutselen. Dan post ik wel wat plaatjes en benchmarks.

[ Voor 3% gewijzigd door TheBorg op 20-03-2017 16:53 ]

[Paul]

Q schreef op maandag 20 maart 2017 @ 15:42:
Je hoeft niet te bridgen lijkt me, gewoon juiste Cat x kabels tussen NAS en PC, IP adresen toewijzen en klaar?

Wat versta je onder bridgen?

Als je op één van die twee computers (NAS of werkstation) niet bij de rest van je netwerk of het internet hoeft te kunnen dan is een kabel rechtstreeks tussen die twee voldoende, wil je toch kunnen internetten dan moet je ook nog een kabel naar de rest van het netwerk trekken op één van de computers en op die computer de twee netwerkkaarten bridgen, of beide computers met twee kabels aansluiten en je hosts-bestanden aanpassen en/of alles op IP-adres doen

Als je beide apparaten aan het netwerk hangt en er ook een directe kabel tussen hangt, maar je hosts file niet aanpast, dan hangt het heel erg van diverse instellingen en andere zaken (wat wordt er gebruikt voor name resolution, in welke volgorde initialiseert de computer de NICs, etc) of de 10GE-verbinding überhaupt wordt gebruikt

[Q]

TheBorg schreef op maandag 20 maart 2017 @ 16:49:
[...]

CentOS want daar heb ik ervaring mee. Misschien dat met een ander OS wel 10% meer performance te halen is maar als je ergens mee bekend bent dan is het wel zo makkelijk.

Lijkt mij een prima keuze en performance lijkt me geen enkel probleem.

Ik heb geen idee wat ik kan verwachten met 8 drives in RAID6. Als het geen 400MB is dan heb ik wel gefaald voor dit geld.

Ik heb wel vertrouwen dat je zeker 600+ haalt met deze config sequentieel 1 copy actie.

Ik neem aan dat je voor MDADM gaat (Linux Software RAID).

Ook geen idee of ik beter alles aan de LSI 3008 controller (12GBit) moet hangen (flashen in IT mode zodat het een SATA controller wordt) of aan de Intel controller (6Gbit). Misschien kan ik beide proberen zonder een rebuild. Dat is meteen een leuke studie voor het geval er iets fout gaat. RAID van de LSI zelf wil ik niet gebruiken. Als de spreekwoordelijke poep de ventilator raakt zul je zien dat er nergens meer een zelfde controller te krijgen is.

Gewoon even testen, zonder kritische data.

[...]

Geen idee, ik ben er al mentaal op voorbereid dat dit 3 avonden puzzelen is.
Scheelt wel een 10GBe switch van 700 Euro.

Ik hoop dat ik over een week of wat kan gaan knutselen. Dan post ik wel wat plaatjes en benchmarks.

Als je computer 2 netwerk interfaces heeft, 1 van 10Gbit en een 'gewone' van 1 Gbit en je NAS hoeft het internet niet op, zie ik geen reden tot bridgen. En met 2 nics kun je de 2e nic van je NAS gewoon op 1 gbit met je thuis lan verbinden voor internet access.

[ Voor 8% gewijzigd door Q op 20-03-2017 20:22 ]

[TheBorg]

Het probleem is dat de netwerkkabel naar m'n PC achter plinten ligt. Deze zijn gekit, geschilderd en ik wil ook nog eens verhuizen dus een netwerk kabel bijtrekken gaat echt niet gebeuren.

Paul schreef op maandag 20 maart 2017 @ 17:18:
Wat versta je onder bridgen?

Een paar quotes:

Bridging your network connection is a handy method for sharing your internet connection between two (or more) computers. It’s useful if you can’t buy a router with more than one ethernet port, or if you’re a college student in a dorm room with limited ethernet jacks and no router.

Basically, bridging is plugging one computer into another computer that already has a connection to a larger network (like the internet) and letting the bridged computer use the networked computer’s connection. To do so though, the networked computer needs to have two ethernet ports, one for the big network, and one for the bridged computer. Make sure before starting that the computer you’re going to bridge through has two ethernet ports, and that the hardware is capable of bridging ethernet connections (it probably should be).

En:

A network bridge is a Link Layer device which forwards traffic between networks based on MAC addresses and is therefore also referred to as a Layer 2 device. It makes forwarding decisions based on tables of MAC addresses which it builds by learning what hosts are connected to each network. A software bridge can be used within a Linux host in order to emulate a hardware bridge, for example in virtualization applications for sharing a NIC with one or more virtual NICs. This case will be illustrated here as an example

Ofwel de packets gaan van de ene naar de andere interface alsof het een normale switch is. Dit gebeurd op layer 2 niveau dus de performance impact is niet zo groot. Vergelijkbaar met een normale router. Als je wilt kun je het wel firewallen, dat was een feature die ik in het begin ook graag wilde hebben maar pfSense is een losse distributie en draait niet bovenop een bestaande Linux installatie.

Q schreef op maandag 20 maart 2017 @ 20:20:
Ik neem aan dat je voor MDADM gaat (Linux Software RAID).

Inderdaad. Met een simpele ext4 of xfs partitie. Heel klassiek zoals het op eigenlijk elke commerciele NAS gebeurd. Native Btrfs zou in bepaalde gevallen sneller moeten zijn en het idee dat doordat alles wordt gecontroleerd met checksums btrfs fouten uit zichzelf kan repareren is heel mooi maar het is nu nog niet stabiel:
https://btrfs.wiki.kernel.org/index.php/RAID56
Ik voel er ook niet veel voor om op de ZFS hype train te springen. Is voor mijn doel ook helemaal niet nodig.

Nu een tijd wachten tot de spullen binnen zijn. Zal wel even duren. Bij Azerty was niets op voorraad en de kast komt uit de US of A.

[Q]

Ok. MDADM is redelijk. Ik ben op mijn Download Server van ZFS naar MDADM terug geswitched vanwege de slechte sequentiële performance met ZFS + 8 disks in een VDEV. MDADM + XFS gaat prima.

Wat het bridgen betreft, ik verwacht dat je een bridge maakt met de 2 x 10Gbit interfaces, waarbij er 1 op 10Gbit werkt en 1 op 1 Gbit. Zou moeten werken zonder problemen. Heb je waarschijnlijk met de standaard 'brctl' commando's binnen 5 minuten werkende.

Worst-case moet je gaan routeren, is wat jammer maar ook geen probleem. Ik verwacht niet dat dit nodig is.

[ Voor 20% gewijzigd door Q op 21-03-2017 00:18 ]

[Paul]

TheBorg schreef op maandag 20 maart 2017 @ 23:20:
[...]


Een paar quotes:

Joh, je meent het

Ik had het tegen Q, maar die schreef een post later al dat we het over hetzelfde hadden

[FireDrunk]

@Q In hoeverre was jouw sequentiele performance ingekakt met ZFS? Ik ben wel beniewd waar je tegen aan liep. Heb zelf (ooit) eens wat performance tuning toegepast op vdev readaheads, waarmee je de sequentiele performance best een flinke boost kan geven.

[Q]

@FireDrunk ik weet de exacte getallen niet meer maar het scheelde 50%. Ik geloof je onmiddelijk, maar ik had op dat moment geen zin meer om ZFS te gaan lopen tweaken. Het is alleen mijn download bak. Niets kritisch.

[FireDrunk]

Duidelijk, maar met jouw kennis had ik stiekem gehoopt dat er een of ander mega tuning script aan te pas ging komen (waar we allemaal weer lol van konden hebben)

[Q]

Daar heb ik niet zoveel zin meer in . Het moet out-of-the-box gewoon 'goed' werken!

[Markos]

Ik zie in dit topic soms voorbij komen dat mensen pfsense gebruiken. Tot een paar dagen geleden had ik hier nog nooit van gehoord dus mijn kennis is nog zeer beperkt tot wat ik zo ver heb gelezen her en der.
Een paar dingen die nog niet echt voor mij duidelijk zijn:
- Degene die pfsense gebruiken, gebruiken die dat dan in een VM op hun nas?
- Is pfsense dan een vervanger voor een router? Geldt dit dan ook voor draadloos? Dus zou je dan je DIY NAS (indien de hardware geschikt is) naast het nas gedeelte ook tegelijkertijd kunnen gebruiken als vervanger van je router? (voor mij vooral interessant voor draadloos)
- Zijn er ook andere varianten dan pfsense? Als ik zoek op alternatieven kom ik o.a. OpenWRT en DD-WRT tegen, maar dit lijkt me niet hetzelfde als de pfsense die ik in dit topic tegen kwam. Tenminste, ik ken die twee alleen als firmware die ik op routers flash

[Paul]

Ik_ben_Mark3 schreef op dinsdag 21 maart 2017 @ 14:50:
- Degene die pfsense gebruiken, gebruiken die dat dan in een VM op hun nas?

Yup. Kan wel als dedicated hardware apparaat maar dat kost dus hardware en stroom. Ik ben nog altijd bijzonder tevreden over pfSense maar ben overgestapt op een pricewatch: Ubiquiti EdgeRouter Lite 3-Poort Router omdat ik nu iedere keer dat ik iets met mijn NAS wilde doen (is ook een beetje lab / speeltuin) ik geen internet meer had

- Is pfsense dan een vervanger voor een router? Geldt dit dan ook voor draadloos? Dus zou je dan je DIY NAS (indien de hardware geschikt is) naast het nas gedeelte ook tegelijkertijd kunnen gebruiken als vervanger van je router? (voor mij vooral interessant voor draadloos)

Voor het routeringsgedeelte van je draadloze netwerk zeker, om echt een access point te vervangen moet je een wifi-kaartje in je NAS stoppen. Aangezien je NAS maar zelden op de ideale plaats staat voor een accesspoint (hetzelfde geldt voor je router) zou ik dat niet doen maar gewoon een los access point kopen (bijvoorbeeld de pricewatch: Ubiquiti UniFi AP-AC LITE (1-Pack) ).

- Zijn er ook andere varianten dan pfsense? Als ik zoek op alternatieven kom ik o.a. OpenWRT en DD-WRT tegen, maar dit lijkt me niet hetzelfde als de pfsense die ik in dit topic tegen kwam. Tenminste, ik ken die twee alleen als firmware die ik op routers flash

Mja, pfSense is in deze ook een "firmware" die je op een "router" flasht, het is software die je op wat hardware installeert waardoor die hardware (mede) de functie "router" krijgt

DD WRT is gewoon als VMware appliance te krijgen, andere opties zijn m0n0wall (pfSense is een fork van m0n0wall), OPNsense (wat weer een fork is van pfSense) of iets heel anders als Untangle ( https://www.untangle.com/ ).

[NLBUURMAN]

Ik zit wat te kijken naar oplossingen om het geluidsniveau in mijn main PC behoorlijk terug te dringen door de harde schijven eruit te gooien. Aangezien dit toch alleen foto/video collecties zijn behoeven deze ook geen grote snelheid of vaak bekeken te worden.

Nou was mijn gedachte om bijvoorbeeld deze PC in mijn kast te zetten waar genoeg demping in zit (koeling wordt voor gezorgd, wees niet bang) en deze aan te sluiten op mijn main PC. hier heb ik een paar vragen over:
- Aansluiting twijfel ik over, is het mogelijk om middels een fysieke kabel te werken? (USB, Ethernet)
- indien dit niet mogelijk is zal hij dus op het netwerk komen te hangen, is dit softwarematig erg lastig in te stellen?

[Q]

NLBUURMAN schreef op dinsdag 21 maart 2017 @ 17:09:
Ik zit wat te kijken naar oplossingen om het geluidsniveau in mijn main PC behoorlijk terug te dringen door de harde schijven eruit te gooien. Aangezien dit toch alleen foto/video collecties zijn behoeven deze ook geen grote snelheid of vaak bekeken te worden.

Nou was mijn gedachte om bijvoorbeeld deze PC in mijn kast te zetten waar genoeg demping in zit (koeling wordt voor gezorgd, wees niet bang) en deze aan te sluiten op mijn main PC. hier heb ik een paar vragen over:
- Aansluiting twijfel ik over, is het mogelijk om middels een fysieke kabel te werken? (USB, Ethernet)
- indien dit niet mogelijk is zal hij dus op het netwerk komen te hangen, is dit softwarematig erg lastig in te stellen?

Je grootste probleem wordt de afstand tussen je PC en je monitor.

Een beduidend duurdere maar 'mooiere' oplossing is om een (zelfbouw) NAS neer te zetten op een gewenste locatie en ofwel je data op een netwerk share te plaatsen, of iSCSI te gebruiken over je netwerk, waarbij je NAS in feite een USB disk wordt met een hele lange USB kabel (dat is wat ik doe om schijven uit mijn woonkamer te houden).

[RobinMM]

Mijn huidige Plex server met hardware RAID heb ik van de week de laatste schijf in gezet (8x 4tb in RAID6).

Ben inmiddels vooruit aan het vooruit kijken naar een nieuwe DIY nas. Dit zal meer een fileserver worden die ik wil baseren op FreeNAS en ZFS. Ik wil starten met 3 of 4x 6tb in RAIDZ.

Hoor het graag of mensen tips/opmerkingen hebben over onderstaande config

#	Product	Prijs	Subtotaal
1	Intel Celeron G3900 Boxed	€ 36,50	€ 36,50
1	ASRock Rack C236M WS	€ 225,68	€ 225,68
3	WD Red WD60EFRX, 6TB	€ 235,95	€ 707,85
1	Fractal Design Define R5 Zwart	€ 102,50	€ 102,50
1	Kingston ValueRAM KVR24E17S8/8MA	€ 79,87	€ 79,87
1	Cooler Master V Series V550	€ 86,95	€ 86,95
Bekijk collectie Importeer producten		Totaal	€ 1.239,35

[TheBorg]

RobinMM schreef op vrijdag 24 maart 2017 @ 15:11:
Mijn huidige Plex server met hardware RAID heb ik van de week de laatste schijf in gezet (8x 4tb in RAID6).

Ben inmiddels vooruit aan het vooruit kijken naar een nieuwe DIY nas. Dit zal meer een fileserver worden die ik wil baseren op FreeNAS en ZFS. Ik wil starten met 3 of 4x 6tb in RAIDZ.

Hoor het graag of mensen tips/opmerkingen hebben over onderstaande config

#	Product	Prijs	Subtotaal
1	Intel Celeron G3900 Boxed	€ 36,50	€ 36,50
1	ASRock Rack C236M WS	€ 225,68	€ 225,68
3	WD Red WD60EFRX, 6TB	€ 235,95	€ 707,85
1	Fractal Design Define R5 Zwart	€ 102,50	€ 102,50
1	Kingston ValueRAM KVR24E17S8/8MA	€ 79,87	€ 79,87
1	Cooler Master V Series V550	€ 86,95	€ 86,95
Bekijk collectie Importeer producten		Totaal	€ 1.239,35

Dat ASRock Rack mobo is een mooi ding. Heb er zelf ook naar zitten kijken.

Kast is ook mooi. Zou samen met de U-NAS kast en de SilverStone DS380B in de volgende OP mogen.

Ik zou alleen de voeding veranderen in iets dat meer aansluit op het verbruik. Het hele systeem onder load zal waarschijnlijk minder dan 100 Watt verbruiken. Dan heb je dikke kans dat deze PSU maar aan een efficiency van 70% zit. Kun je beter iets van 250 Watt nemen.

[RobinMM]

Bedankt voor je reactie, momenteel heb ik dezelfde kast in gebruik voor mijn Plex Server. 1 van de weinige kasten met goede koeling, plaatst voor 8 schijven en een redelijke prijs. de U-NAS is erg mooi, maar slecht verkrijgbaar en voor een flinke prijs. De DS380 had ik eerst op mijn shortlist staan. Maar na het lezen over costdown en koeling problemen zie ik toch van die keuze af.

Voeding is inderdaad overkill, maar een echt kwalitatieve voeding is er niet echt met laag wattage. Gebruik trouwens in mijn plex server een simpele be quiet van 300 watt, die al jaren prima werkt. Maar wil toch een stapje 'hoger' om 1 of andere reden. Hardware.info heeft de efficiëntie getest van de v550 en deze is boven de 90% op 100watt. Bij 50 watt nog altijd 89 procent en op 22,5 zelfs nog 82 procent. De Power 2 300watt van Be quiet zit qua efficiëntie een stukje lager met 75 procent op 22,5watt.

[Navi]

Als je echt voor een server mobo gaat zou ik niet de ASRock Rack C236M WS nemen maar deze:

http://www.asrockrack.com...=E3C236D4U#Specifications

Heeft ook IPMI.

Heb laatst deze gebouwd, is een MiniITX systeem:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1240 v6 Boxed (ja , v6!)	€ 325,-	€ 325,-
1	ASRock Rack E3C236D2I	€ 268,43	€ 268,43
1	Chenbro Compact Server Chassis SR30169	€ 128,18	€ 128,18
1	Transcend JetFlash 720 32GB Zilver	€ 24,73	€ 24,73
1	Noctua NH-L9x65	€ 44,65	€ 44,65
2	Kingston ValueRAM KVR24E17S8/8MA	€ 79,87	€ 159,74
1	Cooler Master V Series V550	€ 90,90	€ 90,90
1	Uptimed 10G Server Dual Port Copper RJ45	€ 199,95	€ 199,95

Welke storage erin gaat moet ik nog over nadenken, als ik hem hou, hij staat ook te koop, maar denk 2x SSD en 2x HDD

[ Voor 135% gewijzigd door Navi op 26-03-2017 16:45 ]

[TheBorg]

Navi schreef op vrijdag 24 maart 2017 @ 20:31:
Als je echt voor een server mobo gaat zou ik niet de ASRock Rack C236M WS nemen maar deze:

2 SATA poorten minder
HDMI inruilen voor IPMI
2 DIMM slots minder
Normale M.2 inruilen voor M.2 NGFF

Ik zou dat alleen doen als IPMI heel zwaar weegt.

PSU test gevonden:
https://nl.hardware.info/...-topmodel-lage-belastingn

En door de site zitten bladeren. Betere efficiency bij lagere belasting is niet te vinden dus een hele goede keuze.

[Navi]

TheBorg schreef op vrijdag 24 maart 2017 @ 20:45:
[...]

2 SATA poorten minder
HDMI inruilen voor IPMI
2 DIMM slots minder
Normale M.2 inruilen voor M.2 NGFF

Ik zou dat alleen doen als IPMI heel zwaar weegt.

PSU test gevonden:
https://nl.hardware.info/...-topmodel-lage-belastingn

En door de site zitten bladeren. Betere efficiency bij lagere belasting is niet te vinden dus een hele goede keuze.

Had de verkeerde link, het is deze:
http://www.asrockrack.com...=E3C236D4U#Specifications

Verschillen vallen mee

[TheBorg]

Navi schreef op vrijdag 24 maart 2017 @ 20:46:
Had de verkeerde link, het is deze:
http://www.asrockrack.com...=E3C236D4U#Specifications

Verschillen vallen mee

Dan zou ik ook voor IPMI kiezen. Is wel 40 Euro extra.

Kast is binnen, als eerste onderdeel. En dat helemaal uit China.

Even een ander mobo er in gelegd met een i7 4770S met een TDP van 65 Watt:


Nu dus een CPU koeler uitzoeken. Boven de CPU koeler is nog geen centimeter over maar een Intel koeler heeft een "open" ontwerp. Met een Noctua koeler wordt de afstand misschien 2 centimeter maar die heeft een normale fan die rondom dicht is. Een standaard fan die op een CPU wordt gemonteerd met een TDP van 65 Watt moet dit met een TDP van 25 Watt toch met gemak koel houden of ben ik gek? Ik voel er niet zo heel veel voor om in de kap meteen gaten te gaan boren.

[Q]

Die uptimed 10G netwerk kaarten zijn erg betaalbaar. Interessant.

Uptimed is een relatief nieuw bedrijf, maar als de chip gewoon gesupport wordt, lijkt me er ook voor de lange termijn geen issue.

Heeft iemand al ervaring met deze kaarten?

Ik zit op die site van uptimed te kijken, ik vraag me af waarom je geen SFP+ zou nemen met kabel, volgens mij is dat nog goedkoper als je de workstation single-port kaart neemt.


pricewatch: Qlogic QLE3442-CU-CK

Zie ook deze in de price watch.

Product info klopt niet.

[ Voor 102% gewijzigd door Q op 24-03-2017 23:20 ]

[TheBorg]

Q schreef op vrijdag 24 maart 2017 @ 23:05:
Die uptimed 10G netwerk kaarten zijn erg betaalbaar. Interessant.

Uptimed is een relatief nieuw bedrijf, maar als de chip gewoon gesupport wordt, lijkt me er ook voor de lange termijn geen issue.

Heeft iemand al ervaring met deze kaarten?

Ik zit op die site van uptimed te kijken, ik vraag me af waarom je geen SFP+ zou nemen met kabel, volgens mij is dat nog goedkoper als je de workstation single-port kaart neemt.


pricewatch: Qlogic QLE3442-CU-CK

Zie ook deze in de price watch.

Product info klopt niet.

Zit net op de site te kijken. Ze gebruiken gewoon Intel chips dus het moet goed zijn. Met SPF is een switch ook meteen betaalbaar maar wat mij zou tegenhouden is dat je, voor zover ik weet, de connectoren niet zelf kan monteren en dus niet door een muur heen kan.

[Q]

TheBorg schreef op vrijdag 24 maart 2017 @ 23:22:
[...]

Zit net op de site te kijken. Ze gebruiken gewoon Intel chips dus het moet goed zijn. Met SPF is een switch ook meteen betaalbaar maar wat mij zou tegenhouden is dat je, voor zover ik weet, de connectoren niet zelf kan monteren en dus niet door een muur heen kan.

De glas kabels hebben dunne uiteinden dus die past door iedere pvc electo buis, maar het is niet even zoals met UTP achteraf een stekker er aan knijpen afaik.

Ik heb zelf goedkoop Melanox Infiniband kaartjes op ebay gekocht (rond de 70 euro per stuk) + kabel (paar tientjes). Had ze al tijden liggen maar geen zin om in te bouwen. (lui)

Met infiniband kun je dus voor de prijs van 1 x 10Gbe kaartje klaar zijn.

Vandaag heb ik eindelijk besloten om mijn quad ethernet in mijn download server en storage server te vervangen door infiniband.

Gaat stuk rapper.

code:

70593282048 bytes (71 GB) copied, 97.7842 s, 722 MB/s

Goedkoper nog dan 10Gbe en wordt goed ondersteund door Linux.

code:

InfiniBand: Mellanox Technologies MT25208 [InfiniHost III Ex] (rev 20)

Edit: theoretisch zou infiniband bij mij nog veel sneller moeten zijn, maar ik kom niet boven de 6 a 7 Gbit uit.
Voor mij is dat genoeg en ik kan al die UTP kabels opruimen.

[ Voor 12% gewijzigd door Q op 25-03-2017 14:43 ]

[Navi]

Och Infiniband, breek me de mond niet open, wat een gedoe heb ik daarmee voorbij zien komen zeg.
Mocht je het al aan de gang krijgen in de wereld van incompatibiliteit is het eindeloos tunen om de maximale performance eruit te halen, wat dat betreft werkt gewoon ethernet toch een stuk beter.
(Zeker ook mocht je meerdere systemen via een switch willen gebruiken icm je bestaande netwerk)

Ook vergelijk je nu gebruikte spullen met nieuwe hardware.

Aan SFP+ kabels kun je inderdaad niet zelf een stekkertje zetten, maar de LC connector die erop zit kun je tijdelijk even uit elkaar halen waardoor het best compact is, zie bv:


Ging op die manier prima om ze toch door kleine gaatjes heen te voeren.

En anders pak je gewoon 10G over koper, een CAT6/6A stekker is prima te doen.

[ Voor 4% gewijzigd door Navi op 26-03-2017 11:03 ]

[Q]

Navi schreef op zondag 26 maart 2017 @ 11:02:
Och Infiniband, breek me de mond niet open, wat een gedoe heb ik daarmee voorbij zien komen zeg.
Mocht je het al aan de gang krijgen in de wereld van incompatibiliteit is het eindeloos tunen om de maximale performance eruit te halen, wat dat betreft werkt gewoon ethernet toch een stuk beter.
(Zeker ook mocht je meerdere systemen via een switch willen gebruiken icm je bestaande netwerk)

Ik had geen issues en had het zo aan de praat.

http://louwrentius.com/us...-to-point-networking.html

De performance is goed genoeg voor mij, fuck tuning.

Als je al je apparaten op 10Gbe wilt hebben, dan lijkt me Ethernet beter, maar daar betaal je voor.

Als je vooral alleen op de backend, of tussen twee systemen een point-to-point link wilt maken die snel is, dan kan dit goed genoeg zijn.

Met 2 poorten per InfiniBand kaart kun je zelfs zonder switch makkelijk nog 3 systemen aansluiten.

Ook vergelijk je nu gebruikte spullen met nieuwe hardware.

Dat is waar.

[Verwijderd]

Qua ethernet is me opgevallen dat deze kaartjes nu goed betaalbaar zijn - en ondersteund door BSD:

pricewatch: Qlogic QLE3442-CU-CK

Zelf wacht ik op AMD Naples waar hoogstwaarschijnlijk twee 10Gbit MACs zijn ingebouwd in de SoC-chip. Dat is het beste. En dan zo'n Qlogic kaartje erbij voor de backup server(s).

---

Verder kan ik melden dat mijn DeLock 10x AHCI SATA PCIe 2.0 x2 controller nu eindelijk goed lijkt te werken met BSD. Daarvoor heb je nodig FreeBSD 12.0-CURRENT vanaf revisie r312767 van 25 januari 2017.

URL fabrikant: http://www.delock.com/produkte/G_89384/merkmale.html
URL pricewatch: pricewatch: Delock PCI Express Card > 10 x internal SATA 6 Gb/s – Low P...

[RobinMM]

@Navi
Bedankt voor de tip van het moederbord, het maakt de totale build wel weer wat duurder, en is minder goed verkrijgbaar. Is IPMI echt die meerprijs waard, voor een 'eenvoudige' fileserver? Ik heb zelf geen ervaring met IPMI. Maar voor zover ik het begrijp zou ik daarmee de server via de dedicated lan port op bijvoorbeeld mijn laptop aan kunnen sluiten voor het doen van (o.a.) de OS install.

[Q]

Verwijderd schreef op zondag 26 maart 2017 @ 15:43:
Qua ethernet is me opgevallen dat deze kaartjes nu goed betaalbaar zijn - en ondersteund door BSD:

pricewatch: Qlogic QLE3442-CU-CK

Zelf wacht ik op AMD Naples waar hoogstwaarschijnlijk twee 10Gbit MACs zijn ingebouwd in de SoC-chip. Dat is het beste. En dan zo'n Qlogic kaartje erbij voor de backup server(s).

---

Verder kan ik melden dat mijn DeLock 10x AHCI SATA PCIe 2.0 x2 controller nu eindelijk goed lijkt te werken met BSD. Daarvoor heb je nodig FreeBSD 12.0-CURRENT vanaf revisie r312767 van 25 januari 2017.

URL fabrikant: http://www.delock.com/produkte/G_89384/merkmale.html
URL pricewatch: pricewatch: Delock PCI Express Card > 10 x internal SATA 6 Gb/s – Low P...

@Verwijderd die Qlogic netwerk kaart blijkt verkeerd te staan in de pricewatch. Hij is nu aangepast, maar het is dus geen RJ45 kaart, anders was het een mooie prijs geweest. De 'echte' RJ45 kaart is bijna dubbel zo duur.

Van de 10Gbe Ethernet kaarten lijkt deze nieuwe kaart vooralsnog dan de goedkoopste RJ45 versie.

https://www.uptimed.nl/producten/10g-netwerkkaarten

[ Voor 5% gewijzigd door Q op 27-03-2017 14:49 ]

[TheBorg]

RobinMM schreef op maandag 27 maart 2017 @ 14:33:
@Navi
Maar voor zover ik het begrijp zou ik daarmee de server via de dedicated lan port op bijvoorbeeld mijn laptop aan kunnen sluiten voor het doen van (o.a.) de OS install.

Je kan het beeldscherm zien en een toetsenbord en muis gebruiken op een andere computer. Daarnaast heb je nog een web based interface om vanalles en nogwat te doen. Zoek maar eens op Google Images naar Supermicro IPMI dan krijg je wel een idee wat je er allemaal mee kan. Of je het 40 Euro waard vind moet je zelf bepalen natuurlijk.

Hier begint het al lekker. Er gaat alleen een 60mm M.2 kaarjte op het Supermicro board. Dus heb ik dit nodig:

Om een 80mm kaartje er op te prakken. Een NVME 60mm kaartje is niet te krijgen.

[ Voor 17% gewijzigd door TheBorg op 27-03-2017 17:54 ]

[Verwijderd]

Q schreef op maandag 27 maart 2017 @ 14:48:
[...]


@Verwijderd die Qlogic netwerk kaart blijkt verkeerd te staan in de pricewatch. Hij is nu aangepast, maar het is dus geen RJ45 kaart, anders was het een mooie prijs geweest. De 'echte' RJ45 kaart is bijna dubbel zo duur.

Lekker is dat.

Deze dus: pricewatch: Qlogic QLE3442-RJ-CK - FastLinQ 3400 10 GbE Series

Nog wel goedkoper dan de Intel X540 en de recent geintroduceerde X550 die toch al wel enigszins betaalbaar is: pricewatch: Intel X550-T1 10GbE Network Adapter.

Ook interessant vond ik de X710: pricewatch: Intel X710-T4 10GbE Network Adapter maar daar zijn nog geen prijzen van bekend.

[TheBorg]

Verwijderd schreef op maandag 27 maart 2017 @ 21:35:
Ook interessant vond ik de X710: pricewatch: Intel X710-T4 10GbE Network Adapter maar daar zijn nog geen prijzen van bekend.

600 Euro advies prijs.

Hier gaat het lekker. Hard trekken aan de kabels helpt niet.

[Philip J. Dijkstra]

@TheBorg, blijf ons vooral op de hoogte houden van je build. Ik zit op het puntje van mijn stoel te lezen!

[Afwezig]

Als ik toch nog ergens 4K had liggen had ik voor precies dezelfde build gegaan! Mooi werk hoor. Zal voor mij helaas een wens blijven

[unezra]

Afwezig schreef op dinsdag 28 maart 2017 @ 19:34:
Als ik toch nog ergens 4K had liggen had ik voor precies dezelfde build gegaan! Mooi werk hoor. Zal voor mij helaas een wens blijven

Afhankelijk van je inkomen en bestedingspatroon: paar weken, maanden of jaren sparen.
Kwestie van prioriteiten stellen. (Al zal ik zelf niet snel 4K in een privé machine stoppen denk ik.)

[Verwijderd]

Mwa, Xeon-D is stoer, maar Naples wordt nóg stoerder. Dus wacht nog even met je spaarrekening plunderen zou ik zeggen.

[TheBorg]

Kleine update.

Ik heb besloten om het over een andere boeg te gooien. Wachten op onderdelen geeft wat tijd om alles softwarematig nog eens te bestuderen.

Mdadm gebruik ik regelmatig in RIAD10, maar na wat studeren blijkt dat bij RAID6 geen "majority vote" bij parity correctie wordt gebruikt. Dus als de data zegt het is een 1 en de parities zeggen allebei dat het een 0 moet zijn dan worden toch de parities overschreven met de waarde van de data.

Daarnaast ben ik gaan kijken wat je kunt doen als je per ongeluk een hele map delete of op een andere manier verkloot. Diverse filesystems hebben daar tools voor maar er is een veel mooiere oplossing voor, snapshots.

ZFS lost beide problemen op. Ik was er van weg gebleven omdat CentOS geen native ZFS heeft. FreeBSD heeft dat wel. Dus FreeBSD geïnstalleerd... Voel me totaal gehandicapt. Misschien toch maar CentOS met ZFS maar dat zien we later wel.

Aanpassingen in het plan:
De M.2 drive wordt de ZFS cache
Extra drive er in om te booten.

Tot nu toe gaat alles nogal langzaam:

- Ik heb "reverse" SAS kabels waardoor de drives niet worden gedetecteerd. Gemaakt voor data in omgekeerde richting. Geen idee dat het bestond. Die moet ik dus nieuwe bestellen. Gelukkig maar een tientje per stuk, 2 stuks nodig.

- De LSI3008 chip wordt zo heet dat deze niet aan te raken is. Ventilatortje besteld...

- Twee busjes voor bevestiging van het mobo moeten afbreken. Hier voldoet het Supermicro bord dus niet aan de standaard.

- De layout van het moederbord is totaal anders dan normaal. Verlengkabels moeten bestellen voor de ATX power en frontpanel knopjes. Wil je een "gewoon" ASUS moederbord in deze kast bouwen dan heb je dit probleem niet...

- De M.2 drive wordt niet herkend. Zou wel moeten werken, misschien na BIOS update.


Gelid er uit:


Noctua er in:


Niet verder kijken als je autistisch bent...

Dit heb ik vaker gezien maar nooit begrepen. Misschien is het een Western Digital ding. De HD kan maar met 2 schroefjes vast.


En omdat de tray van metaal is en de printplaat wel heel erg dicht bij het metaal zat heb ik ringetjes moeten gebruiken om een beetje afstand te creëren.


Nogal matig, in de kast zitten 2 SATA backplanes. De kleuren van de LEDjes zijn verschillend.
Ik kan wel een nieuwe laten komen maar dan kan ik vooralsnog de kabels niet netjes vast zetten.


ATX verlengkabels zijn binnengekomen dus nu kan ik de PSU op z'n plek zetten. Dan de M.2 werkend krijgen en een test uitvoeren met de drives aan de onboard Intel SATA. Ik ga lading benchmarks doen. Gewoon een zooi files kopiëren en kijken hoe lang het duurd. Als de SAS kabels dan binnen zijn dezelfde test op de SAS controller.

[ Voor 5% gewijzigd door TheBorg op 29-03-2017 12:37 ]

[Navi]

Geen zin in FreeNAS? Gewoon booten en draaien vanaf een (interne) MLC USB stick?

[TheBorg]

Navi schreef op woensdag 29 maart 2017 @ 12:35:
Geen zin in FreeNAS? Gewoon booten en draaien vanaf een (interne) MLC USB stick?

Ik wil geen black box die dingen doet waarvan je niet weet hoe. Dat is ook de overweging geweest om niet weer een QNAP te kopen. Het is leuk om iets te leren en ik vind het niet erg dat het een week langer duurt omdat in FreeBSD alles anders is als in CentOS.

Als de spreekwoordelijke poep de ventilator raakt en de data is in gevaar dan is het handig als je het systeem van binnen en van buiten kent. Wellicht koop ik zelfs een super goedkoop 8 poorts of meer SATA kaartje zodat ik de array altijd werkent kan krijgen op een ander systeem.

Daarnaast wil ik ook Plex installeren en dan is een USB stick misschien niet de juiste keuze. De SSD had ik nog liggen dus dat is geen probleem.

[FireDrunk]

CentOS ondersteund prima ZFS, en dat is ook 'native' je moet alleen even de ZFSonLinux repo installeren.

Veel meer dan:

yum install kernel-devel dkms
yum install http://download.zfsonlinux.org/epel/zfs-release.el7_3.noarch.rpm
yum makecache fast
yum install zfs

is het niet.

[FREAKJAM]

ZFS werkt hier inderdaad prima op CentOS 7.3

[Dennis]

TheBorg schreef op woensdag 29 maart 2017 @ 12:43:
Daarnaast wil ik ook Plex installeren en dan is een USB stick misschien niet de juiste keuze. De SSD had ik nog liggen dus dat is geen probleem.

Ik wil je niet overtuigen om FreeNAS te kiezen - want dat is een keuze die je zelf moet maken -, maar in FreeNAS installeer je extra pakketten (zoals Plex, ik gebruik het zelf ook) in een jail (ook gewoon iets native van FreeBSD). Die jails zijn geïnstalleerd op je dataschijf en niet op de schijf van je OS. Dus het zou in bovenstaande situatie sowieso niet op de USB-stick komen.

[Cyleo]

Ik wil binnenkort een home server gaan bouwen. Deze moet back-ups maken van een MBPr en een desktop PC. Daarnaast wordt het een media server (Plex) die transcode naar chromecast/ps4. Hardware is nog flexibel. Ik heb hiervoor nu 2 schijven, die ik in de toekomst graag wil graag uitbreiden. Ik ben nu op de volgende lijst gekomen:

#	Product	Prijs	Subtotaal
1	Intel Pentium G4560 Boxed	€ 58,50	€ 58,50
1	ASRock B250M-HDV	€ 75,95	€ 75,95
2	WD Red WD30EFRX, 3TB	€ 112,95	€ 225,90
1	Fractal Design Define S	€ 69,95	€ 69,95
1	Corsair Value Select CMV8GX4M1A2133C15	€ 59,-	€ 59,-
1	Seasonic G-series 360 watt	€ 62,95	€ 62,95
Bekijk collectie Importeer producten		Totaal	€ 552,25

Of, in het geval het ECC geheugen moet worden omdat ik voor FreeNAS ga (daar moet ik nog een ei over leggen):

#	Product	Prijs	Subtotaal
1	Intel Pentium G4560 Boxed	€ 58,50	€ 58,50
1	MSI C236M WORKSTATION	€ 139,90	€ 139,90
1	Crucial CT8G4WFS824A	€ 61,-	€ 61,-
Bekijk collectie Importeer producten		Totaal	€ 259,40

Aan de makkelijkere kant van het spectrum ben ik nog deze tegen gekomen:
pricewatch: HP Proliant Enterprise ML10 Gen9 3GHz E3-1225V5 300W Tower (4U)
Dit lijkt mij een erg scherpe prijs voor een enorm potente CPU. De reden dat ik niet meteen hiervoor ga is voornamelijk omdat ik de PSU een efficiëntie heeft van slechts 85%.

Nu was ik benieuwd of ik nog wat over de kop kijk, of ergens een domme fout heb gemaakt voordat ik de knoop door hak.

[TheBorg]

FireDrunk schreef op woensdag 29 maart 2017 @ 13:40:
CentOS ondersteund prima ZFS, en dat is ook 'native' je moet alleen even de ZFSonLinux repo installeren.

Veel meer dan:

yum install kernel-devel dkms
yum install http://download.zfsonlinux.org/epel/zfs-release.el7_3.noarch.rpm
yum makecache fast
yum install zfs

is het niet.

Ik begon aardig jeuk te krijgen van FreeBSD dus CentOS op de M.2 kaart gezet. Het had iets meer om handen dan wat je hier boven hebt neergezet maar het was zo klaar.

[root@nas raid]# time sh -c "dd if=/dev/zero of=test bs=1M count=64k && sync"
65536+0 records in
65536+0 records out
68719476736 bytes (69 GB) copied, 84.9739 s, 809 MB/s

real    1m27.634s
user    0m0.053s
sys     0m20.925s

Dit is op de SATA controller. De echte test is over het netwerk. De NIC gaat door de PCI bus naar de PCH en dan over DMI naar de CPU. De SATA poorten zitten ook aan de PCH terwijl de SAS controller meteen aan de CPU hangt dus dat zou logischerwijs sneller moeten zijn doordat ze dan niet allebei door de DMI bus moeten.

[ Voor 23% gewijzigd door TheBorg op 30-03-2017 00:06 ]

[TheBorg]

Cyleo schreef op woensdag 29 maart 2017 @ 22:32:
Heel verhaal

Lijkt me niks mis mee al zou ik nooit z'n grote tower kast kopen. Dat zet je niet ergens in een hoekje. De Chenbro SR30169 die Navi heeft is mooi en een paar pagina's terug vind je nog meer alternatieven.

Als je een compleet systeem overweegt dat moet je eens hier neuzen: Het grote HP Proliant Microserver topic. Passen alleen maar 4 disks in.

[FireDrunk]

TheBorg schreef op woensdag 29 maart 2017 @ 23:54:
[...]

Ik begon aardig jeuk te krijgen van FreeBSD dus CentOS op de M.2 kaart gezet. Het had iets meer om handen dan wat je hier boven hebt neergezet maar het was zo klaar.

[root@nas raid]# time sh -c "dd if=/dev/zero of=test bs=1M count=64k && sync"
65536+0 records in
65536+0 records out
68719476736 bytes (69 GB) copied, 84.9739 s, 809 MB/s

real    1m27.634s
user    0m0.053s
sys     0m20.925s

[afbeelding]

Dit is op de SATA controller. De echte test is over het netwerk. De NIC gaat door de PCI bus naar de PCH en dan over DMI naar de CPU. De SATA poorten zitten ook aan de PCH terwijl de SAS controller meteen aan de CPU hangt dus dat zou logischerwijs sneller moeten zijn doordat ze dan niet allebei door de DMI bus moeten.

Heb je je sas controller zeker weten direct op de cpu zitten? Vaak is er ook een extra PCIe poort die op de DMI zit. Is vaak het onderste slot.

[A1AD]

Dennis schreef op woensdag 29 maart 2017 @ 17:10:
[...]

Ik wil je niet overtuigen om FreeNAS te kiezen - want dat is een keuze die je zelf moet maken -, maar in FreeNAS installeer je extra pakketten (zoals Plex, ik gebruik het zelf ook) in een jail (ook gewoon iets native van FreeBSD). Die jails zijn geïnstalleerd op je dataschijf en niet op de schijf van je OS. Dus het zou in bovenstaande situatie sowieso niet op de USB-stick komen.

Buiten dat jails niet meer ondersteund worden in de nieuwe FreeNAS

[Q]

TheBorg schreef op woensdag 29 maart 2017 @ 23:54:
[...]

[root@nas raid]# time sh -c "dd if=/dev/zero of=test bs=1M count=64k && sync"
65536+0 records in
65536+0 records out
68719476736 bytes (69 GB) copied, 84.9739 s, 809 MB/s

real    1m27.634s
user    0m0.053s
sys     0m20.925s

Als dit de doorvoersnelheid is van een ZFS pool met 1 x RAIDZ1 vdev van 8 schijven dan lijkt mij dit een prima prestatie.

Ik ben benieuwd wat de snelheid zal zijn over het netwerk. Met NFS moet je deze snelheid over je 10Gbe link kunnen halen.

[Quindor]

Ik zag eerder in het topic de verhalen over Infiniband, ik ben thuis ook bezig met een upgrade en zit al een tijdje te azen op 10Gbps. Dat is ook de reden dat ik overal in huis CAT7 heen getrokken heb!

Vandaag dus maar gebruik gemaakt van de aanbiedings-dagen op Aliexpress! En *knip*. Helaas komt daar waarschijnlijk nog wel wat btw en import fees overheen maar zelfs dan is het niet duur!

Voor zover ik kan zien zijn het een echte Intel OEM kaart en niet *knip*. De verhalen daarover zijn wat wisselend soms. Maar voor ~80 euro een 10Gbit Intel kaart vind ik de gok wel waard.

Zodra ik alles binnen en getest heb meld ik me zeker weer opnieuw!

Modbreak:

Referral-links zijn niet toegestaan! Dit is je eerder in een pushbericht van ThinkPad ook al duidelijk gemaakt. Begin er dan niet opnieuw mee!

[ Voor 19% gewijzigd door Verwijderd op 04-04-2017 23:25 ]

[Cyleo]

TheBorg schreef op donderdag 30 maart 2017 @ 00:24:
[...]

Lijkt me niks mis mee al zou ik nooit z'n grote tower kast kopen. Dat zet je niet ergens in een hoekje. De Chenbro SR30169 die Navi heeft is mooi en een paar pagina's terug vind je nog meer alternatieven.

Als je een compleet systeem overweegt dat moet je eens hier neuzen: Het grote HP Proliant Microserver topic. Passen alleen maar 4 disks in.

Joah, hij gaat in de meterkast Mooiere/handigere kasten zijn ook meteen een stuk duurder.

[TheBorg]

Q schreef op donderdag 30 maart 2017 @ 17:28:
Als dit de doorvoersnelheid is van een ZFS pool met 1 x RAIDZ1 vdev van 8 schijven dan lijkt mij dit een prima prestatie.

Ik ben benieuwd wat de snelheid zal zijn over het netwerk. Met NFS moet je deze snelheid over je 10Gbe link kunnen halen.

RAIDZ2. Ik ga een korte test doen over het netwerk om een idee te krijgen maar de echte test komt pas later. De kast moet dicht omdat de schijven anders te warm worden maar ik wil nog niet de kabels netjes maken, U-NAS stuurt een nieuwe backplane zodat alle LEDjes dezelfde kleur zijn. Dat is natuurlijk top service voor een Chinese toko.

[b][message=50755177,noline]Vandaag dus maar gebruik gemaakt van de aanbiedings-dagen op Aliexpress! En 2x een Intel x540-T1 voor $88.91 besteld. Helaas komt daar waarschijnlijk nog wel wat btw en import fees overheen maar zelfs dan is het niet duur!

Is echt spotgoedkoop. En als ik de plaatjes zo zie dan zijn ze echt.

[ Voor 1% gewijzigd door Verwijderd op 10-04-2017 20:36 . Reden: ref-link in quote verwijderd ]

[henkie196]

Ik kreeg laatst de melding van mijn RAID controller dat één van de harde schijven in m'n RAID5 array in ieder geval niet meer health status OK aangaf. Ik dacht eerst dat ik dan maar die ene schijf zou vervangen, maar alle schijven in die array zijn van dezelfde leeftijd en type, 5x 1.5 TB WD green schijven van zo'n 7 jaar oud.

Alhoewel ik de volgende dag geen melding meer kreeg, denk ik toch maar dat ik alle schijven ga vervangen (waarschijnlijk met 4x 4 TB WD red schijven; ik had die 6 TB van de huidige array in die 7 jaar nog niet vol gekregen, dus 4x 8 TB leek me wat overdreven, plus dat energieverbruik van de 4 TB schijven ook wat lager is). Gewoon nieuwe RAID5 array bouwen en de back-up daarop te zetten.

Dit alles draait overigens niet in een NAS, maar in m'n gewone (windows) PC. Het idee was ooit om dit uiteindelijk over te zetten naar een NAS, maar dat is er nooit van gekomen.

Ik vroeg me alleen of ik dan niet ook meteen de RAID controller zou moeten vervangen. Ik weet niet hoe betrouwbaar die nog is na zo'n 7 jaar gebruik. Het is een Highpoint RocketRAID 3520, trouwens.

[unezra]

henkie196 schreef op maandag 3 april 2017 @ 15:36:
Ik kreeg laatst de melding van mijn RAID controller dat één van de harde schijven in m'n RAID5 array in ieder geval niet meer health status OK aangaf. Ik dacht eerst dat ik dan maar die ene schijf zou vervangen, maar alle schijven in die array zijn van dezelfde leeftijd en type, 5x 1.5 TB WD green schijven van zo'n 7 jaar oud.

Alhoewel ik de volgende dag geen melding meer kreeg, denk ik toch maar dat ik alle schijven ga vervangen (waarschijnlijk met 4x 4 TB WD red schijven; ik had die 6 TB van de huidige array in die 7 jaar nog niet vol gekregen, dus 4x 8 TB leek me wat overdreven, plus dat energieverbruik van de 4 TB schijven ook wat lager is). Gewoon nieuwe RAID5 array bouwen en de back-up daarop te zetten.

Dit alles draait overigens niet in een NAS, maar in m'n gewone (windows) PC. Het idee was ooit om dit uiteindelijk over te zetten naar een NAS, maar dat is er nooit van gekomen.

Ik vroeg me alleen of ik dan niet ook meteen de RAID controller zou moeten vervangen. Ik weet niet hoe betrouwbaar die nog is na zo'n 7 jaar gebruik. Het is een Highpoint RocketRAID 3520, trouwens.

RAID controller d'r uit, HBA d'r in. (Of gewoon een mainboard met 4 domme SATA poorten.)

Softraid is *zo* veel fijner en als je dan nog hipper, beter, fijner, mooier wilt: ZFS

Die RAID controller zal niet snel aan vervanging toe zijn, maar hardware RAID is iets van de vorige eeuw dat daar het best kan blijven.

[henkie196]

Ik denk dat ik ook nog wel 4 poorten over heb op m'n moederbord, maar volgens mij kan ik mijn RAID controller ook als HBA gebruiken, dus ik zie even het voordeel van een nieuwe HBA niet.

ZFS is misschien wel hip, en heeft ook mooie opties, maar op m'n windows PC gaat dat niet werken. Het nadeel van softraid leek me ook altijd dat als ik een keer een nieuwe installatie zou moeten doen, dat ik dan de array ook kwijt ben, maar wellicht dat daar tegenwoordig work-arounds voor zijn? En ik weet niet of er goede softraid opties zijn voor windows?

[player-x]

henkie196 schreef op dinsdag 4 april 2017 @ 07:32:
Ik denk dat ik ook nog wel 4 poorten over heb op m'n moederbord, maar volgens mij kan ik mijn RAID controller ook als HBA gebruiken, dus ik zie even het voordeel van een nieuwe HBA niet.

De voorkeur gaat uit om gewoon onboard te gebruiken, want controllers gebruiken ook energie, en bij 24/7 kan dat aardig oplopen, vooral met de wat oudere controllers, mijn oude Promis 16p controller verbruikte gewoon idle 30W, dat is toch €60/j, maar zelfs een moderne LSI 8p SAS controller gebruikt nog steeds €15/j aan stroom.

Dus geen adapter is het beste.

[unezra]

henkie196 schreef op dinsdag 4 april 2017 @ 07:32:
Ik denk dat ik ook nog wel 4 poorten over heb op m'n moederbord, maar volgens mij kan ik mijn RAID controller ook als HBA gebruiken, dus ik zie even het voordeel van een nieuwe HBA niet.

HBA kan sneller zijn of meer poorten bieden.
Maar als je geen ultieme snelheid nodig hebt en genoeg poorten hebt, is on-board prima.

Thuis heb ik altijd op on-board SATA poorten gedraait, zowel in mijn oude omgebouwde PC met md als in mijn Microservers met ZFS. Werkt prima. Zonde van het slot en de stroom. (Nog los van dat ik het slot gebruik voor een quad nick, wat veel nuttiger en leuker is dan een losse HBA.)

ZFS is misschien wel hip, en heeft ook mooie opties, maar op m'n windows PC gaat dat niet werken. Het nadeel van softraid leek me ook altijd dat als ik een keer een nieuwe installatie zou moeten doen, dat ik dan de array ook kwijt ben, maar wellicht dat daar tegenwoordig work-arounds voor zijn?

Voor Windows weet ik het niet, maar voor Linux is dat absoluut niet het geval en ook nooit het geval geweest. Je RAID configuratie blijft gewoon heel, ook bij een herinstall. RAID is vrij low-level.

Uiteraard moet je nieuwe installatie wel de vorm van RAID snappen die je hebt gekozen, maar los van ZFS zit dat standaard in de kernel en autodetect het je arrays. (Hoewel het geen kwaad kan de config even weg te schrijven naar /etc/ zodat je niet 100% afhankelijk bent van de autodetectie.)

En ik weet niet of er goede softraid opties zijn voor windows?

Volgens mij inmiddels wel, maar ik heb er nog niet mee gewerkt.

Overigens een must-read op gebied van software-RAID en vooral, waarom het eigenlijk prima is en hardware RAID uitstervend is: https://www.chriscowley.m...he-hate-on-software-raid/

Softraid is al jaren *zo* goed, dat zelfs de grote jongens als NetApp helemaal geen hardware RAID gebruiken. Veel te beperkend. Met software RAID oplossingen ben je veel flexibeler en heb je meer features dan met hardware RAID. (Waarbij ik dus ook ZFS onder software RAID schakel.)

Helaas is evms een stille dood gestorven. Dat was in die tijd vrij ultiem. Maar is nooit echt groot geworden en inmiddels is het ruim ingehaald door andere stukken software.

[TheBorg]

unezra schreef op dinsdag 4 april 2017 @ 21:48:
HBA kan sneller zijn of meer poorten bieden.

Toevallig gisteren geprobeerd. Maakt geen drol uit. In ieder geval niet op de Intel C236 chipset, dus waarschijnlijk ook niet op een andere moderne Intel chipsets. Onboard was net zo snel als een LSI3008 controller (in host bus modus). Misschien dat mijn XEON niet krachtig genoeg is om verschil te maken want de CPU load ging wel een eind omhoog.

Overigens een must-read op gebied van software-RAID en vooral, waarom het eigenlijk prima is en hardware RAID uitstervend is: https://www.chriscowley.m...he-hate-on-software-raid/

Gewoon bullshit. Het is maar net wat de toepassing is. Onlangs nog een RAID kaart in een HP (backup) server gepropt. 4 drives in RAID5. Het ding draait Windows dus ZFS is geen optie. Alles meegewogen in kosten, aantal beschikbare drive bays, benodigde capaciteit en gemak was dit de beste optie. Brand er een rood lampje op de tray? Nieuwe drive er in en klaar.

[ Voor 9% gewijzigd door TheBorg op 05-04-2017 12:47 ]

[unezra]

TheBorg schreef op woensdag 5 april 2017 @ 12:45:
[...]

Toevallig gisteren geprobeerd. Maakt geen drol uit. In ieder geval niet op de Intel C236 chipset, dus waarschijnlijk ook niet op een andere moderne Intel chipsets. Onboard was net zo snel als een LSI3008 controller (in host bus modus). Misschien dat mijn XEON niet krachtig genoeg is om verschil te maken want de CPU load ging wel een eind omhoog.

Of je genereert gewoon niet genoeg load.

Bij een klein aantal disks of een lage overall load op je machine en storage zal het allemaal niet zo veel uitmaken. Ik denk dat je de verschillen pas gaat zien als je met veel disks en hoge CPU/IO loads gaat werken.

De reden dat ik zelf voor mijn colo een HBA heb gekozen is omdat het een replacement was van de RAID controller die er in zit. ZFS, dus geen RAID controller en dus een LSI HBA d'r in. (Nog even los van het feit dat ik geen 12 SATA poorten on-board heb.)

[...]

Gewoon bullshit. Het is maar net wat de toepassing is. Onlangs nog een RAID kaart in een HP (backup) server gepropt. 4 drives in RAID5. Het ding draait Windows dus ZFS is geen optie. Alles meegewogen in kosten, aantal beschikbare drive bays, benodigde capaciteit en gemak was dit de beste optie. Brand er een rood lampje op de tray? Nieuwe drive er in en klaar.

Neuh.
Waarom denk je dat de grote jongens allang zijn afgestapt van hardware-RAID?

Tuurlijk werkt een hardware-RAID kaart. Je kunt ook met een bromfiets van Amsterdam naar Berlijn rijden.
Het gaat er niet om dat hardware RAID kaarten niet functioneren, het gaat er om dat hardware RAID in zo'n beetje ieder opzicht inferieur is aan software RAID.

Ik zie ook niet in waarom je niet in software disk replacements kunt implementeren zoals jij beschrijft. We hebben nog nooit een defecte disc op onze NetApps gehad, maar ik kan me zo voorstellen dat het ook daar gewoon een kwestie van disk swappen en klaar is.

Een RAID controller is ook weinig meer dan een gespecialiseerd stuk hardware met wat firmware. Er is geen enkele reden waarom die functionaliteit niet via je CPU ontsloten kan worden.

[henkie196]

unezra schreef op woensdag 5 april 2017 @ 13:02:
Tuurlijk werkt een hardware-RAID kaart. Je kunt ook met een bromfiets van Amsterdam naar Berlijn rijden.
Het gaat er niet om dat hardware RAID kaarten niet functioneren, het gaat er om dat hardware RAID in zo'n beetje ieder opzicht inferieur is aan software RAID.

Ik zie ook niet in waarom je niet in software disk replacements kunt implementeren zoals jij beschrijft. We hebben nog nooit een defecte disc op onze NetApps gehad, maar ik kan me zo voorstellen dat het ook daar gewoon een kwestie van disk swappen en klaar is.

Een RAID controller is ook weinig meer dan een gespecialiseerd stuk hardware met wat firmware. Er is geen enkele reden waarom die functionaliteit niet via je CPU ontsloten kan worden.

Het grote voordeel van een hardware RAID controller lijkt me dat het gewoon altijd werkt, ongeacht geïnstalleerde OS. Software RAID is meer OS afhankelijk, helaas zijn Linux en Windows nog altijd op totaal verschillende en compleet gescheiden paden aan het wandelen voor file systemen.

En even rond kijken doet mij denken dat softraid op windows nog niet de status heeft dat het een hardware RAID controller volledig overbodig maakt. Wellicht dat ik ervaringen heb gelezen van oudere versies van Storage spaces, en dat het met de laatste versie een stuk beter is, maar ik kijk altijd liever even de kat uit de boom.

Als ik een NAS wilde bouwen, zou ik daar Linux op zetten en dan een ZFS RAIDZ array op bouwen, maar een NAS zit voorlopig niet in de planning.

Het grote nadeel van een hardware RAID controller lijkt mij vooral dat als deze overlijdt, dat je dan ook je hele array kwijt bent. Vandaar ook mijn initiële vraag, of ik nog redelijkerwijs zou mogen verwachten dat de RAID controller nog een 7 jaar mee zou gaan, of dat ik beter af zou zijn met een nieuwe kaart.

[Tafelpoowt]

Ik heb 4x 8TB WD reds liggen die ik graag in actie wil zien in een freenas setup.
Liefst wil ik wat straffer en moderner gaan de de typische HP microserver met o.a. de optie tot uitbreiding naar 6 of 8 disks.

Nu heb ik ook wat btc te verbranden dus dacht ik aan volgende build:

#	Product	Prijs	Subtotaal
1	ASRock Rack C236 WSI	€ 231,13	€ 231,13
1	Fractal Design Node 304 Wit	€ 77,20	€ 77,20
2	Crucial CT16G4DFD8213	€ 101,75	€ 203,50
1	Seasonic G-series 360 watt	€ 62,95	€ 62,95
Bekijk collectie Importeer producten		Totaal	€ 574,78

Het mobo heeft 8 sata poorten, een optie tot uitbreiding die ik graag open hou.
OS zet ik op een USB stick, of evt op een SSD.
ECC memory lijkt me overbodige luxe.. als het maar veel is.
De case kan gevuld worden met 6 3.5" disks ... alternatief is de Silverstone DS380 met 8 hotswap bays (maar wel 160 euro).

De hamvraag... welke CPU steek ik er nu in? De populaire Pentium G4560 of een fancy Xeon?

#	Product	Prijs
1	Intel Pentium G4560 Boxed	€ 59,-
1	Intel Xeon E3-1220 v5 Boxed	€ 221,95

Het is voor persoonlijk gebruik (multimedia), en overklokken boeit me niet.
Ik hoop er 5-6 jaar mee te doen dus low power spreekt me wel aan. Over power gesproken... volgens deze review komt idle power use overeen met zo'n 20W.. Peak op 85W.. Is een PicoPSU hier de moeite?

[BROSSIE]

Tafelpoowt schreef op woensdag 5 april 2017 @ 15:19:
Ik heb 4x 8TB WD reds liggen die ik graag in actie wil zien in een freenas setup.
Liefst wil ik wat straffer en moderner gaan de de typische HP microserver met o.a. de optie tot uitbreiding naar 6 of 8 disks.

Nu heb ik ook wat btc te verbranden dus dacht ik aan volgende build:

#	Product	Prijs	Subtotaal
1	ASRock Rack C236 WSI	€ 231,13	€ 231,13
1	Fractal Design Node 304 Wit	€ 77,20	€ 77,20
2	Crucial CT16G4DFD8213	€ 101,75	€ 203,50
1	Seasonic G-series 360 watt	€ 62,95	€ 62,95
Bekijk collectie Importeer producten		Totaal	€ 574,78

Het mobo heeft 8 sata poorten, een optie tot uitbreiding die ik graag open hou.
OS zet ik op een USB stick, of evt op een SSD.
ECC memory lijkt me overbodige luxe.. als het maar veel is.
De case kan gevuld worden met 6 3.5" disks ... alternatief is de Silverstone DS380 met 8 hotswap bays (maar wel 160 euro).

De hamvraag... welke CPU steek ik er nu in? De populaire Pentium G4560 of een fancy Xeon?

#	Product	Prijs
1	Intel Pentium G4560 Boxed	€ 59,-
1	Intel Xeon E3-1220 v5 Boxed	€ 221,95

Het is voor persoonlijk gebruik (multimedia), en overklokken boeit me niet.
Ik hoop er 5-6 jaar mee te doen dus low power spreekt me wel aan. Over power gesproken... volgens deze review komt idle power use overeen met zo'n 20W.. Peak op 85W.. Is een PicoPSU hier de moeite?

Ik zou MB en kast vervangen door:

#	Product	Prijs	Subtotaal
1	Supermicro X11SSM-F (Retail Pack)	€ 227,-	€ 227,-
1	Fractal Design Node 804	€ 104,95	€ 104,95
Bekijk collectie Importeer producten		Totaal	€ 331,95

Heb je nog ruimte over om extra HDDs in te hangen.

Wat betreft CPU: ligt er aan wat je er mee gaat doen.

[Tafelpoowt]

Haha een kast voor 12 disks, IPMI en 4 DDR4 slots ipv 2... heel verleidelijk... kan later een 2de raidz volume worden.
De afmetingen van de kast worden dan wel weer wat groter want het is een microATX board (6cm breder). De box moet wel nog in de meterkast passen, da's dicht bij de router. Dit moet ik eerst eens nameten.
De DS380 box is de smalste met slechts 21cm breedte en mogelijks de beste optie.

De CPU scores zijn rond de 5000 en 7500, de prijzen liggen procentueel wel wat meer uit elkaar. De Asrock C236 WSI heeft geen IPMI en dat betekent dat een CPU met ingebouwde GPU wel handig kan zijn.
Zie hier

[Navi]

Je hebt nu het workstation board van asrock rack genomen, de server variant met IPMI is deze:
http://www.asrockrack.com...=E3C236D2I#Specifications

Wel 2 sata poorten minder.

[DXaroth]

Navi schreef op woensdag 5 april 2017 @ 21:11:
Je hebt nu het workstation board van asrock rack genomen, de server variant met IPMI is deze:
http://www.asrockrack.com...=E3C236D2I#Specifications

Wel 2 sata poorten minder.

Er is ook nog deze van ASRock, wel wat duurder, maar dat komt vanwege de SAS poorten (via de on-board LSI chip): pricewatch: ASRock E3C224D4I-14S

[Navi]

Das een verouderde chipset van de vorige generatie! C224.

Nieuwste zijn C232 en C236 en die zijn al een tijdje op de markt.

[nero355]

DXaroth schreef op woensdag 5 april 2017 @ 23:25:
Er is ook nog deze van ASRock, wel wat duurder, maar dat komt vanwege de SAS poorten (via de on-board LSI chip): pricewatch: ASRock E3C224D4I-14S

Ondanks de leeftijd zou dat model nog steeds mijn voorkeur hebben i.c.m. een low end Intel G1xxx CPU voor een DIY NAS

De kabels heb ik al cheap kunnen scoren heel lang geleden, nou de rest nog

Verwijderd schreef op maandag 27 maart 2017 @ 21:35:
Deze dus: pricewatch: Qlogic QLE3442-RJ-CK - FastLinQ 3400 10 GbE Series

Nog wel goedkoper dan de Intel X540 en de recent geintroduceerde X550 die toch al wel enigszins betaalbaar is: pricewatch: Intel X550-T1 10GbE Network Adapter.

Ook interessant vond ik de X710: pricewatch: Intel X710-T4 10GbE Network Adapter maar daar zijn nog geen prijzen van bekend.

Er is wat gedoe geweest rondom de Intel X710 inclusief een recall van die NICs. Ik zou het lekker bij de Intel X520/X540 houden

[ Voor 45% gewijzigd door nero355 op 07-04-2017 02:02 ]