Het grote DIY RAID NAS topic deel 3

[Q]

zeroday schreef op zaterdag 4 april 2020 @ 22:02:
@Q zoals je in het andere forumdeel ziet op de nerd foto heb ik ook nog wel de beschikking over wat andere kant en klare NAS systeempjes. de QNAP die ik thuis heb staan vind ik een drama ding. Ik kan het maar geen fijn OS vinden. Teveel aan elkaar geplakt met allerlei UI's en daarbij zoveel extra's dat ik me teveel moet aanpassen.Daarnaast heb ik veel te maken gehad met wat 2 en 4 Bay NASjes waarbij er met 1 NAS een keer de RAID5 corrupted raakte waardoor alle data verdween .. (dus niet eens een HDD die failde maar gewoon de gehele raid5 wat dan op basis van de door de fabrikant gebouwde firmware niet eens fatsoenlijk meer te repareren was.. ) .. Daarom wil ik zelf wat meer in control zijn


Ik heb liever een linux distri met daarop bijv. een NAS OS zoals Unraid/OMV of bijv. Freenas waarbij ik op dit moment nog geen ervaring heb met Unraid en Freenas. Betalen voor unraid zou inderdaad gezien het prijskaartje best kunnen.

Grootste gemis aan mijn kant is de kennis/mogelijkheid om 'extra' HDD's aan de gen8 te kunnen hangen zodat je bijv. dus meer disken kan toevoegen zodat je met ZFS of wat dan ook kan werken. (dus wat heb je nodig om extern bijv. UNRAID meer disken te kunnen aanbieden, want ik heb best wel veel oude HDD's liggen die het naar mijn idee gerust nog wat jaar blijven doen.

Aangezien ik wel meer dan 3 HDD's ter beschikking heb, kan ik wat gaan testen en ook zien in hoeverre de RAID5 uitgebreid kan worden als ik elke keer een HDD vervang en dan de raid expand

Ik ben dan ook aan het testen en zit niet vast aan een OS. Mij is het nu om het even. Ik wil er ook maar 2 dingen mee: opslag via SMB en NFS en meer hoeft het apparaat niet te doen. (ja SNMP is leuk)

Helemaal helder verhaal.

Omdat je behoeften zo relatief eenvoudig zijn - en zover ik inschat prima met Linux overweg kunt - vraag ik me af of je heel veel gaat winnen met een NAS OS.

Gewoon zelf een Linux distro op je Gen8 gooien:

- met MDADM (of ZFS) een RAID array aanmaken
- dan met SAMBA en NFS wat shares aanbieden
- Nog even apt install ssmtp om mailtjes te sturen en klaar.

Past ook goed bij je behoefte om zelf een beetje in controle te blijven

Extra schijven koppelen aan je Gen8, dat wordt erg lastig. Ik zie alleen maar smerige of halfbakken opties. Als je naar meer dan 4 schijfjes wilt groeien moet je denk ik echt aan de DIY zelfbouw NAS gaan.

[zeroday]

Q schreef op zaterdag 4 april 2020 @ 23:36:
[...]


Helemaal helder verhaal.

Omdat je behoeften zo relatief eenvoudig zijn - en zover ik inschat prima met Linux overweg kunt - vraag ik me af of je heel veel gaat winnen met een NAS OS.

Gewoon zelf een Linux distro op je Gen8 gooien:

- met MDADM (of ZFS) een RAID array aanmaken
- dan met SAMBA en NFS wat shares aanbieden
- Nog even apt install ssmtp om mailtjes te sturen en klaar.

Een GUI is fijn, ik kan redelijk met Linux overweg, maar een beetje een 'control' pagina hebben valt ook wat voor te zeggen.

Extra schijven koppelen aan je Gen8, dat wordt erg lastig. Ik zie alleen maar smerige of halfbakken opties. Als je naar meer dan 4 schijfjes wilt groeien moet je denk ik echt aan de DIY zelfbouw NAS gaan.
[/quote]

Ik zat zelf te denken aan een PCie kaart met externe SAS die dan naar een SAS/SATA enclosure zou kunnen gaan? bijv. P222 en dan een SAS naar SATA kabel die dan naar een ICYBOX enclosure kan ..

[Q]

zeroday schreef op zondag 5 april 2020 @ 09:10:
[...]

Een GUI is fijn, ik kan redelijk met Linux overweg, maar een beetje een 'control' pagina hebben valt ook wat voor te zeggen.

Strik vraag (advocaat van de duivel): wat wil je 'controllen'?

Ik zat zelf te denken aan een PCie kaart met externe SAS die dan naar een SAS/SATA enclosure zou kunnen gaan? bijv. P222 en dan een SAS naar SATA kabel die dan naar een ICYBOX enclosure kan ..

Ik had al even zitten kijken maar hoe zie je dat precies voor je? Die ICYBOX-style enclosures sluit je aan - zover ik kan zien met een van deze opties:

1. eSATA (verschrikkelijk slechte performance is mijn ervaring, max 70 MB/s)
2. USB3 (stuk betere performance maar minder dan 1 SATA aansluiting)
3. Thunderbolt?

Ik ben niet bekend met externe storage enclosures die in feite interne SATA aansluitingen extern aanbieden. Ja, er was ooit iemand hier die had zoiets gevonden, maar dat klonk behoorlijk als een frankenstein oplossing.

Wat doorgaans prima werkt, maar wat totaal niet is wat je wilt, is een 2e hands enterprise storage disk shelf die vaak een SAS aansluiting hebben. Zeer gaaf spul, maar het formaat en het lawaai is waarschijnlijk al een dikke min.

Maar speciaal voor jou!

Q in "Het grote HP Proliant Microserver topic"

[ Voor 3% gewijzigd door Q op 05-04-2020 12:53 ]

[zeroday]

Q schreef op zondag 5 april 2020 @ 12:32:
[...]


Strik vraag (advocaat van de duivel): wat wil je 'controllen'?

<grin>
In princpe gewoon datgeen wat je in de shell doet
dus mount points, simpele NFS toegang ..
Ja, kan ook allemaal in de config files, maar dat is net iets teveel gedoe

[...]


Ik had al even zitten kijken maar hoe zie je dat precies voor je? Die ICYBOX-style enclosures sluit je aan - zover ik kan zien met een van deze opties:

1. eSATA (verschrikkelijk slechte performance is mijn ervaring, max 70 MB/s)
2. USB3 (stuk betere performance maar minder dan 1 SATA aansluiting)
3. Thunderbolt?

Ik ben niet bekend met externe storage enclosures die in feite interne SATA aansluitingen extern aanbieden. Ja, er was ooit iemand hier die had zoiets gevonden, maar dat klonk behoorlijk als een frankenstein oplossing.

Wat doorgaans prima werkt, maar wat totaal niet is wat je wilt, is een 2e hands enterprise storage disk shelf die vaak een SAS aansluiting hebben. Zeer gaaf spul, maar het formaat en het lawaai is waarschijnlijk al een dikke min.

Maar speciaal voor jou!

Q in "Het grote HP Proliant Microserver topic"

Grin
We gaan wel eerst even op zoek naar 4 HDD's

@Q
Inmiddels vandaag 4 10TB binnengekomen
Wat heb ik besloten:

OMV
HDD's als single disks geformatteerd
In een pool van 3 disks bij elkaar gezet in UNIONFS
en dan deze 3 disks als content/data in SNAPRAID met een parity disk

RAID5 toch maar niet gedaan ivm een advies wat ik zag/kreeg op het forum van OMV
(lange tijdsduur voor het syncen, en mocht er iets failen dan duurt het lang voordat alles weer up and running is.

Toch uiteindelijk anders dan gedacht.

Nu voor de fun de eerste 3TB via NFS en Rsync aan het pompen. Snelheid tussen de 70/80MB/s

[ Voor 17% gewijzigd door zeroday op 06-04-2020 17:46 ]

[Kaspers]

zeroday schreef op zondag 5 april 2020 @ 09:10:
Een GUI is fijn, ik kan redelijk met Linux overweg, maar een beetje een 'control' pagina hebben valt ook wat voor te zeggen.

Ubuntu + cockpit is een ideale combinatie om je ZFS pools te beheren + NFS/SMB shares aan te maken:

[zeroday]

Kaspers schreef op woensdag 8 april 2020 @ 19:26:
[...]


Ubuntu + cockpit is een ideale combinatie om je ZFS pools te beheren + NFS/SMB shares aan te maken:

Ik ben bij mijn geliefde OMV5 gebleven .. Heb uiteindelijk voor UnionFS met Snapraid gekozen
momenteel wordt er ongeveer 20TB aan data gemigreerd



Zeer tevreden over de snelheid

[Q]

zeroday schreef op woensdag 8 april 2020 @ 20:43:
[...]


Ik ben bij mijn geliefde OMV5 gebleven .. Heb uiteindelijk voor UnionFS met Snapraid gekozen
momenteel wordt er ongeveer 20TB aan data gemigreerd

[Afbeelding]

Zeer tevreden over de snelheid

Als de schaal hier gigabit ethernet is dan vind ik zelf de snelheid eigenlijk wat ondermaats, no offence. Je trekt hier misschien 80/90 MB/s? Goed het scheelt niet zoveel met 110 MB/s maar dat is wat je makkelijk zou moeten kunnen halen.

[zeroday]

Q schreef op donderdag 9 april 2020 @ 11:35:
[...]


Als de schaal hier gigabit ethernet is dan vind ik zelf de snelheid eigenlijk wat ondermaats, no offence. Je trekt hier misschien 80/90 MB/s? Goed het scheelt niet zoveel met 110 MB/s maar dat is wat je makkelijk zou moeten kunnen halen.

de manier waarop ik het wegtrek is met NFS en Rsync, niet de meest ideale combinatie zegt men, maar voor mij wel de meest makkelijke manier om de data te kunnen migreren

het is 1 rsync job en de data komt weg van een andere Gen8 met een celeron processor
Toen ik een 2e job erbij gooide zag ik dat de speed richting de 100MB/s ging.



Ik moet nog een test doen om te zien hoe snel deze via mijn NB met SSD naar de NAS kan. (of een iperf sessie)

[zeroday]

Update ..

3 HP Gen8's als NAS moeten gemigreerd worden naar 1 nieuwe NAS ..

HP Microserver gen8 afgelopen zaterdag binnen gekomen. Er zat een Noctua CPU koeler op die verbonden was met de SATA poort 1 voor z'n power. Tjsa.. je zal het maar bedacht hebben.

Na even gezocht te hebben hoe ik het SATA gedeelte los kreeg heb ik die verbinding verwijderd.



Die kabel heb ik vervangen voor deze kabel. Die had ik nog liggen en is handig want de FDD van de Microserver Gen8 wordt veelal toch niet gebruikt.

een 2,5" USB HDD klaar gemaakt om OMV5 (OpenMediaVault5) te draaien en 's maandags kwamen 4x10TB HDD's binnen.

In het weekend gespeeld met unRaid en OMV5 en gekozen om bij OMV5 te blijven. Inlezen en wat reacties gevraagd omtrend het idee hoe ik de 4 HDD's in zou richten.

Uiteindelijk op het laatste moment (de RAID5 was al bezig) toch gekozen voor UNIONFS met SNAPRAID en elke disk (3 stuks) als content/data disk te gebruiken en de 4e disk als parity disk

door middel van NFS en wat mount points en rsync heb ik de 17TB die ik ongeveer had (dat bleek uiteindelijk minder te zijn omdat een paar niet zichtbare folders backups waren van 2 jaar oud)
gekopieerd naar de nieuw server. Snelheden van 80 tot 100MB/s vind ik netjes. Ik ga nog eens kijken met iperf wat ie nou echt aan kan.

Het enige extra wat ik op die server nog heb toegevoegd is een 2e SSH server sessie voor een remote job die ik heb voor Mail in a Box om zo de mail backukps binnen te hengelen

Omdat ik intern op servers met NFS werk hoefde ik alleen op die servers het IP adres van de nieuwe NAS server aan te passen en hier en daar een sharenaam te wijzigen.

Na 4 dagen draait de NAS

Wat nu?

Ik heb nu 3 HP gen8 over ... Nou .. niet helemaal .. één NAS wordt heringericht met een USB HDD ipv een USB memorystick waar Grub op staat en dan naar een 2,5" HDD doorboot,
en daarna wordt die NAS ook met UNIONFS en SMARTRAID ingericht. Daarna op zoek naar een 'backup' script die van de niewue NAS bepaalde folders naar zich toe kan halen zodat ik een backup heb.

En dan blijven er 2 HP Gen8 over .. 's kijken wat ik daarmee ga doen.

Samba speed is goed @Q ;-)

[ Voor 4% gewijzigd door zeroday op 09-04-2020 20:46 ]

[SadisticPanda]

zeroday schreef op donderdag 9 april 2020 @ 20:33:
Update ..

3 HP Gen8's als NAS moeten gemigreerd worden naar 1 nieuwe NAS ..

HP Microserver gen8 afgelopen zaterdag binnen gekomen. Er zat een Noctua CPU koeler op die verbonden was met de SATA poort 1 voor z'n power. Tjsa.. je zal het maar bedacht hebben.

Na even gezocht te hebben hoe ik het SATA gedeelte los kreeg heb ik die verbinding verwijderd.

[Afbeelding]

Die kabel heb ik vervangen voor deze kabel. Die had ik nog liggen en is handig want de FDD van de Microserver Gen8 wordt veelal toch niet gebruikt.

een 2,5" USB HDD klaar gemaakt om OMV5 (OpenMediaVault5) te draaien en 's maandags kwamen 4x10TB HDD's binnen.

In het weekend gespeeld met unRaid en OMV5 en gekozen om bij OMV5 te blijven. Inlezen en wat reacties gevraagd omtrend het idee hoe ik de 4 HDD's in zou richten.

Uiteindelijk op het laatste moment (de RAID5 was al bezig) toch gekozen voor UNIONFS met SNAPRAID en elke disk (3 stuks) als content/data disk te gebruiken en de 4e disk als parity disk

door middel van NFS en wat mount points en rsync heb ik de 17TB die ik ongeveer had (dat bleek uiteindelijk minder te zijn omdat een paar niet zichtbare folders backups waren van 2 jaar oud)
gekopieerd naar de nieuw server. Snelheden van 80 tot 100MB/s vind ik netjes. Ik ga nog eens kijken met iperf wat ie nou echt aan kan.

Het enige extra wat ik op die server nog heb toegevoegd is een 2e SSH server sessie voor een remote job die ik heb voor Mail in a Box om zo de mail backukps binnen te hengelen

Omdat ik intern op servers met NFS werk hoefde ik alleen op die servers het IP adres van de nieuwe NAS server aan te passen en hier en daar een sharenaam te wijzigen.

Na 4 dagen draait de NAS

Wat nu?

Ik heb nu 3 HP gen8 over ... Nou .. niet helemaal .. één NAS wordt heringericht met een USB HDD ipv een USB memorystick waar Grub op staat en dan naar een 2,5" HDD doorboot,
en daarna wordt die NAS ook met UNIONFS en SMARTRAID ingericht. Daarna op zoek naar een 'backup' script die van de niewue NAS bepaalde folders naar zich toe kan halen zodat ik een backup heb.

En dan blijven er 2 HP Gen8 over .. 's kijken wat ik daarmee ga doen.

Samba speed is goed @Q ;-),
[Afbeelding]

Ik heb zelfde setup als jij, nuja. Ongeveer. 8 disken en 3 par. Gecombineerd met mergerfs. Vind ik zelf ik featurerijker omdat unionfs enkel disken kan poolen en mergerfs folders.

Kan Mijnmedia server ook folders mounten en die dan opnemen met snapraid (sync en scrub na elke grote kopie actie. Zo om de 2-3 dagen

Plus met mergerfs heb ik ook cloud storage gepoold met local storage.

Backupserver synct alles 1 maal per 2 weken backup. Gewoon via lftp mirror.

[zeroday]

SadisticPanda schreef op vrijdag 10 april 2020 @ 12:40:
[...]


Ik heb zelfde setup als jij, nuja. Ongeveer. 8 disken en 3 par. Gecombineerd met mergerfs. Vind ik zelf ik featurerijker omdat unionfs enkel disken kan poolen en mergerfs folders.

Kan Mijnmedia server ook folders mounten en die dan opnemen met snapraid (sync en scrub na elke grote kopie actie. Zo om de 2-3 dagen

Plus met mergerfs heb ik ook cloud storage gepoold met local storage.

Backupserver synct alles 1 maal per 2 weken backup. Gewoon via lftp mirror.

dat mergerfs snap ik nog niet echt



snap niet echt wat ik hiermee kan en moet want er valt niet echt wat te selecteren, of dat komt omdat ik unionFS in combi met mergerfs al heb?

[ Voor 5% gewijzigd door zeroday op 10-04-2020 13:24 ]

[fonsoy]

Kort vraagje of iemand ervaring heeft met een vergelijkbare setup.
Ik heb al 6 jaar lang naar volle tevredenheid een ESXi/ZFS/Windows NAS draaien waarop via een M1015i een drietal disks in Raid Z1 draaien. Het enige waar ik niet tevreden over ben is de performance. Er hangt al een flinke ZIL/SLOG SSD (256G) aan van het juiste type.

Nu gebruik ik het apparaat voor gigantisch uiteenlopende taken, maar de belangrijkste is toch wel muziekstreaming. Als er een stuk of 5 streams (320kbit/s naar verschillende sectoren per stream) tegelijk lopen, is het random schrijven naar de disks echt gruwelijk traag, bijna onwerkbaar. Ook de streams kunnen dan gaan haperen. Als ik hier vanaf wil, moet ik dan naar 100% flash storage of kan ik als ik het apparaat upgrade nog wat anders proberen? Drie disks is natuurlijk niet veel, en aangezien andere alle apparaten al SSD-only zijn vergeet ik wellicht hoe traag een HDD ook al weer was.

Zelfs als ik alle streams kill behalve 1 en dan zaken ga doen met het volume, is het al zeer merkbaar langzamer.

[Q]

fonsoy schreef op vrijdag 10 april 2020 @ 22:41:
Kort vraagje of iemand ervaring heeft met een vergelijkbare setup.
Ik heb al 6 jaar lang naar volle tevredenheid een ESXi/ZFS/Windows NAS draaien waarop via een M1015i een drietal disks in Raid Z1 draaien. Het enige waar ik niet tevreden over ben is de performance. Er hangt al een flinke ZIL/SLOG SSD (256G) aan van het juiste type.

Nu gebruik ik het apparaat voor gigantisch uiteenlopende taken, maar de belangrijkste is toch wel muziekstreaming. Als er een stuk of 5 streams (320kbit/s naar verschillende sectoren per stream) tegelijk lopen, is het random schrijven naar de disks echt gruwelijk traag, bijna onwerkbaar. Ook de streams kunnen dan gaan haperen. Als ik hier vanaf wil, moet ik dan naar 100% flash storage of kan ik als ik het apparaat upgrade nog wat anders proberen? Drie disks is natuurlijk niet veel, en aangezien andere alle apparaten al SSD-only zijn vergeet ik wellicht hoe traag een HDD ook al weer was.

Zelfs als ik alle streams kill behalve 1 en dan zaken ga doen met het volume, is het al zeer merkbaar langzamer.

Het kan echt totaal iets anders zijn dan wat ik hier onder beschrijf. Maar dan toch:

Het kern probleem waar je waarschijnlijk tegenaan loopt en wat veel mensen niet weten over ZFS is dat een VDEV qua random I/O niet veel beter presteert dan 1 schijf, ongeacht hoeveel schijven in een VDEV zitten.

Wat jij doet hier genereert random I/O op je ZFS pool en zou dus in dit plaatje passen. Probeer je voor te stellen dat je die 5 streams lezen en dan ook gaat schrijven op een enkele schijf, dat zou ook niet lekker lopen.

Als je dan eventueel ook nog 5400 RPM schijven gebruikt ipv 7200 RPM schijven is het drama compleet.

Ik had dit onderwerp al een tijdje als een blog artikel in mijn hoofd zitten dus misschien probeer ik in jouw probleem te lezen wat in mijn hoofd zit, terwijl er iets veel eenvoudigers aan de hand is.

Maar dit verhaal past wel bij je situatie. Wat mijn verhaal echter weer onderuit haalt is: streamen van audio stelt gewoon niet veel voor, met wat read-ahead zouden die muziek files al lang al in de cache moeten zitten.

Je zou eens je worst-case scenario kunnen uittesten (die genoemde load genereren) en dan met iostat -xm 5 eens kijken hoe zwaar de disks worden belast. Je kunt de output hier posten voor analyse. (verzamel data voor een paar minuten)

- Hoeveel RAM heeft de ZFS file server?
- Draai je VMs of containers die zijn opgeslagen op ZFS?
- Gebruik je nog NFS / SAMBA op ZFS?

[Chocola]

fonsoy schreef op vrijdag 10 april 2020 @ 22:41:
Kort vraagje of iemand ervaring heeft met een vergelijkbare setup.
Ik heb al 6 jaar lang naar volle tevredenheid een ESXi/ZFS/Windows NAS draaien waarop via een M1015i een drietal disks in Raid Z1 draaien. Het enige waar ik niet tevreden over ben is de performance. Er hangt al een flinke ZIL/SLOG SSD (256G) aan van het juiste type.

Nu gebruik ik het apparaat voor gigantisch uiteenlopende taken, maar de belangrijkste is toch wel muziekstreaming. Als er een stuk of 5 streams (320kbit/s naar verschillende sectoren per stream) tegelijk lopen, is het random schrijven naar de disks echt gruwelijk traag, bijna onwerkbaar. Ook de streams kunnen dan gaan haperen. Als ik hier vanaf wil, moet ik dan naar 100% flash storage of kan ik als ik het apparaat upgrade nog wat anders proberen? Drie disks is natuurlijk niet veel, en aangezien andere alle apparaten al SSD-only zijn vergeet ik wellicht hoe traag een HDD ook al weer was.

Zelfs als ik alle streams kill behalve 1 en dan zaken ga doen met het volume, is het al zeer merkbaar langzamer.

Hoe vol zitten je schrijven? Als dit 90%+ is dan zou dit een mogelijke oorzaak kunnen zijn van tegenvallende prestaties bij ZFS/RAIDz1. Dan nog moet die paar MB/s random read met wat write (dan moet je het niet te gek maken natuurlijk) wel lukken onder normale omstandigheden, zelfs met 5400 rpm-schijven of zonder caching (zfs cached overigens ook in ram).

Kun je hier eens wat statistieken van het scenario wat je beschreef plaatsen? Denk aan disk latency, disk I/O, memory/swap, ARC etc. Daar kun je vaak ook wel uit opmaken waar de bottleneck zit. Ook altijd goed te checken of je geen write intensive jails/apps/plugins/processen hebt lopen (bijv. ClamAV of iedere dag een volledige scrub die uren duurt).

[ Voor 4% gewijzigd door Chocola op 12-04-2020 23:31 ]

[Symyr]

Hey had dit eerst in het ZFS topic gepost maar blijkbaar verkeerd, hopelijk deze keer wel correct.

Ik heb gisteren voor de eerste keer freenas geinstalleerd, geen probleem mee gehad. Nieuwe datapool & dataset enzo gemaakt voor mijn data gedeelte.
Maar ik had het idee dat als ik freenas installeer op 2 120gb ssd's dat ik dan diezelfde ssd's ook nog kan gebruiken voor een eventuele vm op te draaien. Kan dit of niet?

Ik vind precies geen optie om een plugin op die ssd's te laten draaien, enkel de datapool zie ik. Zie ook geen optie om aan die mirror (van de ssd's) te geraken. Volgens guides is het tenminste een mirror als je beide schijven selecteert bij de install.

[Q]

Symyr schreef op dinsdag 14 april 2020 @ 19:27:
Hey had dit eerst in het ZFS topic gepost maar blijkbaar verkeerd, hopelijk deze keer wel correct.

Ik heb gisteren voor de eerste keer freenas geinstalleerd, geen probleem mee gehad. Nieuwe datapool & dataset enzo gemaakt voor mijn data gedeelte.
Maar ik had het idee dat als ik freenas installeer op 2 120gb ssd's dat ik dan diezelfde ssd's ook nog kan gebruiken voor een eventuele vm op te draaien. Kan dit of niet?

Ik vind precies geen optie om een plugin op die ssd's te laten draaien, enkel de datapool zie ik. Zie ook geen optie om aan die mirror (van de ssd's) te geraken. Volgens guides is het tenminste een mirror als je beide schijven selecteert bij de install.

Ik heb de ISO even voor je in een VM (met twee disks) gestart en ik citeer:

"You can't use ada0 ad1 for sharing data."

Je kunt dus die vrije ruimte gebruiken voor FreeNAS data shares, maar het is me niet duidelijk of je er dus ook geen VMs op kunt draaien.

Edit: ik heb kort even gekeken: ik zie geen mogelijkheid, maar misschien kijk ik niet goed, ik heb nu welgeteld 7 minuten ervaring met FreeNAS.

[ Voor 13% gewijzigd door Q op 14-04-2020 22:04 ]

[dcm360]

Western Digital admits 2TB-6TB WD Red NAS drives use shingled magnetic recording

Het betreft zo te zien de laatste serie, dus niet oudere drives.

[Pantagruel]

Na een weekend trouble shooten en testen is de zure conclusie dat de onze ZFS back-up server (SuperMicro X9SCM-F bordje, Xeon 1230,etc) niet langer te vertrouwen en bruikbaar is.

Symptomen als hangen onder zware IO belasting (enkel een harde reset bood soelaas) bleken niet aan het geheugen (memtest OK) of de CPU (CPU burn OK) toe te wijzen maar hoogstwaarschijnlijk aan een falende onboard SATA controller. Op dit moment zijn we al zo ver dat de OS SSD vaker niet dan wel door t bios gezien wordt, met alle pret en frustraties van dien. Met inzet van minder potente (i5-3470, 32 GiB, Intel DH67VR bordje) is de back-up back weer in de lucht. Enige probleem daar is dat dit bord zo snel de shutdown doorloopt dat bij de volgende opstart er een fschk afgewerkt moet worden, dit verlengd de opstart natuurlijk onaangenaam .

Probleem is dan wel met ter ziele gegane hardware dat je keuzes moet gaan maken over de vervanging.

De makkelijke keuzes:

Over een behuizing hoef ik niet na te denken, de ter zielen gegane back-up server (ZoL) is in een Cooler Master Stacker STC-01 gehuisvest en die recycle ik al vele jaartjes, dit keer dus ook aangezien het me uit en inbouwen vd disks (20 stuks) scheelt.

HBA hardware blijft ook in gebruik (IBM M1015 in IT mode, Lenovo SAS expander).

De minder makkelijke keuzes:

Gaat de back-up echt voldoen aan t predicaat 'zuinig' in de vorm van pro-sumer hardware (Fujitsu DB bordje, i3, 16 a 32 GiB regulair DDR4 , NVME drive voor OS [of toch meteen ECC UDIMM om een later opwaarderen naar een Xeon te faciliteren? ]) of is de wens en t gemak van IPMI ook wat waard.

Ingewikkeldere keuzes:

Bij dat laatste is de prangende vraag: Intel of AMD?

Van de Intel oplossingen weet ik uit ervaring dat ze goed werken, SuperMicro X11 bordje met IPMI en voldoende slots kiezen, Xeon E-2200 series en een NVME drive er in en gaan met de banaan.

Maar sinds mid vorig jaar blaast AMD ook een partijtje mee. Natuurlijk op basis vd Epyc range kon je al langer aan de bak, maar ik heb t over de standaard Ryzen 3000 serie).
Asrock Rack heeft een leuk bordje Asrock Rack in de vorm van de X470D4U (2-TU voor wie 10Gbit SFTP+ Cu wilt).

Zoals de Oosterburen zouden zeggen: ' Die qual der wahl!'

[FireDrunk]

Minder makkelijke keuzes:

Een Fujitsu bordje met ECC voldoet toch prima aan je eisen? Je kan er ook nog later een Xeon in zetten? En je hebt direct ECC, lijkt me voor zoveel schijven wel erg nuttig icm ZFS.
IPMI is maar beperkt nuttig denk ik, maar dat is heel erg persoonlijk.

Ingewikkeldere keuze:

Hangt mijns inziens 100% van de load af, draai je vaak idle en zelfs met spindown: Intel, het absoluut laagste punt van Intel is nog altijd lager dan dat van AMD.

Relatief lage load en/of je disks staan altijd alle 20 aan: Maakt het weinig uit.
Relatief hoge load maar je disks staan wel altijd uit: Lichte voorkeur voor AMD omdat performance/watt iets beter is, maar is marginaal voor je power en of geld budget.
Hoge load en altijd actieve disks: Maakt het ook weinig uit, maar denk vooral even aan je koeling

[Pantagruel]

FireDrunk schreef op maandag 20 april 2020 @ 14:03:
Minder makkelijke keuzes:

Een Fujitsu bordje met ECC voldoet toch prima aan je eisen? Je kan er ook nog later een Xeon in zetten? En je hebt direct ECC, lijkt me voor zoveel schijven wel erg nuttig icm ZFS.
IPMI is maar beperkt nuttig denk ik, maar dat is heel erg persoonlijk.

IPMI is handig, scheelt de gang naar de vrijstaande garage waar de back-up server is gevestigd, maar tegelijkertijd ook een dure luxe voor die 1x per week (en ik kom er vaak genoeg/wake-on-lan)

Ingewikkeldere keuze:

Hangt mijns inziens 100% van de load af, draai je vaak idle en zelfs met spindown: Intel, het absoluut laagste punt van Intel is nog altijd lager dan dat van AMD.

Relatief lage load en/of je disks staan altijd alle 20 aan: Maakt het weinig uit.
Relatief hoge load maar je disks staan wel altijd uit: Lichte voorkeur voor AMD omdat performance/watt iets beter is, maar is marginaal voor je power en of geld budget.
Hoge load en altijd actieve disks: Maakt het ook weinig uit, maar denk vooral even aan je koeling

De load zal, overall gezien niet al te wild zijn. Hoogste load was recentelijk met een resilver nadat een disk kassie wijle ging en een send/receive over IB om een bekend even uit de brand te helpen.

Als je kijkt naar de kosten vd 'Fujitsu met Xeon" vs de 'AMD Ryzen 5 3600' scheelt t weinig:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Xeon E-2124G Boxed	€ 262,57	€ 262,57
1	Moederborden	Fujitsu D3644-B	€ 150,50	€ 150,50
2	Geheugen intern	Kingston KSM26ED8/16ME	€ 93,90	€ 187,80
1	Solid state drives	XPG SX8200 Pro 256GB	€ 60,90	€ 60,90
Bekijk collectie Importeer producten			Totaal	€ 661,77

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 5 3600 Boxed	€ 175,-	€ 175,-
1	Moederborden	Asrock Rack X470D4U	€ 260,62	€ 260,62
2	Geheugen intern	Kingston KSM26ED8/16ME	€ 93,90	€ 187,80
1	Solid state drives	XPG SX8200 Pro 256GB	€ 60,90	€ 60,90
Bekijk collectie Importeer producten			Totaal	€ 684,32

Stop je er een i3-9100 in dan scheelt t een dikke 100 euro.

Rustig verder pijnzen tijdens de uitwaai wandeling.

[FireDrunk]

Als een i3-9100 voldoende is, zou ik die altijd nemen. Prima CPU en lekker zuinig. Ik zie geen enkel nadeel ten opzichte van de anderen.
De Ryzen is wel gewoon echt een slag sneller (2 cores extra, praktisch dezelfde frequentie, clock-for-clock gelijkwaardig)

Enige wat Xeon's leuk maakt is volgens mij AMT (vPro) en Trusted Execution.
https://ark.intel.com/con...?productIds=134870,134854

Beide niet heel nuttig in een NAS denk ik. AMT is (toen ik het probeerde) niet echt een vervanger voor IPMI, en Trusted Execution was volgens mij ook al in een aantal CVE's genoemd

[Pantagruel]

FireDrunk schreef op maandag 20 april 2020 @ 16:19:
Als een i3-9100 voldoende is, zou ik die altijd nemen. Prima CPU en lekker zuinig. Ik zie geen enkel nadeel ten opzichte van de anderen.
De Ryzen is wel gewoon echt een slag sneller (2 cores extra, praktisch dezelfde frequentie, clock-for-clock gelijkwaardig)

Enige wat Xeon's leuk maakt is volgens mij AMT (vPro) en Trusted Execution.
https://ark.intel.com/con...?productIds=134870,134854

Beide niet heel nuttig in een NAS denk ik. AMT is (toen ik het probeerde) niet echt een vervanger voor IPMI, en Trusted Execution was volgens mij ook al in een aantal CVE's genoemd

Met AMT in t verleden bij de baas gevochten en er met 'kleerscheuren' vanaf gekomen (machine moest bijvoorkeur een IPMI achtige toegang hebben (ivm afgeschermde lab zone), maar de VP ICT wilde niet instemmen met een echte IPMI implementatie a la wat SuperMicro heeft (vlan erbij om t echt netjes te doen). De Dell bak deed wel AMT maar dat gaf meer grijze haren dan happy faces (fall back over dezelfde nic als voor t netwerkverkeer en geen echte scheiding dus )

De Ryzen is absoluut sneller, maar hoe hard mijn hardware hart ook sneller gaat kloppen bij dataanblik van dat geweld, wel overbodig voor een back-up server.

Dus wordt t min of meer:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100 Boxed	€ 125,74	€ 125,74
1	Moederborden	Fujitsu D3644-B	€ 150,50	€ 150,50
2	Geheugen intern	Kingston KSM26ED8/16ME	€ 93,90	€ 187,80
1	Solid state drives	XPG SX8200 Pro 256GB	€ 60,90	€ 60,90
Bekijk collectie Importeer producten			Totaal	€ 524,94

Maar nog ff geduld, morgen komt er als t goed is een tweedehands X9SCM-F bord binnen (verpakt in een 1U server ) en krijgt de oude Xeon en bijbehorende RAM een tweede kans. Als t echt aan t bord toe te schrijven is dan gaat de 'defecte plank' richting de recycle straat en krijgen de restanten de kans om verder te gaan. Als er toch breder problemen zijn ontstaan is dan blijft de financiële schade beperkt bij een poging om de oorzaak uit te vogelen.

[Q]

Ik heb een blog post geschreven over het belang van scrubs en email alerting.

Voor de experts hier misschien niet relevant, maar ik vond het wel nuttig om er eens iets over te schrijven.

[player-x]

Pantagruel schreef op maandag 20 april 2020 @ 21:09:
Intel Core i3-9100 Boxed

Als het echt puur een ZFS server is, en voor de rest geen noemenswaardige andere taken doet, kun je ook prima een Celeron CPU gebruiken, is daar zwaar zat voor en heeft ook ECC ondersteuning, voor €85 minder.

En daar tussen in zit de Pentium G5400 met HT, voor €70 minder.

[Pantagruel]

player-x schreef op donderdag 23 april 2020 @ 10:22:
[...]

Als het echt puur een ZFS server is, en voor de rest geen noemenswaardige andere taken doet, kun je ook prima een Celeron CPU gebruiken, is daar zwaar zat voor en heeft ook ECC ondersteuning, voor €85 minder.

En daar tussen in zit de Pentium G5400 met HT, voor €60 minder.

Thanks voor de hint.

Vooralsnog heb ik het opgelost met tweedehands hardware. Voor €69 een 1U server via V&A gekocht met een vervangend (hetzelfde) X9SCM-F bord. De hardware is gestress test en moet enkel nog de behuizing in en voorzien worden van de andere hardware (HBA etc.). Was wel ff een dingetje om de vastgeplakte back-bracket (koellichaam bevestiging) los te peuteren, met beleid wrikken en trekken aan bracket en plank zodat er een normale koeler op kon.

Voorlopig doe ik t hier weer mee. Als deze combi tzt de magische rook uitblaast zie ik wel weer verder.

Update:

En terug naar t eerste hokje, waarschijnlijk zit t probleem in t gebruik van een SSD als OS schijf aan de onboard SATA controller . Met een Crucial MX500 op de SATA-2 of op de SATA-3 aansluiting hangt het geheel bij een fikse IO belasting (copy van 700+GiB aan data binnen de btrfs pool). De stress tests waren mbv een SATA DISK aan de SATA-2 controller. Nu dus die testen op de SATA-3 poort en zien waar we landen. ( t oude 'defecte' bord hing zich btw bij zware IO ook op als er een HDD aan een van de onboard SATA poorten hing [ongeacht SATA-2 of 3])

[ Voor 22% gewijzigd door Pantagruel op 23-04-2020 13:45 . Reden: update ]

[Q]

Pantagruel schreef op donderdag 23 april 2020 @ 10:51:

En terug naar t eerste hokje

Damn. Ik heb twee van deze borden maar ik heb de on-board Sata poorten nooit zo zwaar belast. Ben je er zeker van dat het de hardware is en niet BTRFS? En is eventueel een HBA kaartje van een paar tientjes niet een goedkope oplossing om het issue eventueel op te lossen (als je een slot vrij hebt)?

[ Voor 19% gewijzigd door Q op 23-04-2020 13:48 ]

[Pantagruel]

Q schreef op donderdag 23 april 2020 @ 13:46:
[...]


Damn. Ik heb twee van deze borden maar ik heb de on-board Sata poorten nooit zo zwaar belast. Ben je er zeker van dat het de hardware is en niet BTRFS? En is eventueel een HBA kaartje van een paar tientjes niet een goedkope oplossing om het issue eventueel op te lossen (als je een slot vrij hebt)?

Ik was wellicht onvolledig in mijn uitleg. Aan de on-board SATA (2 OF 3) hing enkele de SSD. De BTRFs array hangt volledig aan een IBM M1015 HBA.

Wellicht ontstaat t probleem door t zwaar aanspreken vd swap (wat apart is met 16Gib RAM in de bak, zou denken dat t wel in ram gecached kon worden). De laatste optie voor een test zou zijn de vm.swappiness terug te schroeven zodat t gebruik van swap gereduceerd of uitgesteld wordt tot t minimale (vm.swappiness=1). Dit heb ik bij t troubleshooten vd andere plank getest maar bood geen soelaas. Waarschijnlijk was de schade al gedaan (in de zin van fysieke schade aan t bord [klein component doorgebrand ofzo]). Zodoende heb ik er na de succesvolle stresstest geen tijd aanbesteed.

[dcm360]

Het zou ook best wel eens aan de MX500 kunnen liggen. 700GB is wel een flinke berg aan data om te verwerken, dus dat de performace inzakt is niet raar. Het kan ook sterkt afhangen van hoe TRIM ingesteld is en de hoeveelheid blocks de SSD beschikbaar heeft om direct naar te kunnen schrijven.

[Pantagruel]

dcm360 schreef op donderdag 23 april 2020 @ 14:41:
Het zou ook best wel eens aan de MX500 kunnen liggen. 700GB is wel een flinke berg aan data om te verwerken, dus dat de performace inzakt is niet raar. Het kan ook sterkt afhangen van hoe TRIM ingesteld is en de hoeveelheid blocks de SSD beschikbaar heeft om direct naar te kunnen schrijven.

Wie weet, zou google eens harder aan de tand moeten voelen.
Neemt niet weg dat een 500 Gb 7200 rpm HDD niet voor problemen zorgt, wellicht omdat hier de swap sowieso beperkend is en minder fluctueerd.
Als ik dezelfde test op een andere setup (Intel DH67VR, i5-3470, 32 GiB) maar met dezelfde SSD en HBA met disks draai loopt de copy actie zonder problemen door. Pech van dat bordje is dan weer dat Ubuntu zo snel afsluit dat bij de volgende keer opstarten er een fschk geforceerd wordt ivm onjuist afsluiten/journal errors (ext4). Ook niet echt ideaal.

Update.

Gisteravond het dood verklaarde moederbord geforceerd ge-reflashed, had niets te verliezen. Wonder boven wonder doet de plank t nu weer goed. Daar waar eerder de detectie van een storage device aan de SATA controller wisselvallig was, verloopt deze nu probleemloos. Zowel de Crucial SSD als diverse HDD's worden klakkeloos gevonden. Herrezen uit de dood

Na een flinke partij hardware kruizen (Xeon 1230 vs i3-2100 , 8 Gib vs 16 GiB [2 verschillende sets van Kingston, ieder 4 reepjes per set]), IBM M1015 HBA vs Dell H310 HBA (LSI
2008) tussen bordjes is de terugkerende conclusie dat:

Wanneer de Crucial MX500 500GiB SSD als OS schijf in gebruik is, op eender welke SATA poort van beide X9SCM-F bordjes, dit tot een hanger leidt bij heftige IO acties.

Vervang ik de SSD door een HDD (2,5" 80 GB Seagate getest, 3,5" 5400 rpm Samsung 320 GB geteste ,5400 rpm 400 GB WDAC getest en een 7200rpm 500 GB Samsung getest .

Helaas heb ik geen SSD van een andere producent om handen om uit te sluiten dat t een fenomeen verbonden aan de aanwezige Crucial MX500 is (firmware versie moet ik nog ff controleren en zal hem invoegen).

[ Voor 37% gewijzigd door Pantagruel op 24-04-2020 14:02 . Reden: Update mbt testen ]

[Q]

Q schreef op woensdag 22 april 2020 @ 23:19:
Ik heb een blog post geschreven over het belang van scrubs en email alerting.

Voor de experts hier misschien niet relevant, maar ik vond het wel nuttig om er eens iets over te schrijven.

Ook nog een artikeltje over 'silent data corruption'.

[Pantagruel]

Thanks @Q voor je aanbod om een SSD uit te lenen.

Obsessief, compulsief gedrag liet me niet met rust evenals de eeuwige koppige onderzoeker die dingen wilt weten/uit elkaar pluizen.

Dus, heb ik voor t avondeten de SSD uit de laptop vd oudste zoon getrokken (256 GiB Samsung 830) van welke nu op HDD een image getrokken wordt (A small sacrifice had to be made with the possibility of an upgrade in sight, zoals hij grapte). Vervolgens gaat deze naar de 500 GiB MX500 overgezet worden en dan hopen dat de laptop niet gaat bokken (dan weten we weer wat meer mbt t evt. probleem) en dan gaat de Samsung aan de 2e plank.

Houd jullie op de hoogte.

Nou, ik laat jullie niet echt in spanning afwachten. Zojuist de MX500 in de 2,5" HDD/SSD enclosure gedaan om t eerder getrokken image erop te zetten. Na inpluggen verschijnt de SSD en verdwijnt de SSD en verschijnt de SSD weer om vervolgens na 2 minuten weer te verdwijnen en vervolgens weer te verschijnen .

Wild uneducated guess: de SATA- of de voedingsaansluiting is kaduuk (spoortje gebroken ) waardoor of t signaal of de voeding wegvalt en de SSD idem verdwijnt. RMA en retour verkoper gaat t worden.
Vette kans dat t mobo dus van meet af aan niets had en de SSD zwakjes was qua gesteldheid .

Update:

Gisteren de vervangende SSD binnen gekregen en de stoelendans gedaan. Bij gebruik vd Samsung 830 geen problemen bij de 'IO-test' en idem bij gebruik van de vervangende MX500. Ca 1TiB binnen de BTRFS pool kopiëren zonder een hikje of wat dan ook. Met aan zekerheid grenzende waarschijnlijkheid was de oude MX500 SSD dus de boos-doener en om de een of andere reden gaar geworden.

[ Voor 45% gewijzigd door Pantagruel op 02-05-2020 16:38 . Reden: update ]

[Pantagruel]

dcm360 schreef op woensdag 15 april 2020 @ 14:44:
Western Digital admits 2TB-6TB WD Red NAS drives use shingled magnetic recording

Het betreft zo te zien de laatste serie, dus niet oudere drives.

En inmiddels is bekend dat de Blue's (voorheen de Green serie) mogelijk ook een SMR kan zijn, zie frontpage.

Iemand een idee hoe je onder Linux uit kunt vinden of een disk een SMR variant is. Niet te gek lang geleden 5 stuks 6 TiB blue's gekocht:

hdparm -i /dev/sd[abdefgh] | grep Model=
Model=WDC WD60EZRX-00MVLB1, FwRev=80.00A80
Model=WDC WD60EZRX-00MVLB1, FwRev=80.00A80
Model=WDC WD60EZAZ-00ZGHB0, FwRev=80.00A80
Model=WDC WD60EZAZ-00ZGHB0, FwRev=80.00A80
Model=WDC WD60EZAZ-00ZGHB0, FwRev=80.00A80
Model=WDC WD60EZAZ-00ZGHB0, FwRev=80.00A80
Model=WDC WD60EZAZ-00ZGHB0, FwRev=80.00A80

Naar verluid zouden t SMR's kunnen zijn , maar zeker weten doe ik t niet.

Een indicatie zou de aanwezige buffer omvang kunnen zijn welke bij een shingled drive groter is da n bij een CMR/PMR drive.
Helaas geeft de Buffer Size geen uitkomst omdat deze als 'unknown' terugkomt voor zowel de oudere 2 6TiB's als de nieuwere 5 stuks. Klaarblijkelijk houden ze deze waarde al langer 'verborgen'

:/# hdparm -i /dev/sd[abdefgh] | grep BuffSize
BuffType=unknown, BuffSize=unknown, MaxMultSect=16, MultSect=16
BuffType=unknown, BuffSize=unknown, MaxMultSect=16, MultSect=16
BuffType=unknown, BuffSize=unknown, MaxMultSect=16, MultSect=16
BuffType=unknown, BuffSize=unknown, MaxMultSect=16, MultSect=16
BuffType=unknown, BuffSize=unknown, MaxMultSect=16, MultSect=16
BuffType=unknown, BuffSize=unknown, MaxMultSect=16, MultSect=16
BuffType=unknown, BuffSize=unknown, MaxMultSect=16, MultSect=16

Ik heb ook al ff met lsscsi gerommeld en met 'libzbc' en de 'sg3_utils command line tools' gehannest maar dat bied geen uitkomst.

[ Voor 4% gewijzigd door Pantagruel op 26-04-2020 00:34 ]

[jantje112]

Sinds tijden mijn “oude” servertje weer in gebruik. Na de verhuizing was de noodzaak een beetje zoek en voor je het weet ben je jaren verder.

Specs:

Xeon 1225
24 ecc
4 x 2.5” 5tb schijfjes (geshukt)
2 x 250gb ssd cache
Xpenology dsm 6.1

Vraag:

Iemand suggesties voor een handig intern 2.5 rack/rails oplossing? Mijn server heeft maar plaats voor 4x3.5” en die wil ik tzt anders benutten

[Pantagruel]

jantje112 schreef op maandag 27 april 2020 @ 08:07:
Sinds tijden mijn “oude” servertje weer in gebruik. Na de verhuizing was de noodzaak een beetje zoek en voor je het weet ben je jaren verder.

Specs:

Xeon 1225
24 ecc
4 x 2.5” 5tb schijfjes (geshukt)
2 x 250gb ssd cache
Xpenology dsm 6.1

Vraag:

Iemand suggesties voor een handig intern 2.5 rack/rails oplossing? Mijn server heeft maar plaats voor 4x3.5” en die wil ik tzt anders benutten

Je bedoeld zoiets als:

Icy Dock flexiDOCK 4 x 2.5” SSD Dock Trayless Hot-Swap SATA Mobile Rack for Ext 5.25" Bay

[Q]

jantje112 schreef op maandag 27 april 2020 @ 08:07:
Sinds tijden mijn “oude” servertje weer in gebruik. Na de verhuizing was de noodzaak een beetje zoek en voor je het weet ben je jaren verder.

Specs:

Xeon 1225
24 ecc
4 x 2.5” 5tb schijfjes (geshukt)
2 x 250gb ssd cache
Xpenology dsm 6.1

Vraag:

Iemand suggesties voor een handig intern 2.5 rack/rails oplossing? Mijn server heeft maar plaats voor 4x3.5” en die wil ik tzt anders benutten

Het advies van Pantagruel lijkt me prima, maar welke kast heb je en wat is je uiteindelijke 'visie'? Wat is je gewenste eindoplossing?

[CurlyMo]

Waar kopen jullie eigenlijk je rack behuizing. Is http://servercase.co.uk nog steeds dé plek? Ik zit aan deze behuizing te denken, en kan in Nederland eigenlijk geen beter alternatief vinden.


£113.99 https://www.servercase.co...s-drive-bays-sc-2305-atx/

Mijn huidige 4U kast vond ik te hoog voor mijn 8U rack.

[Shunt]

Heeft iemand hier goede ervaringen met 19inch racks die diep genoeg zijn voor een server het liefste mobiel. Ik krijg zo 123 niets gevonden ik wil mijn 4U server eens naar de zolder verplaatsen maar dan wel in een keer goed.

[CurlyMo]

Shunt schreef op dinsdag 28 april 2020 @ 21:21:
Heeft iemand hier goede ervaringen met 19inch racks die diep genoeg zijn voor een server het liefste mobiel. Ik krijg zo 123 niets gevonden ik wil mijn 4U server eens naar de zolder verplaatsen maar dan wel in een keer goed.

Een rack die aan de achterkant open is een optie? Dat heb ik namelijk. Dan maakt de diepte niet veel meer uit.

[Shunt]

CurlyMo schreef op dinsdag 28 april 2020 @ 21:22:
[...]

Een rack die aan de achterkant open is een optie? Dat heb ik namelijk. Dan maakt de diepte niet veel meer uit.

True ik kan genoeg mobiele racks vinden voor switches en audio apparatuur maar voor server hardware is het wat lastiger blijkbaar. Ik hou voor nu de optie om de server gewoon eventjes op een tafeltje te zetten ook open. Maar in de toekomst wil ik hem netjes weg gewerkt hebben en niet meer de panty's van de vriendin als lucht filter hoeven te gebruiken.

[player-x]

Shunt schreef op dinsdag 28 april 2020 @ 21:21:
Heeft iemand hier goede ervaringen met 19inch racks die diep genoeg zijn voor een server het liefste mobiel. Ik krijg zo 123 niets gevonden ik wil mijn 4U server eens naar de zolder verplaatsen maar dan wel in een keer goed.

Als ik voor zo iets dergelijks zoek, dan doe ik een Google plaatjes zoektocht.
Meestal vind je het dan makkelijk.

[Shamalamadindon]

Shunt schreef op dinsdag 28 april 2020 @ 21:21:
Heeft iemand hier goede ervaringen met 19inch racks die diep genoeg zijn voor een server het liefste mobiel. Ik krijg zo 123 niets gevonden ik wil mijn 4U server eens naar de zolder verplaatsen maar dan wel in een keer goed.

Mijn beste optie een jaar geleden was een flatpack Intellinet rack die je zelf in elkaar zet. Het is te duur voor wat je eigenlijk koopt en het ziet er niet zo netjes uit als een rack met sidepanels en zo maar je hebt geen issues met het de zolder op krijgen.

[Solomon]

Na een hele tijd een HTPC te hebben gehad die tegelijk als fileserver diende met daarnaast een Raspberry Pi voor Homeassistant wil ik ivm mijn aanstaande verhuizing investeren in een fatsoenlijke server die bovenstaande vervangt. De server komt in de kelder te staan, formaat is daarom geen issue.

Initieel dacht ik vooral aan een ESXi of Proxmox host, maar toen kwam ik op het spoor van Unraid, en nu ben ik eigenlijk weer compleet in de war en zie ik door de bomen het bos niet meer

Ik heb de volgende server samengesteld (niets staat nog vast, maar dit leek me voldoende voor mijn eisen en tegelijkertijd relatief energiezuinig)

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100 Boxed	€ 106,04	€ 106,04
1	Moederborden	Fujitsu D3644-B	€ 147,45	€ 147,45
3	Interne harde schijven	WD Red (64MB cache), 4TB	€ 120,-	€ 360,-
1	Behuizingen	Fractal Design CORE 2500	€ 53,85	€ 53,85
2	Geheugen intern	Kingston KSM26ED8/16ME	€ 99,40	€ 198,80
1	Voedingen	Seasonic SSP-300SFG 300W 80+ Gold	€ 54,20	€ 54,20
1	Solid state drives	Kingston A2000 1TB	€ 119,-	€ 119,-
Bekijk collectie Importeer producten			Totaal	€ 1.039,34

Wel is het me nog niet duidelijk of deze WD REDs SMR hebben, zo ja dan kies ik een andere schijf.

Ik wil de server als volgt inzetten:

• Host en VMs op SSD
• Pool creëren met HDDs voor file sharing
• Plex container
• Home Assistant VM

Hoe kan ik deze setup softwarematig het beste inrichten? Eerst dacht ik aan Proxmox als host, FreeNAS als VM en vanuit daar een ZFS pool sharen. Daarna kreeg ik toch wat bedenkingen over ZFS en kwam ik UnRAID op het spoor. Zou dat een betere opzet zijn voor mijn server?

Wat me aantrekt aan UnRAID is dat ik nog een extra 4TB en 1TB HDD heb liggen en die volgens mij in UnRAID vrij makkelijk in kan zetten.

Ik heb hobbymatig redelijk wat aangekloot met Linux, maar zou het wel fijn vinden als VMs, sharing, etc. via een Web GUI geregeld zouden kunnen worden.

Tegelijkertijd vraag ik me af of een zelfbouw server geen complete overkill is en ik niet simpelweg voor een Synology DiskStation DS1019+ moet gaan Wederom, door de bomen het bos niet meer zien...

Alvast bedankt!

[ Voor 3% gewijzigd door Solomon op 26-06-2020 00:15 ]

[FireDrunk]

@Solomon

Hier een lijstje met SMR schijven (komt van servethehome.com).

Op de pricewatch pagina kan je helemaal onderaan onder het kopje "Overige" de SKU zien, dat is het echte typenummer (EFRX) van de schijf wat in die lijst dus zegt dat het een CMR schijf is.
De SMR variant heeft EFAX aan het eind.

Lekker duidelijk he!

Over je andere punten:
Promox bevat al ZFS, dus FreeNAS als VM draaien en terug hosten lijkt mij erg overkill. ZFS werkt tegenwoordig minstens zo goed onder Linux als onder BSD (FreeBSD gaat zelfs over op de ZFS repo's van Linux).

De keuze tussen UnRaid en ZFS ligt genuanceerder. UnRaid geeft je behoorlijk wat extra features. Dat is ook meer een complete 'suite', dan alleen een filesystem.

[ Voor 30% gewijzigd door FireDrunk op 26-06-2020 10:30 ]

[Thralas]

FireDrunk schreef op vrijdag 26 juni 2020 @ 10:27:
Lekker duidelijk he!

Over een tijdje is het weer iets duidelijker, als je 'WD Red Plus' kunt kopen en de gewone WD Red dus nog enkel SMR is. Voorlopig zul je op het modelnummer moeten letten inderdaad.

Maar met de prijsverschillen tov. externe disks ben je al snel een dief van je eigen portemonnee als je <8 TB als red koopt. WD40EFRX (4 TB) kost €120, terwijl een externe 8 TB €141 kost als je even een aanbieding afwacht.

EDIT: Huh, die is wel een beetje een onhandige crosspost met Solomon in "Het grote zuinige server topic - deel 2" - al begrijp ik de gedachte (hardware vs. software). Ik had al een deja-vu...

Nog even de softwarekant dan:

Hoe kan ik deze setup softwarematig het beste inrichten? Eerst dacht ik aan Proxmox als host, FreeNAS als VM en vanuit daar een ZFS pool sharen.

Dat soort complexe setups zijn in 2020 overbodig. ZFS on Linux is stabiel, er is geen enkele reden om het in een FreeBSD VM te willen draaien.

Daarna kreeg ik toch wat bedenkingen over ZFS en kwam ik UnRAID op het spoor. Zou dat een betere opzet zijn voor mijn server?

Ik ken Unraid niet (disclaimer: ongefundeerd onderbuikgevoel), maar het lijkt me qua storageoplossing een beetje een zolderkameroplossing om zo efficiënt mogelijk met je ruwe storage op te gaan. Heel anders dan ZFS..

Wil je een betrouwbaar multi-disk filesystem met alle toeters en bellen (snapshots, checksums, compressie) ten koste van wat ruwe storage, of simpelweg zo efficiënt mogelijke file storage. Qua interface lijkt me Proxmox een aardige tegenhanger van Unraid..

[ Voor 50% gewijzigd door Thralas op 26-06-2020 11:20 ]

[Q]

Solomon schreef op vrijdag 26 juni 2020 @ 00:11:
Ik heb hobbymatig redelijk wat aangekloot met Linux, maar zou het wel fijn vinden als VMs, sharing, etc. via een Web GUI geregeld zouden kunnen worden.

Tegelijkertijd vraag ik me af of een zelfbouw server geen complete overkill is en ik niet simpelweg voor een Synology DiskStation DS1019+ moet gaan Wederom, door de bomen het bos niet meer zien...

Alvast bedankt!

Ik zie geen reden waarom een Synology niet voor je gaat werken. Ik zie ook weinig voordeel in zelfbouw in jouw situatie, tenzij je dat leuk vind om te doen als hobby + het onderhoud.
De vraag is even in hoeverre Plex moet streamen (lage belasting) of moet transcoden (hogere belasting). Veel apparaten kunnen content gewoon zonder transcoding prima afspelen.

https://docs.google.com/s...tmMPc/edit#gid=1274624273

[Solomon]

Q schreef op vrijdag 26 juni 2020 @ 12:39:
[...]


Ik zie geen reden waarom een Synology niet voor je gaat werken. Ik zie ook weinig voordeel in zelfbouw in jouw situatie, tenzij je dat leuk vind om te doen als hobby + het onderhoud.
De vraag is even in hoeverre Plex moet streamen (lage belasting) of moet transcoden (hogere belasting). Veel apparaten kunnen content gewoon zonder transcoding prima afspelen.

https://docs.google.com/s...tmMPc/edit#gid=1274624273

Thanks voor de feedback! Het probleem is dat (voor zover ik het begrijp) het gebruik van subtitles betekent dat je automatisch moet transcoden. Of heb ik dat verkeerd begrepen?

[Solomon]

Thralas schreef op vrijdag 26 juni 2020 @ 10:59:
[...]


Over een tijdje is het weer iets duidelijker, als je 'WD Red Plus' kunt kopen en de gewone WD Red dus nog enkel SMR is. Voorlopig zul je op het modelnummer moeten letten inderdaad.

Maar met de prijsverschillen tov. externe disks ben je al snel een dief van je eigen portemonnee als je <8 TB als red koopt. WD40EFRX (4 TB) kost €120, terwijl een externe 8 TB €141 kost als je even een aanbieding afwacht.

EDIT: Huh, die is wel een beetje een onhandige crosspost met Solomon in "Het grote zuinige server topic - deel 2" - al begrijp ik de gedachte (hardware vs. software). Ik had al een deja-vu...

Nog even de softwarekant dan:


[...]


Dat soort complexe setups zijn in 2020 overbodig. ZFS on Linux is stabiel, er is geen enkele reden om het in een FreeBSD VM te willen draaien.


[...]


Ik ken Unraid niet (disclaimer: ongefundeerd onderbuikgevoel), maar het lijkt me qua storageoplossing een beetje een zolderkameroplossing om zo efficiënt mogelijk met je ruwe storage op te gaan. Heel anders dan ZFS..

Wil je een betrouwbaar multi-disk filesystem met alle toeters en bellen (snapshots, checksums, compressie) ten koste van wat ruwe storage, of simpelweg zo efficiënt mogelijke file storage. Qua interface lijkt me Proxmox een aardige tegenhanger van Unraid..

Veel dank voor je reactie! Ik hoef zeker niet alle toeters en bellen, maar ben wel op zoek naar stabiliteit voor de te draaien VMs. Ik lees online (ook op tweakers) veel adviezen, maar ik vind het moeilijk om in te schatten welke voor mijn hobbymatig thuisgebruik nou belangrijk zijn of niet...

Omdat ik eerder uitdagingen heb gehad met filesharing in Linux, leek de WebGUI van FreeNAS me daar enorm behulpzaam bij.

Wat zou je advizeren qua setup als ik een situatie wil creeren die betrouwbaar genoeg is voor hobbymatig gebruik, die stabiel VMs draait en tegelijk makkelijk te managen is voor iemand die enkel hobbymatig wat met Linux heeft geklooid ?

[Q]

Solomon schreef op vrijdag 26 juni 2020 @ 13:24:
[...]


Thanks voor de feedback! Het probleem is dat (voor zover ik het begrijp) het gebruik van subtitles betekent dat je automatisch moet transcoden. Of heb ik dat verkeerd begrepen?

Daar ben ik onvoldoende in thuis maar je kunt een model kiezen dat op de gewenste softwarematige / (of als je voor Plex betaald) hardwarematige resolutie kan transcoden.

Edit: transcoden met subtitles is niet nodig behalve als de client het subtitle formaat niet ondersteund. Het is niet 100% gegarandeerd dus dat transcoden nooit nodig is.

Ik zou aanraden om even goed na te denken wat je precies wilt en belangrijk vind.

Als je voldoende kennis en skills hebt om zelf iets te bouwen en je vind het leuk om daar tijd en moeite in te stoppen, prima verder.

[ Voor 11% gewijzigd door Q op 26-06-2020 14:20 ]

[Thralas]

Solomon schreef op vrijdag 26 juni 2020 @ 13:24:
Thanks voor de feedback! Het probleem is dat (voor zover ik het begrijp) het gebruik van subtitles betekent dat je automatisch moet transcoden. Of heb ik dat verkeerd begrepen?

Ik gebruik geen Plex, enkel videospelers (mpv, vlc) die probleemloos content met subtitle streams kunnen afspelen. Een hele video transcoden om de subtitles erin te branden klinkt voor mij als een zeer onhandige oplossing, maar misschien werkt dat ecosysteem nu eenmaal zo..

Wat zou je advizeren qua setup als ik een situatie wil creeren die betrouwbaar genoeg is voor hobbymatig gebruik, die stabiel VMs draait en tegelijk makkelijk te managen is voor iemand die enkel hobbymatig wat met Linux heeft geklooid

Voor wat betreft de eisen die je stelt (zoals @Q) zegt: nadenken. Nog een voorbeeld: wil je backuppen? Hoe? Met ZFS is dat heel elegant met een paar snapshots. Met Unraid gaat dat mogelijk een stuk minder mooi.

Voor wat betreft de user experience: vergeet VMware en Virtualbox niet. Ik zou eens een middagje uittrekken om zowel Proxmox als Unraid te installeren met een paar virtuele disks alsof het je NAS was. Dan kom je er gauw genoeg achter of dat een beetje handig werkt.

[FireDrunk]

Een ZFS snapshot is an sich nou niet echt een volwaardige backup. Sure, je kunt ze zo gebruiken, maar ze zijn niet heel 'weerbaar' tegen dingen als crashende schijven, brand, diefstal, user error etc.

Snapshots maken op een pool met veel redundancy, en die snapshots extern dupliceren (dmv iets als ZFS Send & Receive) is natuurlijk een prima optie.

[Thralas]

FireDrunk schreef op vrijdag 26 juni 2020 @ 16:00:
Snapshots maken op een pool met veel redundancy, en die snapshots extern dupliceren (dmv iets als ZFS Send & Receive) is natuurlijk een prima optie.

.. dat bedoel ik uiteraard

ZFS is elegant omdat je niet heel je disk hoeft door te jagen op zoek naar gewijzigde files, zoals menig andere backupoplossing wel vereist. Het transferen naar een ander medium doet het niet heel veel efficiënter.

[Solomon]

Ik wil een VM thuisserver bouwen (NAS, Plex, misschien een remote workstation). Daar komt een Ryzen 5 3600 in. Ik wil non-ECC geheugen er in prikken.

In dit topic wordt veel de Asrock Rack X470D4U aangeraden, maar ik zit met de prijs (260 euro) in m'n maag. Ik zie namelijk heel veel consumentenborden die aan m'n eisen qua outputs voldoen en veel goedkoper zijn. Daarnaast past in dit bord geen retesnelle NVMe M2 SSD voor m'n Unraid cache.

Mijn vraag aan jullie: Doe ik er dom aan door voor een consumentenbord te gaan? En zo nee, welke?
Ik kom bijvoorbeeld de ASRock X470 Master SLI (128 euro) tegen of de ASRock X570 Pro4 (176 euro).

Mijn belangrijkste eis is ten minste 6 SATA poorten en 2 M2 poorten (bij voorkeur snelle poorten).
Naast 6 schijven en 2 M2 SSDs komt er nog een Quadro P400, 2x 16GB non-ECC geheugen in het systeem.

Ik weet dat goedkope borden vaak slechte VRMs hebben, maar hoe belangrijk is dat voor een 24/7 server die meestal idle draait. Jullie advies wordt gewaardeerd!

[pocket]

Hallo, ik ben al even aan het lurken hier, maar ik kom er toch niet helemaal uit.

Ik ben op zoek naar 2 x ~5tb hdd's voor in mijn zelfbouw NAS. Het plan is om ze te mirroren.

Zou tof zijn als ze energie zuinig zijn maar ik lees veel verhalen over smr.. en dat dat ongewenst is in een NAS. Ik gok dus dat 2.5” al af valt.

Als iemand tips heeft, of bepaalde schijven aanraad, let me know.🙏

Bedankt!

[Symyr]

Hmm als ik even snel zoek dan is het zo:

Western Digital opletten dat de schijf geen EFAX in de naam heeft want dat wijst blijkbaar op SMR, link waar je het onderaan kan zien bij recording technology. Nas Compare heeft ook een lijst gemaakt.

Seagate heeft een handige lijst gegeven waar je direct kan zien dat indd, 2,5" schijven vallen af.

Deze 2 zijn zowat de grootste in HDD land dus heb ik me tot deze beperkt maar dat zou toch al moeten helpen denk ik.

[FireDrunk]

Solomon schreef op zondag 28 juni 2020 @ 14:50:
Ik wil een VM thuisserver bouwen (NAS, Plex, misschien een remote workstation). Daar komt een Ryzen 5 3600 in. Ik wil non-ECC geheugen er in prikken.

In dit topic wordt veel de Asrock Rack X470D4U aangeraden, maar ik zit met de prijs (260 euro) in m'n maag. Ik zie namelijk heel veel consumentenborden die aan m'n eisen qua outputs voldoen en veel goedkoper zijn. Daarnaast past in dit bord geen retesnelle NVMe M2 SSD voor m'n Unraid cache.

Mijn vraag aan jullie: Doe ik er dom aan door voor een consumentenbord te gaan? En zo nee, welke?
Ik kom bijvoorbeeld de ASRock X470 Master SLI (128 euro) tegen of de ASRock X570 Pro4 (176 euro).

Mijn belangrijkste eis is ten minste 6 SATA poorten en 2 M2 poorten (bij voorkeur snelle poorten).
Naast 6 schijven en 2 M2 SSDs komt er nog een Quadro P400, 2x 16GB non-ECC geheugen in het systeem.

Ik weet dat goedkope borden vaak slechte VRMs hebben, maar hoe belangrijk is dat voor een 24/7 server die meestal idle draait. Jullie advies wordt gewaardeerd!

Waarom perse een AMD Systeem als het systeem toch altijd idle draait? Dan is een Intel toch vaak net iets zuiniger. Of heb je al onderdelen?

Qua ECC: Als je data belangrijk is, en je een groot dataset hebt wat veel gelezen en beschreven wordt, is ECC toch best een nuttige functie, of geld hiervoor ook dat je al onderdelen hebt?

[Shamalamadindon]

Solomon schreef op zondag 28 juni 2020 @ 14:50:
Mijn vraag aan jullie: Doe ik er dom aan door voor een consumentenbord te gaan? En zo nee, welke?
Ik kom bijvoorbeeld de ASRock X470 Master SLI (128 euro) tegen of de ASRock X570 Pro4 (176 euro).

Ik kan zelf de Gigabyte B450 Aorus Pro aanraden. Zit inmiddels al weer een goede 6+ maanden in m'n Unraid server. Geeft ook geen gezeur zonder GPU.

[Solomon]

Shamalamadindon schreef op donderdag 2 juli 2020 @ 13:56:
[...]


Ik kan zelf de Gigabyte B450 Aorus Pro aanraden. Zit inmiddels al weer een goede 6+ maanden in m'n Unraid server. Geeft ook geen gezeur zonder GPU.

Thanks voor je feedback!

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 5 3600 Boxed	€ 165,-	€ 165,-
1	Moederborden	Asus ROG Strix B450-F Gaming	€ 109,95	€ 109,95
1	Videokaarten	Fujitsu Quadro P400	€ 111,66	€ 111,66
1	Behuizingen	Phanteks Enthoo Pro Closed Zwart	€ 94,62	€ 94,62
1	Usb-sticks	Sandisk Cruzer Fit (G35) 32GB Zilver	€ 8,02	€ 8,02
1	Externe harde schijven	WD MyBook 8TB Zwart	€ 163,02	€ 163,02
1	Geheugen intern	G.Skill Ripjaws V F4-3200C16D-32GVK	€ 127,35	€ 127,35
1	Voedingen	BitFenix Whisper BWG450M	€ 78,42	€ 78,42
2	Solid state drives	Kingston A2000 500GB	€ 65,82	€ 131,64
Bekijk collectie Importeer producten			Totaal	€ 1.030,63

Ik ben echter eigenwijs geweest en ben toch voor een Asus moederbord gegaan vanwege de Intel NIC (ik verwacht m'n gigabit netwerk redelijk vaak vol te trekken).

Ik ga Unraid op de server draaien. De 2x M.2 SSD gaat in Raid1 als cache dienen aangezien er een Hass.io (domotica) docker op komt te draaien en ik dmv deze opzet probeer te voorkomen dat die offline gaat voor lange tijd (natuurlijk kan altijd de PSU falen maar ik denk dat makkelijker opgelost te hebben dan het falen van m'n cache).

De WD Mybook ga ik shucken en gaat in het begin als parity disk gebruikt worden voor een tweetal kleinere HDDs die ik nog heb liggen.

De Quadro P400 gaat gebruikt worden voor hardware transcoding in Plex.

Voordat ik bovenstaande bestel zou ik nog heel even willen dubbelchecken of ik geen domme fouten heb gemaakt... Feedback wordt gewaardeerd!

[Q]

@Solomon zie de vraag van Firedrunk: waarom zou de BBG geavanceerde Thuisserver niet een betere optie voor je zijn?

[Philip J. Dijkstra]

@Solomon : https://gaminggem.com/b450-vs-x570/

" So it seems that between the X570 vs B450 if you are on a budget go with the B450 such as the Gigabyte B450M GAMING. If you can stretch your budget to the X570 then it could be worth it in the long run to help future proof your build.
The X570 should also be your choice if you plan to run 2 GPUs in your system."

Als je ook een gaming VM op je UnRaid server gaat draaien zou je nog eens goed moeten kijken of de B450 chipset voldoende voor je is.

[Solomon]

Q schreef op zaterdag 4 juli 2020 @ 00:07:
@Solomon zie de vraag van Firedrunk: waarom zou de BBG geavanceerde Thuisserver niet een betere optie voor je zijn?

Een heel terechte vraag! Ik wil de virtualisatie opties uitgebreid gaan gebruiken.

Qua laptop beschik ik over een chromebook, en ik hoop op deze manier ook een pittig (remote) workstation te creëren. Met de VM/Docker wensen die ik heb hecht ik denk ik meer waarde aan de extra cores van de 3600 dan aan de wat zuinigere i3 9100 (om nog maar niet te spreken over het pittig gepreisde moederbord welk in de BBG aangeraden werd).

Ook heb ik nog onvoldoende vertrouwen dat de lagere energieconsumptie daadwerkelijk een significante impcact gaat hebben op m'n total cost of ownership..

Wat denk je daarvan? Is dat een verkeerde keuze in jouw ogen?

[Solomon]

Philip J. Dijkstra schreef op zaterdag 4 juli 2020 @ 00:17:
@Solomon : https://gaminggem.com/b450-vs-x570/

" So it seems that between the X570 vs B450 if you are on a budget go with the B450 such as the Gigabyte B450M GAMING. If you can stretch your budget to the X570 then it could be worth it in the long run to help future proof your build.
The X570 should also be your choice if you plan to run 2 GPUs in your system."

Als je ook een gaming VM op je UnRaid server gaat draaien zou je nog eens goed moeten kijken of de B450 chipset voldoende voor je is.

Thanks! Ga ik morgen even uitpluizen

[Edit]
Dit lijkt toch vooral te gaan over gaming rigs met videokaarten in SLI. Ik zie niet hoe dat relevant is voor mijn situatie. Kun je me helpen?

[ Voor 10% gewijzigd door Solomon op 04-07-2020 00:36 ]

[Gruson]

Na jaren gebruik wil ik mijn fulltower freenas bak vervangen door een 19 inch 4U unit. Ik heb een Norco 4224 goedkoop op de kop kunnen tikken en deze ga ik nieuw inrichten (X11 moederbord) met vdevs van 8 schijven (RAIDZ2/3). Ik ben van plan om de schijven via de backplane met mini-SAS met PCIE mounted HBA's te laten praten.

Het rackmount systeem spreekt me aan omdat je makkelijk een tweede systeem met dezelfde formfactor kan plaatsen als het eerste vol raakt. Nu is mijn vraag: Hoe zou je zo'n toekomstige uitbreiding aan moeten sluiten? Idealiter zou ik een 4U case met ruimte voor schijven (24/36/48, wat dan ook) gewoon aan willen sluiten op het moederbord wat in de eerste 4u case zit, zonder weer een moederbord in de nieuwe case te moeten plaatsen. Zijn hier oplossingen voor met genoeg bandbreedte, misschien met PCIE kaarten?

Edit: Met een moederbord wat 3 maal x8 PCIE mogelijkheid heeft zou ik 3 maal de LSI SAS 9201-16i kunnen gebruiken voor totaal 48 schijven. Als ik lange miniSAS -> miniSAS kabels kan vinden is dat een optie. Helaas heeft het moederbord wat ik voor ogen had (https://tweakers.net/pric...x11ssm-f-retail-pack.html maar 2 x8 PCIE aansluitingen, de andere twee draaien op x4.

[ Voor 19% gewijzigd door Gruson op 12-07-2020 19:28 ]

[enthernal]

Gruson schreef op zondag 12 juli 2020 @ 10:09:
Na jaren gebruik wil ik mijn fulltower freenas bak vervangen door een 19 inch 4U unit. Ik heb een Norco 4224 goedkoop op de kop kunnen tikken en deze ga ik nieuw inrichten (X11 moederbord) met vdevs van 8 schijven (RAIDZ2/3). Ik ben van plan om de schijven via de backplane met mini-SAS met PCIE mounted HBA's te laten praten.

Het rackmount systeem spreekt me aan omdat je makkelijk een tweede systeem met dezelfde formfactor kan plaatsen als het eerste vol raakt. Nu is mijn vraag: Hoe zou je zo'n toekomstige uitbreiding aan moeten sluiten? Idealiter zou ik een 4U case met ruimte voor schijven (24/36/48, wat dan ook) gewoon aan willen sluiten op het moederbord wat in de eerste 4u case zit, zonder weer een moederbord in de nieuwe case te moeten plaatsen. Zijn hier oplossingen voor met genoeg bandbreedte, misschien met PCIE kaarten?

Edit: Met een moederbord wat 3 maal x8 PCIE mogelijkheid heeft zou ik 3 maal de LSI SAS 9201-16i kunnen gebruiken voor totaal 48 schijven. Als ik lange miniSAS -> miniSAS kabels kan vinden is dat een optie. Helaas heeft het moederbord wat ik voor ogen had (https://tweakers.net/pric...x11ssm-f-retail-pack.html maar 2 x8 PCIE aansluitingen, de andere twee draaien op x4.

Als je zoveel disks wilt aansluiten zou ik eerder kijken om met een SAS expander te werken. Zelf heb ik in mijn 4U een LSI SAS 9201-8i zitten waarvan beide aansluiten aan een HP 24 port SAS expander gelinkt zijn die alle 24 drive bays aanstuurt. Qua prijs scheelt het niet veel tov. 3x 9201-8i wat ik eerst gepland had, maar naar PCI-e poorten wel. Zo'n SAS-expander heeft enkel stroom nodig. Daar kan je perfect zo'n x4 slot voor gebruiken in je case.

Zo blijft je tweede x8 slot vrij voor een latere uitbreiding. In je disk enclosure kan/ga je ook iets moeten hebben om aan/uit te zetten, zo'n bordjes voorzien meestal ook een pci-e slot voor een SAS expander. Als je een disk enclosure koopt zal het die normaal reeds aan boord hebben.

[Gruson]

enthernal schreef op maandag 13 juli 2020 @ 08:30:
[...]


Als je zoveel disks wilt aansluiten zou ik eerder kijken om met een SAS expander te werken. Zelf heb ik in mijn 4U een LSI SAS 9201-8i zitten waarvan beide aansluiten aan een HP 24 port SAS expander gelinkt zijn die alle 24 drive bays aanstuurt. Qua prijs scheelt het niet veel tov. 3x 9201-8i wat ik eerst gepland had, maar naar PCI-e poorten wel. Zo'n SAS-expander heeft enkel stroom nodig. Daar kan je perfect zo'n x4 slot voor gebruiken in je case.

Zo blijft je tweede x8 slot vrij voor een latere uitbreiding. In je disk enclosure kan/ga je ook iets moeten hebben om aan/uit te zetten, zo'n bordjes voorzien meestal ook een pci-e slot voor een SAS expander. Als je een disk enclosure koopt zal het die normaal reeds aan boord hebben.

Bedankt voor je heldere antwoord. SAS expanders zijn inderdaad wat ik zoek, die was ik helemaal vergeten. Jij hebt dus 24 schijven draaiend uiteindelijk op de twee poorten van de LSI SAS 9201-8i? Dat vormt dan geen bottleneck qua I/O?

[enthernal]

Ik heb er momenteel nog maar een 10-tal disk aan hangen, de andere bays zijn nog leeg. Bovendien zijn de meeste disks in een snapraid configuratie geplaatst, dus behalve de dagelijkse sync/scrub zijn er hoogstens een paar actief.

Wat bottlenecks voor een volle setup betreft, theoretisch wel. De bottleneck is dan de data rate van de PCI-e2 x8, wat ong. 4000MBps is (de link tussen de LSI en expander is 4800MBps), maar dat is nog steeds goed 166MBps per disk bij 24 stuks. Voor spinners is dat al aardig

[ Voor 30% gewijzigd door enthernal op 13-07-2020 11:34 ]

[Gruson]

Duidelijk. Voor twee 4U kasten kan ik dan beter 2x een 8i insteekkaart nemen in plaats van 1x een 16i, dat scheelt weer de helft aan bandbreedte. Maargoed, het plan is om er voorlopig 8 schijven in te doen, die kan ik nog wel met een HBA direct aanspreken. Ik vind het alleen belangrijk om future-proof te zijn, opslag gaat toch altijd sneller vol dan je denkt. Welke HP SAS expander gebruik jij, of heeft er hier iemand anders nog ervaring met SAS expanders die met FreeNAS werken?

[Q]

SAS expanders zijn volgens mij transparant voor het OS. Dat wordt door de HBA+SAS expander zelf afgehandeld. Maar ik laat me graag corrigeren.

[ Voor 5% gewijzigd door Q op 13-07-2020 20:11 ]

[enthernal]

Klopt je SAS expander hoeft enkel compatibel te zijn met je HBA, voor het OS maakt dat niet uit, die moet enkel je HBA ondersteunen. Iets wat vervelend aan de HP SAS expanders is dat ze geen eigen type naam hebben, je moet het op type nummer doen. ik heb deze 468406-B21. Als je even afwacht en rond kijkt kan je die best goedkoop vinden.

[Gruson]

Bedankt voor de info! Nu de volgende queeste: compatible DDR4 geheugen vinden voor de X11 moederborden..

[Krowi]

Ik had al een apart topic gemaakt omdat ik niet wist dat dit bestond dus post ik mijn vraag ook nog eens hier en sluit ik het andere aangezien het hier beter thuis hoort

Ik heb op dit moment een RPi 4B met daaraan 2 16TB IronWolf Pro's (nieuw) en 1 3TB Barracuda (uit een oude NAS). Alles aangesloten met USB-SATA connectoren. Dit is echt een DIY oplossing aangezien een USB fan alles koelt in een Ikea kast. Ik ben al eens aan het kijken geweest om dit op te waarderen naar een PC case. De case in kwestie had ik al gekocht met het idee daar alles in te steken maar is op dit moment nog niet gebeurd. Ik ben ondertussen wel aan het zoeken geweest naar onderdelen voor een "deftige" build welke je hieronder vindt. De bedoeling is om in de toekomst naar 1 16TB drive te gaan voor backups en 7 16TB drives te gaan voor data. Ik weet dat het moederbord dit initieel niet kan ondersteunen maar hier zou een eventuele PCI SATA kaart de oplossing bieden.

Het idee is linux te installeren en daarop openmediavault 5 te zetten en docker gebruiken om plex, en ondersteunende apps te draaien.

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 3 3200G Boxed	€ 88,90	€ 88,90
1	Moederborden	ASRock B450M Pro4	€ 76,97	€ 76,97
1	Behuizingen	Antec VSK 4000E-U3	€ 33,-	€ 33,-
1	Geheugen intern	Corsair Vengeance LPX CMK16GX4M2B3200C16	€ 59,35	€ 59,35
1	Voedingen	be quiet! System Power 9 500W CM	€ 57,45	€ 57,45
Bekijk collectie Importeer producten			Totaal	€ 315,67

De vragen waar ik nog mee zit:

1. Zijn deze onderdelen goed voor een budget DIY NAS waar Plex kan op draaien en on the fly kan transcoden (4K naar 1080p, 720p) wat mijn RPi 4B oplossing op dit moment niet kan.
2. Zijn er onderdelen die ik kan overwegen om dit nog iets goedkoper te maken?
3. Op pcpartpicker is er een warning over B450 moederborden die misschien incompatibel kunnen zijn met Ryzen 3 CPU's. Zou ik mij hier zorgen over moeten maken?

[Luxicon]

Als je over het algemeen een backup wil van je NAS, is de WD Blue dan een goede keus? Is er verschil tussen de 64MB en de 256MB variant? Zoals bij de WD Red er sprake is van CMR vs. SMR.

[SadisticPanda]

Krowi schreef op zaterdag 1 augustus 2020 @ 12:26:
Ik had al een apart topic gemaakt omdat ik niet wist dat dit bestond dus post ik mijn vraag ook nog eens hier en sluit ik het andere aangezien het hier beter thuis hoort

Ik heb op dit moment een RPi 4B met daaraan 2 16TB IronWolf Pro's (nieuw) en 1 3TB Barracuda (uit een oude NAS). Alles aangesloten met USB-SATA connectoren. Dit is echt een DIY oplossing aangezien een USB fan alles koelt in een Ikea kast. Ik ben al eens aan het kijken geweest om dit op te waarderen naar een PC case. De case in kwestie had ik al gekocht met het idee daar alles in te steken maar is op dit moment nog niet gebeurd. Ik ben ondertussen wel aan het zoeken geweest naar onderdelen voor een "deftige" build welke je hieronder vindt. De bedoeling is om in de toekomst naar 1 16TB drive te gaan voor backups en 7 16TB drives te gaan voor data. Ik weet dat het moederbord dit initieel niet kan ondersteunen maar hier zou een eventuele PCI SATA kaart de oplossing bieden.

Het idee is linux te installeren en daarop openmediavault 5 te zetten en docker gebruiken om plex, en ondersteunende apps te draaien.

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 3 3200G Boxed	€ 88,90	€ 88,90
1	Moederborden	ASRock B450M Pro4	€ 76,97	€ 76,97
1	Behuizingen	Antec VSK 4000E-U3	€ 33,-	€ 33,-
1	Geheugen intern	Corsair Vengeance LPX CMK16GX4M2B3200C16	€ 59,35	€ 59,35
1	Voedingen	be quiet! System Power 9 500W CM	€ 57,45	€ 57,45
Bekijk collectie Importeer producten			Totaal	€ 315,67

De vragen waar ik nog mee zit:

1. Zijn deze onderdelen goed voor een budget DIY NAS waar Plex kan op draaien en on the fly kan transcoden (4K naar 1080p, 720p) wat mijn RPi 4B oplossing op dit moment niet kan.
2. Zijn er onderdelen die ik kan overwegen om dit nog iets goedkoper te maken?
3. Op pcpartpicker is er een warning over B450 moederborden die misschien incompatibel kunnen zijn met Ryzen 3 CPU's. Zou ik mij hier zorgen over moeten maken?

Intel is leuker voor plex IVM met quiksync en hw encoding. Zeker op 4k materiaal

[Krowi]

SadisticPanda schreef op zaterdag 1 augustus 2020 @ 15:55:
[...]


Intel is leuker voor plex IVM met quiksync en hw encoding. Zeker op 4k materiaal

Is Intel niet wat duur in vergelijking met AMD of heeft deze quicksync zoveel voordelen?

[SadisticPanda]

Krowi schreef op zondag 2 augustus 2020 @ 19:15:
[...]

Is Intel niet wat duur in vergelijking met AMD of heeft deze quicksync zoveel voordelen?

Quiksync is zeker handig. 4k streamen decoderen met 1 percent cpu gebruik ofso.
Ikzelf heb oudere g4560 zitten, decode alles met 2 vingers in de neus al heeft die niet veel werk aangezien ik meeste content direct play.

Quiksync is echt wel snel en hoeft niet duur te zijn...zie wel dat je cpu recent genoeg is, een haswelll quiksync doet niet zelfde als een kaby cpu...

[Krowi]

SadisticPanda schreef op zondag 2 augustus 2020 @ 19:44:
[...]


Quiksync is zeker handig. 4k streamen decoderen met 1 percent cpu gebruik ofso.
Ikzelf heb oudere g4560 zitten, decode alles met 2 vingers in de neus al heeft die niet veel werk aangezien ik meeste content direct play.

Quiksync is echt wel snel en hoeft niet duur te zijn...zie wel dat je cpu recent genoeg is, een haswelll quiksync doet niet zelfde als een kaby cpu...

Ik heb in mijn huidige pc een i5 6600K zitten. Ik was van plan deze binnenkort ook up te daten naar AMD (gaming pc). Zou deze geschikt zijn om als NAS te gebruiken en dan eerder mijn pc up te graden?

[Cyleo]

SadisticPanda schreef op zondag 2 augustus 2020 @ 19:44:
[...]


Quiksync is zeker handig. 4k streamen decoderen met 1 percent cpu gebruik ofso.
Ikzelf heb oudere g4560 zitten, decode alles met 2 vingers in de neus al heeft die niet veel werk aangezien ik meeste content direct play.

Quiksync is echt wel snel en hoeft niet duur te zijn...zie wel dat je cpu recent genoeg is, een haswelll quiksync doet niet zelfde als een kaby cpu...

En het juiste MB, ik heb bijvoorbeeld: pricewatch: Supermicro X11SSL-F en die heeft geen quicksync ondersteuning

[InflatableMouse]

Voor mijn server thuis, 6x 4TB SATA ben ik op zoek naar een goede controller. Ik gebruik ZFS, het is dus van belang dat het geen RAID kaart is die de disks logisch doorgeven aan het OS, maar dat ik de disks 'as-is' aangeboden krijg.

Aantal jaar geleden waren de IBM M1015 erg populair, maar die kaart is ondertussen al wat jaartjes oud (en SATA 3 max geloof ik?).

Ik vroeg me af of er ondertussen iets beters / nieuwers beschikbaar is? Wat gebruiken anderen momenteel bijvoorbeeld?

[Q]

SATA 3 is effectief ongeveer ~550 MB/s aan throughput. Er bestaat (nog) geen harde schijf die in staat is om die snelheid te halen. Het snelste wat ik heb gezien loopt tegen de ~300 MB/s aan.

SATA 3 is dus nog steeds prima voor harde schijven.

Ik heb voor een paar tientjes een aantal maanden terug nog een paar M1015's gekocht via aliexpress om deze reden om een oude Highpoint RocketRAID kaart te vervangen, werkt prima (uiteraard).

[ Voor 27% gewijzigd door Q op 06-08-2020 13:13 ]

[InflatableMouse]

Q schreef op donderdag 6 augustus 2020 @ 13:11:
SATA 3 is effectief ongeveer ~550 MB/s aan throughput. Er bestaat (nog) geen harde schijf die in staat is om die snelheid te halen. Het snelste wat ik heb gezien loopt tegen de ~300 MB/s aan.

SATA 3 is dus nog steeds prima voor harde schijven.

Ik heb voor een paar tientjes een aantal maanden terug nog een paar M1015's gekocht via aliexpress om deze reden om een oude Highpoint RocketRAID kaart te vervangen, werkt prima (uiteraard).

Ah tx. Blijkbaar was er verwarring aan mijn kant omtrend de termen sata 3, sata 6 sata II, III en wat je nog meer kan verzinnen. Na jouw reactie heb ik het opnieuw opgezocht en blijkbaar had ik wat aannames gedaan die niet klopte. Ik ging er vanuit dat sata 3 de 300gbit variant was, maar het is revisie 3.x, met 600gbit bandbreedte. Verwarring!

Ergo: dat is inderdaad nog ruim voldoende.

Het omflashen van zo'n kaart kan alleen op een BIOS moederbordje geloof ik toch? Moet ik waarschijnlijk door wat hoepeltjes gaan springen maar goed, daar kom ik wel uit .

[Q]

Het kan volgens mij ook prima via UEFI maar daar heb ik geen ervaring mee.

[enthernal]

Het kan inderdaad prima via UEFI, maar het heeft iets meer voeten in de aarde. Toen ik de mijne vorig jaar deed was het grootste probleem een imaging tool te vinden om een UEFI bootable freedos stick te maken. Uiteindelijk is het toen met rufus gelukt. Eens die stap voorbij is het hetzelfde als met een BIOS bordje.

[WTM]

InflatableMouse schreef op donderdag 6 augustus 2020 @ 12:39:
Voor mijn server thuis, 6x 4TB SATA ben ik op zoek naar een goede controller. Ik gebruik ZFS, het is dus van belang dat het geen RAID kaart is die de disks logisch doorgeven aan het OS, maar dat ik de disks 'as-is' aangeboden krijg.

Aantal jaar geleden waren de IBM M1015 erg populair, maar die kaart is ondertussen al wat jaartjes oud (en SATA 3 max geloof ik?).

Ik vroeg me af of er ondertussen iets beters / nieuwers beschikbaar is? Wat gebruiken anderen momenteel bijvoorbeeld?

FreeNAS volgens mij blijven de LSI chipjes favoriet. Zie hier:

https://www.servethehome....s/top-picks-freenas-hbas/

[InflatableMouse]

WTM schreef op zaterdag 8 augustus 2020 @ 15:21:
[...]


FreeNAS volgens mij blijven de LSI chipjes favoriet. Zie hier:

https://www.servethehome....s/top-picks-freenas-hbas/

Da's al ruim 4 jaar oud .

Misschien nog steeds van toepassing maar zonder meer recente update blijft het giswerk.

Maar goed ik heb de IBM binnen wachten is op de kabeltjes. Ik verwacht ze dinsdag.

[InflatableMouse]

InflatableMouse schreef op donderdag 6 augustus 2020 @ 13:28:
[...]

Het omflashen van zo'n kaart kan alleen op een BIOS moederbordje geloof ik toch? Moet ik waarschijnlijk door wat hoepeltjes gaan springen maar goed, daar kom ik wel uit .

Q schreef op donderdag 6 augustus 2020 @ 15:01:
Het kan volgens mij ook prima via UEFI maar daar heb ik geen ervaring mee.

Het is inderdaad gelukt met de server in UEFI mode, via een UEFI shell zelfs. Moest wat commando'tjes bij elkaar schrapen dat wel.

Is het daarna nog mogelijk te zien welke schijf aan welke port hangt aan deze kaart? MegaCli (op arch linux) werkt niet meer. Op zich denk ik ook wel logisch maar ik had gehoopt nog wel op een of andere manier te kunnen verifieren welk model/serienummer aan welke poort zou hangen.

[FireDrunk]

Volgens mij krijg je een port id mee in de /dev/disk/by-path, daar zou je eens kunnen kijken.

[InflatableMouse]

Tx, lsscsi geeft het weer:

code:

# lsscsi
[0:0:0:0]    disk    ATA      Hitachi HDS72404 A3B0  /dev/sda 
[2:0:0:0]    disk    ATA      HGST HDS724040AL A580  /dev/sdb 
[4:0:0:0]    disk    ATA      Hitachi HUS72404 A3B0  /dev/sdc 
[6:0:0:0]    disk    ATA      Hitachi HUS72404 A3B0  /dev/sdd 
[6:0:1:0]    disk    ATA      HGST HDS724040AL A580  /dev/sde 
[6:0:2:0]    disk    ATA      Hitachi HDS72404 A3B0  /dev/sdf

De 6:0:x:0 reeks zijn op de M1015 kaart. Zoals je kunt zien 3 verschillende HGST's, van elk 2. De ene van elke versie zit intern aangesloten, de andere op de M1015 kaart. Ik ga zo fio loslaten om hopelijk wat verschillen te zien tussen de interne sata poorten en de M1015.

https://github.com/louwrentius/fio-plot gaat me daar hopelijk bij helpen om het inzichtelijk te maken (Tx @Q !)

[FireDrunk]

Ik verwacht 0 verschil, mits je extreme que depths gaat gebruiken. De M1015 heeft een grotere driver queue denk ik.

[InflatableMouse]

Mja dat zou je denken maar om één of andere reden gedroegen die disks zich op de interne sata poorten allemaal anders en gaven rare onlogische resultaten.

Vandaar de controller kostte bijna niks en alleen nu wat tijd om het te testen.

[Q]

Ik heb zelf wel eens de HP Microserver Gen8 controller in ahci mode getest en de verschillen met de IBM M1015 in dezelfde machine waren zelfs een haar (pietsie) beter qua latency (dus in het nadeel van de IBM).

Als je grote verschillen zou meten dan is er iets stuk denk ik.

Mijn tools zijn trouwens alleen op Linux getest en let op de ‘bug’ als je twee benchmarks gaat vergelijken.

[InflatableMouse]

Is het oke om hier wat dingen te vragen over fio-plot of prefereer je het op github (of pm)?

Ik heb het volgende gedraaid, bij wijze van test:

code:

./bench_fio --target /dev/sda /dev/sdd \
            --type device \
            --template fio-job-template.fio  \
            --iodepth 8 \
            --numjobs 4 \
            --mode randrw \
            --output int-sda_ext-sdd \
            --rwmixread 75 \
            --duration 300

Ik krijg daarmee de volgende output:

code:

├── sda
│   └── randrw75
│       └── 4k
│           ├── randrw-8-4.json
│           ├── randrw-iodepth-8-numjobs-4_bw.1.log
│           ├── randrw-iodepth-8-numjobs-4_bw.2.log
│           ├── randrw-iodepth-8-numjobs-4_bw.3.log
│           ├── randrw-iodepth-8-numjobs-4_bw.4.log
│           ├── randrw-iodepth-8-numjobs-4_clat.1.log
│           ├── randrw-iodepth-8-numjobs-4_clat.2.log
│           ├── randrw-iodepth-8-numjobs-4_clat.3.log
│           ├── randrw-iodepth-8-numjobs-4_clat.4.log
│           ├── randrw-iodepth-8-numjobs-4_iops.1.log
│           ├── randrw-iodepth-8-numjobs-4_iops.2.log
│           ├── randrw-iodepth-8-numjobs-4_iops.3.log
│           ├── randrw-iodepth-8-numjobs-4_iops.4.log
│           ├── randrw-iodepth-8-numjobs-4_lat.1.log
│           ├── randrw-iodepth-8-numjobs-4_lat.2.log
│           ├── randrw-iodepth-8-numjobs-4_lat.3.log
│           ├── randrw-iodepth-8-numjobs-4_lat.4.log
│           ├── randrw-iodepth-8-numjobs-4_slat.1.log
│           ├── randrw-iodepth-8-numjobs-4_slat.2.log
│           ├── randrw-iodepth-8-numjobs-4_slat.3.log
│           └── randrw-iodepth-8-numjobs-4_slat.4.log
└── sdd
    └── randrw75
        └── 4k
            ├── randrw-8-4.json
            ├── randrw-iodepth-8-numjobs-4_bw.1.log
            ├── randrw-iodepth-8-numjobs-4_bw.2.log
            ├── randrw-iodepth-8-numjobs-4_bw.3.log
            ├── randrw-iodepth-8-numjobs-4_bw.4.log
            ├── randrw-iodepth-8-numjobs-4_clat.1.log
            ├── randrw-iodepth-8-numjobs-4_clat.2.log
            ├── randrw-iodepth-8-numjobs-4_clat.3.log
            ├── randrw-iodepth-8-numjobs-4_clat.4.log
            ├── randrw-iodepth-8-numjobs-4_iops.1.log
            ├── randrw-iodepth-8-numjobs-4_iops.2.log
            ├── randrw-iodepth-8-numjobs-4_iops.3.log
            ├── randrw-iodepth-8-numjobs-4_iops.4.log
            ├── randrw-iodepth-8-numjobs-4_lat.1.log
            ├── randrw-iodepth-8-numjobs-4_lat.2.log
            ├── randrw-iodepth-8-numjobs-4_lat.3.log
            ├── randrw-iodepth-8-numjobs-4_lat.4.log
            ├── randrw-iodepth-8-numjobs-4_slat.1.log
            ├── randrw-iodepth-8-numjobs-4_slat.2.log
            ├── randrw-iodepth-8-numjobs-4_slat.3.log
            └── randrw-iodepth-8-numjobs-4_slat.4.log

6 directories, 42 files

Is het nu mogelijk om hier in een enkel commando alle graphs van de genereren? Tenzij ik ergens overheen lees zie ik dit nergens terug, enkel 1 grafiekje per commandline?

[Q]

InflatableMouse schreef op donderdag 13 augustus 2020 @ 18:55:
Is het oke om hier wat dingen te vragen over fio-plot of prefereer je het op github (of pm)?

Ik heb het volgende gedraaid, bij wijze van test:

code:

./bench_fio --target /dev/sda /dev/sdd \
            --type device \
            --template fio-job-template.fio  \
            --iodepth 8 \
            --numjobs 4 \
            --mode randrw \
            --output int-sda_ext-sdd \
            --rwmixread 75 \
            --duration 300

Ik krijg daarmee de volgende output:

code:

├── sda
│   └── randrw75
│       └── 4k
│           ├── randrw-8-4.json
│           ├── randrw-iodepth-8-numjobs-4_bw.1.log
│           ├── randrw-iodepth-8-numjobs-4_bw.2.log
│           ├── randrw-iodepth-8-numjobs-4_bw.3.log
│           ├── randrw-iodepth-8-numjobs-4_bw.4.log
│           ├── randrw-iodepth-8-numjobs-4_clat.1.log
│           ├── randrw-iodepth-8-numjobs-4_clat.2.log
│           ├── randrw-iodepth-8-numjobs-4_clat.3.log
│           ├── randrw-iodepth-8-numjobs-4_clat.4.log
│           ├── randrw-iodepth-8-numjobs-4_iops.1.log
│           ├── randrw-iodepth-8-numjobs-4_iops.2.log
│           ├── randrw-iodepth-8-numjobs-4_iops.3.log
│           ├── randrw-iodepth-8-numjobs-4_iops.4.log
│           ├── randrw-iodepth-8-numjobs-4_lat.1.log
│           ├── randrw-iodepth-8-numjobs-4_lat.2.log
│           ├── randrw-iodepth-8-numjobs-4_lat.3.log
│           ├── randrw-iodepth-8-numjobs-4_lat.4.log
│           ├── randrw-iodepth-8-numjobs-4_slat.1.log
│           ├── randrw-iodepth-8-numjobs-4_slat.2.log
│           ├── randrw-iodepth-8-numjobs-4_slat.3.log
│           └── randrw-iodepth-8-numjobs-4_slat.4.log
└── sdd
    └── randrw75
        └── 4k
            ├── randrw-8-4.json
            ├── randrw-iodepth-8-numjobs-4_bw.1.log
            ├── randrw-iodepth-8-numjobs-4_bw.2.log
            ├── randrw-iodepth-8-numjobs-4_bw.3.log
            ├── randrw-iodepth-8-numjobs-4_bw.4.log
            ├── randrw-iodepth-8-numjobs-4_clat.1.log
            ├── randrw-iodepth-8-numjobs-4_clat.2.log
            ├── randrw-iodepth-8-numjobs-4_clat.3.log
            ├── randrw-iodepth-8-numjobs-4_clat.4.log
            ├── randrw-iodepth-8-numjobs-4_iops.1.log
            ├── randrw-iodepth-8-numjobs-4_iops.2.log
            ├── randrw-iodepth-8-numjobs-4_iops.3.log
            ├── randrw-iodepth-8-numjobs-4_iops.4.log
            ├── randrw-iodepth-8-numjobs-4_lat.1.log
            ├── randrw-iodepth-8-numjobs-4_lat.2.log
            ├── randrw-iodepth-8-numjobs-4_lat.3.log
            ├── randrw-iodepth-8-numjobs-4_lat.4.log
            ├── randrw-iodepth-8-numjobs-4_slat.1.log
            ├── randrw-iodepth-8-numjobs-4_slat.2.log
            ├── randrw-iodepth-8-numjobs-4_slat.3.log
            └── randrw-iodepth-8-numjobs-4_slat.4.log

6 directories, 42 files

Is het nu mogelijk om hier in een enkel commando alle graphs van de genereren? Tenzij ik ergens overheen lees zie ik dit nergens terug, enkel 1 grafiekje per commandline?

Je kunt nu dit voorbeeld volgen (copy/paste) waarbij de parameters jouw benchmark moeten matchen:

code:

./fio_plot -i <benchmark_data_folder A> <benchmark_data_folder B>  -T "Test" -g -r randread -t iops lat -d 8 -n 1

Maar als je nu twee keer naar die 4K folder linkt, dan 'botst' de data en krijg je maar 1 graph.

Je hebt nu twee opties.

1. maak symlinks met unieke namen en link naar de juiste 4K folder. Gebruik de symlink op de plek achter de -i
2. hernoem de 4k folders naar een unieke naam

Dat zou moeten werken.

Zie ook: https://github.com/louwrentius/fio-plot/issues/20

Edit: dus de essentie: de folder waar je naar verwijst in het -i commando moet uniek zijn het het gaat om de 'basename' als je snapt wat ik bedoel.

[InflatableMouse]

Yes, precies wat ik al gedaan had na je eerste waarschuwing over de bug in een korte test. Dat was ook niet wat ik bedoelde eigenlijk (excuus als ik onduidelijk was).

Ik draai nu dit:

code:

for DEV in sda sdb sdc sdd sde sdf; do
    ./bench_fio --target /dev/"${DEV}" \
                --type device \
                --block-size 4k 8k 16k 64k 128k 1m \
                --duration 600 \
                --template fio-job-template.fio  \
                --iodepth 8 \
                --numjobs 4 \
                --mode randread randwrite \
                --output "${DEV}"
done

Ik heb morgen middag een enorme bult aan data waar ik grafiekjes voor moet maken, ik zal er een nachtje over slapen maar ik moet dus een zinnige manier verzinnen om die disks te vergelijken.

[Q]

Ik snap nu wat je wilt maar ik vraag me af wat je nu precies wilt meten. Ik gok dat je met je originele test al een heel eind komt om een mogelijk performance verschil tussen de controllers boven tafel te krijgen.

Doe er nog een met een hoge queue depth om zeker te zijn. (Hoge queue depths zijn in de praktijk voor thuisgebruikers zeldzaam)

Je kunt ook de 3D grafiek gebruiken om heel veel data tegelijk te presenteren of anders wordt het nog meer bash loopjes.

Zo te zien gaat dit 12 uur duren als ik me niet vergis.

Maar goed, als je dit laat lopen kun je uit die data steekproeven nemen.

Pak dan eens alleen de latency randread over alle schijven in een -g grafiek

[ Voor 32% gewijzigd door Q op 13-08-2020 22:45 ]

[InflatableMouse]

Vergelijkende grafiekjes zijn beperkt tot 2 verschillende resultaten lijkt het klopt dat?

Of is het wel mogelijk om bv 4k randread resultaten in 2d balkjes van alle disks naast elkaar te zetten, of om alle blocksizes van randread van 1 disk naast elkaar te zetten?

Bijvoorbeeld:

code:

./fio_plot -i results/sda/sda_4k \
              results/sdb/sdb_4k \
              results/sdc/sdc_4k \
              results/sdd/sdd_4k \
              results/sde/sde_4k \
              results/sdf/sdf_4k \
           -T "4K Random Reads / all disks" \
           -s server \
           -l \
           -n 4 \
           -d 8 \
           -r randread

[ Voor 42% gewijzigd door InflatableMouse op 14-08-2020 10:20 . Reden: cmd toegevoegd ]

[Q]

@InflatableMouse je kunt alleen zo'n vergelijkende grafiek maken met de -g optie.

[nero355]

Q schreef op donderdag 13 augustus 2020 @ 22:38:
Ik snap nu wat je wilt maar ik vraag me af wat je nu precies wilt meten. Ik gok dat je met je originele test al een heel eind komt om een mogelijk performance verschil tussen de controllers boven tafel te krijgen.

Dat vraag ik me ook af, want hiermee kan ik het alleen maar eens zijn :

Doe er nog een met een hoge queue depth om zeker te zijn. (Hoge queue depths zijn in de praktijk voor thuisgebruikers zeldzaam)

FireDrunk schreef op donderdag 13 augustus 2020 @ 17:25:
Ik verwacht 0 verschil, mits je extreme que depths gaat gebruiken. De M1015 heeft een grotere driver queue denk ik.

Ik kan me namelijk nog heel goed dit soort benchmarks herinneren : http://www.yellow-bricks....features-and-queue-depth/
Maar dan op een andere website waar ze in het verleden onder andere ook een heleboel SSD's hebben getest op hun power failure bestendigheid en invloed van de cache en dergelijke

[Q]

@nero355 hoge queue depths zijn misschien nog relevant voor enterprise storage appliances met stevige workloads maar thuis - zelfs in een lab-omgeving - ga je er niets aan hebben.

Ik weet niet wat anderen er van vinden maar al die stats van SSDs over 100K IOPs bij qd van 32-64 zouden wat mij betreft ongezien in de vuilnisbak gegooid mogen worden, zeker voor thuis, waar je die qd gewoon never nooit haalt.

Laat mij maar workloads met qd=1 zien, dat zegt voor mij werkelijk iets wat een SSD werkelijk kan. Ik zie in mijn tests consumenten SSDs (zeker op writes) dan totaal instorten ten opzichte van de DC varianten. Maar dat is een andere rant.

[FireDrunk]

https://www.tomshardware....660p-qlc-nvme,5719-2.html

Hier zie je het prachtige voorbeeld van die onzinnige statistische benchmarks.

De level loading time van Final Fantasy. Een 660p laad het level een whopping halve seconde sneller dan een MX500.

[InflatableMouse]

De verschillen tussen dezelfde disks op de interne controllers of op de M1015 verschillen net zo veel als de verschillen tussen meerdere tests van dezelfde disk op intern of extern.

Dus: test ik een disk 3 keer op intern en de resultaten wisselen 2 a 3 procent, Deze verschillen zie ik ook als ik de disk omhang naar de andere controller. Met andere woorden, de verschillen vallen binnen de normale waarden die je mag verwachten als je dezelfde tests meerdere draait. Let wel, dat verschil van een paar procent is dus max 10 iops bij 4k en 1 of 2 iops bij 1m, ongeacht of deze aan de interne of externe controller hing. Compleet verwaarloosbaar, dus.

Maar nu dit:
Ik heb twee identieke ultrastars, tot aan de firmware versie toe.


De verschillen bij lezen zijn te belachelijk voor woorden, maar bij schrijven is het verwaarloosbaar.

Maar terwijl ik dit aan het delen ben met jullie heb ik waarschijnlijk ook in de gaten waar dit door komt:
De langzame ultrastar:

code:

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   085   085   016    Pre-fail  Always       -       8126623
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       1
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   114   114   020    Pre-fail  Offline      -       37
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       1

De snelle:

code:

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       0
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   117   117   020    Pre-fail  Offline      -       36
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0

Edit:
Denk dat die eerste langzaam aan het sneuvelen is. Die read retry count en reallocated sector zijn relatief nieuw. Paar maanden geleden was er nog niets aan de hand volgens mij.

Een andere (deskstar) die relatief langzamer is dan de rest heeft ook een read error rate, maar nog geen reallocated sectors.

[ Voor 2% gewijzigd door InflatableMouse op 15-08-2020 13:58 . Reden: reden toegevoegd ]

[Q]

@InflatableMouse interessant tabelletje maar het lijkt helemaal in lijn te zijn met mijn ervaring, waarbij de interne controller ietsje sneller is dan de externe, wat natuurlijk niet gek is.

Edit: nu gok ik zo dat jij geen 10K RPM schijven gebruikt en de random 4K lezen resultaten qua iops zijn zelfs te hoog voor dat soort schijven. Ik gok zo dat je met een relatief kleine device/file size hebt getest en niet met het hele device.

Maakt verder niet uit, het gaat natuurlijk om de relatieve verschillen, zolang er maar op de zelfde manier is getest

De verschillen bij lezen zijn te belachelijk voor woorden, maar bij schrijven is het verwaarloosbaar.

Dat snap ik niet helemaal, hoe bedoel je dat?

Verder vraag ik me af of die schijf echt aan het 'sterven' is. Een bad sector zegt niet zoveel. Tientallen, dat wordt een ander verhaal. Zo'n schijf als deze zal nog jaren prima werken.

---

Ik begrijp dat je fio-plot verder hebt laten liggen?

Kun je anders de ruwe testdata delen? Ik zou dit wel eens willen visualiseren.

[ Voor 21% gewijzigd door Q op 15-08-2020 17:37 ]