Het grote DIY RAID NAS topic deel 3

[player-x]

Nindustries schreef op vrijdag 6 april 2018 @ 08:51:
Goed punt, maar dan kan ik natuurlijk later niet meer uitbreiden

RAIDZ arrays zijn toch al slecht uit te breiden als je geen tijdelijke tussen opslag hebt (en waar vind je ff 30TB aan tijdelijke ruimte), ben je aangewezen op toevoegen van een extra array aan je pool, met weer verlies van een extra parity disk(s).

[ Voor 7% gewijzigd door player-x op 08-04-2018 10:18 ]

[CurlyMo]

Wat vinden jullie ervan. Ik kan voor weinig geld een Chenbro RM42300 op de kop tikken ter vervanging van mijn Node 304. Daar wil ik graag mijn huidige NAS naartoe migreren om hem te integreren in mijn nieuwe rack in mijn nieuwe huis. Is deze kast een aanrader? Eventueel wil ik er in de toekomst 2 hotswap 4 in 3 modules instoppen. Voor de toekomst zou ik ook wat flexibeler zijn qua moederborden.

#	Product	Prijs	Subtotaal
1	Intel Core i5-4460 Boxed	€ 166,-	€ 166,-
1	ASRock Z87E-ITX	€ 0,-	€ 0,-
2	WD Green HDD, 2TB	€ 66,36	€ 132,72
4	WD Red SATA 6 Gb/s WD20EFRX, 2TB	€ 72,-	€ 288,-
1	Fractal Design Node 304 Zwart	€ 76,-	€ 76,-
1	WD Elements Desktop 1TB Zwart	€ 0,-	€ 0,-
1	Cooler Master Hyper 212 EVO	€ 29,95	€ 29,95
2	Kingston HyperX Fury blu HX313C9FK2/8	€ 72,21	€ 144,42
1	Delock MiniPCIe I/O PCIe full size 2 x SATA 6 Gb/s	€ 20,29	€ 20,29
1	Seasonic G-Serie 360Watt	€ 72,-	€ 72,-
2	Crucial MX100 128GB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 929,38

[IceTeaGX]

CurlyMo schreef op dinsdag 10 april 2018 @ 20:10:
...

Een 2de 5.25 is optioneel, dus zeker zijn dat die er bij zit, dat je die nog extra kan krijgen, OF dat je wilt "tweaken"

Verder lijken die 5.25 mounts niet heel diep te zijn. Van die inbouw hotswap bays zijn meestal net wel aan de diepe kant. maar het zou moeten lukken als ik hier zie: YouTube: Chenbro RM42300-F Rackmount Computer Case Mods and Build - BrendaEM

[CurlyMo]

IceTeaGX schreef op woensdag 11 april 2018 @ 17:25:
[...]

Een 2de 5.25 is optioneel, dus zeker zijn dat die er bij zit, dat je die nog extra kan krijgen, OF dat je wilt "tweaken"

Er zitten 2 5.25 bays in, dus dat is prima. Zijn er nog redenen om er niet voor te gaan?

[CurlyMo]

Een vraag over hot-swapping.

Ik heb nu dus een Chenbro RM42300 met twee 3x5.25 bays. Daar wil ik graag twee 5 in 3 bays in stoppen. Nu kan ik daar hot-swap bays voor kiezen zoals deze. Daarmee zou ik harde schijven kunnen vervangen terwijl het systeem draait. Een andere optie is echter ook deze bay gebruiken. Daarin installeer je je harde schijven met schroefloze rails.

Nu vraag ik me af of het hot-swapping harde schijven echt via van die hot-swap bays moet gebeuren of kan je ook gewoon die standaard bays kiezen met schroefloze rails gebruiken en dan netjes de kabels lostrekken en de nieuwe harde schrijf aansluiten? Enige echte verschil is volgens mij dat je geen individuele harde schijf belasting ziet. En zitten er nog speciale eisen aan het moederbord of OS vast voor hot-swapping?

[GioStyle]

Het enige verschil is het gemak. Als je een schijf zou moeten vervangen door jouw genoemde optie kost dat *iets* meer moeite ten op zichte van hotswap bays.

Ik persoonlijk zou ook voor jouw optie gaan. Die hotswap bays zijn schreeuwend duur en ik zou dat geld liever in grotere schijven steken.

[CurlyMo]

Iemand in dat geval nog betere (goedkopere) ideeën voor 'domme' 5 in 3 bays?

[Shamalamadindon]

Ga er tussenin zitten. Het zijn maar 4 bays maar het prijsverschil is best groot.

pricewatch: Icy Dock Black Vortex MB074SP-1B 3.5” SATA HDD 4 in 3 Hot-S...

Die van modDIY is leuk maar met verzend/import kosten en gedoe met kabels is het het niet waard imho.

Edit: overigens, voor pakweg 300 euro heb je tegenwoordig een 24 bay rackmount via https://www.servercase.co.uk/

[ Voor 15% gewijzigd door Shamalamadindon op 21-04-2018 21:12 ]

[CurlyMo]

Leo1010 schreef op zaterdag 21 april 2018 @ 21:08:
Die van modDIY is leuk maar met verzend/import kosten en gedoe met kabels is het het niet waard imho.

Verzendkosten zijn gratis. Dus dat is het probleem niet.

Edit: overigens, voor pakweg 300 euro heb je tegenwoordig een 24 bay rackmount via

Ik wil proberen onder de € 200,- uit te komen, compleet. Kast heeft me € 50,- gekost.

---

Deze vond ook wel top alternatieven voor mijn doel, maar dan zit je met dat klote 2u PSU formaat:
https://www.servercase.co...-x-slimline-dvd-sc-2808s/
https://www.servercase.co...ive-bays-minisas-sc-2312/

[ Voor 58% gewijzigd door CurlyMo op 21-04-2018 22:50 ]

[CurlyMo]

Soms moet je je verlies nemen. Dat heb ik nu gedaan door van een mede tweaker een Norcotek 4216 over te nemen voor een veel te mooie prijs. Wat een mooie kast is dat zeg

Enige waar ik bang voor ben is hem ophangen in een 19" rack. Dat moet niet zomaar een rack zijn, want hij is echt loei zwaar. Iemand een idee voor een 6u rack van tenminste 650mm diep?

[BartNL]

CurlyMo schreef op woensdag 2 mei 2018 @ 21:24:
Soms moet je je verlies nemen. Dat heb ik nu gedaan door van een mede tweaker een Norcotek 4216 over te nemen voor een veel te mooie prijs. Wat een mooie kast is dat zeg

wel even een positieve V&A-beoordeling schrijven

[BartNL]

Ik heb vergelijkbare kasten in een Startech open frame rack.

[ Voor 13% gewijzigd door BartNL op 02-05-2018 21:59 ]

[CurlyMo]

BartNL schreef op woensdag 2 mei 2018 @ 21:57:
Ik heb vergelijkbare kasten in een Startech open frame rack.

Maar die prijs

BartNL schreef op woensdag 2 mei 2018 @ 21:54:
[...]

wel even een positieve V&A-beoordeling schrijven

Ga ik nog even tijd voor nemen morgen.

---

Ik zit er aan te denken om deze te nemen:
https://www.bax-shop.nl/1...erseel-rack-met-wielen-8u

Ook een open rack en een draagvermogen van ~136kg en dan de server onderin hangen. De prijs is alleen een stuk beter.

[ Voor 19% gewijzigd door CurlyMo op 03-05-2018 09:30 ]

[Tripwire999]

Ik draai al een tijdje op FreeNas met verschillende plugins(Plex, Radarr, SabNZB etc) maar de laatste tijd krijg ik het niet voor elkaar om bijvoorbeeld Home Assistant of een VM te draaien op mijn zelfbouw nas. Om deze reden wil ik ook graag overstappen naar Ubuntu (het zij server of gewoon distro). Nu is de vraag, als ik over ga naar Ubuntu, kan ik mijn ZFS volumes en setup meenemen of kan ik beter clean beginnen? Ik had gezocht op migration guides van Freenas naar Ubuntu maar heb er tot op heden geen kunnen vinden.

[TommyboyNL]

Tripwire999 schreef op zaterdag 12 mei 2018 @ 13:16:
Ik draai al een tijdje op FreeNas met verschillende plugins(Plex, Radarr, SabNZB etc) maar de laatste tijd krijg ik het niet voor elkaar om bijvoorbeeld Home Assistant of een VM te draaien op mijn zelfbouw nas. Om deze reden wil ik ook graag overstappen naar Ubuntu (het zij server of gewoon distro). Nu is de vraag, als ik over ga naar Ubuntu, kan ik mijn ZFS volumes en setup meenemen of kan ik beter clean beginnen? Ik had gezocht op migration guides van Freenas naar Ubuntu maar heb er tot op heden geen kunnen vinden.

Op welke hardware draai je FreeNAS (met name moederbord, CPU, RAM)? Wellicht kan je overwegen om er een ESXi laag tussen te proppen en je datastore vervolgens via NFS aan te bieden aan ESXi en daar je VMs draaien.

[MvL]

BartNL schreef op woensdag 2 mei 2018 @ 21:57:
Ik heb vergelijkbare kasten in een Startech open frame rack.

Die open frames heb ik ook gezien. Ik vind ze wel redelijk prijzig voor een open frame. Jij heb iets soort gelijk? Ik twijfel nog een beetje voor een open frame of een gesloten kast te gaan. Iemand nog aanbevelingen, dingen waar je moet op letten?

[CurlyMo]

MvL schreef op zaterdag 12 mei 2018 @ 22:17:
[...]


Die open frames heb ik ook gezien. Ik vind ze wel redelijk prijzig voor een open frame. Jij heb iets soort gelijk? Ik twijfel nog een beetje voor een open frame of een gesloten kast te gaan. Iemand nog aanbevelingen, dingen waar je moet op letten?

Ik heb vandaag deze binnengekregen van Samson. Kost een schappelijke € 80,-. Wordt aangeprezen als muziek open rack, maar heeft gewoon een draagvermogen van +/- 140kg. Er komt een Norcotek 4u server, switch en patch panel in te hangen. Ik ga hem morgen eens beter bekijken.

[MvL]

CurlyMo schreef op zaterdag 12 mei 2018 @ 23:10:
[...]

Ik heb vandaag deze binnengekregen van Samson. Kost een schappelijke € 80,-. Wordt aangeprezen als muziek open rack, maar heeft gewoon een draagvermogen van +/- 140kg. Er komt een Norcotek 4u server, switch en patch panel in te hangen. Ik ga hem morgen eens beter bekijken.

Oke, nice!

Helaas zijn dat soort kasten niet diep genoeg voor mijn servers.Ik begreep dat die kast 45cm diep is. Ik moet minimaal 70cm hebben.

Maar naar je zin?

[CurlyMo]

MvL schreef op zondag 13 mei 2018 @ 18:33:
[...]


Oke, nice!

Helaas zijn dat soort kasten niet diep genoeg voor mijn servers.Ik begreep dat die kast 45cm diep is. Ik moet minimaal 70cm hebben.

Maar naar je zin?

Mijn server is ook veel dieper, maar aangezien hij aan de achterkant open is maakt dat dus niet uit.

[BartNL]

ik denk dat je het rack in ieder geval niet op wieltjes moet laten staan en moet vastschroeven aan de ondergrond. Die JBOD cases worden enorm zwaar aan de voorkant en kantelen dan mogelijk je rack.
Persoonlijk vind ik een open frame gemakkelijk werken en je hebt geen extra koeling nodig. Nadeel is dat het geen geluid dempt dus dat moet je dan in de bron aanpakken.

[TommyboyNL]

BartNL schreef op zondag 13 mei 2018 @ 22:17:
Die JBOD cases worden enorm zwaar aan de voorkant en kantelen dan mogelijk je rack.

Zolang je de case niet uitschuift en in zijn sliding rails laat rusten, kan dit niet gebeuren. Desalnittemin lijkt het mij verstandig om het rack inderdaad vast te bouten aan de vloer. Je zal niet de eerste zijn die domino doet met veel te dure en zware dominostenen...

[CurlyMo]

TommyboyNL schreef op zondag 13 mei 2018 @ 23:11:
[...]

Zolang je de case niet uitschuift en in zijn sliding rails laat rusten, kan dit niet gebeuren. Desalnittemin lijkt het mij verstandig om het rack inderdaad vast te bouten aan de vloer. Je zal niet de eerste zijn die domino doet met veel te dure en zware dominostenen...

Aanvulling hierop aangaande het samson rack dat ik suggereerde. Die is niet diep genoeg voor de rails van mijn Norcotek 4216. Ik heb hem dus onderaan in het rack vastgeschroefd. Zo hangt hij niet in het rack, maar ligt hij ook op de bodem. Maar door het vastschroeven trek je hem er ook niet zomaar uit om domino uit te sluiten. Mijn andere apparatuur zoals patchpanel en switch hangen wel gewoon in het rack. Voor € 80,- vind ik het prima zo.

[SanderH_]

Vandaag zijn deze puppies aangekomen, die de 4 x 2TB in mijn FreeNAS systeem moeten gaan vervangen:



Huidige situatie:



Even een sanity check doe vooraleer ik dit weekend aan de slag ga. In mijn HP MicroServer Gen8 heb ik geen spare SATA poorten, dus moet ik dit scenario volgen:

1. NAS uitschakelen
2. oude 2TB schijf eruit halen en nieuwe 6TB erin (Gen8 is geen hot swap) -> formatteren of partitietabel aanmaken niet nodig? In de documentatie raden ze trouwens aan om de schijf eerst expliciet op OFFLINE te plaatsen, en dan pas een shutdown te doen. Als er een schijf echt uitknalt heb je die "luxe" sowieso toch niet?
3. NAS aanschakelen, pool zal degraded zijn
4. 1 van de 4 schijven zal op OFFLINE staan, vervolgens op REPLACE duwen en wachten op resilveren
5. herhalen voor overige 3 schijven
6. na resilveren van 4e schijf zou de volledige capaciteit (15.5TB) beschikbaar moeten zijn

Klopt dit ongeveer?

Autoexpand staat alvast aangeschakeld op mijn pool, SMART test van de 4 nieuwe schijven voor de zekerheid ook maar ééns gecheckt.

[ Voor 11% gewijzigd door SanderH_ op 17-05-2018 22:36 ]

[CurlyMo]

SanderH_ schreef op donderdag 17 mei 2018 @ 22:18:
Even een sanity check doe vooraleer ik dit weekend aan de slag ga. In mijn HP MicroServer Gen8 heb ik geen spare SATA poorten, dus moet ik dit scenario volgen:

Ook geen USB poorten voor externe HDD enclosure?

formatteren of partitietabel aanmaken niet nodig?

Niet nodig. Zie de laatste ZFS topic reacties.

In de documentatie raden ze trouwens aan om de schijf eerst expliciet op OFFLINE te plaatsen, en dan pas een shutdown te doen. Als er een schijf echt uitknalt heb je die "luxe" sowieso toch niet?

Is inderdaad netter.

Klopt dit ongeveer?

Ja

[SanderH_]

CurlyMo schreef op donderdag 17 mei 2018 @ 22:51:
[...]

Ook geen USB poorten voor externe HDD enclosure?

Ik heb dit ding die ik er in principe via USB zou kunnen aanhangen.

Dan zou ik in principe het replace scenario kunnen volgen? Het feit dat ik na de replace dan van interface switch (USB -> non-hot plug bay) gaat geen moeilijkheden geven?

[CurlyMo]

SanderH_ schreef op donderdag 17 mei 2018 @ 23:01:
[...]
Dan zou ik in principe het replace scenario kunnen volgen?

Een online replace wordt dan weer mogelijk.

Het feit dat ik na de replace dan van interface switch (USB -> non-hot plug bay) gaat geen moeilijkheden geven?

Nee

[Domino]

Heeft er hier toevallig nog iemand een mptsas2 rom v7.39.00.00 (datum 18-09-2014) ergens slingeren?
v7.39.02.00 werkt niet in een hp microserver en de download (9211) is verdwenen van de lsi/broadcom website.

[FireDrunk]

https://www.servethehome.com/ibm-serveraid-m1015-part-4/

Geen idee of dit de laatste zijn, wel een mirror.

[SanderH_]

Ik geraak er niet aan uit als ik de FreeNAS documentatie volg over het growen van mijn pool.

Go to Storage ‣ Volumes, select the pool to expand and click the Volume Status button. Select a disk and click the Replace button. Choose the new disk as the replacement.

Ik heb nergens een Volume Status of Replace button. Of moet ik eerst een drive op OFFLINE plaatsen?

[CurlyMo]

SanderH_ schreef op zondag 20 mei 2018 @ 11:00:
Ik heb nergens een Volume Status of Replace button. Of moet ik eerst een drive op OFFLINE plaatsen?

Met ZFS kan je prima een actieve schijf vervangen zonder hem eerst offline te halen. Hoe dit zich vertaald in FreeNAS weet ik niet.

[SanderH_]

Heb me al rot zitten zoeken maar kan het echt niet vinden.

Dan maar via het replace scenario.

[Aschtra]

Gebruik je FreeNAS Corral?
Schijven vervangen in FreeNAS gaat als volgt:

- Zet de desbetreffende schijf offline
- Zet server uit
- Oude schijf eruit
- nieuwe schijf erin
- Zet server aan
- oude schijf zal melding geven, klik op replace, selecteer nieuwe schijf

Daarna zal die gaan resilveren

[CurlyMo]

Aschtra schreef op zondag 20 mei 2018 @ 12:11:
Gebruik je FreeNAS Corral?
Schijven vervangen in FreeNAS gaat als volgt:

- Zet de desbetreffende schijf offline
- Zet server uit
- Oude schijf eruit
- nieuwe schijf erin
- Zet server aan
- oude schijf zal melding geven, klik op replace, selecteer nieuwe schijf

Daarna zal die gaan resilveren

Als dat de enige manier is dan is dat wel echt super kut. Je loopt dan namelijk onnodig risico wat met ZFS dus helemaal niet hoeft wanneer je live vervangt.

[SanderH_]

Aschtra schreef op zondag 20 mei 2018 @ 12:11:
Gebruik je FreeNAS Corral?
Schijven vervangen in FreeNAS gaat als volgt:

- Zet de desbetreffende schijf offline
- Zet server uit
- Oude schijf eruit
- nieuwe schijf erin
- Zet server aan
- oude schijf zal melding geven, klik op replace, selecteer nieuwe schijf

Daarna zal die gaan resilveren

FreeNAS Corral, ja.

Disk op offline geplaatst, nieuwe 6TB erin en terug opgestart.. en nu krijg ik dit:



Nog steeds nergens een "replace" knop.

EDIT: even in de CLI van FreeNAS zelf gedoken:

disk show:

unix::>disk show
 Name                                               Size                                               Online                                             Empty                                             Allocation                                        SMART status

 ada0                                               5.46 TiB                                           yes                                                yes                                               unallocated                                       PASS
 ada1                                               1.82 TiB                                           yes                                                no                                                part of volume tank                               PASS
 ada2                                               1.82 TiB                                           yes                                                no                                                part of volume tank                               PASS
 ada3                                               1.82 TiB                                           yes                                                no                                                part of volume tank                               PASS
 ada4                                               149.05 GiB                                         yes                                                no                                                boot device                                       PASS

volume tank show_disks:

unix::>volume tank show_disks
 Name                                                                                                                                                          Status

 /dev/gptid/e12359d2-2fb5-11e5-932d-10604b92a8e4                                                                                                               OFFLINE
 /dev/ada1                                                                                                                                                     ONLINE
 /dev/ada2                                                                                                                                                     ONLINE
 /dev/ada3                                                                                                                                                     ONLINE

Kan ik nu gewoon het volgende doen?

volume tank replace  /dev/gptid/e12359d2-2fb5-11e5-932d-10604b92a8e4 /dev/ada0

CurlyMo schreef op zondag 20 mei 2018 @ 12:16:
[...]

Als dat de enige manier is dan is dat wel echt super kut. Je loopt dan namelijk onnodig risico wat met ZFS dus helemaal niet hoeft wanneer je live vervangt.

Ik heb de oude 2TB nu al vervangen door de nieuwe 6TB maar kan deze dus nergens replacen....

Ik denk eraan om opnieuw een shutdown te doen, de oude 2TB terug op zijn plaats (en nieuwe 6TB opnieuw via USB verbinden). Vervolgens dan via de CLI een replace te doen:

https://forums.freenas.or...to-storage-replace.53925/

[ Voor 126% gewijzigd door SanderH_ op 20-05-2018 13:20 ]

[CurlyMo]

SanderH_ schreef op zondag 20 mei 2018 @ 12:42:
[...]
Ik heb de oude 2TB nu al vervangen door de nieuwe 6TB maar kan deze dus nergens replacen....

Ik denk eraan om opnieuw een shutdown te doen, de oude 2TB terug op zijn plaats (en nieuwe 6TB opnieuw via USB verbinden). Vervolgens dan via de CLI een replace te doen:

https://forums.freenas.or...to-storage-replace.53925/

Plaats eens een:

code:

zpool status

[SanderH_]

CurlyMo schreef op zondag 20 mei 2018 @ 13:23:
[...]

Plaats eens een:

code:

zpool status

[root@freenas] ~# zpool status
  pool: freenas-boot
 state: ONLINE
  scan: scrub repaired 0 in 0h11m with 0 errors on Fri Mar  3 03:56:42 2017
config:

        NAME        STATE     READ WRITE CKSUM
        freenas-boot  ONLINE       0     0     0
          ada4p2    ONLINE       0     0     0

errors: No known data errors

  pool: tank
 state: DEGRADED
status: One or more devices has been taken offline by the administrator.
        Sufficient replicas exist for the pool to continue functioning in a
        degraded state.
action: Online the device using 'zpool online' or replace the device with
        'zpool replace'.
  scan: resilvered 60K in 0h0m with 0 errors on Sun May 20 11:52:14 2018
config:

        NAME                                            STATE     READ WRITE CKSUM
        tank                                            DEGRADED     0     0     0
          raidz1-0                                      DEGRADED     0     0     0
            17230922930883594705                        OFFLINE      0     0     0  was /dev/gptid/e12359d2-2fb5-11e5-932d-10604b92a8e4
            gptid/e20dc9fe-2fb5-11e5-932d-10604b92a8e4  ONLINE       0     0     0
            gptid/e2af1cdb-2fb5-11e5-932d-10604b92a8e4  ONLINE       0     0     0
            gptid/e341165a-2fb5-11e5-932d-10604b92a8e4  ONLINE       0     0     0

errors: No known data errors

[CurlyMo]

SanderH_ schreef op zondag 20 mei 2018 @ 13:24:
[...]

Je vorige commando replace lijkt me prima.

[SanderH_]

CurlyMo schreef op zondag 20 mei 2018 @ 13:28:
[...]

Je vorige commando replace lijkt me prima.

unix::>volume tank replace /dev/gptid/e12359d2-2fb5-11e5-932d-10604b92a8e4 /dev/ada0
<Task #14976: CREATED>
Task #14976 error: Cannot replace with lunid+serial:50024e9204e516dd_S2H7J90B402933: disk not found or not online

[CurlyMo]

SanderH_ schreef op zondag 20 mei 2018 @ 13:35:
[...]

unix::>volume tank replace /dev/gptid/e12359d2-2fb5-11e5-932d-10604b92a8e4 /dev/ada0
<Task #14976: CREATED>
Task #14976 error: Cannot replace with lunid+serial:50024e9204e516dd_S2H7J90B402933: disk not found or not online

camcontrol devlist

?

[SanderH_]

CurlyMo schreef op zondag 20 mei 2018 @ 13:40:
[...]

camcontrol devlist

?

Ondertussen het topic wel zowat aan het hi-jacken

[root@freenas] ~# camcontrol devlist
<WDC WD60EFRX-68L0BN1 82.00A82>    at scbus0 target 0 lun 0 (ada0,pass0)
<SAMSUNG HD204UI 1AQ10001>         at scbus0 target 1 lun 0 (ada1,pass1)
<SAMSUNG HD204UI 1AQ10001>         at scbus1 target 0 lun 0 (ada2,pass2)
<ST2000DM001-1ER164 CC25>          at scbus1 target 1 lun 0 (ada3,pass3)
<Hitachi HTS545016B9SA02 PBBAC60Q>  at scbus2 target 0 lun 0 (ada4,pass4)

^ waarbij ada0 de nieuwe 6TB schijf is.

[CurlyMo]

SanderH_ schreef op zondag 20 mei 2018 @ 13:42:
[...]


Ondertussen het topic wel zowat aan het hi-jacken

[root@freenas] ~# camcontrol devlist
<WDC WD60EFRX-68L0BN1 82.00A82>    at scbus0 target 0 lun 0 (ada0,pass0)
<SAMSUNG HD204UI 1AQ10001>         at scbus0 target 1 lun 0 (ada1,pass1)
<SAMSUNG HD204UI 1AQ10001>         at scbus1 target 0 lun 0 (ada2,pass2)
<ST2000DM001-1ER164 CC25>          at scbus1 target 1 lun 0 (ada3,pass3)
<Hitachi HTS545016B9SA02 PBBAC60Q>  at scbus2 target 0 lun 0 (ada4,pass4)

^ waarbij ada0 de nieuwe 6TB schijf is.

Lastige is dat ik je zo zou kunnen helpen met puur ZFS CLI commando's, maar dat gaat niet zomaar in FreeNAS. Wat je poogt te doen is correct.

[SanderH_]

CurlyMo schreef op zondag 20 mei 2018 @ 13:44:
[...]

Lastige is dat ik je zo zou kunnen helpen met puur ZFS CLI commando's, maar dat gaat niet zomaar in FreeNAS. Wat je poogt te doen is correct.

Dan zie ik maar 1 optie:

• Shutdown
• De nieuwe 6TB schijf terug vervangen door de oude 2TB schijf
• Daarnaast de 6TB opnieuw via USB verbinden
• Nogmaals in de CLI een replace proberen te doen

[ Voor 3% gewijzigd door SanderH_ op 20-05-2018 13:47 ]

[CurlyMo]

SanderH_ schreef op zondag 20 mei 2018 @ 13:46:
[...]


Dan zie ik maar 1 optie:

• Shutdown
• De nieuwe 6TB schijf terug vervangen door de oude 2TB schijf
• Daarnaast de 6TB opnieuw via USB verbinden
• Nogmaals in de CLI een replace proberen te doen

Houdt er rekening mee dat hij dat eerst weer de 2TB gaat resilveren.

[SanderH_]

CurlyMo schreef op zondag 20 mei 2018 @ 14:06:
[...]

Houdt er rekening mee dat hij dat eerst weer de 2TB gaat resilveren.

Blijkbaar niet. Maar nu zit de 6TB drive wel in mijn storage pool...

[root@freenas] ~# zpool status tank
  pool: tank
 state: ONLINE
  scan: scrub in progress since Sun May 20 14:15:12 2018
        13.2M scanned out of 6.99T at 1.65M/s, (scan is slow, no estimated time)
        0 repaired, 0.00% done
config:

        NAME                                            STATE     READ WRITE CKSUM
        tank                                            ONLINE       0     0     0
          raidz1-0                                      ONLINE       0     0     0
            gptid/e12359d2-2fb5-11e5-932d-10604b92a8e4  ONLINE       0     0     0
            gptid/e20dc9fe-2fb5-11e5-932d-10604b92a8e4  ONLINE       0     0     0
            gptid/e2af1cdb-2fb5-11e5-932d-10604b92a8e4  ONLINE       0     0     0
            gptid/e341165a-2fb5-11e5-932d-10604b92a8e4  ONLINE       0     0     0
          gptid/d7523d33-5c23-11e8-97f3-10604b92a8e4    ONLINE       0     0     0

errors: No known data errors

[CurlyMo]

SanderH_ schreef op zondag 20 mei 2018 @ 14:16:
[...]


Blijkbaar niet. Maar nu zit de 6TB drive wel in mijn storage pool...

Ow. Dit is wel gevaarlijk, want volgens mij heb je nu twee zvols aangemaakt op één zpool. Volgens mij mag je die 6TB niet meer verwijderen zonder je pool te slopen.

[SanderH_]

CurlyMo schreef op zondag 20 mei 2018 @ 14:20:
[...]

Ow. Dit is wel gevaarlijk, want volgens mij heb je nu twee zvols aangemaakt op één zpool. Volgens mij mag je die 6TB niet meer verwijderen zonder je pool te slopen.

Ik ben blijkbaar niet de eerste die zich hier aan laat vangen en een striped drive toevoegt -> pool slopen en beginnen vanaf 0.

Op zich geen probleem want heb een volledige back-up.

Ik kan maw dus ook 1 keer de nieuwe schijven installeren en van scratch een nieuwe zpool aanmaken?

[CurlyMo]

SanderH_ schreef op zondag 20 mei 2018 @ 14:23:
[...]
Ik kan maw dus ook 1 keer de nieuwe schijven installeren en van scratch een nieuwe zpool aanmaken?

Dat kan altijd, maar dit raakt wel aan de basis van een NAS. Je moet simpelweg een schijf kunnen vervangen.

Probleem is dat je ook bij het aanmaken van je nieuwe pool de mogelijkheid moet hebben om een schijf te replacen, want anders krijg je je huidige 6TB niet aan die nieuwe pool toegevoegd.

Kort gezegd nieuwe pool aanmaken met één memory disk, reboot, pools synchroniseren, oude pool verwijderen, memory disk vervangen door vrijgekomen 6TB schijf.

[SanderH_]

CurlyMo schreef op zondag 20 mei 2018 @ 14:27:
[...]

Dat kan altijd, maar dit raakt wel aan de basis van een NAS. Je moet simpelweg een schijf kunnen vervangen.

Probleem is dat je ook bij het aanmaken van je nieuwe pool de mogelijkheid moet hebben om een schijf te replacen, want anders krijg je je huidige 6TB niet aan die nieuwe pool toegevoegd.

Kort gezegd nieuwe pool aanmaken met één memory disk, reboot, pools synchroniseren, oude pool verwijderen, memory disk vervangen door vrijgekomen 6TB schijf.

Ik snap eerlijk gezegd niet goed wat je juist bedoelt.

Heb het nu wel een beetje gehad. Ik was toch nog van plan om de 2.5" 140GB boot drive te vervangen door een kleine 8/16 USB die ik op het mobo kan aansluiten. Dan kan ik inééns een clean install doen van FreeNAS 11, en vanaf scratch beginnen met een nieuwe pool.

[CurlyMo]

SanderH_ schreef op zondag 20 mei 2018 @ 14:39:
[...]


Ik snap eerlijk gezegd niet goed wat je juist bedoelt.

Hier staat uitgelegd wat ik bedoel. In essentie maak je dus een degraded pool aan, die je, zodra je 6TB schijf weer beschikbaar is, repareert*:
https://unix.stackexchange.com/a/325664

*Maar ook daarvoor zul je dus een replace moeten kunnen doen

[ Voor 19% gewijzigd door CurlyMo op 20-05-2018 14:55 ]

[Aschtra]

CurlyMo schreef op zondag 20 mei 2018 @ 12:16:
[...]

Als dat de enige manier is dan is dat wel echt super kut. Je loopt dan namelijk onnodig risico wat met ZFS dus helemaal niet hoeft wanneer je live vervangt.

Zo is het gedocumenteerd. Server uit doen is uiteraard alleen nodig als je server geen hotswap ondersteund. (Zoals mijn microserver gen8) Ligt er ook aan of je nog een bay over hebt. Anders kan je het gewoon live doen.

Heb je wel ingelezen over hoe een disk replace moet op FreeNAS corral? Je linkt documentatie van FreeNAS namelijk, niet specifiek van FreeNAS Corral dus denk niet dat dat 1 op 1 werkt

Zo zou het op Corral moeten kunnen:

https://forums.freenas.or...th-replacement-hdd.52496/

[ Voor 24% gewijzigd door Aschtra op 20-05-2018 16:06 ]

[CurlyMo]

Even een vraagje over SAS expanders. Ik heb nu een IBM m1015 thuis. Daar wil ik graag een IBM 46M0997 SAS expander op aansluiten. Daarmee zou ik volgens mij 16 HDD's kunnen aansturen. Nu vraag ik me alleen af welke kabels ik moet hebben tussen mijn SAS expander en de HBA? Zijn dan gewoon standaard SFF8087 - SFF8087 kabels?

Geheel komt in een Norco RPC-4216 te zitten. Op deze manier kan ik vrij gemakkelijk al mijn 16 slots bedienen in een ZFS client en heb ik de onboard sata vrij voor ESXi.

[BartNL]

Ik gebruik de bekende oude 28 poorts HP SAS expanders en Chenbro exemplaren en daar werkt dat inderdaad met standaard SFF8087 kabels

[ Voor 12% gewijzigd door BartNL op 24-05-2018 09:07 ]

[Nindustries]

Nu ik zelfstandige ben met terug wat plek is er wat budget voor terug een NAS in elkaar te steken.
Hier ga ik media op stockeren, backups, code en verschillende services runnen adhv Docker.
Redundantie gaat aan de hand van snapraid/aufs zijn.

#	Product	Prijs	Subtotaal
1	Intel Core i3-6300 Boxed	€ 84,70	€ 84,70
1	Asus P10S-I	€ 161,-	€ 161,-
6	Seagate IronWolf, 10TB	€ 298,90	€ 1.793,40
1	Silverstone DS380	€ 159,50	€ 159,50
1	Kingston KTH-PL424/16G	€ 218,-	€ 218,-
1	Corsair SF450	€ 84,90	€ 84,90
1	Transcend MTS400 128GB	€ 47,95	€ 47,95
Bekijk collectie Importeer producten		Totaal	€ 2.549,45

[imdos]

Hierbij trouwens mijn barebone NAS in de meterkast. Het werd toch wat krap daar en hopelijk heb ik zo ook voldoende airflow. Anders ga ik nog even een houten plaat op maat maken met onderop een gat t.b.v. de luchtaanvoer.

[CurlyMo]

imdos schreef op maandag 28 mei 2018 @ 08:22:
Hierbij trouwens mijn barebone NAS in de meterkast. Het werd toch wat krap daar en hopelijk heb ik zo ook voldoende airflow. Anders ga ik nog even een houten plaat op maat maken met onderop een gat t.b.v. de luchtaanvoer.

Zie ook mijn reactie in je eigen topic. Dit zijn van die situaties waarop een thumbs down gepast zou zijn geweest.

[Rostvertol-Mil]

Even een eerbiedige kick;

De laatste upgrade van mijn nas was in 2014, en heeft probleemloos gedraaid. Nu is echter het moment aangekomen dat de ruimte vol is, en er is toch het e.e.a. veranderd in het wereldje!
Kleine samenvatting van de huidige specs:

• Pentium G3260
• 4GB DDR3
• IBM M1015 in IT Mode
• 5x2TB in Raid 5, netto 8TB
• 60GB Intel SSD voor OS
• Debian jessie, array in mdraid

Mijn eerste idee is om gewoon verder te gaan in RAID5; zelfde hardware en nieuwe schijven.
Na wat onderzoek zijn dit de globale prijzen/tb:

• €35/TB: 4x4TB, netto 12TB
• €40/TB: 3x6TB, netto 12TB
• €42/TB: 3x8TB, netto 16TB
• €49/TB: 3x10TB, netto 20TB

Zelf neig ik naar de optie van 3x8, dit laat nog ruimte over om later een extra schijf bij te plaatsen en kan de M1015 voorlopig op de bank (stroomverbruik!).

Is dit echter wel verstandig? Hoe lang zouden de rebuildtijden gaan worden met mdraid? Ik snap dat ik extra risico loop op een URE, maar dit zijn nogal hete discussies. Is hier al iemand echt daadwerkelijk tegenaan gelopen?

Wat zijn de alternatieven? Raid 6? Raid 10? ZFS? Dit kan mijn "oude" hardware waarschijnlijk niet aan, plus ik blijf graag bij linux.

Nu is het absoluut niet de bedoeling om grote discussies te doen oplaaien, helaas zijn er nogal veel tegenstrijdige verhalen en meningen te vinden, dus ik ben erg geïnteresseerd in jullie praktijkervaringen.

[CurlyMo]

Ik draai ZFS op een OrangePi naast een NAS. Oftewel, ik denk dat het prima moet lukken met je huidige setup. Eventueel wat geheugen bij prikken.

ZFS heeft in het verleden vaker mijn data gered, dus ik zou niet anders meer willen.

Ik zou 4x8 doen in raidz2.

[sdk1985]

Rostvertol-Mil schreef op donderdag 5 juli 2018 @ 14:41:
Even een eerbiedige kick;

De laatste upgrade van mijn nas was in 2014, en heeft probleemloos gedraaid. Nu is echter het moment aangekomen dat de ruimte vol is, en er is toch het e.e.a. veranderd in het wereldje!
Kleine samenvatting van de huidige specs:

• Pentium G3260
• 4GB DDR3
• IBM M1015 in IT Mode
• 5x2TB in Raid 5, netto 8TB
• 60GB Intel SSD voor OS
• Debian jessie, array in mdraid

Mijn eerste idee is om gewoon verder te gaan in RAID5; zelfde hardware en nieuwe schijven.
Na wat onderzoek zijn dit de globale prijzen/tb:

• €35/TB: 4x4TB, netto 12TB
• €40/TB: 3x6TB, netto 12TB
• €42/TB: 3x8TB, netto 16TB
• €49/TB: 3x10TB, netto 20TB

Zelf neig ik naar de optie van 3x8, dit laat nog ruimte over om later een extra schijf bij te plaatsen en kan de M1015 voorlopig op de bank (stroomverbruik!).

Is dit echter wel verstandig? Hoe lang zouden de rebuildtijden gaan worden met mdraid? Ik snap dat ik extra risico loop op een URE, maar dit zijn nogal hete discussies. Is hier al iemand echt daadwerkelijk tegenaan gelopen?

Wat zijn de alternatieven? Raid 6? Raid 10? ZFS? Dit kan mijn "oude" hardware waarschijnlijk niet aan, plus ik blijf graag bij linux.

Nu is het absoluut niet de bedoeling om grote discussies te doen oplaaien, helaas zijn er nogal veel tegenstrijdige verhalen en meningen te vinden, dus ik ben erg geïnteresseerd in jullie praktijkervaringen.

Kijk eens naar 'slimmere' systemen zoals https://www.snapraid.it/compare . Daarin kun je ook schijven van diverse groottes combineren en kun je zelf kiezen hoe veilig je de boel wil maken (1 parity, 2 parity, enz).

[ Voor 3% gewijzigd door sdk1985 op 12-07-2018 15:31 ]

[unezra]

CurlyMo schreef op donderdag 5 juli 2018 @ 15:37:
Ik draai ZFS op een OrangePi naast een NAS. Oftewel, ik denk dat het prima moet lukken met je huidige setup. Eventueel wat geheugen bij prikken.

ZFS heeft in het verleden vaker mijn data gered, dus ik zou niet anders meer willen.

Ik zou 4x8 doen in raidz2.

Waarom RAIDZ2, da's relatief traag en resilvers zijn "duur".
Ik zou eerder voor een mirrored stripe gaan. Kost in een 4-disk setup even veel disks, maar is veel sneller *en* resilvers belasten je disks minder. (Plus gaan veel sneller.)

[FireDrunk]

Maar de veiligheid van RAIDZ2 is iets hoger. In een striped mirror kan je altijd 1 willekeurige en soms 2 specifieke schijven verliezen. bij een RAIDZ2 kan je altijd 2 willekeurige schijven verliezen.

Of je dat belangrijk vindt...

Dat resilvers iets trager zijn, zou mij ook weinig uit maken. Tijdens de resilver van een disk op RAIDZ2 ben je altijd nog beschermt, bij een striped mirror, belast je juist de disk die je niet kwijt wil raken. Het gevaar daarvan is lastig in te schatten, maar als je echt goedkope consumenten schijven gebruikt, zou het toch gevaarlijk(er) kunnen zijn.

[Jordymt]

Op dit moment ben ik aan het nadenken over een nieuwe NAS thuis. Er staat nu een oude van synology, die ik zelf niet gebruik, maar die ontzettend traag is.

Waarom een NAS? Ik wil alle foto's, video's en andere documenten centraal op kunnen slaan. Er moet een opslag kunnen komen voor beeldmateriaal vanaf camera's. Daarbij wil ik ook een soort Dropbox creëren waarbij ik vanaf andere locaties met een centrale opslag kan werken. Een NAS leek me hiervoor het meest geschikt.

Nu zit ik met een aantal vragen, waar ik zelf de antwoorden niet of niet duidelijk op kon vinden. Als ik zelf een NAS in elkaar knutsel met 2 schijven (2x 1TB is meer dan voldoende). Kan ik dan ook regelen dat één (of liever zelfs: een deel) van de schijven online bereikbaar is (documenten voor school) en de overige onderdelen alleen via het eigen thuisnetwerk?

Tweede vraag; is het zelf maken van een NAS realiseerbaar voor +/- € 200,-? Ik heb een aantal discussies gezien waarbij men aangaf dat het toch beter is voor een relatief goedkope synology te gaan ipv zelfbouw. Ik heb zelf echter het idee dat ik zoiets goedkoper zelf in elkaar zet..

[Q]

Jordymt schreef op zaterdag 21 juli 2018 @ 18:12:
...

Ik zou je adviseren om in jouw geval gewoon een moderne synology te kopen, die zijn sneller. Dan krijg je wat je wilt zonder compromis.

De paar tientjes die jij met zelfbouw zou kunnen besparen staan naar mijn mening niet in verhouding tot de tijd en moeite die jij moet gaan stoppen om dit alles werkende te krijgen.

Hierbij geef ik toe dat ik een aanname doe over je kennisniveau gezien de vragen die je stelt. Mogelijk is dat onterecht en no offence. Maar tenzij je het een leuk hobby project vindt en je bereid bent om die tijd op te offeren zou ik dit niet zelf gaan bouwen.

Ik voorspel namelijk dat je anders over een tijdje hier komt vragen hoe je een gecrashte zelfbouw nas moet recoveren, omdat je zelf nooit had getest hoe je dat moet doen of omdat je de kennis niet hebt.

Zo wordt je zelf de grootste bedreiging voor je data. Ik stook een beetje, maar dat doe ik om je bewust te maken van wat zelfbouw werkelijk betekent in jouw geval.

[Jordymt]

Q schreef op zondag 22 juli 2018 @ 01:08:
[...]


Ik zou je adviseren om in jouw geval gewoon een moderne synology te kopen, die zijn sneller. Dan krijg je wat je wilt zonder compromis.

De paar tientjes die jij met zelfbouw zou kunnen besparen staan naar mijn mening niet in verhouding tot de tijd en moeite die jij moet gaan stoppen om dit alles werkende te krijgen.

Hierbij geef ik toe dat ik een aanname doe over je kennisniveau gezien de vragen die je stelt. Mogelijk is dat onterecht en no offence. Maar tenzij je het een leuk hobby project vindt en je bereid bent om die tijd op te offeren zou ik dit niet zelf gaan bouwen.

Ik voorspel namelijk dat je anders over een tijdje hier komt vragen hoe je een gecrashte zelfbouw nas moet recoveren, omdat je zelf nooit had getest hoe je dat moet doen of omdat je de kennis niet hebt.

Zo wordt je zelf de grootste bedreiging voor je data. Ik stook een beetje, maar dat doe ik om je bewust te maken van wat zelfbouw werkelijk betekent in jouw geval.

Terecht en bedankt . Dat was een beetje het risico wat ik op de koop toe nam, maar wellicht een te groot risico. Ik ga nog eens aan het zoeken.

[CurlyMo]

Jordymt schreef op zondag 22 juli 2018 @ 10:07:
[...]


Terecht en bedankt . Dat was een beetje het risico wat ik op de koop toe nam, maar wellicht een te groot risico. Ik ga nog eens aan het zoeken.

Denk je ook alvast na over een backup strategie? Zoals je wellicht weet is een NAS op zichzelf niet zomaar een backup.

[Jordymt]

CurlyMo schreef op zondag 22 juli 2018 @ 10:19:
[...]

Denk je ook alvast na over een backup strategie? Zoals je wellicht weet is een NAS op zichzelf niet zomaar een backup.

Backups zal ik handmatig ergens in de cloud wegzetten. Aangezien de meeste data niet dagelijks veranderd is dat prima te doen.

[CurlyMo]

Jordymt schreef op zondag 22 juli 2018 @ 10:23:
[...]


Backups zal ik handmatig ergens in de cloud wegzetten. Aangezien de meeste data niet dagelijks veranderd is dat prima te doen.

Ik ken synology niet, maar wellicht zit er ook een automatische cloud-backup services in? Ik zou me even melden in het synology topic hier op GoT.

[Domino]

Ja. Hyperbackup (synology package) kan naar verschillende cloud providers een backup wegschrijven. Indien gewenst ook encrypted.

[ Voor 8% gewijzigd door Domino op 22-07-2018 11:29 ]

[Reveal!]

Als je nu een NAS zou bouwen waar 2 hardware server nodes op aangesloten worden die VM er vanaf draaien. (Oa. databases.)
Max aantal gebruikers van alle services 15 PC's.
Ik zou het liefst FreeNAS draaien vanwege ZFS. (een 2de FreeNAS server remote for replication)

Wat voor een server zouden jullie nu bouwen?
De guides die ik vind zijn allemaal op basis van hardware uit 2016.

[ Voor 7% gewijzigd door Reveal! op 23-07-2018 12:35 ]

[FireDrunk]

Ligt _totaal_ aan de load, 15 gebruikers zegt weinig. Doen ze allemaal queries op die databases die allemaal 3 jaar kosten? Of zijn het allemaal kantoorgebruikers die een beetje zitten te klikken?

Is het echt hele belangrijke data? Of mag het wel even er uit liggen?

[Reveal!]

FireDrunk schreef op maandag 23 juli 2018 @ 12:47:
Ligt _totaal_ aan de load, 15 gebruikers zegt weinig. Doen ze allemaal queries op die databases die allemaal 3 jaar kosten? Of zijn het allemaal kantoorgebruikers die een beetje zitten te klikken?

Is het echt hele belangrijke data? Of mag het wel even er uit liggen?

Het zijn kantoorgebruikers die een beetje zitten te klikken
De data is heel belangrijk als zijnde dat deze niet kwijt mag raken.
Systeem mag wel down kunnen gaan om bv. hardware te vervangen.

[FireDrunk]

Tja, een simpele Xeon E3v6 of i3-8100 op een supermicro plankje, wat ECC geheugen, 2 of 4 Netwerkaansluitingen, fatsoenlijke switch, wat goede schijven, 2 fatsoenlijke SSD's als read en write cache.

Waar denk je zelf aan?

PS: Er zijn ook proffesionale versies van QNAP en Synology die ook gewoon Virtual Machines kunnen draaien. Kan je ook eens naar kijken. Mis je alleen ZFS support.

[ Voor 27% gewijzigd door FireDrunk op 23-07-2018 13:01 ]

[Reveal!]

FireDrunk schreef op maandag 23 juli 2018 @ 13:00:
Tja, een simpele Xeon E3v6 of i3-8100 op een supermicro plankje, wat ECC geheugen, 2 of 4 Netwerkaansluitingen, fatsoenlijke switch, wat goede schijven, 2 fatsoenlijke SSD's als read en write cache.

Waar denk je zelf aan?

Ik dacht inderdaad aan een i3-7100T (kon geen coffee lake supported mobo vinden, met 2 LAN en ECC support)
Maar daarna wordt het lastig, dan kom je bij moederborden van 2016 uit. (zoals Asrock C236M WS)

PS: Er zijn ook proffesionale versies van QNAP en Synology die ook gewoon Virtual Machines kunnen draaien. Kan je ook eens naar kijken. Mis je alleen ZFS support.

Ja ik zag dat deze BTRFS gebruikte, ik gebruik dan toch liever ZFS.
En daarnaast zou ik denk ik ook 10gbit LAN gebruiken.

[ Voor 30% gewijzigd door Reveal! op 23-07-2018 13:44 ]

[Aschtra]

Ik heb een vraag over de Silverstone DS380. Ik zie dat deze 8 hotswap bays heeft. Maar aan de achterkant hiervan heeft iedere bay 2 SATA aansluitingen. Waarom is dit? Ik las in een reactie op hardwareinfo dat elke bay gebruikt kan worden voor SATA en voor SAS. Maar als je SAS gebruikt heb je toch ook maar 1 SATA aansluiting nodig?

[Paul]

Nee, als je SAS gebruikt heb je minimaal 1 SAS-aansluiting nodig. Deze deelt de connector met de SATA-aansluiting, maar SAS heeft ook de optie voor dual port. Op die manier kun je twee controllers aansluiten voor redundancy. In servers niet heel veel gebruikt misschien (en ik weet zo ook niet hoe dat met support voor de kaarten en in het OS zit) maar in bijvoorbeeld enterprise storage wordt het heel veel gebruikt; de meeste storage arrays (bijvoorbeeld IBM v7000, wat we op het werk gebruiken) heeft twee controllers die beiden op alle schijven zijn aangesloten; eentje via de reguliere 'SATA'-SAS-poort en eentje via de aders / contactpunten die aan de andere kant van dezelfde connector (aan de harddisk-kant) zitten:

Middelste connector, "Signal Pins (Dual port, B)"

[Aschtra]

Paul schreef op maandag 23 juli 2018 @ 14:00:
Nee, als je SAS gebruikt heb je minimaal 1 SAS-aansluiting nodig. Deze deelt de connector met de SATA-aansluiting, maar SAS heeft ook de optie voor dual port. Op die manier kun je twee controllers aansluiten voor redundancy. In servers niet heel veel gebruikt misschien (en ik weet zo ook niet hoe dat met support voor de kaarten en in het OS zit) maar in bijvoorbeeld enterprise storage wordt het heel veel gebruikt; de meeste storage arrays (bijvoorbeeld IBM v7000, wat we op het werk gebruiken) heeft twee controllers die beiden op alle schijven zijn aangesloten; eentje via de reguliere 'SATA'-SAS-poort en eentje via de aders / contactpunten die aan de andere kant van dezelfde connector (aan de harddisk-kant) zitten:

Middelste connector, "Signal Pins (Dual port, B)"
[afbeelding]

Ja zoiets bedoelde ik:



Dan zou de SAS in het moederbord gaan en 1 SATA aansluiting per bay i.p.v. 2.

Duidelijk Thanks!

[ Voor 12% gewijzigd door Aschtra op 23-07-2018 15:49 ]

[Paul]

Ja, dan gaat er inderdaad één 'sata'-kabel per bay in, in de connector aan de rechter kant, onder de voeding (niet onder de fan-connector).

[FireDrunk]

Gewoon zoiets?

http://supermicro.com/pro...on/C236_C232/X11SSL-F.cfm
pricewatch: Intel Xeon E3-1225 v5 Boxed

8e generatie is er inderdaad (nog) niet veel. Is ook niet noemenswaardig spannender hoor.

[player-x]

Reveal! schreef op maandag 23 juli 2018 @ 13:41:
Ik dacht inderdaad aan een i3-7100T

De T modellen zijn voor algemeen gebruik eigenlijk niet aan te raden, alleen als je echt tegen full load stoom of warmte beperking aan loopt is een T versie nuttig.

Voor de rest zijn de gewone versies eigenlijk beter in gebruik, en zijn onder normaal gebruik (niet full load) nagenoeg net zo zuinig als een T versie.

Een T versie is net zo iets als een auto met een blok onder het gaspedaal, zolang je normaal altijd gewoon rustig rijd merk je niet dat hij er zit, maar het kan nuttig zijn als het moet om het gaspedaal te kunnen indrukken.

En daarnaast zou ik denk ik ook 10gbit LAN gebruiken.

Jep, 10Gbit is prettig om mee te werken, en voor het geld hoef je het tegenwoordig niet meer te laten.
Het zou alleen prettig zijn als Intel/AMD het standaard zouden leveren in hun chipsets.

[Ravefiend]

FireDrunk schreef op maandag 23 juli 2018 @ 14:36:
Gewoon zoiets?

http://supermicro.com/pro...on/C236_C232/X11SSL-F.cfm

Of toch maar de pricewatch: Supermicro X11SSH-LN4F met de C236 chipset ipv de C232 voor wat extra virtualization support?

Ben zelf ook al een paar keer aan't overwegen geweest om mijn oude NAS (X3440 / X8SIL-F) eens een update te geven maar het 'voelt' nogal vreemd aan om in halfweg 2018 een nieuwe moederbord aan te schaffen dat al in productie zijn sinds 2015/2016.

[TommyboyNL]

Ravefiend schreef op maandag 23 juli 2018 @ 18:15:
[...]


Of toch maar de pricewatch: Supermicro X11SSH-LN4F met de C236 chipset ipv de C232 voor wat extra virtualization support?

Fijn moederbordje, heb hem zelf ook draaien. ESXi erop en de SATA controller via pass-through doorgegeven aan een FreeNAS instance. Werkt top! Enige nadeel is dat unbuffered ECC godsgruwelijk duur is vergeleken met buffered ECC.

[FireDrunk]

C232 heeft gewoon Virtualization Support volgens mij, heeft niks met Chipset te maken, zit vooral in de CPU. Vage vergelijking.

ECC is inderdaad prijzig Daarom zit ik op RDIMM

[Ravefiend]

TommyboyNL schreef op maandag 23 juli 2018 @ 18:51:
[...]

Fijn moederbordje, heb hem zelf ook draaien. ESXi erop en de SATA controller via pass-through doorgegeven aan een FreeNAS instance. Werkt top! Enige nadeel is dat unbuffered ECC godsgruwelijk duur is vergeleken met buffered ECC.

Wel ja, net in mijn huidig systeem zit ik nog met 12 GB ECC Reg geheugen maar ik wil graag naar 32 GB. Technisch wel mogelijk op dat X8SIL-F bord maar het juiste geheugen heb ik nog niet gevonden, plus dat daar ook een forse prijs aan hangt die ik dan weer liever niet meer steek in antieke hardware.

FireDrunk schreef op maandag 23 juli 2018 @ 20:59:
C232 heeft gewoon Virtualization Support volgens mij, heeft niks met Chipset te maken, zit vooral in de CPU. Vage vergelijking.

Ah yes, hier even een vergelijking van Intel:
https://ark.intel.com/compare/90594,90578

De C232 heeft inderdaad wel VT-d support maar niet het ganse Intel® vPro™ Technology pakket. De C236 heeft echter wel 20 PCI Express 3.0 Lanes waar de C232 beperkt is tot 8 al zie ik niet direct een significant verschil in het block diagram van de X11SSL-F versus X11SSH-LN4F, met uitzondering van de X11SM / C236 die nog een extra PCI-E x4 Gen3 slot heeft. In alle gevallen is de link tussen CPU / PCH altijd DMI3 x4 en die trek je al vol met 1x PCI-E x4 Gen3 (985 MB/s x4 is ongeveer 3.93 GB/s).

[ Voor 43% gewijzigd door Ravefiend op 23-07-2018 22:10 ]

[FireDrunk]

PCIe zit voor overgrote deel op cpu. Er zit maar 1 slot op het chipset. Niet noemenswaardig. Grootste verschil is dacht ik aantal sata poorten en ondersteunde raid. Maar die is toch poep

[CurlyMo]

FireDrunk schreef op maandag 23 juli 2018 @ 20:59:
C232 heeft gewoon Virtualization Support volgens mij, heeft niks met Chipset te maken, zit vooral in de CPU. Vage vergelijking.

ECC is inderdaad prijzig Daarom zit ik op RDIMM

Heeft registered dimm dezelfde uitwerking voor bijv. ZFS als ECC?

[FireDrunk]

RDIMM is ook ECC geheugen. Het gebruikt alleen een iets andere bus om met je cpu te praten.

(Volgens mij soort van serieel in plaats van parallel, waardoor er modules in een channel achter elkaar geplaatst kunnen worden. De CPU stuurt actiever welke dimm aangesproken moet worden, waar bij gewoon geheugen alle dimms tegelijk aangesproken kunnen worden.)

TL;DR: jazeker.

[Paul]

Registered, of buffered geheugen zorgt er voor dat de CPU (en dan vooral de transistoren die de gehuegenchips aanspreken) ontlast worden. Niet qua cycles, maar echt elektrisch. Daardoor kun je (veel) meer geheugen aanspreken; waar unbuffered geheugen ophoudt bij 64 GB over het algemeen, kun je met registered (en zeker met load reduces) geheugen richting de 2 TB.

ECC is weer iets heel anders, maar het meeste (maar niet allemaal...) registered geheugen heeft ook ECC.

Wikipedia: Registered memory legt het nog wat beter uit

[Reveal!]

Paul schreef op dinsdag 24 juli 2018 @ 00:13:
Registered, of buffered geheugen zorgt er voor dat de CPU (en dan vooral de transistoren die de gehuegenchips aanspreken) ontlast worden. Niet qua cycles, maar echt elektrisch. Daardoor kun je (veel) meer geheugen aanspreken; waar unbuffered geheugen ophoudt bij 64 GB over het algemeen, kun je met registered (en zeker met load reduces) geheugen richting de 2 TB.

ECC is weer iets heel anders, maar het meeste (maar niet allemaal...) registered geheugen heeft ook ECC.

Wikipedia: Registered memory legt het nog wat beter uit

zover ik het gelezen heb, moet je voor ZFS / FreeNAS Unregistered unbuffered ECC geheugen hebben.

[Reveal!]

Zou dit een logische setup zijn?
wenslijst: NAS

[Ravefiend]

Reveal! schreef op dinsdag 24 juli 2018 @ 00:19:
[...]
zover ik het gelezen heb, moet je voor ZFS / FreeNAS Unregistered unbuffered ECC geheugen hebben.

Waar heb je dat gelezen misschien want dit is de eerste keer dat ik daar van hoor. As far as I know, is zowel RDIMM als UDUMM aangeraden omdat beide ECC gebruiken en dat is tenslotte waar het om gaat.

[Paul]

Reveal! schreef op dinsdag 24 juli 2018 @ 00:19:
zover ik het gelezen heb, moet je voor ZFS / FreeNAS Unregistered unbuffered ECC geheugen hebben.

Niet helemaal, het is heel erg aan te raden om voor ZFS ECC te gebruiken (al zijn daar hele discussies over te voeren en al gevoerd), maar of je unregistered / unbuffered (zijn twee namen voor hetzelfde) of registered / buffered kunt of zelfs moet gebruiken hangt van je CPU en moederbord af.

Socket 1150/1151? Unregistered / unbuffered
Socket 2011? Kan allebei, maar je kunt niet mixen en er zit een limiet aan de hoeveelheid unregistered. Lees vooral de handleiding van het moederbord voordat je geheugen koopt Over het algemeen gebruikt men in dat soort borden registered ofwel buffered.

[player-x]

Reveal! schreef op dinsdag 24 juli 2018 @ 00:19:
zover ik het gelezen heb, moet je voor ZFS / FreeNAS Unregistered unbuffered ECC geheugen hebben.

Zoals Ravefiend zij, voor de werking van ZFS maakt het niet uit of je R of U geheugen je gebruikt

Beide gebruiken de zelfde geheugen modules, alleen RDIMM met de toevoeging van een switch en een geheugen tabel om tussen 2 of zelfs meerdere geheugen banken te schakelen.

UDIMM is eigenlijk gewoon te vergelijken met 1 archiefkast, waar RDIMM bestaat uit 2 of meerdere rol archiefkasten waar tussen gekozen kan worden, geheel onzichtbaar voor het OS.

Met het voordeel van RDIMM is dat je veel meer geheugen op een module kan plaatsen, het nadeel is dat je wat extra latancy introduceert bij het schakelen tussen banken op de module, een nadeel wat over het algemeen graag wordt genomen ten opzichte van latancy van het opslag systeem.

Deze latancy vind trouwens ook plaats als je bv 4 ipv van 2 DIMM sloten gebruikt op een standaard moederboord, alleen met RDIMM voeg je op de module zelf ook nog eens deze extra latancy toe.

ECC staat daar dus geheel los van, en voegt nog eens een soort RAID5 check toe aan het geheugen om je data tegen geheugen fouten te beschermen.

En daar RDIMMs eigenlijk alleen in servers worden gebruikt, waar ECC een (nagenoeg) standaard optie is, dus vandaar dat alle RDIMMs nagenoeg standaard ECC hebben.

Als RDIMMs qua grote niet nodig zijn is het aan te bevelen om ze niet te gebruiken, van wegen de toegenomen toegangstijd, maar vooral de oudere kleinere modules kunnen vaak ook goedkoper te krijgen zijn, vooral tweedehands, en zijn daardoor vaak nog steeds kosten effectief.

De reden dat UDIMMs ergens is aanbevolen is dus omdat RDIMMs latancy kan toevoegen, maar of je het ook echt merkt bij ZFS?, ik betwijfel het, daar het geheugen met ZFS in grote blokken gebruikt wordt, en er dus in verhouding weinig ge-switched wordt, voor een server met veel random data zoals bv waarop VMs draaien zou ik het liefst UDIMMs gebruiken als ze maar voldoende groot zijn, want RDIMMs winnen het nog steeds makkelijk van de swapfile.

[FireDrunk]

Klopt allemaal, maar de latency merk je doorgaans nooit. Het verschil is in benchmarks misschien 5%, maar in realworld scenario's merk je er niks van.

Bron: https://sp.ts.fujitsu.com...ory-performance-ww-en.pdf

With RDIMM the control commands of the memory controller are buffered in the register (that gave the
name), which is in its own component on the DIMM. This relieves the memory channel and enables 3DPC
configurations which are not possible with UDIMM. Vice versa, 2DPC configurations with UDIMM result in a
greater load (in comparison to 1DPC) which requires DIMM addressing with 2N timing (instead of 1N):
control commands are only possible with every second clock of the memory channel. This results in a
reduction of maximum memory bandwidth for 2DPC configurations with UDIMM by some 5% in comparison
to RDIMM.
This effect can be ignored for the performance of commercial applications.

Ik gebruik het vooral omdat RDIMM vrij goedkoop in het tweedehands circuit te krijgen is, waar UDIMM dat bijna nooit is.

[Ravefiend]

TommyboyNL schreef op maandag 23 juli 2018 @ 18:51:
[...]
Enige nadeel is dat unbuffered ECC godsgruwelijk duur is vergeleken met buffered ECC.

Yup, tegenwoordig ben je al gauw 350 euro kwijt voor 32 GB UDIMM zoals Kingston ValueRAM KVR21E15D8K2/32I - 32GB • DDR4 • 2.133Mhz • kit van 2 (categorie: Geheugen intern)

Misschien toch maar eens een tijd V&A (servers) in't oog houden voor complete servers want dat lijkt zowat het beste alternatief, ook al koop liever nieuw materiaal.

[Q]

Ik denk dat als je er mee kunt leven dat een ouder systeem met DDR3 geugen een stuk goedkoper is en als je een NAS wilt bouwen, dat je daar prima mee zult kunnen leven qua performance.

[Ravefiend]

Q schreef op vrijdag 27 juli 2018 @ 21:12:
Ik denk dat als je er mee kunt leven dat een ouder systeem met DDR3 geugen een stuk goedkoper is en als je een NAS wilt bouwen, dat je daar prima mee zult kunnen leven qua performance.

Dat denk ik ook wel ja, en een systeem zoals deze V&A aangeboden: Supermicro Server 1U Xeon E3-1231v3 32GB 2xHotSwap met een E3-1231 v3 zal performance wise toch niet zo'n groot verschil zijn dan een system met de laatste vergelijkbare E3-1230 v6, pak een beet 10-12%? Enigste drawback is misschien nog dat dit soort DDR3 systemen (laatste XEONs met DDR3 support) beperkt zijn tot 32 GB?

[ Voor 4% gewijzigd door Ravefiend op 28-07-2018 10:10 ]

[Q]

Voor een NAS hoef je niet veel RAM te hebben. 8 GB is al genoeg in de meeste gevallen. Ik denk dat je zelfs makkelijk met 4 GB of minder weg komt, afhankelijk van het file system.

[Ravefiend]

Daar heb je wel gelijk in ja. Mijn 'NAS' gebruik met ZFS / RAIDZ2 is echter iets meer dan just a NAS, want daarop heb ik ook graag wat extra services in wat jails op draaien en net daarvoor heb ik meer geheugen nodig.

[ Voor 3% gewijzigd door Ravefiend op 30-07-2018 11:24 ]

[oddish2211]

Op dit moment heb ik 4x 4TB schijven in mijn NAS zitten met mdadm in een raid 5 configuratie. Nu heb ik 2x 8TB schijven erbij gekocht en ben ik een nieuwe handige opstelling aan het uitdenken.

Als ik alle schijven in 1 btrfs volume plaats met raid 5 heb ik volgens een rekentool 24TB vrije ruimte, dit is een leuke hoeveelheid maar met de huidige write hole problemen niet de meest veilige oplossing. Voor mijn meest belangrijke data wil ik dus een partitie maken op iedere schijf van 128GB welke ik in raid 1 plaats, waardoor dit totaal een 128GB raid 1 array wordt met 6 schijven. De overige ruimte wijs ik dan toe aan de btrfs raid 5 array.

Nu kan er in btrfs raid 1 altijd maximaal 1 schijf falen zonder dataverlies, dus denk ik eraan om voor deze array mdadm te kiezen.

Wat denken jullie van deze opstelling?

[rikadoo]

oddish2211 schreef op dinsdag 31 juli 2018 @ 13:45:
Op dit moment heb ik 4x 4TB schijven in mijn NAS zitten met mdadm in een raid 5 configuratie. Nu heb ik 2x 8TB schijven erbij gekocht en ben ik een nieuwe handige opstelling aan het uitdenken.

Als ik alle schijven in 1 btrfs volume plaats met raid 5 heb ik volgens een rekentool 24TB vrije ruimte, dit is een leuke hoeveelheid maar met de huidige write hole problemen niet de meest veilige oplossing. Voor mijn meest belangrijke data wil ik dus een partitie maken op iedere schijf van 128GB welke ik in raid 1 plaats, waardoor dit totaal een 128GB raid 1 array wordt met 6 schijven. De overige ruimte wijs ik dan toe aan de btrfs raid 5 array.

Nu kan er in btrfs raid 1 altijd maximaal 1 schijf falen zonder dataverlies, dus denk ik eraan om voor deze array mdadm te kiezen.

Wat denken jullie van deze opstelling?

Even 2 kleine opmerkingen, 'write hole' is niet van toepassing bij Synology, dit omdat Synology niet de RAID van BTRFS gebruikt maar BTRFS filesystem boven LDADM gebruikt. Zie SmiGueL in "[Synology] Nieuws en discussie"

En verder raad ik je af om RAID 5 te gaan doen met grote disken, en raad ik je RAID6 aan.

Hoe jij je disken wil inzetten is volgens mij niet mogelijk, RAID in een RAID set? of hoe moet ik dit zien.

Je mogelijkheden zijn:
Alles in SHR dan heb je 24TB totaal, maar als er 2 disken uitvallen ben je alles kwijt
4x4TB in RAID6 (of RAID5, wat eventueel nog kan maar ik persoonlijk niet zou doen)
2x8TB RAID1 (zou ik persoonlijk ook niet doen) of 2 disken van 8TB erbij kopen en alles in RAID6 en de 4x4TB verkopen (of losse RAID set ervan maken als je ruimte in je NAS hebt)

[ Voor 16% gewijzigd door rikadoo op 31-07-2018 14:09 ]

[oddish2211]

Volgens dit rekentooltje (http://carfax.org.uk/btrfs-usage/) verlies ik met 4x 4TB & 2x 8TB veel ruimte met raid 6. Mijn plan is daarom om ergens in de komende 2 maanden nog een 8TB schijf te halen en dan op te schalen naar raid 6.

Daarnaast wil ik btrfs direct op de hardware draaien wat wel een risico oplevert met de write hole, voor mijn niet al te waardevolle bestanden schat ik de kans dat mijn array degraded is en tegelijkertijd mijn server uitvalt klein in (maar deze is er wel zeker!).

-- edit
Ik heb geen synology, maar een debian systeempje met een 2-poort SAS controller in passthrough mode

[ Voor 10% gewijzigd door oddish2211 op 31-07-2018 14:28 ]