Het grote DIY RAID NAS topic deel 3

[Verwijderd]

player-x schreef op dinsdag 02 juni 2015 @ 11:48:
Een factor 3 noem ik toch echt behoorlijk groot bij 8TB schijven.

8TB kan ik niet goed vergelijken. Maar als ik de 6TB versie pak:

pricewatch: Seagate Archive HDD v2 ST6000AS0002, 6TB
pricewatch: WD Green WD60EZRX

Dus je bespaart een tientje. Wat mensen zien in deze schijven is mij nog onduidelijk. Misschien dat je kunt leven met de nadelen van SMR, maar daar mag dan wel een flink prijsvoordeel uit blijken. Dus 120 euro voor een 6TB schijf; de helft. Dan praten we verder...

Wat ik van de techniek begreep is dat omdat schrijf koppen groter zijn dan lees koppen, ze de tracks ocer elkaar heen leggen, ter breedte van een leeskop, of dit nadelig uitpakt op de lange termijn weet ik niet echt, maar lees nog nergens dat er problemen mee zijn.

Hardeschijven waren tot nu toe altijd simpele opslagapparaten. Sector 1, sector 2, sector 3. Bij SMR verandert dit omdat het veranderen van sector 2 ook gevolgen heeft voor omliggende sectoren. Als de schijf dan zijn stroom verliest, betekent dit potentiëel corruptie op de omliggende gebieden.

Dit nadeel is ongeveer gelijk aan de 'RAID5 write hole': je wilt een stripe block updaten, maar dat moet in meerdere fasen gebeuren: eerst oude informatie lezen, dan deze informatie verenigen/updaten met de nieuwe data, daarna het hele zaakje schrijven. Dat kan niet in één keer dus betekent dit dat tussentijds je in een situatie komt te zitten waarbij zo'n read-modify-write maar deels is uitgevoerd. Daar komt je corruptie vandaan.

SSDs zijn op zijn minst net zo onbetrouwbaar op lange termijn als HDDs

Onzin. SSDs zijn theoretisch en praktijk veel betrouwbaarder. Een moderne SSD heeft bitcorrectie waardoor bad sectors zeer ongebruikelijk zijn, en door stroombeveiliging wordt de atomicity van de SSD opslag gewaarborgd. Daarnaast heeft een SSD failure modes die beter te voorspellen zijn; zoals een eindige levensduur die men ruim van te voren kan zien aankomen. Hardeschijven zijn inherent onveilig omdat dit ten grondslag ligt aan de mechanische techniek. Dat is onmogelijk om ooit op een niveau te krijgen als dat mogelijk is bij SSDs.

en ik ga zeker niet mijn data aan SSDs toe vertrouwen, daar net als een magnetisch eilandje zijn magnetische lading verliest over tijd

Hardeschijven hebben geen retentietijd? Dat is toch precies hetzelfde. Bij SSDs heb je tenminste nog RAID5 bescherming als dat gebeurt. De uBER van SSDs gaat tot 10^-17 en dat is tot 1000 keer beter dan mechanische opslag.

Daarnaast koop jij al SSDs, zelfs als ze 4x zo duur zijn?

Zeker! Tegen de tijd dat we in 2018/2019 zijn beland - over 4 jaar dus - hebben we al een collectie aan mechanische schijven en zijn SSDs van 1TB ook prima betaalbaar; maar nog wel veel duurder dan mechanische opslag. Maar dat verschil heeft een punt genaderd waarbij de voordelen van solid state opslag opwegen tegen de hogere prijs.

Dus vanaf dat moment over vier jaar zou ik me heel goed kunnen voorstellen dat ik geen hardeschijven meer koop; maar doe met de mechanische opslag die ik heb en enkel nog solid state storage aanschaf. Want 0 watt, geen piekspanning, geen lawaai en hogere betrouwbaarheid is wel zo fijn. Ik zal geen tranen laten om het wegdoen van mechanische opslag.

Geen haar op mijn hoofd die daar aan denkt!

http://www.knack.be/medias/493/252806.jpg

[revox862]

Mijn ongeduldigheid heeft toch gewonnen. Inmiddels de X-Case met expander binnen. Ik ben benieuwd

[Pantagruel]

Compizfox schreef op maandag 01 juni 2015 @ 17:22:
55 TB aan data? Sjezus. Met maar 6 GB geheugen en ZFS? Nee, daar zou ik wel wat aan gaan doen: een veelgehoorde richtlijn is 1 GB RAM per 1 TB data, al weet ik niet of dat nog geldt bij zulke hoeveelheden data (ik gok dat je working set niet zo groot is).

Maar het heeft zoals FireDrunk al opmerkt weinig te maken met je probleem.

Die 1 GiB RAM per 1 TiB opslag ruimte is een riedeltje voor productie machines die onder flink beschot liggen, voor een thuis server niet echt een relevant criterium.

Paul schreef op maandag 01 juni 2015 @ 17:47:
[...]
Dat hangt natuurlijk gigantisch af van wat voor data je hebt

Als dat 53 TB aan films of series is waarvan je met 1, hooguit twee streams aan het kijken bent, en nog eens 2 TB aan backups van je "My Documents", dan red je het nog wel met 2 GB RAM. Zijn het 300 productie-VM's dan kan ik me indenken dat 'iets' meer ARC wel eens zou kunnen helpen

/ \ With stupid
.|

Om een filmpje te streamen en wat doc's te serveren is 8 GB RAM meer dan voldoende omdat er relatief weinig gecached zal worden. Als het richting heftig vm gebruik gaat dan is een sloot geheugen wel wenselijk.

[player-x]

Verwijderd schreef op dinsdag 02 juni 2015 @ 12:12:
8TB kan ik niet goed vergelijken.

Klopt, maar ik wil het liefst zo min mogelijk HDDs in mijn array hebben, en met 6TB schijven zit, daar wat ik heb gelezen, BtrFS houd niet van array's groter dan 20 disk.
(moet ik nog wel een keer navragen of dat echt klopt)

Als de schijf dan zijn stroom verliest, betekent dit potentiëel corruptie op de omliggende gebieden.

Geen probleem al mijn servers hebben een UPS, en zelfs mijn en mijn vrouw's PC hebben beide ook een kleine UPS/stroom filter APC UPS 550VA, en mijn server heeft een oude 6kVA UPS van werk, waar ik nieuwe accu's in heb gezet.

Onzin. SSDs zijn theoretisch en praktijk veel betrouwbaarder. Een moderne SSD heeft bitcorrectie waardoor bad sectors zeer ongebruikelijk zijn.

Dat is niet het probleem met NAND over de lange tijd, het probleem van NAND is cell drift en en lekstroom, bij MLC NAND verliezen sommige cellen al na 3 jaar hun waardes, bij de 840 EVO met 19nm TLC NAND was dat al na 6 maanden.

Na alle problemen met mijn drie 1TB 840 EVOs, heb me verdiept in het probleem, en mijn conclusie is iig, dat NAND zeker niet een goed alternatief is voor HDDs.

Maar dat verschil heeft een punt genaderd waarbij de voordelen van solid state opslag opwegen tegen de hogere prijs.

Welke voordelen zijn dat dan voor mijn video colectie?

Heb 5 SSDs in mijn werk/game machine zitten, 1x 512GB 850 Pro voor OS, 3x 1TB 840 EVOs in R0 voor games, en een 128GB 830 voor mijn RAMdisk, meer snelle opslag heb ik niet nodig.

En op mijn server staat +95% video materiaal, dat indien nodig zelfs gewoon over 802.11g ge-streamed kan worden, de snelste netwerk verbinding die ik heb is Thunderbolt tussen mijn PC en Server, en daar haal ik de max lees snelheden van van de Thunderbolt verbinding mee, deze Archive schijven hebben ook prima lees snelheden.

Wel zullen er waarschijnlijk op een gegeven moment ook een SSD array in mijn server komen, die verhuist zijn uit mijn andere PCs.

Maar zolang solidstate opslag, niet bewezen betrouwbaarder is, dan zal ik iig niet over gaan naar SSDs in mijn server, ook niet voor mijn kritieke data, want daar ben ik wel berijd watt extra voor te betalen.

Maar voor bulk data zal voor mij iig de prijs/GB verhouding een van de belangrijkste criteria zijn.

[tvwes]

Verwijderd schreef op dinsdag 02 juni 2015 @ 11:09:
Onbetrouwbaar omdat SMR-hardeschijven hun atomicity verliezen en nu read-modify-write cycles gaan doen.

Dat ligt er aan hoe je de schijf aanstuurt. Maar het is eigenlijk niet anders dan 512e gebruiken op een 4K schijf, dat performt ook niet. En SSD's idem als je een afwijkende blocksize gebruikt worden sommige SSD's ook niet blij. Tijdens de conferentie zagen we zeker aankopingspunten om ZFS goed SMR schijfen te laten aansturen. Maar eenvoudig zal het niet worden.

Ik zal niet snel zo'n schijf aanschaffen, dan moet het prijsverschil echt heel erg groot zijn. SMR-generatie is in feite het einde van de hardeschijven; het wordt nog een beetje gerekt met allerlei technieken die nadelig uitpakken in de praktijk. Met de oligopolie op de hardeschijvenmarkt zal er ook weinig innovatie zijn die mechanische opslag extra levensduur geeft.

Ik heb net vorige week de roadmap van HGST gezien. Hardeschijven zijn nog lang niet uit ontwikkeld alsmede dat er een ander opslag medium voorhanden zal komen wat de hardschijf qua density, prijs/TB en betrouwbaarheid en access tijd gaat benaderen, binnen een paar jaar. Ondanks alle beperkingen van SMR en straks HAMR is er vanuit de markt, en dat is niet de gemiddelde lezer hier, grote vraag naar harddisks met nog meer capaciteit.

Dus het is een kwestie van tijd totdat de prijs van SSDs een ratio van 4 keer duurder dan hardeschijven krijgt, dan is het onderhand tijd om afscheid te nemen van mechanische opslag.

Indien mogelijk hoop ik het met PMR-schijven te doen tot 2018/2019 - totdat ik helemaal over kan op solid state.

Ik zou daar niet te hard op gokken. Dat er tegen die tijd betaalbare SSD's zijn van een paar TB dat zal wel. Maar de prijs/TB zal nog lang niet 4x die van harddisken zijn. We weten redelijk hoe de semi conductor industrie zich ontwikkeld. Maar zulke enorme sprongen voorwaarts in flash capaciteit zit er volgens mij niet in.

[Pantagruel]

player-x schreef op dinsdag 02 juni 2015 @ 14:17:
[...]

Klopt, maar ik wil het liefst zo min mogelijk HDDs in mijn array hebben, en met 6TB schijven zit, daar wat ik heb gelezen, BtrFS houd niet van array's groter dan 20 disk.
(moet ik nog wel een keer navragen of dat echt klopt)

Wellicht vanuit t standpunt dat de kans van een volgende disk uitval bij een scrub/rebuild van de array bestaande uit veel devices groter zou zijn (toename van scrub/rebuild tijd) dan bij arrays uit minder devices wat evt. betekend dat je parity loss hebt (2 disk uitval bij een RAID-6 array). Wellicht aan te raden om dan beter twee kleinere arrays te maken tegen een HUGE aray.

[tvwes]

player-x schreef op dinsdag 02 juni 2015 @ 14:17:
[...]
Dat is niet het probleem met NAND over de lange tijd, het probleem van NAND is cell drift en en lekstroom, bij MLC NAND verliezen sommige cellen al na 3 jaar hun waardes, bij de 840 EVO met 19nm TLC NAND was dat al na 6 maanden.

Na alle problemen met mijn drie 1TB 840 EVOs, heb me verdiept in het probleem, en mijn conclusie is iig, dat NAND zeker niet een goed alternatief is voor HDDs.

Ter aanvulling op @player-x zijn verhaal:

Soms veel sneller. Wat ik vorige week van Toshiba te horen kreeg was een criterium voor een "versleten SSD" Volgens hem, maar ik had de indruk dat dit industrie breed was, is een SSD versleten waarneer de charge niet langer dan drie maanden kan worden vastgehouden. Door allerlei ecc in de ssd kunnen individuele probleem cellen worden opgevangen. De beste man verzekerde ons dat een mirakel is dat iets als TLC uberhaubt werkt en dat verdere verkleining van de structuren lang niet zo voor de hand liggen als bij dram of cpu's. Het andere wat ook interessant was dat hij vertelde dat toshiba maar 1 type maakt. Dmv van wafer en chip binning wordt er volgens slc, emlc, mlc of tlc van gemaakt. Een hele gevoelige tester meet de mate waarin een cell zijn lading kan vasthouden.

Die presentatie was voor mij echt even een reality check. Flash is prachtig, maar het heeft een eindig aantal schrijf(wis) acties vs onbeperkt bij een harde schijf. En een SSD is naar mate hij meer wis cycli heeft ondergaan steeds minder in staat om lang zijn data te bewaren terwijl een oude hd dat op zich nog steeds prima kan. Flash moet je inzetten als werkpaard en op tijd vervangen, niet als (lange termijn) archief medium.

Lees hier nog meer

[player-x]

tvwes schreef op dinsdag 02 juni 2015 @ 15:49:
En een SSD is naar mate hij meer wis cycly heeft ondergaan steeds minder in staat om lang zijn data te bewaren

Dat is niet het enige probleem hoor, zelfs nieuwe MLC cellen verliezen eerder hun data als de cell niet opnieuw beschreven wordt.

NAND is verre van perfect, vooral als het op sub 25nm wordt gemaakt.

[FireDrunk]

player-x schreef op dinsdag 02 juni 2015 @ 08:08:
Heeft er iemand als ervaring met de Seagate Archive, 8TB, ik heb steeds een beetje mijn twijfels over de HDD, maar de €0,031/GB is toch wel weer zeer aantrekkelijk, en een heel stuk goedkoper dan de volgende 8TB schijf met zijn €0,078/GB.

Ik lees dat de schijven (vooral bij kleine files) zeer wisselend presteren met het schrijven van data, maar wel gewoon prima lees resultaten geven.
Daar +95% van mijn data, video data is, zie ik dat niet echt als een probleem.

[afbeelding]

Zit te denken om er mogelijk 10 te kopen, en er R6 BtrFS op te zetten, en er een mirror van mijn huidige server op te draaien, maar 2500 aan HDDs is nog steeds een hoop geld, zeker als de HDDs onbetrouwbaar zijn.

Ik heb er een topic over geopend, maar dat is niet aangeslagen.
Ik had de schijven ook op het oog, maar op het moment dat ik *echt* nieuwe schijven nodig had, waren ze nergens te krijgen... Omdat mijn array best vol was, ben ik zelf voor Hitachi 4TB's gegaan.

Nu zijn ze verkrijgbaar, en mijn eerstvolgende upgrade zou zeker deze schijven zijn. Ik zie geen enkel nadeel aan deze schijven wat niet met een goed design op te lossen is (zoals L2ARC / SLOG gebruiken om de lage random writes op te vangen).

10 stuks in BTRFS RAID6 zou ik in jou situatie echt nog niet doen! Ik ben al heel lang lid van de BTRFS mailing list, en ik zie echt nog veel mensen posten dat ze hun array verloren zijn.

Bezint eer ge begint... BTRFS is vrij stabiel, maar de RAID implementatie echt nog niet!

[player-x]

FireDrunk schreef op dinsdag 02 juni 2015 @ 17:33:
Bezint eer ge begint... BTRFS is vrij stabiel, maar de RAID implementatie echt nog niet!

Vandaar ik het ook als een mirror wil draaien, heb nog plaats voor twee 3TB schijven op mijn 2760A, en nog 2TB vrij in mijn array, dus heb ik nu nog tot 8TB ruimte op mijn huidige array, goed voor 8 tot 12 maanden aan ruimte.

Wil die mirror draaien om meer aan Linux en BtrFS vertrouwd te raken, en ik neem aan tegen de tijd dat ik geen ruimte meer hebt, BtrFS R6 onderhand dan wel stabiel is, en dan echt live te gaan.

Heb nu wel een offline Linux ZFS RAIDZ3 server, maar die is voornamelijk opgezet door een vriend en heb ik veder weinig ervaring mee.

Daarnaast begin ik steeds meer een minder gevoel te krijgen van 21 disk NTFS R5 array +1 hotspare, em de kans dat beiden echt crashen is ook weer niet zo groot.

En dan de huidige array over te zetten naar BtrFS of ZFS, voor die is ZFS ook een prima optie daar er geen OCE nodig is voor die array.

En dan daar op de belangrijkste films series op mirroren, want zelfs met mijn huidige 200Mbit aansluiting kost het even voordat ik 60TB weer terug heb, daarnaast is een groot deel moeilijk terug te vinden vooral veel van de animatie films en series, en kan ik van die array een tweede offline backup maken, en neer zetten bij mijn zwager.

[FireDrunk]

player-x schreef op dinsdag 02 juni 2015 @ 19:04:
*knip*
want zelfs met mijn huidige 200Mbit aansluiting kost het even voordat ik 60TB weer terug heb,
*knip*

Ongeveer 29 dagen

[ Voor 84% gewijzigd door FireDrunk op 02-06-2015 20:26 ]

[jacovn]

Ach je kunt altijd hier discreet rondvragen of iemand een bepaalde grannyp*rn aflevering uit een serie nog voor je heeft

[BartNL]

En je realiseert je dan ook dat je eigenlijk maar 2TB mist (ervaringsdeskundigheid 😀).

[The Lord]

FireDrunk schreef op dinsdag 02 juni 2015 @ 17:33:
[...]Ik had de schijven ook op het oog, maar op het moment dat ik *echt* nieuwe schijven nodig had, waren ze nergens te krijgen... Omdat mijn array best vol was, ben ik zelf voor Hitachi Toshiba 4TB's gegaan.

Nu zijn ze verkrijgbaar, en mijn eerstvolgende upgrade zou zeker deze schijven zijn. Ik zie geen enkel nadeel aan deze schijven wat niet met een goed design op te lossen is (zoals L2ARC / SLOG SSD write caching en tiering van Storage Spaces gebruiken om de lage random writes op te vangen).

Same here.

[player-x]

player-x schreef op dinsdag 02 juni 2015 @ 19:04:
Daarnaast begin ik steeds meer een minder gevoel te krijgen van 21 disk NTFS R5 array +1 hotspare, em de kans dat beiden echt crashen is ook weer niet zo groot.

Ben mijn plannen wat aan het veranderd, maar nog niks is zeker.

Heb een vraag, heb mijn 2760A controller in een WIn2012R2 server zitten, kan ik die met al zijn HDDs die een R5 NTSF pool heeft, in zijn geheel importeren in een Linux installatie?

Als dat mogelijk is, wil ik op de 10x 8TB schijven eerst een RAIDZ2 pool aan maken, en dan al mijn data overpompen van de NTFS array in de zelfde machine, of koop een extra Z87-Expert C2 + een goedkope Pentium G3258 en verbind die via Thunderbolt met mijn server, voor het met 10Gbit over pompen van data, de rest van de benodigde hardware heb ik her ene der nog wel rond liggen.

De een X10SAT is ook een optie, en dan meteen ook voor ECC geheugen gaan.

Daarna de laatste twee 3TB schijven er bij prikken en de array van 24x 3TB formatteren als een RAIDZ3 array, en alle data daar weer terug op pompen.

Waarna ik op de nieuwe HDDs BtrFS installeer, en een mirror van mijn data daar weer op zet, is meteen een goede manier om de HDDs uit te testen, en als dat werkt ben ik trouwens benieuwd hoelang het duurt om 2x 60TB over te pompen.

[ Voor 9% gewijzigd door player-x op 03-06-2015 21:21 ]

[HyperH]

player-x schreef op dinsdag 02 juni 2015 @ 14:17:
[...]
Dat is niet het probleem met NAND over de lange tijd, het probleem van NAND is cell drift en en lekstroom, bij MLC NAND verliezen sommige cellen al na 3 jaar hun waardes, bij de 840 EVO met 19nm TLC NAND was dat al na 6 maanden.

Na alle problemen met mijn drie 1TB 840 EVOs, heb me verdiept in het probleem, en mijn conclusie is iig, dat NAND zeker niet een goed alternatief is voor HDDs.

Hoe ernstig is het als een cel zijn waarde verliest en kun je er ook iets tegen doen?

Ik heb een 840 Evo in mijn laptop zitten en die is geëncrypt. Moet ik me nu zorgen maken dat ik van de een op de andere dag met een onleesbare HDD zit doordat een cel op de verkeerde plaats zijn waarde is verloren?

[player-x]

HyperH schreef op donderdag 04 juni 2015 @ 00:49:
Hoe ernstig is het als een cel zijn waarde verliest en kun je er ook iets tegen doen?

De nieuwe firmware van de EVO lost een hoop van de problemen op, door periodiek steeds cellen uit te lezen als de SSD niks te doen heeft, en in dien nodig de cell te verversen.

[Habana]

player-x schreef op donderdag 04 juni 2015 @ 01:08:
[...]

De nieuwe firmware van de EVO lost een hoop van de problemen op, door periodiek steeds cellen uit te lezen als de SSD niks te doen heeft, en in dien nodig de cell te verversen.

Op je reactie van HyperH, ,is dat niet oa. ook de taak van ECC die in de controller van de SSD verwerk zit.
http://thessdguy.com/how-...ze-ssd-life-improved-ecc/

[Xistance]

Dag tweakers,

Ik zit met een (voor mij) vreemd probleem waar ik niet meteen een oplossing voor heb.
Ik ben aan het overschakelen van een Raid5 naar ZFS systeem via Freenas (virtueel in proxmox) op volgende host:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1231 V3 Boxed	€ 261,-	€ 261,-
1	Supermicro X10SL7-F	€ 259,-	€ 259,-
1	Kingston ValueRAM KVR16E11K4/32	€ 282,99	€ 282,99
1	Seasonic G-series 360 watt	€ 59,50	€ 59,50
1	Crucial MX100 256GB	€ 110,80	€ 110,80
Bekijk collectie Importeer producten		Totaal	€ 973,29

De LSI controller staat in IT mode en geef ik door aan de VM via vt-d.

Het zijn 4 oudere 1 TB schijven die ik nu wil hergebruiken in RaidZ configuratie, maar ik loop dus tegen een probleem aan:
Bij een cold boot krijg ik meteen een email (en warning op de GUI) dat de status van de pool UNKNOWN is, een zpool status in de shell geeft me dit weer:

code:

[root@freenas] ~# zpool status
  pool: freenas-boot
 state: ONLINE
  scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        freenas-boot  ONLINE       0     0     0
          ada0p2    ONLINE       0     0     0

errors: No known data errors
[root@freenas] ~#

Geen zpool te zien dus. doe ik echter in dezelfde sessie camcontrol devlist, dan krijg ik dit:

code:

[root@freenas] ~# camcontrol devlist
<QEMU HARDDISK 2.1.3>              at scbus0 target 0 lun 0 (pass0,ada0)
<QEMU QEMU DVD-ROM 2.1.>           at scbus1 target 0 lun 0 (pass1,cd0)
<ATA WDC WD10EACS-07D 1A01>        at scbus2 target 0 lun 0 (pass2,da0)
<ATA WDC WD10EACS-65D 1A01>        at scbus2 target 1 lun 0 (pass3,da1)
<ATA WDC WD10EACS-07D 1A01>        at scbus2 target 2 lun 0 (pass4,da2)
<ATA WDC WD10EACS-65D 1A01>        at scbus2 target 3 lun 0 (pass5,da3)

Volgens mij worden de schijven dus wel degelijk "gezien" in freenas?
Als ik reboot is de melding in de gui weg, en een zpool status in de shell geeft me :

code:

[root@freenas] ~# zpool status
  pool: data
 state: ONLINE
  scan: none requested
config:

        NAME                                            STATE     READ WRITE CKSUM
        data                                            ONLINE       0     0     0
          raidz1-0                                      ONLINE       0     0     0
            gptid/d12d5018-0ad8-11e5-9379-4ed93e442bc1  ONLINE       0     0     0
            gptid/d1d44c02-0ad8-11e5-9379-4ed93e442bc1  ONLINE       0     0     0
            gptid/d2783650-0ad8-11e5-9379-4ed93e442bc1  ONLINE       0     0     0
            gptid/d32332e2-0ad8-11e5-9379-4ed93e442bc1  ONLINE       0     0     0

errors: No known data errors

  pool: freenas-boot
 state: ONLINE
  scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        freenas-boot  ONLINE       0     0     0
          ada0p2    ONLINE       0     0     0

errors: No known data errors
[root@freenas] ~#

en daar is mijn pool weer.. Zo heb ik het dus elke keer voor, bij een cold boot geen schijven, rebooten en ik heb ze weer.
Op zich, als bij een reboot mn schijven wel zichtbaar zijn, dan kan ik er wel mee leven, maar echt heel gezond is het toch niet veronderstel'k?

Ik heb al wat zitten googelen, maar een identiek geval vond ik toch niet meteen.. Weet er iemand raad?

Edit: als ik in het verkeerde topic gepost heb; mijn excuses

[A1AD]

Xistance schreef op vrijdag 05 juni 2015 @ 08:39:
Ik ben aan het overschakelen van een Raid5 naar ZFS systeem via Freenas (virtueel in proxmox)

Hoi Xistance, ik heb geen antwoord op je probleem maar ik vraag mij af waarom je gekozen hebt voor FreeNAS via VT-d en niet de 'native' ZoL implementatie van Proxmox zelf?

Ik ben momenteel zelf aan het bekijken wat ik zou gebruiken. FreeNAS <> native ZFS. Ik heb al een test opstelling gemaakt waar ik dan een OpenVZ container gebruik die de ZFS pool gemound heeft en als share server dienst doet (samba, nfs, ...). FreeNAS werkt wel eenvoudiger met zijn GUI enal maar ik zou willen afstappen van VT-d.

[Xistance]

A1AD schreef op vrijdag 05 juni 2015 @ 09:03:
[...]


Hoi Xistance, ik heb geen antwoord op je probleem maar ik vraag mij af waarom je gekozen hebt voor FreeNAS via VT-d en niet de 'native' ZoL implementatie van Proxmox zelf?

Ik ben momenteel zelf aan het bekijken wat ik zou gebruiken. FreeNAS <> native ZFS. Ik heb al een test opstelling gemaakt waar ik dan een OpenVZ container gebruik die de ZFS pool gemound heeft en als share server dienst doet (samba, nfs, ...). FreeNAS werkt wel eenvoudiger met zijn GUI enal maar ik zou willen afstappen van VT-d.

ja, goeie vraag.
Ik ben zelf niet zo zelfzeker om puur met cli te werken (voor zoiets), maar misschien is dit wel een oplossing die ik uiteindelijk zal moeten gebruiken.

[A1AD]

Xistance schreef op vrijdag 05 juni 2015 @ 09:42:
[...]

ja, goeie vraag.
Ik ben zelf niet zo zelfzeker om puur met cli te werken (voor zoiets), maar misschien is dit wel een oplossing die ik uiteindelijk zal moeten gebruiken.

Je kan webmin installeren in de container en zo je samba shares beheren. Altans dat is de piste die ik aan het testen ben.

Jou probleem kan VT-d gerelateerd zijn. Je kan eens een FreeNAS boot usb stick aanmaken, je config + pool importeren en testen of het bare metal ook voor problemen zorgt. Dan kan je Proxomox/VT-d toch al doorstrepen als mogelijke oorzaak. (ik dacht eens ergens gelezen te hebben in de Proxmox fora dat er mensen waren met VT-d problemen, maar pin mij er niet op vast).

[ Voor 9% gewijzigd door A1AD op 05-06-2015 09:51 ]

[ShApeBE]

Aangezien mijn externe harde schijven zo goed als vol zijn, was ik eerst van plan om een nas aan te kopen, aangezien je hiervoor eigenlijk geen enkele moeite moet doen om dit werkende te krijgen was dit wel goed.
Nu zou ik graag hier ook plex op draaien, vooral om te transcoden en te kijken via de ipad. Blijkbaar is dit "zwaar" belastend voor de cpu, nu zijn er niet zoveel nas'n met een cpu zwaarder dan celeren of atom of wat dan ook en als ze er al zijn kosten ze +- 600 à 700 €.

Hierdoor ben ik ook op freenas gestuit aangezien je hier zelf je hardware kan kiezen en je kunt je nas veel beter maken dan gelijk welke nas er bestaat.

Ik heb nu reeds 5TB aan data, vooral video's. Ik zou dus graag +- uitkomen op 15TB.
Hiervoor zou ik dan RaidZ2 instellen op 6 4TB WD reds.
Ook de overweging wel of niet ECC, moet ik maken. Aangezien van de echt belangrijke data een back-up gemaakt zal worden hoeft het in principe niet echt. Ik heb reeds veel gelezen hierover en een build met ecc kost ongeveer €200 meer dan een zonder ecc.

Hieronder zijn twee build's, één met ecc en een zonder.
Wat raden jullie aan?
- Is een i3 4330 zwaar genoeg om minimaal twee streams te transcoden?
- Is plex eenvoudig in te stellen op een freenas systeem?
- Is de samenstelling 6x4TB goed , of kan ik beter voor 6TB disks gaan?
- Ik heb zelf nog nooit een pc samengesteld, en nooit met een ander besturingssysteem dan windows gewerkt. Zou dit een probleem vormen? Met de info die op internet te vinden is denk ik zelf van niet.Ik ben ook geen complete leek op pc gebied.

Hieronder de twee builds

ECC

#	Product	Prijs	Subtotaal
1	Intel Core i3 4330 Boxed	€ 131,10	€ 131,10
1	ASRock E3C226D2I	€ 225,50	€ 225,50
1	Cooler Master Silencio 550 (zonder voeding)	€ 68,50	€ 68,50
2	Crucial CT102472BD160B	€ 76,-	€ 152,-
1	Seasonic S12G 450W	€ 74,80	€ 74,80
Bekijk collectie Importeer producten		Totaal	€ 651,90

zonder ecc

#	Product	Prijs	Subtotaal
1	Intel Core i3 4330 Boxed	€ 131,10	€ 131,10
1	Asus H97M-PLUS	€ 90,50	€ 90,50
1	Cooler Master Silencio 550 (zonder voeding)	€ 68,50	€ 68,50
1	Crucial Ballistix Sport BLS2CP8G3D1609DS1S00CEU	€ 101,-	€ 101,-
1	Seasonic S12G 450W	€ 74,80	€ 74,80
Bekijk collectie Importeer producten		Totaal	€ 465,90

[FireDrunk]

- Een i3 is denk ik wel zwaar genoeg voor twee streams, maar daarnaas moet je dan niet veel meer willen doen. Gaat het ding ook nog staan unrarren en unparren of zwaar aan de torrents, wordt het misschien krap.

- Volgens mij is er een plugin voor Plex, maar zeker weten doe ik het niet.

- Dat moet je vooral zelf weten. 4TB schijven zijn niet slecht, en 6TB schijven zijn niet per definitie beter. Het is maar wat je nodig hebt of denkt te hebben.

- Dat laatste is een beetje in strijd met zichzelf. Je zegt dat je nog nooit met iets anders dan Windows hebt gewerkt, maar geen complete leek bent... Dat is een beetje mutually exclusive

Er zijn een hoop guides, en zelfs youtube filmpjes hoe je FreeNAS installeert, dus daar moet je wel uitkomen denk ik. Plex en ingewikkelde share configuraties is misschien een ander verhaal. Maar als je niet te beroerd bent om iets te leren, moet het geen probleem zijn.

Bedenk wel dat het niet ff in 1 uurtje klaar is

[A1AD]

FireDrunk schreef op vrijdag 05 juni 2015 @ 11:25:
- Volgens mij is er een plugin voor Plex, maar zeker weten doe ik het niet.

Ik weet het wel zeker

@ShApeBE: installeer eerst eens FreeNAS in een test omgeving.

[ShApeBE]

FireDrunk schreef op vrijdag 05 juni 2015 @ 11:25:
- Een i3 is denk ik wel zwaar genoeg voor twee streams, maar daarnaas moet je dan niet veel meer willen doen. Gaat het ding ook nog staan unrarren en unparren of zwaar aan de torrents, wordt het misschien krap.

- Volgens mij is er een plugin voor Plex, maar zeker weten doe ik het niet.

- Dat moet je vooral zelf weten. 4TB schijven zijn niet slecht, en 6TB schijven zijn niet per definitie beter. Het is maar wat je nodig hebt of denkt te hebben.

- Dat laatste is een beetje in strijd met zichzelf. Je zegt dat je nog nooit met iets anders dan Windows hebt gewerkt, maar geen complete leek bent... Dat is een beetje mutually exclusive

Er zijn een hoop guides, en zelfs youtube filmpjes hoe je FreeNAS installeert, dus daar moet je wel uitkomen denk ik. Plex en ingewikkelde share configuraties is misschien een ander verhaal. Maar als je niet te beroerd bent om iets te leren, moet het geen probleem zijn.

Bedenk wel dat het niet ff in 1 uurtje klaar is

- Ter gelijke tijd transcoden en unrrarren zal normaal niet gebeuren.
- Plex zou moeten bestaan en werken op freenas, iemand ervaring hiermee?
- Laat ons zeggen ik mijn lossen harde schijven via een laptop kan delen, interne ip adressen kan toewijzen, ssd's installeren in oudere laptops enz. Om iets vb in linux te programeren zal zeker niet lukken.
- Daarom dat ik geïnteresseerd ben in Freenas, vooral omdat er zoveel info over te vinden is, en er veel nieuwe mensen instappen zonder al te veel ervaring.

A1AD schreef op vrijdag 05 juni 2015 @ 11:26:
[...]


Ik weet het wel zeker

@ShApeBE: installeer eerst eens FreeNAS in een test omgeving.

Dit zal niet lukken aangezien ik hier geen enkele oude pc liggen heb, wel een oude laptop, maar met 1gb ram zal ik niet ver komen. Dus ik heb hiervoor sowieso al hardware nodig die voldoet.

[FireDrunk]

Je kan dat ook prima doen met iets als VirtualBox of VMware Player.

[Harrie]

Ik gebruik plex op freenas, dat werkt goed

Er is wel 1 kleine bug, waardoor plex relatief vaak in zijn log files schrijft. Als je jails (free-nas plugins) dan ook op je data array staan, betekent dat dat je array nooit in spindown zal gaan.
Als verbruik en geluid zeer belangrijk voor je zijn, kan dat een probleempje zijn.

Een optie om dat te voorkomen is natuurlijk een SSD of kleine schijf plaatsen waar je de jails opzet en eventueel de tijdelijke downloads (en dan naar je array verplaatst na het parren bijvoorbeeld).

[Verwijderd]

Harrie schreef op vrijdag 05 juni 2015 @ 14:03:
Ik gebruik plex op freenas, dat werkt goed

Er is wel 1 kleine bug, waardoor plex relatief vaak in zijn log files schrijft. Als je jails (free-nas plugins) dan ook op je data array staan, betekent dat dat je array nooit in spindown zal gaan.
Als verbruik en geluid zeer belangrijk voor je zijn, kan dat een probleempje zijn.

Een optie om dat te voorkomen is natuurlijk een SSD of kleine schijf plaatsen waar je de jails opzet en eventueel de tijdelijke downloads (en dan naar je array verplaatst na het parren bijvoorbeeld).

Kan je die logs niet redirecten naar /dev/null of heeft Plex die echt nodig?

[Harrie]

Verwijderd schreef op vrijdag 05 juni 2015 @ 14:20:
[...]

Kan je die logs niet redirecten naar /dev/null of heeft Plex die echt nodig?

Ik denk dat zoiets inderdaad een oplossing is, of naar een kleine RAM drive bijvoorbeeld.

Ik heb dat zelf niet getest, omdat ik de functie die het veroorzaakt gewoon heb uitgeschakeld in Plex.

(Het gaat om de GDM autodiscovery functie, die andere apparaten automatisch de plex server laat vinden. Ik heb nu op de apparaten het IP van de server zelf ingegeven)

Ze gewoon redirecten zou ik nog eens kunnen testen inderdaad.

[FireDrunk]

Logs gewoon naar /tmp? Dan zijn ze na een restart van de jail zeer waarschijnlijk gewoon weg.

[Verwijderd]

FireDrunk schreef op vrijdag 05 juni 2015 @ 15:20:
Logs gewoon naar /tmp? Dan zijn ze na een restart van de jail zeer waarschijnlijk gewoon weg.

Het idee is dat de logs niet naar disk gaan, zodat je disks geparkeerd kunnen blijven als je er geen gebruik van maakt. /tmp gaat je dan geen oplossing bieden. Tenzij je op /tmp een SSD of ramdisk moutn natuurlijk, maar dat lijkt mij overbodig voor logs die je feitelijk nooit nodig hebt. (En in het geval dat je het toch nodig hebt haal je de redirect weg tot je probleem is opgelost)

[FireDrunk]

/tmp is bij de meeste distro's een ramdisk volgens mij.

[ Voor 12% gewijzigd door FireDrunk op 05-06-2015 20:56 ]

[A1AD]

Harrie schreef op vrijdag 05 juni 2015 @ 14:03:
Ik gebruik plex op freenas, dat werkt goed

Er is wel 1 kleine bug, waardoor plex relatief vaak in zijn log files schrijft.

Dit is toch geen FreeNAS specifieke bug?

[Harrie]

A1AD schreef op zaterdag 06 juni 2015 @ 08:03:
[...]


Dit is toch geen FreeNAS specifieke bug?

Goeie vraag, dat weet ik eigenlijk niet. Ik dacht van wel, omdat ik het in het freebsd deel van het forum tegen kwam. (Het is dus wel iets breder dan enkel freeNAS, maar geen idee of windows of synology machines er ook last van hebben)

Dit is de melding die hij frequent naar de log file schrijft:

code:

Jan 20, 2015 12:20:10 [0x8096f3c00] WARN - NetworkServiceBrowser: Error sending out discover packet: send_to: Can't assign requested address

Maar dat is al wel wat off-topic hier wellicht.

[HyperBart]

FireDrunk schreef op dinsdag 02 juni 2015 @ 17:33:
[...]


Ik heb er een topic over geopend, maar dat is niet aangeslagen.
Ik had de schijven ook op het oog, maar op het moment dat ik *echt* nieuwe schijven nodig had, waren ze nergens te krijgen... Omdat mijn array best vol was, ben ik zelf voor Hitachi 4TB's gegaan.

Nu zijn ze verkrijgbaar, en mijn eerstvolgende upgrade zou zeker deze schijven zijn. Ik zie geen enkel nadeel aan deze schijven wat niet met een goed design op te lossen is (zoals L2ARC / SLOG gebruiken om de lage random writes op te vangen).

10 stuks in BTRFS RAID6 zou ik in jou situatie echt nog niet doen! Ik ben al heel lang lid van de BTRFS mailing list, en ik zie echt nog veel mensen posten dat ze hun array verloren zijn.

Bezint eer ge begint... BTRFS is vrij stabiel, maar de RAID implementatie echt nog niet!

Ik zit nu ongeveer in hetzelfde verhaal, maar ik heb wat meer geluk dan FD want de 8TB exemplaren zijn nu beter verkrijgbaar. Maar die spindles zijn echt ZO groot en ZO nieuw, dat ik eerst zoiets had van "laat anderen het maar testen". Maar het is wel fijn/makkelijk om met slechts 6 spindles in RAIDZ2 een netto capaciteit te krijgen die gelijk is aan 10 x 4TB in RAIDZ2, alleen heb ik wel veel meer schrik voor dataverlies met dit soort groottes van spindles...

En dan hebben we het nog even niet over de prijs. Bij de bekende club van betrouwbare 4TB HDD verkopers in V&A kosten 5 extra 4TB disks een 475... 8TB x 6 (want ik wil dan minstens raidz2) is een whopping 1500 EUR... .

Met de verkoop van 5 x 4TB haal ik wel wel wat terug, maar heus geen 500 EUR.

Ik twijfel dus nog sterk aan 8TB spindles, zowel dataveiligheid als prijs wise...

@player-x : heb je ondertussen al een beslissing genomen?

[player-x]

HyperBart schreef op zaterdag 06 juni 2015 @ 17:17:
@player-x : heb je ondertussen al een beslissing genomen?

De kans is groot dat ik dat volgende weekend doe als er een stel vrienden nerds van me langs komen voor een film avond, en we onder andere ook over mijn nieuwe server project hebben.

[BartNL]

Ik overweg een ZFS NAS te gaan inrichten die puur storage moet draaien. Idee is dan dat ik daarnaast mijn Windows NAS ik voor download en bewerken wil blijven gebruiken.
Nu zit alle storage via SFF8087 connectoren aan de Areca in mijn Windows NAS. Snelheid tussen de drivepools is tussen de 500MB/s en 1000MB/s.
Omdat ik verwacht ook toekomstig af en toe grote hoeveelheden data heen en weer te kopiëren zou ik de verbinding tussen Windows NAS en ZFS bijvoorbeeld via 10Gbit Intel X540 willen doen. In principe verwacht ik de 10GBit alleen tussen beide NASsen nodig te hebben. Ik weet niet of de X540 dan praktisch is. Kosten zijn secundair maar wanneer een 10Gbit switch niet nodig is wil ik die niet onnodig kopen.
Wat is voor deze situatie een praktische (netwerk?) oplossing?

[FireDrunk]

pricewatch: D-Link SmartPro DGS-1510-28X

Dit een idee? Heb je vier keer gigabit. Kleine broertje heeft twee keer 10Gb.

[Verwijderd]

Als je gewoon een point-to-point verbinding wilt, heb je geen switch nodig. De X540 is dual port. Dus je kunt daar een driehoek van maken dus drie PCs direct met elkaar verbonden. Of 4 als je wilt routen (een sliert A->B<->C<-D).

Bij point-to-point kun je ook gebruik maken van round robin. Dit kan enkele verbindingen versnellen, dus eigenlijk beter dan LACP. Dit werkt vaak niet in combinatie met bepaalde switches. Ook zeker niet met Windows, voor zover ik weet in elk geval. Windows 10 ofzo heeft misschien wat native functionaliteit aan boord. Maar round robin vaak weer niet; die vind je enkel op Linux/BSD voor zover ik weet.

Een andere keuze zou kunnen zijn Thunderbolt 3.0. Die zou in het protocol al native TB->Ethernet interfaces aan moeten kunnen bieden, waarbij je Thunderbolt als point-to-point verbinding gebruikt. Dan zou je 40Gigabit ter beschikking krijgen. Daar hoop ik stiekem een beetje op; want Thunderbolt 3 zal ook voor consumers betaalbaar worden. De X540 blijft een duur ding.

[player-x]

Ik gebruik Thunderbolt, tussen mijn server en werk PC, die heeft ook een 10Gbit cross link netwerk verbinding, en bevalt mij prima.

En een Asus Z87-Expert C2-stepping met TB is een stuk goedkoper dan een 2x een X540.

Het is wel iets meer werk met opzetten, maar het scheelt je +400 euro, en dat is best wat extra uitzoek tijd waard imho.

[BartNL]

mijn eerste blijft dan ondanks de kosten toch twee keer de X540-T2. Qua Thunderbolt vraag ik mij af of dit dan ook door de gangbare ZFS NAS distro's ondersteund gaat worden. Nu nog afwegen of het zinvol is.

[HyperBart]

player-x schreef op zondag 07 juni 2015 @ 21:55:
Ik gebruik Thunderbolt, tussen mijn server en werk PC, die heeft ook een 10Gbit cross link netwerk verbinding, en bevalt mij prima.

En een Asus Z87-Expert C2-stepping met TB is een stuk goedkoper dan een 2x een X540.

Het is wel iets meer werk met opzetten, maar het scheelt je +400 euro, en dat is best wat extra uitzoek tijd waard imho.

Hoe werkt dat dan exact met thunderbolt? Presenteer je dan zvols of hoe? Thunderbolt is toch point to point, of mis ik wat?

[BartNL]

ik vroeg ook naar een point to point verbinding. Wanneer het onder zowel Freenas / ZFSGuru / Nas4free als Windows probleemloos werkt zou Thunderbolt voor mijn toepassing perfect zijn. Het is het "..best wat extra uitzoek tijd.." wat player-x noemt dat mij afschrikt.
Mijn hele setup inclusief storage en beeldweergever heeft een veelvoud gekost. Dan is €400 niet onoverkoombaar maar wel zonde wanneer het niet nodig zou zijn.

[player-x]

BartNL schreef op zondag 07 juni 2015 @ 22:14:
Qua Thunderbolt vraag ik mij af of dit dan ook door de gangbare ZFS NAS distro's ondersteund gaat worden.

Hmmm, moet daar zelf ook eens naar kijken, of er zelfs een Linux TB driver is, daar had ik zelf niet eens aan gedacht.

Wil mijn 2012R2 server migreren naar Linux ZFS, en had daar niet eens aan gedacht, want als dat niet werkt moet ik zelf ook over naar 10Gbit kaartjes, en eventueel dan meteen maar ook een nieuwe switch.

p.s. Ik ga zelf geen FreeNAS of BSD draaien, zijn mij een beetje te spartaanse oplossingen.

HyperBart schreef op zondag 07 juni 2015 @ 23:00:
Hoe werkt dat dan exact met thunderbolt? Presenteer je dan zvols of hoe? Thunderbolt is toch point to point, of mis ik wat?

Thunderbolt ondersteund ook gewoon netwerk protocollen, en wordt in Windows iig gewoon gezien als een NIC.

Ik gebruik zo mijn TB verbinding tussen mijn server en werk PC.


Ik gebruik de zelfde methode als ik gebruikte tijdens de overgang van 100Mit naar Gbit, en toen Gbit switches nog niet betaalbaar waren!
extra Gbit verbinding server<>pc in bestaand netwerk

Doch, ons netwerk is iets uitgebreider, daar ik het deel met 3 andere huizen/familie.

BartNL schreef op zondag 07 juni 2015 @ 23:10:
als Windows probleemloos werkt zou Thunderbolt voor mijn toepassing perfect zijn. Het is het "..best wat extra uitzoek tijd.." wat player-x noemt dat mij afschrikt.

Onder Windows werkt het perfect.

Het opzetten van een hosts-tabel is het extra werk, als je daar niet echt bekend mee bent kan het lastig zijn, als jij of een vriend weet hoe je het moet opzetten is het min of meer een appeltje eitje.

[jacovn]

Ik heb het tijden bedraad gehad met 3 devices met 10 GE in een driehoek.
Dat werkt prima. Ik zou op ebay gaan kijken, veel 10 GE kaarten als server pull, of echt 2e hands.
Hier heb ik x520-DA2, maar dan heb je direct attach kabels nodig. Die zijn er goedkoop tot 5 meter, en daarna wordt het fiber based sfp+ (Die 10 GE kaart die playerx linkt is zo te zien een oem van de intel x520-da2)

Alles via een switch is wel makkelijker, in de zin van minder netwerk verbindingen, en alles kan dan in 1 subnet gebruikt worden. Ik gebruik de d-link dgs-1510-28x en die doet het prima.
In de zfs thread staat wel een post van tvwes hoe snel freebsd over 10 GE is van disk volume naar disk volume: 828MB/s en van cpu naar cpu bijna line rate met 12xx MB/s

[Xistance]

A1AD schreef op vrijdag 05 juni 2015 @ 09:47:
[...]


Je kan webmin installeren in de container en zo je samba shares beheren. Altans dat is de piste die ik aan het testen ben.

Jou probleem kan VT-d gerelateerd zijn. Je kan eens een FreeNAS boot usb stick aanmaken, je config + pool importeren en testen of het bare metal ook voor problemen zorgt. Dan kan je Proxomox/VT-d toch al doorstrepen als mogelijke oorzaak. (ik dacht eens ergens gelezen te hebben in de Proxmox fora dat er mensen waren met VT-d problemen, maar pin mij er niet op vast).

Om hier even op terug te komen:
ik heb proxmox buitengegooid en esxi er op geknald.
Werkt zonder problemen nu (en nu mijn ebstaande VM's hopelijk goed kunnen importeren)

[A1AD]

Xistance schreef op maandag 08 juni 2015 @ 10:29:
[...]

Om hier even op terug te komen:
ik heb proxmox buitengegooid en esxi er op geknald.
Werkt zonder problemen nu (en nu mijn ebstaande VM's hopelijk goed kunnen importeren)

Ok, jammer dat we nu niet weten wat de oorzaak juist was.

[Xistance]

A1AD schreef op maandag 08 juni 2015 @ 10:43:
[...]


Ok, jammer dat we nu niet weten wat de oorzaak juist was.

Ik veronderstel proxmox icm vt-d.
een ubuntu met ZoL had identiek hetzelfde probleem, Freenas was het dus ook niet.

Zo bleef er niet veel meer over imo, en met dat het nu wel werkt..

[player-x]

jacovn schreef op maandag 08 juni 2015 @ 06:35:
Alles via een switch is wel makkelijker, in de zin van minder netwerk verbindingen, en alles kan dan in 1 subnet gebruikt worden.

Het liefst ga ik voor die optie, het probleem is alleen dat ik geen PCIe sloten over hebt in mijn PC met de 4x Titan er in, vandaar dat ik voor TB ben gegaan.

Maar de PCIe 2.1 x4 dat ik nu voor TB gebruik via de zelfde PCIe riser kabel moet ik ook voor een 10Gbit netwerk kaartje kunnen gebruiken.

Want hoewel de 10Gbit netwerk kaart een PCIe 2.0 x8 gebruikt, is PCIe 2.x x4 (16Gbit/s) al snel genoeg voor een 10Gbit NIC, nu is alleen de vraag of de NIC ook echt werkt in een PCIe x4 slot, volgens de handleiding zou het gewoon moeten werken.

Ik gebruik de d-link dgs-1510-28x en die doet het prima.

Ja bevalt hij goed?

Zelf denk ik ook om voor de 28X te gaan, daar mijn zwager ook best 10Gbit in huis zal willen hebben, en de +/-70m fiber moet geen probleem voor hem zijn, daar er al ZPE mantelslang tussen onze huizen ligt voor het koperen Gbit netwerk.

Maar heb nog steeds een vraag, heb mijn 2760A controller in een WIn2012R2 server zitten, weet iemand of ik die met al zijn HDDs, waar een R5 NTSF pool op staat, in zijn geheel importeren in een nieuwe Linux installatie?

[jacovn]

Ik heb inderdaad alle x520-da2 kaarten in x4 sloten zitten. Voor mijn hdd drives zijn het M1015 kaarten in x8 sloten en pci-e 2.x en dan heb ik alleen x4 over, maar heeft x4 genoeg bandbreedte. Er ging zonder probleem bijna line rate 10GE doorheen met testen tussen 2 servers met freeBSD met dd. Met real copy 828 MB/sec gemiddeld, maar dat was limitering van de raid z2 pool met 10 hdds. Dat is ook de scrub snelheid.

De nieuwste server heeft wel een pci-e 3 x4 slot, maar de 10GE kaart is pci-e 2 volgens mij dus gebruikt die extra bandbreedte niet.

[jacovn]

player-x schreef op dinsdag 09 juni 2015 @ 16:41:
[...]

[...]

Ja bevalt hij goed?

Zelf denk ik ook om voor de 28X te gaan, daar mijn zwager ook best 10Gbit in huis zal willen hebben, en de +/-70m fiber moet geen probleem voor hem zijn, daar er al ZPE mantelslang tussen onze huizen ligt voor het koperen Gbit netwerk.

Je kunt in de switch natuurlijk sx type sfp+ modules prikken.
Voor een 2'e switch aan de 1e te hangen met 10GE zit je wel vast aan dlink sfp+ modules ben ik met een kennis achter gekomen. De laatste kaart die ik gekocht heb zaten 2 stuks sx sfp+ modules van intel bij. Die werkten niet tussen 2 dlink switches.
Ik heb geen vezel liggen hier om het te testen tussen pc en switch of dat wel werkt maar neem aan van wel.

[brederodekater]

jacovn schreef op dinsdag 09 juni 2015 @ 19:06:
[...]

Je kunt in de switch natuurlijk sx type sfp+ modules prikken.
Voor een 2'e switch aan de 1e te hangen met 10GE zit je wel vast aan dlink sfp+ modules ben ik met een kennis achter gekomen. De laatste kaart die ik gekocht heb zaten 2 stuks sx sfp+ modules van intel bij. Die werkten niet tussen 2 dlink switches.
Ik heb geen vezel liggen hier om het te testen tussen pc en switch of dat wel werkt maar neem aan van wel.

Over langere afstanden zal fiber inderdaad een must zijn, maar voor de korte afstanden naar de PC's & Server moet je kijken of de switch Twinax ondersteund.. dat kost echt geen ene drol in vergelijking met optische modules en fiber.

[jacovn]

brederodekater schreef op woensdag 10 juni 2015 @ 00:07:
[...]


Over langere afstanden zal fiber inderdaad een must zijn, maar voor de korte afstanden naar de PC's & Server moet je kijken of de switch Twinax ondersteund.. dat kost echt geen ene drol in vergelijking met optische modules en fiber.

Klopt, zo is het hier ook aangesloten. Die kabels kun je via ebay voor 60-70€ kopen in lengtes van 1 en 2 meter (ik heb allemaal intel kabels gekocht en die doen het goed back to back en via de dlink switch)

[secretdk]

Is er iemand die een rack server met minimaal 10 hot swappable bays heeft liggen?
Moet alleen het chassis hebben om me server in te bouwen.

Nieuw zijn ze in Nederland moeilijk verkrijgbaar of vrij prijzig voor alleen het chassis. Tweedehands is geen probleem.

[goarilla]

Is er iemand die een rack server met minimaal 10 hot swappable bays heeft liggen?
Moet alleen het chassis hebben om me server in te bouwen.

Nieuw zijn ze in Nederland moeilijk verkrijgbaar of vrij prijzig voor alleen het chassis. Tweedehands is geen probleem.

Bij mijn laatste zoektocht kwam ik uit op X-Case http://www.xcase.co.uk/rackmount-server-systems.html. Ik ben er zelf ook niet uit of ik een X-case of een rebranded Norco van https://ri-vier.eu aanschaf.

[secretdk]

goarilla schreef op woensdag 10 juni 2015 @ 13:52:
[...]
Bij mijn laatste zoektocht kwam ik uit op X-Case http://www.xcase.co.uk/rackmount-server-systems.html. Ik ben er zelf ook niet uit of ik een X-case of een rebranded Norco van https://ri-vier.eu aanschaf.

xCase had ik ook al gezien. De servers met hot swap bays van 3/4U zijn echter de komende 2 maanden uitverkocht. Ook betaal je nog 30-40 euro shipping bovenop de al 300-350€ kostende behuizing.

[drvinnie]

Beste zelfbouwers,

Ik ben mijn Synology DS112j nu meer dan zat en wil kijken naar de bouw van een eigen systeem. Er moet niet zo heel veel spannends op gebeuren. Ik zou FreeNas draaien en Plex installeren, die maximaal 1 stream hoeft te transcoden. Tevens draait er dan Sonar en Transmission bij.

Ik had zelf het onderstaande lijstje in gedachten. Ben ik er dan of vergeet ik iets doms? Ik heb het gebruikte bordje hier een aantal maal voorbij zien komen en ik heb volgens mij niet veel meer power nodig.

#	Product	Prijs	Subtotaal
1	Gigabyte GA-J1900N-D3V	€ 84,57	€ 84,57
2	WD Green WD20EZRX	€ 77,95	€ 155,90
1	Cooler Master Elite 110	€ 35,50	€ 35,50
1	Crucial CT51264BF160BJ	€ 25,95	€ 25,95
1	be quiet! System Power 7 300W	€ 32,95	€ 32,95
Bekijk collectie Importeer producten		Totaal	€ 334,87

[LED-Maniak]

USB drive of SSD voor opstarten/draaien van je OS?

[drvinnie]

LED-Maniak schreef op woensdag 10 juni 2015 @ 16:28:
USB drive of SSD voor opstarten/draaien van je OS?

Oh ja, dat wordt een stikkie dan Ik zie dat de passmark score van de j1900 niet om over naar huis te schrijven is, maar met een i3 wordt het meteen een stuk duurder.

[thalantis]

trekt plex dat wel als hij moet transcoden e.d.?

[VorCha]

Update van de storage die ik privé beheer

Filesystem Size Used Avail Use%
:/datastore1 2,6T 812G 1,9T 31%
:/volume1 3,6T 656G 3,0T 18%
:/volume1 5,4T 2,5T 2,9T 46%
:/volume2 5,4T 2,5T 3,0T 46%
total 17T 6,4T 11T 38%

[BartNL]

secretdk schreef op woensdag 10 juni 2015 @ 15:35:
[...]
xCase had ik ook al gezien. De servers met hot swap bays van 3/4U zijn echter de komende 2 maanden uitverkocht.

wel balen had al onderdelen besteld voor mijn ZFS server project maar die bestelling heb ik nu geannuleerd.

[Verwijderd]

Balen inderdaad. Waarom zijn die racks toch altijd zo moeilijk te krijgen? Net als babymelkpoeder en Chinese kopers. Produceer dan gewoon meer?!

Bovendien ook niet altijd de kwaliteit die je van de hoge prijs mag verwachten. Zo hoorde ik meerdere verhalen over interne SAS backplane van een Norco 4U kast die dan niet werkt; zit een productiedefect in, wat niet één exemplaar betrof maar meerdere. Pff, QA? Ik heb het gevoel dat dit allemaal in 'de marge' door wat kleine partijtjes geproduceerd wordt, en niet een echt professionele productielijn is met voldoende waarborg voor Quality Assurance (QA) - oftewel dat het product wat in de doos gaat ook daadwerkelijk werkt. Ik bedoel.. heb jij ooit een defecte CPU gehad? Zo ja, dan betwijfel ik of die ook defect was toen hij in de fabriek in het doosje ging. Intel en andere fabrikanten hebben doorgaans bijzonder goede QA.

[ Voor 4% gewijzigd door Verwijderd op 10-06-2015 22:27 ]

[BartNL]

QA probleem was denk ik alleen bij de eerste Norco kasten zo en heb daar zelf ook twee SAS backplanes van vervangen. Die eerste Norco backplanes waren door prutsers bij elkaar gesoldeerd. Mechanisch vind ik de Norco wel top voor het geld en wat mij betreft de beste van de budget merken.
Kasten van Ri-Vier en van XCase zijn wel in orde qua soldeerwerk op backplanes.
Algemeen zijn het alle drie consumer producten gebaseerd op duurdere professionele rackmount cases. Dat je de besparing terug ziet in kwaliteit en opties is voor thuisgebruik wat mij betreft acceptabel. Wil je alle risico vermijden koop dan een 3x(?) zo dure professionele kast.

[jacovn]

Ri-vier moet een container vol laten komen om het rendabel te maken. (Dat kreeg ik als antwoord)
Als dan de omzet terug loopt (een hele container vol verkoop je niet op tweakers alleen vrees ik) dan bestel je niet zo maar weer een container vol.

Zelfde probleem zal xcase wel hebben. Zal wel paar keer per jaar een container komen als alles goed draait, zakt de verkoop wat in, dan zijn bepaalde type een tijdje uitverkocht.

Ik had ook 2 backplanes defect in 2 norco kasten dus ook 100% foutrate als je het zo bekijkt. Wel keurig opgelost door ri-vier overigens. Heb wel 4 hdds met cable errors eraan over gehouden. Maar die doen het verder prima.

[ Voor 20% gewijzigd door jacovn op 10-06-2015 22:48 ]

[Verwijderd]

Oke maar je hebt toch ook voldoende groothandels en distributeurs in Duitsland? Daar komt veel spul vandaan, uitstekend te krijgen ook. Ik zou verwachten dat een speler van een redelijk gespecialiseerd product zich niet enkel op de Nederlandse markt maar de gehele EU zou richten. Dan zouden de problemen die jij schetst veel minder groot moeten zijn.

[secretdk]

Verwijderd schreef op woensdag 10 juni 2015 @ 22:49:
Oke maar je hebt toch ook voldoende groothandels en distributeurs in Duitsland? Daar komt veel spul vandaan, uitstekend te krijgen ook. Ik zou verwachten dat een speler van een redelijk gespecialiseerd product zich niet enkel op de Nederlandse markt maar de gehele EU zou richten. Dan zouden de problemen die jij schetst veel minder groot moeten zijn.

Als reactie op dat duitse.. Is Inter-tech een goed merk? Kwam de volgende kast tegen bij sicomputers;
http://www.sicomputers.nl...ancy-zoom-gallery-image-3

Die bied wel 10 hot swaps wat ik nodig heb, zou er zelfs nog 4 bij kunnen zetten in de 3x 5.25 bays. Ook past me ATX voeding daar gewoon in en kan ik de 80 MM fans vervangen voor 120 MM's.

[BartNL]

Ik denk niet dat deze kasten via een groothandel komen maar net als wat jacovn aangeeft dat het eigen import is. Heb wel de indruk dat XCase wat meer omzet draait maar echt grote aantallen zullen het niet zijn.
Maar misschien is het een gat in de markt en kunnen we binnenkort CiPHER kasten kopen

[Shamalamadindon]

secretdk schreef op woensdag 10 juni 2015 @ 23:04:
Als reactie op dat duitse.. Is Inter-tech een goed merk? Kwam de volgende kast tegen bij sicomputers;
http://www.sicomputers.nl...ancy-zoom-gallery-image-3

Mocht iemand echt maar 10 bays nodig hebben dan kan dat nog een stukje goedkoper voor 180 euro.
http://gistron.nl/info/45400/info.html

[secretdk]

Leo1010 schreef op woensdag 10 juni 2015 @ 23:37:
[...]


Mocht iemand echt maar 10 bays nodig hebben dan kan dat nog een stukje goedkoper voor 180 euro.
http://gistron.nl/info/45400/info.html

Neem aan dat hier ook gewoon een ATX voeding in gaat? Kan het nergens vinden.

[Shamalamadindon]

Ik zou het voor de zekerheid even navragen, ik heb alleen ervaring met de 4U-500 van codegen.

[M2M]

Ik zit met een kleine uitdaging. Aan de hand van de laatste NAS BBG heb ik een systeem gebouwd met 4 WD Reds, ZFS met Z1. Nu zie ik echter in het disk IO reporting dat er continu data naar de schijven geschreven wordt. Heeft iemand enig idee hoe ik er achter kan komen wat hier verantwoordelijk voor is?

Ik heb namelijk geen copieer acties lopen of iets van die aard...

[FireDrunk]

ada0 klinkt als je OS schijf?

[M2M]

FireDrunk schreef op donderdag 11 juni 2015 @ 12:39:
ada0 klinkt als je OS schijf?

freenas draait op een USB stick. Dat is da0. Het bovenstaande gedrag is identiek op alle schijven (ada0 - ada3)

[FireDrunk]

Je kan naar lsof of fstat kijken om te achterhalen wat er iets doet op je schijven.

[Harrie]

M2M schreef op donderdag 11 juni 2015 @ 12:19:
Ik zit met een kleine uitdaging. Aan de hand van de laatste NAS BBG heb ik een systeem gebouwd met 4 WD Reds, ZFS met Z1. Nu zie ik echter in het disk IO reporting dat er continu data naar de schijven geschreven wordt. Heeft iemand enig idee hoe ik er achter kan komen wat hier verantwoordelijk voor is?

Ik heb namelijk geen copieer acties lopen of iets van die aard...

[afbeelding]

Heb je plug-ins draaien? Indien ja, zet ze eens 1 voor 1 uit en kijk of het verdwijnt.
Bij mij veroorzaakte bijvoorbeeld plex een soortgelijk gedrag, tot ik GDM uitschakelde in plex.

[jacovn]

Ik heb via V&A maar een 4U-500 case besteld, 30€ en 15€ verzendkosten
Ga ik gebruiken voor testen met windows 10 storage spaces en kunnen mooi de oude 1TB disk in.
En via V&A een G1620 CPU gevonden voor op een mainbord wat ik nog heb, en had al wat betaalbaar ram gekocht.

[ Voor 8% gewijzigd door jacovn op 12-06-2015 06:28 ]

[M2M]

Harrie schreef op donderdag 11 juni 2015 @ 15:16:
[...]


Heb je plug-ins draaien? Indien ja, zet ze eens 1 voor 1 uit en kijk of het verdwijnt.
Bij mij veroorzaakte bijvoorbeeld plex een soortgelijk gedrag, tot ik GDM uitschakelde in plex.

Ik heb nog helemaal geen enkele plugin draaien, voor zover ik weet teminste. Het is een kersverse installatie en aangezien het enkel en alleen opslag betreft via samba, ga ik er eigenlijk ook geen plugins gebruiken denk ik.

[Delta1981]

M2M schreef op donderdag 11 juni 2015 @ 13:00:
[...]


freenas draait op een USB stick. Dat is da0. Het bovenstaande gedrag is identiek op alle schijven (ada0 - ada3)

In Freenas kun je een systeemgegevenset opgeven bij tablad systeem, heb je hierbij de Z1 dataset gekozen? Hier worden volgens mij telkens log bestanden e.d. naartoe geschreven, dit zou het continu schrijfgedrag dan kunnen verklaren.

[ Voor 7% gewijzigd door Delta1981 op 12-06-2015 23:57 ]

[M2M]

Delta1981 schreef op vrijdag 12 juni 2015 @ 23:47:
[...]


In Freenas kun je een systeemgegevenset opgeven bij tablad systeem, heb je hierbij de Z1 dataset gekozen? Hier worden volgens mij telkens log bestanden e.d. naartoe geschreven, dit zou het continu schrijfgedrag dan kunnen verklaren.

Ik denk dat je helemaal gelijk hebt!. Morgenvroeg weet ik het zeker, dan heeft vanacht de hele nacht niets gedaan en kan ik de disk activity eens goed bekijken.

[z1rconium]

secretdk schreef op woensdag 10 juni 2015 @ 15:35:
[...]


xCase had ik ook al gezien. De servers met hot swap bays van 3/4U zijn echter de komende 2 maanden uitverkocht. Ook betaal je nog 30-40 euro shipping bovenop de al 300-350€ kostende behuizing.

Ik heb net een xcase binnen (binnen 3 dagen in huis);
die home-server cases komen met rack-oortjes, heb zelf de D-3100HN-T 3U. Het is niet gratis en je moet het voor de looks doen, want in de case is niets standaard, de standaard fans maken ongelooflijk veel herrie, heb er nu een aantal noctua's in gestopt en hoor m niet meer.

[secretdk]

z1rconium schreef op zaterdag 13 juni 2015 @ 17:05:
[...]

Ik heb net een xcase binnen (binnen 3 dagen in huis);
die home-server cases komen met rack-oortjes, heb zelf de D-3100HN-T 3U. Het is niet gratis en je moet het voor de looks doen, want in de case is niets standaard, de standaard fans maken ongelooflijk veel herrie, heb er nu een aantal noctua's in gestopt en hoor m niet meer.

Vind de kasten met hot swapps zelf iets te prijzig dus ik haal denk ik een codegen of inter-tech.

[FREAKJAM]

z1rconium schreef op zaterdag 13 juni 2015 @ 17:05:
[...]

Ik heb net een xcase binnen (binnen 3 dagen in huis);
die home-server cases komen met rack-oortjes, heb zelf de D-3100HN-T 3U. Het is niet gratis en je moet het voor de looks doen, want in de case is niets standaard, de standaard fans maken ongelooflijk veel herrie, heb er nu een aantal noctua's in gestopt en hoor m niet meer.

Vind het ook erg praktische cases (op het oog). Ik heb nu een bitfenix naast mijn tv-meubel staan, maar deze case ziet er goed uit. Past in mijn meubel, plus hotswappable. Als ik nu een schijf heb die onderuit gaat, moet ik eerst de boel openschroeven. Misschien iets voor in de toekomst. Wel beetje jammer dat de standaard fans zo noisy zijn.

[secretdk]

Ik heb momenteel mijn storage in RAIDZ1 staan onder ZFS. Dit pakt echter veel van mijn RAM die ik liever ergens anders voor gebruik.

Nu had ik de vraag of het slim is om 2 RAID5 arrays onder Server2012 aan te maken (WD Red 5x 2 TB en 5 x 3TB). Gaat dit problemen geven bij het rebuilden mocht een schijf kapot gaan?

Mocht dit geen goed idee zijn, zou ik dan beter een raid controller kunnen halen?

Bied Storage Spaces hier geen goede uitkomst of zijn de ervaringen hiermee niet top?

[ Voor 9% gewijzigd door secretdk op 14-06-2015 11:38 ]

[HyperBart]

Heb je al eens gekeken om je RAM gebruik dan te beperken? Om nu ineens alles over boord te smijten en naar W2012 te gaan lijkt me ook wat drastisch .
Bij mij heeft het ook wat geduurd eer alles ok-ish begon te draaien hoor, maar nu ben ik super tevreden van mijn ZFS server en moet er in de nabije toekomst alleen een fikse upgrade qua disks gebeuren...

Als je toch je 2012 plan wil doorzetten: Storage Spaces is zeker een volwassen manier om redundant om te kunnen gaan met je disks, in productie wordt het vaak gebruikt bij SoFS (Scale Out File Servers). Bedenk wel dat Storage Spaces niet dezelfde voordelen biedt als ZFS. Storage Spaces is bedoeld om je disks makkelijker te segmenteren en redundantie aan te bieden aan de bovenliggende lagen...

Mij zie je niet snel overstappen naar een ander FS tenzij het dezelfde voordelen biedt als ZFS zonder een paar van de nadelen...

[secretdk]

HyperBart schreef op zondag 14 juni 2015 @ 11:49:
Heb je al eens gekeken om je RAM gebruik dan te beperken? Om nu ineens alles over boord te smijten en naar W2012 te gaan lijkt me ook wat drastisch .
Bij mij heeft het ook wat geduurd eer alles ok-ish begon te draaien hoor, maar nu ben ik super tevreden van mijn ZFS server en moet er in de nabije toekomst alleen een fikse upgrade qua disks gebeuren...

Als je toch je 2012 plan wil doorzetten: Storage Spaces is zeker een volwassen manier om redundant om te kunnen gaan met je disks, in productie wordt het vaak gebruikt bij SoFS (Scale Out File Servers). Bedenk wel dat Storage Spaces niet dezelfde voordelen biedt als ZFS. Storage Spaces is bedoeld om je disks makkelijker te segmenteren en redundantie aan te bieden aan de bovenliggende lagen...

Mij zie je niet snel overstappen naar een ander FS tenzij het dezelfde voordelen biedt als ZFS zonder een paar van de nadelen...

RAM gebruik inbeperken bij ZFS was volgens mij niet zo slim. Vuistregel was 1 GB RAM per TB als ik het goed begreep. Zit momenteel op 10 TB en over 2 weken op 20 TB. Gebruik dat RAM geheugen liever voor virtuele machines.

Ik zit al op W2012. Server draait Windows 2012R2 met hyper-v. Momenteel heb ik een Ubuntu VM waarop al me disks staan met disk passthrough. Daarin heb ik die zpool aangemaakt. Het omzetten naar Storage spaces oid is een kleine moeite.

[ph0t0nix]

Ah, dus je gebruikt ZFS on Linux. Daar is het ZFS geheugengebruik/-beheer nog wat minder volwassen dan onder bijvoorbeeld FreeBSD. De 1GB per TB 'regel' zie ik wel vaker opduiken, maar is niet meer dan een vuistregel en dan nog voor bedrijfstoepassingen. Voor thuisgebruik is dat niet per se noodzakelijk. Waar gebruik je je ZFS voor? Het delen van bijvoorbeeld home directories via NFS heeft veel meer baat bij een grote ARC dan een netwerk share waar films op staan. In hoeverre het gebruik van ZFS volumes voor VM storage baat heeft bij een grote ARC weet ik niet.

Kortom, wat HyperBart zegt: gooi het kind niet met het badwater weg.
Hoe weet je dat ZFS zoveel geheugen gebruikt?

[ Voor 4% gewijzigd door ph0t0nix op 14-06-2015 13:59 ]

[FREAKJAM]

Ik draai al een jaar 6x3TB RAIDZ2 met 8GB RAM zonder problemen anders. Inderdaad ook what ph0t0nix zegt, hoe ben je dat de conclusie gekomen dat ZFS veel geheugen eet? Ik heb 8GB toegewezen aan mijn VM en met de volgende instellingen arc_min en arc_max etc ingesteld.

[Verwijderd]

secretdk schreef op zondag 14 juni 2015 @ 11:56:
RAM gebruik inbeperken bij ZFS was volgens mij niet zo slim. Vuistregel was 1 GB RAM per TB als ik het goed begreep.

Die vuistregel is nergens op gebaseerd. De hoeveelheid RAM die je zou willen hebben is niet afhankelijk van de capaciteit, maar van de snelheid. Een kleine SSD array heeft meer RAM nodig dan een grote HDD array van honderden terabytes. Je hebt RAM nodig om de maximale potentiële performance te halen.

Maar even twee dingen goed begrijpen:

• ZFS gebruikt minder RAM dan welk ander filesystem ook (vanaf de 2e generatie). Dus NTFS en Ext4 gebruiken méér RAM dan ZFS.
• ZFS kan prima werken met weinig RAM; 32 megabyte kan prima. Je haalt dan wel veel lagere performance, terwijl andere filesystems op vrijwel dezelfde snelheid werken. Dat is het enige verschil.

Zit momenteel op 10 TB en over 2 weken op 20 TB. Gebruik dat RAM geheugen liever voor virtuele machines.

Doe dat dan?

Ik zit al op W2012. Server draait Windows 2012R2 met hyper-v. Momenteel heb ik een Ubuntu VM waarop al me disks staan met disk passthrough. Daarin heb ik die zpool aangemaakt.

Dit is geen veilige setup. Denk niet dat ZFS je data beveiligt. Dat kan het niet; het heeft geen directe controle over de disks. Vertrouw dus niet teveel op een constructie als deze. Minimaal een 1:1 backup van je data op een echte ZFS box. Anders is je data niet veilig.

[secretdk]

ph0t0nix schreef op zondag 14 juni 2015 @ 12:18:
Ah, dus je gebruikt ZFS on Linux. Daar is het ZFS geheugengebruik/-beheer nog wat minder volwassen dan onder bijvoorbeeld FreeBSD. De 1GB per TB 'regel' zie ik wel vaker opduiken, maar is niet meer dan een vuistregel en dan nog voor bedrijfstoepassingen. Voor thuisgebruik is dat niet per se noodzakelijk. Waar gebruik je je ZFS voor? Het delen van bijvoorbeeld home directories via NFS heeft veel meer baat bij een grote ARC dan een netwerk share waar films op staan. In hoeverre het gebruik van ZFS volumes voor VM storage baat heeft bij een grote ARC weet ik niet.

Kortom, wat HyperBart zegt: gooi het kind niet met het badwater weg.
Hoe weet je dat ZFS zoveel geheugen gebruikt?

Ik gebruik ZFS voornamelijk voor Plex. 8 TB aan films, tv series en muziek. Daarbij nog wat andere dingen zoals paar websites etc. Niet hele belangrijke data in ieder geval. Mijn VM storage heb ik op 2 aparte Samsung 850 EVO's 500 GB in RAID1.

Ik weet niet hoeveel geheugen ZFS gebruikt, maar ik las overal dat het verstandig is om 1 GB RAM per TB te gebruiken. Vandaar dat ik mijn Ubuntu VM met ZFS 10 GB RAM heb gegeven.

Verwijderd schreef op zondag 14 juni 2015 @ 15:05:

Die vuistregel is nergens op gebaseerd. De hoeveelheid RAM die je zou willen hebben is niet afhankelijk van de capaciteit, maar van de snelheid. Een kleine SSD array heeft meer RAM nodig dan een grote HDD array van honderden terabytes. Je hebt RAM nodig om de maximale potentiële performance te halen.

Maar even twee dingen goed begrijpen:

• ZFS gebruikt minder RAM dan welk ander filesystem ook (vanaf de 2e generatie). Dus NTFS en Ext4 gebruiken méér RAM dan ZFS.
• ZFS kan prima werken met weinig RAM; 32 megabyte kan prima. Je haalt dan wel veel lagere performance, terwijl andere filesystems op vrijwel dezelfde snelheid werken. Dat is het enige verschil.

Dus als ik mijn Ubuntu server met (straks) 20 TB aan ZFS pools 2 GB RAM geef, dan is dat geen probleem voor ZFS zelf maar alleen voor de performance van de RAID-Z1 arrays?

Verwijderd schreef op zondag 14 juni 2015 @ 15:05:

Dit is geen veilige setup. Denk niet dat ZFS je data beveiligt. Dat kan het niet; het heeft geen directe controle over de disks. Vertrouw dus niet teveel op een constructie als deze. Minimaal een 1:1 backup van je data op een echte ZFS box. Anders is je data niet veilig.

Ik zie het ook niet als een backup. De data die erop staat heeft voor mij niet veel waarde. Ik zou het echter fijn vinden dat als er bijvoorbeeld 1 schijf kapot gaat. ik het nog op een manier kan redden. Een 1:1 backup voor media bestanden vind ik een beetje ver gaan.

De reden dat ik eigenlijk ook van ZFS af wil stappen is, omdat disk passthrough naar een VM mij nou geen geweldige situatie lijkt.

[Verwijderd]

2GiB is erg weinig, maar ook met heel weinig RAM (<0,5GiB) werkt ZFS gewoon. Het punt is niet dat het niet zou werken, het punt is dat ZFS heel goed met RAM overweg kan en het dus effectief kan gebruiken - veel beter dan welk ander filesystem/VFS-laag dat kan, omdat die alleen heel dom cachen en niet intelligent zoals ZFS dat doet.

Maar je wordt al gauw bang gemaakt dat je veel RAM nodig hebt. Dat is niet zo. Je hebt 128MiB ofzoiets nodig. Ik draai ZFS op mijn embedded systeem met 1GiB RAM. Verwacht alleen geen snelheidsmonster; ZFS schaalt performance met hoeveelheid RAM.

Ik zie het ook niet als een backup.

Nee, want je hebt dus helemaal geen backup. Je hebt één opslagmethode en that's it. En die ga je dan heel kwetsbaar maken met virtualiatie en passthrough disks. Juist als je geen backup hebt, wil je in elk geval dat je hoofdlocatie goed beschermd is. Ook al is de data niet bijzonder belangrijk, het is fijn als het 'gewoon werkt' en niet zomaar op zijn bek gaat, en daarnaast is het fijn dat je wéét wanneer er iets mis gaat. Dat laatste zou nog ten dele functioneren met jouw setup, maar toch heb je een kwetsbare en foutgevoelige setup draaien op deze manier. Ik kan het niet aanraden.

Een dedicated systeem voor ZFS kun je overwegen (nu of in de toekomst) en alle extra wat je op Ubuntu ofzo wilt doen, doe je dan op een ander systeem los van de ZFS server, en je slaat alles via het netwerk op. Dat zou een betere oplossing zijn qua veiligheid en betrouwbaarheid. Maar je moet zelf alles afwegen; misschien is je setup nu wel kwetsbaar maar biedt het belangrijke voordelen voor jou om die op de koop toe te nemen. Dat is natuurlijk helemaal jouw afweging.

[secretdk]

Verwijderd schreef op zondag 14 juni 2015 @ 16:27:
Nee, want je hebt dus helemaal geen backup. Je hebt één opslagmethode en that's it. En die ga je dan heel kwetsbaar maken met virtualiatie en passthrough disks. Juist als je geen backup hebt, wil je in elk geval dat je hoofdlocatie goed beschermd is. Ook al is de data niet bijzonder belangrijk, het is fijn als het 'gewoon werkt' en niet zomaar op zijn bek gaat, en daarnaast is het fijn dat je wéét wanneer er iets mis gaat. Dat laatste zou nog ten dele functioneren met jouw setup, maar toch heb je een kwetsbare en foutgevoelige setup draaien op deze manier. Ik kan het niet aanraden.

Een dedicated systeem voor ZFS kun je overwegen (nu of in de toekomst) en alle extra wat je op Ubuntu ofzo wilt doen, doe je dan op een ander systeem los van de ZFS server, en je slaat alles via het netwerk op. Dat zou een betere oplossing zijn qua veiligheid en betrouwbaarheid. Maar je moet zelf alles afwegen; misschien is je setup nu wel kwetsbaar maar biedt het belangrijke voordelen voor jou om die op de koop toe te nemen. Dat is natuurlijk helemaal jouw afweging.

Een dedicated storage systeem was inderdaad al een optie die ik aan het overwegen was. Echter vond ik het voor thuis een beetje zonde om 2 systemen te laten draaien als het ook in 1 kan. Daarbij word de storage die erop staat ook nou niet zo veel gebruikt dat een hoge performance oid noodzakelijk is.

Denk dat ik daarom dus beter op de Hyper-V host iets met storage spaces ga doen en misschien later een upgrade naar een dedicated ZFS systeem. Dan hoef ik geen gebruik te maken van pass through etc.

[FireDrunk]

Verwijderd schreef op zondag 14 juni 2015 @ 16:27:
En die ga je dan heel kwetsbaar maken met virtualiatie en passthrough disks.

Ik vind dit wel een overdreven uitspraak hoor. Virtualisatie is niet persé een kwetsbaarheid... Het kan juist ook risico's verkleinen... Ik vond het (toen ik nog met virtualisatie draaide), juist ideaal, dat als ik problemen had met mijn ZFS machine ik gewoon op afstand bij de machine kon.

Zelfde geld voor upgrades. Gewoon een nieuwe VM maken.
Het risico dat je data corrupt raakt is (na veel tests van velen onder ons) niet groter, en het risico op falen is in mijn ogen ook niet veel hoger.

Uiteraard wordt je setup complexer wat misschien wat meer risico voor de gebruiker met zich mee brengt, maar uiteindelijk denk ik dat je setup niet slechter wordt (mits je weet wat je doet...)

[HyperBart]

FireDrunk schreef op maandag 15 juni 2015 @ 07:37:
[...]
Uiteraard wordt je setup complexer wat misschien wat meer risico voor de gebruiker met zich mee brengt, maar uiteindelijk denk ik dat je setup niet slechter wordt (mits je weet wat je doet...)

Ik denk dat CiPHER dat eigenlijk wil duiden, maar het een beetje te rechtlijnig vertelt

[jacovn]

secretdk schreef op zondag 14 juni 2015 @ 19:09:
[...]
. Daarbij word de storage die erop staat ook nou niet zo veel gebruikt dat een hoge performance oid noodzakelijk is.

Denk dat ik daarom dus beter op de Hyper-V host iets met storage spaces ga doen

Dan heb je dikke kans dat je inderdaad geen hoge performance krijgt. Storage spaces en parity schijnt erggggg langzaam te zijn.

Ik wil het gaan testen, maar heb veel verschillende dingen gelezen.
Enige die er wat performance uit haalde had het over een veelvoud van 8 discs, en ssd's voor journal/cache.

Deze thread heeft wel goede informatie: Server 2012 R2, Storage Spaces and Tiering

[ Voor 30% gewijzigd door jacovn op 15-06-2015 10:47 ]

[Paul]

FireDrunk schreef op maandag 15 juni 2015 @ 07:37:
mits je weet wat je doet...

...maar daar is wel iets meer voor nodig dan weten dat je iets wat VT-d 'of zo..' heet nodig hebt

In die zin zou ik niet zomaar klakkeloos iedereen aanraden een ZFS-machine te virtualizeren (in productie).

[secretdk]

jacovn schreef op maandag 15 juni 2015 @ 10:31:
[...]

Dan heb je dikke kans dat je inderdaad geen hoge performance krijgt. Storage spaces en parity schijnt erggggg langzaam te zijn.

Ik wil het gaan testen, maar heb veel verschillende dingen gelezen.
Enige die er wat performance uit haalde had het over een veelvoud van 8 discs, en ssd's voor journal/cache.

Ik krijg volgende week me 5x 2 TB binnen. Dan draai ik daar wel eerst wat tests mee in storage spaces om te kijken of de performance goed is. Misschien ook FF een rebuild uitvoeren met 8 TB data.

[jacovn]

secretdk schreef op maandag 15 juni 2015 @ 10:39:
[...]


Ik krijg volgende week me 5x 2 TB binnen. Dan draai ik daar wel eerst wat tests mee in storage spaces om te kijken of de performance goed is. Misschien ook FF een rebuild uitvoeren met 8 TB data.

Lees de link in mijn vorige post maar eens door.
Het principe van storage spaces parity is natuurlijk veel slechter dan zfs: enorme write hole omdat eerst de bestaande situatie gelezen moet worden.

Veel mensen hebben 30-50 MB/sec write snelheid getest, wat waarschijnlijk reëel is voor 4 of 5 discs zonder cache/journal ssd's.

Ik heb 10 x 1 TB hdds voor de test, en 2 ssd's voor de journal/cache en een boot ssd.
Met die powershell commando's moet het niet zo moeilijk zijn een pool op te zetten.
Dual parity kost dan 3 disks en dan zou je 7 voor data overhouden.

[The Lord]

jacovn schreef op maandag 15 juni 2015 @ 10:31:
[...]

Dan heb je dikke kans dat je inderdaad geen hoge performance krijgt. Storage spaces en parity schijnt erggggg langzaam te zijn.

Ik wil het gaan testen, maar heb veel verschillende dingen gelezen.
Enige die er wat performance uit haalde had het over een veelvoud van 8 discs, en ssd's voor journal/cache.

Deze thread heeft wel goede informatie: Server 2012 R2, Storage Spaces and Tiering

Mwja, voor zover ik het kan beoordelen aan de hand van eigen performance tests (naar aanleiding van dergelijke verhalen) en nu een uitgebreide praktijk ervaring ligt dit meer aan de kennis/gebruikte test methodologie van de tester (ja, jullie, Fujitsu, met de veel gerefereerde whitepaper).

Ik heb bijvoorbeeld een Hyper-V single CPU server met 4x SSD, 4x 4TB SATA HDD en 32GB. Hierop draait een gedeelde omgeving met 2x Linux en 10x Windows. O.a. SMB, IIS, SQL én Exchange. De data (dus ook SQL en Exhange) staat op een parity vDisk.
En dat werkt toch echt goed. D.w.z. geen klachten van de 33 actieve gebruikers en performance counters ruim binnen acceptabele waarden.
Je moet alleen wel thuis zijn in PowerShell wil je e.e.a. juist in kunnen richten.