Het grote DIY RAID NAS topic deel 3

[Verwijderd]

Nee maar als de vorige ook niet lekker werkt moet je iets proberen De wijzigingen zagen er niet bijzonder kritiek uit dus ik durfde het wel aan.

[Q]

Is de hele 8.x Branch van FreeNAS niet unstable?

[robkamp]

thof schreef op donderdag 29 december 2011 @ 17:08:
[...]


Van waar die SSD? De enige mogelijkheid die ik daar voor zie is in combinatie met ZFS en dan als read cache. Een server hoeft in mijn ogen niet snel te booten en de applicaties zullen zich toch snel in memory bevinden over het algemeen

Precies. Aangezien er geen 16GB op dit moederbord past zal ik ergens anders de snelheid van moeten halen. Is het dan toch nog overkill. Andere vraag: waar boot je normaliter FreeNAS van?

[Verwijderd]

robkamp schreef op donderdag 29 december 2011 @ 14:35:
Ik ben van plan een zelfbouw nas in elkaar te schroeven met FreeNAS. Ik dacht de volgende hardware te gebruiken.

robkamp schreef op maandag 02 januari 2012 @ 15:02:
[...]

Precies. Aangezien er geen 16GB op dit moederbord past zal ik ergens anders de snelheid van moeten halen. Is het dan toch nog overkill. Andere vraag: waar boot je normaliter FreeNAS van?

Je kunt op jouw Brazos bord wel degelijk 16GiB aansluiten; twee reepjes van 8GiB per stuk. Als je voor ZFS gaat, kun je beter 8GiB als minimum RAM aanhouden. Dus waarom koop je geen simpel 8GiB setje voor 30 euro? Je kunt ook de G.Skill Sniper SR2 kit kopen voor een tientje meer dan heb je ook nog mooi low-power 1.25v geheugen.

Verder ben ik niet erg kapot van de 3TB WD Greens; die zijn stukken langzamer dan de 2TB versies. Dus overweeg een andere 3TB (Hitachi) or kijk naar 2TB (Samsung F4EG) of 4TB modellen. Geen idee of de nieuwe Hitachi 4TB al leverbaar is, maar dat kan ook een kandidaat zijn.

FreeNAS booten kan van een USB stick. Overigens: heb je ook ZFSguru overwogen? Die kan ook naar je main pool installeren en heeft wat andere voordelen. FreeNAS heeft wel meer features, maar is minder makkelijk uit te breiden. Tip: je kunt beide systemen in virtualbox uittesten voordat je op je echte NAS gaat werken. En voordat je je NAS in gebruik neemt eerst 24 uur memtest draaien zo raad ik je aan.

[thof]

robkamp schreef op maandag 02 januari 2012 @ 15:02:
[...]

Precies. Aangezien er geen 16GB op dit moederbord past zal ik ergens anders de snelheid van moeten halen. Is het dan toch nog overkill. Andere vraag: waar boot je normaliter FreeNAS van?

Verwijderd schreef op maandag 02 januari 2012 @ 15:38:
Je kunt op jouw Brazos bord wel degelijk 16GiB aansluiten; twee reepjes van 8GiB per stuk.

(...)

FreeNAS booten kan van een USB stick. Overigens: heb je ook ZFSguru overwogen? Die kan ook naar je main pool installeren en heeft wat andere voordelen. FreeNAS heeft wel meer features, maar is minder makkelijk uit te breiden. Tip: je kunt beide systemen in virtualbox uittesten voordat je op je echte NAS gaat werken. En voordat je je NAS in gebruik neemt eerst 24 uur memtest draaien zo raad ik je aan.

Heb zelf geen NAS draaien, maar ben al tijden topics aan het volgen om uiteindelijk zelf een systeem op te zetten. Wat CiPHER aangeeft is juist:
- Er kan wel 16GB op het bordje door gebruik te maken van twee modules van 8GB, deze zijn alleen niet zo goedkoop als de doorsnee modules van 2 of 4GB. ZFS zal dit zeer prettig vinden!
- Installeren vanaf USB Stick is een prima optie, wordt ook wel eens gebruikt om ESXI of Freenas van te booten.
- ZFSguru zul je zeker eens moeten uitproberen, desnoods op een virtual machine. Deze schijnt te kunnen booten vanaf een ZFS pool.

Zelf ben ik nog niet zo warm van ZFSguru en Freenas, maar dat komt puur doordat ik zelf veel wil kunnen aanpassen en niet gelimiteerd wil worden door het operating system

[CurlyMo]

thof schreef op maandag 02 januari 2012 @ 22:20:
[...]

Zelf ben ik nog niet zo warm van ZFSguru en Freenas, maar dat komt puur doordat ik zelf veel wil kunnen aanpassen en niet gelimiteerd wil worden door het operating system

Dan moet je zeker ZFSguru proberen. Het draait dan ook op een normale FreeBSD OS. Dus niet gestript. Ik gebruik ZFSguru vrijwel alleen voor de status pagina's zodat ik snel even kan kijken hoe de temperaturen, schijven en pools zijn. Verder heb ik ook vrijwel alles aangepast. Wat me wel opviel was dat ZFSguru gelijk doorheeft wanneer je lighthttp vervangt door apache . ZFSguru kijkt dus wel degelijk met je handmatige aanpassingen mee (op zekere hoogte dan).

[iBurger]

iMars schreef op vrijdag 30 december 2011 @ 23:35:
[...]

Let er wel op dat ik de snelheid over het netwerk bedoel hè De raid zelf kan iets van 180MB/sec aan

Maar die kan je dan toch nog steeds niet wegschrijven naar een SSD met 180 mb/s, right?

[Dadona]

Verwijderd schreef op maandag 02 januari 2012 @ 15:38:
Je kunt op jouw Brazos bord wel degelijk 16GiB aansluiten; twee reepjes van 8GiB per stuk.

Bij mijn weten zijn de meeste, zoniet alle, 8GB modules ECC Registered. Alleen server moederborden kunnen dat aan, het lijkt mij sterk dat het op Brazos opeens wel goed gaat. (Let op de 'R' bij het tweede deel van de naamgeving van Kingston modules.)

[FireDrunk]

Er zijn (nog niet zo heel lang) 8GB Unbuffered non-ecc modules.
http://tweakers.net/price...21v14x39kPiuyz5G7IsSFuWNw

[Dadona]

Omdat het om non-buffered en niet-kingston modules gaat heb ik ze vast gemist. Prijs is nog wel echt hoog waardoor je misschien net zo goed een server moederbord kunt aanschaffen en voor buffered ECC kunt gaan. (Mits je een beetje een energie efficiënte kunt vinden.)

[robkamp]

Verwijderd schreef op maandag 02 januari 2012 @ 15:38:
[...]


[...]

Je kunt op jouw Brazos bord wel degelijk 16GiB aansluiten; twee reepjes van 8GiB per stuk. Als je voor ZFS gaat, kun je beter 8GiB als minimum RAM aanhouden. Dus waarom koop je geen simpel 8GiB setje voor 30 euro? Je kunt ook de G.Skill Sniper SR2 kit kopen voor een tientje meer dan heb je ook nog mooi low-power 1.25v geheugen.

Als ik in de lijst van door Asus ondersteund geheugen kijk zie ik dat maximaal 8GiB (2x4GiB) ondersteund is. Welk geheugen van 2x8GiB past er volgens jou in?

Als ik het goed begrijp zou dit dus beter zijn voor het draaien van FreeNAS met RAID-Z.

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 100,-	€ 100,-
3	Hitachi Deskstar 5K3000, 3TB	€ 179,-	€ 537,-
1	Lian Li PC-Q25B	€ 110,30	€ 110,30
1	G.Skill RipjawsX F3-10666CL9D-16GBXL	€ 112,69	€ 112,69
1	be quiet! Pure Power L7 300W	€ 34,85	€ 34,85
1	Samsung 830 series Desktop Upgrade Kit 64GB	€ 94,99	€ 94,99
Bekijk collectie Importeer producten		Totaal	€ 989,83

Waarbij ik nog wel wacht op het zakken van de prijs van HD's in maart 2012.

[ Voor 67% gewijzigd door robkamp op 04-01-2012 16:27 ]

[jadjong]

Ik heb een vreemd probleempje met een IBM m1015 en samsung 830 sdd's. De firmware welke ik nu gebuikt geeft WWN id's weer, deze zijn langer (c4t50024E9204AB4F90d0) en hebben als voordeel dat ze uniek zijn omdat het disk-gebonden is. Alleen snappen de samsung 830 ssd's die ik gekocht heb WWN niet en krijgen ze allen hetzelfde WWN, dat werkt niet als je ze tegelijk wilt gebruiken.

Iemand een idee welke firmwares voor lsi2008 kaarten gebruik maken van kaart/poort/disk naamgeving? Zoiets als c0d0s1 wat door het de kaart/het os wordt gegenereerd.

[Rutix]

Zat eraan te denken om deze onderdelen binnenkort te kopen.

#	Product	Prijs	Subtotaal
1	Lian Li PC-Q08B	€ 87,90	€ 87,90
1	Intel Core i5 2500K Boxed	€ 189,95	€ 189,95
1	Cooler Master Silent Pro M500	€ 70,-	€ 70,-
1	G.Skill Ripjaws X F3-12800CL9D-8GBXL	€ 39,50	€ 39,50
1	Zotac H67ITX-C-E	€ 111,40	€ 111,40
Bekijk collectie Importeer producten		Totaal	€ 498,75

Eigenlijk wil ik even wachten tot de harde schijven weer wat goedkoper zijn .

[ Voor 7% gewijzigd door Rutix op 05-01-2012 22:14 ]

[brederodekater]

Rutix schreef op donderdag 05 januari 2012 @ 22:09:
Zat eraan te denken om deze onderdelen binnenkort te kopen.

#	Product	Prijs	Subtotaal
1	Lian Li PC-Q08B	€ 87,90	€ 87,90
1	Intel Core i5 2500K Boxed	€ 189,95	€ 189,95
1	Cooler Master Silent Pro M500	€ 70,-	€ 70,-
1	Zotac H67ITX-C-E	€ 111,40	€ 111,40
Bekijk collectie Importeer producten		Totaal	€ 459,25

Eigenlijk wil ik even wachten tot de harde schijven weer wat goedkoper zijn .

Is die 2500k niet een beetje gretig voor een NAS, of ben je er nog meer dingen mee van plan?

[Rutix]

brederodekater schreef op donderdag 05 januari 2012 @ 22:12:
[...]


Is die 2500k niet een beetje gretig voor een NAS, of ben je er nog meer dingen mee van plan?

Eigenlijk wel maar ik wil het ook voor andere dingen gebruiken (misschien transcoding ) maar ik zit nog te twijfelen of ik niet een andere zal nemen die wat minder zwaar en gretig is .

[brederodekater]

Rutix schreef op donderdag 05 januari 2012 @ 22:15:
[...]

Eigenlijk wel maar ik wil het ook voor andere dingen gebruiken (misschien transcoding ) maar ik zit nog te twijfelen of ik niet een andere zal nemen die wat minder zwaar en gretig is .

Of je wacht tot de schijven weer gedaald zijn tot een normale prijshoogte, dan koop je ook gelijk een 3500k voor dezelfde prijs, met de helft minder stroomverbruik

[Rutix]

brederodekater schreef op donderdag 05 januari 2012 @ 22:22:
[...]


Of je wacht tot de schijven weer gedaald zijn tot een normale prijshoogte, dan koop je ook gelijk een 3500k voor dezelfde prijs, met de helft minder stroomverbruik

Ook een idee . Rond maart is dat dan ?

[Dennisik]

Hallo Heren/Dames,

Ik zat eerst te kijken naar een RNDU4000 als nas systeem. Na vandaag toch wat bekende te hebben gesproken die ook de mogelijkheid gaven om zelf iets te bouwen ben ik vanavond even aan de slag gegaan en kwam ik op dit lijstje:

#	Product	Prijs	Subtotaal
4	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 105,91	€ 423,64
1	Cooler Master Elite 310	€ 29,-	€ 29,-
1	Kingston ValueRAM KVR1066D3S8N7/2G	€ 11,02	€ 11,02
1	AMD Athlon II X2 260 Boxed	€ 51,77	€ 51,77
1	be quiet! Pure Power L7 350W	€ 37,50	€ 37,50
1	Transcend TS8GSSD25H-M 8GB	€ 25,55	€ 25,55
1	Asus M5A78L-M LX	€ 42,99	€ 42,99
Bekijk collectie Importeer producten		Totaal	€ 621,47

Totaal zonder HD's:
197,83 euro

Moet zeggen dat ik er bijna trots op ben
198 euro voor een nas is natuurlijk geen geld.

Linux 10.10 komt erop, heb ik OP al gelezen dat RAID5 mogelijk is.
Daarnaast wil ik dit er ook op draaien.
- Nieuwsgroepen
- Torrent
- DLNA streaming
- Backup

Eerste 3 weet ik dat dit mogelijk is, 4de zal ongetwijfeld ook voor elkaar te krijgen en dan ook geautomatiseerd.

2 kleine vragen.
1ste vraag:
SSD gebruik ik voor OS, zou het aan te raden zijn om dit nog in RAID 1 te zetten naast de RAID5.
Ik zou dan nog een extra controller kunnen gebruiken om 2 extra Sata poorten toe te voegen en dan 2x SSD in RAID 1, al acht ik dat nu nog niet echt nodig.

2de vraag.
Hebben jullie opmerkingen op het systeem hierboven, ik heb slechts 4u bekeken naar producten kan altijd dat ik wat vergeet maar moet zeggen dat ik zo 'snel' toch de beste producten heb toegevoegd die ik heb gevonden.

Alvast bedankt!
Dennis

[CurlyMo]

Dennisik schreef op vrijdag 06 januari 2012 @ 21:12:
Hallo Heren/Dames,

Ik zat eerst te kijken naar een RNDU4000 als nas systeem. Na vandaag toch wat bekende te hebben gesproken die ook de mogelijkheid gaven om zelf iets te bouwen ben ik vanavond even aan de slag gegaan en kwam ik op dit lijstje:

#	Product	Prijs	Subtotaal
4	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 105,91	€ 423,64
1	Cooler Master Elite 310	€ 29,-	€ 29,-
1	Kingston ValueRAM KVR1066D3S8N7/2G	€ 11,02	€ 11,02
1	AMD Athlon II X2 260 Boxed	€ 51,77	€ 51,77
1	be quiet! Pure Power L7 350W	€ 37,50	€ 37,50
1	Transcend TS8GSSD25H-M 8GB	€ 25,55	€ 25,55
1	Asus M5A78L-M LX	€ 42,99	€ 42,99
Bekijk collectie Importeer producten		Totaal	€ 621,47

Totaal zonder HD's:
197,83 euro

Moet zeggen dat ik er bijna trots op ben
198 euro voor een nas is natuurlijk geen geld.

Linux 10.10 komt erop, heb ik OP al gelezen dat RAID5 mogelijk is.
Daarnaast wil ik dit er ook op draaien.
- Nieuwsgroepen
- Torrent
- DLNA streaming
- Backup

Eerste 3 weet ik dat dit mogelijk is, 4de zal ongetwijfeld ook voor elkaar te krijgen en dan ook geautomatiseerd.

2 kleine vragen.
1ste vraag:
SSD gebruik ik voor OS, zou het aan te raden zijn om dit nog in RAID 1 te zetten naast de RAID5.
Ik zou dan nog een extra controller kunnen gebruiken om 2 extra Sata poorten toe te voegen en dan 2x SSD in RAID 1, al acht ik dat nu nog niet echt nodig.

2de vraag.
Hebben jullie opmerkingen op het systeem hierboven, ik heb slechts 4u bekeken naar producten kan altijd dat ik wat vergeet maar moet zeggen dat ik zo 'snel' toch de beste producten heb toegevoegd die ik heb gevonden.

Alvast bedankt!
Dennis

M.b.t. je vraag over de RAID 1 OS. Dat hangt ervan af hoe lang je down zou willen zijn. Ik draai hier ZFS waarbij ik van mijn uiteindelijke OS verschillende snapshots heb gemaakt en deze vervolgens weggeschreven naar mijn backup schijf. Crashed mijn OS schijf, dan installeer ik opnieuw mijn basis systeem, zet de ZFS snapshots terug en alles werkt weer als voorheen. Voor mij is het dus geen probleem om ongeveer 1 uur te klussen. Wanneer je dit niet wilt, dan kan je altijd RAID 1 overwegen.

Qua systeem.
- Ik zou ervoor kiezen om er meer geheugen in te doen. Minimaal 4GB.
- Afhankelijk van je RAID oplossing is de vraag of je wel zo'n SSD wilt. ZFS kan bijv. prima van je data pool draaien. Daarnaast kan je er ook voor kiezen om je systeem op USB (disk/hdd) te draaien. Dan spaar je ook sata poorten. Dat is ook precies wat ik doe. Dan kan je later een fatsoenlijke SSD kopen die ook andere taken op zich kan nemen. Daarvoor verwijs ik je ook graag naar het ZFS topic.

[ Voor 7% gewijzigd door CurlyMo op 06-01-2012 22:20 ]

[Dennisik]

.

[ Voor 99% gewijzigd door Dennisik op 04-03-2013 21:00 ]

[Q]

EXT4 = trage vage zooi. XFS is mijn advies.

[Dennisik]

Q schreef op vrijdag 06 januari 2012 @ 23:45:
EXT4 = trage vage zooi. XFS is mijn advies.

Mmh, eerste keer dat ik dat hoor. Niet dat ik enorm veel kennis hiervan heb, maar heb toch wel wat topics doorgelezen. Geef XFS dan geen enkel probleem met het bovenstaande wat ik wil doen?

Ik zal er eens naar zoeken, danku voor de tip!

[ Voor 6% gewijzigd door Dennisik op 07-01-2012 02:09 ]

[FireDrunk]

Beide hebben hun sterke en zwakke kanten. Ligt vooral aan het gebruik.
XFS is over het algemeen beter voor grote bestanden (>100MB).
EXT4 is veel sneller in bestanden en mappen aanmaken en indexeren (als ik het goed onthouden heb.)

[nielsdc]

iBurger schreef op donderdag 29 december 2011 @ 13:24:
Ik vraag me al een geruime tijd af wat nou eigenlijk de minimale hardware specs zijn om met raid5 en mdadm je ethernet vol te trekken. Heeft iemand enig inzicht hierin? Het hangt natuurlijk ook deels van je hardeschijven af.

Normaal gesproken zal de rekenkracht van je CPU niet zo snel de bottleneck zijn. Mijn CPU geeft volgens md de volgende raid5 partity snelheid:

code:

xor: automatically using best checksumming function: generic_sse
generic_sse:  6767.000 MB/sec

Dit is op z'n laagste snelheid (1.6GHz), op volle snelheid (3.1GHz) doet ie > 13GB/s. En voor reads hoef je niet eens parity berekeningen te doen! (tenzij je array degraded is) Elke redelijk recente CPU moet dus de parity berekeningen zonder problemen kunnen doen. Wat wel veel uitmaakt is geheugen bandbreedte, bus bandbreedte, de kwaliteit van de netwerk adapter (TCP/IP offloading), de kwaliteit van je SATA controller, en vooral welk protocol je draait over het netwerk. Met netcat of ndb moet je je ethernet makkelijk vol krijgen, maar samba of nfs zijn nogal complex, en dan zal je snelheid voor een groot deel afhangen van tuning.

Stel dat je 3 x 2TB HDs pakt van WD of Samsung. Watvoor soort CPU heb ik dan nodig om 125 mb/s read and write speeds te krijgen onder linux met raid5? Ik neem aan dat m'n huidige build te langzaam hiervoor is. (betreft een AMD 3200)\

Normaal gesproken ligt je bottleneck niet bij de CPU, en lokaal 125 MB/s read/write met 3 x 2TB moet met jou CPU geen probleem zijn. Als je dit niet haalt zou ik verwachten dat het probleem bij je SATA controller zit. AMD en Nvidia SATA controllers zijn lang niet zo goed als intel, en SATA op insteekkaarten is vaak helemaal brak. Over het netwerk is een heel ander verhaal.

Mag je aannemen dat het een stuk makkelijker is om 125 mb/s te halen met 5 of 6 hardeschijven dat met slechts 3? Misschien is de CPU nog steeds vrij langzaam maar omdat al die schijven met zeg ongeveer 60 of 80 mb/s kunnen uitlezen geeft dat je CPU weer extra ruimte....

Voor je CPU maakt dat niets uit, want je moet nog steeds parity berekenen over dezelfde hoeveelheid data. Voor andere bottlenecks kan wel helpen.

[nielsdc]

Q schreef op vrijdag 06 januari 2012 @ 23:45:
EXT4 = trage vage zooi. XFS is mijn advies.

Source?

Normaal gesproken verschillen XFS en ext4 gemiddeld niet zo veel van elkaar. Zie b.v.:

http://cd34.com/blog/infr...s-benchmarks-and-testing/

[nielsdc]

Dennisik schreef op vrijdag 06 januari 2012 @ 21:12:
Moet zeggen dat ik er bijna trots op ben
198 euro voor een nas is natuurlijk geen geld.

Linux 10.10 komt erop, heb ik OP al gelezen dat RAID5 mogelijk is.
Daarnaast wil ik dit er ook op draaien.
- Nieuwsgroepen
- Torrent
- DLNA streaming
- Backup

Eerste 3 weet ik dat dit mogelijk is, 4de zal ongetwijfeld ook voor elkaar te krijgen en dan ook geautomatiseerd.

2 kleine vragen.
1ste vraag:
SSD gebruik ik voor OS, zou het aan te raden zijn om dit nog in RAID 1 te zetten naast de RAID5.
Ik zou dan nog een extra controller kunnen gebruiken om 2 extra Sata poorten toe te voegen en dan 2x SSD in RAID 1, al acht ik dat nu nog niet echt nodig.

2de vraag.
Hebben jullie opmerkingen op het systeem hierboven, ik heb slechts 4u bekeken naar producten kan altijd dat ik wat vergeet maar moet zeggen dat ik zo 'snel' toch de beste producten heb toegevoegd die ik heb gevonden.

Persoonlijk zou ik in het geval van een NAS voor een intel systeem gaan. Je hebt dan over het algemeen een zuiniger systeem met een betere SATA controller en een betere netwerk kaart. De Linux support voor intel producten is over het algemeen erg goed (Er wordt een hoop door intel ontwikkeld en als open source vrijgegeven), waar dat bij andere chipsets lang niet altijd het geval is. Het kost helaas vaak wel wat meer.

Met dat soort goedkope SSD's kan je inderdaad best raid1 doen. Het scheelt je een hoop tijd als er eentje kapot gaat, of dat de kosten waard is zal je zelf moeten beslissen. Goedkope SATA controllers presteren over het algemeen niet goed, maar met de snelheden van deze SSD's zal dat geen issue zijn. Gebruik in dat geval wel de poorten op je MB voor je normale schijven, en de extra controller voor je SSD's

[CurlyMo]

Misschien is het goed als je aangeeft welke soort RAID oplossing je overweegt. MDADM of ZFS of anderszins? Dat scheelt namelijk ook een hoop in de keuzes voor een systeem. Aan je post te lezen ga ik van MDADM uit, zo ja, is dat een overwogen besluit of is dit hetgeen wat je kende. In het laatste geval is het misschien goed om daar ook wat informatie over in te winnen.

[koekoe]

Na hier veel gelezen te hebben heb ik uiteindelijk ook een NAS samengesteld.
Als raidcontroller ben ik gegaan voor een Highpoint 2740.

Nu wou ik graag een raid 5 setup doen met deze 3 disks (zijn 3 verschillende maar dat zou toch geen rol moeten spelen hé?)
SAMSUNG HD204UI
WD20EARX
WD20EARS

Echter krijg ik voor de WD's steeds fouten van de Highpoint dat er een bad sector hersteld is.
Na wat opzoekingswerk blijkt dat het nog voorkomt dat de green (WD) schijven problemen geven met raid, TLER vooral...
Een verify komt steeds uit op een rebuild

Zijn er hier nog met deze ervaring ?
Kunnen de samsung's hier beter mee overweg , omdat die al de hele tijd vlekkeloos draait ?

[HarmoniousVibe]

Als je hardware-raid (of fakeraid) wilt draaien moet je eigenlijk TLER/ERC/CCTL-enabled schijven hebben. Wat betreft de Samsung is het mogelijk dat je raid-controller CCTL aanzet voor die schijf, maar WD staat dit simpelweg niet toe. Feitelijk zijn die schijven dus niet erg geschikt daarvoor. Je moet eigenlijk zogenaamde, veel te dure "Raid Edition"-disks hebben. Of gewoon een merk kopen waarbij je de TLER-achtige functionaliteit at will aan of uit kunt zetten.

[CurlyMo]

Of een goede software raid oplossing gebruiken buiten je disks om. Voor ZFS is dit bijv. helemaal geen probleem. Wel even je disks op passthrough zetten op je raid controller.

[mphilipp]

nielsdc schreef op zaterdag 07 januari 2012 @ 05:05:
[...]
Source?

Normaal gesproken verschillen XFS en ext4 gemiddeld niet zo veel van elkaar. Zie b.v.:

http://cd34.com/blog/infr...s-benchmarks-and-testing/

Ik heb het op mijn eigen NAS getest en EXT4 was rete, maar dan ook écht rete-traag. XFS was veel sneller. Dus benchmarks op andermans systeem zijn leuk, maar test het gewoon zelf op je eigen systeem. Er is bij elke benchmark wel wat mis in vergelijking met jouw eigen systeem.

Ik heb na de bouw van mijn NAS gewoon even de tijd genomen om met een script de boel te testen om zodoende het snelste te kunnen kiezen. Het snelste op mijn systeem dus. Niet een theorie die door iemand anders bedacht is.

[Verwijderd]

robkamp schreef op woensdag 04 januari 2012 @ 16:13:
[...]
Als ik in de lijst van door Asus ondersteund geheugen kijk zie ik dat maximaal 8GiB (2x4GiB) ondersteund is. Welk geheugen van 2x8GiB past er volgens jou in?

Om hier even op terug te komen. Zat zo even de productpagina's te bekijken van de Asus Brazos bordjes, en inderdaad: daar staat max 8GB. In mijn manual van mijn MSI bordje staat ook 8GB. Maar ik zou zweren dat ik voorheen op verschillende Brazos productpagina's 16GB zag staan, er vanuitgaand (is dat Nederlands? ) dat dat 2x8GB betekende, wat ook kan want die zijn inmiddels voor een normale prijs beschikbaar.

Dus hoe het precies zit? Misschien heeft Asus de info aangepast, of misschien herinner ik het me verkeerd. Maar in elk geval 2x4GiB is mogelijk en gezien de lage prijs van RAM zou ik dat zeker doen. Wel kun je nog een anderhalve watt besparen door low-power geheugen te nemen. Dat is aan jou, maar dat is wel mooi geheugen voor ook toekomstige platforms die met 1.25V DDR3 werken. Voorbeeld hiervan is de G.Skipp Sniper SR2 (2x4GiB set).

Als ik het goed begrijp zou dit dus beter zijn voor het draaien van FreeNAS met RAID-Z.

Of ZFSguru, maar over het softwarevlak kun je denk ik beter in het ZFS topic posten daar help ik je ook graag.

Heb nog wel een opmerking over je Samsung 830. Snelle SSD hoor, maar wel hoge write amplification. Als je nou die voor ZFS gaat gebruiken kun je ook Crucial M4 64GB overwegen. Praktisch zijn de Samsung en Crucial even snel bij lage capaciteiten (64 / 128) maar samsung doet wel aan agressieve garbage collection, waardoor deze een hogere write amplification heeft. Zelf zou ik dan kiezen voor de Crucial als je denkt veel random writes te gaan doen. En Intel kun je ook overwegen als je ook SLOG wilt gebruiken.

In elk geval wil je een deel van de ruimte ongebruikt laten als extra spare space; dit is erg belangrijk! Over de details hiervan kun je denk ik het beste keer in het ZFS topic posten als je eenmaal zover bent.

nielsdc schreef op zaterdag 07 januari 2012 @ 04:56:
Normaal gesproken zal de rekenkracht van je CPU niet zo snel de bottleneck zijn. Mijn CPU geeft volgens md de volgende raid5 partity snelheid:

code:

xor: automatically using best checksumming function: generic_sse
generic_sse:  6767.000 MB/sec

Ja dat is dus de grap. Veel mensen denken dat RAID5 veel CPU kracht komt omdat er parity uitgerekend moet worden. De grap is: parity (XOR) is zowat de makkelijkste en snelste CPU operatie die je kunt doen en is voornamelijk bottlenecked door de geheugen-bandbreedte.

Veel meer CPU cycles zijn nodig voor de write-back engine van een RAID5 driver, die writes opspaart en er grote full stripe blocks van maakt. Schrijven naar RAID5 is alleen snel (>15MB/s) als je in blokken van een magische grootte kunt wegschrijven. Stel je hebt 4 schijven met stripesize 64KiB, dan is je full stripe block 192KiB. Alleen met die grootte schrijven, op een aligned boundary, zal tot hoge snelheden leiden.

Al dat opsparen van writes en knip-en plakwerk omdat requests moeten worden opgedeeld om die magische blokgrootte te bereiken, zorgt ervoor dat je CPU enorm veel memory operaties moet doen.

Moraal van het verhaal: RAID5 moet veel ingewikkeldere dingen doen dan alleen parity uitrekenen. Dat laatste is supereenvoudig en geen bottleneck zelfs op oudere systemen.

[mphilipp]

HarmoniousVibe schreef op zondag 08 januari 2012 @ 00:00:
Als je hardware-raid (of fakeraid) wilt draaien moet je eigenlijk TLER/ERC/CCTL-enabled schijven hebben. Wat betreft de Samsung is het mogelijk dat je raid-controller CCTL aanzet voor die schijf

Nou, niet bij mijn Samsung schijven... Misschien dat ze nu de noot gekraakt hebben, maar toen ik de boel in elkaar knutselde, was dat het enige detail dat ik vooraf over het hoofd gezien had. Dus kon ik gaan werken met software RAID (MDADM) terwijl uit tests bleek dat het via de RAID controller veel sneller was. Jammer...

[Dennisik]

Zijn er trouwens mensen die WD20EARS in hun nas systeem hebben?

Ik zag ook al dat de RNDU4000 hier problemen mee had, afgaande op de post hierboven is het beter om andere schijven te kijken die beter zijn voor een RAID configuratie?

[nielsdc]

mphilipp schreef op zondag 08 januari 2012 @ 01:49:
[...]

Ik heb het op mijn eigen NAS getest en EXT4 was rete, maar dan ook écht rete-traag. XFS was veel sneller. Dus benchmarks op andermans systeem zijn leuk, maar test het gewoon zelf op je eigen systeem. Er is bij elke benchmark wel wat mis in vergelijking met jouw eigen systeem.

Ik heb na de bouw van mijn NAS gewoon even de tijd genomen om met een script de boel te testen om zodoende het snelste te kunnen kiezen. Het snelste op mijn systeem dus. Niet een theorie die door iemand anders bedacht is.

Ik geef je 100% gelijk! Er zijn zoveel verschillende factoren dat het voorspellen van performance erg moeilijk is, dus zelf testen is altijd het beste. Maar als ik zelf op iets heel anders uit zou komen dan de meeste anderen zou ik toch wel even gaan kijken waardoor dat komt. Je eerdere post miste de nuancering "op mijn systeem", vandaar mijn reactie.

Ik zal zo voor de lol eens op mijn eigen systeem testen.

[nielsdc]

CurlyMo schreef op zondag 08 januari 2012 @ 01:23:
Of een goede software raid oplossing gebruiken buiten je disks om. Voor ZFS is dit bijv. helemaal geen probleem. Wel even je disks op passthrough zetten op je raid controller.

Dat is niet automatisch waar! Ik had een uncorrectable read error op een van mijn oude schijven, en de controller gaf een timeout, probeerde de link een paar maal te resetten, en gaf het daarna op (ubuntu 11.10, ICH8, samsung HD753LJ). Je moet dus wel zorgen dat je de timeout aanpast zodat die langer is dan de maximale tijd die TLER in beslag neemt. Ik gok dat andere OS'en ook wel iets soortgelijks zullen hebben.

[HarmoniousVibe]

mphilipp schreef op zondag 08 januari 2012 @ 01:52:
[...]

Nou, niet bij mijn Samsung schijven... Misschien dat ze nu de noot gekraakt hebben, maar toen ik de boel in elkaar knutselde, was dat het enige detail dat ik vooraf over het hoofd gezien had. Dus kon ik gaan werken met software RAID (MDADM) terwijl uit tests bleek dat het via de RAID controller veel sneller was. Jammer...

Ligt eraan. In Linux kun je gewoon CCTL/ERC aan- dan wel uitzetten, mits je controller ATA-commando's doorlaat. Overigens moet een raid-controller wel van zéér goede huize komen om MDADM of ZFS performance-wise te verslaan. Volgens mij kan dat bijna niet

Dennisik schreef op zondag 08 januari 2012 @ 01:54:
Zijn er trouwens mensen die WD20EARS in hun nas systeem hebben?

Ik zag ook al dat de RNDU4000 hier problemen mee had, afgaande op de post hierboven is het beter om andere schijven te kijken die beter zijn voor een RAID configuratie?

Ligt eraan. Voor MDADM of ZFS zijn de WD20EAxS-schijven prima, want dan is TLER alleen maar vervelend. Voor hardware-raid of fakeraid, echter, moet je veel te dure "raid edition"-schijven kopen, dan wel schijven waarbij het mogelijk is om de TLER-achtige functionaliteit in te schakelen.

Voor zover ik weet (pin me er niet of vast) kun je bij Hitachi's ERC inschakelen dmv de Hitachi-software. Dit is ook het enige merk waarbij deze instelling persistent is; bij Samsungs en Seagates is deze instelling niet persistent en zal ATA-passthrough moeten worden ondersteund door de controller én het OS.

nielsdc schreef op zondag 08 januari 2012 @ 11:30:
[...]


Dat is niet automatisch waar! Ik had een uncorrectable read error op een van mijn oude schijven, en de controller gaf een timeout, probeerde de link een paar maal te resetten, en gaf het daarna op (ubuntu 11.10, ICH8, samsung HD753LJ). Je moet dus wel zorgen dat je de timeout aanpast zodat die langer is dan de maximale tijd die TLER in beslag neemt. Ik gok dat andere OS'en ook wel iets soortgelijks zullen hebben.

Volgens mij heb jij het hier over fakeraid/moboraid. Dat is verre van een goede implementatie van software-raid. Feitelijk is het ook hardware-raid (als je dan moet kiezen), simpelweg omdat de algoritmes zijn geïmplementeerd in een chip op het mobo (ergens op de southbridge gok ik).

[ Voor 19% gewijzigd door HarmoniousVibe op 08-01-2012 12:22 ]

[nielsdc]

HarmoniousVibe schreef op zondag 08 januari 2012 @ 12:18:
Volgens mij heb jij het hier over fakeraid/moboraid. Dat is verre van een goede implementatie van software-raid. Feitelijk is het ook hardware-raid (als je dan moet kiezen), simpelweg omdat de algoritmes zijn geïmplementeerd in een chip op het mobo (ergens op de southbridge gok ik).

De naam fakeraid geeft al aan dat het hier niet gaat om hardware raid, maar software raid. De opties in je bios doen niets anders dan een raid header aan het begin van je drive te schrijven. Hierdoor wordt de disk alleen bruikbaar voor de raid driver (want geen partition table), en kunnen je bios en de raid driver de raid configuratie van de schijven bepalen. Voor de rest wordt alles door je raid driver gedaan, en volgens mij kun je dus ook niet b.v. een array rebuild doen vanuit de bios. (Weet ik niet zeker, maar zou zo moeten zijn )

Ik heb 2 disks in fakeraid op m'n werkstation, en de Windows driver zorgt ervoor dat je alleen het array ziet. Als ik Linux boot dan worden er gewoon 2 disks gedetecteerd, de device-mapper herkent daarna de raid header, en gebruikt de Linux softraid voor precies hetzelfde array! De kwaliteit zal dus altijd van je driver afhangen, maar hoeft niet slecht te zijn.

[mphilipp]

HarmoniousVibe schreef op zondag 08 januari 2012 @ 12:18:
[...]
Ligt eraan. In Linux kun je gewoon CCTL/ERC aan- dan wel uitzetten, mits je controller ATA-commando's doorlaat. Overigens moet een raid-controller wel van zéér goede huize komen om MDADM of ZFS performance-wise te verslaan. Volgens mij kan dat bijna niet

Bij mij nét niet... Het commando gaat er niet doorheen. Probleem is ook dat deze schijven het niet onthouden, dus moet je een script maken. Anders zou ik ze even aan een andere pc kunnen hangen om die switch om te zetten. Indertijd heb ik behoorlijk gegraven op internet om het uit te zoeken. Het zou zomaar kunnen dat het nu wel werkt, want er wordt behoorlijk aan dat programma gesleuteld. Maar nu is de hele array al een poos in gebruik en staat er 7Tb harde porno op en dat zet ik niet zomaar even op een usb stikkie...

Over ZFS heb ik het niet. Maar het verschil tussen MDADM en mijn RocketRaid heb ik getest en die is met RAID 5 gewoon sneller. Een eind terug in dit topic heb ik de resultaten gepost. Het scheelde echt aanzienlijk.

[ Voor 15% gewijzigd door mphilipp op 08-01-2012 13:09 ]

[Dennisik]

.

[ Voor 111% gewijzigd door Dennisik op 04-03-2013 21:01 ]

[HarmoniousVibe]

mphilipp schreef op zondag 08 januari 2012 @ 13:08:
[...]

Bij mij nét niet... Het commando gaat er niet doorheen. Probleem is ook dat deze schijven het niet onthouden, dus moet je een script maken. Anders zou ik ze even aan een andere pc kunnen hangen om die switch om te zetten. Indertijd heb ik behoorlijk gegraven op internet om het uit te zoeken. Het zou zomaar kunnen dat het nu wel werkt, want er wordt behoorlijk aan dat programma gesleuteld. Maar nu is de hele array al een poos in gebruik en staat er 7Tb harde porno op en dat zet ik niet zomaar even op een usb stikkie...

Over ZFS heb ik het niet. Maar het verschil tussen MDADM en mijn RocketRaid heb ik getest en die is met RAID 5 gewoon sneller. Een eind terug in dit topic heb ik de resultaten gepost. Het scheelde echt aanzienlijk.

Inmiddels wel in ieder geval . De Highpoint RocketRaid wordt ondersteund sinds smartmontools 5.37 dmv the hpt-driver. En 'een script schrijven' klikt ook moeilijker dan het is; dat is een kwestie van een regeltje toevoegen aan /etc/rc.local:

smartctl -d hpt,L/M/N -l seterc,70,70

ofzo.

Deze zal de timeouts voor reads en writes op 7sec zetten. Overigens moet je met MDADM en 8 schijven wel meer kunnen halen dan de door jou gemeten snelheden. Zelf haal ik met 9 x WD20EARS in raid6 zo'n 800MiB/s sequential read en 400 write (met slechts een measly Sempron 140). In raid5 lag de write een stuk dichter bij de read, maar omdat ik de migratie van 4 naar 9 schijven en van raid5 naar raid6 in één keer heb gedaan, heb ik voor raid5 icm 9 schijven geen harde cijfers. Met 4 schijven haalde ik 350/300 in raid5. Wellicht had je XFS niet helemaal goed geoptimaliseerd. Vooral de sunit, swidth en inode64 zijn érg belangrijk voor de performance. Als je ook snel heel veel kleine files wilt kunnen deleten zou ik de logbsize en logbufs-settings ook tweaken. Mijn fstab:

defaults,user,exec,noatime,sunit=1024,swidth=7168,swalloc,allocsize=1g,largeio,inode64,logbufs=8,logbsize=256k

Overigens snap ik dat je inmiddels je array vanuit praktisch ookpunt niet meer wilt/kunt migreren, maar mijn verhaal was ook meer voor andere mensen die nog een keuze moeten maken . Mag ik aannemen dat jouw Highpoint ervoor zorgt dat ERC wordt enabled op jouw schijven? De XFS tweaks zijn overigens ook met hardware-raid erg nuttig .

nielsdc schreef op zondag 08 januari 2012 @ 12:59:
[...]


De naam fakeraid geeft al aan dat het hier niet gaat om hardware raid, maar software raid. De opties in je bios doen niets anders dan een raid header aan het begin van je drive te schrijven. Hierdoor wordt de disk alleen bruikbaar voor de raid driver (want geen partition table), en kunnen je bios en de raid driver de raid configuratie van de schijven bepalen. Voor de rest wordt alles door je raid driver gedaan, en volgens mij kun je dus ook niet b.v. een array rebuild doen vanuit de bios. (Weet ik niet zeker, maar zou zo moeten zijn )

Ik heb 2 disks in fakeraid op m'n werkstation, en de Windows driver zorgt ervoor dat je alleen het array ziet. Als ik Linux boot dan worden er gewoon 2 disks gedetecteerd, de device-mapper herkent daarna de raid header, en gebruikt de Linux softraid voor precies hetzelfde array! De kwaliteit zal dus altijd van je driver afhangen, maar hoeft niet slecht te zijn.

Goed, hierover verschillen we dan van mening. Het wordt niet binnen/in het OS geïmplementeerd, dus is het hardware-raid, gegeven de keuze. Net als bij 'echte' hw-raid is bij fakeraid de logica embedded op een hardwarematige chip, ergo hardware-raid. Ik wist overigens niet dat MDADM een raid-array van waarschijnlijk een ICHR-implementatie kan 'overnemen'. Dat is cool, maar dat betekent in mijn ogen echter geenszins dat hierdoor fakeraid ineens software-raid zou zijn. Zo zou MDADM ook prima een Areca-array kunnen converteren, mits Areca de specs vrij zou geven.

Maar goed, we kunnen het er denk ik wel over eens zijn dat fakeraid of moboraid gewoon de beste benaming is voor een dergelijke implementatie van raid.

[ Voor 29% gewijzigd door HarmoniousVibe op 08-01-2012 13:52 ]

[EJPostema]

de TDP van 65 watt zegt niks hè... Dat is het maximale verbruik.
Het idle verbruik is bij intel gewoon beter en lager Bron Even naar beneden scrollen.

Aantal GHZ zegt ook niet zoveel, in dezelfde bron zie je dat de pentium sneller is.

Waar je die 100 euro vandaan haalt snap ik niet eigenlijk. Een intel mobo + pentium 620 is misschien 2 a 3 tientjes duurder.

OF heb ik iets in je eisen gemist?

[mphilipp]

HarmoniousVibe schreef op zondag 08 januari 2012 @ 13:42:
[...]
Inmiddels wel in ieder geval . De Highpoint RocketRaid wordt ondersteund sinds smartmontools 5.37 dmv the hpt-driver. En 'een script schrijven' klikt ook moeilijker dan het is; dat is een kwestie van een regeltje toevoegen aan /etc/rc.local

Ik verwachtte al zoiets. Maar ja...toen ik 'm in elkaar zette ging het nog niet. Dat script was ook het probleem niet. Daar kom ik wel uit (ik kan goed copy/pasten )
Misschien kan ik binnenkort wel iets doen. Ik kan tijdelijk over iets van 4Tb en ik denk dat ik dan de belangrijkste dingen even overzet. Er staan voornamelijk films op en niet alle films wil ik tot in lengte der dagen blijven kijken, dus als ik de boel kan reduceren krijg ik het misschien voor elkaar om het te doen zoals ik het altijd wilde doen.

Tsja...die optimalisaties heb ik toen niet gedaan. Ik kende ze sowieso niet, en ik heb gewoon even sec getest wat ze deden. Geen idee of er aan beide kanten meer uit te halen was geweest. Dat geeft overigens ook het probleem van benchmarks aan: als je maar lang genoeg gaat pielen, kun je overal wel het maximale uit persen. Ergo: niet naar benchmarks kijken. Het is net zo erg als statistieken... Ik ben op zich dik tevreden over de performance, zeker als ik kijk naar die kant en klare nasjes. Die performen vaak diep triest vind ik zelf.

[ Voor 5% gewijzigd door mphilipp op 08-01-2012 13:55 ]

[Dennisik]

EJPostema schreef op zondag 08 januari 2012 @ 13:53:
de TDP van 65 watt zegt niks hè... Dat is het maximale verbruik.
Het idle verbruik is bij intel gewoon beter en lager Bron Even naar beneden scrollen.

Aantal GHZ zegt ook niet zoveel, in dezelfde bron zie je dat de pentium sneller is.

Waar je die 100 euro vandaan haalt snap ik niet eigenlijk. Een intel mobo + pentium 620 is misschien 2 a 3 tientjes duurder.

OF heb ik iets in je eisen gemist?

Nee zeker niet, ik heb gewoon een te snelle conclusie getrokken (En puur op de facts van alternate.nl)

Ik zal even kijken welk mobo geschikt is. Prijsverschil van de processors is er gewoon niet, nu alleen even kijken of ik een compatible mobo vind met 6 sata poorten voor een leuke prijs.

Bedankt iig!

Edit: Merendeel is 4x Sata-300 + 2x Sata-600.
Er staat ook dat sommige RAID5 ondersteunen, hierbij ga ik er vanuit dat ze dan RAID5 hardraid bedoelen. Maar is dat dan over die 4x sata-300 of over alle 6 de sata poorten. Dan zou nog hardware raid ook nog een optie zijn, en is die 20 a 30 euro meer veel beter besteed.

Dank

[ Voor 16% gewijzigd door Dennisik op 08-01-2012 14:10 ]

[HarmoniousVibe]

Fakeraid

[Dennisik]

Duidelijk, hou het gewoon bij softraid. Performance verschil zal in mijn case denk niet eens te merken zijn.

[EJPostema]

Dennisik schreef op zondag 08 januari 2012 @ 14:46:
Duidelijk, hou het gewoon bij softraid. Performance verschil zal in mijn case denk niet eens te merken zijn.

Waarvoor ga je je NAS gebruiken trouwens, misschien is de celeron 530 ook wel voldoende. Deze is iets goedkoper en zuiniger. Qua processor kracht is het enige verschil dat hij een paar 100 mhz lager draait.

[Dennisik]

EJPostema schreef op zondag 08 januari 2012 @ 14:59:
[...]


Waarvoor ga je je NAS gebruiken trouwens, misschien is de celeron 530 ook wel voldoende. Deze is iets goedkoper en zuiniger. Qua processor kracht is het enige verschil dat hij een maar 100 mhz lager draait.

Deze zaken wil ik hem voor gebruiken:

- Nieuwsgroepen
- Torrent
- DLNA streaming
- Backup
- Centrale plek voor alle films/tv series/ hd films

[CurlyMo]

EJPostema schreef op zondag 08 januari 2012 @ 14:59:
[...]
Waarvoor ga je je NAS gebruiken trouwens, misschien is de celeron 530 ook wel voldoende. Deze is iets goedkoper en zuiniger. Qua processor kracht is het enige verschil dat hij een paar 100 mhz lager draait.

De applicaties die op de NAS komen de draaien zullen waarschijnlijk niet de grootste impact hebben op het systeem. Behalve natuurlijk bij virtualisatie. Zoals eerder aangegeven kan je beter kijken welke raid oplossing je wilt draaien om bijv. te kiezen voor veel geheugen zoals ZFS (min. 8GB) of waarbij geheugen minder een rol speelt zoals bijv. MDADM. Welke performance wil je graag halen met je NAS zodat de eventuele toevoeging van SSD's voor caching van meer of minder waarde zijn. Als het puur opslag of downloaden is, is het voltrekken van een gigabit lijn misschien niet de eerste prioriteit maar misschien ook wel. Daar kan je ook naar kijken met bijv. je hardware Intel lan controller. Zo kan ik (maar anderen zijn hier kundiger) wel even doorgaan.

[Dennisik]

Ik zal gewoon MDADM draaien, ZFS ben ik amper mee bekend.
Zo te zien valt het wel mee hoe ´slecht´ EXT4 is.

#	Product	Prijs	Subtotaal
1	Intel Pentium G620	€ 53,99	€ 53,99
4	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 105,91	€ 423,64
1	Cooler Master Elite 310	€ 29,-	€ 29,-
1	be quiet! Pure Power L7 350W	€ 37,50	€ 37,50
2	Transcend TS8GSSD25H-M 8GB	€ 25,55	€ 51,10
1	Corsair CMV4GX3M1A1333C9	€ 16,40	€ 16,40
1	Asrock H61DE/S3	€ 63,06	€ 63,06
Bekijk collectie Importeer producten		Totaal	€ 674,69

Met behulp van jullie kennis is dit hem geworden. Enkel een extra raid controller mist nog, op alternate staat er 1 van Delock maar die kan ik nergens terug vinden. Op ebay staat wel wat leuks maar dat is niet linux compatible staat er.

Denk dat ik de SSD aansluit op de 2x Sata-600 aansluitingen, en voorlopig de 4HD´s op de Sata-300 aansluitingen. Mocht ik sata poorten tekort komen kan ik nog altijd 2x een raid controller kopen.

Denk ondanks dat ik geen HD's heb, spul bestellen. Ben toch wel zeer benieuwd, gooi ik er tijdelijk even 1x300GB + 1x200GB erin.

Nu nog gaan uitzoeken hoe ik dit goed installeer

[nielsdc]

HarmoniousVibe schreef op zondag 08 januari 2012 @ 13:42:
Goed, hierover verschillen we dan van mening. Het wordt niet binnen/in het OS geïmplementeerd, dus is het hardware-raid, gegeven de keuze. Net als bij 'echte' hw-raid is bij fakeraid de logica embedded op een hardwarematige chip, ergo hardware-raid. Ik wist overigens niet dat MDADM een raid-array van waarschijnlijk een ICHR-implementatie kan 'overnemen'. Dat is cool, maar dat betekent in mijn ogen echter geenszins dat hierdoor fakeraid ineens software-raid zou zijn. Zo zou MDADM ook prima een Areca-array kunnen converteren, mits Areca de specs vrij zou geven.

Maar goed, we kunnen het er denk ik wel over eens zijn dat fakeraid of moboraid gewoon de beste benaming is voor een dergelijke implementatie van raid.

We praten een beetje langs elkaar heen geloof ik. Een ICH-R heeft GEEN extra hardware aan boord om parity berekeningen te doen! Een ICH-R is precies hetzelfde als een ICH, het enige verschil is wat extra software in de bios waarmee je een raid ID naar de schijf kan schrijven. Alle parity berekeningen worden door de raid driver op de CPU uitgevoerd, wat nu net de definitie is van softraid.

mdadm gaat denk ik niet werken, je hebt de device mapper raid nodig.

[HarmoniousVibe]

Wat mij betreft is het toetscriterium niet waardoor de logica wordt uitgevoerd, maar waar hij vandaan komt. Maar goed, dat is een kwestie van definitie en verder niet echt belangrijk. Als we gewoon fakeraid voor dat soort opstelling blijven hanteren weet iedereen waar het over gaat.

Of we gaan het hardwarematige software-raid noemen (of v.v.)

[Dennisik]

Wou de nas hierboven bestellen, maar wacht er toch nog even mee totdat ik CAT6 heb liggen.

Snelheden draadloos over 54mb waren max 900kb/ps

[ Voor 74% gewijzigd door Dennisik op 08-01-2012 20:48 ]

[floriske.nl]

Momenteel heb ik twee stuks CH3SNAs draaien thuis (Gb netwerk) en ik zit er vanwege de lage transfer rates aan te denken deze te vervangen door een zelfbouw nas.

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 99,70	€ 99,70
1	Lian Li PC-Q08B	€ 86,60	€ 86,60
1	be quiet! Pure Power L7 300W	€ 34,85	€ 34,85
1	G.Skill Ripjaws X F3-12800CL9D-8GBXL	€ 39,50	€ 39,50
Bekijk collectie Importeer producten		Totaal	€ 260,65

En dit geheel dan voorzien van 4 schijven (jbod) en Freenas.

nu is het zo dat ik op mijn CH3SNAS een "snapshot" stijl rsync script heb draaien dat per weekdag een snapshot naar een andere disk maakt en 1 per week en per maand:

code:

Code:

#!/ffp/bin/sh
export PATH=/ffp/sbin:/ffp/bin:$PATH

# Set Source Path
SRCPATH='/mnt/HD_a2/Data'

# Set the Destination Path
DSTPATH=/mnt/HD_b2/Backup_NAS/Data

# Set path to Fun_Plug files
# Fun_Plug 3.0 or 4.0
# ffppath=/mnt/HD_a2/fun_plug.d
# Fun_Plug 5.0
FFPPATH=/ffp

# Set Rsync
RSYNC=$FFPPATH/bin/rsync

# Set date variables
# date --help
# %w   day of week (0..6);  0 represents Sunday
# %V   week number of year with Monday as first day of week (01..53)
WEEKDAY=`date +'%w'`
YESTERDAY=`expr \( $WEEKDAY + 6 \)  % 7`
WEEKNUMBER=`date +'%V'`
# Convert the string to a number
WEEKNUMBER=`expr \( $WEEKNUMBER + 0 \)`
LASTMONTH=`expr \( 53 + $WEEKNUMBER - 4 \) % 53`
MONTHCOPY=`expr \( $WEEKNUMBER % 4 \)`

# Set directories
BACKUPDIR=/$DSTPATH/Daily/$WEEKDAY
LINKDIR=/$DSTPATH/Daily/$YESTERDAY
WEEKBACKUP=/$DSTPATH/Weekly/$WEEKNUMBER
LASTMONTHBACKUP=/$DSTPATH/Weekly/$LASTMONTH
MONTHBACKUP=/$DSTPATH/Monthly/$WEEKNUMBER

# Set logfile
LOGFILE=/$DSTPATH/Daily_$WEEKDAY.list

# Make directories
mkdir -p /$DSTPATH/Daily/
mkdir -p /$DSTPATH/Weekly/
mkdir -p /$DSTPATH/Monthly/

# Backup source paths
rm -rf $BACKUPDIR 
$RSYNC -v -x -a --delete --link-dest=$LINKDIR $SRCPATH $BACKUPDIR/ >> $LOGFILE

# Copy data for weekly and monthly purposes
if [ $WEEKDAY -eq 0 ]
then 
     rm -rf $LASTMONTHBACKUP
     rm -rf /$DSTPATH/Weekly_$LASTMONTH.list
     
     cp -al $BACKUPDIR/* $WEEKBACKUP
     cp -af $LOGFILE /$DSTPATH/Weekly_$WEEKNUMBER.list
     
     if [ $MONTHCOPY -eq 0 ]  
     then 
          rm -rf $MONTHBACKUP 
          rm -rf /$DSTPATH/Monthly_$WEEKNUMBER.list
          cp -al $BACKUPDIR/* $MONTHBACKUP
          cp -af $LOGFILE /$DSTPATH/Monthly_$WEEKNUMBER.list
     fi
fi

In het kort komt het neer op het volgende:

• elke weekdag een "daily" backup waarvan er maximaal 7 bewaard worden
• elke week een "weekly" backup
• elke maand een "monthly backup

Ik zag dat Freenas wel een snapshot functie voor ZFS volumes, maar ik wil graag mijn EXT2 schijven 1 op 1 overzetten en deze functie kan je voor zover ik kan vinden bovendien niet instellen zodat hij hetzelfde doet als bovenstaand script.

Ik vroeg me dan ook af of ik dit script met wat kleine aanpassingen simpelweg over kan nemen in Freenas of of er wellicht een eenvoudigere optie beschikbaar is?

[krizzziz]

Allen, gaarne jullie hulp voor deze zelfbouw n00b! Ik heb de volgende config samengesteld voor een server/Nas/Domotica opstelling.

#	Product	Prijs	Subtotaal
1	Intel PRO/1000 GT	€ 23,28	€ 23,28
1	Lian Li PC-A04 (Zwart)	€ 83,-	€ 83,-
1	Scythe Shuriken Rev. B	€ 21,94	€ 21,94
1	AMD Athlon II X2 245e Boxed	€ 66,-	€ 66,-
1	Antec Earthwatts EA 430	€ 66,53	€ 66,53
1	OCZ Vertex Plus SATA II 2.5" SSD 120GB	€ 119,49	€ 119,49
1	Kingston ValueRAM KVR1333D3N9K2/8G	€ 34,95	€ 34,95
1	Asus M4N68T-M V2	€ 48,65	€ 48,65
Bekijk collectie Importeer producten		Totaal	€ 463,84

Ik zal waarschijnlijk windows home server draaien op de SSD om een domoticaprogramma te kunnen hosten. De HDD's (4x 1tb uit een Synology NAS) heb ik thuis nog liggen dus dat is geen probleem. Het moederbord laat een raid 5 opstelling toe, dus dat ik wil toepassen.

Zie ik nog wat over het hoofd?

[CurlyMo]

floriske.nl schreef op maandag 09 januari 2012 @ 11:56:
En dit geheel dan voorzien van 4 schijven (jbod) en Freenas.

nu is het zo dat ik op mijn CH3SNAS een "snapshot" stijl rsync script heb draaien dat per weekdag een snapshot naar een andere disk maakt en 1 per week en per maand:

De 'snapshots' die in je vorige systeem draaiden zijn anders dan binnen ZFS. De snapshots waar je aan refereert zijn eigenlijk periodieke backups.Snapshots voor ZFS zijn eigenlijk een directe mirror van je filesystem maar geen backup. Zo lang er niks aan je bestanden veranderd zal je ZFS snapshots géén data bevatten. Pas als je een bestand aanpast óf verwijderd, zal ZFS dat bestand (op dat huidige moment) beschikbaar stellen in je snapshot. Je kunt dus een oude versie terughalen voordat de verandering plaatsvonden of het verwijderde bestand terugkrijgen. Wanneer er niks veranderd is aan je bestanden, verwijzen je ZFS snapshots dus eigenlijk gewoon naar het originele bestand (en nemen ze dus geen ruimte in). Je kan dus pas je filesystem verwijderen als je ook de snapshots mee verwijderen. Die twee kunnen dus in de basis niet zonder elkaar bestaan. Je kunt wel de snapshots exporteren naar een externe backup. Binnen je oude scripts wordt er wél een harde kopie gemaakt van je bestanden op een externe locatie.

Wanneer je in je huidige script zorgt dat de padnamen naar de juiste locatie verwijzen, moet hij waarschijnlijk gewoon werken. Maar dan nog is dit wezenlijk anders dan de snapshots binnen ZFS.

[ Voor 12% gewijzigd door CurlyMo op 09-01-2012 14:41 ]

[HarmoniousVibe]

Het script maakt gebruik van hardlinks en werkt dus op een gelijksoortige manier.

[FireDrunk]

krizzziz schreef op maandag 09 januari 2012 @ 14:06:
Allen, gaarne jullie hulp voor deze zelfbouw n00b! Ik heb de volgende config samengesteld voor een server/Nas/Domotica opstelling.

#	Product	Prijs	Subtotaal
1	Intel PRO/1000 GT	€ 23,28	€ 23,28
1	Lian Li PC-A04 (Zwart)	€ 83,-	€ 83,-
1	Scythe Shuriken Rev. B	€ 21,94	€ 21,94
1	AMD Athlon II X2 245e Boxed	€ 66,-	€ 66,-
1	Antec Earthwatts EA 430	€ 66,53	€ 66,53
1	OCZ Vertex Plus SATA II 2.5" SSD 120GB	€ 119,49	€ 119,49
1	Kingston ValueRAM KVR1333D3N9K2/8G	€ 34,95	€ 34,95
1	Asus M4N68T-M V2	€ 48,65	€ 48,65
Bekijk collectie Importeer producten		Totaal	€ 463,84

Ik zal waarschijnlijk windows home server draaien op de SSD om een domoticaprogramma te kunnen hosten. De HDD's (4x 1tb uit een Synology NAS) heb ik thuis nog liggen dus dat is geen probleem. Het moederbord laat een raid 5 opstelling toe, dus dat ik wil toepassen.

Zie ik nog wat over het hoofd?

Dat FakeRAID 5 best wel slecht is? Heb je een goede backup strategie? Ben je je bewust van de risico's?

Het moederbord wat je uitgezocht hebt, ongelofelijk oud is? NForce 630a Chipset is uit het stenen tijdperk.
Ga liever voor een AMD 8xx series chipset.

Je een dure kast hebt voor een server die je ergens in een hoekje pleurt?

Er zijn betere voedingen, en betrouwbaardere SSD's (OCZ heeft bij mij een slechte naam, liever Intel).

Waarom een 2e NIC? Er zit er toch 1 op het moerderbord? Als je dan toch een 2e nodig hebt, neem dan PCIe.

De E-series van AMD is net zo overrated als de T series van Intel. Je betaald alleen maar voor een MAX TDP, niet voor een idle verbruik. Onzin dus, neem gewoon de 235 of 240.

[ Voor 4% gewijzigd door FireDrunk op 09-01-2012 14:49 ]

[iBurger]

FireDrunk schreef op maandag 09 januari 2012 @ 14:45:
[...]
De E-series van AMD is net zo overrated als de T series van Intel. Je betaald alleen maar voor een MAX TDP, niet voor een idle verbruik. Onzin dus, neem gewoon de 235 of 240.

Interessant punt, maar wat bedoel je daar nou precies mee?

In de HTPC wereld zijn altijd helemaal gek van die AMD fushion CPUs maar ik denk dat je gewoon meer hebt aan een Core i3 of i5. Ik denk dat Intel toch gewoon betere processors maakt. (meer bang voor de buck).

[krizzziz]

FireDrunk schreef op maandag 09 januari 2012 @ 14:45:
[...]


Dat FakeRAID 5 best wel slecht is? Heb je een goede backup strategie? Ben je je bewust van de risico's?

Het moederbord wat je uitgezocht hebt, ongelofelijk oud is? NForce 630a Chipset is uit het stenen tijdperk.
Ga liever voor een AMD 8xx series chipset.

Je een dure kast hebt voor een server die je ergens in een hoekje pleurt?

Er zijn betere voedingen, en betrouwbaardere SSD's (OCZ heeft bij mij een slechte naam, liever Intel).

Waarom een 2e NIC? Er zit er toch 1 op het moerderbord? Als je dan toch een 2e nodig hebt, neem dan PCIe.

Thanks voor de snelle blik,

Ik moet dus gaan voor een hardwarematige raidcontroller begrijp ik, ik moet mezelf nog even inlezen hierover. Ik snap nog niet helemaal het verschil tussen deze en de softwarematige. Maar als ik jou opmerking al lees gok ik dt hardwarematige beter, veiliger en sneller is kort gezegd?

Moederbord, check. Ik ging voor deze omdat ik her en der gelezen had (oude reviews) over energiezuinig. Ik ga over de AMD inlezen

Voeding zal ik opnieuw uitzoeken. Is de certificering hierin het meest belangrijk?

NIC gesckipped, slordig van mij.

Dure kast valt toch wel mee? Had deze genomen vanwege de 7x 3,5" bays. en Micro-ATX. Had nog geen andere gezien....

[FireDrunk]

iBurger schreef op maandag 09 januari 2012 @ 14:59:
[...]


Interessant punt, maar wat bedoel je daar nou precies mee?

In de HTPC wereld zijn altijd helemaal gek van die AMD fushion CPUs maar ik denk dat je gewoon meer hebt aan een Core i3 of i5. Ik denk dat Intel toch gewoon betere processors maakt. (meer bang voor de buck).

Die discussie is al heel vaak langs gekomen. Zoek even op posts van mux (maar anderen hebben het ook al eens uitgelegd) icm de i3-2100 en i3-2100T.

krizzziz schreef op maandag 09 januari 2012 @ 14:59:
[...]


Thanks voor de snelle blik,

Ik moet dus gaan voor een hardwarematige raidcontroller begrijp ik, ik moet mezelf nog even inlezen hierover. Ik snap nog niet helemaal het verschil tussen deze en de softwarematige. Maar als ik jou opmerking al lees gok ik dt hardwarematige beter, veiliger en sneller is kort gezegd?

Moederbord, check. Ik ging voor deze omdat ik her en der gelezen had (oude reviews) over energiezuinig. Ik ga over de AMD inlezen

Voeding zal ik opnieuw uitzoeken. Is de certificering hierin het meest belangrijk?

NIC gesckipped, slordig van mij.

Dure kast valt toch wel mee? Had deze genomen vanwege de 7x 3,5" bays. en Micro-ATX. Had nog geen andere gezien....

Hardware RAID kan, maar let goed op dat je supported schijven neemt, en zoek even op ervaringen van mensen met de controller die je in gedachten hebt, met de schijven die je graag wil. Als je meerdere goede configs ziet, en de schijven zijn officieel supported door de fabrikant van je controller, zit je wel safe.

MAAR: Ondanks dat, heb je altijd kans dat je tegen TLER problemen aan loopt, tenzij je je daar goed in verdiept, en schijven koopt die TLER functionaliteiten hebben. (Raid Edition schijven, of heel soms gewone schijven, met aparte tooltjes om het in te stellen.)

7 x 3.5" kan je ook krijgen door een Cooler Master 4-in-3 bracket te kopen.

Qua voeding is certificering wel leuk, maar zegt niet voor 100% iets.
Kijk even in het grote "Welke voeding moet ik nemen" topic. Daar staat genoeg in over zuinige voedingen.

[floriske.nl]

CurlyMo schreef op maandag 09 januari 2012 @ 14:37:
[...]


De 'snapshots' die in je vorige systeem draaiden zijn anders dan binnen ZFS. De snapshots waar je aan refereert zijn eigenlijk periodieke backups.Snapshots voor ZFS zijn eigenlijk een directe mirror van je filesystem maar geen backup. Zo lang er niks aan je bestanden veranderd zal je ZFS snapshots géén data bevatten. Pas als je een bestand aanpast óf verwijderd, zal ZFS dat bestand (op dat huidige moment) beschikbaar stellen in je snapshot. Je kunt dus een oude versie terughalen voordat de verandering plaatsvonden of het verwijderde bestand terugkrijgen. Wanneer er niks veranderd is aan je bestanden, verwijzen je ZFS snapshots dus eigenlijk gewoon naar het originele bestand (en nemen ze dus geen ruimte in). Je kan dus pas je filesystem verwijderen als je ook de snapshots mee verwijderen. Die twee kunnen dus in de basis niet zonder elkaar bestaan. Je kunt wel de snapshots exporteren naar een externe backup. Binnen je oude scripts wordt er wél een harde kopie gemaakt van je bestanden op een externe locatie.

Wanneer je in je huidige script zorgt dat de padnamen naar de juiste locatie verwijzen, moet hij waarschijnlijk gewoon werken. Maar dan nog is dit wezenlijk anders dan de snapshots binnen ZFS.

HarmoniousVibe schreef op maandag 09 januari 2012 @ 14:40:
Het script maakt gebruik van hardlinks en werkt dus op een gelijksoortige manier.

Het script werkt inderdaad met hardlinks.

Als ik het goed begrijp maakt de ingebouwde snapshot functie een snapshot op dezelfde schijf als waar de data op aanwezig is/was?

Het script maakt daarentegen een kopie van nieuwe/gewijzigde bestanden naar een 2e schijf en maakt indien een bestand ongewijzigd is in de volgende "backup" enkel een hardlink aan.

Daar zit dus het grote verschil tussen de ingebouwde snapshot functie en het script.

Maar als ik het goed begrijp zou het script met wat kleine aanpassingen gewoon moeten werken dus?

[CurlyMo]

floriske.nl schreef op maandag 09 januari 2012 @ 15:56:
[...]


[...]


Het script werkt inderdaad met hardlinks.

Als ik het goed begrijp maakt de ingebouwde snapshot functie een snapshot op dezelfde schijf als waar de data op aanwezig is/was?

Klopt, je kunt je snapshots na het aanmaken deze wel 'versturen' naar een andere schijf of naar een bestand. Een soort mirror functie dus.

Het script maakt daarentegen een kopie van nieuwe/gewijzigde bestanden naar een 2e schijf en maakt indien een bestand ongewijzigd is in de volgende "backup" enkel een hardlink aan.

Dat is dus het verschil, de ZFS snapshots maken een link aan met de bestanden in je huidige filesystem. Op dat moment is er dus nog helemaal geen sprake van een 'backup'. Pas als bestanden veranderen (en verwijderd worden) verdwijnt deze link en wordt de versie van dat moment je 'backup'. Máár als je je filesystem door een corrupte pool kwijt ben je ook je snapshots kwijt. Als je ze dus niet extern opslaat

Zelf gebruik ik ook de functie van het opslaan van een snapshot van mijn systeem. Deze sla ik op in een bestand om deze vervolgens op mijn schijf te zetten. Deze kan ik later dus weer terug zetten. Ook kan ik - wanneer mijn systeem corrupt raakt - mijn vorige versie terug zetten. Een soort systeemherstel van Windows dus.

Daar zit dus het grote verschil tussen de ingebouwde snapshot functie en het script.

Ja, en dat naar mijn idee een backup bedoelt is als externe bron buiten je data pool waar al je belangrijkste bestanden nog staan. Dus zolang je alleen maar ZFS snapshots aanmaakt zie ik dit niet als een backup. Je 'backup' is dan nog te afhankelijk van je pool/filesystem. Pas wanneer je je snapshots naar een andere schijf/bestand verstuurd, spreek je naar mijn idee van een backup.

Zelf gebruik ik rdiff-backup voor deze functie naast mijn dagelijkse snapshots (voor de laatste 30 dagen). rdiff-backup zorgt ook in zichzelf al voor incremental backups. Het enige verschil is dat je geen tussentijdse backups kunt verwijderen.

Maar als ik het goed begrijp zou het script met wat kleine aanpassingen gewoon moeten werken dus?

Ja, waarschijnlijk wel.

[jadjong]

jadjong schreef op donderdag 05 januari 2012 @ 18:06:
Ik heb een vreemd probleempje met een IBM m1015 en samsung 830 sdd's. De firmware welke ik nu gebuikt geeft WWN id's weer, deze zijn langer (c4t50024E9204AB4F90d0) en hebben als voordeel dat ze uniek zijn omdat het disk-gebonden is. Alleen snappen de samsung 830 ssd's die ik gekocht heb WWN niet en krijgen ze allen hetzelfde WWN, dat werkt niet als je ze tegelijk wilt gebruiken.

Iemand een idee welke firmwares voor lsi2008 kaarten gebruik maken van kaart/poort/disk naamgeving? Zoiets als c0d0s1 wat door het de kaart/het os wordt gegenereerd.

Fixed. Simpelweg de multipath optie in de driver disablen.
stmsboot -D mpt_sas -d (-e to enable)

Nogsteeds WWN adressen, maar wel uniek. Alleen Napp-it is de weg kwijt en mist een aantal disks, dus een pool aanmaken moet handmatig.

[ Voor 8% gewijzigd door jadjong op 09-01-2012 18:56 ]

[Verwijderd]

iBurger schreef op maandag 09 januari 2012 @ 14:59:
[...]
Interessant punt, maar wat bedoel je daar nou precies mee?

Ik kan niet voor FireDrunk spreken, maar bij zuinige versies gaat het er vaak om dat alleen het maximum verbruik lager ligt. Bijvoorbeeld als je speciale koeling wilt zoals bijvoorbeeld zonder een fan, of in een kleine behuizing. Of je moederbord mag bijvoorbeeld maar max 45W of 65W. Of je wilt PicoPSU gebruiken en kunt dus niet een te hoog verbruik hebben. Dan hebben die versies zin. Maar het idle verbruik gaat vooral om de procestechnologie.

HighK-MG wordt gebruikt in de 40nm AMD Fusion CPUs en in de 32nm AMD FX CPUs (bulldozer). Ook de 40nm Zacate (Brazos) maakt gebruik van HKMG dacht ik. De normale Athlons echter niet, en hebben dus ook een hoger verbruik. Ook omdat deze chips geen videokaart in zich hebben, en dus op een GPU in de chipset leunen (880G). Dat zorgt voor extra verbruik.

In de HTPC wereld zijn altijd helemaal gek van die AMD fushion CPUs maar ik denk dat je gewoon meer hebt aan een Core i3 of i5. Ik denk dat Intel toch gewoon betere processors maakt. (meer bang voor de buck).

Omdat AMD je twee dingen geeft: laag idle verbruik, en tóch een GPU die redelijk video kan versnellen voor HTPC-applicaties. Met name de Brazos (low-end) en Fusion A-series komen hiervoor in aanmerking.

De CPU van AMD is zwakker dan de CPUs van Intel, maar Intel loopt nog steeds achter met hun ingebouwde GPU. Voor HTPC is ook niet veel CPU kracht benodigd, en als je een codec hebt die je GPU niet kunt accelereren heb je altijd nog 4 cores ter beschikking.

Voor een server waarbij grafische prestaties irrelevant zijn, is het enige grote voordeel van het AMD platform dat je goedkoop 6 SATA/600 poorten kunt krijgen (AMD Brazos) en de prijs-factor. Qua zuinigheid doen moderne AMD en Intel platforms weinig voor elkaar onder. Zelf draai ik een Brazos-NAS @ 14W met alles erop en eraan. Dat is alleen mogelijk als je heel zuinige componenten gebruikt, zoals PicoPSU.

@krizzziz: je moet dus even goed aangeven wat je wilt: een zuinige server, een goedkope server, een snelle server en ga je nog wat met de videokaart doen. Etc. Ik denk dat er nog veel valt te verbeteren aan jouw lijstje.

[floriske.nl]

CurlyMo schreef op maandag 09 januari 2012 @ 17:33:
[...]

Klopt, je kunt je snapshots na het aanmaken deze wel 'versturen' naar een andere schijf of naar een bestand. Een soort mirror functie dus.


[...]

Dat is dus het verschil, de ZFS snapshots maken een link aan met de bestanden in je huidige filesystem. Op dat moment is er dus nog helemaal geen sprake van een 'backup'. Pas als bestanden veranderen (en verwijderd worden) verdwijnt deze link en wordt de versie van dat moment je 'backup'. Máár als je je filesystem door een corrupte pool kwijt ben je ook je snapshots kwijt. Als je ze dus niet extern opslaat

Zelf gebruik ik ook de functie van het opslaan van een snapshot van mijn systeem. Deze sla ik op in een bestand om deze vervolgens op mijn schijf te zetten. Deze kan ik later dus weer terug zetten. Ook kan ik - wanneer mijn systeem corrupt raakt - mijn vorige versie terug zetten. Een soort systeemherstel van Windows dus.

[...]

Ja, en dat naar mijn idee een backup bedoelt is als externe bron buiten je data pool waar al je belangrijkste bestanden nog staan. Dus zolang je alleen maar ZFS snapshots aanmaakt zie ik dit niet als een backup. Je 'backup' is dan nog te afhankelijk van je pool/filesystem. Pas wanneer je je snapshots naar een andere schijf/bestand verstuurd, spreek je naar mijn idee van een backup.

Zelf gebruik ik rdiff-backup voor deze functie naast mijn dagelijkse snapshots (voor de laatste 30 dagen). rdiff-backup zorgt ook in zichzelf al voor incremental backups. Het enige verschil is dat je geen tussentijdse backups kunt verwijderen.


[...]

Ja, waarschijnlijk wel.

Thx voor de verhelderende uitleg

Ik ga 's kijken of ik als 't zover is het script aan de praat krijg, het doet namelijk exact wat ik zoek.

Ik vroeg me af of ik verdere met de gekozen hardware 'n verstandige keus gemaakt heb als ik op zoek ben naar 'n gulden middenweg tussen zuinig, betaalbaar en snelheid:

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 99,70	€ 99,70
1	Lian Li PC-Q08B	€ 86,60	€ 86,60
1	be quiet! Pure Power L7 300W	€ 34,85	€ 34,85
1	G.Skill Ripjaws X F3-12800CL9D-8GBXL	€ 39,50	€ 39,50
Bekijk collectie Importeer producten		Totaal	€ 260,65

Geen idee wat de transfer rates van 'n dergelijk systeem doen tov de CH3SNAS, maar mag aannemen dat deze toch wel 'n stuk hoger zullen liggen?

[Verwijderd]

Verwijderd schreef op maandag 09 januari 2012 @ 19:15:
Voor een server waarbij grafische prestaties irrelevant zijn, is het enige grote voordeel van het AMD platform dat je goedkoop 6 SATA/600 poorten kunt krijgen (AMD Brazos) en de prijs-factor. Qua zuinigheid doen moderne AMD en Intel platforms weinig voor elkaar onder. Zelf draai ik een Brazos-NAS @ 14W met alles erop en eraan. Dat is alleen mogelijk als je heel zuinige componenten gebruikt, zoals PicoPSU.

Welk bord heb jij Cipher?

Die Asus is trouwens niet de zuinigste Brazos kostganger.

[ Voor 5% gewijzigd door Verwijderd op 09-01-2012 20:49 ]

[Verwijderd]

Klopt, de MSI die ik heb, zou het zuinigst moeten zijn. MSI E350IS-E45. Nadeel: een klein takkefannetje wat bijna 1 watt slurpt en dus niet passief gekoeld. Ik heb zelf wat gebouwd met een 120mm zuinige fan. Ook heb je maar 4 SATA/600 wat een nadeel kan zijn voor een NAS. Er zit wel PCIe op (electrisch PCIe 2.0 x4; fysiek x16).

10W kan ik makkelijk halen helemaal kaal; 8.9watt is het laagste, zonder fan. De software maakt enorm veel uit. Zo verbruikt FreeBSD8 vele malen meer dan FreeBSD9, en Linux verschilt ook (zie Phoronix). Uiteindelijk heb ik getest in het LiveCD-menu van een Ubuntu livecd. Waar je ook de Memory Test kon vinden. Dit bleek continu een lage waarde te geven die in Ubuntu live desktop environment ook te zien was, maar regelmatig sprongen naar boven toe.

Windows zou overigens het laagste energieverbruik moeten hebben, want XBitLabs heeft dit bordje op 7,3 watt getest en dan heb ik nog zuiniger geheugen en ook getest zonder storage of fans.



Bron: http://www.xbitlabs.com/a...display/amd-e-350_12.html

[CurlyMo]

floriske.nl schreef op maandag 09 januari 2012 @ 11:56:
Ik vroeg me dan ook af of ik dit script met wat kleine aanpassingen simpelweg over kan nemen in Freenas of of er wellicht een eenvoudigere optie beschikbaar is?

Let er wel op dat FreeNAS nogal moeilijk is met qua eigen scripts. Hangt natuurlijk af van je ervaring maar uitgaande van de vraag of het script over te zetten is, denk ik niet dat je dat heel makkelijk af zal gaan. Als je trouwens ZFS wilt gaan draaien dan is er ook "Het grote ZFS topic". Wil je ZFS draaien en redelijk wat tweaken met eigen scripts, dan kan je ook nog ZFSguru overwegen. Die draait gewoon een normale volledige FreeBSD zodat het wat makkelijker aan te passen is. Hetzelfde geldt voor bijv. het installeren van je eigen torrent cliënt e.d. Allemaal wat makkelijker in ZFSguru.

[floriske.nl]

Huidige CH3SNAS schijven zijn EXT2, zou het makkelijkst zijn als ik deze 1 op 1 over kan zetten, ZFS gaat het dus waarschijnlijk niet worden.
Anderzijds zijn de schijven volgens het eerder geplaatste script in gebruik, dus zou eerst de backup schijven om kunnen zetten, dan de data overzetten en dan de data schijven onder handen nemen.

Ik zal me eens wat meer gaan verdiepen in de diverse software, ben wel een linux nitwit op wat basis commando's na dus zoek wel iets wat laagdrempelig/eenvoudig op te zetten is, maar wel eventueel uit te breiden.

@neographikal: "Die Asus is trouwens niet de zuinigste Brazos kostganger." <- ik heb de asus gekozen vanwege de 6 SATA aansluitingen, neem aan dat een ander bordje met extra Sata kaart toch niet heel veel minder zal gebruiken? Bovendien zijn de kosten dan hoger.

[ Voor 19% gewijzigd door floriske.nl op 10-01-2012 08:56 ]

[krizzziz]

Ok, veel gelezen en daar komt de volgende selectie uit.

#	Product	Prijs	Subtotaal
1	Gigabyte GA-E350N-USB3	€ 99,-	€ 99,-
1	Addonics 4-Port RAID 5 / JBOD SATA II PCI Controller	€ 64,36	€ 64,36
1	Lite-On IHAS124B Zwart	€ 16,-	€ 16,-
1	Lian Li PC-Q08B	€ 86,60	€ 86,60
1	Kingston ValueRAM KVR1333D3S8N9/2G	€ 9,99	€ 9,99
1	Huntkey Jumper 300G	€ 62,65	€ 62,65
Bekijk collectie Importeer producten		Totaal	€ 338,60

Heb dus gekozen voor een AMD E-350 chipset. Andere kast ook, deze is iets compacter met net zoveel schijfruimte. Hardwarematige raidcontroller erbij daar er dus geen vertrouwen is in de raid capaciteiten van het moederbord. Heb de voeding aangehouden zoals hier eerder geopperd werd. Ben er wel tevreden mee.

Zit alleen te twijfelen over de OS-HDD. Een kleine groene "normale" hdd of toch een SSD. Er moet Windows Home server op draaien + een domotica programma. Ook moet ik me nog even inlezen in welke raidopstelling ik ga nemen. Ik denk nu aan 3x 2tb in Raid 1. Gewoon simpel alles gemirrored. Tevens mijn data die ABSOLUUT een backup moet hebben laten backuppen bij een extern bedrijf.

[Verwijderd]

Waarom: Gigabyte Brazos bord? Duurder, minder zuinig dan MSI? En ook 4 SATA ipv 6 zoals Asus bordje. Waarom maar 2GB geheugen? 15 euro extra voor 8GiB is te duur? Waarom zo'n slechte Silicon Image SII-3114? 64 euro voor een shitRAID kaart? Ik koop die voor 4 euro uit de grabbelbak die ouderwetse PCI controllertjes met superveel bugs en shitty drivers. PCIe versies voor een paar euro meer. Je weet dat deze config ongeschikt is voor ZFS? Eigenlijk voor niets is die config goed geschikt. Het is niet zuinig, niet snel, niet goedkoop. Dus afhankelijk van jouw prioriteiten kun je denk ik nog een hoop verbeteren.

Ik mis even je post wat je nou wilde, hoeveel poorten, welk OS, of zuinigheid belangrijk is, etc.

Als je voor zuinigheid wilt gaan, heb je PicoPSU overwogen?

[B2]

Ik heb gisteren mijn 8TB LVM configuratie omgebouwd naar een mdadm raid5 configuratie. Vorige week gaf een disk plotseling smart raw read errors, en met geluk heb ik alle data er nog goed af kunnen krijgen, dus dat moest wat robuster worden

Ik heb gelijk een OS reinstall gedaan, Fedora was toch soms iets te bleeding-edge Bij de installatie van CentOS heb ik een raid5 config aangemaakt. Wat ik nu alleen zie is dat een van de disken als spare staat, en aan het rebuilden is. (Al een uurtje of 8, nu ongeveer 40% gedaan, met ongeveer 1,5TB aan data.)

Klopt dit wel? De array is pas nieuw aangemaakt, dus volgens mij hoeft er nu toch nog niet een rebuild gedaan worden? En volgens mij wil ik ook geen (hot-)spare, gewoon 4 actieve disken.

code:

[root@r2d2 ~]# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.1
  Creation Time : Tue Jan 10 22:05:15 2012
     Raid Level : raid5
     Array Size : 5860535808 (5589.04 GiB 6001.19 GB)
  Used Dev Size : 1953511936 (1863.01 GiB 2000.40 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

  Intent Bitmap : Internal

    Update Time : Wed Jan 11 07:43:28 2012
          State : active, degraded, recovering 
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 512K

 Rebuild Status : 40% complete

           Name : r2d2.xxcom:0  (local to host r2d2.xx.com)
           UUID : 4a3b4e15:a4cc8a68:01cbacc4:cecb618c
         Events : 10845

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       65        2      active sync   /dev/sde1
       4       8       81        3      spare rebuilding   /dev/sdf1

Is het beter om de array opnieuw met de hand aan te maken?

[FireDrunk]

Er word een init gedaan tenzij je --assume-clean hebt gedaan.

[B2]

Dat was inderdaad mogelijk geweest als ik de array handmatig had aangemaakt, maar nu heeft de installer het gedaan. Toch vreemd dat deze dan geen assume clean doet.

[ Voor 84% gewijzigd door B2 op 11-01-2012 09:13 ]

[Verwijderd]

Momenteel 14 TB aan storage.
Ik heb een windows homeserver V1, geen fancy hardware-raid, maar windows drive extender waarmee ik eenvoudig drives aan mijn storagepool kan toevoegen of verwijderen.
Ik ben eigenlijk op een server overgestapt omdat ik overal PC's met HD's aan het volproppen was en ik op een gegeven moment door de bomen het bos niet meer zag en besloot dat het zo niet langer kon..
Mijn server met momenteel 11 disks:



Tabel met systeem info

System specifications
Component	Value
Case	Chenbro 31212b
CPU	AMD dualcore low power
RAM	2GB
Motherboard	GigabyteUD3
Operating system	WHS V1
Controller	Onboard Gigabyte
Hard drive	Zie screenshot
RAID array configuration	SW raid
Netto storage capacity	14TB
Network	Standaard gigabit
UPS	Nee
Filesystem	NFS
Idle power usage	100W, no spindown
Extra

Zoals jullie zien heb ik een Chenbro 31212b 19" rack,




Homeserver console:

[FireDrunk]

B2 schreef op woensdag 11 januari 2012 @ 08:57:
Dat was inderdaad mogelijk geweest als ik de array handmatig had aangemaakt, maar nu heeft de installer het gedaan. Toch vreemd dat deze dan geen assume clean doet.

Op zich niet erg, duurt alleen even.

[Verwijderd]

B2 schreef op woensdag 11 januari 2012 @ 07:44:
Ik heb gelijk een OS reinstall gedaan, Fedora was toch soms iets te bleeding-edge Bij de installatie van CentOS heb ik een raid5 config aangemaakt. Wat ik nu alleen zie is dat een van de disken als spare staat, en aan het rebuilden is. (Al een uurtje of 8, nu ongeveer 40% gedaan, met ongeveer 1,5TB aan data.)

Als ik je een tip mag geven, ga gelijk over op ZFS. Ik heb hetzelfde gezeik gehad waarbij mdadm de array domweg dropte vanwege een paar kleine errors. Door de grootte van de disks van tegenwoordig ga je dit vaker tegen komen en ZFS healed dan gewoon de data en draait vrolijk verder.

Als het rebuilden met mdadm traag gaat: zet de stripe cache size een stuk groter, dat hielp hier prima.

[FireDrunk]

Ik zou ook wel over willen naar ZFS, maar een online transaction van MD -> ZFS kan niet zo makkelijk zonder reserve disks

[Madrox]

FireDrunk schreef op maandag 09 januari 2012 @ 15:36:
[...]
MAAR: Ondanks dat, heb je altijd kans dat je tegen TLER problemen aan loopt, tenzij je je daar goed in verdiept, en schijven koopt die TLER functionaliteiten hebben. (Raid Edition schijven, of heel soms gewone schijven, met aparte tooltjes om het in te stellen.)

TLER disks zijn niet altijd aanbevolen, als ik dit lees:
http://forums.storagerevi...-tlererccctl/page__st__10

Draai zelf al twee jr met WD Blue's, zes stuks. Nooit een vuiltje aan de lucht geweest.

[HarmoniousVibe]

Madrox schreef op woensdag 11 januari 2012 @ 10:34:
[...]

TLER disks zijn niet altijd aanbevolen, als ik dit lees:
http://forums.storagerevi...-tlererccctl/page__st__10

Draai zelf al twee jr met WD Blue's, zes stuks. Nooit een vuiltje aan de lucht geweest.

Dat is meer een pleidooi dat controllers op een andere manier om zou moeten gaan met errors. Een 'soll', geen 'ist'. Over de huidige situatie wordt gezegd wat iedereen zegt: icm Linux/Oracle software-raid zijn ERC/TLER/CCTL idd niet nodig.

Dat jij nooit problemen hebt gehad wil verder natuurlijk niets zeggen.

edit: oh iemand anders voert wel argumenten aan tegen TLER icm hw-raid, maar een schijf die te lang aan het recoveren is zal net zo goed of sneller worden gekicked dan een schijf die het na 7 sec maar opgeeft. Dat is gewoon een inherente eigenschap van de huidige implementaties van hardware-raid en fakeraid.

[ Voor 18% gewijzigd door HarmoniousVibe op 11-01-2012 10:47 ]

[Madrox]

HarmoniousVibe schreef op woensdag 11 januari 2012 @ 10:41:
[...]

Dat is meer een pleidooi dat controllers op een andere manier om zou moeten gaan met errors. Een 'soll', geen 'ist'. Over de huidige situatie wordt gezegd wat iedereen zegt: icm Linux/Oracle software-raid zijn ERC/TLER/CCTL idd niet nodig.

Dat jij nooit problemen hebt gehad wil verder natuurlijk niets zeggen.

edit: oh iemand anders voert wel argumenten aan tegen TLER icm hw-raid, maar een schijf die te lang aan het recoveren is zal net zo goed of sneller worden gekicked dan een schijf die het na 7 sec maar opgeeft. Dat is gewoon een inherente eigenschap van de huidige implementaties van hardware-raid en fakeraid.

Niets? Het zegt wat mij betreft dat het wel goed kan werken, dat is alles. Heb nog nooit TLER disks gehad en al mijn raid setups hebben het altijd gedaan, onder Windows; soft en hard. Dat zegt niet dat het geen issue kan zijn, maar wel dat het kan werken en als het werkt, zoals in mijn geval; werkt het goed.

Zie bijv. dat vooral GREEN disks van WD er last van hebben, van andere merken weet ik het niet (niet onderzocht).
De WD BLUE doet het echter voorbeelding met mijn rocketraid 2680 icm met WIN 7 64bit.

[HarmoniousVibe]

Madrox schreef op woensdag 11 januari 2012 @ 10:54:
[...]

Niets? Het zegt wat mij betreft dat het wel goed kan werken, dat is alles. Heb nog nooit TLER disks gehad en al mijn raid setups hebben het altijd gedaan, onder Windows; soft en hard. Dat zegt niet dat het geen issue kan zijn, maar wel dat het kan werken en als het werkt, zoals in mijn geval; werkt het goed.

Zie bijv. dat vooral GREEN disks van WD er last van hebben, van andere merken weet ik het niet (niet onderzocht).
De WD BLUE doet het echter voorbeelding met mijn rocketraid 2680 icm met WIN 7 64bit.

Goed, ik bedoelde dat het niets significants zegt. Natuurlijk kan het werken. 20 schijven in raid0 kan ook werken (ja dit is reductio ad absurdum). Het gaat om het gemiddelde risiconiveau wat je loopt, en met hardware-raid is het mét TLER nu eenmaal lager dan zonder.

[krizzziz]

Verwijderd schreef op dinsdag 10 januari 2012 @ 17:39:
Waarom: Gigabyte Brazos bord? Duurder, minder zuinig dan MSI? En ook 4 SATA ipv 6 zoals Asus bordje. Waarom maar 2GB geheugen? 15 euro extra voor 8GiB is te duur? Waarom zo'n slechte Silicon Image SII-3114? 64 euro voor een shitRAID kaart? Ik koop die voor 4 euro uit de grabbelbak die ouderwetse PCI controllertjes met superveel bugs en shitty drivers. PCIe versies voor een paar euro meer. Je weet dat deze config ongeschikt is voor ZFS? Eigenlijk voor niets is die config goed geschikt. Het is niet zuinig, niet snel, niet goedkoop. Dus afhankelijk van jouw prioriteiten kun je denk ik nog een hoop verbeteren.

Ik mis even je post wat je nou wilde, hoeveel poorten, welk OS, of zuinigheid belangrijk is, etc.

Als je voor zuinigheid wilt gaan, heb je PicoPSU overwogen?

Ik merk dat op heel vragen ik geen duidelijk antwoord kan produceren, en deze setup dus nog lang niet ideaal is. Zoals eerder gezegd, dit is mijn 1e zelfbouw PC!

- Ik dump de Gigabyte en ga voor de Asus E35M1-I. 6x Sata 600 en 28watt verbruik. Voor mij prima. de MSI variant is 2 tientjes qua prijs minder maar heeft idd maar 4x Sata.

- Ik dacht altijd meer geheugen staat gelijk aan hoger verbruik? Wat mij betreft kan/mag er meer in, maar ik dacht dat 2g voldoende zou zijn voor de doeleinden waar ik dit ding voor ga gebruiken. Wat betreft de PicoPSU. Is de 120 watt output voldoende voor de apparaten in mijn PC en de doeleinden? Vind het wel een geweldig concept. In het voedingen topic werd mij in ieder geval de hieronder geselcteerde voeding geadviseerd.

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 99,70	€ 99,70
1	Addonics 4-Port RAID 5 / JBOD SATA II PCI Controller	€ 64,36	€ 64,36
1	Lite-On IHAS124B Zwart	€ 16,-	€ 16,-
1	Lian Li PC-Q08B	€ 87,80	€ 87,80
1	Kingston ValueRAM KVR1333D3S8N9/2G	€ 9,99	€ 9,99
1	Huntkey Jumper 300G	€ 62,65	€ 62,65
Bekijk collectie Importeer producten		Totaal	€ 340,50

- Welke RAID kaart beveel jij aan? De reviews die ik gelezen had over de addonics kaart waren op zich niet positief/niet negatief. Ik kan dat ik hier geen verkeerde keus in had gemaakt.

Wat ik wil is als volgt.
- 3 tb aan dataopslag (ik heb hiervoor 3x2 tb schijven liggen)
- Data moet in een veilige raid config worden bewaard. Ik wil ook HDD's kunnen toevoegen wanneer ik wil om zo mijn dataopslag te vergroten zonder dat in inlever op veiligheid van de data. Sommige data bestanden zullen extern nog eens bewaard worden.
- OS moet Windows Home Server worden (ivm domotica software)
- Domotica server (via Homeseer software geinstalleerd op de OS HDD waarvoor ik een 250g schijf wil gebruiken)
- Zo Zuinig mogelijk onder de omstandigheden, dus geen noodzaak
- HD Materiaal Streamen in een gbit netwerk
- Filetransfer moet snappy zijn.
- IP camera aan netwerk toevoegen en via Domotica software kunnen monitoren.

Kort gezegd zijn dit mijn "eisen".

Ik heb dus nu het moederbord aangepast naar een asus, ga opzoek naar een andere Raid kaart en zit te twijfelen over meer intern geheugen. De config ziet er dan zo uit.

[HarmoniousVibe]

Aantal zaken waar je op zou kunnen letten:

De controller die je hebt gekozen is écht een huis-, tuin- en keukencontroller. Zo is hij PCI. De bussnelheid is hiermeebeperkt tot 133MB/s, waar je nét gigabit mee kunt verzadigen. Echter moet je ook rekening houden met de lokale snelheid van de I/O (binnen je systeem, bijvoorbeeld van je OS-disk naar je array en v.v.). Ook het ontbreken van cache op de controller is niet bevorderlijk voor de snelheid. Als je je dit realiseert en begrijpt wat de limitaties hiervan zijn en/of je gewoon niet meer wilt betalen, dan zal het vast wel werken, maar ik raad het niet aan.

Als je hardware-raid goed wilt doen, kost dit gewoon geld. Vrij veel geld in verhouding tot de rest van je systeem. Je geeft aan veiligheid belangrijk te vinden; de enige manier om dat met hardware-raid goed te regelen is door een kaart te kopen met een BBU (Battery Backup Unit) die de data in de cache van de controller kan vasthouden wanneer de stroom wegvalt. Ook moeten je schijven eigenlijk TLER/CCTL/ERC ondersteunen.

Ik vraag me een beetje af wat het voordeel is van een losse controller ten opzichte van de raid-controller die op het moederbord zit ingebakken. Ik geloof niet dat die elkaar qua veiligheid veel ontlopen en de performance zal wellicht in het voordeel zijn van moboraid vanwege de PCI-bottleneck die je inbouwt. Wat overigens wel een voordeel kan zijn is dat als je je PC (lees: mobo, CPU, mem) gaat upgraden, dit wellicht makkelijker is met een losse controller, omdat je die mee kunt migreren naar het nieuwe moederbord ivm incompatibilities tussen verschillende onboard controllers.

Verder is het energiegebruik van (extra) geheugen niet noemenswaardig. Sterker nog, de kans is groot dat meer geheugen zuiniger is dan minder geheugen, omdat dan je harde schijven minder zullen worden belast in verband met swap, caching, langere processing time en dergelijke zaken.

[ Voor 10% gewijzigd door HarmoniousVibe op 11-01-2012 13:06 ]

[psy]

Ik zat laatst toch te bedenken.

Nu gebruik ik een windows 2003 server met
1,0 TB boot
0,5 TB downloadschijf
5,0 TB in raid5 dus 4 TB effectief data opslag op Highpoint 2320

Omdat de CPU wat traag is (X2 3800) staat deze op de planning om te vervangen door een'sneller en zuiniger 1155 platform. Nu zit ik in dubio wat te doen met mijn data schijven. RAID5 is leuk en aardig maar redundancy heb ik niet persé nodig. Als ik overstap op 2 TB schijven heb ik er minder nodig (3) dus is hij weer wat zuiniger. Maar het TLER risico wordt dan groter (de 2 TB van WD is hier wel bekend om).

Zit nu dus te denken om eens gewoon RAID0 te gebruiken ipv die fancy RAID5.
RAID5 kan ook kapot als meer dan 1 schijf uitklapt, en de RAID kaart zelf kan ook stuk gaan. RAID0 lijkt mij wat dat betreft niet veel minder veiliger al is de kans op uitval bij een kapotte schijf natuurlijk groter. Maar het geld wat ik weer opspaar door een schijf minder te gebruiken plus het lagere stroomverbruik (1 schijf minder, geen RAID kaart) kan ik gebruiken voor een full backup elders in huis. En die heb ik nu niet voor de relatief onbelangrijke data op RAID5. Maarja leuk is het nooit om die data te verliezen.

Het is maar een idee.

[mjszwo]

Ik heb sinds enige tijd een Asus E35M1-M bordje in gebruik waar ik Ubuntu Server op heb draaien. Ik loop echter tegen een probleem aan waar ik maar niet uit kom.

Onder Ubuntu heb ik Samba opgetuigd t.b.v. de Windows 7 clients. Dit werkt goed, maar wanneer ik een groter bestand (bijv een DVD-ISO) vanaf de Ubuntu machine kopieer, kom ik niet boven de 40MB/s uit. Kopieer ik een ISO naar de Ubuntu machine, dan haal ik zo'n 82MB/s.

Om uit te sluiten dat het aan Samba ligt, ben ik wat met iperf gaan testen.

Ubuntu -> Windows7:

------------------------------------------------------------
Client connecting to 192.168.0.105, TCP port 5001
TCP window size: 8.00 KByte (default)
------------------------------------------------------------
[156] local 192.168.0.122 port 53734 connected with 192.168.0.105 port 5001
[ ID] Interval Transfer Bandwidth
[156] 0.0- 5.7 sec 144 MBytes 213 Mbits/sec

En omgekeerd,

Windows7 -> Ubuntu:

------------------------------------------------------------
Client connecting to 192.168.0.122, TCP port 5001
TCP window size: 16.0 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.0.105 port 58454 connected with 192.168.0.122 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 1.07 GBytes 921 Mbits/sec

Na verder test- en zoekwerk ben ik er achter gekomen dat ik veel betere resultaten behaal wanneer ik het TCP window size op beide machines op elkaar afstem (in dit geval 256KB):

Ubuntu -> Windows7:

E:\>iperf -c 192.168.0.105 -w256KB
------------------------------------------------------------
Client connecting to 192.168.0.105, TCP port 5001
TCP window size: 256 KByte
------------------------------------------------------------
[156] local 192.168.0.122 port 53916 connected with 192.168.0.105 port 5001
[ ID] Interval Transfer Bandwidth
[156] 0.0-10.0 sec 954 MBytes 800 Mbits/sec

Ik heb een eeuwigheid gezocht naar een oplossing om het TCP window size in Windows7 aan te passen, maar het enige dat ik kan vinden is dat Windows 7 over TCP autotuning beschikt en dat het window size sinds Vista niet meer aan te passen is.

Daarom heb ik de proef op de som genomen. Ik heb een oude HDD in m'n PC gezet, en hier vervolgens Windows XP op geinstalleerd. En geloof het of niet: out of the box gigabit snelheden!

Weet iemand misschien een oplossing om i.c.m. Windows 7 ook gigabit snelheden te behalen? Ik ben al wezen testen met Jumbo Frames/MTU, maar dat biedt geen enkele verbetering.

[Sandor_Clegane]

Je kan TCP offloading uitzetten. Of je Netwerkkaart drivers updaten.

Sommige drivers van fabrikanten zijn brak als je de wat meer geavanceerde dingen van de netwerk stack gaat gebruiken.

Zie: Information about the TCP Chimney Offload, Receive Side Scaling, and Network Direct Memory Access features in Windows Server 2008

Hierin staan de dingen die je eens uit of aan kunt zetten. Voor 7 geldt dit ook.

[ Voor 9% gewijzigd door Sandor_Clegane op 11-01-2012 20:42 ]

[Verwijderd]

Ik heb net even FreeBSD9 in VMware geinstalleerd. Wat een verschil met FreeBSD8 op de netwerkperformance, waar ik in 8 zeer wisselende resultaten behaalde, haalt 9 vergelijkbare resultaten met m'n Ubuntu configuratie op dezelfde machine. Ik denk dat ik FreeNAS uitfaseer en gewoon over ga naar FreeBSD.

[Verwijderd]

Je kunt ook de nieuwe virtio kernel modules gebruiken in FreeBSD 9, simpelweg emulation/virtio-kmod port installeren. Ook de nieuwe ZFSguru livecd zou dit standaard werkend moeten hebben, al komt deze pas over een paar dagen uit denk ik.

Oh en als je voor FreeBSD gaat, waarom dan niet ZFSguru? Heb je twee vliegen in één klap.

[Verwijderd]

http://zfsguru.com/doc/bsd/zfsguru

Dat kan ik altijd nog toevoegen Eerst maar eens met het handje de boel opzetten. Leer ik gelijk meer van FreeBSD

[FireDrunk]

Virtio is voor KVM/XEN/QEMU niet voor VMware toch?

[Verwijderd]

Ik weet niet precies voor wat allemaal, maar onder Virtualbox 4.1 werkt het in elk geval. Netwerk type 'paravirtualized' en in FreeBSD de virtio en if_vtnet drivers laden. De block storage en PCI passthrough heb ik niet getest. Maar in elk geval fijn dat dit nu aanwezig is! Ik krijg het idee dat de virtio door heel veel virtualisatieplatforms gebruikt kan worden, dus wie weet ook voor VMware?

[ Voor 18% gewijzigd door Verwijderd op 11-01-2012 21:42 ]

[mca2]

Ook ik ben opzoek naar een NAS. Tot nu toe had ik een oude duron pc met 2 gelijke ATA HD's waar ik dmv rsnapshot een back-up van de ene HD naar de andere maakte.

Vanwege de flexibiliteit en de lol van het bouwen wil ik er zelf eens upgraden. Zo zijn de incrementele back-ups en dus rsnapshot niet meer nodig Wat moet hij wel doen?

• Time machine server zijn met netatalk (en avahi)
• redundant data opslaan
• fileserver zijn van 1080p content voor mijn htpc in de woonkamer (xbmc ubuntu)
• beetje zuinig (normaal geluid kan, ultra stil hoeft niet)
• simpele server taken: irssi, sabnzb (ik heb geen haast met downloaden)

Kortom, hij staat het grootste gedeelte van de tijd te idlen. Voor het redundante data opslaan dacht ik aan raid-z (3 schijven) onder freeBSD of Debian. Na dit topic en de tips van CiPHER een beetje gescreend te hebben dacht ik aan het volgende

#	Product	Prijs	Subtotaal
1	Asus E35M1-I DELUXE	€ 135,-	€ 135,-
3	Western Digital Caviar Green WD20EARX, 2TB	€ 115,50	€ 346,50
1	G.Skill Sniper F3-12800CL9D-8GBSR2	€ 49,99	€ 49,99
		Totaal	€ 531,49

• heeft deze setup voldoende kracht om een beetje performen met raid-z?
• geeft de onboard NIC voldoende snelheid om 1080p te streamen (welke snelheid is sowieso te halen?)
• draait FreeBSD/debian in de raid-z pool of heb ik daar een losse schijf/usb stick voor nodig?

En weet iemand nog een goedkoop kastje en voeding waar dit alles in past?

[Verwijderd]

mijn storage build heeft een poosje stil gelegen.. maar tis winter dus gaan we weer beginnen
eerst maar weer is in gaan lezen ...

[analog_]

Ik ben van plan deze zomer mijn fileserver te vervangen door iets nieuws mede vanwege mijn haat-liefde relatie met de huidige oplossing. Bedoeling is een dikke machine met veel disks in een Ikea PS kast te monteren. Kwa OS denk ik aan OpenIndiana met ZFS. CPUs zijn 45W TDP quadcores met 32GB ECC/REG ram. Bedoeling is om het geheel met Mellanox IB kaarten aan elkaar te hangen met twee ESXi doosjes en één Windows 7 client. Opmerkingen of suggesties wat betreft hardware of software config zijn zeer welkom. Speculatie over read/write MB/IOPS zijn ook meegenomen

#	Product	Prijs	Subtotaal
1	Supermicro X8DTL-3F	€ 310,92	€ 310,92
2	LSI SAS 9211-8i (SAS9211-8I/SGL)	€ 218,41	€ 436,82
2	Intel Xeon L5506	€ 405,90	€ 811,80
16	Seagate Barracuda Green 5900.3, 2TB	€ 107,90	€ 1.726,40
3	Seagate Barracuda LP ST32000542AS, 2TB	€ 112,90	€ 338,70
1	Cooler Master Silent Pro M1000	€ 132,45	€ 132,45
5	Crucial m4 CT128M4SSD2 128GB	€ 164,90	€ 824,50
2	Kingston ValueRAM KVR1333D3D4R9SK2/16G	€ 150,80	€ 301,60
Bekijk collectie Importeer producten		Totaal	€ 4.883,19

zpool data storage : 24TB of RAW HDD space
Lange termijn opslag met spindown/spinup, wordt weinig gebruikt.

• 3x5 raidz1 + 1 coldspare with 16x Seagate Barracuda Green 5900.3, 2TB
  • 2x LSI SAS 9211-8i - 5xSAS
  • 1x Supermicro X8DTL-3F - 5xSAS

zpool client data / vm data : 6TB of RAW HDD space
Tijdelijk opslag voor VM en echte clients, geen spindown.

• 3x2 mirror with Seagate Barracuda LP ST32000542AS, 2TB
  • Supermicro X8DTL-3F - 6xSATA

zpool client OS / VM OS : 384GB of RAW SSD space
Boot voor echte machines en VMs

• 3x2 mirror with Crucial m4 CT128M4SSD2 128GB
  • 2x LSI SAS 9211-8i - 3xSAS

[ Voor 6% gewijzigd door analog_ op 12-01-2012 03:51 ]

[FireDrunk]

@Hierboven: Machtige config Heb je geld over?
En waarom zoveel SSD's mirroren? Dat is toch niet verplicht?

@CiPHER: Ik zal het eens testen

[ Voor 63% gewijzigd door FireDrunk op 12-01-2012 08:33 ]

[iMars]

psy schreef op woensdag 11 januari 2012 @ 13:18:
Ik zat laatst toch te bedenken.

Nu gebruik ik een windows 2003 server met
1,0 TB boot
0,5 TB downloadschijf
5,0 TB in raid5 dus 4 TB effectief data opslag op Highpoint 2320

Omdat de CPU wat traag is (X2 3800) staat deze op de planning om te vervangen door een'sneller en zuiniger 1155 platform. Nu zit ik in dubio wat te doen met mijn data schijven. RAID5 is leuk en aardig maar redundancy heb ik niet persé nodig. Als ik overstap op 2 TB schijven heb ik er minder nodig (3) dus is hij weer wat zuiniger. Maar het TLER risico wordt dan groter (de 2 TB van WD is hier wel bekend om).

Zit nu dus te denken om eens gewoon RAID0 te gebruiken ipv die fancy RAID5.
RAID5 kan ook kapot als meer dan 1 schijf uitklapt, en de RAID kaart zelf kan ook stuk gaan. RAID0 lijkt mij wat dat betreft niet veel minder veiliger al is de kans op uitval bij een kapotte schijf natuurlijk groter. Maar het geld wat ik weer opspaar door een schijf minder te gebruiken plus het lagere stroomverbruik (1 schijf minder, geen RAID kaart) kan ik gebruiken voor een full backup elders in huis. En die heb ik nu niet voor de relatief onbelangrijke data op RAID5. Maarja leuk is het nooit om die data te verliezen.

Het is maar een idee.

Is het niet:
0,5 TB boot
1,0 TB downloadschijf
5,0 TB in raid5 dus 4 TB effectief data opslag op Highpoint 2320

Dat lijkt me logischer, om te booten heb je niet veel nodig en juist voor het downloaden zou ik wat meer nemen.

Wat betreft je RAID vraag. RAID0 is voor performance (en je bent geen disk voor pariteitsdata kwijt). Een schijf kapot, alles weg. RAID5 is voor redundancy, niet voor backup. Dus één schijf kapot en je bent nog safe... Belangrijke data back-up je altijd (als het goed is).

[FireDrunk]

VirtIO bevat geen drivers voor Paravirtual, en geen drivers voor VMXNET3.
Voor zover ik kan zien... en dan ga ik er vanuit dat VirtIO bij FBSD9 in de kernel zit.
Maar zal nog even verder knutselen.

[ Voor 46% gewijzigd door FireDrunk op 12-01-2012 09:19 ]

[Verwijderd]

FireDrunk schreef op woensdag 11 januari 2012 @ 21:07:
Virtio is voor KVM/XEN/QEMU niet voor VMware toch?

Ik heb in ieder geval openvm-tools geinstalleerd. Ik ben nog op zoek naar het nut van de virtio drivers en ik moet even uitzoeken hoe ik dat spul moet compilen: daar is geen package van beschikbaar