Het grote DIY RAID NAS topic deel 2

[vargo]

Tijd voor een update van mijn kant. Ik ben nu al een tijdje bezig met het bouwen & testen van een NAS op basis van de volgende hardware:

• Asus K8N4-E Deluxe skt754
• AMD Sempron 64 2800+
• 512MB DDR
• 7 x 500GB Samsung SATA II

Ik heb de volgende OS / raid setups getest:

• FreeNAS
• FreeBSD 6.2 / FreeBSD 7
• RAID5, op basis van geom_raid5
• ..versies TNG, PP
• raid5 array expansion script van Enlightenment

Een aantal ervaringen & lessons learnt:

• test je setup eerst goed door; doe er ervaring mee op, en als je je data wilt behouden: zorg dat je ten alle tijden backups hebt liggen!
  (en ben zelfs dan voorzichtig, want ik had bijna mijn backups gewist door het volgende punt)
• de onboard raid controller schrijft ook voor een losse disk (optie JBOD) naar het MBR en verknalt daarmee je partition table
• FreeBSD valt best mee... zelfs als je 0 ervaring ermee hebt. De FreeBSD 7 NAS for Dummies Guide was echter wel een uitstekende guide!
• geom_raid5 PP krijg ik niet stabiel (hangups gedurende startup met 'ghost queue' meldingen, crashes bij draaien bonnie test boven 512MB).
• expansion is ook nog niet gelukt (ws door eigen stomme fout door niet laatste eff te draaien)
• FreeNAS heb ik in het begin gebruikt maar was te beperkt. De ontwikkeling hiervan staat echter niet stil: ik las dat de laatste nightly 0.7 build er nu ook voor AMD64 is, gebruik maakt van geom_raid5 PP (niet 100% zeker), en ook ZFS aan boord heeft. http://freenas.blogspot.com/

Ben nu bezig om NAS opnieuw in te richten met de mogelijkheid om zowel FreeBSD 6.2, 7 te draaien (dualboot). Verder bezig om EFF te performance tunen, om daarna nogmaals expansion te testen. Hiernaast staat nog op het programma een aantal tests te draaien om te kijken hoe robuust het systeem nu is.

Tot slot ook nog een vraag: ik loop nu tegen het probleem aan dat na een reboot mijn raid config niet automatisch herkend wordt.

code:

nas# kldstat
Id Refs Address            Size     Name
 1    2 0xffffffff80100000 951d50   kernel
 2    1 0xffffffff80a52000 1f800    geom_raid5.ko

module lijkt dus wel te worden geladen. Mount staat ook in /etc/fstab

code:

/dev/raid5/NAS          /raid5          ufs     rw              0       0

Ik moet nu iedere keer dmv

code:

graid5 label -s 131072 -n NAS /dev/ad12 /dev/ad16 /dev/ad18

het array opnieuw initialiseren, waarbij deze soms gaat rebuilden / soms CALM is.

Iemand enig idee waarom dit is?

[Verwijderd]

Hoi vargo,

Kun je misschien wat extra informatie geven zoals graid5 status en debug logs (/var/log/messsages of dmesg) ?

Mogelijk gebruik je de Silicon Image controller op je moederbord, die overschrijft de laatste sector van de drives, waardoor de 'geom raid5 configuratie' verloren gaat. Vrijwel alle RAID-controllers doen dit; bij controllers als Areca kun je de disk als pass-through of single disk instellen. Soms kun je extra controllers ook in IDE/AHCI mode instellen in het BIOS.

Maar op de K8N4-E Deluxe ontbreekt deze BIOS optie, en ben je gedwongen partities te maken die voorkomen dat de laatste sector door FreeBSD wordt gebruikt. Ik dit zelf ook moeten doen op mijn Asus K8N4-E Deluxe moederbord met extra SiI-3114 controller voor 4 extra SATA. Daarna werkte het prima, alleen in combinatie met encryptie is de Sempron erg traag, bovendien zit er bij het betreffende moederbord veel op de PCI bus wat ook voor vertraging zorgt. Het is echter wel een prima budget oplossing om 8 schijven aan te kunnen sluiten en met Software RAID5 aan te sturen. Met wat hulp werkt het hopelijk ook nog stabiel.

Kun je (misschien per email?) wat meer informatie geven over je geom_raid5 PP en expansion script ervaringen? Zoveel mogelijk feitelijke informatie, logtekst en command output zou handig zijn.

[ Voor 32% gewijzigd door Verwijderd op 16-07-2008 05:39 ]

[Verwijderd]

Q schreef op zondag 13 juli 2008 @ 13:27:

Mijn conclusie is dat de Rocketraid 2320 oververhit is geraakt (headsink verbrand vingers). Van notabene een RAID controller zou je verwachten dat zo'n ding robust is. Ik heb er nu maar een ventilator op gemonteerd, maar ik zou nu een negatief koop advies willen geven. Het het is helaas een van de weinige betaalbare 8x SATA kaarten.

Aangezien je de RAID functies van de Rocketraid niet gebruikt, ik heb zelf al een paar keer een NAS gebouwd op basis van een aantal SuperMicro AOC-SAT2-MV8's, die dingen kosten nog geen 100 euro en ze lopen als een trein.

[Q]

Verwijderd schreef op woensdag 16 juli 2008 @ 15:13:
[...]


Aangezien je de RAID functies van de Rocketraid niet gebruikt, ik heb zelf al een paar keer een NAS gebouwd op basis van een aantal SuperMicro AOC-SAT2-MV8's, die dingen kosten nog geen 100 euro en ze lopen als een trein.

Ik heb alleen PCI-e sloten, geen PCI-X. Maar dat is toch mosterd na de maaltijd. Misschien dat andere mensen er wat aan hebben, maar de meeste nieuwe bordjes doen geen PCI-X.

Een non-raid 8-poorten sata controller voor een lage prijs is iets waar ik wel naar op zoek ben geweest, maar niet heb kunnen vinden.

[ Voor 12% gewijzigd door Q op 16-07-2008 20:57 ]

[Verwijderd]

Q schreef op woensdag 16 juli 2008 @ 20:53:
[...]


Ik heb alleen PCI-e sloten, geen PCI-X. Maar dat is toch mosterd na de maaltijd. Misschien dat andere mensen er wat aan hebben, maar de meeste nieuwe bordjes doen geen PCI-X.

Een non-raid 8-poorten sata controller voor een lage prijs is iets waar ik wel naar op zoek ben geweest, maar niet heb kunnen vinden.

Server bordjes wel, maar daar moet dan wel een socket 771 Xeon op met bijbehorende FB-DIMMs..

Ik heb nu al een paar NASjes gemaakt op basis van 2x zo'n MV8 en 14x 1TB in Linux Software RAID6...die dingen lopen als een tierelier.

Zelfs met de Xeon en FB-DIMMs is dat echt een koopje als je het afzet tegen wat een serieuze NAS/SAN oplossing van HP/Sun/Dell/IBM kost...voor 5000 euro heb je 12-14 TB storage...

[ Voor 23% gewijzigd door Verwijderd op 16-07-2008 21:10 ]

[Q]

Verwijderd schreef op woensdag 16 juli 2008 @ 21:07:
[...]


Server bordjes wel, maar daar moet dan wel een socket 771 Xeon op met bijbehorende FB-DIMMs..

Ik heb nu al een paar NASjes gemaakt op basis van 2x zo'n MV8 en 14x 1TB in Linux Software RAID6...die dingen lopen als een tierelier.

Zelfs met de Xeon en FB-DIMMs is dat echt een koopje als je het afzet tegen wat een serieuze NAS/SAN oplossing van HP/Sun/Dell/IBM kost...voor 5000 euro heb je 12-14 TB storage...

Gaaf!

Maar dit is zo te horen voor business, dit spul van mij is spielerei voor thuis (film collectie storage).

Wat voor FS draai je trouwens op die 15 TB? XFS? Of meerdere EXT3 partities?

[Verwijderd]

Q schreef op woensdag 16 juli 2008 @ 21:16:
[...]


Gaaf!

Maar dit is zo te horen voor business, dit spul van mij is spielerei voor thuis (film collectie storage).

Wat voor FS draai je trouwens op die 15 TB? XFS? Of meerdere EXT3 partities?

Het is inderdaad business, maar dan is het nog wel leuk om te bouwen.
Er is 1 centrale machine, daar zitten 2 Xeons in, 4 GB ram, 14x 750 GB in RAID6 (opslag), 2x 80 GB in RAID1 (OS).

Daaronder hangt nog zo'n machine, maar dan met 1 Xeon, en 14x 1 TB in RAID6 (opslag), en 2x 80 in RAID1. (OS)
Machine 2 exporteert via AoE (ATA over Ethernet) zijn 12 TB grote md device naar machine 1, alwaar de 8 TB en 12 TB samen 1 LVM volume vormen, waar weer 1 grote XFS partitie op zit.

Machine 1 regelt verder de NFS exports naar de machines die er gebruikt van maken.
Ergens heel snel komt er nog een machine 3 bij, volgens hetzelfde recept, de XFS partitie wordt dan 32+ TB groot.
XFS rules.

Alle opslag machines draaien kale Gentoo installs, met AoE vblade's en wat nfsd's op machine 1.

Zie hier de formule voor extreem gunstige TB/euro verhoudingen.
Aanrader voor elk bedrijf dat opslag nodig heeft en geen geld heeft voor de geijkte oplossingen...

[ Voor 8% gewijzigd door Verwijderd op 16-07-2008 21:37 ]

[Shuriken]

Verwijderd schreef op donderdag 22 mei 2008 @ 17:27:

Zelf zie ik meer heil in de goedkope AMD Athlon X2 4850e chips met 45W TDP; die verbruiken zo'n 5W idle. Combineer met een energiezuinige chipset (geen Intel en geen nVidia) en je zou een zuinig systeempje moeten hebben.

Waarom geen nvidia chipset? de chipsets van nvidia met igp zijn best wel energiezuinig. De nieuwe Geforce 8200 chipset is zelfs nog een stukje zuiniger als de 780g en de 690g.

[Q]

Verwijderd schreef op woensdag 16 juli 2008 @ 21:34:
[...]


Het is inderdaad business, maar dan is het nog wel leuk om te bouwen.
Er is 1 centrale machine, daar zitten 2 Xeons in, 4 GB ram, 14x 750 GB in RAID6 (opslag), 2x 80 GB in RAID1 (OS).

Daaronder hangt nog zo'n machine, maar dan met 1 Xeon, en 14x 1 TB in RAID6 (opslag), en 2x 80 in RAID1. (OS)
Machine 2 exporteert via AoE (ATA over Ethernet) zijn 12 TB grote md device naar machine 1, alwaar de 8 TB en 12 TB samen 1 LVM volume vormen, waar weer 1 grote XFS partitie op zit.

Machine 1 regelt verder de NFS exports naar de machines die er gebruikt van maken.
Ergens heel snel komt er nog een machine 3 bij, volgens hetzelfde recept, de XFS partitie wordt dan 32+ TB groot.
XFS rules.

Alle opslag machines draaien kale Gentoo installs, met AoE vblade's en wat nfsd's op machine 1.

Zie hier de formule voor extreem gunstige TB/euro verhoudingen.
Aanrader voor elk bedrijf dat opslag nodig heeft en geen geld heeft voor de geijkte oplossingen...

Zeker leuk, erg tof, nu dus effectief 20 TB en op naar de 32. De oplossing met AoE + LVM is ook slim, zo kun je prima schalen zolang je geen al te extreme eisen omtrent performance hebt. Niet dat ik ga beweren dat dit niet zo goed performed (ik denk dat dit wel meevalt).

Erg leuk als je aan dit soort oplossingen kunt bouwen.

[Verwijderd]

Q schreef op woensdag 16 juli 2008 @ 23:24:
[...]


Zeker leuk, erg tof, nu dus effectief 20 TB en op naar de 32. De oplossing met AoE + LVM is ook slim, zo kun je prima schalen zolang je geen al te extreme eisen omtrent performance hebt. Niet dat ik ga beweren dat dit niet zo goed performed (ik denk dat dit wel meevalt).

Erg leuk als je aan dit soort oplossingen kunt bouwen.

In het begin dacht ik ook dat de performance echt dramatisch zou zijn, maar dat valt best mee:

# time dd if=/dev/zero of=/home/test.bin bs=1024 count=4024000
4024000+0 records in
4024000+0 records out
4120576000 bytes (4.1 GB) copied, 31.6841 s, 130 MB/s

real 0m32.071s
user 0m1.231s
sys 0m22.904s

En dit is write he, read is een veelvoud sneller...

Zeker omdat AoE heel erg schaalbaar is, je begint met 2 Gbit NIC's per machine die je samen bond tot 1 interface, en een beetje een fatsoenlijke Gbit switch. Mocht je meer nodig hebben dan zet je er nog een netwerkkaart met 2 poorten bij en dan haal je de 4 Gbit/s wel.
AoE is sowieso lekker snel, omdat het geen TCP/IP gebruikt en dus niet zo'n belasting op de CPU en switch legt...

Om het snelheidsverlies verder te ondervangen is er ook nog een losse machine met 5x 500 GB in RAID5 (1 hotspare) op een LSI Logic Megaraid met flink wat RAM, die machine wordt als een soort van cache gebruikt, aan het einde van de dag worden alle bestanden automatisch eraf gekopierd en opgeslagen op de echte storage pool. Op die manier zijn bestanden waar aan gewerkt wordt lekker snel (300+ MB/s) te benaderen.

[Verwijderd]

Verwijderd schreef op woensdag 16 juli 2008 @ 15:13:
Aangezien je de RAID functies van de Rocketraid niet gebruikt, ik heb zelf al een paar keer een NAS gebouwd op basis van een aantal SuperMicro AOC-SAT2-MV8's, die dingen kosten nog geen 100 euro en ze lopen als een trein.

Nadeel hiervan is dat deze controller geen Staggred Spinned-up ondersteunt en je 8 schijven dus 35W * 8 = 280W nodig hebben van de voeding. Als je ook nog op andere controllers schijven gaat aansluiten wordt dat getal nog veel hoger, waardoor je een krachtige maar voor lage load inefficiente voeding moet gebruiken.

Daarom is die RocketRAID 23xx wel zo fijn, ook gezien zijn prijs. Wil je toch enkel een SATA-controller kijk dan eens naar de 4x SATA controllertjes met JMicron/Silicon Image PCI-express chipset. Met 2 kaartjes á 25 euro per stuk kun je dan ook aan 8 SATA komen, maar dan op twee maal een PCI-e x1 bus, dus veel sneller.

[Q]

Verwijderd schreef op donderdag 17 juli 2008 @ 03:00:
[...]

Nadeel hiervan is dat deze controller geen Staggred Spinned-up ondersteunt en je 8 schijven dus 35W * 8 = 280W nodig hebben van de voeding. Als je ook nog op andere controllers schijven gaat aansluiten wordt dat getal nog veel hoger, waardoor je een krachtige maar voor lage load inefficiente voeding moet gebruiken.

Daarom is die RocketRAID 23xx wel zo fijn, ook gezien zijn prijs. Wil je toch enkel een SATA-controller kijk dan eens naar de 4x SATA controllertjes met JMicron/Silicon Image PCI-express chipset. Met 2 kaartjes á 25 euro per stuk kun je dan ook aan 8 SATA komen, maar dan op twee maal een PCI-e x1 bus, dus veel sneller.

Nou, dan heb ik nog een nieuwtje waarom die Rocketraid ergens wel de sloot in mag van mij. Als ik staggered spinup inschakel in het bios van de kaart beginnen mijn F1 1T spinpoints compleet te flippen als in: niet willen op spinnen. De disks maken dan ook een raar klik geluid. Maar misschien ben ik de enige die dat heeft. Ik boot mijn systeem dus gewoon 'normaal' met 8 disks op een 280 watt voeding, wat goed gaat.

[Q]

Verwijderd schreef op donderdag 17 juli 2008 @ 00:49:
[...]


In het begin dacht ik ook dat de performance echt dramatisch zou zijn, maar dat valt best mee:

[...]


En dit is write he, read is een veelvoud sneller...

Zeker omdat AoE heel erg schaalbaar is, je begint met 2 Gbit NIC's per machine die je samen bond tot 1 interface, en een beetje een fatsoenlijke Gbit switch. Mocht je meer nodig hebben dan zet je er nog een netwerkkaart met 2 poorten bij en dan haal je de 4 Gbit/s wel.
AoE is sowieso lekker snel, omdat het geen TCP/IP gebruikt en dus niet zo'n belasting op de CPU en switch legt...

Die snelheid lijkt mij prima. Het is niet super snel qua schrijven, maar wat je zegt: dat ondervangen met het 3e systeem. Als dit goed genoeg is dan is dit een mooie oplossing. Ik hou wel van dit soort oplossingen, niet te complex, maar wel effectief.

Om het snelheidsverlies verder te ondervangen is er ook nog een losse machine met 5x 500 GB in RAID5 (1 hotspare) op een LSI Logic Megaraid met flink wat RAM, die machine wordt als een soort van cache gebruikt, aan het einde van de dag worden alle bestanden automatisch eraf gekopierd en opgeslagen op de echte storage pool. Op die manier zijn bestanden waar aan gewerkt wordt lekker snel (300+ MB/s) te benaderen.

Dat is wel weer een extra systeem, maar ik kan me voorstellen dat dit alles toch goedkoper is dan van die 'officiele' kant en klare systemen. En je hebt zelf volledige controle. De 20 TB setup is dus echt voor storage/archief en doordat de read-performance waarschijnlijk nog wel hoger ligt toegankelijk genoeg. Leuke setup. Wat is de content, video of anders?

[ Voor 11% gewijzigd door Q op 17-07-2008 07:21 ]

[Verwijderd]

Q schreef op donderdag 17 juli 2008 @ 07:18:
[...]
Wat is de content, video of anders?

Heel veel video, files van 20 GB en groter.
Daarom is XFS ook zo fijn, dat vliegt echt met grote files.

[vargo]

Verwijderd schreef op woensdag 16 juli 2008 @ 05:31:
Hoi vargo,

Kun je misschien wat extra informatie geven zoals graid5 status en debug logs (/var/log/messsages of dmesg) ?
...
Kun je (misschien per email?) wat meer informatie geven over je geom_raid5 PP en expansion script ervaringen? Zoveel mogelijk feitelijke informatie, logtekst en command output zou handig zijn.

Heb je een PM terug gestuurd.

Mogelijk gebruik je de Silicon Image controller op je moederbord, die overschrijft de laatste sector van de drives, waardoor de 'geom raid5 configuratie' verloren gaat. Vrijwel alle RAID-controllers doen dit; bij controllers als Areca kun je de disk als pass-through of single disk instellen. Soms kun je extra controllers ook in IDE/AHCI mode instellen in het BIOS.

Maar op de K8N4-E Deluxe ontbreekt deze BIOS optie, en ben je gedwongen partities te maken die voorkomen dat de laatste sector door FreeBSD wordt gebruikt. Ik dit zelf ook moeten doen op mijn Asus K8N4-E Deluxe moederbord met extra SiI-3114 controller voor 4 extra SATA. Daarna werkte het prima, alleen in combinatie met encryptie is de Sempron erg traag, bovendien zit er bij het betreffende moederbord veel op de PCI bus wat ook voor vertraging zorgt. Het is echter wel een prima budget oplossing om 8 schijven aan te kunnen sluiten en met Software RAID5 aan te sturen. Met wat hulp werkt het hopelijk ook nog stabiel.

Hardware kan altijd nog eens geupdate worden.
Hoe kan je partities maken welke de laatste sector vrij laten? Waar schrijft geom precies zijn disk info weg? En werkt je expansion script in dat geval nog wel?

[Verwijderd]

Partities maak je met fdisk:

fdisk -u /dev/ad4
maak een 1e partitie aan, gebruik enter omdat de default waardes vaak prima zijn
alleen bij size vul je een lager getal in. In principe is één sector (1) minder al genoeg, ik hou ervan om 200 sectoren ofzo te cappen. Als hij waarschuwt dat vanwege cylinder boundaries het problemen kan opleveren met oude OSen dan negeer je die waarschuwing.

Nu heb je een /dev/ad4s1 partitie, en die gebruik je voor geom_raid5:
graid5 label myarray /dev/ad4s1 /dev/ad6s1 /dev/ad8s1 /dev/ad10s1

Zo voorkom je dat de Silicon Image-controller niet waardevolle data overschrijft na een reboot.

Geom modules zoals geom_raid5 schrijven hun metadata weg naar de laatste sector op een disk of provider. Daarom heb je ook conflicten met je Silicon Image controller, die hetzelfde doet. Het expansion script zou prima moeten werken in combinatie met partities, gebruik in dit geval:
./graid5-expand myarray /dev/ad12s1

Dus weer s1 zodat hij de 1e partitie pakt. Die moet je wel eerst aanmaken op de disk(s) die je wilt toevoegen aan de RAID5-array.

[phobosdeimos]

Iemand een idee of je kastjes zoals de Netgear ReadyNAS reeks apart kunt kopen?
Dus gewoon een kleine form factor, met een stuk of 5 hdd trays (hotplug).
Enkel de kast heb ik nodig, de hardware en software wil ik er liever zelf instoppen.

[Verwijderd]

Is die Chenbro NAS behuizing iets voor je? Past Mini-ITX in dacht ik, kun je b.v. op basis van Socket AM2 doen, J&W heeft hier mooie bordjes voor. Dit is die Chenbro behuizing:

[Q]

Eindelijk RAID 6 goed werkende.

code:

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       33        2      active sync   /dev/sdc1
       3       8       49        3      active sync   /dev/sdd1
       4       9        0        4      active sync   /dev/md0
       5       9        1        5      active sync   /dev/md1

Raid 6 bestaande uit 4x 1 TB en 2x Raid0 ieder bestaande uit 2x 0.5 TB disks en effectief dus ook 1 TB per stuk.

Performance:

code:

server:~# dd if=/storage/test.bin of=/dev/null bs=1M
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 45.7107 seconds, 229 MB/s
server:~# dd if=/dev/zero of=/storage/test.bin bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 81.0798 seconds, 129 MB/s

Lijkt me in absolute zin goed genoeg.

[phobosdeimos]

Die is erg knap Enlightenment! Precies zoals ik het in gedachten had :-) Thanks!

[MadDog11]

Ook ik heb nu een paar RAID NASsen onder FreeNAS aan het draaien, maar het punt wat ik nog hierin mis, is het volgende, soms wil ik data van schijf A naar schijf B van dezelfde FreeNAS-server verplaatsen, atm doe ik dat via het netwerk, echter dit veroorzaakt veel dataverkeer over het netwerk, wat logisch is.

Inmiddels ben ik op het spoor gekomen van Bash Commander, deze kan ik als ik wil installeren via optie 6 in het FreeNAS menu en dan pkg_add -r bashc en vervolgens bash_commander opstarten, alleen dan kan ik op dit moment selekteren, via Google kom ik wel een aantal commando's tegen, wie kan me verder helpen: hoe geef ik aan in bashcommander, copieer of verplaats bestand C van schijf A naar schijf B.

Ik loop hier een beetje vast, wie o wie weet de verlossende commandostrings voor me.

[Verwijderd]

Ik ken bash commander niet, maar gewoon in de shell via ssh is dat:

cp -R /mountpoint/mijnfotoalbum /doel-mountpoint/

met "df -h" of "mount" kun je zien waar hardeschijven gemount zijn, bijvoorbeeld /mnt/disk1.

met ls kun je de huidige directory printen, met cd kun je van directory veranderen. Het helpt als je wat documentatie hierover doorneemt, anders denk ik dat je het beter via het netwerk kunt blijven doen. Of bijvoorbeeld één grote array maken zodat je nooit meer hoeft te kopieëren.

[MadDog11]

Verwijderd schreef op zondag 27 juli 2008 @ 16:34:
Ik ken bash commander niet, maar gewoon in de shell via ssh is dat:

cp -R /mountpoint/mijnfotoalbum /doel-mountpoint/

met "df -h" of "mount" kun je zien waar hardeschijven gemount zijn, bijvoorbeeld /mnt/disk1.

met ls kun je de huidige directory printen, met cd kun je van directory veranderen. Het helpt als je wat documentatie hierover doorneemt, anders denk ik dat je het beter via het netwerk kunt blijven doen. Of bijvoorbeeld één grote array maken zodat je nooit meer hoeft te kopieëren.

Heb je misschien een tip voor wat betreft documentatie, url oid, alvast bedankt

[Verwijderd]

MadDog11 schreef op zondag 27 juli 2008 @ 18:10:
[...]


Heb je misschien een tip voor wat betreft documentatie, url oid, alvast bedankt

Is het nooit bij je opgekomen om eens iets als: "unix commands beginners guide" op Google in te typen?
Dan is meteen de eerste link:
http://www.ee.surrey.ac.uk/Teaching/Unix/
waar meteen in deel 1 en 2 de basis van het listen, maken, kopieren ed besproken wordt...

Dat was namelijk minder werk geweest dan hier een account maken en die vragen posten...

Of wat dacht je van: http://www.google.nl/search?q=how+to+move+files+in+unix

[ Voor 15% gewijzigd door Verwijderd op 27-07-2008 18:21 ]

[MadDog11]

Verwijderd schreef op zondag 27 juli 2008 @ 18:19:
[...]


Is het nooit bij je opgekomen om eens iets als: "unix commands beginners guide" op Google in te typen?
Dan is meteen de eerste link:
http://www.ee.surrey.ac.uk/Teaching/Unix/
waar meteen in deel 1 en 2 de basis van het listen, maken, kopieren ed besproken wordt...

Dat was namelijk minder werk geweest dan hier een account maken en die vragen posten...

Of wat dacht je van: http://www.google.nl/search?q=how+to+move+files+in+unix

* MadDog11 dacht dat bsd dus afwijkende commando's had en heb stomweg dus elke keer op bsd gezocht, me niet realiserend dat bsd en unix dus dezelfde commando's hebben, en zocht dus op http://www.google.nl/search?q=how+to+move+files+in+bsd , wat eigenlijk niets opleverd. Maar in ieder geval bedankt voor de url en een stukje info.

[nero355]

pkg_add -r mc of als je gewoon FreeBSd draait : cd /usr/ports/misc/mc/ en dan make install clean

[oscar]

Al lezende in deze thread raak ik steeds meer overtuigd om zelf een NAS te gaan samenstellen in plaats van het kopen van een Synology DS207+. Performance en flexibiliteit zijn daarbij voor mij de doorslaggevende factoren (alhoewel, ik vind nog maar weinig benchmarks in dit topic). En, zelf een systeempje bouwen en configgen is natuurlijk altijd leuk.

Enlightment bracht me, met zijn plaatje van de Chenbro hierboven, aan het denken of een simpele barebone ook niet als NAS in te zetten is. Die Chenbro is natuurlijk prachtig, maar mij ietsje te duur (175 euro voor alleen de kast) en hot swapping is vooralsnog niet nodig. Ik zat te denken aan bijvoorbeeld een Asus T3-M2NC51PV (150 euro kast en mobo). Moederbord heeft een Nvidia chipset (zie ook link)... afrader?

Andere barebone wellicht of toch maar naar een aparte kast en mobo?

[phobosdeimos]

oscar: de barebone oplossing is wellicht de allergoedkoopste, die had ik zelf ook al in gedachten. Je hebt zelfs al een leuke Asus barebone voor 80 euro (intel chipset).
Stop daar een goedkope intel cpu in, een latje ram, en je bent vertrokken.

[oscar]

@phobosdeimos mocht je nog geinteresseerd zijn in de Chenbro ES34069, check dan even mijn post in deze thread.

Misschien ook wel interessant voor de rest van de lezers hier:

oscar schreef op dinsdag 29 juli 2008 @ 11:53:
Zoekende naar de Chenbro ES34069 voor een server thuis, kwam ik uit op dit topic. Leuk project!

Mycom heeft de Chenbro inderdaad verbouwd tot een MS Home server, ik zal zometeen eens gaan vragen of ze die kastjes (evt met mobo) niet los verkopen. Er gaat toch freebsd op hier.

Ondertussen biedt CentralPoint deze case aan voor 171 euro incl BTW. Da's tot nu toe de laagste prijs die ik heb kunnen vinden in NL. Ben benieuwd of ze er dan ook een cardreader bij kunnen doen. Andere optie is Informatique (189 euro incl BTW).

In de US is ie iets goedkoper, bijvoorbeeld bij Grassroots ($189), Now Direct ($177) of bij XPCgear ($199 - verzenden als enige ook naar NL).

Kwam onderweg nog een review en een lijstje met compatible moederborden tegen. Het enige wat me nu nog tegenhoudt is de prijs; samen met een mITX bordje zit ie toch wel echt aan de bovenkant van mijn budget.

[oscar]

phobosdeimos schreef op dinsdag 29 juli 2008 @ 11:03:
oscar: de barebone oplossing is wellicht de allergoedkoopste, die had ik zelf ook al in gedachten. Je hebt zelfs al een leuke Asus barebone voor 80 euro (intel chipset).
Stop daar een goedkope intel cpu in, een latje ram, en je bent vertrokken.

Heb nog eens een paar barebones bekeken en zie deze twee toch wel als interessant, de Asus T3-M3N8200 en de Asus T3-M2NC51PV. Beide AM2 bordjes met 3 SATA aansluitingen. Echter, wanneer ik naar de details kijk zie ik toch een paar verschillen:

T3-M3N8200	T3-M2NC51PV
Socket AM2+	Socket AM
N/B & S/B (single): nVidia MCP78S	N/B: Nvidia C51PV S/B: Nvidia MCP51
1 x PCI 1 x PCI-e x 16	1 x PCI-e x 1 1 x PCI-e x 16
Integrated GeForce 8 GPU	Integrated GeForce 6 GPU
3 x SATA II	3 x SATA
HDMI	geen HDMI

Zo te zien is de eerste wat recenter, maar ontbeert een PCI-e slot. Wil dat dat zeggen dat Gigabit LAN en harddisk controller gebruik maken van de PCI bus? Bovendien kan ik niet vinden of de chipset wordt ondersteund door FreeBSD. Iemand een idee daarover?

[Verwijderd]

Nee die gaan via PCI-express. Bij nVidia chipsets zit de NIC (of althans het MAC-gedeelte) in de chipset zelf, aangevuld met een externe PHY die de moederbordfabrikant kiest (en dus ook de drivercombo bepaalt). Bij AMD chipsets moet er altijd een externe (onboard) NIC gebruikt worden, omdat die functionaliteit niet in huidige southbridges zit ingebouwd.

PCI-e x1 slot vind ik zelf wel heel handig, zo kun je altijd qua NICs of qua simpele SATA controllers uitbreiden zonder aan die trage PCI bus vast te zitten. Helaas kom ik maar weinig non-ATX bordjes tegen met meer dan één PCI-express x1 slot. Nieuwe southbridges bieden meer PCIe x1 interfaces, waardoor je bij deze generatie mogelijk wel bordjes zonder PCI gaat zien. Ik hoop het althans. Misschien al bij SB800?

Die T3 is leuk, ik heb die met GeForce 6 GPU, nadeel is dat dankzij een bug in de nvidia-driver voor deze specifieke GPU Ubuntu superveel geheugen gaat gebruiken, maar daar heb je in combinatie met FreeBSD geen last van.

[jeroentb]

Ik heb helaas zonder dit forum erop na te slaan ook al besloten een DIY NAS te bouwen, ik heb de volgende onderdelen besteld:
Team Fusion Plus 2GB USB2 stick voor OS,
Sempron LE1200,
Asrock Alive NF7G-FullHD R3.0 mobo,
3*Seagate barracuda 7200.10 250GB HDD
2*512MB DDR2 PC6400 CAS5
Hiper HPU-4S425 PSU
Kast: gigabyte GZ-X1

Kosten : € 257,-

De 3 harddisken zullen als RAID5 moeten gaan draaien, welke het bordje van huis uit ondersteund, wat ik me nu afvraag, is de RAID5 functionaliteit van Linux nou beter als die van de ingebouwde controller ? Wat zijn voor en nadelen voor hetzij de controller RAID5 hetzij linux RAID5 ?
Een throughput van 10MB/s is al genoeg voor me, kan toch niet eens halen uit 802.11G

Welk bestandssysteem zou je aanraden onder linux ? (Ga toch niet aanklooien met FreeBSD of windhoos)

Doel van het NASje:
Opslag foto's + webgui daarvoor
usenet downloads uitvoeren (sabnzbd+) (zelden)
torrent downloads uitvoeren (zelden)
ftp en http downloads uitvoeren (wget)
Samba voor de toegang uit windows

Ben van plan om een custom linux te gebruiken, zodat deze klein is en statisch (alleen configuratie wijzigingen mogen naar flash geschreven worden, dit heeft als voordeel een snelle start tijd en weinig geheugen en processortijd verspilling)

Ben benieuwd naar de op en aanmerkingen

[Verwijderd]

jeroentb schreef op dinsdag 05 augustus 2008 @ 18:48:
Ik heb helaas zonder dit forum erop na te slaan ook al besloten een DIY NAS te bouwen, ik heb de volgende onderdelen besteld:
Team Fusion Plus 2GB USB2 stick voor OS,
Sempron LE1200,
Asrock Alive NF7G-FullHD R3.0 mobo,
3*Seagate barracuda 7200.10 250GB HDD
2*512MB DDR2 PC6400 CAS5
Hiper HPU-4S425 PSU
Kast: gigabyte GZ-X1

Kosten : € 257,-

De 3 harddisken zullen als RAID5 moeten gaan draaien, welke het bordje van huis uit ondersteund, wat ik me nu afvraag, is de RAID5 functionaliteit van Linux nou beter als die van de ingebouwde controller ? Wat zijn voor en nadelen voor hetzij de controller RAID5 hetzij linux RAID5 ?
Een throughput van 10MB/s is al genoeg voor me, kan toch niet eens halen uit 802.11G

Welk bestandssysteem zou je aanraden onder linux ? (Ga toch niet aanklooien met FreeBSD of windhoos)

Doel van het NASje:
Opslag foto's + webgui daarvoor
usenet downloads uitvoeren (sabnzbd+) (zelden)
torrent downloads uitvoeren (zelden)
ftp en http downloads uitvoeren (wget)
Samba voor de toegang uit windows

Ben van plan om een custom linux te gebruiken, zodat deze klein is en statisch (alleen configuratie wijzigingen mogen naar flash geschreven worden, dit heeft als voordeel een snelle start tijd en weinig geheugen en processortijd verspilling)

Ben benieuwd naar de op en aanmerkingen

Als je in any random Linux de swap file uitzet, en de /tmp en /var in een RAM disk mount heb je al geen noemenswaardige writes meer. En je kan toch je logfiles nog lezen en dingen naar /tmp schrijven. Cronjobs kan je ook zoveel mogelijk disablen.

Ik zou zelf Gentoo gebruiken, en gewoon met software RAID, de RAID controller op je moederbord is geen echte hardwarematige oplossing, en gebruikt alsnog de CPU in combi met een softwarematige driver.
Linux software RAID zal dus sneller, flexibeler en makkelijker te configureren zijn.

Wat betreft het fs, je zou eens naar JFFS2 kunnen kijken, dat zit in de standaard kernel en is gemaakt voor flash geheugen...ik heb er zelf (nog) geen ervaring mee. Ext3 met noatime is ook een optie.

Voor de RAID partitie stel je niet zoveel eisen, het is geen extreem grote array, dus standaard ext3 is waarschijnlijk afdoende.

Ik ben zelf steeds meer een fan van XFS aan het worden, zeker in combinatie met LVM, omdat het vrij flexibel te resizen is, en live xfs_dumps ideaal voor backups zijn, maar das mijn mening.

[Verwijderd]

Je zoekt meer een hybride workstation/fileserver, anders had ik je FreeNAS aangeraden. Dat is een distributie op basis van FreeBSD met geom_raid5 driver en een hele makkelijke web-GUI. Maar je kunt geen torrents of usenet doen: alleen filesharing via diverse protocollen (ftp, cifs, nfs, rsync, ssh, iscsi, etc).

Als je voor linux gaat, probeer dan md-raid5 eens. Ik weet overigens niet of fake RAID5 wel werkt op linux, dus mocht je voor die keuze gaan kan het zijn dat je vast zit aan Windows.

[zork]

Ik ben zelf momenteel aan het bekijken of ik voor een leuk prijsje een mooie kleine RAID NAS kan bouwen. In eerste instantie wil ik 2 SATA schijven in RAID1 draaien, puur om mijn documenten tussen mijn laptop en pc eenvoudig en (redelijk) veilig te delen.

Ik ga een zuinig systeem bouwen die klein is opdat ik het gemakkelijk ergens in een hoekje weg kan stoppen. Dit heeft mij op moederbord/cpu combinaties gebracht, maar het was nogal lastig om de juiste te vinden tussen alle opties. Zo heeft het veel naar verwezen Intel Atom bord slechts 100 Mbps lanverbinding, waar veel mensen een 1 Gbps verbinding wensen. Om het zoeken hiervoor makkelijker te maken, ben ik toevallig bij de amerikaanse Newegg.com bij de advanced search uitgekomen, ze hebben zelfs een afdeling van moederbord/cpu combinaties

*Klik*

Zo is er makkelijk een selectie te maken aan de hand van de zeer specifieke wensen

Hoop dat jullie hier ook wat aan hebben, ik zal laten weten wat het voor mij gaat worden

(en hoop dat mijn keuze compatible is met FreeNAS, maar dat is een heel ander verhaal...)

[oscar]

Ik heb inmiddels de onderdelen voor mijn NASje binnen, tijd voor de installatie. Ik ben ook benieuwd of ik beter de RAID vanuit mijn moederbord kan gebruiken, of de softwarematige RAID van FreeBSD.

Specs: Asus T3-M3N8200 barebone, AMD Athlon 64x2 4450e, 2x1Gb DDR2 en 3x 750Gb WD GP harddisks. Wat is wijsheid, "hardwarematige" of softwarematige RAID-5?

Edit: inmiddels gebruik gemaakt van de raid5 geom driver onder FreeBSD. Loopt als een speer!

Verwijderd schreef op dinsdag 05 augustus 2008 @ 19:16:
Je zoekt meer een hybride workstation/fileserver, anders had ik je FreeNAS aangeraden. Dat is een distributie op basis van FreeBSD met geom_raid5 driver en een hele makkelijke web-GUI. Maar je kunt geen torrents of usenet doen: alleen filesharing via diverse protocollen (ftp, cifs, nfs, rsync, ssh, iscsi, etc).

Niet helemaal, er is een port voor Sabnzbd voor FreeBSD. Zie onder meer hier; installeren op FreeNAS zou dus niet zo'n tour moeten zijn. Wat betreft andere services zijn er ongetwijfeld ook een aantal ports te vinden, zoals voor torrents. Standaard zit er zelfs een iTunes server in!

[ Voor 5% gewijzigd door oscar op 07-08-2008 20:14 . Reden: Inmiddels gekozen voor software raid en hee, FreeNAS heeft gewoon een iTunes server! ]

[Verwijderd]

Misschien een leuk nieuwtje voor deze doelgroep:

Test: energiezuinige moederborden

Ik ga dus een heleboel zuinige bordjes testen met AMD 4850e en 9350e processors.
De eerste resultaten verwacht ik al over een paar weken. En het goeie is: ik zal ze ook testen op FreeBSD/FreeNAS compatibiliteit.

[ Voor 13% gewijzigd door Verwijderd op 07-08-2008 21:45 ]

[P5ycho]

zo te zien worden Atoms met de US15 chipset erg interessant voor een low power nas:
nieuws: Kontron lanceert mini-itx-moederbord met Atom-cpu
2x pci express 1x, onboard Gbit, helaas maar 2x sata.

[oscar]

Na installatie van FreeNAS 0.69b2 en een korte configuratie (raid5 en afp) loopt mijn NAS nog niet echt soepel. Bij het versturen van files naar een share treedt al snel een timeout op:

msk0: watchdog timeout

Na een paar seconden komt ie weer up, maar al gauw treden er andere errors op:

mskc0: Tx descriptor error

Vooral van deze laatste fout kan ik weinig vinden. De timeout kan aan van alles liggen (uPnP bios niet van toepassing, kabels heb ik gechecked) Wie helpt?

[Shuriken]

oscar schreef op vrijdag 08 augustus 2008 @ 19:34:
Na installatie van FreeNAS 0.69b2 en een korte configuratie (raid5 en afp) loopt mijn NAS nog niet echt soepel. Bij het versturen van files naar een share treedt al snel een timeout op:


[...]


Na een paar seconden komt ie weer up, maar al gauw treden er andere errors op:


[...]


Vooral van deze laatste fout kan ik weinig vinden. De timeout kan aan van alles liggen (uPnP bios niet van toepassing, kabels heb ik gechecked) Wie helpt?

Klinkt als een netwerk kaart probleem. De nvidia netwerk implementatie werkt niet zo goed. Je hebt hiervoor een patch nodig. Of anders een Intel PCI-e netwerk kaartje. De patch heeft wel ergens in dit topic gestaan....

[ Voor 12% gewijzigd door Shuriken op 08-08-2008 21:00 ]

[oscar]

Shuriken schreef op vrijdag 08 augustus 2008 @ 20:57:Klinkt als een netwerk kaart probleem. De nvidia netwerk implementatie werkt niet zo goed. Je hebt hiervoor een patch nodig. Of anders een Intel PCI-e netwerk kaartje. De patch heeft wel ergens in dit topic gestaan....

Dank voor je snelle reply! De enige patch die ik kan vinden is deze... bedoel je die? Moet ik er anders eens FreeBSD 7 op zetten om te zien of het probleem daar niet optreedt?! Enne... zijn er nog andere mogelijkheden?

[Q]

Eerste rudimentaire monitor-scriptje voor mijn NAS voor bewaking via mijn iPhone:

[gurbo]

Ik ben al een tijdje een aantal draadjes aan het volgens over diy NASjes en zuinige hardware. Het lijkt er toch op dat ik voor de ietswat prijzige Chenbro ES34069 icm met een itx bordje ga. Ik ga nu voor deze combi, omdat ik het de allergaafste kast vind die nu aardig in prijs gedaald is en er nu keuze voor de itx bordjes is.

Ik zou hier graag met jullie mijn geplande configuratie willen bespreken, zodat ik aan de hand van jullie tips nog wat aanpassingen kan maken. Ik hoef voor mijn NAS geen grote performance, het is veelal voor storage, slimserver, software RAID 1 en torrents downloaden. Ik ga Debian als OS gebruiken, omdat ik hier het bekendst mee ben.

Mijn config:

• Case en voeding: Chenbro ES34069
• Mainboard: Volgens mij zijn er momenteel drie itx bordjes met 4 x sata en gbit LAN: Jetway JNC62K AM2+, Albatron KI690-AM2, VIA EPIA SN. Ik wil eigenlijk voor de Jetway gaan, omdat deze verreweg het voordeligst is (ze kosten respectievelijk 85, 155 en 196 euro).
• Cpu:
  • AMD Athlon 64 X2 3800+ EE SFF (90nm, 35W TDP)
  • AMD Athlon X2 4850e - 7W
  • AMD Sempron LE-xxxx
  Wil tussen deze drie een keuze gaan maken. Moet zelf eerst weer ff terug naar de onderzoekstafel (lees: googlen) Dit is echt een fantastische testvan Tom's Hardware van 35 AMD processoren qua stroomverbruik ed. Deze link zal ik voor mijn keuze gebruiken.
  Hier kan ik zeker wat hulp gebruiken. Mijn cpu kennis is niet up to date. Ik zoek een voordelige energiezuinige processor. De performance is minder belangrijk. Dual Core is ook geen must. Is een Sempron LE-1250 iets? Wat zouden jullie doen?
• Mem: 1 GB
• HD: Oude keuze: 2 x Samsung Spinpoint F1 1TB (ben alternatief aan het uitpluizen), 1 x 30 gb 2.5 inch die ik nog heb liggen voor het OS.
  Nieuwe keuze: 2 x 1 TB of 2 x 750 GB Western Digital Green Power. Laat de capaciteit ff afhangen van de totaalprijs.

Ik heb nog niet echt ervaringen van een ingerichte Chenbro ES34069 kunnen vinden qua stroomverbruik. Wat denken jullie wat bovenstaande config in idle zal gaan trekken?

Commentaar en tips zijn van harte welkom.

[ Voor 22% gewijzigd door gurbo op 17-08-2008 11:12 ]

[Verwijderd]

gurbo schreef op zaterdag 16 augustus 2008 @ 16:54:
• Mainboard: Volgens mij zijn er momenteel drie itx bordjes met 4 x sata en gbit LAN: Jetway JNC62K AM2+, Albatron KI690-AM2, VIA EPIA SN. Ik wil eigenlijk voor de Jetway gaan, omdat deze verreweg het voordeligst is (ze kosten respectievelijk 85, 155 en 196 euro).
• Cpu: ? Hier kan ik zeker wat hulp gebruiken. Mijn cpu kennis is niet up to date. Ik zoek een voordelige energiezuinige processor. De performance is minder belangrijk. Dual Core is ook geen must. Is een Sempron LE-1250 iets? Wat zouden jullie doen?

Die Via heeft al een Via Epia van 1 Ghz of 1.8 Ghz, die andere 2 bordjes zijn socket AM2, dus daar moet een Sempron/AMD CPU op.
Een Epia is prima, zelfs de 1.0 Ghz, die is fanless en extreem zuinig.

• Mem: 2 GB

Beetje overkill, waar heb je in godsnaam 2 GB voor nodig?

• HD: 2 x Samsung Spinpoint F1 1TB, 1 x 30 gb 2.5 inch die ik nog heb liggen voor het OS.

Waarom weer die achterlijke Spinpoints?
Koop een paar goede schijven, Seagate ES.2's of WD RE2's, die zijn gemaakt om 24/7 te draaien, kunnen beter omgaan met hitte en hebben een langere garantie+gegarandeerde levensduur.

Ik koop zelf altijd deze, heb er nu 28 probleemloos draaien (effe afkloppen):
http://www.seagate.com/ww...racuda_es/barracuda_es.2/

Waarom installeer je het OS niet gewoon mee op de RAID1 array, in Debian/Linux kan dat gewoon, en dan weet je zeker dat je machientje blijft draaien als er een schijf stukgaat.

Ik heb nog niet echt ervaringen van een ingerichte Chenbro ES34069 kunnen vinden qua stroomverbruik. Wat denken jullie wat bovenstaande config in idle zal gaan trekken?

Ongeveer 10 Watt per schijf, een paar Watt voor de CPU, dus idle iets van 20 Watt, ik zou de schijven niet steeds laten downspinnen, daar houden ze niet van en dat verlengt de levensduur niet.
Mocht je die 10 Watt nog steeds teveel vinden, WD heeft tegenwoordig ook RE2 G(reen)P(ower) modellen, die gebruiken de helft ongeveer.
Zie: https://www.wdc.com/en/products/products.asp?driveid=385
Ze zijn wel uiteraard een stukje duurder.

[ Voor 15% gewijzigd door Verwijderd op 16-08-2008 17:14 ]

[gurbo]

Verwijderd schreef op zaterdag 16 augustus 2008 @ 17:07:
Beetje overkill, waar heb je in godsnaam 2 GB voor nodig?

Goed punt. Ik zal de boel halveren.

Waarom weer die achterlijke Spinpoints?
Koop een paar goede schijven, Seagate ES.2's of WD RE2's, die zijn gemaakt om 24/7 te draaien, kunnen beter omgaan met hitte en hebben een langere garantie+gegarandeerde levensduur.
...
Waarom installeer je het OS niet gewoon mee op de RAID1 array, in Debian/Linux kan dat gewoon, en dan weet je zeker dat je machientje blijft draaien als er een schijf stukgaat.

Zal even wat tijd steken om andere schijven uit te zoeken. Pas ik later wel ff in mijn lijstje aan.

Was eigenlijk wel een spin-down van plan, al was ik hier in het verleden ook nooit een voorstander van. Sinds ik werk heeft mijn server het namelijk erg rustig . Ik zal als ik de boel heb eens experimenteren of ik dit echt wel wil. Indien ik geen spin-down doe gaat de 2.5 inch eruit.

Welke Sempron chip zouden jullie bijvoorbeeld aanraden? Liefst voordelig en zuinig.

[ Voor 4% gewijzigd door gurbo op 16-08-2008 20:21 ]

[Verwijderd]

oscar schreef op zaterdag 09 augustus 2008 @ 19:40:
Dank voor je snelle reply! De enige patch die ik kan vinden is deze... bedoel je die? Moet ik er anders eens FreeBSD 7 op zetten om te zien of het probleem daar niet optreedt?! Enne... zijn er nog andere mogelijkheden?

Je hebt een Marvell Yukon chip, en die wordt op dit moment nog maar experimenteel ondersteund, de watchdog timeout problemen zijn bekend, zie:
http://www.freebsd.org/cgi/query-pr.cgi?pr=116853

Een fix is voorlopig nog niet in zicht volgens auteur Pyun YongHyeo. Als je een vrij PCIe slot hebt kun je er een Intel Pro/1000 PT PCI-e x1 kaartje inzetten, is 30 euro ofzo. Een goedkoper kaartje op basis van een Realtek chip kan ook prima, maar check eerst even te compatibiliteit (manpages van rl en re).

gurbo schreef op zaterdag 16 augustus 2008 @ 16:54:
Ik zou hier graag met jullie mijn geplande configuratie willen bespreken, zodat ik aan de hand van jullie tips nog wat aanpassingen kan maken. Ik hoef voor mijn NAS geen grote performance, het is veelal voor storage, slimserver, software RAID 1 en torrents downloaden.

Elke processor voldoet wel, maar ik zou eerder geneigd zijn er een dualcore in te stoppen, tenzij je ook in de toekomst niets gaat doen met dingen als encryptie of RAID5. Leuke processors zijn bijvoorbeeld:

• AMD Athlon 64 X2 3800+ EE SFF (90nm, 35W TDP) let erop dat je echt de 35W versie krijgt en niet de normale 3800+ EE van 65W.
• AMD Athlon X2 4850e - 7W idle dualcore, zelfde idle verbruik als 4050e dus die zou voor jou ook kunnen, scheelt je twee tientjes ofzo.

JNC62K bordje is erg leuk, alleen geen PCI-express dus uitbreiding is dan niet mogelijk zonder concessies te doen aan de performance. Een J&W Minix (klik voor foto) is ook een optie, die heeft wel PCI-express. Qua geheugen: ik zelf wil juist veel RAM in mn NAS zodat veel data direct uit RAM gelezen kan worden. Als je in linux of BSD een bestand van 1GB inleest, blijft die in het geheugen - mits toereikend - totdat de ruimte nodig is voor andere doeleinden en de filecache dus simpelweg als 'vrije ruimte' wordt gemarkeerd.

En ja als HDD natuurlijk een WD Caviar GP 1TB, voor rond de 115 euro. Slechts 3,65W idle tegenover 8W van andere desktopschijven

[jeroentb]

fabio-c schreef op dinsdag 05 augustus 2008 @ 19:13[/message]:
[...]

Ik zou zelf Gentoo gebruiken, en gewoon met software RAID, de RAID controller op je moederbord is geen echte hardwarematige oplossing, en gebruikt alsnog de CPU in combi met een softwarematige driver.
Linux software RAID zal dus sneller, flexibeler en makkelijker te configureren zijn.

Wat betreft het fs, je zou eens naar JFFS2 kunnen kijken, dat zit in de standaard kernel en is gemaakt voor flash geheugen...ik heb er zelf (nog) geen ervaring mee. Ext3 met noatime is ook een optie.

Voor de RAID partitie stel je niet zoveel eisen, het is geen extreem grote array, dus standaard ext3 is waarschijnlijk afdoende.

Ik ben zelf steeds meer een fan van XFS aan het worden, zeker in combinatie met LVM, omdat het vrij flexibel te resizen is, en live xfs_dumps ideaal voor backups zijn, maar das mijn mening.

Hm, gentoo heb ik zitten overwegen, is dat wel te doen op een 2GB USB stickie ? Wil de hdd's namelijk uitsluitend voor de data gebruiken...

Ik heb geen goede ervaringen opgedaan met JFFS2, het bedrijf waar ik werk gebruikt dat bestandssysteem voor onze embedded computers, maar ik heb te vaak corrupte filesystems ermee meegemaakt, ik denk overigens dat EXT2 noatime vriendelijker voor je flash is dan EXT3...

XFS heb ik ook goede ervaringen mee met LVM, ik heb werkelijk nog nooit zo'n vlot bestandssysteem meegemaakt als je enorme hoeveelheden kleine bestanden hebt ! Denk dan ook dat dat de keus wordt, echter de periode waarin ik met XFS heb zitten spelen was het net nieuw, en ook al eens een corrupt FS mee gehad, zal wellicht komen omdat het toen nog alpha was.

Overigens verwacht ik dat linux enorm snel zou moeten zijn met RAID5, de athlon64 en dus ook de semprons hebben een speciale instructie die parity berekeningen enorm versnelt, ik zag dat kernel 2.6 zelfs de snelst mogelijke instructie ervoor zal toepassen, theoretisch zou ie 2GB/s makkelijk moeten kunnen halen, maar ik w8 het eindresultaat uiteraard eerst wel even af

[ Voor 19% gewijzigd door jeroentb op 18-08-2008 03:22 ]

[Verwijderd]

jeroentb schreef op maandag 18 augustus 2008 @ 03:16:
[...]

Hm, gentoo heb ik zitten overwegen, is dat wel te doen op een 2GB USB stickie ? Wil de hdd's namelijk uitsluitend voor de data gebruiken...

Makkelijk, een kaal systeem is een paar honderd MB.

Overigens verwacht ik dat linux enorm snel zou moeten zijn met RAID5, de athlon64 en dus ook de semprons hebben een speciale instructie die parity berekeningen enorm versnelt, ik zag dat kernel 2.6 zelfs de snelst mogelijke instructie ervoor zal toepassen, theoretisch zou ie 2GB/s makkelijk moeten kunnen halen, maar ik w8 het eindresultaat uiteraard eerst wel even af

raid6: sse2x4 2859 MB/s
raid6: using algorithm sse2x4 (2859 MB/s)

[Verwijderd]

Is dat een disk array of naar geheugen? Lijkt me dat laatste, gewoon XOR berekeningen. Daar is je CPU ook heel snel in. Het punt bij parity RAID is vooral om alle disks bezig te houden, en situaties te voorkomen waarbij er wordt gewacht op één disk aan het werk is en de rest niks doet. In mijn tests is geom_raid5 PP (versie 3) stukken sneller dan md-raid5. Heb je benchmarks op concrete arrays en filesystems?

[The Realone]

Iemand enig idee of in die Chenbro behuizing makkelijk een losse disk te hangen is, eventueel een 2,5" ofzo? Ik heb namelijk nog 4x 500GB schijven liggen die ik wil gebruiken voor m'n DIY NAS en heb begrepen dat het OS installeren op je RAID5 array niet verstandig is. Correct me if I'm wrong.

[P5ycho]

Dan zet je toch een gmirror aan het begin van je schijven en gebruik je de rest als raid5?
Een enkele disk voor je OS is niet meer dan nog een single point of potentional failure

[jeroentb]

Verwijderd schreef op maandag 18 augustus 2008 @ 08:15:
Is dat een disk array of naar geheugen? Lijkt me dat laatste, gewoon XOR berekeningen. Daar is je CPU ook heel snel in. Het punt bij parity RAID is vooral om alle disks bezig te houden, en situaties te voorkomen waarbij er wordt gewacht op één disk aan het werk is en de rest niks doet. In mijn tests is geom_raid5 PP (versie 3) stukken sneller dan md-raid5. Heb je benchmarks op concrete arrays en filesystems?

Die XOR's waar hij het over heeft gaan van CPU->Memory, bottleneck zal dus IO zijn, maar verwacht met m'n gekozen chipset toch wel een erg goed resultaat, normaal zijn CPU's overigens helemaal niet snel met XOR (500MB/s generiek), je moet daar echt wel een recente CPU voor hebben.

Ik moet m'n spul nog ontvangen, tegen eind vd week heb ik het pas, dus antwoord moet ik je verschuldigd blijven.

[jeroentb]

The Realone schreef op maandag 18 augustus 2008 @ 08:30:
Iemand enig idee of in die Chenbro behuizing makkelijk een losse disk te hangen is, eventueel een 2,5" ofzo? Ik heb namelijk nog 4x 500GB schijven liggen die ik wil gebruiken voor m'n DIY NAS en heb begrepen dat het OS installeren op je RAID5 array niet verstandig is. Correct me if I'm wrong.

Als jij een aparte hardware raid adapter hebt met eigen geheugen en batterij dan kun je het gerust op de array installeren.
Anders zou ik het niet doen en of de suggestie volgen voor de mirror, of booten van een flashdisk waar je niet meer of heel zelden naar schrijft. (Kun je makkelijk een copy van maken en copy gebruiken als primary faalt, heeft dan ook geen verdere gevolgen voor je raid schijven.

[The Realone]

Flashdisk is zo'n gek idee nog niet. Eventueel 2 in RAID1 met zo'n duo-adapter.

Overigens heb ik nog een Rocketraid 2300 op de plank liggen, maar ik neem aan dat ik voor RAID5 beter software kan gebruiken i.c.m. met een redelijk rappe dualcore ofzo?

[P5ycho]

Overigens zou ik me niet zo druk maken hoor. Natuurlijk is het beter als je OS op een aparte array staat, maar wanneer is het nu boeiend voor een thuis-NAS om de absolute peak performance te halen? Dat OS kan prima bij de RAID5 array op hoor.

[jeroentb]

Het gaat dan niet om performance, maar zorgen dat je OS niet crashed als een van je RAID disks faalt doordat hij swap erop heeft of andere voor het OS belangrijke bestanden, ik zou met een sw oplossing zeker niet mijn OS op de raid5 set zetten.

[Verwijderd]

jeroentb schreef op maandag 18 augustus 2008 @ 10:17:
Die XOR's waar hij het over heeft gaan van CPU->Memory, bottleneck zal dus IO zijn, maar verwacht met m'n gekozen chipset toch wel een erg goed resultaat, normaal zijn CPU's overigens helemaal niet snel met XOR (500MB/s generiek), je moet daar echt wel een recente CPU voor hebben.

FYI: ik ben betrokken geweest bij de ontwikkeling van geom_raid5 sinds de eerste codebase, die beter was in kernels laten crashen dan parity RAID uit te voeren. Daarbij hebben we ook heel duidelijk gekeken naar de performance, die in het begin natuurlijk crap was zonder write-back. Uiteindelijk heb je een snelle engine die zo'n 90% van de max STR haalt die de fysieke disks kunnen bieden, zolang de CPU het toelaat. Waar het me om gaat: we hebben destijds een speciale build gemaakt die de tijd bijhield van alle bezigheden van de RAID5 driver. Daaruit blijkt dat de XOR een verwaarloosbaar aandeel heeft in de totale cputijd die de driver besteed aan het verwerken van I/O.

Bottom line: XOR is niet het probleem, het is het splitsen en samenvoegen van requests en de geheugenoperaties die daarbij horen, die de bottleneck vormen. De vertraging hiervoor kan de disks tijdelijk zonder werk komen te zitten, wat kleine gaten maakt in de maximale doorvoer die theoretisch mogelijk is. Dat gezegd, geom_raid5 doet het in mijn benchmarks nog altijd beter dan md-raid5 zoals in Ubuntu 7.04. Maar ik ben benieuwd naar de hardware en tests die anderen hebben uitgevoerd.

Oh en over die speciale SSE2 instructies, wat is modern? Athlon 64, Via C7 of Atom ondersteunen alle drie SSE2. Bovendien, bij sommmigen is de generieke driver met 7000MB/s+ weer stukken sneller:

[ 5.383743] xor: automatically using best checksumming function: generic_sse
[ 5.400316] generic_sse: 7693.000 MB/sec

Maar dat is absoluut nog heel wat anders dan een disk I/O van dergelijke omvang, sorry maar deze spec zegt je weinig over I/O performance. Ik zou je conclusies baseren op échte benchmarks.

[Verwijderd]

Gentoo Linux met een software RAID 6 bestaande uit 14x 750 GB Seagate ES.2's op 2 MV8 PCI-X controllers:

home # dd if=/dev/zero of=/home/test.bin bs=1M count=4000
4000+0 records in
4000+0 records out
4194304000 bytes (4.2 GB) copied, 33.078 s, 127 MB/s

en

home # dd if=/home/test.bin of=/dev/null bs=1M count=4000
4000+0 records in
4000+0 records out
4194304000 bytes (4.2 GB) copied, 15.9459 s, 263 MB/s

Al is dat natuurlijk een hele ruwe benchmark, het zegt niks over meerdere writes en reads tegelijk ed. Al met al snel zat voor een RAID6 bestaande uit normale SATA schijfjes.

[ Voor 4% gewijzigd door Verwijderd op 18-08-2008 23:03 ]

[Q]

Verwijderd schreef op maandag 18 augustus 2008 @ 23:01:
Gentoo Linux met een software RAID 6 bestaande uit 14x 750 GB Seagate ES.2's op 2 MV8 PCI-X controllers:

[...]

en

[...]

Al is dat natuurlijk een hele ruwe benchmark, het zegt niks over meerdere writes en reads tegelijk ed. Al met al snel zat voor een RAID6 bestaande uit normale SATA schijfjes.

Grappig: ik haal exact dezelfde snelheid qua schrijven onder Debian Etch met 6 x 1 TB. Maar volgens mij schaalt software raid 6 met writes niet zo, dus dat klopt wel.

Ik zou verwachten dat die leesperformance bij 14x 750 GB wel iets hoger zou liggen, want met 6x 1 TB doe ik 220 MB/s.

Uiteindelijk is het evengoed snel zat, zeker als je de data via Gigabit ontsluit.

[ Voor 5% gewijzigd door Q op 18-08-2008 23:52 ]

[Verwijderd]

Lage scores, zeker voor 14 disks. Maar tuning is waarschijnlijk nodig, zoals de read-ahead opvoeren en write-back vergroten. Of de raid6 driver is gewoon niet zo goed gebouwd. Wat was de CPU-belasting tijdens de write-benchmarks?

Anyway, geom_raid5 haalt zo'n 470MB/s write met 8 disks, met UFS filesystem 350MB/s, een soort overhead die overigens ook op kale disks is terug te vinden, heeft denk ik te maken dat UFS elke seconde 2 reads uitvoert ook al ben je enkel aan het schrijven, die reads tussendoor betekent dat de snelle schrijf doorvoer onderbroken wordt en dus de snelheid per seconde ook. Maar nog steeds stukken beter dan wat ik van parity raid op linux zie.

[Verwijderd]

Verwijderd schreef op dinsdag 19 augustus 2008 @ 03:46:
Lage scores, zeker voor 14 disks. Maar tuning is waarschijnlijk nodig, zoals de read-ahead opvoeren en write-back vergroten. Of de raid6 driver is gewoon niet zo goed gebouwd. Wat was de CPU-belasting tijdens de write-benchmarks?

Anyway, geom_raid5 haalt zo'n 470MB/s write met 8 disks, met UFS filesystem 350MB/s, een soort overhead die overigens ook op kale disks is terug te vinden, heeft denk ik te maken dat UFS elke seconde 2 reads uitvoert ook al ben je enkel aan het schrijven, die reads tussendoor betekent dat de snelle schrijf doorvoer onderbroken wordt en dus de snelheid per seconde ook. Maar nog steeds stukken beter dan wat ik van parity raid op linux zie.

470 MB/s met 8 disks?
Dus meer dan 50 MB/s per schijf?
Dat is iets dat RAID0 nog niet eens lukt...
Waar laat ie de parities dan?
Want daar zal je toch echt op moeten wachten...

Overigens heeft RAID6 2 parities, dus er moeten voor elke write 2 parities weggeschreven worden, en aangezien de max van 1 schijf ongeveer 60 MB/s is, vind ik ~120 MB/s helemaal niet raar.
Laat maar eens wat voorbeelden van jouw 350 MB/s zien.

In theorie zou het ((de snelheid van de langzaamste disk) x (totaal schijven - 1)) moeten zijn, maar ik heb dat nog nooit gezien...

[ Voor 19% gewijzigd door Verwijderd op 19-08-2008 07:56 ]

[raven22]

Ik vraag me af of je op het FreeNas systeem ook een netwerk share (samba) van een andere nas kunt mounten? Iemand hier ervaring mee? Mijn freenas server heeft zelf nl geen interne storage.

[gurbo]

The Realone schreef op maandag 18 augustus 2008 @ 08:30:
Iemand enig idee of in die Chenbro behuizing makkelijk een losse disk te hangen is, eventueel een 2,5" ofzo? Ik heb namelijk nog 4x 500GB schijven liggen die ik wil gebruiken voor m'n DIY NAS en heb begrepen dat het OS installeren op je RAID5 array niet verstandig is. Correct me if I'm wrong.

De kast heeft standaard ruimte voor een extra 2.5 inch disk.

[jeroentb]

Verwijderd schreef op dinsdag 19 augustus 2008 @ 03:46:
Lage scores, zeker voor 14 disks. Maar tuning is waarschijnlijk nodig, zoals de read-ahead opvoeren en write-back vergroten. Of de raid6 driver is gewoon niet zo goed gebouwd. Wat was de CPU-belasting tijdens de write-benchmarks?

Anyway, geom_raid5 haalt zo'n 470MB/s write met 8 disks, met UFS filesystem 350MB/s, een soort overhead die overigens ook op kale disks is terug te vinden, heeft denk ik te maken dat UFS elke seconde 2 reads uitvoert ook al ben je enkel aan het schrijven, die reads tussendoor betekent dat de snelle schrijf doorvoer onderbroken wordt en dus de snelheid per seconde ook. Maar nog steeds stukken beter dan wat ik van parity raid op linux zie.

Impressive, maar lekker belangrijk voor een thuis-NAS Ik vind overigens een vergelijk van RAID5 scores met RAID6 ook niet geheel terecht, dan moet je het vergelijken met diezelfde harddisks van jou met linux raid 5 ipv met iemand ander zijn systeem met raid 6.

Ik ken linux goed en bsd niet, dus zal hoe dan ook gentoo worden.

Anyway, ik zal heus wel wat lokale benchmarks uitvoeren en die post ik dan wel weer, welke ongetwijfeld een flink stuk lager zijn Edoch verwacht ik wel zo'n 120MB/s te halen, snel zat om gigabit ethernet op z'n knieen te dwingen.

[ Voor 5% gewijzigd door jeroentb op 19-08-2008 17:28 ]

[Verwijderd]

raven22 schreef op dinsdag 19 augustus 2008 @ 13:42:
Ik vraag me af of je op het FreeNas systeem ook een netwerk share (samba) van een andere nas kunt mounten? Iemand hier ervaring mee? Mijn freenas server heeft zelf nl geen interne storage.

Waarom wil je een NAS via een NAS benaderen? Die snap ik niet...

[raven22]

Verwijderd schreef op dinsdag 19 augustus 2008 @ 18:03:
[...]


Waarom wil je een NAS via een NAS benaderen? Die snap ik niet...

Omdat ik Freenas wil gebruiken om squeezecenter (muziekserver) op te draaien, maar mijn muziekcollectie staat op een Conceptronic CH3SNAS. Squeezecenter kan niet draaien op deze nas want te weinig werkgeheugen.

[Verwijderd]

raven22 schreef op dinsdag 19 augustus 2008 @ 19:17:
[...]


Omdat ik Freenas wil gebruiken om squeezecenter (muziekserver) op te draaien, maar mijn muziekcollectie staat op een Conceptronic CH3SNAS. Squeezecenter kan niet draaien op deze nas want te weinig werkgeheugen.

Probeer eens een "mount –t cifs //adresvanjeconceptronicnas/blabla/muziek /mnt/media/muziek/" vanaf de cli op je FreeNAS machine...

[Rostvertol-Mil]

Ik ben mijn nas/server aan het upgraden en heb hier een intel bordje voor gekocht. De ICH8R southbridge ondersteund ook raid5. Ik kan nu echter nergens vinden hoe de ich raid 5 performance zich verhoudt tot de software raid 5 van een recente linux kernel. Is het enige verschil de snelheid of zijn er meer dingen om rekening mee te houden?

[Demo]

Verwijderd schreef op dinsdag 19 augustus 2008 @ 19:31:
[...]


Probeer eens een "mount –t cifs //adresvanjeconceptronicnas/blabla/muziek /mnt/media/muziek/" vanaf de cli op je FreeNAS machine...

Aangezien het FreeBSD-based is, denk ik dat je -t smbfs moet doen. Als FreeBSD-fan heb ik laatst zitten schelden op Ubuntu, aangezien ie smbfs niet kende en dat toch echt geïnstalleerd was

[Verwijderd]

Verwijderd schreef op dinsdag 19 augustus 2008 @ 07:50:
470 MB/s met 8 disks?
Dus meer dan 50 MB/s per schijf?

Is dat zo vreemd? De schijven kunnen 75MB/s dus in totaal:

theoretical aggregate throughput: 8 * 75MB/s = 600MB/s
theoretical raid5 write throughput: (8-1) * 75MB/s = 525MB/s
actual raid5 write throughput: 470MB/s
calculated efficiency: 470/525 = 89,5%

Conclusie: de geom_raid5 TNG/PP driver is zo'n 90% efficient, hoger dan welke andere software RAID5 driver komt waar ik mee gewerkt heb.

Dat is iets dat RAID0 nog niet eens lukt...

Leg dat eens uit? Bij RAID0 zie je een lineaire stijging van de STR:

1 schijf = 75MB/s
2 schijven in RAID0 = 150MB/s
4 schijven in RAID0 = 300MB/s
8 schijven in RAID0 = 600MB/s
16 schijven in RAID0 = 1200MB/s

Bij RAID arrays moet je vaak wel aan tuning doen, en veel mensen maken fouten bij het testen van RAID performance. Uiteraard geldt bovenstaand voordeel niet als je van een ouderwetse PCI-bus of brakke driver (JMicron) gebruik maakt; gewoon software RAID onder FreeBSD. Software RAID0 onder WinXP:

Waar laat ie de parities dan?
Want daar zal je toch echt op moeten wachten...

De parity voegt extra writes toe. Als je op een 4-disk array 200MB wilt schrijven, moet er dus in feite 266MB/s geschreven worden naar de fysieke disks. Je write snelheid gaat er dus iets op achteruit, maar de theoretische maximale sustained write is (N-1) * STR, waarbij N het aantal schijven is en STR de doorvoersnelheid van de disks, uitgaande van identieke schijven. De leessnelheid van RAID5 is potentiëel even hoog als RAID0.

Overigens heeft RAID6 2 parities, dus er moeten voor elke write 2 parities weggeschreven worden

RAID6 is double parity (inner & outer) - dus is de theoretische maximale schrijfsnelheid: (N-2) * STR. RAID6 is er op FreeBSD alleen voor ZFS's RAID-Z2. GEOM RAID gaat tot level 5.

Maar heb je RAID6 nodig? RAID kan niet de functie van backup vervangen dus lijkt me een backup schijf veel logischer. En dan is RAID5 zeker afdoende. Zelfs RAID0 zou kunnen, als je backup maar goed geregeld is. Thuissystemen is het niet zo'n ramp als de boel een keer plat ligt, als je je data maar niet kwijt bent. Met een goede backup heb je dat risico voor een thuissituatie al genoeg afgedekt in mijn ogen. RAID6 is wel leuk als je geen backup kunt of wilt maken, maar met RAID kun je enkel risico's resulterende in beperkte schijfuitval afdekken. Dataloss door bugs/problemen met de RAID layer komen ook veel voor, arrays die plots gesplitst zijn en een actie van de gebruiker tot totale vernietiging leidt van de resterende data, of de gebruiker simpelweg de kennis niet heeft om zo'n situatie te herstellen, en professionele hulp te duur is. Er vallen veel nuances te plaatsen als je kijkt naar specifieke situaties van mensen. Wat voor de een goed werkt, kan bij de ander enkel ergenis en ellende zijn.

Laat maar eens wat voorbeelden van jouw 350 MB/s zien.

Prima:

code:

BSD benchmark project

*** gstripe 8-disks 128KiB stripe

UFS 32K read: 386MB/s (64 blocks read_ahead)
8 blocks = 227MB/s
64 blocks = 386MB/s
128 blocks = 401MB/s
UFS 32K write: 485MB/s

gjournal performance (16GB file) on stripe - 32k UFS
read: 374MB/s
write: 108MB/s


*** geom_raid5 PP (250 cache buckets) 8-disks 128KiB stripe

raw read: 115MB/s
raw write: 470MB/s

UFS 32k
r: 341MB/s (361 with 256block UFS read-ahead)
w: 323MB/s

gjournal UFS 32k
r: 364MB/s
w: 99MB/s


*** geom_raid5 EFF/TNG (maxwql=200) 8-disks 128KiB stripe

raw read: 124MB/s
raw write: 478MB/s

UFS 32k
r: 359MB/s (357 with 256block UFS read-ahead)
w: 358MB/s

gjournal UFS 32k
r: 344MB/s
w: 135MB/s

In theorie zou het ((de snelheid van de langzaamste disk) x (totaal schijven - 1)) moeten zijn, maar ik heb dat nog nooit gezien...

Bij Areca wel, die schaalt ook lineair, maar niet oneindig. De oudere 500MHz IOP333 chip op ARC-1220 houdt er bij 400MB/s mee op, terwjil met nieuwere IOP-chips van Intel veel hogere STR snelheden mogelijk zijn. Maar of je dat nodig hebt? IOps lijken me belangrijker.

Maargoed dat geom_raid5 dicht bij de theoretische grens voor sustained write in de buurt komt, is wel duidelijk. Wel kan het zijn dat de writeback buffer bij standaard instellingen niet goed functioneert, met name in grotere arrays. En bij het gebruik van een PCI bus voor slechts maar een deel van de schijven, zakt de snelheid gelijk in. Probeer dat dus altijd te vermijden.

[Verwijderd]

jeroentb schreef op dinsdag 19 augustus 2008 @ 17:25:
Impressive, maar lekker belangrijk voor een thuis-NAS Ik vind overigens een vergelijk van RAID5 scores met RAID6 ook niet geheel terecht, dan moet je het vergelijken met diezelfde harddisks van jou met linux raid 5 ipv met iemand ander zijn systeem met raid 6.

Ik heb ook met md-raid5 vergeleken, daar zijn ook genoeg scores van bekend. Deze driver schrijft gewoon niet zo snel als geom_raid5, dus als het je daar om gaat biedt FreeBSD je een mooie set features en performance. Al heb ik altijd veel moeite om Samba redelijke performance te laten geven. FTP enzo is wel supersnel.

En ja inderdaad, sneller dan 100MB/s heb je misschien niet nodig als je gigabit gebruikt. Let wel dat dit een maximale write score is, in de beste omstandigheden. Een grote marge is dus nooit weg, want bij realistisch gebruik zal de behaalde snelheid dus lager liggen. Met name als je sterke journaling gebruikt, geom_journal of gjournal, zal de write snelheid gecastreerd worden. Als je dan van 350MB/s naar 100MB/s+ write gaat, hou je dus alsnog genoeg over om grote files via gigabit continu te kunnen blijven wegschrijven, in feite dubbel door de journaling.

Rostvertol-Mil schreef op dinsdag 19 augustus 2008 @ 20:06:
Ik ben mijn nas/server aan het upgraden en heb hier een intel bordje voor gekocht. De ICH8R southbridge ondersteund ook raid5. Ik kan nu echter nergens vinden hoe de ich raid 5 performance zich verhoudt tot de software raid 5 van een recente linux kernel. Is het enige verschil de snelheid of zijn er meer dingen om rekening mee te houden?

Dit is driver RAID he, dus onder FreeBSD/FreeNAS werkt dat niet, in elk geval niet met de Intel drivers voor Windows, die o.a. een snelle RAM writeback cache als feature hebben. Dus als je Linux/BSD gaat draaien, gebruik je automatisch de raid engine van linux/BSD, tenzij je fabrikant specifieke Linux/BSD drivers heeft, wat vaak enkel voorkomt bij de echte hardware controllers. Die hebben heel simpele drivers (mini-driver) omdat die driver niet een RAID-implementatie is, enkel een brug tussen OS en Controller. Fake RAID gebruikt wel drivers die in feite al het RAID-werk doen, ondersteund met hardware die boot-strapping mogelijk maakt, totdat de driver het kan overnemen.

Maar ik zou wel durven zeggen dat je met linux md-raid5 meer performance hebt dan onder Windows met die ICH controller. Voor Windows is die ICHxR met write-back wel de snelste op het gebied van onboard desktop-chipsets.

[raven22]

Verwijderd schreef op dinsdag 19 augustus 2008 @ 19:31:
[...]


Probeer eens een "mount –t cifs //adresvanjeconceptronicnas/blabla/muziek /mnt/media/muziek/" vanaf de cli op je FreeNAS machine...

Werkt niet, ook de /etc/fstab aanpassen werkt niet. Helaas, moet ik opzoek naar iets anders.

[Verwijderd]

Je hebt libsmbclient nodig, of als alternatief iets van fusefs.

[P5ycho]

Mijn volgende NAS upgrade gaat waarschijnlijk een MSI IM-GM45 met een E720 worden zoals het er nu uitziet.
2x Gbit lan voor NAT/routing doeleinden
64bit extensies voor freebsd7 met ZFS
mini PCIe slot voor een wireless kaartje, scheelt weer een access point

Tenzij de Nano bordjes binnen een maand van de MSI IM-GM45 release aangekondigd worden wordt dit em denk ik.

[Verwijderd]

Let je erop dat die Gigabit LAN ook via PCI-expres verbonden is en niet PCI, en dat de chip wordt ondersteund door FreeBSD. Check de hardware notes voor FreeBSD 7.0.

[P5ycho]

MSI IM-GM45 adapts Intel 82567LM and 82574L Gigabit Ethernet controllers to support redundancy and Intel AMT technology.

de 82567LM zit in de ICH9M, de 82574L is een low power PCIe Gbit controller (<800mW).
Staan nog niet in de lijst van 7.0 stable, maar dat is een kwestie van tijd imho. intel heeft hun drivers altijd goed voor mekaar.

Ik zie trouwens dat op intel.com ze wel gewoon in de lijst staan, moet dus werken. desnoods even de laatste stable ophalen.

Ik ben er alleen nog niet uit of ik 4x 500GB notebookschijven of 2 of 3 WD RE2-GP's neem. RAIDZ lijkt me een mooi iets om te implementeren. Die notebookschijven hakken er natuurlijk wel flink in wat betreft de totaalkosten.

[ Voor 34% gewijzigd door P5ycho op 21-08-2008 10:00 ]

[Verwijderd]

P5ycho schreef op donderdag 21 augustus 2008 @ 08:51:
[...]

de 82567LM zit in de ICH9M, de 82574L is een low power PCIe Gbit controller (<800mW).
Staan nog niet in de lijst van 7.0 stable, maar dat is een kwestie van tijd imho. intel heeft hun drivers altijd goed voor mekaar.

Ik zie trouwens dat op intel.com ze wel gewoon in de lijst staan, moet dus werken. desnoods even de laatste stable ophalen.

Ik ben er alleen nog niet uit of ik 4x 500GB notebookschijven of 2 of 3 WD RE2-GP's neem. RAIDZ lijkt me een mooi iets om te implementeren. Die notebookschijven hakken er natuurlijk wel flink in wat betreft de totaalkosten.

RAID-Z is leuk, maar bedenk wel dat ZFS extreem veel RAM nodig heeft en gewoon keihard op z'n bek gaat als de resources op zijn. Dus of ZFS aan te raden is voor een serieuze NAS setup...

[raven22]

Demoniac schreef op dinsdag 19 augustus 2008 @ 20:51:
[...]
Aangezien het FreeBSD-based is, denk ik dat je -t smbfs moet doen. Als FreeBSD-fan heb ik laatst zitten schelden op Ubuntu, aangezien ie smbfs niet kende en dat toch echt geïnstalleerd was

De .69b3 versie ondersteunt wel mount_smbfs en ik kan de nas share mounten op de Freenas server, maar ik krijg het niet voor elkaar dit automatisch te doen tijdens het booten.

/etc/fstab aanpassen werkt niet want bij een reboot is de wijziging weer verdwenen. Ook las ik ergens om een /etc/nsmb.conf file aan te maken met de sharename en user/password, dit werkt prima, maar ook hier geldt weer dat elke wijziging in Freenas is weer verdwenen bij een reboot. Dit komt natuurlijk omdat Freenas geheel vanuit RAM werkt. Iemand ervaring hoe ik toch permanente wijzigingen kan aanbrengen in freenas?

[Verwijderd]

Verwijderd schreef op donderdag 21 augustus 2008 @ 15:17:
[...]


RAID-Z is leuk, maar bedenk wel dat ZFS extreem veel RAM nodig heeft en gewoon keihard op z'n bek gaat als de resources op zijn. Dus of ZFS aan te raden is voor een serieuze NAS setup...

Met de prijzen van 1GB DDR2 tegenwoordig, een tientje, wat al genoeg is voor ZFS (amd64). Je moet alleen wel je /boot/loader.conf aanpassen, het probleem is dat standaard te weinig kernel geheugen wordt gereserveerd. Zet je je kmem op 640M met een 1GB reepje dan zie ik geen reden om problemen te verwachten.

Enige limitatie is dat je met i386 (32-bit) mode maximaal 512MiB kernel geheugen kan hebben. amd64 valt dus aan te raden.

[P5ycho]

dat is precies de reden waarom ik nog geen zfs op mijn via C7 based NAS heb draaien: geen native 64bit support.
Geheugen kost niets meer tegenwoordig, ik prop er gewoon meteen 4GB in. klaar is kees.

[jeroentb]

Ik heb m'n bakkie van 260 euro in elkaar geschroeft, en ik moet zeggen: het valt me heel erg mee!
Voor degenen die het hiervoor niet hebben gelezen:
Sempron 1200, ASRock AliveNF7, 3x250GB Seagate barracuda 7200.10 schijven.

Net gentoo draaien (boot via stick, rootfs nu nog op de raidset, moet nog naar de stick...)
Checksumming en XOR kiest voor pIII_sse : 6464.000 MB/sec (lijkt me snel)
raid6: sse2x2 (3933 MB/s)
Heb een raid5 set gecreeerd op de 3 sata schijven met een chunksize van 256kb, mkfs.ext3 een stride=64 meegegeven.

Laat ik eens de benchmark doen die hierboven ook gedaan werd:
Schrijven:
dd if=/dev/zero of=test.bin bs=1M count=4000:
4194304000 bytes (4.2 GB) copied, 77.8513 s, 53.9 MB/s
Lezen:
dd if=test.bin of=/dev/null bs=1M count=4000:
4194304000 bytes (4.2 GB) copied, 29.3555 s, 143 MB/s

Wow wat een goeie leessnelheid ! Dat is plenty om gigabit te kunnen vullen

Iemand een idee voor een random write en read test ? Non-destructive graag

[Verwijderd]

Zet je read-ahead eens hoger, en kun je eens een output van df -h geven? De waardes geven aan 53.9 / ((3-1)*80) = 33,7% write efficiency en (143 / (3*80)) = 59,6% read efficiency.

Kun je eens doen:
dd if=/dev/hda of=/dev/null bs=1M count=1000
(vervang hda voor de disk waar je array deel van uitmaakt)

zelfde voor je raid-array (/dev/md0 ofzo). En zet je read-ahead eens hoger en kijk of je via je filesystem nog een hogere read snelheid krijgt. Afgezien van de potentie tot hogere scores is dit al vrij redelijk voor een kleine RAID5 array.

Onder FreeBSD is een goede (maar destructive) test genaamd raidtest. Maar kijk ook eens naar rawio, blogbench, IOmeter. Als je non-destructive filesystem tests doet, zorg dan wel dat je filesystem maar nauwelijks gevuld is, anders kun je natuurlijk ook lagere scores verwachten. Welk filesystem gebruik je trouwens?

[jeroentb]

df -h:
/dev/md/0 459G 2.8G 433G 1% /
cat /etc/mdadm.conf:
ARRAY /dev/md0 level=raid5 num-devices=3 UUID=8300a0ee:4e777ea0:290042ae:f5a4e04a

Hoe kan ik de read-ahead wijzigen ? Hoe kom je aan die factor 80 ? Waarom is read 3*80 ipv 2*80 ?
Parity telt toch niet mee voor reads, dus ik zou voor read dan op 143/(2*80)=89,4% uitkomen, het parity schrijven moet toch gebeuren voor writes, dus die komt er dan nog beroerder vanaf : 22,5% !
Geen idee hoe ik dat overigens omhoog moet zien te krijgen, heb me nooit bezig hoeven houden met tuning van bestandssystemen en blockdevices, wel interessant om eens te doen natuurlijk

Ik gebruik ext3 met stride=64 (raid5 chunksize is 256kb, fs blocksize=4kb). <-- Dat heb ik adv diverse postings van tuners gebruikt, dus denk dat dat wel goed zit.

Ben nu aan t benchen met bonnie++, maar die is nog even zoet, post ik straks wel ff.

Net effe gechecked met hdparm, read-ahead is aan en staat op 256...

De bonnie++ resultaten:
bonnie++ -d /tmp/hdtest -u root
Using uid:0, gid:0.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version 1.93c ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
jtbnas 2G 47 99 55398 53 38525 21 377 99 144137 32 482.4 16
Latency 195ms 204ms 229ms 52060us 30848us 587ms
Version 1.93c ------Sequential Create------ --------Random Create--------
jtbnas -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 10092 75 +++++ +++ 12941 82 11765 86 +++++ +++ 13168 79
Latency 13365us 1184us 21227us 1017us 16us 215us
1.93c,1.93c,jtbnas,1,1219450459,2G,,47,99,55398,53,38525,21,377,99,144137,32,482.4,16,16,,,,,10092,75,+++++,+++,12941,82,11765,86,+++++,+++,13168,79,195ms,204ms,229ms,52060us,30848us,587ms,13365us,1184us,21227us,1017us,16us,215us

55MB/s schrijf, 38MB/s herschrijf, 144MB/s lezen, 482KB/s random lezen
Ehm, treurig resultaat...
Vooral een seek van 587ms is ronduit afschuwelijk.

[ Voor 49% gewijzigd door jeroentb op 22-08-2008 21:30 ]

[Verwijderd]

Bonnie is geen geschikt programma voor dit, omdat de volgende test al begint terwijl je raid-engine nog data aan het verwerken is. Ik heb een gepatchte bonnie maar alleen voor FreeBSD-6.2-i386.

#Adjust the min and max read-ahead for files
vm.max-readahead=8192
vm.min-readahead=1024

Zet dit eens in je /etc/sysctl.conf en reboot, gebruik je dd commando's nog eens op een mounted filesystem en kijk of je verschil ziet. Speel er dan eens mee hoe laag je je read-ahead kunt zetten om nog goede performance te halen. Daarnaast kun je ook een lagere stripesize (zoals 64KiB en 128KiB) uitproberen.

Voor 2.6 kernels zou het volgende ook moeten werken:

blockdev --setra 8192 /dev/md0

Eén page is 512 bytes dus 8192*512 = 4MiB read-ahead. Zie ook hier en hier.

[ Voor 37% gewijzigd door Verwijderd op 23-08-2008 08:56 ]

[Unicron]

Zijn er hier mensen die al ervaring hebben met FreeNAS 0.7 van de nightly builds? Ik wil namelijk mijn Ubuntu 8.04 NAS met software raid5 erg graag overzetten op ZFS RAIDZ. Zo ja, hoe staat het met de stabiliteit?

[gurbo]

Ik wilde jullie nog even mijn finale keuze laten weten voor mijn NAS servertje op basis van de mooie Chenbro es34069. Wellicht heeft iemand er iets aan die zich aan het oriënteren is.

#	Product	Prijs	Subtotaal
1	AMD Sempron LE-1200	€ 15,-	€ 15,-
1	Chenbro ES34069	€ 163,12	€ 163,12
1	Jetway NC62K	€ 82,50	€ 82,50
1	Kingston KVR800D2N6/1G 1GB (1x 1GB) DDR2	€ 14,37	€ 14,37
2	Western Digital Caviar GP WD10EACS	€ 114,50	€ 229,-
Importeren		Totaal	€ 503,99

Bedankt voor jullie nuttige inputs. Zoals jullie kunnen zien heb ik voor de meest El-Cheapo Sempron gekozen ipv een Dual Core. Voor mijn gebruik is de Dual Core die vier extra tientjes niet waard (en ik kan altijd nog upgraden).

Tijdens mij hardware zoektocht kwam ik nog tot een aardige opservatie. Stel je wilt een nasje bouwen op basis van Mini-atx (bijv. op basis van een Asrock ALiveNF7G-HD720p) met dezelfde CPU,storage, geheugen, een case van zo'n 60 E en een picoPSU-120 + Morex adapter voedingscombi. Je komt dan op een totaalprijs, die +/- 60-70 euro goedkoper is dan mijn Chenbro keuze. Toen ik dat zag was ik helemaal verkocht aan de Chenbro .

Vinden jullie het nog leuk om stroomverbruikservaringen te horen als ik alles binnen heb en het inelkaar gezet is? (kan wel een paar weekjes duren door de drukte)

[jelly]

gurbo schreef op zondag 24 augustus 2008 @ 12:23:
Ik wilde jullie nog even mijn finale keuze laten weten voor mijn NAS servertje op basis van de mooie Chenbro es34069. Wellicht heeft iemand er iets aan die zich aan het oriënteren is.

#	Product	Prijs	Subtotaal
1	AMD Sempron LE-1200	€ 15,-	€ 15,-
1	Chenbro ES34069	€ 163,12	€ 163,12
1	Jetway NC62K	€ 82,50	€ 82,50
1	Kingston KVR800D2N6/1G 1GB (1x 1GB) DDR2	€ 14,37	€ 14,37
2	Western Digital Caviar GP WD10EACS	€ 114,50	€ 229,-
Importeren		Totaal	€ 503,99

Bedankt voor jullie nuttige inputs. Zoals jullie kunnen zien heb ik voor de meest El-Cheapo Sempron gekozen ipv een Dual Core. Voor mijn gebruik is de Dual Core die vier extra tientjes niet waard (en ik kan altijd nog upgraden).

Tijdens mij hardware zoektocht kwam ik nog tot een aardige opservatie. Stel je wilt een nasje bouwen op basis van Mini-atx (bijv. op basis van een Asrock ALiveNF7G-HD720p) met dezelfde CPU,storage, geheugen, een case van zo'n 60 E en een picoPSU-120 + Morex adapter voedingscombi. Je komt dan op een totaalprijs, die +/- 60-70 euro goedkoper is dan mijn Chenbro keuze. Toen ik dat zag was ik helemaal verkocht aan de Chenbro .

Vinden jullie het nog leuk om stroomverbruikservaringen te horen als ik alles binnen heb en het inelkaar gezet is? (kan wel een paar weekjes duren door de drukte)

Stroomverbruik is wel interessant om te weten

[Verwijderd]

Aangezien mijn Freenas systeem vol begint te raken, ben ik op zoek naar meer ruimte.
Alle interne aansluitingen heb ik in gebruik en ben op zoek naar een raid-controller.
Nu zit ik nog te twijfelen tussen de Areca ARC-1230 (hardware raid 5) of een goedkopere HighPoint RR3520 (ZFS via Freenas).

Ik wil sowieso gaan experimenteren met ZFS.
Momenteel heb ik nog plek voor 5 extra hdd's in de server, hier zullen waarschijnlijk 5 Western Digital Caviar GP WD10EACS in komen.

Wat is verstandiger?

1 - Areca ARC-1230 + hdd's kopen (hardware raid5), de bestaande data hier naar toe kopieren en de bestaande geom raid5 omzetten naar ZFS.

2 - HighPoint RR3520 + hdd's kopen en die gelijk in ZFS plaatsen. En de bestaande geom raid5 zo laten.

Ik gebruik FreeNAS-amd64-embedded-0.7.3514 en hierbij is het volgens mij niet mogelijk om een bestaande geom raid5 uit te breiden. Anders zou het mischien ook een optie zijn om de bestaande raid5 (6x500GB) uit te breiden met 5x500GB via de HighPoint RR3520.

De behuizing wordt later aangepast bij gebrek aan ruimte. Dat ik voorlopig niet alle aansluitingen kan gebruiken op de raid-controller is geen probleem.

[Unicron]

Vandaag de laatste nightly van FreeNAS 0.7 geinstalleerd op een USB stick. Het eerste probleem was dat die niet wilde booten en bleef hangen bij laden van de USB 2.0 echi controller. Na USB 2.0 uit te hebben gezet in de BIOS, en dus met USB 1.0 te werken, ging het goed.

Volgende probleem is nu dat mijn onboard gigabit netwerkkaart niet wordt gedetecteerd. In mijn geval gaat het om een Realtek 8111/8169 op een Asus M3A78-EMH moederbord.

Ik krijg af en toe het gevoel alsof moderne hardware alleen onder Windows goed werkt.

[Verwijderd]

Unicron schreef op zondag 24 augustus 2008 @ 19:49:
Vandaag de laatste nightly van FreeNAS 0.7 geinstalleerd op een USB stick. Het eerste probleem was dat die niet wilde booten en bleef hangen bij laden van de USB 2.0 echi controller. Na USB 2.0 uit te hebben gezet in de BIOS, en dus met USB 1.0 te werken, ging het goed.

Volgende probleem is nu dat mijn onboard gigabit netwerkkaart niet wordt gedetecteerd. In mijn geval gaat het om een Realtek 8111/8169 op een Asus M3A78-EMH moederbord.

Ik krijg af en toe het gevoel alsof moderne hardware alleen onder Windows goed werkt.

Je zegt het verkeerd, moderne cheap ass consumenten hardware werkt vaak alleen goed onder Windows, omdat de fabrikant geen tijd en moeite in Linux/Unix wil steken.
Als jij een Supermicro moederbord koopt of een Asus serverbord dan werkt dat perfect onder alle UNIX'en, omdat daar gewoon fatsoenlijke Intel netwerkkaarten opzitten en normale Intel ICH SATA controllers.

[Verwijderd]

Verwijderd schreef op zondag 24 augustus 2008 @ 14:17:
Aangezien mijn Freenas systeem vol begint te raken, ben ik op zoek naar meer ruimte.
Alle interne aansluitingen heb ik in gebruik en ben op zoek naar een raid-controller.
Nu zit ik nog te twijfelen tussen de Areca ARC-1230 (hardware raid 5) of een goedkopere HighPoint RR3520 (ZFS via Freenas).

Ik wil sowieso gaan experimenteren met ZFS.
Momenteel heb ik nog plek voor 5 extra hdd's in de server, hier zullen waarschijnlijk 5 Western Digital Caviar GP WD10EACS in komen.

Wat is verstandiger?

1 - Areca ARC-1230 + hdd's kopen (hardware raid5), de bestaande data hier naar toe kopieren en de bestaande geom raid5 omzetten naar ZFS.

2 - HighPoint RR3520 + hdd's kopen en die gelijk in ZFS plaatsen. En de bestaande geom raid5 zo laten.

Ik gebruik FreeNAS-amd64-embedded-0.7.3514 en hierbij is het volgens mij niet mogelijk om een bestaande geom raid5 uit te breiden. Anders zou het mischien ook een optie zijn om de bestaande raid5 (6x500GB) uit te breiden met 5x500GB via de HighPoint RR3520.

De behuizing wordt later aangepast bij gebrek aan ruimte. Dat ik voorlopig niet alle aansluitingen kan gebruiken op de raid-controller is geen probleem.

Waarom ga je in hemelsnaam ZFS gebruiken op een geom_raid5?

Als je ZFS gaat gebruiken moet je ook gewoon RAID-Z gebruiken, dat is DE reden waarom je ZFS zou willen... ZFS zonder RAID-Z is vrij oninteressant...

[Verwijderd]

Verwijderd schreef op zondag 24 augustus 2008 @ 20:19:
[...]


Waarom ga je in hemelsnaam ZFS gebruiken op een geom_raid5?

Als je ZFS gaat gebruiken moet je ook gewoon RAID-Z gebruiken, dat is DE reden waarom je ZFS zou willen... ZFS zonder RAID-Z is vrij oninteressant...

Het is niet de bedoeling dat ik ZFS op een geom_raid5 ga gebruiken, maar in plaats van.
Door de aankoop van extra schijfruimte heb ik zo veel ruimte over, dat ik genoeg ruimte over heb om met ZFS te experimenteren. Maar ik ben er denk ik al uit. Het wordt optie 1.
Ik hoop alleen dat die Areca met Freenas overweg kan, want het is toch een dure aankoop.

[Verwijderd]

Je kan UFS niet omzetten in ZFS, dus je zult sowieso bestanden tijdelijk moeten oversluizen naar iets anders, als je op die schijven ZFS wilt hebben. ZFS bovenop geom_raid5 kan overigens prima, met als gevolg hogere sequentiële write-snelheden, maar veel IOps benchmarks heb ik niet gedaan met ZFS, met als voornaamste reden dat de resultaten teveel fluctueerden.

Zelf zou ik eerder geneigd zijn naar die Highpoint 35xx controller omdat die een snellere IOP heeft. En support met FreeBSD zit wel goed toch? Even checken. 23xx worden iig native ondersteund. Met dit type controllers moet je journaling gebruiken of een BBU, anders kan je volume ernstige datacorruptie krijgen, waarbij in het geval van verlies van vitale metadata dit voor gigantische stukken data kan gelden; ZFS zoals in FreeBSD zit, biedt voor metadata geen redundantie.

[ Voor 41% gewijzigd door Verwijderd op 25-08-2008 04:09 ]

[Verwijderd]

Verwijderd schreef op maandag 25 augustus 2008 @ 04:01:
Je kan UFS niet omzetten in ZFS, dus je zult sowieso bestanden tijdelijk moeten oversluizen naar iets anders, als je op die schijven ZFS wilt hebben. ZFS bovenop geom_raid5 kan overigens prima, met als gevolg hogere sequentiële write-snelheden, maar veel IOps benchmarks heb ik niet gedaan met ZFS, met als voornaamste reden dat de resultaten teveel fluctueerden.

Zelf zou ik eerder geneigd zijn naar die Highpoint 35xx controller omdat die een snellere IOP heeft. En support met FreeBSD zit wel goed toch? Even checken. 23xx worden iig native ondersteund. Met dit type controllers moet je journaling gebruiken of een BBU, anders kan je volume ernstige datacorruptie krijgen, waarbij in het geval van verlies van vitale metadata dit voor gigantische stukken data kan gelden; ZFS zoals in FreeBSD zit, biedt voor metadata geen redundantie.

De bestanden worden sowieso naar de nieuwe hardware verplaatst.
Het zal dan ook wel even duren voordat ik die vol heb.
Vandaar dat ik dan 6x500GB over heb om met ZFS te experimenteren.
Liever 3TB over dan 20MB tekort :-)
Als alle bestanden veilig overgezet zijn, dan worden de 6x500GB (op het moederbord) geformateerd en klaargemaakt voor ZFS.

Bedankt voor de tip van de controller.
Ik had geen rekening gehouden met journaling of een BBU.
Wat is verstandiger?
- de journaling van Freenas gebruiken, of een BBU er gelijk bij bestellen?

N.a.v. jou advies ga ik denk ik toch maar voor de HighPoint.
Deze ondersteunt helaas maar 8 schijven, maar ik heb dan als nog een pci-e slot over voor een eventuele 2e controller in de toekomst.

De huidge nas draait op een AMD Athlon X2 BE2400 met 2 GB geheugen.
Volgens mij moet dit voldoende zijn voor ZFS.

Meer tips zijn altijd welkom.

[jeroentb]

Verwijderd schreef op zaterdag 23 augustus 2008 @ 08:40:
Eén page is 512 bytes dus 8192*512 = 4MiB read-ahead. Zie ook hier en hier.

Helaas biedt de readahead verhoging geen enkel verschil, het schrijven is nog trager geworden door dat ik intent bitmap heb ingeschakeld, is nu nog maar 17MB/s write, echter als er een powerfaillure is plaatsgevonden biedt dat als voordeel dat een complete rebuild niet nodig zal zijn, dat is me een lagere write performance wel waardt.

Heb inmiddels usenet downloads met sabnzbd aan de praat, samba doet het ook goed, caching dns met pdnsd gaat nog niet helemaal van een leien dakkie, nu nog een webservertje waar mijn vrouw de foto's mee kan bekijken en klaar is kees

[P5ycho]

gewoon een UPSje in de meterkast knikkeren ipv. journaling

[Verwijderd]

jeroentb schreef op dinsdag 26 augustus 2008 @ 19:44:
Helaas biedt de readahead verhoging geen enkel verschil

Oke, enige wat je kunt proberen denk ik is de stripesize te verlagen, naar 64KiB. Dan nog een keer testen. Maar als je je systeem al in gebruik hebt genomen moet je zelf maar kijken of de zoektocht naar de sweet spot het waard is.

het schrijven is nog trager geworden door dat ik intent bitmap heb ingeschakeld, is nu nog maar 17MB/s write, echter als er een powerfaillure is plaatsgevonden biedt dat als voordeel dat een complete rebuild niet nodig zal zijn, dat is me een lagere write performance wel waardt.

Alleen als de array 'cold' is op het moment dat zo'n stroomstoring of reset/crash zich voordoet, als er geschreven wordt naar de array moet er alsnog gerebuild worden. geom_raid5 biedt deze feature trouwens standaard. Het is ook vrij simpel: in de metasector wordt opgenomen of de array COLD of HOT is, waarbij wordt aangegeven of er write-access plaatsvindt. Ik vermoed dat de linux driver te agressief is met de frequentie van het markeren, waardoor write-performance wordt aangetast.

Heb inmiddels usenet downloads met sabnzbd aan de praat, samba doet het ook goed, caching dns met pdnsd gaat nog niet helemaal van een leien dakkie, nu nog een webservertje waar mijn vrouw de foto's mee kan bekijken en klaar is kees

Dan ben je aardig op weg.
Succes ermee!

[P5ycho]

Het verschil tussen intel Core2Duo oplossingen en het AMD platform is zo groot dat ik ook nog even bij het AMD kamp ben gaan kijken.

Mijn eisen:
- minimaal 1 FreeBSD 7 compatible PCIe 10/100 NIC (Intel/Marvell/Realtek 8101e) + een Intel PCIe Gbit NIC of deze combinatie onboard
- AMD 740 of 780 chipsetmin
- plek voor 4GB ram
- micro-atx of kleiner
- liefst solid caps
- min. 4x SATA II

Interessante moederborden die ik gevonden heb, wadend door alle RTL8111c equipped meuk van Gigabyte, Asus en MSI:

Biostar A740G M2+

+ erg cheap (42 euro)

+ RTL8101e onboard, geen gbit maar is toch voor dsl link

Jetway PA74M2

*prijs onbekend (nog niet leverbaar?)

- HyperTransport 2.0

* geen PCIe 1x slot, maar volgens manual is het PCIe 16x slot fully compliant met gfx kaarten alsook andere PCIe devices.

+ onboard Marvell Gbit

+ Solid caps

- HyperTransport 2.0

Jetway PA78GT3 series

*prijs 58 euro

* geen PCIe 1x slot, maar volgens manual is het PCIe 16x slot fully compliant met gfx kaarten alsook andere PCIe devices.

+ HyperTransport 3.0

* geen PCIe 1x slot, maar volgens manual is het PCIe 16x slot fully compliant met gfx kaarten alsook andere PCIe devices.

+ Solid caps

+ onboard Marvell Gbit

Deze oplossingen zijn minstens de helft goedkoper als bijv. een GM45-based Intel oplossing.

Enlightenment:
* Hoe zit het met de SB600/700 support in FBSD7? kan er weinig concreets over vinden?
* Wat is verstandiger, 3x 750GB disks of 4x 500GB disks (WD RE2-GP)?

- prijs per GB is in het voordeel van de 4 500GB disks ivm minder verloren aan parity
- stroomverbruik scheelt 4W idle
- performance van 3x750GB is al genoeg voor Gbit en ZFS dacht ik zo
- uitbreiden van een raidz is toch niet mogelijk, dus schaalbaarheid van 3x 750GB is er toch niet.

[chocka]

Na ruim twee uur scrollen en bijna 8 pagina's gelezen te hebben, begin ik aardig groen en geel te zien. Wilde eerst een thecus 5200 kopen, maar hoe simpel een dergelijke oplossing mss ook is, het blijft mij teveel geld. Dus ben ik gaan zoeken naar een DIY en kwam deze topic tegen. Ik dacht er een te bouwen met XP, maar begrijp intussen dat FreeNas een veel beter oplossing is. XP is een optie met een SB750 south bridge (voor zover ik heb mogen begrijpen) Maar de termen vliegen om mijn oren en zie door de bomen het bos echt niet meer. Sorry, zit niet in het vak en ben al 35 (tweede generatie tweaker).

Dus heb ik een simpele vraag:

Natuurlijk moet een NAS niet teveel slurpen, maar als uitgangspunt ben ik op zoek naar een geschikt moederbord met aansluitingen waarmee enige tijd vooruit kan, dus +/- 8x SATA en een Gigabit LANpoort. Ik ben enorm pro Intel.

En de foutste vraag op tweakersnet: Welk moederbord is op dit moment het meest geschikt.

PS Geld is niet direct een probleem, liever iets meer uitgeven voor iets waarmee ik vooruit kom, dan iets kopen wat gelimiteerd zal zijn op korte termijn.

Kasten bouw ik zelf met mijn Dremel. En de NAS cq fileserver wordt alleen gebruikt als datawarehouse, waar vandaan ik muziek en films via mijn HTPC kan gaan gebruiken. Op advies heb begrepen dat RAID 5 een goeie optie is.

Maar als basis heb ik iets nodig om verder te komen en dat is voor mij het moederbord met de nodige aansluiten, daarna volgt de rest wat makkelijker (ben ik van mening)

[Q]

chocka schreef op vrijdag 29 augustus 2008 @ 18:44:

En de foutste vraag op tweakersnet: Welk moederbord is op dit moment het meest geschikt.

PS Geld is niet direct een probleem, liever iets meer uitgeven voor iets waarmee ik vooruit kom, dan iets kopen wat gelimiteerd zal zijn op korte termijn.

Kasten bouw ik zelf met mijn Dremel. En de NAS cq fileserver wordt alleen gebruikt als datawarehouse, waar vandaan ik muziek en films via mijn HTPC kan gaan gebruiken. Op advies heb begrepen dat RAID 5 een goeie optie is.

Maar als basis heb ik iets nodig om verder te komen en dat is voor mij het moederbord met de nodige aansluiten, daarna volgt de rest wat makkelijker (ben ik van mening)

Voor een NAS heb je niet zoveel performance nodig, zelfs niet als je Gigabit snelheden wilt halen. AMD voldoet prima en heeft als voordeel dat ze idle vaak wat zuiniger zijn. De kosten voor bordjes en cpu's zijn ook lager.

Borden met 8 sata aansluitingen zijn geent op high-end gaming en workstations en zijn vaak onzuinig. Zuinige 8x sata boardjes zijn er niet echt, maar ik laat me met liefde corrigeren. Iedereen in dit topic is daar naar op zoek. Zelf heb ik een highpoint rocketraid 2320 (8x sata) in mijn nas gestopt. Als kosten geen groot issue zijn, kijk dan daar naar, die heb je zelfs in 16x sata variant).
Zolang je bordje maar een pcie 16x slot heeft waar je de controller in kunt stoppen kun je qua mobo kopen wat je wilt.

Windows XP + raid controller is misschien wel de aller eenvoudigste oplossing. Stop er zo'n highpoint in en je bent klaar en kunt groeien naar 8 disks. Freenas is wel tof maar is waarschijnlijk kwa hardware kritischer en vereist mogelijk enige *nix kennis.

[ Voor 11% gewijzigd door Q op 29-08-2008 19:26 ]