Het grote DIY RAID NAS topic deel 3

[marcop23]

Jaccoh schreef op vrijdag 04 mei 2012 @ 15:59:
Ik heb nu een wat oudere foxconn g33m03

Ik zit te denken aan:

pricewatch: Asus E35M1-I

Het probleem was dat bij een boot de schijven niet gevonden werden. Smart gechecked en het ligt niet aan de schijven. Dus moet het een moederbord issue zijn. De server uit en weer aanzetten was de oplossing. Dat is natuurlijk super riskant en zeer ongewenst.

Wil je persé mITX?

Anders zou ik voor deze setup gaan:
pricewatch: MSI H61MA-E35 (B3)
pricewatch: Intel Celeron G530 Boxed

Heeft een krachtigere CPU, waardoor die sneller naar idle 'rusht' en waarschijnlijk ook zuiniger is. Bovendien heeft het mobo meer sloten, en is ook zuiniger. 4 SATA poorten zijn wel SATA-300, maar HDD's komen toch niet over de 300 MBps. Ook de GPU van die E350 ga je in een server toch niet gebruiken.

En het is €3 goedkoper

[Verwijderd]

Idle is Brazos eigenlijk niet te verslaan; maar zo'n conventionele Intel-setup biedt inderdaad meer CPU power. De vraag is, heb je daar wat aan? Mijn Brazos server is niet echt CPU-capped; alleen bij compileren en andere zaken. Geheugen is wat je wilt hebben; en 16GiB (2x8) is wel een beperking voor mITX platform. 4 DIMM sloten dus max 32GiB is een groot voordeel van een conventionele Intel/AMD setup vanaf MicroATX.

Dus als je een stap hoger wilt dan Brazos, dan heb je het over een stap hoger qua 4 DIMM sloten; niet persé meer CPU power. Tenzij je andere dingen wilt doen op je ZFS server is dat zeker niet de eerste prioriteit. Wil je gaan parren en andere CPU-intensieve dingen dan zou ik zeker voor een Intel setup gaan.

Ik heb de Asus E35M1-I gebouwd, en heb zelf de MSI E350IS-E45. Brazos maakt een prima ZFS platform, maar informeer naar de beperkingen wat betreft DRAM chips (mijn bordje slikt gewoon 8GiB DRAM) en uitbreidingscontrollers (sommige LSI controllers booten niet op Brazos bordjes; mijn MSI bordje wel).

[rubeuhh]

Hallo

ik ben zelf ook van plan een servertje te maken. Ik kom er alleen niet goed uit qua hardware en software.
Wat wil ik er op draaien:
- minecraft server (max 8 personen, gewoon met mijn vrienden)
- opslag (NAS dus)
- ev. wat downloaden
- mini ITX formaat
- laag idle verbruik
- ventrilo/teamspeak server

ikzelf zat te twijfelen tussen een E350 of een celeron G530 (of iets in die aard)
ram zal wss 4gb worden single slot

ook zou ik willen weten of er een mogelijkheid bestaat zodat ik met mijn versterker+speakers muziek kan spelen van de server en wat ik hier ev. voor nodig heb.

alvast bedankt voor jullie hulp

[marcop23]

rubeuhh schreef op zaterdag 05 mei 2012 @ 12:50:
Hallo

ik ben zelf ook van plan een servertje te maken. Ik kom er alleen niet goed uit qua hardware en software.
Wat wil ik er op draaien:
- minecraft server (max 8 personen, gewoon met mijn vrienden)
- opslag (NAS dus)
- ev. wat downloaden
- mini ITX formaat
- laag idle verbruik
- ventrilo/teamspeak server

ikzelf zat te twijfelen tussen een E350 of een celeron G530 (of iets in die aard)
ram zal wss 4gb worden single slot

ook zou ik willen weten of er een mogelijkheid bestaat zodat ik met mijn versterker+speakers muziek kan spelen van de server en wat ik hier ev. voor nodig heb.

alvast bedankt voor jullie hulp

Minecraft servers zijn idioot zwaar eigenlijk. Die servers gaan erg snel erg veel geheugen eten.

Dit is met twee users online. De unix load is niet zo hoog, het geheugengebruik en het % CPU bij een paar users wel.

Dit is wat Minecraft doet op een Athlon 64 X2 6000+ met 4GB DDR2 geheugen, met Debian. De CPU power van deze CPU is ongeveer vergelijkbaar met de G530, al is de 530 wat langzamer. Qua verbruik is de G530, of nog erger, de Brazos, echter oneindig keer zuiniger.

top - 12:58:31 up 7 days, 8 min,  1 user,  load average: 0.05, 0.07, 0.03
Tasks: 181 total,   1 running, 180 sleeping,   0 stopped,   0 zombie
Cpu(s): 10.5%us,  0.3%sy,  0.0%ni, 88.3%id,  0.5%wa,  0.0%hi,  0.4%si,  0.0%st
Mem:   3932176k total,  3888868k used,    43308k free,     5288k buffers
Swap:  1568760k total,   751944k used,   816816k free,   134384k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 4083 root      20   0 3876m 3.2g 4904 S   12 85.6   2150:14 java
18536 marco     20   0 19068 1304  912 R    2  0.0   0:00.01 top
    1 root      20   0  8356  276  244 S    0  0.0   0:04.60 init
    2 root      20   0     0    0    0 S    0  0.0   0:00.00 kthreadd
    3 root      RT   0     0    0    0 S    0  0.0   0:00.07 migration/0
    4 root      20   0     0    0    0 S    0  0.0   0:05.38 ksoftirqd/0
    5 root      RT   0     0    0    0 S    0  0.0   0:00.00 watchdog/0
    6 root      RT   0     0    0    0 S    0  0.0   0:00.05 migration/1
    7 root      20   0     0    0    0 S    0  0.0   0:09.10 ksoftirqd/1
    8 root      RT   0     0    0    0 S    0  0.0   0:00.00 watchdog/1
    9 root      20   0     0    0    0 S    0  0.0   0:09.59 events/0
   10 root      20   0     0    0    0 S    0  0.0   0:06.58 events/1
   11 root      20   0     0    0    0 S    0  0.0   0:00.00 cpuset
   12 root      20   0     0    0    0 S    0  0.0   0:00.00 khelper
   13 root      20   0     0    0    0 S    0  0.0   0:00.00 netns
   14 root      20   0     0    0    0 S    0  0.0   0:00.00 async/mgr
   15 root      20   0     0    0    0 S    0  0.0   0:00.00 pm

Dat je het weet

Wat trouwens wel wat zegt over het verbruik, hier de temperaturen:

Every 1,0s: sensors                                     Sat May  5 13:09:14 2012

k8temp-pci-00c3
Adapter: PCI adapter
Core0 Temp:  +67.0°C
Core0 Temp:  +74.0°C
Core1 Temp:  +63.0°C
Core1 Temp:  +70.0°C

atk0110-acpi-0
Adapter: ACPI interface
Vcore Voltage:     +1.42 V  (min =  +0.80 V, max =  +1.80 V)
 +3.3 Voltage:     +3.33 V  (min =  +2.97 V, max =  +3.63 V)
 +5 Voltage:       +4.92 V  (min =  +4.50 V, max =  +5.50 V)
 +12 Voltage:     +12.03 V  (min = +10.20 V, max = +13.80 V)
CPU FAN Speed:    2986 RPM  (min =  600 RPM)
CHASSIS FAN Speed:1480 RPM  (min =  600 RPM)
POWER FAN Speed:   940 RPM  (min =  600 RPM)
CPU Temperature:   +64.0°C  (high = +60.0°C, crit = +95.0°C)
MB Temperature:    +35.0°C  (high = +45.0°C, crit = +95.0°C)

Met een omgevingstemperatuur van 19°C

[ Voor 16% gewijzigd door marcop23 op 05-05-2012 13:12 ]

[mphilipp]

FireDrunk schreef op zaterdag 05 mei 2012 @ 04:43:
Je bent in de war met OpenMediaVault. FreeNAS is gebaseerd op FreeBSD en heeft niets met Linux te maken (Behalve dat er misschien wat dezelfde pakketten op werken.)

Voordeel van FreeNAS is dat het ZFS bereikbaar maakt voor een nono. Maar dat kan ZFSGuru ook.

Nou ja, ik was niet in de war met iets anders, maar ik zie FreeBSD/Linux/Unix allemaal als één ding, ook al weet ik dat het vloeken in de kerk is. Voor mij is het hetzelfde, gewoon voor het gemak.
Het komt uiteindelijk ook op hetzelfde neer, of ik nu FreeBSD op een systeem installeer of Ubuntu. Bij Ubuntu gaat het misschien wat makkelijker, maar dat weet ik niet zeker.

En ik heb pas ook ZFS op Ubuntu geïnstalleerd en in feite is het aanmaken van een array met zfs nét zo simpel/moeilijk als met mdadm. Je hoeft er verder niet veel aan te doen.

Het is inderdaad voor de nono makkelijker om überhaupt een NAS te maken met zo'n out-of-the-box systeem, maar ik dacht dat we hier allemaal ietsje slimmer waren. Ik ben ook maar een simpele Oracle boer met iets meer dan basic systeembeheer skills en het lukt mij - samen met Google en dit topic - prima om mijn NAS op te bouwen en in de lucht te houden.
Het voordeel van zelf in elkaar zetten op een generieke Linux distro is dat je je favoriete distro kunt kiezen en makkelijk allerlei andere zaken erop kan zetten. Ik vind Ubuntu bv erg fijn werken en mijn NAS is ook mediaserver, tvserver, downloadbak en tussendoor ook nog een NAS.

En als je het over gemak hebt is dat op Ubuntu volgens mij makkelijker dan met FreeBSD. Want (volgens mij dan) heb je daarvoor niet altijd packages beschikbaar en moet je allerlei zaken met de hand installeren/compileren/configureren. Daarom kies ik persoonlijk voor Ubuntu. Gemak dient de mens. En dat een aantal puristen roepen dat het niet goed is vind ik prima. Ik heb er geen last van. Het werkt voorlopig als een speer.

[DJ-Visto]

Niet besparen op RAM kost niks op dit moment en levert je veel op, douw er 16GB in anders heb je mooie cache als je het niet gebruikt

[Jormungandr]

CiPHER. Heb jij meerdere disk arrays op je brazos draaien of maar eentje? Ben benieuwd wat de cpu doet als hij meerdere parity calculations moet doen.
Is er trouwens een lijstje met Brazos+LSI compat? Aangezien mijn NAS gewoon NAS moet wezen is een Brazos wel voldoende maar hij moet dan wel braaf meespelen met mijn M1015 EN er moet een 8p ATX stekker op passen. Lukt dat laatste op dat MSI bord? Ik kan niet direct duidelijke perspectief foto's vinden om daar uitsluitsel over te kunnen geven.

[analog_]

Ik heb pas een IBM M1015 overgenomen met hierop de LSI 9211 IT(of IR, de non-raid firmware). Ik krijg hem met een Crucial M4 niet stabiel onder ESXi, blijf maar errors genereren en het weigert VMs op te starten. ESXi heb ik bijgewerkt naar versie 5 update 01 en ook het driver pack 02 geinstalleerd maar het helpt niks. Suggesties?

[FireDrunk]

Welke versie van de drivers en firmware heb je geinstalleerd?

[ Voor 10% gewijzigd door FireDrunk op 07-05-2012 09:07 ]

[Verwijderd]

Ik heb ook een servertje inelkaar geknutseld met de info van GoT en Google:

6x ST3000DM001-9YN166 (3TB Seagate)
RAID 10 icm ext4 onder ubuntu 12.04 lts

cat /proc/mdstat
md0 : active raid10 sdg1[3] sde1[0] sdf1[5] sdc1[1] sdb1[2] sdd1[4]
      8790788352 blocks super 1.2 64K chunks 2 far-copies [6/6] [UUUUUU]

Benchmark lokaal bonnie++ na wat mdadm / ext4 getweak.

Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
phobos         125G  1256  94 408184  24 215598  15  5897  85 957261  36 466.3  20
Latency             12481us     357ms    1051ms   16598us   69173us   89519us
Version  1.96       ------Sequential Create------ --------Random Create--------
phobos              -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  6602   4 +++++ +++ +++++ +++ +++++ +++ +++++ +++ 31142  17
Latency              6155us     587us    1214us     838us      17us    1189us

Dus ~400+ MB/s write en ~950+MB/s read

Via 1Gbe netwerk na wat samba config getweak.
Benchmark over Samba met windows 7:



Dit is met de onboard SATA 3Gb en 6Gb controllers op een Asus Maximus IV Extreme en een i5-2500 processor. Het systeem heeft 16GB ram.

Ik ben tevreden.
Er is een LSI controller onderweg zodat ik nog wat hot-swap schijven en een hot-spare kan toevoegen. Ook zijn er wat 10gbe controllers onderweg zodat de speed voor paar clients nog wat kan worden opgeschroeft.

Bedankt voor alle info!

[ Voor 3% gewijzigd door Verwijderd op 07-05-2012 19:13 ]

[FireDrunk]

Staat er al veel data op? Want je hebt wel een beetje een kleine chunk size vind ik. Je zou in theorie nog sneller kunnen als je die naar 128 of 256k zet denk ik.

[redfoxert]

FireDrunk schreef op dinsdag 08 mei 2012 @ 08:54:
Staat er al veel data op? Want je hebt wel een beetje een kleine chunk size vind ik. Je zou in theorie nog sneller kunnen als je die naar 128 of 256k zet denk ik.

Ik betwijfel of je sneller kunt gaan over een enkele Gbe interface Maar de chunksize is idd wat klein.

[Verwijderd]

FireDrunk schreef op dinsdag 08 mei 2012 @ 08:54:
Staat er al veel data op? Want je hebt wel een beetje een kleine chunk size vind ik. Je zou in theorie nog sneller kunnen als je die naar 128 of 256k zet denk ik.

Het zijn over het algemeen grote bestanden (~1GB) die verplaatst worden.
Ik heb wat verschillende sizes geprobeerd maar lijkt niet zoveel uit te maken met die groottes.
Misschien dat de benchmark iets sneller wordt, maar in het "echte" gebruik zie ik niet zoveel verschil.

Wellicht dat ik er nog eens naar kijk als de LSI en 10Gbe kaarten er zijn.

[ Voor 18% gewijzigd door Verwijderd op 08-05-2012 10:11 ]

[FireDrunk]

Daar doelde ik ook vooral op. Juist als je 10Gb gaat gebruiken, beginnen die waardes uit te maken.
Op 1Gb maakt het inderdaad geen kont uit

[Verwijderd]

FireDrunk schreef op dinsdag 08 mei 2012 @ 10:33:
Daar doelde ik ook vooral op. Juist als je 10Gb gaat gebruiken, beginnen die waardes uit te maken.
Op 1Gb maakt het inderdaad geen kont uit

Ja maar ook lokaal op de server maakt het nu niet zoveel uit. Ik heb de snelheid niet boven de 1GB/s kunnen krijgen en 64 128 256 en 512 als chunksize geprobeerd en de stripe / stride ook correct aangepast voor ext4.

Ik haal die snelheden wel als ik binnen RAM size blijf maar > 16GB wat buiten RAM valt haal ik de 1GB/s niet meer. Ligt er ook een beetje aan hoeveel Samba aan latency / overhead toevoegd met 10Gbe of het de moeite waard wordt.

Ik zal jullie op de hoogte houden.

[Jormungandr]

Van 3

code:

[wouter@DKNAS2 ~]$ sudo dd if=/dev/zero of=/media/data/test.bin bs=1M count=16000
16000+0 records in
16000+0 records out
16777216000 bytes (17 GB) copied, 96.7089 s, 173 MB/s
[wouter@DKNAS2 ~]$ sudo dd if=/media/data/test.bin  of=/dev/null bs=1M count=16000
16000+0 records in
16000+0 records out
16777216000 bytes (17 GB) copied, 134.691 s, 125 MB/s

naar 4 Samsung HD204UI schijven in raid 5 MDADM:

code:

[root@DKNAS2 wouter]# dd if=/dev/zero of=/media/data/test.bin bs=1M count=16000
16000+0 records gelezen
16000+0 records geschreven
16777216000 bytes (17 GB) gekopieerd, 80,0185 s, 210 MB/s
[root@DKNAS2 wouter]# dd if=/media/data/test.bin of=/dev/null bs=1M count=16000
16000+0 records gelezen
16000+0 records geschreven
16777216000 bytes (17 GB) gekopieerd, 71,6654 s, 234 MB/s

Wat interessanter is, de reads liggen nu wel hoger dan de writes. Bizarre situatie maar ik ga er niet van wakker liggen .

[GNML]

Vandaag ben ik ook begonnen met mijn oude HTCP om te bouwen tot een dedicated bestandenspuwer.

Mijn oude configuratie was heel simpel, 4x 1tb en een bootdisk in een oude mediacenter behuizing

System specifications
Component	Value
Case	Oude mediacenter
CPU	1x AMD Phenom X3 710
RAM	8 GB, 4x2GB DDR3
Motherboard	Asrock 780GXH/128mb
Operating system	Windows 2008 R2
Controller	on-board controller (6)
Hard drive	3x willekeurige greendisks
Hard drive	WD160GB - OS
Netto storage capacity	3 TB

Stappen die ik deze maand heb genomen:
- HP 14U patchkast aangeschaft.
- Norco 4224 aangeschaft

Het patchkast was vorige week binnengekomen.
De RPC 4224 vandaag, Via Ri-Vier automatisering, geweldige services van hun kant. Zij hebben voor mij 2 backplanes verwisseld voor 2x s-ata backplanes, omdat ik nog PERC 5/i met bbu liggen welke ik wilde gebruiken en zoals jullie weten heeft de 4224 standaard mini-sas op de backplanes.

Op dit moment zit alle hardware in de Norco behuizing, leuke klus is dat altijd.

Volgende stap is de controller daadwerkelijk gebruiken in de configuratie met 8x 2 TB dit is de max. wat de kaart aankan (correct me if i am wrong).

Schijven zijn me op dit moment nog wat te prijzig (nog steeds 2x zo duur als voor de overstroming), na de investering in de kast zal dat wel weer een maandje duren.

Wat ik graag wil toevoegen:
Areca 16ports controller met 3 of 4TB schijven.

suggesties in raid level en configuratie van blocksize zijn welkom

[ Voor 6% gewijzigd door GNML op 08-05-2012 23:25 ]

[mphilipp]

Verwijderd schreef op maandag 07 mei 2012 @ 18:11:
Ik heb ook een servertje inelkaar geknutseld met de info van GoT en Google:

6x ST3000DM001-9YN166 (3TB Seagate)
RAID 10 icm ext4 onder ubuntu 12.04 lts

Aaarghh!
Toen ik mijn NAS in elkaar geknutseld had, heb ik wat experimenten uitgevoerd met een script van Firedrunk (dacht ik) en toen kwam ik er achter dat EXT4 (ook op Ubuntu) een heel pak trager was (en sowieso veel meer CPU inpikte) dan XFS. Als er nog niet al teveel data op staat, zou ik dat voor de gein eens proberen. Het was de vorige Ubuntu versie, dus het zou zomaar kunnen dat ze er iets aan gedaan hebben, maar XFS was gewoon heel veel sneller.

[Jormungandr]

Ik ben ook wel een grote fan van XFS. Heeft me nog nooit in de steek gelaten. (buiten dat ene geval waarin ik een shrink van een partitie nodig had )

GNML, raid lvl en blocksize hangt af van een aantal factoren.
- Focus op reliability of of snelheid. (raid lvl)
- Type workload. (blocksize)

RAID10 is imo wel leutig maar je verliest de helft van je capaciteit. Rebuilds zijn wel snel en performantie is zeer goed. Als je dat niet wenst kan je naar RAID5 gaan. Leuke snelheden maar wel een stevige kluif als daar een disk op faalt. Op 2TB disken is een degraded array niet direct iets om goed van te slapen. Ik heb daarom steeds een Hot Spare gedefinieerd. Zo minimaliseer je de kans op data loss en verklein je de tijd waarin je degraded bent. Raid 6 vangt dat goed op ten koste van writes.

Voor doorvoersnelheden moet je al geen speciale keuzes maken op RAID niveau aangezien intussen een doordeweekse HDD gigabit voltrekt.

[mphilipp]

Jormungandr schreef op dinsdag 08 mei 2012 @ 23:50:
Op 2TB disken is een degraded array niet direct iets om goed van te slapen. Ik heb daarom steeds een Hot Spare gedefinieerd. Zo minimaliseer je de kans op data loss en verklein je de tijd waarin je degraded bent. Raid 6 vangt dat goed op ten koste van writes.

Ik heb de cijfers niet paraat, maar ik merkte vrij weinig van de uitbreiding naar RAID6 op mijn array van 8x 2Tb disks. Dus ik heb 6 disks effectief voor data.

Ik ben momenteel aan het kijken om de boel om te gooien naar ZFS. Ik heb mijn staging area (2 disks in stripe) nu al onder ZFS draaien en hoewel het iets in write performance terug is gelopen, zijn de reads er behoorlijk op vooruit gegaan. Bovendien heb ik het idee dat ie beter overweg kan met meerdere processen die tegelijk aan de disk gaan trekken.

Ik zit dus te overwegen om die grote array ook om te gaan zetten naar ZFS. Alleen moet ik dan even overal disks vandaan halen om de boel op te krassen. Het zijn eigenlijk vnl films en muziek. De muziek moet beslist bewaard blijven en de films zijn niet zo super urgent, maar er zijn er wel een paar die ik zo af en toe nog kijk. En mijn porno natuurlijk (voordat iemand anders het zegt )

[analog_]

FireDrunk schreef op maandag 07 mei 2012 @ 09:07:
Welke versie van de drivers en firmware heb je geinstalleerd?

Crucial zit op 0309, controller is 9.00.00.00 (nog meer nullen?) IT en ESXi loopt inmiddels via die update op 11.00.00 (berg nullen). Ik kan hooguit de controller of de crucial nog bijwerken. Zal dat nog doen maar heb er niet teveel hoop meer op. Beetje veel frustraties...

[Verwijderd]

Jormungandr schreef op dinsdag 08 mei 2012 @ 23:50:
RAID10 is imo wel leutig maar je verliest de helft van je capaciteit. Rebuilds zijn wel snel en performantie is zeer goed. Als je dat niet wenst kan je naar RAID5 gaan. Leuke snelheden maar wel een stevige kluif als daar een disk op faalt. Op 2TB disken is een degraded array niet direct iets om goed van te slapen. Ik heb daarom steeds een Hot Spare gedefinieerd. Zo minimaliseer je de kans op data loss en verklein je de tijd waarin je degraded bent. Raid 6 vangt dat goed op ten koste van writes.

Mijn grootste probleem was dat bij het rebuilden disk 2 ook 1 onleesbare sector had (en disk 3 uiteindelijk ook). Dat breekt vervolgens direct je RAID5/6 array en het lijkt hier meer voor te komen nu die disks zo groot worden. Ik begin dan ook steeds minder vertrouwen in de traditionele raid-arrays te krijgen....

[Jormungandr]

Bij RAID5 is dat inderdaad een groot probleem. Op dat moment heb je dataloss. Op RAID6 kan je 2 failed disks aan, maar als je zoals je zegt op 2 extra disken onleesbare sectoren hebt ben je inderdaad "genomen" .

De grootte van de huidige disken begint inderdaad de traditionele raid implementaties voorbij te schieten, maar aan die discussie hebben de ZFS evangelisten een field day .

RAID5 naar 6 ga je in veel gevallen inderdaad niet merken maar op de achtergrond gaan writes toch trager. Als je dan met RAID5 met de toppen van de vingers aan gigabit komt ga je dat met RAID6 wel merken.

Dit gaat trouwens over ZFS op Linux, ZFSOL.
http://hardforum.com/showthread.php?t=1691239

[mphilipp]

Jormungandr schreef op woensdag 09 mei 2012 @ 00:32:
De grootte van de huidige disken begint inderdaad de traditionele raid implementaties voorbij te schieten, maar aan die discussie hebben de ZFS evangelisten een field day .

RAID5 naar 6 ga je in veel gevallen inderdaad niet merken maar op de achtergrond gaan writes toch trager. Als je dan met RAID5 met de toppen van de vingers aan gigabit komt ga je dat met RAID6 wel merken.

Is ZFS in dat opzicht sneller dan?

[OMX2000]

Verwijderd schreef op maandag 07 mei 2012 @ 18:11:
Ik heb ook een servertje inelkaar geknutseld met de info van GoT en Google:

6x ST3000DM001-9YN166 (3TB Seagate)
RAID 10 icm ext4 onder ubuntu 12.04 lts

cat /proc/mdstat
md0 : active raid10 sdg1[3] sde1[0] sdf1[5] sdc1[1] sdb1[2] sdd1[4]
      8790788352 blocks super 1.2 64K chunks 2 far-copies [6/6] [UUUUUU]

Benchmark lokaal bonnie++ na wat mdadm / ext4 getweak.

Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
phobos         125G  1256  94 408184  24 215598  15  5897  85 957261  36 466.3  20
Latency             12481us     357ms    1051ms   16598us   69173us   89519us
Version  1.96       ------Sequential Create------ --------Random Create--------
phobos              -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  6602   4 +++++ +++ +++++ +++ +++++ +++ +++++ +++ 31142  17
Latency              6155us     587us    1214us     838us      17us    1189us

Dus ~400+ MB/s write en ~950+MB/s read

Via 1Gbe netwerk na wat samba config getweak.
Benchmark over Samba met windows 7:

[afbeelding]

Dit is met de onboard SATA 3Gb en 6Gb controllers op een Asus Maximus IV Extreme en een i5-2500 processor. Het systeem heeft 16GB ram.

Ik ben tevreden.
Er is een LSI controller onderweg zodat ik nog wat hot-swap schijven en een hot-spare kan toevoegen. Ook zijn er wat 10gbe controllers onderweg zodat de speed voor paar clients nog wat kan worden opgeschroeft.

Bedankt voor alle info!

Welke Samba settings heb je gebruikt?

[Verwijderd]

RAID 10 en Ext4 hebben een paar redenen maar merendeel heeft met stabiliteit te maken. Het systeem is voor gebouwd voor zo min mogelijk downtime, vandaar ook straks nog de hot spare. Ik heb ook XFS gedraait maar maakt niet zoveel uit. XFS is wat eenvoudiger vanwege de stripe / stride die standaard correct staat. CPU load is ook verwaarloosbaar. RAID 10 is natuurlijk ook een simpele operatie. Bij RAID 5 / 6 lijkt het allemaal iets meer uit te maken maar voor mij niet echt een optie op het moment.

SMB settings, je hebt een dm

[ Voor 3% gewijzigd door Verwijderd op 09-05-2012 13:32 ]

[GNML]

[b][message=38188579,noline]
GNML, raid lvl en blocksize hangt af van een aantal factoren.
- Focus op reliability of of snelheid. (raid lvl)
- Type workload. (blocksize)

RAID10 is imo wel leutig maar je verliest de helft van je capaciteit. Rebuilds zijn wel snel en performantie is zeer goed. Als je dat niet wenst kan je naar RAID5 gaan. Leuke snelheden maar wel een stevige kluif als daar een disk op faalt. Op 2TB disken is een degraded array niet direct iets om goed van te slapen. Ik heb daarom steeds een Hot Spare gedefinieerd. Zo minimaliseer je de kans op data loss en verklein je de tijd waarin je degraded bent. Raid 6 vangt dat goed op ten koste van writes.

Voor doorvoersnelheden moet je al geen speciale keuzes maken op RAID niveau aangezien intussen een doordeweekse HDD gigabit voltrekt.

Ding gaat puur gebruikt worden om data te serveren, bestanden varieren wel van muziek tot BR films..

[FireDrunk]

Ik ben ook wel benieuwd naar die SMB settings

[_eXistenZ_]

Zo, na mijn eerste kennismaking met TLER / ERC en wat er allemaal mis kan gaan als je tóch een RAIDcontroller combineert met desktopschijven die native niet TLER ondersteunen, ben ik aan het kijken voor een SAS HBA.

Express dus een domme HBA zonder RAID-mogelijkheden, om er voor te zorgen dat er niet weer chip besluit disken uit arrays te trappen als ze niet tijdig reageren. Zo kan ik mooi een stel goedkope desktop-schijven aansluiten en met MDADM een raid-array maken.

Ik heb nu een pricewatch: Supermicro AOC-SASLP-MV8 op het oog, wie weet daarvan of deze alle schijven met rust laat, of ook per sé schijven met TLER wil hebben?

Als iemand een andere aanbeveling heeft, graag!

Het gaat er dus om dat ik willekeurige desktop-disken kan kopen, met of zonder LTER-support (alle disken behalve die van Samsung zijn sinds 2010 toch gelockt) en dat ik niet weer tegen een controller aanloop die LTER forceert en disken uit mijn array trapt en dan blij het alarm laat afgaan...

[Verwijderd]

FireDrunk schreef op woensdag 09 mei 2012 @ 18:20:
Ik ben ook wel benieuwd naar die SMB settings

Haha zo speciaal zijn ze niet hoor.
Denk dat de meeste mensen wel dezelfde samba settings hebben.
Ik haal er ook geen amazing snelheden mee heb ik het idee.
Beetje klooien om de throughput omhoog te krijgen en de accestijd omlaag. Vooral van de vele media files waarvan windows het leuk vind om alles te indexen. Maar je hebt ze als dm.

[ Voor 17% gewijzigd door Verwijderd op 10-05-2012 16:40 ]

[mphilipp]

Verwijderd schreef op woensdag 09 mei 2012 @ 13:28:
Ik heb ook XFS gedraait maar maakt niet zoveel uit.

Dan hebben ze inderdaad iets gedaan aan EXT4. Het kon ook haast niet anders, want het verschil was indertijd nogal dramatisch. En vooral veel CPU usage. Alleen het formatteren van de disks al kostte veel tijd. En ik heb geen kinderachtige setup (AMD quad core), dus daar lag het niet aan.
Goed te weten dat het gefixed is. Niet dat ik er nu nog wat aan heb...

[Loekie]

_eXistenZ_ schreef op woensdag 09 mei 2012 @ 21:55:
Ik heb nu een pricewatch: Supermicro AOC-SASLP-MV8 op het oog, wie weet daarvan of deze alle schijven met rust laat, of ook per sé schijven met TLER wil hebben?

Als iemand een andere aanbeveling heeft, graag!

Het gaat er dus om dat ik willekeurige desktop-disken kan kopen, met of zonder LTER-support (alle disken behalve die van Samsung zijn sinds 2010 toch gelockt) en dat ik niet weer tegen een controller aanloop die LTER forceert en disken uit mijn array trapt en dan blij het alarm laat afgaan...

Mjah, als je nieuw koppt zou ik voor de ietsje duurdere IBM M1015 gaan. Ook zie ik een intel SASUC8i in de V&A staan voor 65(niet mijn) waar die van mij ws ook naar toe gaat om plaats te maken voor de IBM 1015 die hogere capaciteit disken aankan.

[_eXistenZ_]

Ik neem waarschijnlijk voor 100 euro een Supermicro AOC-SASLP-C8i over van een Tweaker, zitten de kabels al bij, en dan gooi ik voor 150 euro mijn RocketRaid (die kan veel meer dus mag iets duruder zijn) hier ook lekker op de Pricewatch. Heb niet meer poorten nodig, er is fysiek maar plek voor 12 disken in mijn NAS

[Verwijderd]

Die AOC-SASLP heeft een Marvell chip en daar zijn wel problemen over bekend. Een controller op basis van LSI chip is sterk aanbevolen; zoals de IBM M1015.

[_eXistenZ_]

Verwijderd schreef op donderdag 10 mei 2012 @ 18:15:
Die AOC-SASLP heeft een Marvell chip en daar zijn wel problemen over bekend. Een controller op basis van LSI chip is sterk aanbevolen; zoals de IBM M1015.

Ik kopiëer dingen door elkaar heen, copypasta-foutje. Het gaat om een AOC-USAS-L8i, welke inderdaad een LSI-chip heeft. Die zou ik met de in-kernel megaraid-drivers gewoon moeten kunnen gebruiken als HBA.

Overigens probeer ik het dd-commando nog een keer op die schijf /dev/sde, nu TLER op 7 seconden staat op mijn Samsung-disken. Zodra ik wat weet kick ik dat andere topic nog even, zou je me dan nog even verder willen helpen met het beschijven van de temp stuck sectoren?

[Verwijderd]

Ik raad aan dat je hem met IT-mode firmware flasht, dan gebruik je geen megaraid drivers maar gewoon de mpt fusion IT drivers (non-RAID).

En kijk zo wel even in je andere topic.

[_eXistenZ_]

Die MPT-drivers zijn juist closed source en ik draai al kernel 3.2, die closed source rpm die ze leveren heeft alleen drivers voor kernel 2.6.18... vandaar dat ik de megaraid-drivers wilde. Inderdaad in IT-mode.

/edit

Nu zie ik dat je 2 in-kernel drivers hebt, megaraid en mpt2sas, welke volgens mij beide gebruikt kunnen worden afhankelijk van in welke mode je kaart staat

[ Voor 36% gewijzigd door _eXistenZ_ op 10-05-2012 21:00 ]

[HarmoniousVibe]

De drivers zijn inderdaad gewoon open source en zitten gewoon in de mainline kernel. Gewoon mtpsas doen.

lsmod | grep mpt
mptsas                 63612  8 
mptscsih               44882  1 mptsas
mptbase               103162  2 mptsas,mptscsih
scsi_transport_sas     40558  1 mptsas

dpkg -S /lib/modules/3.2.0-24-generic/kernel/drivers/message/fusion/mptsas.ko
linux-image-3.2.0-24-generic: /lib/modules/3.2.0-24-generic/kernel/drivers/message/fusion/mptsas.ko

[ Voor 80% gewijzigd door HarmoniousVibe op 10-05-2012 21:06 ]

[FireDrunk]

Er is ondersteuning voor beide modi (iirc) direct in de kernel (Fusion MPT en Megaraid) en beide zijn volgens mij gewoon open source.

[revox862]

Hardware is binnen Bedoeling is 10x 1.5TB in RAIDZ2.



Fractal Design Define R3 Titanium Grey
Fractal Design Silent Fan 120mm
Seasonic X-560
Supermicro X9SCL+-F
Intel Xeon E3-1230
2x Kingston KVR1333D3E9SK2/8G Kit
Norco SS-300
Kingston SV100S2/32G
2x Western Digital WD15EARX
IBM ServeRAID M1015
8x Western Digital WD15EADS
2x NZXT CBW-44SATA
2x Discrete SFF-8087 4xSATA 70cm

[FireDrunk]

Ben beniewd!

[FabiandJ]

Oh fuck.

code:

mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Thu Apr 19 15:29:13 2012
     Raid Level : raid6
     Array Size : 7814047744 (7452.06 GiB 8001.58 GB)
  Used Dev Size : 1953511936 (1863.01 GiB 2000.40 GB)
   Raid Devices : 6
  Total Devices : 3
    Persistence : Superblock is persistent

    Update Time : Fri May 11 16:08:20 2012
          State : clean, FAILED
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : GTR:0
           UUID : 75a96803:cb9957d4:147f02eb:41d2b52d
         Events : 40

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       0        0        3      removed
       4       0        0        4      removed
       5       0        0        5      removed

code:

mdadm --examine /dev/sd[bcdefg]1 | egrep 'dev|Update|Role|State|Chunk Size'
/dev/sdb1:
          State : clean
    Update Time : Fri May 11 16:52:30 2012
     Chunk Size : 512K
   Device Role : Active device 0
   Array State : AAA... ('A' == active, '.' == missing)
/dev/sdc1:
          State : clean
    Update Time : Fri May 11 16:52:30 2012
     Chunk Size : 512K
   Device Role : Active device 1
   Array State : AAA... ('A' == active, '.' == missing)
/dev/sdd1:
          State : clean
    Update Time : Fri May 11 16:52:30 2012
     Chunk Size : 512K
   Device Role : Active device 2
   Array State : AAA... ('A' == active, '.' == missing)
/dev/sde1:
          State : clean
    Update Time : Thu May 10 20:27:09 2012
     Chunk Size : 512K
   Device Role : Active device 3
   Array State : AAAAAA ('A' == active, '.' == missing)
/dev/sdf1:
          State : clean
    Update Time : Thu May 10 20:27:09 2012
     Chunk Size : 512K
   Device Role : Active device 4
   Array State : AAAAAA ('A' == active, '.' == missing)
/dev/sdg1:
          State : clean
    Update Time : Thu May 10 20:27:09 2012
     Chunk Size : 512K
   Device Role : Active device 5
   Array State : AAAAAA ('A' == active, '.' == missing)

Is dit te fixen? Ik heb nog geen reboot gedaan.

[ Voor 37% gewijzigd door FabiandJ op 11-05-2012 17:24 ]

[DJ-Visto]

proberen als je ze eruit haalt en dan er weer inzet.

[FireDrunk]

Gewoon rebooten, je device is niet gestart, dus je array is toch al uit.

[FabiandJ]

FireDrunk schreef op vrijdag 11 mei 2012 @ 20:07:
Gewoon rebooten, je device is niet gestart, dus je array is toch al uit.

Heb hem gereboot maar ik krijg dit:

code:

mdadm --detail /dev/md0
mdadm: md device /dev/md0 does not appear to be active.

En als ik dit doe:

code:

mdadm --examine --scan

Komt hier dit uit:

code:

ARRAY /dev/md/0 metadata=1.2 UUID=75a96803:cb9957d4:147f02eb:41d2b52d name=localhost:0

Hij zegt hier /dev/md/0, maar mijn array had altijd /dev/md0, dus kan iemand mij vertellen wat hier aan de hand is ?

code:

mdadm --assemble --run /dev/md0 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1 /dev/sdg1
mdadm: cannot open device /dev/sdb1: Device or resource busy
mdadm: /dev/sdb1 has no superblock - assembly aborted

code:

mdadm --examine /dev/sdb1
/dev/sdb1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 75a96803:cb9957d4:147f02eb:41d2b52d
           Name : GTR:0
  Creation Time : Thu Apr 19 15:29:13 2012
     Raid Level : raid6
   Raid Devices : 6

 Avail Dev Size : 3907024896 (1863.01 GiB 2000.40 GB)
     Array Size : 15628095488 (7452.06 GiB 8001.58 GB)
  Used Dev Size : 3907023872 (1863.01 GiB 2000.40 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 8eabbd24:6e322c26:c9d7bd52:9aa5fc70

    Update Time : Fri May 11 16:52:30 2012
       Checksum : 52d9c74e - correct
         Events : 46

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAA... ('A' == active, '.' == missing)

[ Voor 79% gewijzigd door FabiandJ op 12-05-2012 14:40 ]

[analog_]

analog_ schreef op woensdag 09 mei 2012 @ 00:15:
[...]

Crucial zit op 0309, controller is 9.00.00.00 (nog meer nullen?) IT en ESXi loopt inmiddels via die update op 11.00.00 (berg nullen). Ik kan hooguit de controller of de crucial nog bijwerken. Zal dat nog doen maar heb er niet teveel hoop meer op. Beetje veel frustraties...

De m1015 geupgrade naar 13.00.00 en de boel werkt. Firmware matters...

[FireDrunk]

Dutch, even "update-initramfs" runnen.

[FabiandJ]

FireDrunk schreef op zaterdag 12 mei 2012 @ 15:51:
Dutch, even "update-initramfs" runnen.

code:

update-initramfs
If 'update-initramfs' is not a typo you can use command-not-found to lookup the package that contains it, like this: cnf update-initramfs

Aan de hand van mijn probleem ben ik eens rond gaan zoeken en kwam ik dit tegen klik
Als laatste redmiddel heeft hij besloten om opnieuw zijn raid array te maken.

Dit heb ik ook gedaan met precies hetzelfde command etc als ik eerst gedaan heb, maar je verzint het niet toen die op 50% was verzint er hier thuis iemand een apparaat wat nog is aangesloten op het stroom te gaan afwassen . Gevolg kortsluiting en mijn recreate is over de zeik, nu is die aan het resyncen.

1 disk is al faulty spare rebuilding en de status finish=38823.9min speed=821K/sec.
En de speed zakt alleen maar verder terug.

[ Voor 51% gewijzigd door FabiandJ op 12-05-2012 17:39 ]

[GNML]

Ik las laatst iets over een norco rpc4224 met een sas expander. Daar noemden ze het een das systeem.
Hoe werkt zoiets, ze hadden daar namelijk een mobo erin zonder cpu..

[daan08]

Een mobo zonder cpu.. Hooguit dat die sas expander wellicht stroom nodig heeft via de PCI express bus?
DAS = direct attached storage. Zou normaliter gewoon een rackmount unit zijn met SAS aansluiting al dan niet met interne controllers.

[GNML]

daan08 schreef op zaterdag 12 mei 2012 @ 20:26:
Een mobo zonder cpu.. Hooguit dat die sas expander wellicht stroom nodig heeft via de PCI express bus?
DAS = direct attached storage. Zou normaliter gewoon een rackmount unit zijn met SAS aansluiting al dan niet met interne controllers.

Zover was ik ook, op Hardforum al wat meer info gevonden. Is idd puur voeding van de expander, wel leuk als uitbreiding.

[Pantagruel]

GNML schreef op zaterdag 12 mei 2012 @ 20:48:
[...]


Zover was ik ook, op Hardforum al wat meer info gevonden. Is idd puur voeding van de expander, wel leuk als uitbreiding.

ServeTheHome link voor pic's, build report en info rondom een werkende PCMIG/SAS expander combi.

Inderdaad een bruikbare optie als je geen PCIe x4 slot 'over' hebt om de expander van prik te voorzien.

[FireDrunk]

Dutch3men schreef op zaterdag 12 mei 2012 @ 17:31:
[...]

code:

update-initramfs
If 'update-initramfs' is not a typo you can use command-not-found to lookup the package that contains it, like this: cnf update-initramfs

Aan de hand van mijn probleem ben ik eens rond gaan zoeken en kwam ik dit tegen klik
Als laatste redmiddel heeft hij besloten om opnieuw zijn raid array te maken.

Dit heb ik ook gedaan met precies hetzelfde command etc als ik eerst gedaan heb, maar je verzint het niet toen die op 50% was verzint er hier thuis iemand een apparaat wat nog is aangesloten op het stroom te gaan afwassen . Gevolg kortsluiting en mijn recreate is over de zeik, nu is die aan het resyncen.

1 disk is al faulty spare rebuilding en de status finish=38823.9min speed=821K/sec.
En de speed zakt alleen maar verder terug.

Je had toch ubuntu?

[TomVH2]

Hallo,

Ik zou graag een low-budget homeserver/NAS bouwen dat toch relatief betrouwbaar is met volgende eigenschappen/eisen:

• Een levenduur van 5 a 6 jaar mits vervanging van de nodige componenten;
• performance is niet zo belangrijk. Gigabit ethernet is meer dan voldoende;
• Samba om de data toegankelijk te maken voor windows machines;
• Totale opslagcapaciteit van 2TB of 3TB is meer dan voldoende. Eventueel kan ik later nog uitbreiden met 2TB of 3TB;
• data beveiliging tegen een systeem crash => sync windows network drive;
• beveiliging tegen drive failure => ZFS of MDADM.
• zuinig. Ik dacht zo aan een 20 W idle maximum;
• De dataschijven zouden toch naar spindown moeten kunnen gaat om zo het verbruik te beperken de levensduur van de schijven te vergroten. Een download wordt eerst gedownload naar de OS-schijven en nadien verplaatst naar de dataschijven. Ik gok dat de dataschijven zich toch zeker de helft van tijd in idle zullen bevinden;
• standaard software zoals TransmissionBT, OpenVPN, Samba, sabnzbd+,…;
• budget: tussen 500 en 1000 EUR. Natuurlijk liever een goedkoop betrouwbaar systeem dan een duurder betrouwbaar systeem . Budget kan nog aangepast worden als dit nodig zou zijn.

Ik ben geen ICT’er en zit ook niet in de branche. Vandaar dat ik nog een aantal vragen heb waarbij jullie mij misschien kunnen helpen?

welke DATA schijven gebruiken?
Ik twijfel tussen de :
-Hitachi deskstar 5k3000 3TB 5400 rmp met 3 jaar garantie
-Western Digital AV-GP 3TB 5400 rmp met 3 jaar garantie
-Western Digital caviar black 2TB 7200 rpm met 5 jaar garantie

De 3 schijven zitten aan dezelfde pijs per benutbare opslagcapaciteit per aantal jaren garantie.

Vertelt de garantie iets over de levensduur van de schijf? Of kan een schijf met 3 jaar garantie ook gemakkelijk 5 jaar meegaan? Seagate geeft bevoordeeld maar 1 jaar garantie op de goedkoper schijven. Als ze natuurlijk langer meegaan dan Hitachi met 3 jaar garantie, ben ik misschien toch beter om voor seagate te kiezen?

Ik betaal dan liever nu iets meer voor schijven met 5 jaar garantie en die het 6 jaar volhouden. Als de schijven met 3 jaar garantie het ook 6 jaar volhouden, dan is de keuze rap gemaakt natuurlijk aangezien de schijven met 3 jaar garantie veel goedkoper zijn.

temperatuurcontroller
De homeserver staat in een ruimte waar de temperatuur wel kan dalen tot 5 °C. Daarom had ik gedacht zelf een servercase en temperatuurcontroller te bouwen zodat ik de temperatuur van de HDD’s geregeld kan worden naar 35°C. Door de temperatuur constant te houden hoop ik de levensduur van de HDD's te verhogen.

Op het net kan ik echter geen kant en klare temperatuurcontroller vinden die:
- de temperatuur echt gaat regelen
- de ventilatoren uitschakelt indien de tempratuur te laag wordt
- het systeem (server) uitschakelt als een ventilator faalt.

Daarom had ik gedacht zelf een geïsoleerde case te bouwen met een temperatuurcontroller. Voor de temperatuurcontroller zou ik een AVR atmega gebruikt met bascom, een LCD en wat 4-draads ventilatoren.

Wat denken jullie van dit idee? Of gaat de levensduur van de HDD's niet stijgen door de temperatuur constant te houden? Of bestaat er een goedkoop kant en klaar systeem?

Welke schijven gebruiken voor het OS?
2,5” of 3,5”? Ik had nu de WD scorpio Black 320GB of 500GB in het vizier.

E-350 of G530
Hoe zit het met het idle verbruik van een asus E-350 bordje in vergelijking met een MSI bordje met de G530?

MSI H6? of MSI H67?

ZFS
Kunnen de dataschijven in spindown gaan als er gewerkt wordt met ZFS? Met mdadm werkt het allesinds.

Voeding
Zijn er ervaringen met voedingen die een goede efficiëntie hebben bij een verbruik van 20W?

Alvast hartelijk dank voor de info

[Dadona]

Garantie is op zich niet zoveel over te zeggen. Hoewel sommigen het soms wel eens denken zit er bij mijn weten geen kill-functie in, zodra de garantie is verlopen. Ik heb schijven gezien die ruim binnen de garantie terugkonden en anderen die daar zwaar buiten liepen. Daarnaast vind ik het allemaal wat mindere interessant. Het gaat om de afschrijvingstermijn.
Je moet bedenken dat de schijven verschillende doeleinden hebben. Hoewel je ze voor alles kunt inzetten is een 7200rpm versie niet echt iets voor een zuinige server. Het doel is anders. Zo'n schijf verbruikt meer energie en dat moet jij weer eruit proberen te halen met garantie en levensduur. Onmogelijk. Een AV-GP is weer gericht op zuinigheid en betrouwbaarheid voor een schijf die voortdurend actief is. Aan de kant van Western Digital zou ik dan ook voor een WD20EARS nemen.
Voor schijven van het OS kun je het beste voor een 2.5" gaan. Simpelweg zuiniger, stiller en je hoeft deze niet actief te koelen (slim geplaatste 3.5" ook niet).

Wat de temperatuur betreft, het is waar dat de schommeling beperkt moet blijven. Je hebt programma's die de snelheid van ventilatoren kunnen uitlezen en de snelheid kunnen beïnvloeden. Dit gaat dan wel om een 4-in fan connector bij mijn weten. Helaas zijn die spaarzaam op moederborden (CPU fan). Voor de rest zou ik niet te ingewikkeld gaan doen. Isolatie enz. heeft een impact, allerlei fancy mechanismen kunnen falen en zodoende ellende veroorzaken, ..

Chipsets, cpu enz. is iets waar je je over moet inlezen. Maakt de cpu uit, wil je het klein houden, welk budget... Er zijn een aantal topics die hierop ingaan (DIY RAID NAS, zuinige server topic). Hetzelfde gaat op voor de voeding. Ook daar spelen afwegingen als uitbreidbaarheid, formfactor, .. een rol.

Wat spindown betreft, dit is niet zozeer iets dat met ZFS te maken heeft. Bedenk dat je bij ZFS echt veel geheugen moet nemen. Vuistregel is 1GB per 1TB aan opslagruimte alleen. Je OS, programma's, ... moet je daar dus bij optellen.

[FabiandJ]

FireDrunk schreef op zondag 13 mei 2012 @ 00:28:
[...]


Je had toch ubuntu?

Nee ik gebruik OpenSuse, maar wtf. Ik heb gewoon na de kortsluiting weer opnieuw de array gemaakt.
En ik mount het zojuist en wtf, alle data staat er nog op

[FireDrunk]

@TomVH2

ZFS
Kunnen de dataschijven in spindown gaan als er gewerkt wordt met ZFS? Met mdadm werkt het allesinds.

MDADM en spindown werken hier perfect... Als ik mijn nas benader nadat er 15 minuten niks is gebeurt, hoor ik netjes alles schijven opspinnen. (duurt in totaal ong 15 seconden). En daarna is alles rap snel
Bovendien kan ik 9/10 keer gewoon door mijn array heen browsen over Samba zonder dat de schijven opspinnen, alleen als er data nodig is die niet in het filesystem cache staat, worden de schijven opgespint.

@Dutchmen, Ik weet niet hoe OpenSuse zijn initramfs update, maar jouw /dev/md/0 probleem komt voor uit het feit dat de MD config niet in je initramfs zit. Dat moet je dus updaten

[ Voor 14% gewijzigd door FireDrunk op 14-05-2012 10:07 ]

[Goudduif]

Goedendag,

Met VMWARE kan ik aardig overweg, nu lees ik echter steeds meer over FreeNas op een vSphere server. Lijkt me ook niet verkeerd, daar ik laatsttoch enkele VM's kwijt raakte door een kapotte disk.

Mijn vraag is het volgende: Kan ik FreeNas op een USB installeren, om vervolgens mijn vier HDD's aan FreeNas toe te wijzen?

[FireDrunk]

Ja dat kan, maar waar wil je ESX dan voor gebruiken? Want dat noem je niet?
Wil je ESX op een USB stick installeren? Dat kan.
Wil je daarna 4 disks toewijzen aan een FreeNAS VM? Dat kan, mits je een lokale datastore hebt om de RDM mapping files op te zetten.

[Goudduif]

Momenteel Draai ik al vSphere vanaf een USBstick,
vervolgens zou ik een VM met Freenas op een tweede USB stick willen installeren,
waar ik dan vervolgens al mijn HD's aan zou toe willen wijzen, zodat ik niet weer mijn VM's kwijtraakt op het moment dat er een disk uit valt.

Of dien ik FreeNas toch op een Solid stae Disk te installeren?

An singel point of failure, wil ik namelijk zoveel mogelijk zien te vermijden.

Hoe zit het als je FreeNas VM uitvalt, is je ZFS Raid dan nog nadat je een nieuwe FreeNas geinstalleerd hebt goed te benaderen?

[Jormungandr]

VM Datastores kunnen niet op een USB stick geplaatst worden. Je moet dus ofwel een network datastore of local datastore voorzien.

Ik ga morgen achter de laatste items voor mijn NAS-2-Norco bouwsel .
Ik ga mijn Intel 320 SSD in mijn desktop swappen voor een Samsung 830 en de Intel in mijn NAS plaatsen. De 320 is een zeer betrouwbare SSD en sneller hoeft echt niet aangezien gigabit de grens is.

Daarnaast ook eens de ULTRAluide fans bekeken in de Norco RPC-2208. 116 m3/h aan 4900 RPM en 48.5 dBA . Geen wonder dat het lijkt alsof er een jet opstijgt.

Ik ga 4 fans bij Alternate halen om het lawaai maar te drukken. De beste zijn de PAPST 8412/N2GH met 79 m3/h aan 37dBA. Ik hoop van harte dat die de disks koel genoeg kunnen houden.

[Nelisj]

Vraag aan de Areca 1880 eigenaren.

In middels ben ik zelf ook eigenaar van een 1880. Nu vraag ik me alleen af wat een normaale CPU temperatuur is. Bij mij is de CPU nu iets van 58 graden. Maar heb ook al 65 gezien. En heb ik een redelijk gelijke controller temperatuur van 42 Graden. Nu is de kaart passief gekoeld dus had wel iets hogere waardes verwacht maar niet zo hoog. Ik kan eigenlijk ook nergens vinden wat nu de max temp mag zijn.

Nog een vraagje over de HDD's zelf. Ik heb nu de optie "Time To Spin Down Idle HDD" op 15 staan. Kan ik ook nog ergens zien of de HDD's daadwerkelijk na 15 min IDLE ook uit gaan? Heb namelijk 1 schijf als hotspare maar vraag me af of deze nu uit staat ja of nee. Nu is de temp van deze schijf wel 2 a 3 graden lager als de rest.

Edit:

Ben er in middels achter dat het te zien is aan de temperatuur en de smart waardens. Temp gaat op 0 staan en smart waardens worden N.A..

Enige rare is dat een drive die nog niet bij een RAID set hoor en dus vrij is dus niet uit gaat.

[ Voor 13% gewijzigd door Nelisj op 19-05-2012 17:51 ]

[Jormungandr]

Ziezo, mijn NAS is gisteren overgebouwd naar de Norco case.

Ik heb de Delta 54dBA fans vervangen door (cheap) sharkoon fans (enige model waar er 4 van in stock waren) en ik moest me duidelijk geen zorgen maken over de temperatuur. Daar waar de disks in de Fractal case rond 30 graden hingen staan ze nu gemiddeld aan 25 graden in de Norco. Dat zal wel wat stijgen als er 8 schijven in steken, maar ik ben blij .

Ook nog geen enkele smart fout die wijst op kabel fouten. Zoals in een van de vorige foto's te zien was is de SAS-SAS kabel nogal kort gebogen op zowel de backplane als de IBM M1015.

Enige nadeel: de voeding komt door afwezigheid van de Delta fans nu wel naar voor als de grootste lawaaimaker uit de bus .

[_eXistenZ_]

En nog steeds sleept het gezijk zich voort...

Kort verhaal:

Heb NAS met 4x Samsung HD501LJ (via mobo aangesloten, mdadm raid5) en 3x Samsung HD154UI (mdadm Raid5, via Highpoint Rocketraid 2320 aangesloten).

Hier heb ik onlangs 3x Western Digital WD15EARX-00P bijgekocht, en wat bleek, de RocketRaid dropte behoorlijk hard de disken vanwege het ontbreken van TLER-support. Bij stresstesten bleken ook de Samsungs die al meer dan een jaar aan de RocketRaid te hangen te droppen als je maar hard genoeg ging.

Dus heb ik een SuperMicro AOC-USAS-L8i op de kop getikt want die zou met IT-firmware én geen TLER enforcen en dus disken droppen, én zou de ondersteuning voor Linux zeer goed zijn en de drivers opensource.

Na het switchen waren de drivers erg simpel aan de gang te krijgen, en pakte mdadm alle raid arrays weer op (hoera \o/), maar helaas blijkt nu dat mijn dmesg volloopt met deze message:

[ 4503.506999] mptscsih: ioc0: attempting task abort! (sc=ffff88007a589600)
[ 4503.507002] sd 4:0:0:0: [sda] CDB: Write(10): 2a 00 0f dd 06 f7 00 01 80 00
[ 4503.507014] mptscsih: ioc0: task abort: SUCCESS (sc=ffff88007a589600)

^{Men NAS staat nu uit, deze heb ik even van het internet gekopieerd maar ik heb deze message ook}

bij het overzetten van data met rsync loopt na verloop van tijd het proces dat IO doet vast, en is zelfs niet meer te killen met kill -9. Ook haal ik maar 20MB/s transfersnelheid, terwijl elke disk afzonderlijk zo'n 95MB/s kan halen...

Er is een patch bekend voor een probleem met deze kaarten, zonder die patch loopt soms de hele kaart vast, maar de patch is al in de kernel opgenomen... en alles wat ik op internet lees biedt geen oplossing (er is zat over te vinden)

[ Voor 7% gewijzigd door _eXistenZ_ op 20-05-2012 13:49 ]

[Dadona]

Haal je 20MB/sec transfersnelheid op de bak zelf in mdadm of over een netwerk?

[_eXistenZ_]

Intern van de 3xHD154UI raid5 array naar de 3x WD15EARX raid5 array.

Maar het eigenlijke probleem is dat mijn complete NAS nu waardeloos is want die WD-disken kan ik niet aanspreken en dus niks uitbreiden / migreren naar 5x1.5TB in raid6 wat ik wilde, en die HD154UI-array heeft 1 disk die al niet meer te best is dus de array waar nu mijn data op staat houdt het ook niet superlang meer...

[ Voor 74% gewijzigd door _eXistenZ_ op 20-05-2012 15:44 ]

[Staatslot]

Ik ben bezig met het samenstellen van een complete nieuwe setup en wil echt goed gaan uitpakken.
Eerst een inventarisatie om te kijken wat het me gaat kosten, maar ik ben toch erg optimitisch dat ik uiteindelijk een mooie aanschaf zal gaan doen. Het is volledig voor thuis, maar ik kan het via de zaak boeken (juist omdat het bedoeld is om veel ervaring op te doen met zakelijke standaarden) dus ik heb een redelijk budget in gedachten. Ik val precies tussen de bekende topics in dus ik plaats het maar hier.

Het plan is als volgt:
een serverrack, met daarin een managed switch en drie fysieke servers.
1 voor de storage, 2 als hosts.

Rack
Ik heb mn oog laten vallen op een rack van 18 of 22U, bijv deze.

Storage:
Op dit moment heb ik een MSI H55M-E33 met 4 WD Caviar Green WD20EARS, voorzien van 16GB geheugen.
Het plan is dit moederbord in te bouwen in een nog te kopen (Norco?) kast, voorzien van deze 4 schijven en een of meerdere SSD's, met daarop ZFS. Ik heb nog totaal geen ervaring met ZFS, dus dat wordt (net als de hele omgeving) een leuke leeromgeving. De storage moet tevens dienen als dikke NAS voor mn muziek en video's die ik afspeel op mn HTPC. Het moederbord heeft 6 SATA poorten, ik kom dus of net uit of net te kort.
Ik zal dus iets moeten doen om het aantal poorten uit te breiden, dat doe ik liever nu al dan later nog.

Hosts
Ik ben van plan 2 fysieke hosts van 1 of 2u neer te hangen, ieder voorzien van één of twee SSD's (beetje afhankelijk van de totaalprijs van het hele verhaal).
Deze hosts wil ik gebruiken om mijzelf diverse virtualisatietechnieken aan te kunnen leren, zowel Hyper-V als Citrix als VMware dus. Ook spelen met technieken als VMware View, RDSH etc moet straks kunnen.

Ik denk zelf in ieder geval aan Xeon processoren met een behoorlijke stoot geheugen voor de hosts.
Ik zal moeten checken welke (waarschijnlijk supermicro) moederborden in aanmerking komen (omdat ze ook met ESX moeten kunnen werken).

Netwerk
De switch moet zorgen voor wat mogelijkheden om met VLANS te klooien, ook dat heb ik wel in de praktijk gezien maar nooit zelf lekker mee kunnen stoeien.

Omdat dit natuurlijk een heel project wordt, zijn alle tips en adviezen meer dan welkom.

Ik loop tot nu toe vooral tegen het praktische aspect aan van de case voor de hosts.
Ik heb wat supermicro cases gezien van 1u, maar die hebben een 200W voeding aan boord en kunnen bovendien slechts micro-atx formaat aan. Micro-atx heeft weer te weinig geheugenslots, dus als iemand daar een goed idee over heeft, graag!

Het blijft voor nu dus vooral nog even bij uitzoekwerk, maar als ik het plaatje compleet heb (en dus ook qua kosten) kan ik verder beslissen of het echt haalbaar wordt.

[ Voor 1% gewijzigd door Staatslot op 21-05-2012 15:42 . Reden: tikfoutjes ]

[K4F]

Staatslot schreef op maandag 21 mei 2012 @ 15:40:
Ik ben bezig met het samenstellen van een complete nieuwe setup en wil echt goed gaan uitpakken.
Eerst een inventarisatie om te kijken wat het me gaat kosten, maar ik ben toch erg optimitisch dat ik uiteindelijk een mooie aanschaf zal gaan doen. Het is volledig voor thuis, maar ik kan het via de zaak boeken (juist omdat het bedoeld is om veel ervaring op te doen met zakelijke standaarden) dus ik heb een redelijk budget in gedachten. Ik val precies tussen de bekende topics in dus ik plaats het maar hier.

Het plan is als volgt....

Ik zou het wel weten bij allemaal nieuw spul. 1 server met een Xeon E5 waarbij je zelf kan bepalen of je naar een dual socket wilt of niet. Hiermee moet het mogelijk zijn om redelijk kosten efficient door te groeien naar de 64 tot 128 gb, plafond bij 3xxgb? En als tweede host een sandy of ivy bridge Xeon E3 aangezien bijvoorbeeld ESXi met de free licentie toch niet verder gaat dan 32gb aan geheugen. De zwaardere server zou je dan kunnen gebruiken voor bijvoorbeeld Xen of een ander virtualisatieplatform. Switches iets van een fanless HP of cisco sg.

[Staatslot]

Zo jij pakt wel heel erg uit..
Ik zat zelf nog niet aan dat soort cpu's te denken, firedrunk heeft daarover wel eens iets verteld je cpu staat toch heel vaak idle uiteindelijk. Geheugen dacht ik aan 32 of 64 gb per host, maar dat is natuurlijk ook weer erg afhankelijk van het type moederbord wat voor prijs dat me gaat opleveren..
Qua licenties hoef je je ivm geheugen geen zorgen te maken..

[ Voor 6% gewijzigd door Staatslot op 21-05-2012 18:52 ]

[vso]

Staatslot schreef op maandag 21 mei 2012 @ 15:40:
Storage:
Op dit moment heb ik een MSI H55M-E33 met 4 WD Caviar Green WD20EARS, voorzien van 16GB geheugen.
Het plan is dit moederbord in te bouwen in een nog te kopen (Norco?) kast, voorzien van deze 4 schijven en een of meerdere SSD's, met daarop ZFS. Ik heb nog totaal geen ervaring met ZFS, dus dat wordt (net als de hele omgeving) een leuke leeromgeving. De storage moet tevens dienen als dikke NAS voor mn muziek en video's die ik afspeel op mn HTPC. Het moederbord heeft 6 SATA poorten, ik kom dus of net uit of net te kort.
Ik zal dus iets moeten doen om het aantal poorten uit te breiden, dat doe ik liever nu al dan later nog.

als je wilt/kan testen pak een bak een nas met ISCSI mogelijkheid (of zelfbouw nasje met zfsguru als os)
en een andere bak met hypervisor en test draai dat eens een maandje dan merk je dat het onderstaande veel meer "nuttiger" is dan de vraag stellen


als je met zfs wilt gaat spelen heeft femme een mooie revieuw geschreven (frontpage)
reviews: Opslagnetwerken met zfs en Comstar
daarin word er min of meer gesteld dat ssd niet ech "nut' heeft.
ZFS = geheugen vretend monster (meer ram = beter)
voor extra RAID controller moet er IT-Mode/firmware zie zfs topic in NOS kijk naar posts van Chiper geloof intel / ibm kaart onder andere.

Overgens voor spelen is zelfbouw nas leuk.. maar kwa kosten is vaak een gekochte NAS net zo duur/goedkoop. RAID 10 of met 2 nas 2x Raid 5 heb je met 4x 4tb al voldoende ruimte
Synology/Thecus/qnap hebben vaak expansion units voor extra disks
www.smallnetbuilder.com is goeie website voor vergelijkingen.. thecus is vaak de beste inverband met CPU en Nic's (oftwel throughput op je netwerk)

Hosts
Ik ben van plan 2 fysieke hosts van 1 of 2u neer te hangen, ieder voorzien van één of twee SSD's (beetje afhankelijk van de totaalprijs van het hele verhaal).
Deze hosts wil ik gebruiken om mijzelf diverse virtualisatietechnieken aan te kunnen leren, zowel Hyper-V als Citrix als VMware dus. Ook spelen met technieken als VMware View, RDSH etc moet straks kunnen.

Ik denk zelf in ieder geval aan Xeon processoren met een behoorlijke stoot geheugen voor de hosts.
Ik zal moeten checken welke (waarschijnlijk supermicro) moederborden in aanmerking komen (omdat ze ook met ESX moeten kunnen werken).

Voor virtualisatie telt netzoals ZFS meer ram = beter.
Voor de rest zou ik uitgaan van 1 host (gezien dat je dubbel gaat draaien) zorg dat je daar 100% op kan draaien. De uiteindelijke load kan je verdelen over 2.
Waarom ? dan heb je genoeg capaciteit om 1 host uit te zetten. (oftewel zorg dat je over-capaciteit hebt)

SSD is feitelijk waardeloos als je HBA / iscsi kan booten van je nas .. als je dubbel doet waarom niet gelijk goed en 2x hosts en 2x nas.
als je SSD voor je hypervisors (200,- ? ) en de extra "sata controller" voor je NAS (a 200,- of meer) heb je 400 voor een extra NAS .. wat je meer redundancy geeft.

UPS als bescherming voor "spanningspieken" en nette afsluiting ..

Netwerk
De switch moet zorgen voor wat mogelijkheden om met VLANS te klooien, ook dat heb ik wel in de praktijk gezien maar nooit zelf lekker mee kunnen stoeien.

je hebt min 3 vlans nodig, 1 voor je "nas verkeer", 1 voor je online migratie, 1 voor management en 1 voor overige netwerk (en/of meer)

Maar elke web enabeld switch van paar tientjes heeft dat tegenwoordig wel VLAN.. zelfs hier kan je 2x aanschaffen (over kill maar oke)

QUAD poort ET intel kaartjes hebben leuke features voor esx/hyper-v en heb je in principe wel nodig.
2 voor NAS traffic per host.. (onboard nic's op mobo voor management ofzo) Niet alle moederborden gaan btw goed met Quad nic poort moederborden goed overweg.

Bij aanschaf let wel op de moederborden dat ze INTEL Nic's hebben en je RAM 48GB of meer aan kan ..
voor SSD schijnen Gigabite moederborden problemen te geven..

SSD's zijn redelijk nuttig bij Hyper-v (snel opstart) maar esx(i) is ssd overkill (kan zelfs van usb-stick)

stap 1)
Je NAS(of beide) goed opzetten is zeker de eerste beste stap die je wilt doen. zorg dat ze bv onderling Sync-en (r-sync) kijk naar Virtual IP en NAS clustering .. kan je 1 nas (netjes) down brengen zonder dat je "connectie" verliest dan is de rest appeltje -eitje.
Stap 2
je vergeet de management "server" (aparte PC/server) die de management tool van ESX/hyper-v draait.
stap 3
hypervisor ...

Erg belangrijk is dus RAM RAM en had ik al gezegd RAM ??? CPU is veel minder relevant.

[Staatslot]

Bedankt voor je uitgebreide reactie, bijzonder nuttig!
Sommige punten zijn denk ik echter wel iets te ver afgedreven van het doel dat ik heb: leuk leren spelen met alle verschillende technieken en mogelijkheden.

Ik snap je verhaal over een nas, zelfbouw versus kant en klaar.
In dit geval beschik ik al over de hardware, op de case na. Zfs vreet geheugen, dat is de hoofdlijn van wat ik overal al had gelezen maar 16 GB voor 8TB bruto lijkt me toch wel voldoende. Zeker als je 1GB ram per TB opslag aanhoudt.. ?!

Je verhaal over rekenen op 1 host die de belasting volledig aan moet kunnen (als de ander immers uitvalt) zou ik helemaal onderschrijven, mits het een professionele productieomgeving zou betreffen. Het gaat mij echter puur om het leeraspect en niet om een 100% uptime, dus in dit geval ga ik daar niet verschrikkelijk rekening mee houden. Ik koop ook weer geen celerons met 2GB geheugen natuurlij, afijn je snapt mn punt vast.

Het ZFS verhaal qua uitbreidingssloten ga ik me zeker nog in verdiepen, dat is 1 van de dingen die ik goed helder moet krijgen. Ik ga morgen gewoon weer goed kijken, zoeken, lezen en excel lijstjes bijhouden van wat ik eventueel in elkaar zou kunnen knutselen.

[vso]

Staatslot schreef op maandag 21 mei 2012 @ 23:06:
Bedankt voor je uitgebreide reactie, bijzonder nuttig!
Sommige punten zijn denk ik echter wel iets te ver afgedreven van het doel dat ik heb: leuk leren spelen met alle verschillende technieken en mogelijkheden.

Doe het goed of doe het niet, de kantjes eraf lopen/bezuinigen snij jezelf in de vingers .. (been there done that) kocht een QNap ts-410 deed er 2 dagen over om 3 tb over te zetten (huil)
Je zal niet de eerste tweaker wezen die denkt het "beter" te weten en tegen limitaties van product x aanloopt
(slechte chip in moederbord/nic o.a)
Koop je echter alles in "paartjes" kan je nog op 1 bak testen en de andere productie houden. Of wil je testen in je productie omgeving ? Lijkt me van niet. 2 zwakke voor de prijs van 1 sterke klinkt erg onproductief.

Maar let op je doel! dubbel alles uitvoeren en zeker goed onderzoek doen scheelt heel veel gevloek wanneer je draait. En het is zeker prettig wanneer je de productie omgeving draaiend kan houden terwijl je test "rotzooit"
Ik draai nu alles op 1 machine werkt goed, maar kan niet zomaar ff alles neer brengen om te "debuggen".

Ik snap je verhaal over een nas, zelfbouw versus kant en klaar.
In dit geval beschik ik al over de hardware, op de case na. Zfs vreet geheugen, dat is de hoofdlijn van wat ik overal al had gelezen maar 16 GB voor 8TB bruto lijkt me toch wel voldoende. Zeker als je 1GB ram per TB opslag aanhoudt.. ?!

kweet niet, daarvoor moet je in het zfs topic duiken .. maar ja houd ook hier weer je doel voor ogen.
ZFS is ideaal voor directe file storage niet voor ISCSI /RAW/VHD disks .. dan limiteer je tot de "snelheid" van zfs en een andere manier van RAID (is niet perse slecht maar je voordeel )

Je verhaal over rekenen op 1 host die de belasting volledig aan moet kunnen (als de ander immers uitvalt) zou ik helemaal onderschrijven, mits het een professionele productieomgeving zou betreffen. Het gaat mij echter puur om het leeraspect en niet om een 100% uptime, dus in dit geval ga ik daar niet verschrikkelijk rekening mee houden. Ik koop ook weer geen celerons met 2GB geheugen natuurlij, afijn je snapt mn punt vast.

In je post gaf je aan 2 hypervisor machines te willen draaien, ligt eraan wat je productie is. Snelle gok is: DC, mailserver, fileserver, sql server, wsus server en wat andere meuk .. van dit lijstje is wellicht wsus 1 van de weinig die "down" mag .. in je productie .. met 4 tot 10 users gaat je productie echt niet zwaar zijn.
12gb ram minimum .. cpu quad core ofzo ..
O vergeet ik bijna 1 cpu "core" moet je vaak reserveren/dedicaten voor de hypervisor

Maat van mij draait wat jij wilt (rackloos) heeft 2 adviesen genegeerd ..
1) NAS niet redudant 2 weken plat gelegen wegens vervangende nas, had geluk dat de thecus alles op de RAID storage de settings bewaarde. De N7700 naar 2x N4200pro. De N7700 was met 1tb disks en was inmiddels al naar 4x 3tb disks in raid 10 overgestapt en de N4200 pro heeft UPS ingebouwd
2) RAM had 24 GB ram ingeschat moest voldoende zijn .. baalt nu als een stekker dat hij geen 48GB erin kan zetten (mobo ondersteund niet)

Ik kan er niet genoeg op hameren dat CPU in dit hele verhaal zeer ondergeschikt is (wel prettig maar niet boeiend) RAM + goeie chipsets is everything ! (tenzij je of course cpu intensieve taken doet op je servers )

Het ZFS verhaal qua uitbreidingssloten ga ik me zeker nog in verdiepen, dat is 1 van de dingen die ik goed helder moet krijgen. Ik ga morgen gewoon weer goed kijken, zoeken, lezen en excel lijstjes bijhouden van wat ik eventueel in elkaar zou kunnen knutselen.

Kwa ZFS zou ik je zeker de posts van CiPHER in ZFS topic aanraden .. kwa uitbreidings sloten ..
korte versie Hardware IO vraag (bandbreedte PCIe/Moederbord/Netwerk) komt als het goed is ook langs de IT-mode firmware en waarom die handiger is

voor je excel lijstjes:
- vt-x/iommu(amd) of vt-d(intel)
- ati radeon gpu (wil je vga passtrough is ATI minder problemen)
- SSD en moederbord (problemen) sommige zijn slechtere performance dan anderen ..
- prestatie van onboard netwerk kaarten
- vermijd marvel/sis/of andere "onbekende" of B brand chipsets zeker netwerk of HD related
- Meer RAM RAM RAM
- nas (optie voor extra NIC is erg prettig, zeker uit de winkel)

[FireDrunk]

#	Product	Prijs	Subtotaal
1	Intel Core i7 3770 Boxed	€ 261,80	€ 261,80
2	Corsair CMV16GX3M2A1333C9	€ 87,60	€ 175,20
1	MSI H77MA-G43	€ 78,44	€ 78,44
Bekijk collectie Importeer producten		Totaal	€ 515,44

Iets met portemonnee en jeuk...

[Staatslot]

Ik heb inmiddels een mooie case gevonden voor mijn hosts, de Norco RPC-2008.

Er staat bij de power supply: Standard 2u ATX power supply.
Nou ben ik vast blond, maar als ik de maten van Norco bekijk voor de power supply (10,11 bij 7,01 cm omgerekend) dan past daar toch geen standaard ATX voeding (15x15x9 cm) in?
Zijn de Norco specificaties niet goed of zie ik iets over het hoofd? Op internet staat dat "sommige ATX voedingen wel passen, andere niet". Dat schiet niet zo op

edit:
oooh wacht er bestaan ATX voedingen en 2U ATX voedingen
Ik puzzel verder..

[ Voor 7% gewijzigd door Staatslot op 23-05-2012 16:40 ]

[HarmoniousVibe]

Vaak kun je er of 2 x 1U instoppen voor redundantie of 1 x 2U.

ATX gaat inderdaad nooit passen.

[ Voor 22% gewijzigd door HarmoniousVibe op 23-05-2012 17:32 ]

[dylan0806]

vso schreef op dinsdag 22 mei 2012 @ 01:08:
[...]
- vermijd marvel/sis/of andere "onbekende" of B brand chipsets zeker netwerk of HD related
[...]

Marvel controllers zijn toch een van de beste die er te kijgen zijn voor ssd's zoals in de crucial m4?

[Jormungandr]

Staatslot schreef op woensdag 23 mei 2012 @ 16:36:
Ik heb inmiddels een mooie case gevonden voor mijn hosts, de Norco RPC-2008.

Er staat bij de power supply: Standard 2u ATX power supply.
Nou ben ik vast blond, maar als ik de maten van Norco bekijk voor de power supply (10,11 bij 7,01 cm omgerekend) dan past daar toch geen standaard ATX voeding (15x15x9 cm) in?
Zijn de Norco specificaties niet goed of zie ik iets over het hoofd? Op internet staat dat "sommige ATX voedingen wel passen, andere niet". Dat schiet niet zo op

edit:
oooh wacht er bestaan ATX voedingen en 2U ATX voedingen
Ik puzzel verder..

Ik heb de nieuwere broer RPC-2208 en kan je nu al zeggen dat een gewone ATX voeding niet past . Ik heb een 2U ATX van Seasonic van eBay moeten scoren.

[FireDrunk]

dylan0806 schreef op donderdag 24 mei 2012 @ 14:37:
[...]

Marvel controllers zijn toch een van de beste die er te kijgen zijn voor ssd's zoals in de crucial m4?

Je verwart een SSD On-Die Controller met een de controller op een Host Bus Adapter.
Die marvell controllers op een SSD houden zich aan het AHCI / ATAPI / SATA protocol en zijn er dus geen (speciale) drivers nodig.

Bij een Host Bus Adapter komt er een Driver van de vendor mee, en daar zit juist de kriem bij marvell, die zuigt voor een hoop OS-en.

[HarmoniousVibe]

FireDrunk schreef op donderdag 24 mei 2012 @ 16:28:
[...]


Je verwart een SSD On-Die Controller met een de controller op een Host Bus Adapter.
Die marvell controllers op een SSD houden zich aan het AHCI / ATAPI / SATA protocol en zijn er dus geen (speciale) drivers nodig.

Bij een Host Bus Adapter komt er een Driver van de vendor mee, en daar zit juist de kriem bij marvell, die zuigt voor een hoop OS-en.

Volgens mij klopt dit niet. Een host bus is niet meer dan een generieke term voor een interface voor storage. Dit kan ATA/SCSi/IB zijn, maar ook FC, Firewire of USB. Elke storage controller is dus een HBA. Of er nu wel of geen raid-laag overheen zit en van welk merk de controller op die adapter nu is doet weinig ter zake (voor de term HBA).

Verder is SATA alleen een protocol waarmee controller in de schijven met de controller op de adapter of op het mobo kan praten. Om het OS met laatsgenoemde te laten praten zijn weldegelijk altijd drivers nodig.

Maar goed, om even los te komen van de terminologie en concreet te worden: ik heb zelf liever een Intel of een Samsung dan een Marvell, maar de M4 schijnt het prima te doen. Het verleden is immers geen garantie voor de toekomst.

edit: oh wacht, nu snap ik het. Je bedoelt controllers in het algemeen, voor audio of netwerkfunctionaliteit. Geen idee hoe Marvell of SiS hier scoren, maar ik zou in ieder geval wegblijven van realtek als het aankomt op een ethernetcontroller.

[ Voor 8% gewijzigd door HarmoniousVibe op 24-05-2012 18:00 ]

[FireDrunk]

@Dat laaste: Ook dat, maar een HBA van Marvell gebruikt hele andere drivers dan een SSD van Crucial met een Marvell controller, daar doelde ik op.
Elk zelf respecterend OS ondersteunt AHCI en heeft daar zelf een driver voor. Dat je vanuit AMD/Intel zelf drivers kan installeren is vooral voor powersave opties en een beetje prestatiewinst, aan het protocol veranderd niets.

Bij een Host Bus Adapter heb je altijd een driver nodig van de vendor omdat er geen gestandaardiseerde driver is vanuit je OS. En die drivers zijn bij Marvell nou juist ruk

[dylan0806]

dus de conclusie luid
marvell ssd controller
marvell hba driver

[ Voor 8% gewijzigd door dylan0806 op 25-05-2012 22:19 ]

[HarmoniousVibe]

Nee. Er is geen Marvell SSD.

Maar goed, dit heeft niks meer met DIY RAID te maken.

[Jormungandr]

Als je vader terloops komt vragen wat "die nas in de garage" nu eigenlijk verbruikt, dan is het tijd om eens aan power management te doen. Blijkbaar weigert mijn bejaarde A64 X2 4000+ af te stappen van de 2100MHz. Daarnet de powermeter eraan gehangen en wat blijkt: 114Watt idle. Dan gaat het inderdaad lekker zo. Morgen er maar eens een scherm aan hangen en kijken of er in de bios iets niet snor zit, want hij heeft altijd lekker op 1000MHz gedraaid .

Ben benieuwd hoeveel disk spindown gaat opleveren voor 4 Samsungs.

[psy]

Zoiets kan je gewoon rucksichtslos vervangen door

#	Product	Prijs	Subtotaal
1	Intel Celeron G530 Boxed	€ 36,90	€ 36,90
1	be quiet! Pure Power 300W	€ 32,44	€ 32,44
1	Kingston ValueRAM KVR1333D3N9/4G	€ 17,50	€ 17,50
1	MSI H61MA-E35 (B3)	€ 51,96	€ 51,96
Bekijk collectie Importeer producten		Totaal	€ 138,80

Dat verbruikt zeker niet meer als 25 Watt.
Terugverdientijd.....heel gauw

[Verwijderd]

Jormungandr schreef op zondag 27 mei 2012 @ 22:18:
Ben benieuwd hoeveel disk spindown gaat opleveren voor 4 Samsungs.

Ca 15-20w, maar zou je niet gewoon naar een energiezuinige Brazos plank gaan kijken?

[QinX]

Van de week mijn nieuwe NAS/Server/HTPC besteld.

#	Product	Prijs	Subtotaal
1	Asus E45M1-I DELUXE	€ 148,-	€ 148,-
1	Western Digital Caviar Green WD30EZRX, 3TB	€ 149,90	€ 149,90
1	Lian Li PC-Q08B	€ 87,30	€ 87,30
1	be quiet! Pure Power L7 300W	€ 36,40	€ 36,40
1	Kingston ValueRAM KVR1333D3N9/4G	€ 17,50	€ 17,50
Bekijk collectie Importeer producten		Totaal	€ 439,10

De zal mijn uber trage Xtreamer NAS vervangen welke nu 2x1.5TB heeft.

[Jormungandr]

Ligt het aan mij of is disk spindown maar zo-zo.

Na exact 20 minuten doet mijn NAS dit:

code:

wouter@DKNAS2:~$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sde[1](F) sdb[0](F) sdd[3](F) sdc[4](F)
      5860540272 blocks super 1.2 level 5, 4k chunk, algorithm 2 [4/0] [____]

Disken gaan gewoon op hun kont zitten en stoppen ermee. Reboot en alles is terug up. Het is nochtans software raid dus TLER en die zooi speelt geen rol in het verhaal. Bizar.

In de vorige setting (Arch linux) is een van de disken eens blijven hangen in spindown en blijven rikketikken tot die ermee stopte. Gelukkig snel kunnen inruilen voor een nieuwe.

[justice strike]

Kan iemand mij een indicatie geven van de snelheden die je kunt behalen met freenas, zfs raidz 3 of 4 1.5tb barracuda green schijven, 8gb ram op een amd fusion 350 platform. Ik behaal nu ongeveer 80mb per seconden over samba (met uitschieters naar 100) maar ik schat in dat dit aan de lage kant is. Ik kan het alleen niet kwantificeren.

[FireDrunk]

Jormungandr schreef op maandag 28 mei 2012 @ 15:23:
Ligt het aan mij of is disk spindown maar zo-zo.

Na exact 20 minuten doet mijn NAS dit:

code:

wouter@DKNAS2:~$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sde[1](F) sdb[0](F) sdd[3](F) sdc[4](F)
      5860540272 blocks super 1.2 level 5, 4k chunk, algorithm 2 [4/0] [____]

Disken gaan gewoon op hun kont zitten en stoppen ermee. Reboot en alles is terug up. Het is nochtans software raid dus TLER en die zooi speelt geen rol in het verhaal. Bizar.

In de vorige setting (Arch linux) is een van de disken eens blijven hangen in spindown en blijven rikketikken tot die ermee stopte. Gelukkig snel kunnen inruilen voor een nieuwe.

Kijk eens in /var/log/messages of je foutmeldingen ziet van je disks.

[Jormungandr]

Blijkbaar werd de -S 240 param van hdparm naast rc.local nog elders bijgehouden want de array klapt er weer uit.

hdparm zet de disken in standby, gezien door smartd:

code:

May 28 20:49:26 DKNAS2 smartd[1193]: Device: /dev/sdb [SAT], is in STANDBY mode, suspending checks
May 28 20:49:31 DKNAS2 smartd[1193]: Device: /dev/sdc [SAT], is in STANDBY mode, suspending checks
May 28 20:49:36 DKNAS2 smartd[1193]: Device: /dev/sdd [SAT], is in STANDBY mode, suspending checks
May 28 20:49:41 DKNAS2 smartd[1193]: Device: /dev/sde [SAT], is in STANDBY mode, suspending checks

devices komen NR:

code:

May 28 23:15:15 DKNAS2 kernel: [28586.749986] sd 6:0:0:0: [sdb] Device not ready
May 28 23:15:15 DKNAS2 kernel: [28586.749993] sd 6:0:0:0: [sdb]  Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
May 28 23:15:15 DKNAS2 kernel: [28586.749997] sd 6:0:0:0: [sdb]  Sense Key : Not Ready [current]
May 28 23:15:15 DKNAS2 kernel: [28586.750001] sd 6:0:0:0: [sdb]  Add. Sense: Logical unit not ready, initializing command required
May 28 23:15:15 DKNAS2 kernel: [28586.750008] sd 6:0:0:0: [sdb] CDB: Read(10): 28 00 59 01 7d 60 00 00 18 00
May 28 23:15:15 DKNAS2 kernel: [28586.750017] end_request: I/O error, dev sdb, sector 1493269856

Uiteraard ziet mdadm dit:

code:

May 28 23:15:15 DKNAS2 kernel: [28586.750632] md/raid:md0: Disk failure on sdd, disabling device.
May 28 23:15:15 DKNAS2 kernel: [28586.750633] md/raid:md0: Operation continuing on 3 devices.
May 28 23:15:15 DKNAS2 kernel: [28586.750719] md/raid:md0: Disk failure on sde, disabling device.
May 28 23:15:15 DKNAS2 kernel: [28586.750720] md/raid:md0: Operation continuing on 2 devices.
May 28 23:15:15 DKNAS2 kernel: [28586.750825] md/raid:md0: Disk failure on sdc, disabling device.
May 28 23:15:15 DKNAS2 kernel: [28586.750826] md/raid:md0: Operation continuing on 1 devices.
May 28 23:15:15 DKNAS2 kernel: [28586.750917] md/raid:md0: Disk failure on sdb, disabling device.
May 28 23:15:15 DKNAS2 kernel: [28586.750918] md/raid:md0: Operation continuing on 0 devices.
May 28 23:15:15 DKNAS2 kernel: [28586.751021] RAID conf printout:
May 28 23:15:15 DKNAS2 kernel: [28586.751023]  --- level:5 rd:4 wd:0
May 28 23:15:15 DKNAS2 kernel: [28586.751025]  disk 0, o:0, dev:sdb
May 28 23:15:15 DKNAS2 kernel: [28586.751027]  disk 1, o:0, dev:sde
May 28 23:15:15 DKNAS2 kernel: [28586.751029]  disk 2, o:0, dev:sdd
May 28 23:15:15 DKNAS2 kernel: [28586.751030]  disk 3, o:0, dev:sdc

Ennnn dan gaat de rest op zijn kont:

code:

May 28 23:16:06 DKNAS2 kernel: [28638.178231] XFS (md0): metadata I/O error: block 0xe8e1618 ("xfs_trans_read_buf") error 5 buf count 8192
May 28 23:16:06 DKNAS2 kernel: [28638.178309] XFS (md0): xfs_imap_to_bp: xfs_trans_read_buf() returned error 5.
May 28 23:16:06 DKNAS2 kernel: [28638.178357] XFS (md0): metadata I/O error: block 0x3e5fa440 ("xfs_trans_read_buf") error 5 buf count 8192
May 28 23:16:06 DKNAS2 kernel: [28638.178425] XFS (md0): xfs_imap_to_bp: xfs_trans_read_buf() returned error 5.

Ik ben van Arch naar Ubuntu gegaan en moet duidelijk nog even wennen aan het feit dat Ubuntu veel meer zelf doet en/of fixt.

[FireDrunk]

Wat jij doet zou moeten werken. Het lijkt er alleen op dat je disks niet meer *uit* standy komen...
Stop je array eens, en probeer handmatig eens de spindown timeout heel laag te zetten (en even wachten tot ze uit gaan... ) en daarna van de disk te lezen:

dd if=/dev/sdb of=/dev/null bs=1M count=1024

Als het goed is zou je disk gewoon moeten opspinnen (ook al lees je onzin omdat je het filesystem overslaat).

[ Voor 5% gewijzigd door FireDrunk op 29-05-2012 07:40 ]

[Jormungandr]

Ik had de timeout een paar dagen geleden eens op 25seconden gezet en ik merk raar genoeg niets van lager stroomverbruik op de meter EN de disks blijven in mdadm gewoon active,sync. Als ik de standby disable, hoor ik ze gewoon opspinnen. Crazy shizzle .

Heb trouwens ook uitgevogeld waarom mijn CPU op 100% bleef hangen ondanks de ondemand governor. smartd was aan het draaien en daar stond doordleuk in: "als ie aan de stroom hangt, min 100% max 100%. Leuk voor een laptop, lastig voor een NAS.

Iemand die hier trouwens een deftig lijstje heeft met Brazos+SAS cards? Ik weet dat er sommige wel en sommige niet werken maar kan nergens een lijstje vinden.

[dylan0806]

Weet iemand (aangezien dit toch het NAS topic is) of er software/os is dat pc's kan laten opstarten (wol) back-upen en dan afsluiten?

[soulrider]

En waarom zou dat NAS gerelateerd zijn?
het gaat hier over het bouwen van een NAS, niet zozeer over het gebruik ervan voor verschillende doeleinden

google weet wel een oplossing wellicht ;-)
(elke goede backup software - eventueel enterprise niveau spul met duur kaartje - moet dat wel kunnen)
anders lijkt me dat eerder een vraag voor softe waren ipv harde waren

[ Voor 15% gewijzigd door soulrider op 01-06-2012 15:28 ]

[Verwijderd]

dylan0806 schreef op donderdag 31 mei 2012 @ 23:19:
Weet iemand (aangezien dit toch het NAS topic is) of er software/os is dat pc's kan laten opstarten (wol) back-upen en dan afsluiten?

Dit zou je zelf moeten scripten. WOL kunnen de meeste NICs / BIOS combinaties wel en kan je aanroepen van een pc in hetzelfde subnet. On startup je backup software starten en als het klaar is een shutdown uitvoeren.

[dylan0806]

Verwijderd schreef op vrijdag 01 juni 2012 @ 15:43:
[...]

Dit zou je zelf moeten scripten. WOL kunnen de meeste NICs / BIOS combinaties wel en kan je aanroepen van een pc in hetzelfde subnet. On startup je backup software starten en als het klaar is een shutdown uitvoeren.

oke zal me daar verder in gaan verdiepen zal wel lukken

Nu de zomervakantie eraan komt ga ik denk beginnen met me "grote" server.
Ik heb de laatste tijd al lopen experimenteren met wat "oude hardware ( 1e gen i5)" maar loop al tegen het limiet aan van me server zfs data pool en 2 w2k8r2 servers en nog een linux en 2 w7 servers werd het allemaal te veel.

ik heb nu dit in mijn gedachte.

type aantal omschrijving

cpu koeler 1 scyte big shuriken

cpu 1 intel xeon 2620

mobo 1 SUPERMICRO X9SRE-3F

ram 4 Kingston 8GB 1333MHz DDR3 Registered ECC

hdd 8 hitachi 5k3000 3tb sata 600

ssd 2 samsung 830 256gb

hba 16 1 lsi sas 9201-16i

hba 8 1 lsi sas 9211-8i

voeding 1 corsair hx850w

fans 3 scythe slip stream 120mm

case 1 norco 4224

rail 1 heavy duty rail

firewall fan 1 120mm fanwall

sas kabel 6 sas kabel

ik wil er vooral het volgende op gaan doen:

• esxi met vCSA
• dns server
• zfs server
• plex server
• backup server
• linux server voor ip camera's
• en nog wat test servers

nu mijn vragen

• werkt zfsguru als je de hba's in it mode zet en via vCSA direct passthrough geeft?
• ik heb gezien dat er op het mobo pci-x zit waar wordt dat hedendaags nog voor gebruikt?
• enige op- of aanmerkingen?

dit is vooral wat voor de lange termijn dus denk een jaar of 4/5 als het kan en ik ben iemand die liever kwaliteit wil ook al kost en dan een paar 10tjes of 100tjes meer.

[FireDrunk]

ZFSguru is gewoon FreeBSD en wil juist graag IT-mode controllers voor ZFS.
In principe ziet het guest OS niet of een controller direct is aangesloten of via VT-d doorgegeven word...
Dat werkt dus gewoon...
PCI-x word nog wel gebruikt, maar is technisch gezien oud. Bovendien heb je bijna geen VT-d ondersteuning bij PCI-x.

Mooi bordje, maar aan die pci-x heb je dus niet zoveel...

[ Voor 8% gewijzigd door FireDrunk op 02-06-2012 11:03 ]

[_Apache_]

dylan0806 schreef op donderdag 31 mei 2012 @ 23:19:
Weet iemand (aangezien dit toch het NAS topic is) of er software/os is dat pc's kan laten opstarten (wol) back-upen en dan afsluiten?

Die vraag kan je beter hier stellen, Thematopic: Backups

[dylan0806]

_Apache_ schreef op zaterdag 02 juni 2012 @ 11:04:
[...]

Die vraag kan je beter hier stellen, Thematopic: Backups

oke bedank heb ik gedaan.

[Verwijderd]

Ik ben overigen erg benieuwd naar wat Microsoft met z'n storage spaces en refs kan doen in dit wereldje. Zou het een mooi alternatief worden voor zfs? Dat zou leuk zijn