[dilemma] RAID-controller of nieuw moederbord met RAID 5

[Matis]

Beste Tweakers,

ik heb sinds een paar maanden een eenvoudige server die momenteel dienst doet als NAS / Webserver / Downloadserver / SVN etc.

Allereerst de specs van mijn server:

#	Product	Prijs	Subtotaal
1	AMD Sempron LE-1250	€ 29,69	€ 29,69
1	Cooler Master Elite 333 Zwart	€ 29,95	€ 29,95
1	Corsair CX400W	€ 39,70	€ 39,70
1	Gigabyte GA-MA74GM-S2H	€ 46,45	€ 46,45
1	Intel PRO/1000 GT	€ 21,56	€ 21,56
1	Kingston ValueRAM KVR800D2N6/2G	€ 28,95	€ 28,95
1	Samsung Spinpoint M80 HM160JI	€ 38,14	€ 38,14
4	Western Digital Caviar Green WD10EADS, 1TB	€ 66,-	€ 264,-
Importeren		Totaal	€ 498,44

Momenteel draai ik Ubuntu 9.04 (staat op de Spinpoint) en de 4 WD-schijven in Software-RAID 5
Linux RAID informatie:

file /dev/md0
RAID level Redundant (RAID5)
Filesystem status Mounted on /mnt/raid
Usable size 2930279808 blocks (2.73 TB)
Persistent superblock? Yes
Layout Default
Chunk size 64 kB
RAID status clean
Partitions in RAID SCSI device A partition 1
SCSI device B partition 1
SCSI device C partition 1
SCSI device D partition 1

Er zijn een aantal redenen waarom ik van de Software-RAID af wil.

• Wanneer de schijven enigszins belast worden (streamen, repareren, uitpakken etc.) schiet mijn CPU naar de 100%.
• Mocht ik ooit over willen stappen naar Windows, dan kan ik natuurlijk geen Ubuntu Software-RAID meer gebruiken.
• Ik ben ook een beetje huiverig voor het her-initialiseren van mijn RAID wanneer ik Ubuntu opnieuw installeer.
• Ook wil ik het graag *portable* hebben, mocht ik ooit de hardware voor mijn server vervangen, dan wil ik mijn RAID wel weer terug.

Ik ging daarom opzoek naar een RAID-controller in de Pricewatch. Ik heb een aantal eisen:

• (minimaal) 4 x SATA-300
• snelle interface (MoBo heeft 2x PCI, PCI-e 1x, PCI-e 16x)
• RAID 5 mogelijkheid

Toen ik mijn eisen in het de filter had geschoten, schrok ik een beetje van de bedragen. €170,= voor de goedkoopste vond ik wel erg duur. Daardoor kwam ik op het idee om misschien een nieuw moederbord aan te schaffen met een chipset dat RAID 5 *snapt*.

Echter heb ik geen ervaring/kennis mbt RAID-controllers en daarom mijn vragen aan jullie:
Wat is jullie advies (graag beargumenteerd ) over deze kwestie; RAID-controller of moederbord met RAID 4 ondersteuning?
Welk type RAID-controller / moederbord raden jullie aan?
en (last but not least)
Is er een mogelijkheid om mijn huidige Software-RAID (1.47 TB gebruikt) later over te zetten op de nieuwe RAID?

Alvast bedankt ,

Matis

[TERW_DAN]

Ik heb zelf geen ervaring met software RAID onder linux, wel met firmwareRAID (ICH8/9/10R) onder Windows en een echte controller (een Areca1220). De onboard controllers zijn leuk, maar ik vind ze veel te traag. Met mijn huidige config heb ik 8x 1TB in RAID 5 zitten en ongeacht wat dat ding aan het doen is, het heeft geen invloed op de cpu. Nu heb ik er een flinke E8400 inzitten, maar je merkt gewoon dat als je de onboardRAID gebruikt, het allemaal wat trager is omdat er veel van je cpu gevraagd wordt.
Zelfs als de Areca een volume aan het rebuilden is dan kan ik gewoon doorwerken zonder enige vorm van vertraging, omdat alles door het ding zelf afgehandeld wordt.

RAID 5 op de ICH is leuk, maar is in mijn ervaring minder stabiel dan een dedicated controller.

Kortom, als je het geld hebt, koop een RAIDcontroller. Geen PCI natuurlijk (dat is trager dan onboard), maar PCIe x1 tot x8 is prima te vinden. Een losse kaart vind ik ook wel makkelijk, als ik straks een upgrade doe verhuist de 7TB array gewoon mee. Het kost wat knaken, maar je krijgt er wel flink wat performance voor terug.

[Nielson]

Matis schreef op woensdag 07 oktober 2009 @ 11:41:
Er zijn een aantal redenen waarom ik van de Software-RAID af wil.

• Wanneer de schijven enigszins belast worden (streamen, repareren, uitpakken etc.) schiet mijn CPU naar de 100%.
• Mocht ik ooit over willen stappen naar Windows, dan kan ik natuurlijk geen Ubuntu Software-RAID meer gebruiken.
• Ik ben ook een beetje huiverig voor het her-initialiseren van mijn RAID wanneer ik Ubuntu opnieuw installeer.
• Ook wil ik het graag *portable* hebben, mocht ik ooit de hardware voor mijn server vervangen, dan wil ik mijn RAID wel weer terug.

Heb 'n vergelijkbare config als jou (Ubuntu 9.04, 4x1TB EcoGreen F2, Sempron LE1250, 2GB, 690V, Realtek Gigabit) maar zie zo'n extreme cpu belasting niet terug. Bij zwaar netwerk gebruik is 't rond de 40%, waarvan het grootste gedeelte door smbd. Herinitialisatie is geen issue, je kunt zo de schijven aan andere hardware en/of linux distro hangen en je array wordt automatisch gemount. Wel in read only mode indien je hostname veranderd, maar dit is uit veiligheidsoverwegingen.

Ik denk, maar heb dan weer weinig ervaring met firmware raid, dat je het beste kunt kiezen uit volledig software raid onder linux/*bsd (behoorlijk efficient) of een echte hardware raid kaart (lage cpu belasting, mb onafhankelijk). Bij firmware raid blijf je afhankelijk van de gebruikte drivers/onboard controller en de cpu belasting is minstens even hoog als software raid.

[Matis]

Ik heb even naar aanleiding van je post in de PW zitten snuffelen;

Daar stonden deze twee RAID controllers.

pricewatch: Areca ARC-1220
pricewatch: Areca ARC-1220ML (8x SATA300 RAID, XOR, 256MB, PCI-e x8)

Volgens mij is de ML-versie degene met externe aansluitingen. Dat is niet de bedoeling.

Momenteel heb ik 1,5 TB gebruikt op mijn systeem, ik heb nog ergens externe schijven van 1 TB en 512 GB liggen. Dat moet (hoop ik) wel gaan passen

@Nielson;
Ik snap ook niet waar het vandaan komt, collega's zeiden dat een overhead van ~20% de max was, maar ik heb dat nooit gehaald. Er is ook niets mis met mijn configuratie van de SW-RAID.
Maar ik wilde sws van de Software-RAID af

[ Voor 10% gewijzigd door Matis op 07-10-2009 12:38 ]

[_I ochen]

Als ik het goed heb is het probleem bij software/firmware raid-5 vooral dat er geen cache is om de pariteitsberekeningen in uit te voeren/tijdelijk op te slaan. Dit zou voor nogal wat vertraging zorgen bij schrijfacties.
Ook dat de pariteitsberekeningen telkens terug naar de cpu moeten, en hem moeten interrupten (wachten tot ze aan de beurt zijn) zou een vertraging toevoegen.

[ Voor 25% gewijzigd door _I ochen op 07-10-2009 14:27 ]

[Matis]

Ik heb zojuist de pricewatch: Areca ARC-1220 besteld.

Ik hoop dat ik hem snel binnen heb, zodat ik mijn RAID om kan bouwen.

@hierboven; ik snap het principe van SW/FW-RAID wel, maar ik had niet zo'n hoge CPU-load verwacht.

[ Voor 40% gewijzigd door Matis op 07-10-2009 14:40 ]

[TERW_DAN]

Bestel er dan gelijk pricewatch: Zalman ZM-NB47J zo eentje bij en een goede casefan.

Die fan op die Areca is echt zwaar irritant

[Matis]

TERW_DAN schreef op woensdag 07 oktober 2009 @ 14:58:
Bestel er dan gelijk pricewatch: Zalman ZM-NB47J zo eentje bij en een goede casefan.

Die fan op die Areca is echt zwaar irritant

Komtie nu mee

Anyway, ik heb in mijn server al 3 keer pricewatch: Cooler Master SAF-S12-E1 (120mm, 13dB, 3p) zitten

[TERW_DAN]

Matis schreef op woensdag 07 oktober 2009 @ 15:02:
[...]

Komtie nu mee

productreview: Areca ARC-1220 (8x SATA300 RAID, XOR, 128MB, PCI-e x8) review door TERW_DAN
Ik heb er gewoon een review over geschreven

[Matis]

TERW_DAN schreef op woensdag 07 oktober 2009 @ 15:16:
productreview: Areca ARC-1220 (8x SATA300 RAID, XOR, 128MB, PCI-e x8) review door TERW_DAN
Ik heb er gewoon een review over geschreven

Dat is de versie met *maar* 128mb cache. Ik pwn je weer dubbel

[TERW_DAN]

Ik heb de V2 met 256MB cache (alleen die info klopt niet(meer) in de PW).
Ik neem aan dat jij ook de V2 gekocht hebt. Dan hebben we dezelfde.

[Matis]

TERW_DAN schreef op woensdag 07 oktober 2009 @ 15:54:
Ik heb de V2 met 256MB cache (alleen die info klopt niet(meer) in de PW).
Ik neem aan dat jij ook de V2 gekocht hebt. Dan hebben we dezelfde.

Ik heb geen idee, ik heb de versie gekocht die in dat linkje staat en bij Webconnexxion in de voorraad ligt.

de specs zeggen dit

Adapter Architecture
ARC-1210 uses IntelR IOP332 I/O processor. ARC-1220/1230/1260 uses IntelR IOP333 I/O processor
PCI-Express X8 bus
256MB on-board DDR333 SDRAM with ECC protection(4/8-port)
One SODIMM socket with default 256MB of DDR333 SDRAM with ECC protection, Upgrade to 1GB. An ECC or non-ECC SDRAM module using X8 or X16 chip organization (12/16/24-port)
Write-through or write-back cache support
Support up to 4/8/12/16 SATA II drives
Multi-adapter support for large storage requirements
BIOS boot support for greater fault tolerance
BIOS PnP (plug and play) and BBS (BIOS boot specification) support
Intel RAID 6 Engine to support extreme performance RAID 6
NVRAM for RAID event & transaction log
Redundant flash image for adapter availability
Battery Backup Module (BBM) ready
ARC-6120BA-T1xx, xx means version no.
RoHS Compliant

RAID Features
RAID level 0, 1, 1E, 3, 5, 6 (if RAID 6 engine supported) and JBOD
Multiple RAID selection
Array roaming
Online RAID level/stripe size migration
Online RAID capacity expansion and RAID level migration simultaneously
Instant availability and background initialization
Automatic drive insertion/removal detection and rebuild

Greater than 2TB per volume set
Support S.M.A.R.T, NCQ and OOB Staggered Spin-up capable drives
Support spin down drivers when not in use to extend service life (MAID)

Monitors/Indicators

System status indication through HDD activity/fault connector, LCD Connector and alarm buzzer

SMTP support email notification
SNMP support for remote notification
I2C Enclosure management ready

RAID Management
Field-upgradeable firmware in flash ROM
In-Band Manager
Hot key boot-up McBIOS RAID manager via BIOS
Support controller's API library for customer to write its own AP
Support Command Line Interface (CLI)
Browser-based management utility via ArcHttp Proxy Server
Single Admin Portal (SAP) monitor utility
Disk Stress Test (DST) utility for production in Windows
Out-of-Band Manager
Firmware-embedded Browser-based RAID manager, SMTP manager, SNMP agent, and Telnet function via Ethernet port (for 12/16 port Adapter)
Support controller's API library for customer to write its own AP (for 12/16 port Adapter)
Push Button and LCD display panel

Software Drivers
Windows 2000/XP (Scsiport Driver)
Windows Server 2003 (Scsiport Driver and Storport Driver)
Redhat Linux and SuSE Linux
FreeBSD
Solaris 10x86
UnixWare 7.1.x
Netware 6.5

[TERW_DAN]

Dat is de V2, die heeft 256MB ram.

En webconnexxion is heel nauwkeurig met specs en dergelijke, dus dat klopt vast.

[Matis]

TERW_DAN schreef op woensdag 07 oktober 2009 @ 16:49:
Dat is de V2, die heeft 256MB ram.

En webconnexxion is heel nauwkeurig met specs en dergelijke, dus dat klopt vast.

[John2B]

Hi Matis,

Je controller is onderweg (wordt vandaag geleverd) ik heb er een NordBridge koeler bij gedaan. Had ik toch nog ongebruikt liggen.

Het is een Areca ARC-1220 met 256MB geheugen, 128MB wordt al 2 jaar niet meer gemaakt ;-)

Kijk even of je firmware uptodate is, anders gelijk even updaten.

tips en trucks bijgevoegd, maar wat meer info vindt je hier:

TipsEnTrucks

Succes ermee.

[Matis]

John2B schreef op donderdag 08 oktober 2009 @ 10:21:
Hi Matis,

Je controller is onderweg (wordt vandaag geleverd) ik heb er een NordBridge koeler bij gedaan. Had ik toch nog ongebruikt liggen.

Helemaal goed , ik zal een mooie (shop)review schrijven.
_{Ik zal die koeler zien als steekpenning}

Succes ermee.

Dat zal zeker lukken. Ik ben/was momenteel mijn SW-RAID aan het kopiëren en er is wel meer mis ben ik bang.

Brakke PC's

Zoals je ziet gaat het sequentieel lezen van de RAID-5 met maar 11 mbps, hij schrijft naar een firewire schijf, dus dat is de bottleneck niet. Zoals je in de load-avarage kunt zien, wordt het OS zelf niet belast, maar de kernel laat de CPU toch op 100% lopen.

Nog tot ~21:00 vanavond wachten totdat de 1TB overgeheveld is

Er zijn geen SMART-errors gedetecteerd, dus hij hoeft zijn gegevens niet *on-the-fly* te berekenen, maar toch gaat er ergens iets fout...

[TERW_DAN]

John2B schreef op donderdag 08 oktober 2009 @ 10:21:
Het is een Areca ARC-1220 met 256MB geheugen, 128MB wordt al 2 jaar niet meer gemaakt ;-)

Dat dacht ik ook al. Toen ik mijn 1220 gekocht had was dat ook al de 256MBer.

@Matis,
heb je die controller op het bord zitten of doe je het over het netwerk (want dan zou je met een 100Mb/s netwerk een nette score halen ).
Anders is het vrij traag.


Ik haal aanzienlijk hogere snelheden met dezelfde disks en dezelfde controller (al heb ik er 8 disks aanzitten, waar momenteel 1 met 16MB cache ipv 32).

[Matis]

TERW_DAN schreef op donderdag 08 oktober 2009 @ 11:56:
@Matis,
heb je die controller op het bord zitten of doe je het over het netwerk (want dan zou je met een 100Mb/s netwerk een nette score halen ).
Anders is het vrij traag.

Het is een firewire schijf, direct op het mobo geprikt. Op mijn pc heb ik met die externe schijf 70 tot 80 MB/s geschreven. Die 100%CPU is gewoon killing voor de snelheid. Want als ik lees vanaf mijn OS schijf en schrijf naar de XHDD (als test), dan gaat het met minimaal 20MB/s.

Ik haal aanzienlijk hogere snelheden met dezelfde disks en dezelfde controller (al heb ik er 8 disks aanzitten, waar momenteel 1 met 16MB cache ipv 32).

Ho eens, dit is nog de software-RAID he de controller komt vandaag pas met de post

[Matis]

Een klein kickje om mijn benchmark te laten zien wat de benchmark deed:





Ik ben er zeker niet ontevreden over. Dit is een stuk sneller dan de 10MB/S die ik haalde onder software-RAID

[Nvidiot]

10 mbyte/sec onder software raid? Dan ben ik bang dat je toch iets fout doet, ik haal moeiteloos 200-250 mbyte/sec op de machine zelf en ~100 mbyte/sec via gigabit ethernet...

[Matis]

Nvidiot schreef op zaterdag 17 oktober 2009 @ 22:05:
10 mbyte/sec onder software raid? Dan ben ik bang dat je toch iets fout doet, ik haal moeiteloos 200-250 mbyte/sec op de machine zelf en ~100 mbyte/sec via gigabit ethernet...

Ja, ik ging telkens naar de 100% CPU toe, alleen wanneer ik de RAID aansprak onder Ubuntu 9.04. Ik weet niet wat er fout ging, maar nu loopt het als een tiet