[Debian Sarge AMD64] Areca RAID controller driver (64 bit)

[styno]

Op mijn werk hebben we een nieuwe server (Tyan GX28 barebone) met een dual core AMD Opteron 265 en Areca RAID S-ATA controller (ARC-1110). Deze server gaat gebruikt worden voor database en webserver activiteiten in een Linux HA omgeving. Als besturingssysteem wordt Debian Sarge met kernel 2.6.8-24 gebruikt.

Nu willen we -natuurlijk- volledig gebruik gaan maken van de 64 bit capaciteiten en dus is ook een 64 bit driver voor de Areca nodig, maar helaas is deze driver als module nog nergens in binaire vorm te downloaden. Daarom hebben we geprobeerd de driver zelf te compileren (crosscompile op een 32 bit machine) maar een werkende module maken is helaas niet gelukt.

Nu zijn er wel 64 bit modules te krijgen voor bijvoorbeeld SuSe en RedHat maar aangezien al onze servers op Debian draaien willen we dus graag Debian Sarge gebruiken. Deze modules zijn overigens wel geprobeerd onder Sarge, maar zonder succes.

Vandaar dus de vraag: Is hier iemand die dit voorelkaar hebben gekregen en wat tips wil geven?

edit:
uld, je hebt gelijk: typo. Kan gebeuren.

[ Voor 5% gewijzigd door styno op 22-07-2005 19:00 ]

[usr-local-dick]

Als besturingssysteem wordt Debian Sarge met kernel 1.6.8-24 gebruikt.

Je bedoelt 2.6.8-24 neem ik aan?

Ik heb een paar installers gemaakt voor Sarge maar die zijn allebei 32 bit.
Het zou volgens mij ook mogelijk moeten zijn om dat voor 64 bit te doen, ik zal eens kijken.
Zit zelf nog te dubben over een nieuwe server die dan AMD64 moet draaien, als dat zover is dan heb ik zeker zo'n installer nodig.

Vraagje, wat voor installer gebruik je nu en waar heb je hem precies vandaan?

Overigens, user Snow_King heeft dacht ik ook een Areca draaien in een 64 bit machine.

[ Voor 7% gewijzigd door usr-local-dick op 22-07-2005 19:41 ]

[JF_]

Als je die machine kunt booten (systemdisk op andere controller): bij Areca de sourcecode downloaden, en vervolgens zelf een verse kernel bakken. Dat werkt vrijwel zeker weten.

Als je de Sarge mainstream-kernel wilt gebruiken zul je 't iets anders moeten aanpakken, en de bijbehorende kerneltree (want ze hebben vrijwel zeker hun eigen patches gedraaid) moeten downloaden, daar de driver in integreren, en vervolgens de kernel compileren.

Als 't gelukt is, laat dan even weten hoe de performance is - ik heb een Areca 1160 in een 32bit-machine (p4-3.0GHz, 2G ram, 66MHz PCI-X) met twee raid5-arrays van 4x400G elk, en die zijn niet vooruit te branden - sustained read 95Mbyte/s, sustained write 75Mbyte/s, multi-user read <<25Mbyte/s *totaal*. Enige commentaar van Areca: ja we weten dat er problemen zijn met de linux-performance maar hebben geen idee waarom.

[styno]

JF_ schreef op zaterdag 23 juli 2005 @ 15:10:
Als je die machine kunt booten (systemdisk op andere controller): bij Areca de sourcecode downloaden, en vervolgens zelf een verse kernel bakken. Dat werkt vrijwel zeker weten.

Lijkt mij een goed idee. Dit waren wij maandag ook van plan te gaan proberen.

Als je de Sarge mainstream-kernel wilt gebruiken zul je 't iets anders moeten aanpakken, en de bijbehorende kerneltree (want ze hebben vrijwel zeker hun eigen patches gedraaid) moeten downloaden, daar de driver in integreren, en vervolgens de kernel compileren..

Dit hebben we wel geprobeerd, maar tot nu toe ook zonder succes. Jou eerste optie gaan we eerst maar eens proberen.

Als 't gelukt is, laat dan even weten hoe de performance is - ik heb een Areca 1160 in een 32bit-machine (p4-3.0GHz, 2G ram, 66MHz PCI-X) met twee raid5-arrays van 4x400G elk, en die zijn niet vooruit te branden - sustained read 95Mbyte/s, sustained write 75Mbyte/s, multi-user read <<25Mbyte/s *totaal*. Enige commentaar van Areca: ja we weten dat er problemen zijn met de linux-performance maar hebben geen idee waarom.

Dit klinkt niet best. De Areca hebben we juist uitgezocht vanwege de performance, daarbij verwacht je natuurlijk niet dat het onder Linux niet performed. Zeker niet na alle lovende kritiek hiet op Tweakers.net. Als het lukt een werkende 64 bit kernel te produceren gaan we zeker even kijken wat de performance is.

Alvast de specs:
- Tyan GX28 barebone (19", 1U) met dual processor mainboard
- 1x AMD Opteron 265 dualcore processor (1,8 GHz)
- 4 GB Registered ECC DDR-400 (4 * 1 GB)
- Areca ARC-1110 S-ATA RAID controller (4 poorts, PCI-X 64 bit 133MHz), geen BBU
- 4x Hitachi 160Gb S-ATA harddisk

[ Voor 3% gewijzigd door styno op 23-07-2005 15:50 ]

[styno]

Het is gelukt om een gepatchte Debian Sarge unstable kernel 2.6.11 te compileren en de Areca wordt nu gedetecteerd . Ook de 480GB RAID-5 array wordt gevonden als sda. Nog even en we kunnen er vanaf booten.

Hoe kan ik nu zien of de kernel ook werkelijk 64bits is?

[ Voor 3% gewijzigd door styno op 25-07-2005 14:49 ]

[stefklep]

Styno schreef op maandag 25 juli 2005 @ 14:47:
Het is gelukt om een gepatchte Debian Sarge unstable kernel 2.6.11 te compileren en de Areca wordt nu gedetecteerd . Ook de 480GB RAID-5 array wordt gevonden als sda. Nog even en we kunnen er vanaf booten.

Hoe kan ik nu zien of de kernel ook werkelijk 64bits is?

Bij dmesg zal je boven aan zien staan bij proc 64elf dacht ik zo iets.
Maar een leuk server zeg

[ Voor 5% gewijzigd door stefklep op 25-07-2005 16:03 ]

[styno]

stefklep schreef op maandag 25 juli 2005 @ 16:03:
Bij dmesg zal je boven aan zien staan bij proc 64elf dacht ik zo iets.
Maar een leuk server zeg

Ik zie wel in dmesg het volgende staan:

code:

IA32 emulation $Id: sys_ia32.c,v 1.32 2002/03/24 13:02:28 ak Exp $

en de Areca:

code:

ARECA RAID: 64BITS PCI BUS DMA ADDRESSING SUPPORTED
scsi0 : ARECA ARC1110 PCI-X 4 PORTS SATA RAID CONTROLLER
        Driver Version 1.20.00.07
  Vendor: Areca     Model: ARC-1110-VOL#00   Rev: R001
  Type:   Direct-Access                      ANSI SCSI revision: 03
arcmsr device major number 253

[MikeN]

uname -a ?

[styno]

MikeN schreef op maandag 25 juli 2005 @ 17:01:
uname -a ?

Ja, 64 bits kernel geboot!:

code:

Linux pri 2.6.11-9-amd64-k8-smp #1 SMP Mon Jul 25 16:19:16 CEST 2005 x86_64 GNU/Linux

En om nog even te patsen :

code:

cat /proc/cpuinfo
processor       : 0
vendor_id       : AuthenticAMD
cpu family      : 15
model           : 33
model name      : Dual Core AMD Opteron(tm) Processor 265
stepping        : 2
cpu MHz         : 1792.532
cache size      : 1024 KB
physical id     : 0
siblings        : 2
fpu             : yes
fpu_exception   : yes
cpuid level     : 1
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht pni syscall nx mmxext fxsr_opt lm 3dnowext 3dnow pni lahf_lm cmp_legacy
bogomips        : 3538.94
TLB size        : 1024 4K pages
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management: ts fid vid ttp
cpu cores       : 2


processor       : 1
vendor_id       : AuthenticAMD
cpu family      : 15
model           : 33
model name      : Dual Core AMD Opteron(tm) Processor 265
stepping        : 2
cpu MHz         : 1792.532
cache size      : 1024 KB
physical id     : 0
siblings        : 2
fpu             : yes
fpu_exception   : yes
cpuid level     : 1
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht pni syscall nx mmxext fxsr_opt lm 3dnowext 3dnow pni lahf_lm cmp_legacy
bogomips        : 3579.90
TLB size        : 1024 4K pages
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management: ts fid vid ttp
cpu cores       : 2

[styno]

JF, ik wil wel eens een paar benchmarks doen, maar daar heb ik geen ervaring mee onder Linux, dus als je een benchmark weet die enigzinds representatief is en niet te veel tijd kost wil ik die wel draaien...

Maar zo ff uit de losse pols (in een multiuser omgeving):

code:

hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   4156 MB in  2.00 seconds = 2077.28 MB/sec
 Timing buffered disk reads:  520 MB in  3.01 seconds = 172.96 MB/sec

[MikeN]

Overigens is de Areca die ik hier heb (8 poort versie geloof ik) ook niet al te vlot.

/dev/sda:
Timing cached reads: 2780 MB in 2.00 seconds = 1388.82 MB/sec
Timing buffered disk reads: 258 MB in 3.00 seconds = 85.90 MB/sec

Maar of hdparm nou zoveel zegt is dan weer de vraag. (Single AMD Opteron 242, 64 bit gentoo, 3x 250 GB RAID5)

[ Voor 3% gewijzigd door MikeN op 25-07-2005 19:05 ]

[deadinspace]

Bij RAID-5 kan er maar van 3 van de 4 schijven data worden gelezen, dus 172.96 MB/sec is 57.65 MB/sec per schijf.

Bijna 60 MB/sec per 7200 rpm schijf lijkt mij respectabel, al zegt de sustained read throughput natuurlijk niet alles over performance

[styno]

deadinspace schreef op maandag 25 juli 2005 @ 19:41:
Bij RAID-5 kan er maar van 3 van de 4 schijven data worden gelezen, dus 172.96 MB/sec is 57.65 MB/sec per schijf.

Bijna 60 MB/sec per 7200 rpm schijf lijkt mij respectabel, al zegt de sustained read throughput natuurlijk niet alles over performance

Maar die buffered read is dat dan de rauwe performance die te halen is met deze RAID opstelling, of hebben kernel settings hier nog wat mee van doen? Het is niet mijn bedoeling om nu een hele discussie te starten over benchmarking en de betekenis daarvan, maar het is natuurlijk wel leuk om te weten of dit resultaat 'goed' is of dat het eigenlijk niks zegt...

Aangezien er MySQL en Apache op deze machine komen te draaien is het misschien wel interessant om een wat meer real-world benchmark te draaien. Is bijvoorbeeld de Tweakers.net server benchmark (webserver/database server deel) ergens als script te downloaden ofzo?

[Coen Rosdorff]

Een leuke disk-benchmark voor linux is Bonnie++.
HD-parm is echt te mager voor dit soort systemen.

[JF_]

Onze storagebak is een 32bit-bak (3GHz Pentium4), Areca 1160 in PCI-X-slot (64bit, 66MHz), raid5 met 64kbyte stripe over 4 disks, filesystem ext3fs met alle opties at default.

De meest elementaire benchmark is een hdparm -tT, een 'time dd if=/dev/zero of=bigfile bs=1M count=32768', en een 'time dd if=bigfile of=/dev/null bs=1M'.

code:

 Timing cached reads:   3940 MB in  2.00 seconds = 1968.33 MB/sec
 Timing buffered disk reads:  246 MB in  3.01 seconds =  81.66 MB/sec

dd'ing writes doen rond de 47Mb/s, reads rond de 84Mb/s.

Styno schreef op maandag 25 juli 2005 @ 17:39:
[...]
En om nog even te patsen :

Blijft leuk... 'k Zou natuurlijk met een Quad Opteron 850 en 16Gbyte ram kunnen patsen, maar er is vast wel iemand die daar weer overheen komt.

[usr-local-dick]

Vandaar dus de vraag: Is hier iemand die dit voorelkaar hebben gekregen en wat tips wil geven?

Ik heb zojuist een AMD64 installatie CD gemaakt voor Sarge, met Areca support. Dat zou het kip-en-ei probleem moeten oplossen:

http://www.tienhuis.nl/areca/

[styno]

Netjes hoor, dat is handig voor de volgende keer

We hebben het nu voorelkaar gekregen door een IDE schijf aan te sluiten en daarop Linux in 64 bits mode te laten lopen. Daarna de driver module native gecompileerd en toen werkte het ook. Maar een cd-install is uiteraard veeeel makkelijker!

JF_ schreef op vrijdag 19 augustus 2005 @ 15:47:
Blijft leuk... 'k Zou natuurlijk met een Quad Opteron 850 en 16Gbyte ram kunnen patsen, maar er is vast wel iemand die daar weer overheen komt.

Doe eens?!

[ Voor 32% gewijzigd door styno op 15-09-2005 09:32 ]

[JF_]

Even een ouwe draad opschudden... Inmiddels een totaal andere storagebak boven z'n broertje gehangen, deze heeft een dual Opteron 246 met 8G ram. Ook een Areca PCI-X controller, deze keer eentje voor 12disks, en daar zitten ook maar gelijk twaalf 500G disks op aangesloten.
Alles in een enkele raid6-array, stripe=64, filesystem: XFS, sunit=16, swidth=224

hdparm-cijfertje lijken nu een heel stuk beter:

code:

/dev/sdc:
 Timing cached reads:   3800 MB in  2.00 seconds = 1899.88 MB/sec
 Timing buffered disk reads:  612 MB in  3.01 seconds = 203.44 MB/sec

Totdat je je realiseerd dat 203Mbyte per seconde, verdeeld over 12 disks, nog maar net 20Mbyte/s/schijf is. Een enkele disk als passthrough geconfigureerd haalt makkelijk 50Mbyte/s op dezelfde controller, dus 10 stuks (+2 parity) zouden toch de 500 moeten kunnen raken...