[mdadm] raid-5 write performance

[HarmoniousVibe]

Een tijdje geleden heb ik een softwarematige raid-5 array gebouwd met 4 * 1TB (verschillende smaken). Ik heb altijd al wel het idee gehad dat mijn write performance niet echt super was, maar vandaag heb ik wat bonnie benchmarks gedraaid en die waren echt om te huilen. Nu had ik wel begrepen dat raid-5 vanwege de pariteitsberekeningen de write performance drukt, maar dat het zo erg was wist ik niet

Ik heb 4 schijven met een identieke partitietabel. Om de layout maar meteen duidelijk te maken hier mijn /proc/mdstat:

Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md2 : active raid0 sdd2[3] sdc2[2] sdb2[1] sda2[0]
      7807232 blocks 64k chunks
      
md3 : active raid5 sdb3[4] sda3[1] sdd3[0] sdc3[3]
      2836540224 blocks super 1.2 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]
      
md0 : active raid1 sdd1[1] sdc1[2] sdb1[3] sda1[0]
      29294400 blocks [4/4] [UUUU]
      
unused devices: <none>

Op sd{a,b,c,d}1 staat mijn OS in raid-1
Op sd{a,b,c,d}2 staat mijn swap in raid-0
Op sd{a,b,c,d}3 staat mijn data in raid-5

Dit zijn mijn benchmarks

raid-1 (ext4)

Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
sonata           4G   730  85 83973  13 42971  14  4308  91 115158  18 528.2  23
Latency             14855us    2154ms    1016ms   18126us   76005us   90816us
Version  1.96       ------Sequential Create------ --------Random Create--------
sonata              -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 17653  31 +++++ +++ 29715  34 28882  40 +++++ +++ 31955  35
Latency             17825us    1216us     401us     226us      81us      43us

raid-0 (heb mijn swap even verwijderd en er een XFS partitie voor teruggezet)

Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
sonata           4G  1339  99 318357  34 132139  31  3009  89 387240  44 454.3  17
Latency             17083us     452ms     235ms     117ms   24181us     102ms
Version  1.96       ------Sequential Create------ --------Random Create--------
sonata              -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 11975  44 +++++ +++ 15177  45 10095  42 +++++ +++  6757  34
Latency             33195us      97us   30691us   33926us     181us     112ms

raid-5 (XFS)

Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
sonata           4G     0   1   777   2  1000   2  2339  71 253749  32 273.5  11
Latency             96257ms     558ms     489ms     398ms     124ms     207ms
Version  1.96       ------Sequential Create------ --------Random Create--------
sonata              -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16   130  15 +++++ +++   157  38   127  16 +++++ +++   162  21
Latency               268ms     231us     341ms     429ms     113us     314ms

Zoals je kunt zien scoort mijn raid-5 array consistent slecht op schrijf-benchmarks. Zoals ik al zei, ik weet dat raid-5 de write performance naar beneden haalt, maar dit is toch niet meer normaal of wel dan?

Aan mijn schijven, SATA of mobo ofzo lijkt het niet te liggen, gezien de goede benchmarks op de andere arrays over dezelfde schijvenset. Ook mijn CPU lijkt niet de boosdoener. Nergens wordt de performance gechoked door mijn CPU, behalve dan bij raid-0.

Wat zou ik hieraan kunnen doen? Hopelijk heeft iemand enig idee want ik zit momenteel met mijn handen in mijn haar.

Oh, voor de volledigheid: ik draai Ubuntu 10.04 met 2.6.32-21-server zonder dat er verder veel getweaked is.

[ Voor 3% gewijzigd door HarmoniousVibe op 03-05-2010 11:59 ]