[debian]software raid 5

[Xe0n]

Ik ben dus bezig met een fileserver op te zetten, maar omdat ik dit maar 1 keer kan doen vraag ik jullie hulp.

Ik heb nu al mijn data over 3 pc's verspreid en op de 4e pc komt debian met een software raid 5 array te draaien. Aangezien de raid array ((3 * 200) - 200 =) 400 gig groot word en ik dat niet kan backuppen, kan ik dit dus niet (makkelijk) overnieuw doen.

misschien handig om een paar dingen te vermelden: de gemiddelde bestands grote zal tussen de 15 en 50 mb liggen. de server hangt aan een gigabit netwerk dus performance is van belang. als laatste is het misschien handig om te weten dat het os op een aparte hd komt te staan


-Raid aanmaken
Zit er verschil tussen het aanmaken van de array tijdens te instalatie of later met bijvoorbeeld mdadm


- Programma
Ik ben nu aan het testen met het programma mdadm. Het lijkt me zelf het beste programma om een raid array aan te maken of zijn er betere. raidtools2 lijkt me een beetje gedateerd


- chunk size
Welke is voor mij het beste kwa performance. standaard staat die geloof ik op 64kb is dit wat of kan ik hem voor mijn doeleinden beter wat hoger zetten.


- Bestandssysteem:
Als bestandssysteem had ik reiserfs in gedachten, aangezien deze logt en hij heel sneller is met kleine bestanden. alleen lees ik aan de andere kant dat die nog weleens wil crashen met (totale) data verlies tot gevolg dit wil ik dus totaal niet.


- Autodetect
Hoe zorg ik ervoor dat mijn raid array autodetect wordt @ boottime. Gebeurd dit al standaard, is het enige wat nodig is een kernel die dat ondersteund of zit het anders in elkaar.


- Upgraden
Zijn er nog bepaalde dingen waar je op moet letten wil je later gewoon kunnen upgraden zonder data/array verlies?


Ik hoop dat jullie me een beetje kunnen helpen

[ Voor 9% gewijzigd door Xe0n op 22-10-2005 16:41 ]

[Xe0n]

*knip*

[ Voor 97% gewijzigd door Xe0n op 23-10-2005 16:02 ]

[Verwijderd]

al gezocht? er bestaat gewoon een linux software raid how-to (ergens op internet, niet op GoT), waar een aantal, misschien wel alle, vragen in beantwoord worden.

Edit:
Een aantal vragen kan ik al wel beantwoorden:

Zit er verschil tussen het aanmaken van een raid array tijdens installatie of later
Nee..., zoals je al verteld komt het OS op een aparte schijf, dus dan maakt het zeker niets uit. Ik zou gewoon het OS installeren en daarna pas het array aanmaken.

Welk programma om een raid aan te maken?
Ik ken alleen maar mkraid, zoals in de FAQ vermeld. Volgens mij gebruikt die onderwater stiekem mdadm, maar dat weet ik niet., Ik heb iig al succesvol een raid array kunnen maken met mkraid

Welke bestandssysteem?
Ik zou "gewoon" voor ext3 gaan. Is altijd wat makkelijker te recoveren bij een storing. Bovendien kun je dan met elke linux bootdisk bij je data.

Hoe zorg ik dat m'n array geautodetect wordt?
Staat in de raid how-to

upgraden?
Wat bedoel je met upgraden? Ik geloof niet dat het mogelijk is een linux software raid array dynamisch uit te breiden. Je zit dus vast aan de size waarmee je hem aanmaakt.

[ Voor 76% gewijzigd door Verwijderd op 23-10-2005 15:47 ]

[Joghert]

*snip* Aangezien de raid array ((3 * 200) - 200 =) 400 gig groot word en ik dat niet kan backuppen, *snip*

Een raid5 array is een leuke aanvulling voor backups, maar geen vervanging.
Houd hier rekening mee om teleurstelling te voorkomen.
Je (s)ata controller kan haperen, of je filesystem kan corrumperen (raid doet geen dataintegrity controle alleen redundancy). Dan ben je alsnog alles kwijt.

Verder:

-Raid aanmaken:
Kan beiden prima, maar aanmaken op een al geinstalleerd systeem geeft je het voordeel dat alles al draait en je dan rustig bezig kan met de array zonder om andere dingen te hoeven denken.


- Programma:
Mdadm is naar mijn inzicht de meest geschikte kandidaat en lekker om mee te werken

- chunk size
Echt iets wat je moet testen, maar voor "grotere files" is zowel 64 als 128 prima geschikt.
Performance kan per soort schijf verschillen.

- Bestandssysteem:
Alle rw filesystems die standaard in de kernel zitten zijn eigenlijk wel geschikt en veilig.
Journalizing heeft wel mijn voorkeur. Filesystem is ook iets van smaak en ervaring.
Ik zal ooit nog eens proberen hier een GOT FAQ voor te schrijven.

- Autodetect:
Kun je instellen tijdens het partitioneren van de schijven.
Je moet in fdisk voor partition type 'fd" Linux raid autodetect kiezen.
Denk er om dat als de schijf al eerder in een autodetect array gezeten heeft je de schijf moet "resetten" voor de nieuwe array.

- Upgraden:
Is altijd tricky, maar zou "veilig" moeten kunnen met mdadm. Als je de manpages goed doorleest kun je dit wel vinden.
Hier geld ook weer mn opmerking bovenaan: raid is een aanvulling op backuppen.


Lees en zoek verder ook nog eens goed naar andere howtos:
Software RAID howto(lichtelijk outdated, maar zeer goed bruikbaar)

[ Voor 69% gewijzigd door Joghert op 23-10-2005 16:02 ]

[sampoo]

Buiten het bovenstaande is het uitzetten van write caching bij RAID een goed plan, zeker gezien het feit dat je een journaling filesystem wilt gebruiken.

Ik zou de belangrijkere files gewoon backuppen. Als alles belangrijk is en je echt 400GB nodig hebt dan bied RAID-5 je iets meer zekerheid maar erg veel veiliger is het niet.

[Xe0n]

is het later ook mogelijk om van besturingssysteem te veranderen

dus van debian testing naar stable, van debian i386 naar amd64 of van debian naar red hat

met behoud van data?

[ Voor 10% gewijzigd door Xe0n op 23-10-2005 16:42 ]

[Joghert]

je verandert hier niet het besturingssyteem, maar de distro.
dat is geen probleem, zolang je maar gebruik maakt van de zelfde programma's en drivers in je kernel
(zelfde versie of hoger)

de kernel herkent dan de schijven als array en zal m weer beschikbaar stellen
moet je in een testsetup maar eens lezen wat ie allemaal bij kernel messages weergeeft over de array

met behoud van data, maar geen garantie

[ Voor 30% gewijzigd door Joghert op 23-10-2005 17:23 ]

[Xe0n]

ik krijg het niet voor elkaar om mijn raid array automatisch op te laten starten

elke keer als ik reboot is mijn array weer weg en moet ik hem weer assemblen -> mdadm -A /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdc1

dit zou mdadm toch automatisch moeten doen?

[Paul]

Je moet van je partities FD-partities maken, veel kans zijn die nu gewoon 83 Linux

root@blaat: cfdisk /dev/sda

dan Type veranderen, Write gebruiken en (na zo alle schijven gehad te hebben) rebooten. Je data blijft gewoon behouden tijdens deze operatie

Werkt het daarna nog niet dan moet je de array opnieuw maken, want dan staat er geen superblok op je schijven.

[ Voor 32% gewijzigd door Paul op 25-10-2005 23:52 ]

[Joghert]

Zoals ik al eerder zei:

Joghert schreef op zondag 23 oktober 2005 @ 15:47:
- Autodetect:
Kun je instellen tijdens het partitioneren van de schijven.
Je moet in fdisk voor partition type 'fd" Linux raid autodetect kiezen.
Denk er om dat als de schijf al eerder in een autodetect array gezeten heeft je de schijf moet "resetten" voor de nieuwe array.

Zoals Paul ook al melde: het kan zijn dat er geen (goede) superblock op staat

Maar je heb duidelijk niet de howto goed doorgelezen anders had je daar vast een verwijzing in gevonden: 5.9 The Persistent Superblock

The persistent superblock is mandatory if you want auto-detection of your RAID devices upon system boot. This is described in the Autodetection section

Mandatory: ofwel verplicht/vereist

7.2 Autodetection


En meer ga ik niet voorkauwen, anders geef je me maar een root shell

[ Voor 2% gewijzigd door Joghert op 26-10-2005 00:20 . Reden: typo ]

[Paul]

Joghert schreef op woensdag 26 oktober 2005 @ 00:15:
Zoals Paul ook al melde: het kan zijn dat er geen (goede) superblock op staat

Als je de normale

mdadm --create --chunk=128 --level=5 --raid-devices=3 /dev/sda1 /dev/sdb1 /dev/sdc1

gebruikt dan zet mdadm er afaik altijd een sb op, ook als het partitie-type geen FD is. Dit omdat /etc/raidtab niet meer gebruikt wordt en mdadm ergens moet opslaan wat de layout is, zodat je de array niet zomaar om zeep kunt helpen met een typfoutje oid

En meer ga ik niet voorkauwen, anders geef je me maar een root shell

[Xe0n]

Paul Nieuwkamp schreef op dinsdag 25 oktober 2005 @ 23:50:
Je moet van je partities FD-partities maken, veel kans zijn die nu gewoon 83 Linux

root@blaat: cfdisk /dev/sda

dan Type veranderen, Write gebruiken en (na zo alle schijven gehad te hebben) rebooten. Je data blijft gewoon behouden tijdens deze operatie

Werkt het daarna nog niet dan moet je de array opnieuw maken, want dan staat er geen superblok op je schijven.

zoals je hier kan zien had ik alle raid schijven al 'fd' gemaakt, dus daar kan het niet aan liggen

code:

Disk /dev/sda: 203.9 GB, 203928109056 bytes
255 heads, 63 sectors/track, 24792 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1               1       24792   199141708+  fd  Linux raid autodetect

Disk /dev/sdb: 203.9 GB, 203928109056 bytes
255 heads, 63 sectors/track, 24792 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1       24792   199141708+  fd  Linux raid autodetect

Disk /dev/sdc: 203.9 GB, 203928109056 bytes
255 heads, 63 sectors/track, 24792 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1       24792   199141708+  fd  Linux raid autodetect

[Xe0n]

code:

Yankee:~# cat /proc/mdstat
Personalities :
unused devices: <none>
Yankee:~# mdadm -A /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdc1
mdadm: /dev/md0 has been started with 3 drives.
Yankee:~# cat /proc/mdstat
Personalities : [raid5]
md0 : active raid5 sda1[0] sdc1[2] sdb1[1]
      398283264 blocks level 5, 64k chunk, algorithm 2 [3/3] [UUU]

unused devices: <none>
Yankee:~# mdadm --detail /dev/md0
/dev/md0:
        Version : 00.90.01
  Creation Time : Tue Oct 25 23:20:43 2005
     Raid Level : raid5
     Array Size : 398283264 (379.83 GiB 407.84 GB)
    Device Size : 199141632 (189.92 GiB 203.92 GB)
   Raid Devices : 3
  Total Devices : 3
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Wed Oct 26 01:54:01 2005
          State : clean
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : e9735c96:db9491cd:956fb879:b2d312ee
         Events : 0.23

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       33        2      active sync   /dev/sdc1

ik weet niet of dit wat zegt
"Persistence : Superblock is persistent"

[Joghert]

"Persistence : Superblock is persistent"

Dit is goed, dan blijft de "superblock" aanwezig en zou de array detectable moeten zijn.

Uit de debian(sarge) manpage van mdadm:

mdadm --assemble --scan
This will assemble and start all arrays listed in the standard confile
file. This command will typically go in a system startup file.

mdadm --stop --scan
This will shut down all array that can be shut down (i.e. are not cur-
rently in use). This will typically go in a system shutdown script.

Zou je even kunnen checken of dit of iets vergelijkbaars aangeroepen wordt in je rc.d startupscripts?

/edit: hier zou je evt. "mdadm -A /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdc1" in kunnen voeren.
Een config file was voor zover ik weet niet echt nodig, omdat tijdens het booten de superblock en of partitiontype ook al herkend zouden moeten worden.

[ Voor 17% gewijzigd door Joghert op 26-10-2005 19:07 ]

[Xe0n]

Joghert schreef op woensdag 26 oktober 2005 @ 19:04:
[...]

Dit is goed, dan blijft de "superblock" aanwezig en zou de array detectable moeten zijn.

Uit de debian(sarge) manpage van mdadm:

[...]


Zou je even kunnen checken of dit of iets vergelijkbaars aangeroepen wordt in je rc.d startupscripts?

/edit: hier zou je evt. "mdadm -A /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdc1" in kunnen voeren.
Een config file was voor zover ik weet niet echt nodig, omdat tijdens het booten de superblock en of partitiontype ook al herkend zouden moeten worden.

ik heb het gevoel dat autodetection in de kernel is uitgeschakelt.

is het mogelijk om dit weer te gebruiken

[Paul]

Heb je (ik denk het wel) "/etc/init.d/mdadm-raid" ? Heeft deze de goede linkjes in de diverse rc#.d? Wat staat er in de diverse configfiles die er in dat script genoemd worden?

Ook "dpkg-reconfigure mdadm" kan helpen

[Xe0n]

Paul Nieuwkamp schreef op vrijdag 28 oktober 2005 @ 08:28:
Heb je (ik denk het wel) "/etc/init.d/mdadm-raid" ? Heeft deze de goede linkjes in de diverse rc#.d? Wat staat er in de diverse configfiles die er in dat script genoemd worden?

Ook "dpkg-reconfigure mdadm" kan helpen

volgens mij klopt alles en ook reconfigure mocht niet helpen.

hier een stukje uit me syslog

code:

Oct 30 17:21:33 debian kernel: md: md driver 0.90.1 MAX_MD_DEVS=256, MD_SB_DISKS=27
Oct 30 17:21:33 debian kernel: devfs_mk_dev: could not append to parent for md/0
Oct 30 17:21:33 debian kernel: md: md0 stopped.

en pas stukken later laat die mijn sata disks waaruit de raid array bestaat. is dit het probleem?

[Paul]

Worden de drivers van je SATA-schijven toevallig dmv een module geladen, ergens in /etc/modules?

Bij nader inzien is het dat ook niet, module-init-tools wordt als 20e opgestart, mdadm als 25e (50e in runlevel 0 en 6) dus dan zouden de modules al geladen moeten zijn...

Dan zou ik het momenteel ook niet weten helaas...

[Xe0n]

helpt het als ik mijn hele syslog hier plaats?

[Paul]

dan eerder dmesg, maar aangezien die beiden vrij groot zijn kun je ze misschien beter uploaden en dan hier linkjes plaatsen

[Xe0n]

hier een kopie van dmesg -> http://pastebin.com/411470

anything else

[Paul]

Ja, het lijkt erop dat je modules voor je sata-controller pas wordt geladen nadat mdadm wordt gestart?
1) worden je drivers inderdaad in /etc/modules geladen?
2) Wat is dan de utikomst van "find /etc/ -name S* | grep mdadm-raid" en "find /etc/ -name S* | grep module-init-tools" ?

Module-init-tools laadt je modules adhv /etc/modules, mdadm-raid is verantwoordelijk voor het assemblen van je arrays @ boot.

[Xe0n]

1)nee
dit wordt namelijk geladen:
ide-cd
ide-disk
ide-generic
psmouse
sbp2
sd_mod
sr_mod


2)
debian:/etc# find /etc/ -name S* | grep mdadm-raid
/etc/rc0.d/S50mdadm-raid
/etc/rc6.d/S50mdadm-raid
/etc/rcS.d/S25mdadm-raid

debian:/etc# find /etc/ -name S* | grep module-init-tools
/etc/rcS.d/S20module-init-tools

[Paul]

Die 2e is iig goed.

Euh, tja dan gaat het mijn pet ook te boven

[Xe0n]

das niet zo mooi

ik ga er maar weer eens een nachtje over slapen, helpt bij mij toch altijd wel een beetje

[ Voor 75% gewijzigd door Xe0n op 30-10-2005 23:58 ]

[Xe0n]

ik heb nu de hardeschijven van de sil3114 chipset gehaald en die op de nforce 4 chipset gezet

eens kijken of dat wil helpen

[Xe0n]

dit wil ook niet helpen, iemand een andere oplossing?

[RagaBaSH]

ik heb met het autodetecten van een mdadm array ook een tijdje zitten vechten, ik moest alsnog een config file aanmaken die tijdens boot werd uitgelezen, om zo tot een bruikbaar systeem te komen.

op mijn (debian sarge 3.1) staat de config in /etc/mdadm/mdadm.conf

code:

DEVICE  /dev/hd[ef]1
DEVICE  /dev/hd[gh]1
DEVICE  /dev/hd[bd]1

ARRAY   /dev/md0 devices=/dev/hde1,/dev/hdf1
ARRAY   /dev/md1 devices=/dev/hdg1,/dev/hdh1
ARRAY   /dev/md2 devices=/dev/hdb1,/dev/hdd1

deze wordt ook aangeroepen vanuit mijn /etc/rc0.d/S50mdadm-raid

hoop dat het helpt.

[Xe0n]

dit wil ook niet helpen, zal er vast wel mee te maken hebben dat tijdens het opstarten van mdadm mijn sata schijven nog niet geladen zijn

[Coen Rosdorff]

Xe0n schreef op dinsdag 01 november 2005 @ 20:47:
dit wil ook niet helpen, zal er vast wel mee te maken hebben dat tijdens het opstarten van mdadm mijn sata schijven nog niet geladen zijn

Waarom zijn ze nog niet geladen?
Moeten er kernel modules geladen worden voor je sata-controller?
Zo ja dan kan je die in je initrd image zetten, of mee compileren in de kernel...

[Xe0n]

ik heb dmv mijn logfile die conclusie genomen -> http://pastebin.com/411470

[RagaBaSH]

lijkt me handig je sata in je kernel mee te compilen.
het ligt misschien wat aan je system specs, maar ikzelf geef de voorkeur om hetgeen ik gebruik mee te bouwen in de kernel ipv modules, mede om dit soort volgorde moeite te voorkomen (onlogisch is het wel trouwens... sata pas aanzetten NA het assemblen van je sata-raid array... welke dodo heeft dat bedacht)