Debian op md-RAID array installeren

[F.U.B.A.R]

Ik draai nu al een tijdje Gentoo Linux op mijn firmware RAID-0 array. De partities zijn te vinden onder /dev/ataraid/..., de oude ataraid-manier dus.
Dit wordt niet meer ondersteund in kernel 2.6.* en ik zou die kernel toch graag willen kunnen gebruiken.
Daarom heb ik besloten over te schakelen naar md-RAID. Dit zou ook beter moeten presteren.

Er zijn nog enkele dingen die ik niet weet:
- hoe kan ik Debian (geen Gentoo meer ) rechtstreeks op een md-RAID array installeren? De array bestaat namelijk tijdens de installatie nog niet en ik zou liefst het base system al op de array hebben.
- moet ik als ik md-RAID gebruik, ook nog een RAID array in mijn HPT-370 configureren? Want als de kernel het RAID-gedeelte regelt, en de controller ook nog eens is dat toch alleen maar overhead?

Mijn hardware:
- AMD Tbird 1,33 @ 1,4GHz
- Abit KT7A-RAID, VIA KT-133A chipset, HighPoint 370 on board
- 512MB PC-150 RAM
- 2 x Maxtor DiamondMax Plus 9 60GB (2MB cache maar tho), allebei master op de HighPoint
- 1 x Maxtor D740X 60GB (primary master), voor de bootloader

[XTerm]

Mijn advies aan jou :
Installeer debian, en defineer een root partitie van ongeveer 1 Gb. Je installeert daarop
het basis systeem. Dan installeer je daarna de raidutilities en je maakt een nieuwe kernel die softraid kan.

Dan maak je nieuwe partities, voor usr en var, en ook voor home. Die partities zet je dan in raid, je kopieert de huidige contents naar de nieuwe partities en je update je fstab.

Debian heeft geen standaard manier van op software raid te installeren. (Gentoo wel), maar op de manier die ik je gezegt heb, heb je een stabiel systeem dat quasi 100% op raid draait.

[Jelmer]

Het kan heel eenvoudig met debian: http://www.physik.tu-cottbus.de/~george/debian-xfs/

Die iso heeft by default, naast dus xfs support, ook support voor raid 0 en 1. Raid5 is ook beschikbaar, echter deze staat op de modulesdisk.

Moet wel zeggen dat ik alleen raid1 getest heb, maar raid0 zou geen probleem moeten zijn (zal het voor de gein eens in vmware testen)
Anders zul je de methode van XTerm moeten gebruiken.


--

Ok na een paar pogingen wil het nog niet echt vlotten... Na eindelijk lilo erop te hebben gekregen (aparte /boot partite), wil de raid-auto-detect met raid 0 niet (invalid raid superblock on sda2)

/me WOOOHOO! Het werkt!!!

Hier onder het verhaal hoe ik het gedaan heb:

• Boot van de cd
• ga naar de console (alt-f2) en druk op enter
• maak een aparte /boot partitie
• maak raid partities aan van het type FD (linux auto raid)
• doe gelijk even de swappartities (mkswap <device>en add ze met swapon <device>, gaat de installer daar ook niet over zeuren)
• maak /etc/raidtab mbv nano-tiny (enige editor in de installer) met daarin het volgende:
  
  code:
  

  raiddev /dev/md0
     raid-level 0
     persistent-superblock   1 
     nr-raid-disks 2
     nr-spare-disks 0
     chunk-size 32
  
     device /dev/sda2
     raid-disk 0
     device /dev/sdb2
     raid-disk 1

• mkraid /dev/md0
• mke2fs of mkfs.ext3 of mkfs.xfs
• mount /dev/md0 /target
• mke2fs </boot partitie>
• mkdir /target/boot
• mount </boot partitie> /target/boot
• ga terug naar de installer en vervolg als gebruikelijk
• voor een evt externe bootloader, de root partititie voor lilo is /dev/md0
• voordat je reboot, ga even terug naar de console: cp /etc/raidtab /target/etc

succes! (en vergeet in eigen kernels niet je filesystem, md en raid0 hard in de kernel te compilen!)

[ Voor 115% gewijzigd door Jelmer op 21-01-2004 22:07 . Reden: chunksize naar 32 gezet ]

[F.U.B.A.R]

Aha, prachtige info!

Maar moet ik mijn RAID array ook nog in mijn HPT-370 configureren of kan ik de schijven beter gewoon aan de controller hangen?

edit:

Ik zie trouwens dat die installer met XFS-support ook een pre-emption patch heeft. Ik heb op het Gentoo-forum echter gelezen dat XFS + kernel pre-emption + nVIDIA Detonators leidt tot filecorruption. Is dat nog steeds zo?

[ Voor 45% gewijzigd door F.U.B.A.R op 21-01-2004 21:23 ]

[Verwijderd]

Ik heb hier ook al een topic over losgegooid. De theorie is makkelijk, alleen het goed uitvoeren niet.

[Jelmer]

F.U.B.A.R schreef op 21 januari 2004 @ 21:19:
Aha, prachtige info!

Maar moet ik mijn RAID array ook nog in mijn HPT-370 configureren of kan ik de schijven beter gewoon aan de controller hangen?

edit:

Ik zie trouwens dat die installer met XFS-support ook een pre-emption patch heeft. Ik heb op het Gentoo-forum echter gelezen dat XFS + kernel pre-emption + nVIDIA Detonators leidt tot filecorruption. Is dat nog steeds zo?

Nee, je hoeft je schijven niet in je highpoint bios in raid te zetten, gewoon plain'ol rechtstreeks erop aansluiten

Succes he!


En dat van nvidia-xfs-premption is mij niet bekend, maar je zou uiteraard ook voor ext3 kunnen gaan, of asap zelf een nieuwe kernel bakken zonder preemption

[ Voor 18% gewijzigd door Jelmer op 21-01-2004 21:58 ]

[XTerm]

@Jelmer.

Jezus Christus te paard ik hoop dat die Raid config van jou ter illustratie was en geen ECHTE draaiende config. Je gebruikt namelijk 2 partities op 1 schijf in Raid0, met een belachelijk kleine chunsize. Dat gaat niet alleen droltraag zijn, maar je schijfkop loopt constant heen en weer te schieten. Dat overleven de meeste schijven niet lang hoor

@ Fubar
Mijn oplossing is de simpelste, echter, als je perse je root ook in raid wil (wat gevaarlijk is ivm problemen) kan je echter ook die CD gebruiken.
Verder moet in je Raid bios niets ingesteld staan en is het belangrijk dat je (van zodra de raid draait) met je tengels van de losse partities blijft.

[Jelmer]

XTerm schreef op 21 januari 2004 @ 21:58:
@Jelmer.

Jezus Christus te paard ik hoop dat die Raid config van jou ter illustratie was en geen ECHTE draaiende config. Je gebruikt namelijk 2 partities op 1 schijf in Raid0, met een belachelijk kleine chunsize. Dat gaat niet alleen droltraag zijn, maar je schijfkop loopt constant heen en weer te schieten. Dat overleven de meeste schijven niet lang hoor

uhm, 't zijn sda en sdb en bovendien VMWare om te testen


Maar om eerlijk te zijn, die chunksize van 8 klein? hmm op mn soft-raid5 array in mn server gaat dat prima en is aardig rap (3 fysieke schijven). Wat zou je zelf adviseren qua chunk size?

Oh wacht, voor de raid0 die ik ook in mn server gebruik (onbelangrijke data) heb ik een chunksize van 32 (voortaan eens wat verder kijken in mn eigen configfiles, had me een hoop moeite bespaard )

[ Voor 16% gewijzigd door Jelmer op 21-01-2004 22:07 ]

[TrailBlazer]

waarom zou je je root ook op raid0 willen draaien. Over het algemeen zit daar de vertraging niet. Je home en mailfolders eventueel wel maar de rest zal geen bottleneck zijn lijkt me. Rais 1 voor een os lijkt me dan logischer

[F.U.B.A.R]

TrailBlazer schreef op 21 januari 2004 @ 23:09:
waarom zou je je root ook op raid0 willen draaien. Over het algemeen zit daar de vertraging niet. Je home en mailfolders eventueel wel maar de rest zal geen bottleneck zijn lijkt me. Rais 1 voor een os lijkt me dan logischer

Als ik de root in RAID 1 wil draaien, welke directories moeten daar dan komen, hoe groot moet die partitie zijn en welk FS?

Moet ik dan in /etc/raidtab een tweede entry zetten ivm die mirror-RAID?

[Verwijderd]

Leuk die 44mb grote iso, herkend niet eens een hpt374-controller!!

http://www.physik.tu-cottbus.de/~george/debian-xfs/#netinst

[ Voor 4% gewijzigd door Verwijderd op 22-01-2004 17:46 ]

[F.U.B.A.R]

Ik was sowieso van plan om hem eerst in een VM te installeren om te kijken hoe die md-RAID nu eigenlijk werkt.

Jammer dat mijn echte hardware niet in VMWare wordt gebruikt. Dan kan ik ook niet controlerenof mijn HightPoint 370 herkend wordt.

Weet jij of die ISO dat zal doen, Jambek2003?

[Jelmer]

Verwijderd schreef op 22 januari 2004 @ 17:46:
Leuk die 44mb grote iso, herkend niet eens een hpt374-controller!!

http://www.physik.tu-cottbus.de/~george/debian-xfs/#netinst

Sorry hoor, maar de .config die op die pagina staat heeft toch echt:
CONFIG_BLK_DEV_HPT366=y

HPT370 is an Ultra DMA chipset for ATA-100.
HPT374 is an Ultra DMA chipset for ATA-133.


Kortom, zou geen probleem moeten zijn

[Verwijderd]

Jelmer schreef op 22 januari 2004 @ 20:29:
[...]

Sorry hoor, maar de .config die op die pagina staat heeft toch echt:
CONFIG_BLK_DEV_HPT366=y

HPT370 is an Ultra DMA chipset for ATA-100.
HPT374 is an Ultra DMA chipset for ATA-133.


Kortom, zou geen probleem moeten zijn

Zou niet mogen, maar is toch zo. Jelmer, ik had dat ook gecheckt . Wanneer ik mijn zelfgebakken rescue-flop gebruik met kernel-2.4.23, wordt de hpt374 wel herkend.

PS. De hpt374 heeft 4 kanalen

[ Voor 8% gewijzigd door Verwijderd op 23-01-2004 18:25 ]

[F.U.B.A.R]

Ik heb het voor elkaar gekregen! Dankzij Jelmer's aanwijzingen.
Ik draai nu Debian GNU/Linux testing op een md-RAID 0 /-partitie.

De md-RAID array's maken was geen enkel probleem: gewoon beide schijven identiek gepartitioneerd:
10 GB -> /
2,5 GB -> /client-os (voor VMWare)
150MB -> swap
1 GB -> /home
47,... GB -> /stuff
En dat op beide schijven.

Daarna /etc/crontab aangemaakt en 4 RAID-0 array's aangemaakt en ge-"mkraid". /dev/md0 is de /-partitie dus die heb ik onmiddellijk geformatteerd (ReiserFS) en gemount.
Ik wist niet hoe de installer dan zou moeten werken, maar zodra je je /-partitie mount, merkt de installer dat en gaat hij verder met de volgende stap ("Installing the base system").

Ik heb echter wel wat problemen met dpkg die allerlei vreemde errors geeft, waardoor het nogal een tijd duurde voor ik de nodige packages kon installeren. Vandaar dat ik ook nog geen X heb kunnen installeren, enkel een 2.6.1-vanilla kernel.

Bij het upgraden van de kernel op de ISO (v2.4.17) naar v2.4.24 had ik wel problemen: de /dev's waren van /dev/md0 naar /dev/md/0 veranderd. Achteraf bleek dit aan een ge-yes'te DevFS-kernel optie te liggen.

De eerste benchmark-scores laten iig al een veelbelovende resultaat zien: hdparm -Tt /dev/md0 gaf een score van 90.0 MB/s voor de tweede test toen ik hem de eerste keer draaide. Nu ligt dat nog op iets meer dan 80 MB/s.
Dit is een enorm verschil tegenover de 50 MB/s die ik daarvoor haalde (dezelfde score als hdparm -Tt /dev/hde).

[F.U.B.A.R]

code:

ferro:/# hdparm -Tt /dev/md0

/dev/md0:
 Timing buffer-cache reads:   900 MB in  2.01 seconds = 448.28 MB/sec
 Timing buffered disk reads:  242 MB in  3.02 seconds =  80.20 MB/sec
ferro:/# hdparm -Tt /dev/hde

/dev/hde:
 Timing buffer-cache reads:   896 MB in  2.00 seconds = 447.40 MB/sec
 Timing buffered disk reads:  146 MB in  3.02 seconds =  48.40 MB/sec

[Verwijderd]

Jelmer schreef op 21 januari 2004 @ 20:41:


--

• Boot van de cd
• ga naar de console (alt-f2) en druk op enter
• maak een aparte /boot partitie
• maak raid partities aan van het type FD (linux auto raid)
• doe gelijk even de swappartities (mkswap <device>en add ze met swapon <device>, gaat de installer daar ook niet over zeuren)
• maak /etc/raidtab mbv nano-tiny (enige editor in de installer) met daarin het volgende:
  
  code:
  

  raiddev /dev/md0
     raid-level 0
     persistent-superblock   1 
     nr-raid-disks 2
     nr-spare-disks 0
     chunk-size 32
  
     device /dev/sda2
     raid-disk 0
     device /dev/sdb2
     raid-disk 1

• mkraid /dev/md0
• mke2fs of mkfs.ext3 of mkfs.xfs
• mount /dev/md0 /target
• mke2fs </boot partitie>
• mkdir /target/boot
• mount </boot partitie> /target/boot
• ga terug naar de installer en vervolg als gebruikelijk
• voor een evt externe bootloader, de root partititie voor lilo is /dev/md0
• voordat je reboot, ga even terug naar de console: cp /etc/raidtab /target/etc

Ik probreer de manier van Jelmer, echter hoe kan men nu mkraid commando gebruiken als er geen raidtools2 is ge'apt? Ik heb trouwens niet die cd gebruikt, maar een eigen rescue-flop met ondersteuning van raid en mijn controller.

OK, ik snap nou dat ik de flops of de cd moet gebruiken, echter deze ondersteund dus niet de hpt374-controller. Ik ga proberen met een eigen recue flop te draaien en de rest van Ionut's gemodificeerde flops.

[ Voor 16% gewijzigd door Verwijderd op 05-02-2004 12:54 ]

[Verwijderd]

Heeft iemand al /boot op raid1 met de cd of flops van Ionut getest?! Trek maar eens hda molex eruit, boot echt niet meer
Wat is het nut van /boot op /dev/mdX in raid1-array te draaien,als het niet redundant kan booten?!
Ps. na compileren van nieuwe kernel (2.6.2) ging de disk-performance met een factor 8 omhoog!!!! DMA staat namelijk uitgeschakeld! check maar eens;

(eerste ff apt-get install hdparm)

hdparm /dev/hdX

[pierre-oord]

moet je echt zo moeilijk doen voor linux op silicon image raid te krijgen? Ik wil zelf dualboot kunnen blijven draaien met xp.... ook m'n raid bios is ingesteld..