zin / onzin softraid

[nilski]

Ik ben nog redelijk n00b op gebied van Linux.
Wat ik me afvraag is of wat ik in gedachten heb zinvol is.

Ik wil het volgende doen met 2 Samsung 1TB schijven:
de /boot en / (root) op RAID1 (ca. 50GB)
op elke disk een swap partitie met prio 1 (ca. 22GB)
op elke dis ca. 300 GB in RAID0

hardware:
mobo: Gigabyte GA-MA78GM-S2H
Proc: AMD Phenom 9650 Quadcore
Mem: 4x2GB DDR2

De reden dat ik een RAID0 wil is dat ik er VMWare Server op draai en de diskperformance de bottleneck is.
De VMs wil ik dus in RAID0 hebben. (is voor testen en niet belangrijke data)

De vraag is dus of de performance aanzienlijk beter wordt als ik op dezelfde disks RAID1, JBOD en RAID0 draai.
Tips over een andere indeling zijn overigens welkom, (bij mij staat overigens stabiliteit wel op nr.1)

[ Voor 0% gewijzigd door nilski op 08-02-2009 19:44 . Reden: verduidelijking ]

[Spider.007]

Ik snap niet veel van je voorgestelde setup. Waarom zou je een /boot van 50Gb nodig hebben? Bij mij heeft deze een grootte van ~10 Mb. Daarnaast snap ik niet waarom je deze op RAID-1 zou willen doen; en je swap op JBOD (en 22 Gb swap is ook vrij veel). Waarom zou je niet gewoon 372 Gb in RAID-0 doen; en voor alle partitie-types gebruik maken van het performance voordeel wat dit biedt?

[Boudewijn]

Inderdaad.

Sowieso wat heeft het te maken met zin en onzin van softraid?
Wat motiveert je tot jbod? als je toch je data kwijt mag raken, pak dan raid0.

Verder: waarom wil je per se veel performance en dan zoveel swap? Neem dan gewoon een latje geheugen extra .

Verder neem ik aan dat je een 64bits systeem wil installeren? Wmb is het verstandiger om een goed kale linux te nemen ipv een standaard ubuntu.

[blaataaps]

Boudewijn schreef op zondag 08 februari 2009 @ 17:32:

Verder neem ik aan dat je een 64bits systeem wil installeren? Wmb is het verstandiger om een goed kale linux te nemen ipv een standaard ubuntu.

Heb je daar ook een onderbouwing voor? Waar staat dat hij ubuntu neemt, en waarom niet bijvoorbeeld de server-editie?

[nilski]

Spider.007 schreef op zondag 08 februari 2009 @ 17:22:
Ik snap niet veel van je voorgestelde setup. Waarom zou je een /boot van 50Gb nodig hebben? Bij mij heeft deze een grootte van ~10 Mb. Daarnaast snap ik niet waarom je deze op RAID-1 zou willen doen; en je swap op JBOD (en 22 Gb swap is ook vrij veel). Waarom zou je niet gewoon 372 Gb in RAID-0 doen; en voor alle partitie-types gebruik maken van het performance voordeel wat dit biedt?

wat je dus voorstelt is alleen /boot op een schijf en de rest op RAID0?

Ik had het niet duidelijk opgeschreven 50 GB was voor de /boot en de / (root dus)
RAID1 had ik gekozen vanwege extra veiligheid.
de swap van 22 is wat Ubuntu standaard heeft gemaakt op mijn install, idd wat groot uitgemeten denk ik.

[nilski]

fijn dat er zoveel meelezen op zondag

ik zoek eigenlijk alleen de performance voor VMware Server.
meer latjes geheugen passen niet, er zit al 8GB in
en ja ik heb Ubuntu 8.10 x64 (serverversie nog niet geprobeerd)
het is maar een thuisservertje hoor..

[ Voor 0% gewijzigd door nilski op 08-02-2009 17:52 . Reden: typo ]

[BCC]

nilski schreef op zondag 08 februari 2009 @ 17:41:
[...]


wat je dus voorstelt is alleen /boot op een schijf en de rest op RAID0?

Ik had het niet duidelijk opgeschreven 50 GB was voor de /boot en de / (root dus)
RAID1 had ik gekozen vanwege extra veiligheid.
de swap van 22 is wat Ubuntu standaard heeft gemaakt op mijn install, idd wat groot uitgemeten denk ik.

?! RAID1 vanwege de veiligheid is natuurlijk zinloos als de rest van je systeem RAID0 is. En gaat het bij diskaccess om READ of Write? Want als het om READ gaat, dan zijn RAID1 en RAID0 even snel. Verder zou ik wat partition HOWTO's doorlezen. Wat ik nu meestal doe is een kleine mirror raid BOOT partitie en de rest LVM (mirror RAID).

[nilski]

misschien even uitleggen wat ik aan het (proberen te) bouwen ben.

een stil systeempje voor in de woonkamer met Mythbuntu mediacenter


daarnaast draai ik er VMware Server op om mijn testservers op te draaien (met webconsole).
verder komt er webmin op voor makkelijk beheer van linux
tot slot transmission voor torrents (ook met webinterface)

ik had oorspronkelijk dus het idee alleen de VMs zelf op RAID0 te zetten.
mijn vraag is echter of de performance niet te lijden heeft als er op dezelfde disks RAID1 en RAID0 partities zijn gedefinieerd.

[ Voor 22% gewijzigd door nilski op 08-02-2009 17:51 ]

[Spider.007]

Als je alleen voor /boot een RAID-1 gebruikt, dan heb je daar sowieso geen last van aangezien er daar niet zoveel wordt geschreven. De structuur van je data verandert ook niet doordat je RAID-0 of RAID-1 gebruikt; je hdd zal nog steeds bytes moeten opslaan; en welke laag daar overheen ligt maakt niet veel uit. Natuurlijk maakt RAID-0 of RAID-1 zelf wel voor de performance uit; maar verschillende RAID-levels zullen geen invloed op elkaars performance uitoefenen.

[gertvdijk]

nilski schreef op zondag 08 februari 2009 @ 17:49:
mijn vraag is echter of de performance niet te lijden heeft als er op dezelfde disks RAID1 en RAID0 partities zijn gedefinieerd.

Is geheel afhankelijk of je gelijktijdige disk I/O op die partities hebt. Daarnaast is het zeker nuttig om bepaalde belangrijke dingen in een RAID1 array te gooien en minder belangrijke dingen in een RAID0 array. Zo ga je wel zo effcient mogelijk om met de beschikbare data i.c.m. een stukje zekerheid.
Bij gelijktijdige disk I/O heb je natuurlijk last van de access times. Daar kom je niet onderuit.
Maar hoezo wil je RAID voor de VMWare? Gaan je VMs werkelijk zoveel sneller in RAID0? RAID0 biedt namelijk alleen hogere snelheden voor je sequentiele transfers.

[ Voor 4% gewijzigd door gertvdijk op 08-02-2009 18:04 ]

[Boudewijn]

blaataaps schreef op zondag 08 februari 2009 @ 17:36:
[...]

Heb je daar ook een onderbouwing voor? Waar staat dat hij ubuntu neemt, en waarom niet bijvoorbeeld de server-editie?

Dat is niet de standaard versie .

Ik probeerde meer te waarschuwen dat hij geen complete desktop op moet gaan tuigen of 200 nutteloze daemons draaien.

ik zoek eigenlijk alleen de performance voor VMware Server.
meer latjes geheugen passen niet, er zit al 8GB in
en ja ik heb Ubuntu 8.10 x64 (serverversie nog niet geprobeerd)
het is maar een thuisservertje hoor..

Beetje rare combi dan.

Zoveel swap is nutteloos. Als je gaat swappen ben je gewoon klaar met spelen, dan wordt je systeem rete traag.
Dus maak daar maar 2 gb ofzo van, meer is echt niet nodig.

Performance pak je al goed mee door zoveel mogelijk zut uit te zetten, zoals een window-manager (geheugen... ) etc.

Verder is 8gb voldoende als je het niet te bont maakt (mijn huidige doos draait op 2gb met 5 dik gebruikte VMs...), maar als je echt grote dingen wil doen ben je je 'thuis-servertje-stadium' al voorbij.

[nilski]

Tot dusver bedankt voor de tips.
Kort samengevat begrijp ik dat ik de swap klein moet houden.
De reden om een swap op beide partities te maken met prio 1 was dat het dan net als met RAID0 naar beide disks swapt. Ik had gelezen dat een RAID0 swap je systeem onderuit kan halen in geval van corruptie.
Lezen van een RAID0 levert geen snelheidswinst. (gek, altijd gedacht van wel!)


Om een kort verhaal langer te maken..
Ik wou een universeel kastje maken voor diverse toepassingen.

De twee voornaamste hiervan zijn:
- Multimedia om foto's en films te kijken en muziek te luisteren.
- VMware om testinstallaties te doen.

De bedoeling is om alles via webinterfaces remote kunnen beheren.
Tot slot wou ik hem ook als downloadmachine gebruiken.

Ik moet nog kijken wat ik fysiek op de PC laat draaien en wat in een VM.
Die downloads kan ik ivm. veiligheid misschien beter in een VM draaien.

[ Voor 24% gewijzigd door nilski op 08-02-2009 19:54 . Reden: uitbreiden info ]

[Boudewijn]

Ligt er een beetje aan, wat voor downloads.
Kijk, als jij dik gaat lopen te decoden en film kijken zullen je VMs niet echt geweldig presteren.

Als je daarmee kunt leven is het een prima systeem, zo niet moet je gewoon meer geheugen hebben vrees ik.

Voor test-installaties , zoals je nu aangeeft, is wat traagheid denk ik (!) geen issue.

[nilski]

Decoden kan ik doen wanneer het systeem idle draait.
Als ik een film kijk hoeven die VMs ook niet veel te doen (tenzij mijn vriendin kijkt en ik werk op de VMs.. hmm)

Het topic had ik beter kunnen formuleren: "(on-)zinnige RAID partitionering" ofzo was misschien een betere titel geweest.

Maar om de vraag anders te formuleren. Als 1 disk crascht moet hij met 1 disk kunnen opkomen. Dat de RAID0 data verloren is neem ik dan voor lief.
Vandaar dus een RAID1 met het OS en de programma's en een RAID0 partitie voor VMs en andere niet belangrijke data.

Ik was bang dat het systeem dan performance moest inboeten wanneer deze partities op dezelfde disks zijn.
In de VMs wordt vaak geschreven naar disk dus dan is een RAID0 iig zinvol lijkt me. Dat lezen geen winst oplevert is dan jammer.

[Boudewijn]

Dan is raid1 okay. Software raid is sowieso wel een performance hit.
Ik heb in mijn e326 server (dual 252, zwik geheugen, 2 spinpoint 1TB modellen ) op de onboard controller een raid array liggen met de spinpoints, en na 38Mb per seconde houdt het gewoon op.
De load is dan hoog geworden, en een film kijken zit er dan echt niet meer in (als in: de load > 8.... films kijk ik er niet mee in de colo).

Vraag is dus of je daar nou heel blij van moet worden.
Afaik is raid1+raid0 op 1 disk niet een grote performancehit.

[laurencevde]

Raid0 heeft in principe alleen echte invloed op de sequentiële lees/schrijf-snelheden, en meestal een kleine verslechtering in latencies(lees/schrijf-actie is pas voltooid als beide schijven klaar zijn).
Raid1 kan, met een goede implementatie, 2x zo snel lezen, en lees-latencies (vooral van gelijktijdige activiteit) verminderen, maar schrijf-acties niet.
Swap op raid is een nutteloze extra laag, en 2 swap-partities met dezelfde prioriteit geven op zijn minst hetzelfde effect. Ook op machines met veel geheugen is swap niet nutteloos: ongebruikte data kan ernaartoe, zodat er meer ruimte is voor (bijv.) cache, en zodra iets na lange tijd toch weer nodig wordt, is het zo weer uit swap gehaald; en je hebt op linux swap nodig om te kunnen hibernaten.

[Boudewijn]

Ja het is alleen de vraag of je die dingen wel op swap wil hebben. Als het langere termijn storage is, wil je het niet in swap-space hebben voor als je een reboot maakt.
Voor korte termijn storage is het zo traag als de pest .

Een server + hibernaten lijkt me een aparte combinatie trouwens.

[nilski]

OK, dus RAID1 levert zelfs performance winst op! Daar had ik nog helemaal niet mee gerekend.

En server en hibernation tja, het wordt niet een serieuze server in de zin dat het per se 24/7 moet draaien.
Het is een hobby-projectje en hibernation zou best eens handig kunnen zijn. (Het komt ten slotte in de woonkamer in een HTPC kastje)

Na alle afwegingen lijkt me dat het "gewoon" 1 hele RAID1 wordt. (en een swap op elke schijf met prio 1)
Wat kan ik fout doen met RAID1 inrichten? Ik was van plan deze handleidingen te volgen:
https://help.ubuntu.com/community/Installation/SoftwareRAID en http://ubuntuforums.org/showthread.php?t=408461

[Spider.007]

laurencevde schreef op maandag 09 februari 2009 @ 01:04:
Raid0 heeft in principe alleen echte invloed op de sequentiële lees/schrijf-snelheden, en meestal een kleine verslechtering in latencies(lees/schrijf-actie is pas voltooid als beide schijven klaar zijn).

Heb je hier onderbouwing voor? Uiteraard moet je wachten op de traagste schijf; maar twee schijven die bv 8ms seektime hebben zullen (in theorie) samen ook maar 8 ms seektime hebben

Raid1 kan, met een goede implementatie, 2x zo snel lezen, en lees-latencies (vooral van gelijktijdige activiteit) verminderen, maar schrijf-acties niet.

Volgens mij is dat puur theoretisch; heb je onderbouwing over welke softwarematige implementaties hier wel (of geen) gebruik van maken?

Swap op raid is een nutteloze extra laag [...]

Wat een onzin; twee keer zo snel is twee keer zo snel; swap-data wijkt hier immers niet af van andere data op de schijf?

[Seth4Chaos]

Spider.007 schreef op maandag 09 februari 2009 @ 10:13:
Wat een onzin; twee keer zo snel is twee keer zo snel; swap-data wijkt hier immers niet af van andere data op de schijf?

There's no reason to use RAID for swap performance reasons. The kernel itself can stripe swapping on several devices, if you just give them the same priority in the /etc/fstab file.

Bron: The Software-RAID HOWTO

[Boudewijn]

Vraag is dan wel of die striping van de kernel voor swapspace sneller is dan de striping voor raid.

[Spider.007]

Seth4Chaos schreef op maandag 09 februari 2009 @ 10:27:
[...]

[...]

Bron: The Software-RAID HOWTO

Hmm; ik had even over het hoofd gezien dat je meerdere swap-entries kan aanmaken welke dan automagisch al worden gestriped

[BCC]

Tja, ik heb liever dat alles op dezelfde manier meeloopt. Dus RAID -> LVM -> SWAP Partitie. Zeker als het blijkbaar toch geen performance impact heeft. En die 10 GB schijfruimte die het je dan extra kost is natuurlijk ook peanuts. Ik heb liever dat mijn server altijd opkomt .

[ Voor 13% gewijzigd door BCC op 09-02-2009 11:30 ]

[Boudewijn]

Mja je server 'komt ook op' zonder swap hoor .

[BCC]

True, maar de performance is dan natuurlijk om te huilen. Dat kan hij misschien beter uitblijven

[Seth4Chaos]

Voordeel is dat als je je swap buiten je raid om laat lopen het je minder schijfruimte kost, 2x4Gb lever dan ook 8GB swap op ipv 4GB als je het over RAID laat lopen. Niet dat dit echt een probleem zal zijn tegenwoordig met 1TB schijven maar toch...

Verder gebruikt mijn server eigenlijk nooit swap, als die gaat swappen is die zoiezo al trager dan normaal. Dus als jouw server alleen met swap goede performance levert zou ik eens denken aan geheugenuitbreiding.

[Boudewijn]

BCC schreef op maandag 09 februari 2009 @ 11:36:
True, maar de performance is dan natuurlijk om te huilen. Dat kan hij misschien beter uitblijven

Uhh als je server stelselmatig swapt is je performance ook al om van te huilen . Tijd voor nieuw\meer geheugen dan (of minder (zware) taken).

Seth4Chaos, hoezo zou 2x4gb swap in raid geen 8gb opleveren? of wil je je swap in raid1 doen?

[Seth4Chaos]

Boudewijn schreef op maandag 09 februari 2009 @ 12:37:
Seth4Chaos, hoezo zou 2x4gb swap in raid geen 8gb opleveren? of wil je je swap in raid1 doen?

Dit is inderdaad in het geval van raid1, ik heb mij systeemschijven eigenlijk altijd in raid1 staan (prive+werk).

[Boudewijn]

Ja maar swap in raid1 is echt zinloos lijkt me?

[BCC]

Ik heb het in Raid 1 staan. Dan weet ik tenminste 100% zeker dat als er een schijf uitklapt, mijn OS gewoon netjes door blijft draaien.

[nilski]

Gisteren ben ik maar eens begonnen.
1. De ubuntu-8.10-alternate-amd64.iso gedownload.
2. Backup gemaakt van de data
3. Nav. de aanwijzingen van Ubuntu en wat enthousiastelingen de setup gestart.

Bij het opstarten wordt automagisch mijn SATA herkend en dmraid geladen. Als ik vervolgens in Partitioning voor Manual kies krijg ik alleen de optie om voor een 2TB partitie te kiezen. Maw. de fakeraid wordt herkend.

Wat ik echter wil is met mdadm een softraid aanmaken. Dat onderscheid had ik eerst nog niet goed begrepen. Deze optie ontbreekt dus bij mij.

Ik heb geprobeerd met de Live CD op te starten maar toen was ik nog niet zover dat ik aan mdadm dacht.. ik heb toen dmraid geladen en vervolgens zag ik 3 extra devices; /dev/bladibla /dev/bladibla1 en /dev/bladibla5
Deze partities stonden op unknown. Waarschijnlijk nog een configuratie die ik had geprobeerd met de Alternate CD. Wat ik kon heb ik verwijderd met gparted.
Ik kon echter nergens partites aöls RAID aanmaken. Ook niet toen ik mdadm geinstalleerd had (en dmraid verwijderd)

Vanavond ga ik het nog eens proberen. Misschien een andere distro gebruiken..

[gertvdijk]

Je moet je fakeraid controller eerst uitzetten of de schijven niet meer toe laten wijzen eraan. Dat kan in het BIOS van je mobo of het 'BIOS' van de controller die ook bij de POST verschijnt met de toets waarmee je de setup in gaat. Pas als de schijven weer 'los' aan je controller hangen kan je met mdadm aan de slag. Dat je schijven nu niet los worden herkend is maar beter ook, want anders zouden bestaande fakeraid arrays snel stuk gaan.

[nilski]

In de BIOS staan ze op AHCI, niet op RAID (ook niet op SATA)
Vanaf versie 2.6.19 zou dat door Linux volledig ondersteund worden.
Heb er hier een leuk artikel over gevonden: Wikipedia: Advanced Host Controller Interface
Intel recommends choosing RAID mode on their motherboards (which also enables AHCI) rather than the plain AHCI/SATA mode for maximum flexibility, due to the issues caused when the mode is switched once an operating system has already been installed

[ Voor 80% gewijzigd door nilski op 10-02-2009 13:20 ]

[nilski]

Het begint er inmiddels op te lijken. Ik heb "guided partitioning" gekozen en krijg uiteindelijk toch de optie RAID aan te maken (mdadm) Je moet wel geduld hebben zeg

Hoe ik die /boot op moet zetten snap ik nog niet helemaal, misschien zijn daar nog tips voor?
Ik ben aan het proberen en heb een partitie van gelijke grootte op beide disks voor /boot (op sdb is ie nog leeg)

Ik las een stuk van iemand die meende dat je met twee gelijke schijven beter aan het einde van de disk kan beginnen. Is daar een verklaring voor?

[gertvdijk]

nilski schreef op dinsdag 10 februari 2009 @ 20:28:
Hoe ik die /boot op moet zetten snap ik nog niet helemaal, misschien zijn daar nog tips voor?
Ik ben aan het proberen en heb een partitie van gelijke grootte op beide disks voor /boot (op sdb is ie nog leeg)

Gewoon een kleine (100MB ofzo) partitie (liefst aan het begin van de schijven) maken in RAID1 of geen RAID. Vervolgens die als mointpoint /boot opgeven in de installer. Rest gaat automagisch, als het goed is. Als je alles in RAID1 hebt staan en geen lvm gebruikt kan je ook alles in je / houden. Toch is het aan te raden om een aparte /boot te maken, voor het geval je later nog dingen wil wijzigen in je config of aan de slag gaat met lvm e.d.

Zo'n /boot is ervoor om Grub je initramfs te laten laden die meer snapt dan alleen simpele ext2/fat filesystem en daarmee dus ook kan booten met een / op LVM, RAID5, etc etc

nilski schreef op dinsdag 10 februari 2009 @ 20:28:
Ik las een stuk van iemand die meende dat je met twee gelijke schijven beter aan het einde van de disk kan beginnen. Is daar een verklaring voor?

Wat bedoel je?

[ Voor 19% gewijzigd door gertvdijk op 10-02-2009 20:32 ]

[nilski]

ik kan bij het partitioneren kiezen om de partitie aan het begin of het einde van de beschikbare ruimte op de schijf te plaatsen.

[BCC]

De binnenrand van de HD is sneller dan de buitenrand ivm de hogere datadichtheid. Theoretisch wil je dus je boot aan de buitenkant en swap aan de binnenkant. In de praktijk ga je hier geen zak van merken.

[nilski]

ik ben een praktisch mens, heb het overzichtelijk ingedeeld met /boot aan het begin

/boot 100MB
swap 8GB (op elke schijf, baat het niet dan schaad het niet?)
/ 500GB in RAID1
/home rest in RAID0

es uitproberen of dat werkt
formateren duurt wel ontzettend lang, ik zal het een nachtje aan laten staan, kijken of er wat gebeurt.
(er lijkt niets te gebeuren)

een nachtje later is er toch wat gebeurd, de setup wachtte geduldig op mij
vanavond meer, moet naar werk.

[ Voor 83% gewijzigd door nilski op 11-02-2009 06:54 . Reden: correctie ]

[nilski]

Ik heb de boel draaien. Het was eigenlijk alleen een kwestie van geduld..
Nu zou ik het willen benchmarken. Weet iemand hoe ik dat het beste doe?

Misschien is een knoppix-cd oid. met een tooltje het beste om te testen zodat allerlei services niet en verkeerd beeld geven?

[Boudewijn]

Knoppix+bonnie?

[nilski]

thnx, ga ik proberen!

[it0]

Op het formateren van raid hoef je nooit te wachten.
Verder raad ik je aan om lvm op je raid0 te gebruiken.

[Boudewijn]

En waarom raad je dat aan?

[it0]

Omdat je zo je vm's beter kunt scheiden en managen, het is zeker geen eis, maar op lange termijn, zeker met disk uitbreidingen is het zeker aan te raden. En de overhead is toch te verwaarlozen.

[gertvdijk]

it0 schreef op maandag 16 februari 2009 @ 17:05:
Omdat je zo je vm's beter kunt scheiden en managen, het is zeker geen eis, maar op lange termijn, zeker met disk uitbreidingen is het zeker aan te raden. En de overhead is toch te verwaarlozen.

LVs bedoel je?
Ach, het maakt het in veel gevallen ook alleen maar gecompliceerder dan nodig is. Handig is het wel, als je het door hebt en kan.

[u_nix_we_all]

Boudewijn schreef:
Ja maar swap in raid1 is echt zinloos lijkt me?

Als het je alleen om zekerheid van je data bij diskuitval gaat, is mirroren van je swap niet nodig, maar als je wilt dat je server doordraait als er een schijf uitvalt, zou ik de swap ook mirroren. (Wegvallende swap -> kernel panic -> server down)

Oh, dat had BCC ook al geschreven dus ....

[ Voor 20% gewijzigd door u_nix_we_all op 16-02-2009 18:27 ]