[RAID]1 of 2 controllers

[Verwijderd]

Hoi allen,

Ik ben van plan een server in elkaar te zetten met 24 SATA-II schijven in RAID aan een Intel 5000PSLSATA 5000P serverbordje. Nu speelt er bij mij de vraag of het qua snelheid iets uitmaakt of ik 2 PCI-Express controllers met 12 poorten, of 1 met 24 kies.
Het lijkt mij zo dat als je er 2 naast elkaar hebt, dat ze ook hun eigen processor hebben. En wanneer er dus acties naar de verschillende RAID-sets zijn dat sneller uitgevoerd kunnen worden dan dat die verchillende RAID-sets aan 1 controller hangen.
De keuze van de RAID-controller staat nog niet helemaal vast, maar word/worden waarschijnlijk:
1x 3ware-9650SE-24M8, of 2x 9650SE-12ML

Iemand een idee wat sneller is? 2x 12 of 1x 24?

[Pingelmonster]

Volgens mij, als je een bestand zou verplaatsen van de ene hdd op controller 1 naar de andere hdd op controller 2 deze transfer over de PCI-e bus gaat en dus langzamer dan een transfer van hdd naar hdd op één controller...

Ik zou in dat geval kiezen voor één controller met 24 poortjes

[ Voor 20% gewijzigd door Pingelmonster op 15-02-2007 15:45 ]

[Verwijderd]

misschien even in dit topic kijken, eventueel ook daar even je vraag stellen, hangen aardig wat members rond met veel ervaring op RAID-gebied:

http://gathering.tweakers.net/forum/list_messages/1189891/10

[Verwijderd]

@t.vandenhurk:
Goed punt. Had ik er even bij moeten zeggen. Dit is niet mijn hoofddoel van die twee kaarten. Sterker nog: Ik hoop zo weinig mogelijk van de ene naar de andere set te moeten kopieren dan wel verplaatsen. Het gaat echt om performance in de zin van data gedeeld in het netwerk. Dus gebruikers moeten er naar kunnen schrijven en van kunnen lezen met een zo groot mogelijke snelheid.

[Pingelmonster]

Verwijderd schreef op donderdag 15 februari 2007 @ 15:35:
@t.vandenhurk:
Goed punt. Had ik er even bij moeten zeggen. Dit is niet mijn hoofddoel van die twee kaarten. Sterker nog: Ik hoop zo weinig mogelijk van de ene naar de andere set te moeten kopieren dan wel verplaatsen. Het gaat echt om performance in de zin van data gedeeld in het netwerk. Dus gebruikers moeten er naar kunnen schrijven en van kunnen lezen met een zo groot mogelijke snelheid.

Ik weet niet precies wat de bandbreedte van PCI-e is. De bandbreedte van PCI is 133Mb/s, die bandbreedte is niet per PCI-sleuf, maar in mijn geval wordt dat verdeeld over 5 PCI-sleufjes.

Als ik dus 2 RAID-controllers laat werken wordt die 133MB/s dus opgesplitst naar 66MB/s (theoretisch gezien). Ik zou dan nog voor één controller met 24 poortjes kiezen, gewoon om die PCI-e bandbreedte zo optimaal te kunnen gebruiken.

[Verwijderd]

Ik neem aan dat de interface PCIe x8 is? Dat komt neer op 4GB/s; ruim voldoende voor zelfs de grootste RAID controllers lijkt mij. Bovendien is deze bus dedicated en full-duplex.

Blijft over je vraag over eigen IO-processor. Zou je twee RAID5-arrays hebben dan zou het denk ik inderdaad sneller zijn als je die op een eigen controller laat draaien. Maar de vraag is: wat is je array indeling en worden arrays ook tegelijk gebruikt? Welk access pattern verwacht je (veel sequentieel of juist sterke random I/O?).

[MrBarBarian]

Ehm, wat is het doel van je raid-setup? Ik gok dat het een raid1/5 set wordt...

Wat als er een controller kapot gaat?

[Verwijderd]

Verwijderd schreef op donderdag 15 februari 2007 @ 16:10:
Ik neem aan dat de interface PCIe x8 is? Dat komt neer op 4GB/s; ruim voldoende voor zelfs de grootste RAID controllers lijkt mij. Bovendien is deze bus dedicated en full-duplex.

Blijft over je vraag over eigen IO-processor. Zou je twee RAID5-arrays hebben dan zou het denk ik inderdaad sneller zijn als je die op een eigen controller laat draaien. Maar de vraag is: wat is je array indeling en worden arrays ook tegelijk gebruikt? Welk access pattern verwacht je (veel sequentieel of juist sterke random I/O?).

Yep, PCIe x8. Dus dat moet inderdaad wel gaan lukken.

Ik ben inderdaad van plan RAID5-arrays te maken. De access pattern (ik kende de term niet) wordt hoofdzakelijk veel sequentiele I/O. Hoegenaamd geen random.

@MrBarBarian:
Ja, controllers kunnen kapot gaan. Maar wat wil je er in dit verband precies mee zeggen of vragen?

[Femme]

Of je één of twee controllers moet gaan gebruiken hangt ook samen met de vraag hoeveel arrays je wilt gaan maken. Als het één grote array wilt gaan gebruiken zul je bij twee controllers vaak met software striping moeten werken.

De bandbreedte van de PCIe bus is niet boeiend omdat geen enkele intelligente RAID-controller die kan vullen. Alleen een Areca komt een beetje in de buurt met cache transfers.

Verder biedt zo'n 3ware ook niet echt geweldige prestaties. De Areca ARC-1280 is een veel betere keuze. Eventueel kun je ook twee stuks Areca ARC-1231ML nemen.

[MrBarBarian]

Verwijderd schreef op donderdag 15 februari 2007 @ 17:03:
@MrBarBarian:
Ja, controllers kunnen kapot gaan. Maar wat wil je er in dit verband precies mee zeggen of vragen?

Dat je behoorlijk weinig aan een raidset hebt als je slechts een controller gebruikt. Wat als die kapot gaat?

We hebben het over redundancy (Raid ) toch?

[Verwijderd]

Femme schreef op donderdag 15 februari 2007 @ 17:21:
Of je één of twee controllers moet gaan gebruiken hangt ook samen met de vraag hoeveel arrays je wilt gaan maken. Als het één grote array wilt gaan gebruiken zul je bij twee controllers vaak met software striping moeten werken.

De bandbreedte van de PCIe bus is niet boeiend omdat geen enkele intelligente RAID-controller die kan vullen. Alleen een Areca komt een beetje in de buurt met cache transfers.

Verder biedt zo'n 3ware ook niet echt geweldige prestaties. De Areca ARC-1280 is een veel betere keuze. Eventueel kun je ook twee stuks Areca ARC-1231ML nemen.

Wat een verschrikkelijk goede tip van je, die ARC-1280! Had de offerte er al bijna doorheen. Heb nu toch maar even een aanpassing gedaan.
Ook fijn dat ie is opgenomen in de laatste kerneltree. Geen gezeur met hosti-toshi-achtige procedures om de kernel te patchen. (spreek uit een slechte ervaring met de RocketRAID1820a)

Wat voor sets ik nu van plan ben te gaan draaien wordt een beetje afhankelijk van het resultaat van mijn benchtests denk ik. Uiteindelijk mogen het van mij gewoon hele grote volumes worden.

Deze test http://tweakers.net/reviews/639/6 wijst namelijk, zoals ik het lees, uit dat hoemeer schijven je in een set stop hoe rapper 'ie wordt.

[ Voor 2% gewijzigd door Verwijderd op 15-02-2007 22:50 . Reden: Even iets over het hoofd gezien ]

[Verwijderd]

MrBarBarian schreef op donderdag 15 februari 2007 @ 21:27:
[...]

Dat je behoorlijk weinig aan een raidset hebt als je slechts een controller gebruikt. Wat als die kapot gaat?

We hebben het over redundancy (Raid ) toch?

Het wordt een backup voor een ander, dus dat probleem gaan we juist oplossen.

[Paul]

MrBarBarian schreef op donderdag 15 februari 2007 @ 16:12:
Ehm, wat is het doel van je raid-setup? Ik gok dat het een raid1/5 set wordt...

Wat als er een controller kapot gaat?

Het blijft SATA en geen SAS. Die vraag is dus (op mogelijk een reserve kaart op de plank leggen na) niet heel erg van belang, controller-redundancy lukt je toch niet aangezien je 1 sata-schijf maar aan 1 controller kunt hangen

Ik zou zeggen, als je dan toch meerdere arrays maakt met geen / weinig verkeer onderling, dat 2 controllers sneller is: 2x zover processorkracht, 2x zoveel cache en 2x zoveel bandbreedte (al is dat op PICe 8x niet echt een issue )

Daarbij ga ik er dan wel vanuit dat beide arrays (ongeveer) even zwaar belast worden. Wordt de ene zwaarder belast dan de andere dan zit je de verhouding disks <> random IO aan te passen.

[MrBarBarian]

Paul Nieuwkamp schreef op vrijdag 16 februari 2007 @ 10:37:
[...]
Het blijft SATA en geen SAS. Die vraag is dus (op mogelijk een reserve kaart op de plank leggen na) niet heel erg van belang, controller-redundancy lukt je toch niet aangezien je 1 sata-schijf maar aan 1 controller kunt hangen

offtopic:
Je snapt het niet! Het medium waar het opstaat maakt niet uit! Een mirror kan op 1 disk draaien. Dus als een controller ermee kapt draaien al je mirrors op 1 disk, wat opzich geen drama is voor je availebility (al is uiteraard actie wel vereist).

Wat het medium in deze is (sata/sas/ata/tape/cd) boeit niet, zolang je OS maar tegen het md-device kan praten,

Maar aangezien TS zegt dat ie al een soort backup omgeving aan het maken is, maakt het blijkbaar niet uit

[Paul]

MrBarBarian schreef op vrijdag 16 februari 2007 @ 17:16:
[...]

[offtopic]
Je snapt het niet! Het medium waar het opstaat maakt niet uit! Een mirror kan op 1 disk draaien. Dus als een controller ermee kapt draaien al je mirrors op 1 disk, wat opzich geen drama is voor je availebility (al is uiteraard actie wel vereist).

Jij wilt dat hij, met 24 schijven, raid 51 gaat draaien? Je beseft je dat je dan maar 11 schijven overhoudt he?

Anders snap ik je inderdaad niet. SAS is afaik de enige waarbij je (intern dan, heb het niet over FC ofzo) 1 schijf aan 2 controllers kunt hangen.

[MrBarBarian]

Paul Nieuwkamp schreef op vrijdag 16 februari 2007 @ 18:02:
[...]
Jij wilt dat hij, met 24 schijven, raid 51 gaat draaien? Je beseft je dat je dan maar 11 schijven overhoudt he?

Anders snap ik je inderdaad niet. SAS is afaik de enige waarbij je (intern dan, heb jet niet over FC ofzo) 1 schijf aan 2 controllers kunt hangen.

Aangezien TS geen raid-level noemt, hij om (om watvoor reden dan ook) voor een mirror kunnen kiezen ja .. Een raid 5 set is logischer, maar dan nog zou ik niet kiezen voor 1 controller

[Verwijderd]

Femme schreef op donderdag 15 februari 2007 @ 17:21:Verder biedt zo'n 3ware ook niet echt geweldige prestaties. De Areca ARC-1280 is een veel betere keuze. Eventueel kun je ook twee stuks Areca ARC-1231ML nemen.

Waar is dit op gebaseerd? Ik zit er namelijk aan te denken om een 3ware 9650SE-8LPML aan te schaffen voor een fileserver en deze komt vrij goed uit een test van Tom's hardware guide;
http://www.tomshardware.c...r-smb-servers/page12.html

De oude kaarten waren idd niet echt geweldig, maar dit kwam geloof ik voornamelijk omdat ze een nieuwe speler op de markt waren. Inmiddels is de performance flink verbeterd, althans uitgaande van bovenstaande test uit december 2006.

Het is veel geld, vandaar dat ik heel nieuwsgierig ben waarom deze niet goed zou werken. Als OS wordt de nieuwste 2.6 kernel genomen icm Debian. Zowel 3ware als Areca kaarten zitten d8 ik native in de kernel. Maar ik heb helaas nog geen test kunnen vinden waarin deze kaarten onder Linux gebruikt werden.

[ Voor 12% gewijzigd door Verwijderd op 29-03-2007 23:51 ]

[BalusC]

Gebruikerservaring denk ik. Zie ook http://tweakers.net/reviews en http://tweakers.net/benchdb