[RAID]Meer dan 32 SATA II disks in één RAIDSet

[Verwijderd]

Hoi allemaal,

Ik ben op zoek naar een PCI Express RAID Controller waar ik meer dan 32 disks in één RAIDSet kan proppen.
En dan graag ook nog ondersteund door Linux.
Iemand enig idee of die bestaan?
En zo ja: Hoe heten ze, en waar vind ik ze?

Ik heb nu de Areca 1680ix met 2x SAS Expander Card. Daarmee kan ik er wel 48 aansluiten, maar nog steeds maximaal maar 32disks in één RAIDSet stoppen.

[muppet99]

Wat ik mij afvraag... Waarom?

Hoe meer schijven in je Raidset hoe groter de kans dat er meerdere schijven uitvallen, waardoor je hele raidset naar de digitale hemel vertrekt. En dan nog buiten beschouwing gelaten.... de rebuildtijden. Wil jij echt dagen gaan wachten op een rebuild van je array?

[ Voor 25% gewijzigd door muppet99 op 17-09-2010 12:58 ]

[Verwijderd]

Ik weet er zo geen, maar is het geen optie om 2 RAID sets te maken en hier een LVM overheen te zetten op Linux?

[wasted247]

Raid Controller spanning heet dit als je het over meerdere controllers doet, er zijn er een aantal die het ondersteunen.

Verwijderd schreef op vrijdag 17 september 2010 @ 16:00:
Nee, RAID controller spanning is dat je 1 RAID set over meerdere controllers kunt verdelen. Dit zegt helemaal niks over het aantal disks dat er in die configuratie in 1 RAID set gebruikt kan worden.

Uiteraard dien je vervolgens zelf te bekijken wat er wel of niet in een array past... Ik gaf alleen een optie hoe je het aantal sata poorten kunt krijgen. Daarnaast zou het zomaar kunnen zijn dat bij controller spanning andere restricties gelden.

[ Voor 70% gewijzigd door wasted247 op 18-09-2010 10:56 ]

[Verwijderd]

nvm.... ik lees niet goed

[ Voor 92% gewijzigd door Verwijderd op 17-09-2010 12:47 ]

[ItsValium]

Je zou ook kunnen gaan kijken naar een controller die expanders ondersteund en zo een groter aantal disks kan aansturen. Echter vraag ik mij dus ook af net als anderen waarom je dit zou willen doen. Hoe groter de RAIDset hoe groter het risico op fouten/dataverlies.

Je zal moeten gaan zoeken naar controllers die meer dan 32 disks aankunnen in één set, daarvoor zal je in de technische fiches van de verschillende fabrikanten moeten gaan zoeken.

[ Voor 25% gewijzigd door ItsValium op 17-09-2010 12:56 ]

[Verwijderd]

Verwijderd schreef op vrijdag 17 september 2010 @ 12:33:
Ik weet er zo geen, maar is het geen optie om 2 RAID sets te maken en hier een LVM overheen te zetten op Linux?

Ja, daar zat ik zelf ook aan te denken, maar ik wil het graag simpel houden. Althans, zo simpel mogelijk.
Al die lagen die elkaar maar voor de gek houden... RAID -> Volumes -> LVM eroverheen -> Daar weer een filesystem op...

Voor wat betreft de vraag waarom één volume:
Simpel: Omdat dat dat zo lekker makkelijk werkt.
En het is relatief goedkoop met RAID6.

Wat betreft de betrouwbaarheid:
Om die reden had ik voor Areca gekozen. Goede ervaringen mee uit het verleden met 24Disks in één RAID6-Set. Goed genoeg in elk geval om het aan te durven met die 48 van nu.
En de verkoper heeft mij bedrogen door te zeggen dat ze in één set konden
Maargoed, als we doorgaan over de waaromvraag, dan geraken we misschien weer een beetje buiten de scope van initieel mijn vraag.


Voorts, bedankt voor de reacties. Met dat spanning kan ik misschien inderdaad wel wat.

[PeterPan]

De HP P212, P411 en P812 kunnen respectievelijk maximaal 54, 100 en 108 disks aan maar mij is niet duidelijk of die ook allemaal deel kunnen uitmaken van 1 RAID set.
Het probleem met de HP documentatie is dat ze alleen maar specificeren wat er met hun eigen servers en disken kan. Zo heb ik een P410 met 8 2TB consumer SATA disken wat natuurlijk volgens de datasheets helemaal niet mogelijk is wat HP heeft geen 2TB SATA disks.

Ik vrees dat je hier nooit achter gaat komen zonder zelf te experimenteren maar wie heeft er 32, 48 of meer lege disks thuis liggen om mee te spelen?

Edit: in de specs van de P212 staat er expliciet dat er ondersteuning is voor logical drives tot 180TB. Bij de rest van de controllers kan ik hier niets over vinden.


Wat je in ieder geval zou kunnen doen is je vraag aan Areca voorleggen, hun support is volgens mij vrij aardig.

[ Voor 10% gewijzigd door PeterPan op 17-09-2010 13:59 ]

[Verwijderd]

Bedankt PeterPan!
Juist naar aanleiding van het antwoord van Areca op de vraag, heb ik deze post gedaan.
Areca ondersteunt niet meer dan 32disks in één RAID. En dat is nu dus officieel

[Verwijderd]

wasted247 schreef op vrijdag 17 september 2010 @ 12:38:
Raid Controller spanning heet dit als je het over meerdere controllers doet, er zijn er een aantal die het ondersteunen.

Nee, RAID controller spanning is dat je 1 RAID set over meerdere controllers kunt verdelen. Dit zegt helemaal niks over het aantal disks dat er in die configuratie in 1 RAID set gebruikt kan worden.

Verwijderd schreef op vrijdag 17 september 2010 @ 15:03:
Bedankt PeterPan!
Juist naar aanleiding van het antwoord van Areca op de vraag, heb ik deze post gedaan.
Areca ondersteunt niet meer dan 32disks in één RAID. En dat is nu dus officieel

En dat heb ik ook al in de documentatie van hun 1880 controller gezien, al weet ik zo niet of dat bij de 1680 ook al gedocumenteerd was.

[gnimmeL_kraD]

Wat ben je er uberhaupt van plan mee te doen? Misschien zijn er slimmere opties om het doel te bereiken.

[Verwijderd]

@Collie:
Sorry. Ik had het er niet bij gezet. Maar het feit dat het nu officieel was, betrof dus maximaal 32 disks in één RAIDSet op de 1680ix. (die ik dus heb).

@gnimmel_kraD
Wat ik van plan ben ermee te gaan doen:...
Het plan WAS om er 1 RAIDSet op te maken van 46 Disks

[gnimmeL_kraD]

Verwijderd schreef op vrijdag 17 september 2010 @ 16:17:
@gnimmel_kraD
Wat ik van plan ben ermee te gaan doen:...
Het plan WAS om er 1 RAIDSet op te maken van 46 Disks

Dat begrijp ik ja

Maar ik beoelde meer van wat je er echt mee gaat doen? Ga je het bijvoorbeeld inzetten voor backup of shared storage voor meerdere systemen ofzo? Is het voor thuisgebruik of ga je het ophangen in een datacenter (19" racks in mind), enz.

[Verwijderd]

Het inzetplan is: Shared Storage. Met wisselende load.
Ene keer veel sequentiële bestandstoegang. (Grote files maken, veel lezen. Weinig schrijven)
Andere keer weer recursief files en directories aanmaken en daarna gelijk weer weggooien.
Ook is een combinatie daarvan goed mogelijk: Ene gebruiker is druk files aan het maken van 4k per stuk, de andere gebruiker leest files in van 1TB per stuk.
Echter altijd zullen we veel opslagruimte moeten hebben, dat afhankelijk van de situatie qua verbruik wisselt.
Ook is het gebuik (qua volume) ook heel wisselend. We hebben tempdirectories die op 1 dag kunnen groeien van 100Meg tot 4T.

Is dit een vollediger antwoord?

[gnimmeL_kraD]

Volgens mij heb je dan niet één raidset nodig, maar kan het makkelijk met meerdere raid sets. Gewoon slim omgaan met het verdelen van je LUN's. Weet je overigens zeker dat SATA genoeg snelheid kan bieden voor een shared storage waar zoveel data in omgaat?

[Verwijderd]

Snelheid qua potentie moet voldoende zijn met deze schijven icm deze RAID kaart.
De ervaring leert dat iedereen bij ons blijer wordt van grote volumes.
Anders gezegd:
De ervaring leert dat iedereen altijd tegen de volumegrootte barrière op zit te hikken. 1 Volume heeft ook maar 1 barrière; da's lekker

[voodooless]

Spannend spul

Hoeveel gebruikers gaan ermee werken, en hoe gaan ze de data benaderen, direct op de machine, of via NFS, CIFS, iSCSI... anders?

En niet geheel onbelangrijk: wat mag het kosten?

[Verwijderd]

Zo'n 10 gebruikers tegelijk. Maximaal
Via CIFS, NFS en direct op de machine. Leuk he?

Deze config was zo'n 34.000 euro.

[DarkHelmet]

Volgens mij is het veel simpeler om het toch met software op te lossen.

Kijk eens naar Veritas Storage Foundation. Een Enterprise software oplossing voor dergelijke vraagstukken.
Maakt het uitbreiden ook veel eenvoudiger, omdat de hardwarelaag (en OS) eronder in principe niet meer uitmaakt. Je huidige hardware hoef je dan niet weg te gooien.

Het is in feite storage virtualisatie. Er is overigens een gratis versie van Storage Foundation, daarmee kan je zo aan de slag.

[ Voor 23% gewijzigd door DarkHelmet op 17-09-2010 22:37 ]

[John2B]

Highpoint heeft:

Multiple card support within a system for large storage requirements

Waarbij je meerdere RAID controllers in een systeem dmv een kabeltje aan elkaar koppeld, en de controller 1 RAIDSET presenteerd aan het OS.

[voodooless]

Een andere softwareoplossing zou een overstap naar (Open)Solaris, NexentaStor. ZFS bied je precies de voordelen die je wil hebben, zoals goede optimalisatie voor concurrent data stromen, makkelijk volume beheer, en eenvoudige uitbreidbaarheid en goede performance. Wil je toch directe toegang onder linux, kun je denken aan iSCSI over 10Gbit als het echt snel moet zijn.

[Q]

Verwijderd schreef op vrijdag 17 september 2010 @ 12:30:
Hoi allemaal,

Ik ben op zoek naar een PCI Express RAID Controller waar ik meer dan 32 disks in één RAIDSet kan proppen.
En dan graag ook nog ondersteund door Linux.
Iemand enig idee of die bestaan?
En zo ja: Hoe heten ze, en waar vind ik ze?

Ik heb nu de Areca 1680ix met 2x SAS Expander Card. Daarmee kan ik er wel 48 aansluiten, maar nog steeds maximaal maar 32disks in één RAIDSet stoppen.

Klinkt tof. 48 2 TB disks

Er is een relatief makkelijke oplossing die vrijwel gegarandeerd gaat werken. Maar ik weet niet of je er blij van wordt.

Je gaat namelijk je peperdure Areca puur gebruiken om aan die 48 SATA / SAS aansluitingen te komen.

De RAID laat je doen door (mijn voorkeur) Linux RAID 6 of ZFS (FreeBSD).

Zo draai ik ook, maar dan met een elcheapo HighPoint Rocket Raid:

16 disks op de Rocket RAID en 4 op het moederbord in 1 grote RAID 6.

De grote vraag is of de random IO performance goed genoeg zal zijn voor jouw doeleinden.

DAMN

server:/storage/raid# mdadm --create /dev/md10 --level=6 --raid-devices=27
mdadm: You haven't given enough devices (real or missing) to create this array
server:/storage/raid# mdadm --create /dev/md10 --level=6 --raid-devices=28
mdadm: invalid number of raid devices: 28

Oude kernel, vanaf 2.6.30 kun je 28+ devices aan.

http://www.issociate.de/b...vices_in_raid6_array.html

Anyway, je kunt voor een 48 disk systeem makkelijk onder de 10K alleen is het chassis een issue. Kom je op 15K?