[Linux RHEL 3.0] grote block devices raid 0

[Verwijderd]

Ik ben momenteel bezig met een grote raid0 partitie te maken tbv een backup omgeving. Het zijn twee schijven van ieder 1 terabyte. allereerst mijn doorlopen configuratie;

* op iedere schijf 1 partitie aangemaakt (raid-partitie)
* /etc/raidtab aangemaakt
* mkraid uitgevoerd
* filesysteem aangemaakt

en daar gaat het fout, wanneer ik file systeem aanmaak kom ik uit op een partitie van 36 GB... ietswat aan de schrale kant ipv 2 TB....

[Wilke]

Even voor de duidelijkheid:

We hebben het hier dus over software RAID lijkt me? Het is me niet helemaal duidelijk hoe je aan schijven van 1 TB komt namelijk, bij mijn weten bestaan die dingen nog niet (of loop ik weer eens achter ofzo ).

Dan verder: je gaat een RAID0 partitie gebruiken om backups te maken In het kader van: als 1 schijf stuk gaat zijn m'n backups verdwenen? Of mis ik nu iets...

[Verwijderd]

het is een iets geavanceerdere opstelling dan je denkt. dit is namelijk een buffer unit voor de taperobots...

inderdaad bestaan schijven van 1 tb nog niet.. enkel in deze unit worden meerdere schijven in een soort hardware-raid tot 1 tb gevormd, en dat werkt prima... alleen wil ik deze in een software raid bundelen tot 2 tb

hoop dat het zo wat duidelijker is... kan niet veel specifieker op het systeem ingaan

[Wilke]

Okay, ik begon al het idee te krijgen dat het om leuke hardware ging

Anyway, ik dacht wel dat partities van 2 TB in principe moeten kunnen (maar weet het niet 100% zeker). Dan is dus een interessante vraag: je maakt met fdisk een partitie op die 2 TB-array. Kun je de uitvoer van een 'p(rint)' eens posten? Of anders gezegd: geeft fdisk wel aan dat die RAID0-partitie 2 TB groot is?

Zo nee, dan weten we iig waar we het moeten zoeken. Zo ja, dan is de vraag: welk filesystem gebruik je? Want ik weet niet of alle linux Filesystems wel overweg kunnen met partities van 2 TB. Dat zou je dan even moeten nazoeken. Maar als het al fout gaat bij de partitionering zelf dan ligt het daar natuurlijk niet aan...vandaar dat we eerst moeten weten op welk niveau het mis gaat

Edit: ff googlen enzo: iets over partitie groottes

Mike> I believe it is now 16TB per block device in 2.6, and patched
Mike> 2.4.

That's right for 32-bit systems with 4k pages. For 64 bit systems the
limit is over 8 Exabytes.

You should note that software raid has smaller limits, as does the
LVM.

Hmm

Meer tips

Perhaps you need to reconfigure the kernel with large block device support -- for volumes larger than 2TB, you need this.

--
What filesystem did you write to the partition?

If its ext3, you might have run up against one of the (many) ext3 volume limitation issues. For big huge fatty partitions reiserfs and xfs are the winners. If you can fdisk the volume at its full size then its not an LVM problem... looks fs.

^^ dat laatste is wat ik dus ook al zei

[ Voor 43% gewijzigd door Wilke op 01-11-2004 12:06 ]

[Verwijderd]

fdisk en dan een print van /dev/md0 ... misschien met je even helpen maar volgens mij kan dat niet.. als ik het niet mis heb;

partitie 1 : /dev/sdb1 - 1tb
partitie 2 : /dev/sdb2 - 1tb

en in /etc/raidtab vorm je van die twee;

/dev/md0

[Verwijderd]

volgens mij gaat het in de makeraid al fout, daar geeft hij aan dat de partitie maar 36GB is.... overigens wel met ext3

als je meer specs nodig hebt wilke.. laat het me weten..

[ Voor 21% gewijzigd door Verwijderd op 01-11-2004 12:17 ]

[Wilke]

Ah, je maakt dus rechtstreeks een FS aan op /dev/md0. Je zou ook kunnen proberen hem te partitioneren (fdisk /dev/md0). Moet dacht ik ook gewoon kunnen. Maar ik vermoed dat je dan hetzelfde resultaat gaat krijgen (maar probeer het eens?)

In dat geval kan Linux Software RAID misschien gewoon geen 2 TB aan, of moet je daarvoor speciale kernel opties aan/uit zetten. Het is niet alsof je dit soort grenzen dagelijks tegenkomt ofzo, dus ik weet 't niet

Software RAID/Filesystem problems? - lijkt erg veel op jouw probleem. Is al weer 2 jaar geleden, dus je zou echt denken dat het wel moet kunnen onderhand.

Met andere woorden: zijn jouw 2 partities echt precies 1 TB, of zijn ze toevallig net ietsje groter? Als het totaal voorbij de 2 TB grens gaat, werkt Software RAID blijkbaar niet zonder speciale kernel opties/patches (iig in 2002 niet, hoe het nu zit...who knows).

Dus misschien kun je de partities op beide hardware RAID-volumes ietsje verkleinen...zeg 20 of 50 GB elk ofzo. Misschien komt het totaal dan net onder de 2 TB en werkt alles dan wel naar behoren?

[ Voor 47% gewijzigd door Wilke op 01-11-2004 12:38 ]

[_JGC_]

raidtools2 met zn raidtab is IMHO nogal outdated, tegenwoordig heeft elke fatsoenlijke kernel RAID autodetection en kan je werken met mdadm.

Je partitioneert met fdisk je disken als RAID-autodetect, vervolgens kan je die 2 met mdadm koppelen en herkent je kernel aan de hand van signatures die in je partities worden geschreven hoe het zit met je RAID configuratie:

code:

md: Autodetecting RAID arrays.
md: autorun ...
md: considering hdc8 ...
md:  adding hdc8 ...
md: hdc7 has different UUID to hdc8
md: hdc6 has different UUID to hdc8
md: hdc1 has different UUID to hdc8
md:  adding hda8 ...
md: hda7 has different UUID to hdc8
md: hda6 has different UUID to hdc8
md: hda1 has different UUID to hdc8
md: created md3

Dat is een stukje uit de dmesg van mijn server die 4 RAID-1 arrays over 2 disken verspreid heeft. Zoals je ziet wordt automatisch md3 obgebouwd uit hdc8 en wordt de juiste partitie erbijgezocht. Het mooie van deze autodetect is dat als je een keer met een rescue disk boot, dat meteen je RAID setup gevonden wordt als de kernel support voor software RAID heeft.

[Verwijderd]

even in reactie op jullie zeer gewaardeerde hulp;

wilke... volgens mij zitten we inderdaad aan de 2TB grens:

3x 512 GB -> 1638 249 408 KB -> OK!
4x 512 GB -> 36849600 KB -> NIET OK!

met _JGC_ z'n oplossing zit ik nu even te stoeien... ik hou jullie wel op de hoogte, alhoewel het geen allerdaagse informatie is, lijkt het me wel nuttig?

[Verwijderd]

mmmm... die optie liet toch iets minder lang met zich stoeien;

mdadm geeft dus hetzelfde resultaat (< 2TB)

[Wilke]

Verwijderd schreef op 01 november 2004 @ 14:10:
wilke... volgens mij zitten we inderdaad aan de 2TB grens:

waarschijnlijk ga je er net zo'n 36 GB overheen; vandaar mijn voorstel om de beide terabyte-schijven net niet volledig te gebruiken (als je van elk 20 GB weglaat, heb je 40 GB minder in totaal, en zit je dus ws. net onder de 2 TB grens). Dat moet je gewoon kunnen opgeven en dan moet het werken.

Het alternatief is uitzoeken of die 2 TB grens van de Software RAID support te verhogen is. Welke kernel versie zit er bij RHEL 3.0? Zijn er patches (wellicht van RH zelf?) om hier iets aan te doen? Zijn er nieuwere kernel versies die dit al ingebouwd hebben (hoewel ik erg zou oppassen om een andere kernel op een RHEL machine te installeren)? Ik weet het niet, ik neem aan dat als je met zo'n setup bezig bent je ook het geld wel hebt om het desnoods Red Hat zelf voor te leggen (support call zal - als je al geen contract daarvoor hebt - waarschijnlijk een paar tientjes kosten ofzo)

[Verwijderd]

inderdaad is er geld voor een service contract;)

service request was al geplaatst, in eerste reactie komen ze met de reactie;

Good afternoon,
the limit for a block device (also including raid and lvm) in RHEL 3 is 1 TB.
I'm afraid that you will have to split the two devices.
Best regards

daar heb ik weer opgereageerd dat het reeds gelukt is om een 1.6 TB partitie te maken, en gevraagd of er een kernel patch oid bestaat om boven die 2 TB te komen.

tot die tijd gaan we met de workaround die < 2 TB is werken.

uiteraard zal ik weer verslag doen wanneer ik meer weet (als je wil natuurlijk )

[igmar]

Welke kernel versie hebben we het hier over ? In 2.6 zit LVM2, en die zit compleet anders in elkaar als de 2.4 LVM, met dus de kans dat dit probleem er dan ook niet meer is.

[Verwijderd]

we werken hier met de RHEL 3.0 2.4.21-15.0.4.ELSMP kernel ... de 2.6 kernel is bij mijn weten nog niet door Red Hat zelf gereleased (voor RHEL 3 that is).... ze hebben wel een aantal 2.6 modules erin gedaan die zij al goed hebben bevonden....

[ Voor 5% gewijzigd door Verwijderd op 01-11-2004 15:52 ]

[Verwijderd]

in aanvulling op de aanvulling van de aanvulling:

response van Red Hat;

1 TB is the max we support and we can guarantee it will work.
Indeed under certain HW/SW configurations it may be possible to access more that
this limit, but this would be something we will not guarantee.
There may be the possibility to have this limit increased in future updates, but
this is still in discussion and there is no more information about it yet.
So at the moment I would advice to keep the block devices in the supported
limits, even if it could be possible to find kernels that support.

[Verwijderd]

overigens wilke,

wanneer ik 100GB van een partitie afhaal... om zo die vermoedelijke headroom oid (36GB) te verliezen en strak tegen de limiet van 2TB aan te zetten werkt niet..