Advies RAID config

[Verwijderd]

Hallo,

een klant van ons heeft net een nieuwe server gekocht.
- Supermicro MB (type X7DA8 - http://www.supermicro.com.../Xeon1333/5000X/X7DA8.cfm)
- 2x Xeon 5140 @ 2.33GHz
- 4x 1GB RAM (4 slots vrij) - 2*2GB RAM gaf maar 2GB in OS & leverancier raadde me BIOS update af.
- PCI-X RAID controller (Areca ARC-1160 16 ports PCI-X to SATA-II RAID 6 Adapter - http://www.areca.com.tw/products/pcix.htm)
- 2x 72GB RAID1 (MB RAID) voor het OS
- 7x 1TB (7200rpm SATA2 16MB cache) in RAID5 (+1 hot-spare)
- Win 2K3 Enterprise SP2 32bit (wordt nog geupgrade naar R2 - installatie door leverancier)
- Zal dienst doen als enige DC, hebben nu een workgroup... Binnen 6 maand waarschijnlijk nog aparte server met Exchange.

Nu vroeg ik me af hoe jullie de config zouden doen als je het volgende weet:
- In de firma zijn 2 afdelingen (30-40personen Office & 8-12personen Video bewerking)
- Office afdeling heeft nu zo'n 200GB data (word, excel, powerpoint, jpg, pdf,...). Ik verwacht 300-400GB na 2-3j.
- Video afdeling heeft +-2TB data, allemaal videos van 5GB en meer.
- Ivm read/write operations: Office afdeling doet 50/50 read/write op hun files & alleen read op videofiles. Video afdeling doet meer writes dan reads (op alleen video files natuurlijk, komen niet aan office files).
- Van de office clients zit 65% op 100Mbps, 20% op Wifi 54Mbps & 15% op 1Gbps De 8 à 12 video clients zijn via geteamde 2Gb interfaces.
- Het OS is al geinstalleerd (door leverancier), maar er staat nog geen kritieke data op dus nu is het moment om nog wijzigingen in het plan aan te brengen.

Zo zou ik het doen:
- 1 RAID5 set van 6TB (stripe size max vd RAID ctrlr: 4,8,16,32,64 & 128kb) - Leverancier zegt beste performance te hebben met 32k stripe size.
- In disk manager convert to GPT (support >2TB). Splitsen in partitie van 6GB voor swap file (64k cluster size), 500GB voor Office (cluster size van 4096bytes), 5.5TB (rest: voor videos, 64k cluster size). - Leverancier zegt om er een Dynamic disk van te maken.


En nog 1 vraagje over networking:
De server heeft een intel netwerkkaart met 4x 1Gb interfaces (Intel PRO/1000 PT Quad Port Server Adapter). Die zijn via de Intel soft geteamed tot 1x 4Gb interface. Deze zijn gekoppeld aan een HP ProCurve 4208vl-96 (96x 1Gb). Ik dacht dat ik in de config vd Procurve ook moest zeggen dat die 4 poorten een trunk vormen, maar toen ik dit deed, werkte het netwerk helemaal niet zoals het moest.
Is het zo dat trunking alleen moet gebeuren tussen 2 switches, en niet tussen servers (als die al geteamed zijn) & switches?
Als ik nu die teaming eraf zou halen, en de 2 builtin Gb NIC's + 4 extra Gb NIC's (alle 6 samen dus) zou trunken via de Procuve, zou dat dan nog snelheidswinst geven, of zullen m'n disk de bottleneck zijn?


alvast bedankt,
David

[jvanhambelgium]

Ik weet ook niet hoe de layout van de LAN eruit ziet, maar mischien is een aparte VLAN voor de "office" gebruikers en een VLAN voor de "power" (=video) users geen slecht idee.
Vervolgens hou je gewoon 4x1GB NIC voor de VLAN group VIDEO en laat je de office gebuikers over een andere 1GB NIC (of de 2 resterende NIC's in teaming) binnenkomen op de NAS.

Je gaat geen extra snelheidwinst doen volgens mij (6 NIC tov 4 NIC), je gaat zelfs geen 4x1GB NICs kunnen satureren met je NAS.
Het moet gezegd worden, alhoewel dat je NAS niet slecht is, valt het nog steeds onder "huis-thuin-en-keuken" storage. De performance gaat in theorie goed zijn, in de praktijk is 4x1GB teaming al overkill...tenzij jij effectief stats hebt dat die trunk vééééééél trekt ?

Ik heb vroeger een soortgelijke NAS gemaakt (wel met kleine SATA's) en de performance was wel goed van die Areca spullen, maar uiteraard niet te vergelijken met het "echte" NAS/SAN werk. (EMC,Equallogic-nu Dell,Hitachi etc)

[Guru Evi]

Ik ben ook bezig met trunks en het probleem is dat bij mij nagenoeg alles een bottleneck is behalve de gigabit netwerkadapters. Ik kan (ongeencrypteerd) met een Quad Core Xeon en 2 Dual Core clients die 4 streams trekken 1,5 GBps van mijn trunk gebruiken.

Echter eens ik een encrypted stream (medische data) van de schijf moet trekken naar de andere workstations gaat het maar aan 400MBps/stream en daar SSH niet multicore is zit er 1 CPU aan 100%.

Met Jumbo Frames zou dit nog beter gaan daar er minder interrupts zijn voor hetzelfde pakje data maar dan kom ik met het probleem dat alhoewel mijn volledig netwerk gigabit is, de router en alles die erachter komt niet Jumbo-frame vriendelijk is. (Jumbo Frames zijn niet echt een RFC standaard). Dus volgens de informatie die ik verkrijg moet ik dan een apart VLAN en routering hebben voor clients die met Jumbo Frames kunnen werken (dus elk werkstations 2 NIC's of VLAN ondersteuning) en een apart VLAN voor routering naar de rest van het LAN en daarna het Internet. Voor mij teveel werk en voor de baas te kostelijk dus maar naast mij neergelegd, maar het is toch een idee om eens verder te kijken.

[Verwijderd]

Hey

Het idee om 4x1Gb voor de Video users & 2x 1Gb voor Office is inderdaad geen slecht idee. Spijtig genoeg hebben we geen Gigabit routing switch, en budget is er niet meer
Ik zou de 4Gb interface een apart IP range geven tov de 2Gb interface, maar ik denk dat dat om problemen vragen is, multihomed DC's zijn toch niet aangeraden?

Jumbo Frames hadden we ook willen gebuiken voor de Video users maar onze switch ondersteund dit niet

[jvanhambelgium]

De vraag is natuurlij of "office" users toegang moeten hebben tot de "video" LAN en omgekeerd?
Zijn het "dedicated" video workstations of lezen de mensen ook de mail op die machine en moet er dus "access" naar de Office-LAN zijn ?? Of moeten ze ook kunnen inloggen op 1 of andere DC op de "office" LAN ?

Anders zou je 2 VLAN's kunnen aanmaken, de HP switch kan port-based VLAN's maken.
Alle "video" gebruikers in deze VLAN samen met de 4x1GB NAS en vervolgens een andere VLAN met de "office" gebruiker in een VLAN samen met 1(of2) x 1GB NAS in de VLAN.

Omdat je switch L2 doet kan je inderdaad vanaf dan geen communicatie meer doen tussen "video" VLAN en "office" VLAN. Het hangt er maar vanaf of dat echt nodig is.

[Verwijderd]

Communicatie tussen de pc's zelf is niet persé nodig maar beide moeten dan toch via een aparte IP range op de switch & de server aangesloten zijn? Waardoor ik de server multihomed moet maken, niet?

En binnen +-6 maand gaat er wel een Exchange server komen, op de Office VLAN dan, en daar zouden in de nog verdere toekomst de Video users ook toegang moeten tot krijgen.

[jvanhambelgium]

Awel, de server/NAS is toch multihomed ?
Er zit een quad-port adapter en en 2 onboard gigabit ethernets met vb elk hun IP-subnet.
Dan neem je inderdaad beter 2 verschillende ranges voor video-LAN gebruikers en office-LAN gebruikers.

Als er een mailbak komt op de office-LAN en video-LAN gebruikers moeten uiteindelijk ook toegang hebben hoeft dit geen probleem te zijn ... een Exchange met 2 netwerkkaarten is geen probleem he...

Ma bon, het kan eenvoudig ook hoor gewoon allemaal erop prikken.
Laat dan gewoon 4x1GB in teaming staan en vergeet de 2x1GB van de onboard.
Zoals ik aanhaalde ga je geen verschil zien...

[Verwijderd]

Ok. Voorlopig ga ik het dan zo laten. In de toekomst kunnen we nog zien.

Heb je (of anderen) nog advies over m'n plan van aanpak vd RAID (stripe size, partities, cluster size)?

nogmaals bedankt.
David

[jvanhambelgium]

> Ivm read/write operations: Office afdeling doet 50/50 read/write op hun files & alleen read op >videofiles. Video afdeling doet meer writes dan reads (op alleen video files natuurlijk, komen niet >aan office files).
>- Van de office clients zit 65% op 100Mbps, 20% op Wifi 54Mbps & 15% op 1Gbps De 8 à 12 video >clients zijn via geteamde 2Gb interfaces.

De grote gebruikers, namelijke de video gebruikers doen meer writes dan reads ... is RAID5 dan wel verstandig ? (write performance is niet super,super)
Gelukkig is het eerder "sequencieel" I/O dan "random" (vele kleine files) I/O dus performance kan nog slechter ;-)

Wat zijn de verwachtingen voor video ? Hoeveel uitbreiding binnen 2 jaar ? Of blijft dat redelijk statisch ?

Ik denk dat de beste performance, doch het meest verspillende wel eens een RAID0+1 kan zijn voor de VIDEO gebruiker.

Gewone RAID0 "stripe" met daarover een mirror (RAID1)
Dat moet verdorie vliegen denk ik ...maar je heb redelijk wat meer disken nodig ;-)

Stel : 8 disken 1TB in RAID0+1 -> 4TB nuttige ruimte (2x zoveel als er data is, dus groei mogelijk)
Dan nog 3 disken 1TB in RAID5 (+1 spare) voor Office : meer als genoeg ruimte voor toekomst)

Totaal : 12 SATA-II disken nodig 1TB

Tov nu heb je 8 disken nodig.

Performance wise denk ik echt niet dat er iets beter is als een ordinaire stipe (zeker voor gigantische sequenciele files) !! met als protectie een mirror