Het grote DIY RAID NAS topic deel 3

[Q]

Ook de multihomed WAN is echt tof om te zien. De meeste bedrijven hebben dat niet eens. De gekheid is op alle lagen in de infrastructuur toegepast, dat bewonder ik.

Hieronder wordt iets gezegd over stroomverbruik, maar ik denk dat met dit soort opstellingen het verhoogde verbruik gewoon een geaccepteerd iets is. Laten we eerlijk zijn, je gaat niet zoveel investeren en dan zeuren over die paar euro extra op je energie rekening.

Lijkt mij dan.

[ Voor 218% gewijzigd door Q op 24-12-2009 14:53 ]

[Dadona]

Je zou bijna een sticker moeten ophangen dat mensen niet die kast aanzien voor een fancy diepvrieskist

lampie1979 schreef op donderdag 24 december 2009 @ 05:06:
Achter PFsense staat Clarkconnect welke als gateway fungeert. De Amahi server neemt de DNS afhandeling voor zijn rekening.

De lol van virtualisatie is mij duidelijk (uitval van één os legt niet meteen alle functionaliteiten plat) maar schiet je hier, als ver-ver-vergevorde thuisgebruiker, niet een beetje in door? ClarkConnect heeft firewall, gateway, dns, .. zaken in zich hangen. Ik kan mij alleen voorstellen dat je de firewall en de rest gescheiden wil houden. Maar voor de rest vraag ik mij af of je niet nutteloos resources (=Watts) aan het gebruiken bent.
Dus waarom heb je de opsplitsing zover doorgevoerd?

Q schreef op donderdag 24 december 2009 @ 14:47:
Wat ik hier schreef klopte niet.

Ik zou ook in de war raken als opeens een donderslag bij heldere hemel je 'beest' degradeerd tot een groot en wild dier.

[ Voor 20% gewijzigd door Dadona op 24-12-2009 14:51 ]

[Q]

Dadona schreef op donderdag 24 december 2009 @ 14:49:
Ik zou ook in de war raken als opeens een donderslag bij heldere hemel je 'beest' degradeerd tot een groot en wild dier.

Dat was hij al bij de bouw. Kijk maar eens op [Hard] forum. Daar bouwen ze storage systemen voor échte 'mannen'. Mijn God. Zo is er iemand die exact mijn build heeft gedaan, maar dan met 1.5 TB schijven en zo richting de 30 TB ruwe capaciteit gaat. En zo zijn er nog vele andere voorbeelden. Er gaan daar mensen richting de 80 TB.

Hooguit kon ik even doen alsof ik wat spannends had op GOT, maar het is altijd een kwestie van tijd voordat iemand met iets bruters aan komt zetten.

Zoals je merkt zijn er al aardig wat mensen die nu ook met Norco kasten aan de gang gaan om iets tofs te bouwen. Geweldig Storage rocks. Leuk om te zien hoe andere mensen met andere oplossingen komen.

@Lampie hoeveel storage heb je ook echt in gebruik?

[lampie1979]

Q schreef op donderdag 24 december 2009 @ 14:47:
Ook de multihomed WAN is echt tof om te zien. De meeste bedrijven hebben dat niet eens. De gekheid is op alle lagen in de infrastructuur toegepast, dat bewonder ik.

Hieronder wordt iets gezegd over stroomverbruik, maar ik denk dat met dit soort opstellingen het verhoogde verbruik gewoon een geaccepteerd iets is. Laten we eerlijk zijn, je gaat niet zoveel investeren en dan zeuren over die paar euro extra op je energie rekening.

Lijkt mij dan.

Thanks! Multihomed is ook een necessity, gezien ik in een dorp woon waar de snelheid blijft steken op maximaal 8 Mbit per lijn Om nog een beetje voorruit te komen is meer beter

Achja stroomverbruik... Ik heb respect voor de mensen die hier een server opbouwen op een zo laag mogelijk vermogen. Deze servers zijn opgebouwd met een andere doelstelling dan mijn rack. Natuurlijk heb ik wel ingezet op zo zuinig mogelijk (virtualisatie, 45nm CPU's en kwaliteitsvoedingen).

Hobbies kosten nu eenmaal geld.

Dadona schreef op donderdag 24 december 2009 @ 14:49:
Je zou bijna een sticker moeten ophangen dat mensen niet die kast aanzien voor een fancy diepvrieskist

[...]
De lol van virtualisatie is mij duidelijk (uitval van één os legt niet meteen alle functionaliteiten plat) maar schiet je hier, als ver-ver-vergevorde thuisgebruiker, niet een beetje in door? ClarkConnect heeft firewall, gateway, dns, .. zaken in zich hangen. Ik kan mij alleen voorstellen dat je de firewall en de rest gescheiden wil houden. Maar voor de rest vraag ik mij af of je niet nutteloos resources (=Watts) aan het gebruiken bent.
Dus waarom heb je de opsplitsing zover doorgevoerd?


[...]
Ik zou ook in de war raken als opeens een donderslag bij heldere hemel je 'beest' degradeerd tot een groot en wild dier.

Mooie is dat de kinderen van mijn zus (4 en 8 jaar) schrokken toen ze de deur van de garage opendeden Ze durfden de garage niet in vanwege dat zoemende geluid Er heeft zich nog niemand gelukkig vergist in de serverkast en diepvries Ik heb in ieder geval nog geen ontdooide pizza's gevonden ;-)

Hmmm, uitval van 1 OS legt gedeeltelijk mijn functionaliteit plat. Uitval van 1 WAN of meerdere WAN's zorgen enkel voor een lagere internet snelheid (Fail-over).

PFsense, Clarkconnect, Amahi zijn allen Virtual Machines dus qua stroomverbruik maakt dat vrij weinig uit (zijn ook allen niet veeleisende distributies). Ik zit nu op een load op Dradnought van +/- 50% (4 VM's). Ik heb deze opsplitsing zo ver doorgevoerd omdat ik van iedere distributie zijn kwaliteiten gebruik. Ik heb het in de bovenstaande post natuurlijk ook verwoord in een notendop, maar in de dagelijske praktijk ligt dit iets uitgebreider.

PFSense beheert de Multiwan (routering over de 5 Wan's en LAN, poorten routering), Clarkconnect doet incoming en outgoing bandwith management, poort forwarding richting LAN en PFSense, caching server, ups server, print server en nog meer van deze taken. Amahi is een mediaserver. Deze doet de DNS (gezien hier meerdere webservices op draaien zoals b.v. Ampache, UShare, Squeezecenter, familie calender etc..). Deze indexeerd en streamed dus weer de data rechtstreeks van de SAN.

Allen bijelkaar 1 werkend systeem welke aan mijn eisen voldoet.

Ik heb als bruikbare ruimte 20 TB en daar is ondegeever 12 TB van in gebruik. Belangrijke data wordt weekelijks gedupliceerd op beide array's, en een selectie eveneens op een andere PC (mocht het hele serverrack ter zielen gaan).

[ Voor 56% gewijzigd door lampie1979 op 24-12-2009 16:25 ]

[Dadona]

Q schreef op donderdag 24 december 2009 @ 15:04:
[...]
Dat was hij al bij de bouw. Kijk maar eens op [Hard] forum. Daar bouwen ze storage systemen voor échte 'mannen'. Mijn God. Zo is er iemand die exact mijn build heeft gedaan, maar dan met 1.5 TB schijven en zo richting de 30 TB ruwe capaciteit gaat. En zo zijn er nog vele andere voorbeelden. Er gaan daar mensen richting de 80 TB.

Ik heb dat 10TB+ topic gezien. Het is daar zo'n beetje een wedstrijd om de meeste storage in één kast te krijgen waarin bijna ieder middel wordt gebruikt. (Zo herinner ik mij één opstelling waarbij twee kasten aan elkaar vast zijn gemaakt.)

[Q]

Dat topic is een beetje een pissing contest maar het is desalniettemin geweldig om te zien wat ze in elkaar zetten.

[Vuurvlieg]

Voor mijn NAS ben ik op zoek naar een goedkope SATA controller met 6 poorten. Belangrijk is dat deze ondersteund wordt in FreeNAS. Het hoeft geen raid te zijn want ik draai software raid. Wat is een goedkope sata controller? Ik kan deze in de pricewatch niet vinden en op internet kan ik de juiste ook niet vinden.

[PeterPan]

Kijk eens bij Supermicro. Goedkoop zijn ze niet.

[Q]

En de PCI-e versies met 8 poorten werken niet onder Linux en waarschijnlijk ook niet onder FreeNAS.

[axis]

Q schreef op donderdag 24 december 2009 @ 14:47:
Hieronder wordt iets gezegd over stroomverbruik, maar ik denk dat met dit soort opstellingen het verhoogde verbruik gewoon een geaccepteerd iets is. Laten we eerlijk zijn, je gaat niet zoveel investeren en dan zeuren over die paar euro extra op je energie rekening.

Daarover verschillen we van mening, maar dat hebben we volgens mij als in meerdere topics gedaan.. Ik respecteer jouw mening, maar ik maak me wel druk over stroomverbruik. Als ik een 50W doosje bouw, kost me die over 3 jaar ongeveer 235 euro aan stroom (als de stroomprijs gelijk zou blijven aan de prijs nu). Als ik een 100W doosje bouw dus 470 euro. Dat neem ik wel mee in mijn overweging als ik een nasje bouw, en als ik de verschillende componenten vergelijk qua prijs.

Ik heb al een ESX server thuis staan die 150W verstookt, en dat kost me dus al 20 euro per maand. Het is mijn hobby, dus ik wil er ook wel wat geld aan spenderen, maar ik probeer dat niet uit de klouwen te laten lopen. Kennis van me heeft serverrack thuis staan wat 1500W verstookt, kost 'em dus ook 200 euro per maand.. Daaaag..

Vuurvlieg schreef op vrijdag 25 december 2009 @ 15:59:
Voor mijn NAS ben ik op zoek naar een goedkope SATA controller met 6 poorten. Belangrijk is dat deze ondersteund wordt in FreeNAS. Het hoeft geen raid te zijn want ik draai software raid. Wat is een goedkope sata controller? Ik kan deze in de pricewatch niet vinden en op internet kan ik de juiste ook niet vinden.

Zo zijn er wel een boel te vinden, waarschijnlijk werken ze ook onder FreeNAS.. http://www.google.com/sea...ris+cheap+sata+controller. Zie al een paar simpele 4p controllers langskomen voor $30, die kun je natuurlijk gewoon meerdere naast elkaar zetten.

[Q]

axis schreef op vrijdag 25 december 2009 @ 23:40:
[...]

Daarover verschillen we van mening, maar dat hebben we volgens mij als in meerdere topics gedaan.. Ik respecteer jouw mening, maar ik maak me wel druk over stroomverbruik. Als ik een 50W doosje bouw, kost me die over 3 jaar ongeveer 235 euro aan stroom (als de stroomprijs gelijk zou blijven aan de prijs nu). Als ik een 100W doosje bouw dus 470 euro. Dat neem ik wel mee in mijn overweging als ik een nasje bouw, en als ik de verschillende componenten vergelijk qua prijs.

Ik heb al een ESX server thuis staan die 150W verstookt, en dat kost me dus al 20 euro per maand. Het is mijn hobby, dus ik wil er ook wel wat geld aan spenderen, maar ik probeer dat niet uit de klouwen te laten lopen. Kennis van me heeft serverrack thuis staan wat 1500W verstookt, kost 'em dus ook 200 euro per maand.. Daaaag..

We kijken allemaal wel een beetje naar wat een oplossing gaat verbruiken. Maar ik denk dat niemand van de 10+ TB nas bouwers moeilijk gaat doen over het verbruik. Dat hoort er bij en als je de centen hebt voor zo'n setup, dan lijkt mij dat dit er wel van af kan. 1.5K is extreem, maar als je de centen hebt. so what?

[ Voor 21% gewijzigd door Q op 26-12-2009 00:10 ]

[prozak]

Q schreef op vrijdag 25 december 2009 @ 22:59:
En de PCI-e versies met 8 poorten werken niet onder Linux en waarschijnlijk ook niet onder FreeNAS.

je moet dus een pci-X versie zoeken (volgens mij staat er nog een in Vraag&Aanbod) type: AOC-SAT2-MV8

[KorneelB]

haha, leuk dit topic..

nu ik zie dat er andere mensen zijn die net zo gek zijn als ik durf ik ook te posten

zal straks eens nieuwe foto's maken;

ben net als mijn voorgangers al vele malen opnieuw begonnen met de meest bizarre constructies..

verschillende kaartjes gehad, Dell PERC 5I kaartjes, XFX kaartjes, moederbordjes van consumenten spul tot aan 2e hands ebay spul..

en toen had ik het gehad.
dankzij een fijne vakantiedonatie van mijn toenmalige werkgever, en een tekort aan een vriendin op dat momen, heb ik er eens goed geld in gestoken, evenals tijd en moeite

op zolder is een geluidsdichte ruimte gebouwd, met daarin een zwevende vloer met een Minkels 18U serverrack.
aanvoer en afvoer vind plaats door een dakdoorvoer met 2 100m3/uur fans...

wat is het dan geworden?
behuizing is klaar

geluidslekken dichtpurren

aan en afvoer van netwerkkabel en electra icm aanvoer frisse lucht

rack!

tijdelijke setup

ondertussen via Tweakers deze setup wat aangepast. in de foto's staat nog niet de aan/afvoer van de ventilatie, nog geen nieuwe switch, en de oude schijven zitten nog in de server.

momenteel draait de volgende setup.
bak:
Mordor
doel : storage en virtualisatie
chassis: Supermicro SC846. redundant 900 watt PSU, 24 hot swap bays, 2 interne bays
motherboard: Supermicro X7DWN+
memory 16X4GB Reg Ecc kingston memory, 64 gb in total
Dual Quadcore Xeon E5420
Areca 1280ML Raid Controller met 2 GB memory ECC
24 X 2 TBWestern Digital RE4-GP disk.
2 X WD Raptor 36 GB

storage config:
2 X raptor in RAID 1 using onboard raid voor host OS
24 X 2 TB WD RE4-GP in RAID 6, 44 TB usable storage

dit alles wordt geswitched door een Linksys by Cisco SGE2010P switch, 48 poorts met PoE..


server OS:
Server 2008 R2 Enterprise
virtuele machines:
2 x Domain Controller
Exchange 2010 consolidated setup
Exchange 2010 Edge Server
Forefront Threat Management Gateway
Download Gebakje
WMV HD machine (media via UPNP delen met Xbox 360, WMV om precies te zijn)
Test Vista machine
Test Windows 7 machine

ik wil dus wel even de storage trofee overnemen

maar na al dat gerotzooi met zoveel kleine losse machines, is dit zoveel practischer. 1 machine, 1 dikke switch en UPS erbij.. 600 WATT is het verbruik van het ding, inclusief ventilator, switch, server, alles dus..
die losse bakjes die ik destijds geregeld gebruikte kwamen daar vaak met gemak overheen..

virtualisatie roeleerd dus

[The-Source]

is 64GB niet wat overdreven voor zo'n beperkt aantal VM's?
En hoelang kan je server door draaien op je ups?
En heb je nog iets gedaan met het bundelen van NIC's?

En het is natuurlijk ook leuk om te weten welke schrijf en lees snelheden je haalt?

[KorneelB]

klaasbram schreef op zaterdag 26 december 2009 @ 11:57:
is 64GB niet wat overdreven voor zo'n beperkt aantal VM's?
En hoelang kan je server door draaien op je ups?
En heb je nog iets gedaan met het bundelen van NIC's?

En het is natuurlijk ook leuk om te weten welke schrijf en lees snelheden je haalt?

voor dit aantal vaste machines, ja.
ik test echter geregeld designs voor klanten op mijn server. dan hebben we het over 20+ servers, en dan is die 64 gb wel fijn

heb geen bundeling van NIC's gedaan. het is voor mij niet interessant om zoveel mogelijk gigabitjes door mijn netwerk te duwen, de hoeveelheid schijven is op mijn disk i/o zo hoog mogelijk te krijgen voor mijn vms, en de hoeveelheid storage is een mooie meevaller

de UPS kan mijn rack een 15 minuten van stroom voorzien. hij zit er eigenlijk vooral tussen om pieken op te vangen

[lampie1979]

Nog zo een IDIOOT!! Now finally all the dutch freaks are coming out. . .

Gelukkig ben ik niet de enige die het groots aanpakt.

* Lampie overhandigt freak1 de wisselbeker voor grootste storage array op GOT in een enkel systeem.

Jij hebt duidelijk een andere doelstellign dan mijn setup. Leuk om te zien dat dit een andere praktische uitwerking krijgt. Supermicro spul is MOOI! Hoe bevalt de 1280ML i.c.m. de 2 TB WD RE4's?

Misschien een idee om je NAS als SAN in te stellen en je storage als iSCSI aan te bieden?

[ Voor 5% gewijzigd door lampie1979 op 26-12-2009 15:48 ]

[Dadona]

Dat is ook een manier om te voorkomen dat inbrekers met je apparaatur aan de haal gaan. Maar man o man, wat een opstellingen zijn dit. Super schijven, overload aan serieus geheugen (ECC), .. Ik vraag mij wel af of RAID6 nog wel afdoende is in dit soort opstellingen. Met RAID6 kun je uitval van twee schijven overleven, maar je hebt nu zo'n lading aan schijven en opslag dat een rebuild waarschijnlijk zo lang gaat duren dat je misschien drie of meer schijven wil hebben die de klap kunnen opvangen? (Of vertrouwen jullie erop dat jullie schijven (RE's) wat degelijker zijn dan de standaard consumenten schijven?)

[KorneelB]

lampie1979 schreef op zaterdag 26 december 2009 @ 15:44:
Nog zo een IDIOOT!! Now finally all the dutch freaks are coming out. . .

Gelukkig ben ik niet de enige die het groots aanpakt.

* Lampie overhandigt freak1 de wisselbeker voor grootste storage array op GOT in een enkel systeem.

Jij hebt duidelijk een andere doelstellign dan mijn setup. Leuk om te zien dat dit een andere praktische uitwerking krijgt. Supermicro spul is MOOI! Hoe bevalt de 1280ML i.c.m. de 2 TB WD RE4's?

Misschien een idee om je NAS als SAN in te stellen en je storage als iSCSI aan te bieden?

ja idioot heb ik eerder gehoord

ik ben op sommige punten erg blij met Supermicro, op sommige punten is t maar vreemd spul.. zo zijn de PSU's voorzien van mini fans, die fluiten als een gek.
1280ML is een briljante kaart. had eerst de 1280, maar met Multilane kabels ben je zoveel rotzooi in je kast kwijt.
de RE4 schijven zijn echt super. iets langzamers dan mijn oude RE2 schijven, maar hebben me nog niet in de steek gelaten.

ik heb gekeken naar iSCSI, maar ik zie het voordeel voor mij niet zo. ik biedt de storage aan aan mijn laptops, en mijn xboxen. meer niet. als ik losse servers had draaien was het super geweest, maar alles draait op 1 machine.

Dadona schreef op zaterdag 26 december 2009 @ 16:03:
Dat is ook een manier om te voorkomen dat inbrekers met je apparaatur aan de haal gaan. Maar man o man, wat een opstellingen zijn dit. Super schijven, overload aan serieus geheugen (ECC), .. Ik vraag mij wel af of RAID6 nog wel afdoende is in dit soort opstellingen. Met RAID6 kun je uitval van twee schijven overleven, maar je hebt nu zo'n lading aan schijven en opslag dat een rebuild waarschijnlijk zo lang gaat duren dat je misschien drie of meer schijven wil hebben die de klap kunnen opvangen? (Of vertrouwen jullie erop dat jullie schijven (RE's) wat degelijker zijn dan de standaard consumenten schijven?)

tja, het is niet onvervangbaar spul uiteindelijk. het is klote als het weg is, maar dat is het dan ook wel. onvervangbaar spul wordt gerepliceerd naar een machine in amsterdam die ik beheer. dat is 100gb in totaal ofzo.
rebuild van een array kost inderdaad 5 dagen.. maar het voordeel van die Areca kaart is dat hij aangeeft als een schijf aan het overlijden is. je kunt ze dus op tijd gaan vervangen. heb er een nieuwe schijf naast liggen voor als het misgaat...

verder zijn de Raid Edition schijven een klasse apart. ze gaan of stuk als DOA, of niet. heb bij de RE2 echt een derde van de schijven als DOA gehad, bij de RE4 geen enkel probleem.

[lampie1979]

Jouw setup is inderdaad anders van aard. Iscsi heeft denk ik voor jou ook niet direct voordelen.

Ik ben ook zeer te spreken over de RE3 1TB schijven. Heb er hier in taal 12 stuks van aangeschaft.

Geen enkele DOA en tot op heden allen actief. Dat was bij de consumenten desktop Samsung schijven wel een ander verhaal. Na 1,5 jaar was 55% defect (Bad sectors)!

Gezien wij een Hardware Raicontroller hebben zijn de enterprise schijven een aanrader. Deze zijn ook uitvoerig getest door Areca zelf.

[ Voor 9% gewijzigd door lampie1979 op 26-12-2009 17:17 ]

[eX0duS]

Ik heb het vrij simpel gehouden:

Ten eerste, een Intel DG33BU moederbord:


Ik heb eerst wat gelezen welk moederbord zou werken in combinatie met vmware esxi, deze zou het moeten kunnen.

Een Intel E5200, geen ondersteuning voor (echte) virtualisatie, maar op dat moment de beste keus.

Uiteindelijk staat er gewoon Windows 7 op.

Verder had ik 2 x 1 TB Samsung Spinpoint schijven, welke ik netjes in onderstaande RAID oplossing gezet heb:

Volgens de site alleen RAID1, maar ik kon deze uiteindelijk ook in RAID0 zetten.

Wel "tricky", want een schijf kapot, alle data weg... Maar uiteindelijk staat er niet echt belangrijke data op, wel veel films, welke ik afspeel via mijn mede8er...

Uiteindelijk was dit een mooie oplossing. Ik hoefde zo niet via het moederbord een RAID array aan te maken (heeft het ook niet eens), maar ik kan wel 2 schijven kwijt, en heb toch 2 TB...
Tegenwoordig zijn er uiteraard ook 2 TB schijven te koop, maar op die manier kun je wel mooi een 4 TB partitie maken.

Uiteindelijk heb ik wel niet echt RAID0 snelheid. Want één zo'n schijf haalt ongeveer 120 mb/sec lezen, maar in deze Deonet V8, halen twee stuks dit ook.

Ik heb ook eens twee van deze apparaten in RAID0 gezet, dus twee x RAID0, in RAID0, en dit werkte ook prima. Zo kun je wel een flinke opslagcapaciteit creeren, en het ziet er ook nog eens leuk uit, met het LCD display er op.

[ Voor 7% gewijzigd door eX0duS op 26-12-2009 17:09 ]

[The-Source]

Het verschil is wel dat er bij lampje vooral Thuis/ vrienden gebruik is terwijl bij Freak toch ook wel zakelijk gebruik van gemaakt wordt.
En misschien ook wel zakelijk budget in is gestoken
Verder @ freak, heb je geen hotspares in je systeem, omdat je aangeeft pas een schijf te vervangen wanneer deze een slechte status heeft.

Edit mijn NAS doet 96Watt wanneer deze helemaal is opgestart en data naar de NAS wordt weg geschreven (dus geen idle schijven)

[ Voor 16% gewijzigd door The-Source op 26-12-2009 17:14 . Reden: stroom verbruik ]

[KorneelB]

klaasbram schreef op zaterdag 26 december 2009 @ 17:13:
Het verschil is wel dat er bij lampje vooral Thuis/ vrienden gebruik is terwijl bij Freak toch ook wel zakelijk gebruik van gemaakt wordt.
En misschien ook wel zakelijk budget in is gestoken
Verder @ freak, heb je geen hotspares in je systeem, omdat je aangeeft pas een schijf te vervangen wanneer deze een slechte status heeft.

Edit mijn NAS doet 96Watt wanneer deze helemaal is opgestart en data naar de NAS wordt weg geschreven (dus geen idle schijven)

helaas helaas, het is allemaal prive..
ik kan er gelukkig een boel dingen op doen die mijn werk vergemakkelijken, maar mijn baas betaald geen cent..

nope, geen hotspares verder, er ligt een schijf op en that's it.
ik krijg meteen een melding bij een rotte schijf, en of hij dan meteen gaat rebuilden of na max 8 uur als ik weer thuis ben...

[The-Source]

freak1 schreef op zaterdag 26 december 2009 @ 17:28:
[...]


helaas helaas, het is allemaal prive..
ik kan er gelukkig een boel dingen op doen die mijn werk vergemakkelijken, maar mijn baas betaald geen cent..

nope, geen hotspares verder, er ligt een schijf op en that's it.
ik krijg meteen een melding bij een rotte schijf, en of hij dan meteen gaat rebuilden of na max 8 uur als ik weer thuis ben...

+

ik test echter geregeld designs voor klanten op mijn server. dan hebben we het over 20+ servers, en dan is die 64 gb wel fijn

Daarom dacht ik dat je ook zakelijk bezig was. Maar als het voor klanten van je werkgever is dan zou ik je baas toch eens aanspreken voor een "internet vergoeding"

[Q]

freak1 schreef op zaterdag 26 december 2009 @ 11:23:
haha, leuk dit topic..

nu ik zie dat er andere mensen zijn die net zo gek zijn als ik durf ik ook te posten

<< 44 TB systeempje...... >>

De oude versie met 1 TB schijven toont aan dat jij altijd storage koning bent geweest en ik de wisselbeker nooit heb gehad, behalve in mijn fantasie.

http://tweakers.net/gallery/sys/17047

Echt geweldig. 44 TB My God.

De gekheid zit hem in 'dit geval' niet eens zozeer in de server als wel in de verbouwing van het huis om deze te accommoderen.





Wat ik erg tof vind aan zowel de setup van Freak1 als Lampie1979 is dat de, gekheid toewijding consequent overal wordt doorgevoerd en niet beperkt blijft tot een 'wat groot' uitgevallen server.

Lampie komt uit de kast, Freak1 ook, nog meer prettig gestoorden onder 'ons' met een grote setup?

lampie1979 schreef op zaterdag 26 december 2009 @ 16:42:
Geen enkele DOA en tot op heden allen actief. Dat was bij de consumenten desktop Samsung schijven wel een ander verhaal. Na 1,5 jaar was 55% defect (Bad sectors)!

Dan staat mij nog wat te wachten...

Dat is de prijs misschien om goedkoop te willen zijn. Door geen hardware raid te nemen spaar ik zo 700+ euro voor een controller uit en kan ik bovendien goedkopere disks nemen. Het risico op uitval probeer ik dan met RAID 6 op te vangen. En een cold spare op de plank.

Ik hoop dat die 55% uitval een geval van pech hebben is.

Alhoewel...

Goed excuus om alles stapsgewijs door 2 TB disks te vervangen..

[ Voor 199% gewijzigd door Q op 27-12-2009 00:33 ]

[lampie1979]

De beloofde foto's:

Voorkant case



Overview case



Areca 1280ML



Verankerde constructie



Beugel constructie. In hoogte verstelbaar (ondersteuning van het extra gedeelte)



3e extra Scythe S-Flex slotfan



Aan de linkerkant de 2 Boot disks in Raid 1 en rechts 4 WD RE3's van Array 1.



Its a tight fit



Lichtshow

[Q]

Ah Super Lampie1979.

Ongekend dat het allemaal past, zo zeg. Alleen die extra Scythe S-Flex slotfan zou je misschien nog eens "voor het oog en voor de mooi" kunnen vervangen door een 'echte' slotfan, maar verder sta ik te kijken wat je in die kast hebt weten te krijgen. Lijkt me dat daar nog wel wat werk in heeft gezeten om het pas te krijgen.

Hangen die schijven aan 1 schroef? Geen issues met trillingen?



Die achterste fan is dus een extra zware die 2 slots inneemt. Ik heb beide in mijn kast gestopt. De kleine koelt de highpoint en de grote fan is puur voor de airflow.



Doe maar alsof je de ductape niet ziet...

[ Voor 38% gewijzigd door Q op 27-12-2009 00:54 ]

[lampie1979]

Q schreef op zondag 27 december 2009 @ 00:41:
Ah Super Lampie1979.

Ongekend dat het allemaal past, zo zeg. Alleen die extra Scythe S-Flex slotfan zou je misschien nog eens "voor het oog en voor de mooi" kunnen vervangen door een 'echte' slotfan, maar verder sta ik te kijken wat je in die kast hebt weten te krijgen. Lijkt me dat daar nog wel wat werk in heeft gezeten om het pas te krijgen.

Hangen die schijven aan 1 schroef? Geen issues met trillingen?

[afbeelding]

Die achterste fan is dus een extra zware die 2 slots inneemt. Ik heb beide in mijn kast gestopt. De kleine koelt de highpoint en de grote fan is puur voor de airflow.

[afbeelding]

Ik heb voor de 80mm gekozen omdat een slotfan niet echt bevoordelijk is voor de luchtstroming. Ook blinken slotkoelers niet uit in hun lucht doorvoer. Gezien ik 6 extra schiven heb gemonteerd is voor mij de 80mm een betere keuze. Ik ben het wel met je eens dat dit optisch mooier had gestaan. Deze fan is aan de bovenkant met ducttape dichtgemaakt zodat deze het geheel afsluit.

Ik vind die slotkoeler zo boven je raid kaart wel sexy! Mooie oplossing.

De schijven hangen alle aan 1 schroef (dit kon helaas niet anders), er zijn geen issues met trillingen (de RE3 zijn sowieso trillingvrij). Ik kan gerust de bracket met alle schijven eruit tillen, die schijven zitten echt muurvast.

De kast is wel VOL nu (hoewel bij de bootschijven kan er nog 1 bij hehehe).

[ Voor 7% gewijzigd door lampie1979 op 27-12-2009 01:05 ]

[Q]

Helder verhaal. Ik heb het bovenaf ook dicht getaped voor de airflow.

Ik heb zoals je inmiddels ziet wel slotfans toegepast, maar dat moest (koeling raid kaart) en verder geen ruimte voor nog een 80 mm fan er naast. Dat slotfans niet goed zijn voor de airflow wist ik niet. Een 80 mm fan is misschien wel effectiever, dat geloof ik wel. Maar het doel om meer lucht door de kast te jagen bereik ik denk ik wel zodat die schijven nog wat koeling krijgen.

Vol is qua kast wel een understatement, maar je hebt het wel voor elkaar. Maar je kunt nog verder als je wilt. Ik heb als boot schijf 2x GB laptop schijfjes in RAID 1. Met jouw oplossing kun je de huidige 3.5" bootschijven ook nog aan je array knopen...


(oudere foto)

[ Voor 26% gewijzigd door Q op 27-12-2009 01:17 ]

[ZanomiX]

Ben ik nu de enige die (terecht of onterecht) schrik heeft dat mijn 24/7 draaiend nasje weleens een kortsluiting kan hebben of te warm kan worden en zo alles in de fik steekt?

[Q]

Lijkt me niet. Met server grade hardware zou ik niet zo bang zijn. Met consumenten spul wordt dat al iets anders. Maar als je een beetje knappe hardware koopt is dat risico wel beperkt. Ik heb brand/oververhitting vanaf dat ik met computers begon nog nooit meegemaakt.

Deze was van iemand anders, die zich afvroeg waarom de pc telkens uitviel, maar dat is niet echt een issue hier denk ik:



Zelf zet ik mijn NAS gewoon uit. Met wake on lan (WOL) zet ik 'm aan op de momenten dat ik 'm nodig heb.

Maar wat moet je anders dan dat risico accepteren, of wat doe jij om je er tegen te beschermen?

[ Voor 42% gewijzigd door Q op 27-12-2009 01:27 ]

[ZanomiX]

Ik was aan het denken om een rookdetector bij mijn bakje te zetten, of eventueel alles naar mijn tuinhuisje te verplaatsen

[Q]

Ik denk dat een rookmelder geen kwaad kan. Maar wie luistert er naar de rook detector (alarm systeem?) als je niet thuis bent?

Hoe zit het met luchtvochtigheid en temperatuurschommelingen in een tuinhuisje? Maak je dan het risico op schade niet groter?

[ Voor 10% gewijzigd door Q op 27-12-2009 01:29 ]

[ZanomiX]

Ja dat was ik ook aan het denken. Maar al bij al lijkt het risico niet zo groot als ik iedereen hier bezig zie...

[The-Source]

rookmelder op alarmsysteem (zijn tig mogelijkheden hoe en wat) is een prima oplossing. De meeste systemen kunnen zelfs sms'en maar daar is altijd een betrouwbaarheids factor aan verbonden over het wel of niet aankomen daarvan.

Over dat tuinhuisje, als je apparatuur altijd het warmste is van de omgeving heb je nooit last van condens

[PeterPan]

Als je een APC Smart serie UPS hebt kun je daar in ruil voor veel Euros een netwerk module voor kopen met geïntegreerde "Environmental Monitoring". Dan kun je je UPS een shutdown laten doen bij o.a. hoge temperatuur of het triggeren van een switch (die je zelf weer aan een andere sensor kunt knopen).

[KorneelB]

mjah, bij servers zitten meerdere failsafes.
mijn kast heeft een IPMI module geintegreerd met het moederbord.
als die module (heeft voor de werking enkel power van het moederbord nodig) vind dat het mobo te heet wordt, of fans zijn uitgevallen of iets dergelijks initieerd hij een shutdown.
het moederbord doet hetzelfde, de areca kaart doet een throttleback al hij te warm wordt.. de switch doet een shutdown als er fans stuk gaan of als hij te warm wordt..

ik maak me er dus niet zo'n zorgen over.

verder heb ik ook nog nooit een computer in de brand zien vliegen. hoe vervuild dan ook, en ik heb in mijn jaren bij de technische dienst van een computer bedrijf heel wat vervuilde troep gezien.

oververhitting eindigt eigenljk altijd met geknapte condensatoren of iets dergelijks.

wel heb ik een PSU een paar keer zien ontploffen, en dan echt met een steekvlam eruit.. maar dat waren altijd de goedkoopste van de goedkoopste voedingen.
alles zit ingebouwd in een stevige metalen kast, en de binnenkant van mijn serverhok is bekleed met brandwerend materiaal. een korte heftige steekvlam kan ik overleven.

[KorneelB]

zeg lampie,

heb jij het geheugen van die 1280ml nog vervangen door een grotere strip?
wel een BBU erbij kopen anders ben je het bokje, maar dat scheelt echt bizar veel als je grote arrays hebt

[lampie1979]

Ik heb ook een rookmelder hangen in de garage, Verder zijn het allemaal A-Merk componenten en heb ik alles ee n tijd op fulll-load laten draaien. Dit bleek allemaal dik binnen de perken. Ook mogen er ventilatoren uitvallen, dan heb ik nog overcapaciteit. Per kwartaar maak ik de boel schoon. Dus brand maak ik mij niet zo een zorgen om.

Ik heb een 2GB ECC strip op de ARECA zitten. Ik heb dit direct bij aangeschaf gedaan, en heb dus ook geen idee wat die origineel doet Een BBU heb ik niet, mijn UPS zit aan het netwerk geknoopt. Als de stroom uitvalt krijgen alle pc's na verloop van tijd een signaal om af te sluiten, waarbij de NAS als laatste zal afsluiten.

[ Voor 8% gewijzigd door lampie1979 op 27-12-2009 22:08 ]

[Verwijderd]

Q schreef op zondag 27 december 2009 @ 00:15:
[...]


Wat ik erg tof vind aan zowel de setup van Freak1 als Lampie1979 is dat de, gekheid toewijding consequent overal wordt doorgevoerd en niet beperkt blijft tot een 'wat groot' uitgevallen server.

Lampie komt uit de kast, Freak1 ook, nog meer prettig gestoorden onder 'ons' met een grote setup?

Ik heb in loop der tijd ook een leuk opzetje op kantoor gemaakt, voor onze groeiende verzameling "videomateriaal", bestaande uit het volgende:

"debbie":
1x Supermicro SC836TQ-R800 chassis met 2x AOC-SAT2-MV8 SATA controllers, waaraan 14x 750 GB Seagate ES schijven.
Draait Linux software RAID met 2x RAID6 array.

"berta":
1x Supermicro SC836TQ-R800 chassis met 2x AOC-SAT2-MV8 SATA controllers, waaraan 14x 1 TB Seagate ES.2 schijven.
Wederom Linux software RAID gesplitst in 2x RAID6.

"gerda":
1x Supermicro SC846TQ-R900 chassis met een Adaptec 52445 RAID controller, waaraan 22x 1 TB Seagate ES.2 schijven.
Nogmaals 2x RAID6, alleen dan hardwarematig deze keer.

Alle machines hebben quadcore Xeons en 4 tot 8 GB RAM.
Het OS staat bij alledrie op een twee-tal 80 GB schijfjes in RAID1.

De ES schijven van Seagate zijn wat mij betreft hun geld meer dan waard, ik heb ook wel eens Samsung / WD consumenten schijven geprobeerd, maar dat eindigde altijd in gezeur en dode schijven.

Nu is dit allemaal natuurlijk nog niet zo heel spannend, maar nu komt het:

debbie en berta exporteren hun md devices via ATA over Ethernet en alle 3 de machines hebben 2 Gigabit NIC's configureerd in 802.3ad port trunking, verbonden met een gezamelijke Gigabit switch met jumbo frames geconfigureerd.

Deze AoE devices worden door gerda, samen met gerda's eigen RAID6 arrays, in 1 grote LVM gemount, waar XFS over draait.

Het resultaat:

code:

root@gerda:~# pvscan
  PV /dev/sdb1          VG STORAGE   lvm2 [8.18 TB / 0    free]
  PV /dev/sdc1          VG STORAGE   lvm2 [8.18 TB / 0    free]
  PV /dev/etherd/e0.0   VG STORAGE   lvm2 [2.73 TB / 0    free]
  PV /dev/etherd/e0.1   VG STORAGE   lvm2 [4.09 TB / 0    free]
  PV /dev/etherd/e1.1   VG STORAGE   lvm2 [5.46 TB / 0    free]
  PV /dev/etherd/e1.0   VG STORAGE   lvm2 [3.64 TB / 0    free]

en

code:

root@gerda:~# lvscan
  ACTIVE            '/dev/STORAGE/lvm0' [32.28 TB] inherit

Oftewel, 32 TB aan loeisnelle redelijk redundante opslag, welke met gemak meerdere Gbit/s voltrekt.
Zal voor de grap morgen eens wat fotootjes maken, de machines staan gezusterlijk boven op elkaar, ziet er wel aardig uit.

Overigens is dit het product van +-1 jaar gepruts, ik ben ooit met 1 machine begonnen en heb later bedacht dat AoE wel eens leuk zou kunnen zijn, en dit is het resultaat. In realiteit blijkt het ook gewoon ontzettend goed te presteren en zo stabiel als wat te zijn. Binnenkort wordt het alweer tijd voor een 4e machine, de 32 TB zitten al bijna vol.

Voor ieder bedrijf dat goedkoop en snel veel opslag nodig heeft en niet bang is om zelf te knutselen is dit IMO een ontzettend mooie oplossing, met de huidige prijzen kom je op +-5000 euro per 15 TB redundante (RAID6) opslag. Daar kan Dell / EMC / NetApp nog een puntje aan zuigen.

[ Voor 3% gewijzigd door Verwijderd op 27-12-2009 22:23 ]

[Q]

Leuke oplossing. Via LVM en Ata over het netwerk een grote virtuele storage pool maken. Dat ata over ethernet ga ik onthouden. Het ontwerp lijkt mij wel leuk te schalen dankzij LVM. Alleen is het volgens mij wel zo dat als je een hele server kwijt bent, je hele array naar de knoppen is om data alle data zoals ik begrijp over de verschillende servers gedistribueerd wordt. Eigenlijk wil je om uitval van 1 machine te kunnen overleven ook een soort RAID 5 op LVM niveau implementeren. Zodat je een server kunt missen mocht het mis gaan.

Maar misschien zou ik voor de brute setups toch als stelregel willen hanteren dat het privé eigendom moet zijn.
Anders komt er straks iemand zijn 1.5 Petabyte EMC san op basis van fibrechannel posten. Opzich heel tof, maar dat is niet echt meer DIY.

[ Voor 35% gewijzigd door Q op 27-12-2009 22:37 ]

[Verwijderd]

Q schreef op zondag 27 december 2009 @ 22:33:
Leuke oplossing. Via LVM en Ata over het netwerk een grote virtuele storage pool maken. Dat ata over ethernet ga ik onthouden. Het ontwerp lijkt mij wel leuk te schalen dankzij LVM. Alleen is het volgens mij wel zo dat als je een hele server kwijt bent, je hele array naar de knoppen is om data alle data zoals ik begrijp over de verschillende servers gedistribueerd wordt. Eigenlijk wil je om uitval van 1 machine te kunnen overleven ook een soort RAID 5 op LVM niveau implementeren. Zodat je een server kunt missen mocht het mis gaan.

Precies, dit is ook het voornaamste zwakke punt, maar dit kan pas echt goed op het moment dat je echt 4 of 5 machines hebt draaien, anders verspil je teveel ruimte.

Ik ben dan ook zeker van plan om ooit in de toekomst eens te proberen om meerdere LVM's als software RAID in te stellen. Geen idee of dat werkt, LVM's zijn ook gewoon devices, dus in principe moet mdadm er gewoon mee om kunnen gaan. Wat er gebeurd als je dat met 5x 20 TB doet weet ik niet. Volgens mij gaat een rebuild dan heel erg lang duren...

Een andere oplossing zou zijn om in dit geval op gerda een RAID5 te maken van de AoE devices, maar als gerda dan dood gaat heb je alsnog een probleem.

Voor nu probeer ik het te ondervangen met redundante voedingen en door het op de plank hebben van reserve spullen.

Tevens bewaar ik geen data op deze machine die 24/7 beschikbaar moet zijn, het mooie van XFS is dat het hele fs meteen read-only wordt op het moment dat er iets van corruptie of ontbrekende nodes optreedt.

Maar misschien zou ik voor de brute setups toch als stelregel willen hanteren dat het privé eigendom moet zijn.
Anders komt er straks iemand zijn 1.5 Petabyte EMC san op basis van fibrechannel posten. Opzich heel tof, maar dat is niet echt meer DIY.

Dit systeem is wel degelijk prive eigendom hoor, alleen met meerdere mensen samen, omdat het anders iets te kostbaar zou zijn. En gezien de ruimte en stroombenodigdheden praktischer om op kantoor te stallen.
Het hele zooitje is 100% DIY, je wil niet weten hoe op de eerste machine sommige onderdelen vastgemaakt zijn....

[ Voor 8% gewijzigd door Verwijderd op 27-12-2009 23:31 ]

[Q]

Heldere uitleg. Als de build echt prive eigendom is, ookal gedeeld, dan heb ik niets gezegd.

Hele toffe build. Hier is de special dat meerdere systemen aan elkaar worden geknoopt en dat vind ik interessant om te zien.

In essentie wil je in een setup als deze je storage gaan clusteren waarbij beschikbaarheid is gegarandeerd ongeacht welke machine uitvalt. Hoe je dat zou moeten aanpakken is mij nog niet echt duidelijk, als ik naar Linux kijk.

Dan ben je echt schaalbaar.

Edit: Glusterfs ziet er koel uit maar gebruikt zo te zien FUSE en ik vraag me af wat dat performance wise kost.

[ Voor 37% gewijzigd door Q op 27-12-2009 23:53 ]

[DJ-Visto]

Verwijderd schreef op zondag 27 december 2009 @ 23:27:
[...]


heel lang verhaal

Ohh nice, maar niet lullen maar foto's
Dat is vele malen leuker dan de hele dag naar specs kijken!

Q schreef op zondag 27 december 2009 @ 23:39:
[...]

Je reageerde te snel

[ Voor 103% gewijzigd door DJ-Visto op 27-12-2009 23:39 ]

[Q]

DJ-Visto schreef op zondag 27 december 2009 @ 23:38:
[...]

Niet lullen maar foto's

DJ-Visto schreef op zondag 27 december 2009 @ 23:38:

Je reageerde te snel

Je edit te traag

Helemaal eens verder: pics!

[ Voor 38% gewijzigd door Q op 27-12-2009 23:42 ]

[DJ-Visto]

#	Product	Prijs	Subtotaal
1	AMD Phenom II X3 720 Black Edition	€ 99,65	€ 99,65
1	Gigabyte GA-MA785G-UD3H	€ 68,98	€ 68,98
1	Intel Gigabit CT Desktop Adapter	€ 23,47	€ 23,47
1	Kingston ValueRAM KVR800D2N5K2/4G	€ 78,93	€ 78,93
1	Supermicro AOC-USASLP-L8i	€ 130,97	€ 130,97
5	Western Digital Caviar Green WD10EADS, 1TB	€ 70,-	€ 350,-
Importeren		Totaal	€ 752,-

Behuizing:Norco RPC-4020
Voeding: pricewatch: OCZ ModXStream Pro 500W (deze word op 't moment gebruikt in MARS, maar daar wil ik dan deze voeding voorkopen)

Ik denk dat ik dan nog 2boot schijfjes moet (zei onder)
Er komt waarschijnlijk nog een pricewatch: Hitachi Deskstar 7K1000.B HDT721010SLA360, 1TB van uit server nu naar deze server.

Waarom die Norco behuizing, tja als ik dan toch geld uit geef liefst waar ik lang van plezier heb
Aangezien ik steeds zit te kijken die frampjes waar jullie boven de storage schijven de boot HDDs zijn die standaard bij geleverd? Slimline ding heb ik nog (Fix nog wel ergens een 2de) hoef ik alleen nog een sata printje voor te fixen (heb nu een p-ata)

Wat wil ik er mee doen?

• Alleen file server
• Hoeft geen performance te hebben aangezien mijn anderen server genoeg kracht heeft de rest te doen

Mijn vragen:

• Kan het goedkoper? (aangezien ik niet zo super veel geld heb, al helemaal niet dat ik deze 1200euro zo uit mijn broekzak klop..&ik natuurlijk al een bak heb staan, zei sig.)
• Doe ik aan de eisen voor software raid?
• Wat kan ik het best als boot schijfjes nemen(zat zelf te denken aan: pricewatch: Hitachi Travelstar 5K500.B HTS545016B9A300, 160GB )

Heeft geen haast, ik moet hier eerst voor sparen en aangezien ik pas 14 ben heb ik dit niet zomaar uit mijn broekzak geklopt (geen werk )

[ Voor 22% gewijzigd door DJ-Visto op 28-12-2009 03:08 ]

[ItsValium]

DJ-Visto schreef op maandag 28 december 2009 @ 02:21:

DJ-Visto, neem je niet net wat te veel hooi op je vork met deze setup? Misschien kan je een pak besparen door een andere kast te nemen, simpele Lian-Li of dergelijke heb je voor iets boven de 100 euro met ook ruimte genoeg. De pdf van Phoenix1337 op IRC bevat zo'n kast (standaard 9 HD plaatsjes en met 5 in 3 modules kan je dat nog verder uitbreiden naar 19 MET nog een standaard optical erbij) pak goeiekoper

Aangaande de bootschijfjes, als je een distro (FreeNas of Openfiler of soortgelijk) gaat draaien gezien het enkel fileserver is kan je best booten van een USB stick, scheelt weer een schijf in verbruik.

Succes!

[Q]

DJ-Visto, Ik denk dat je beter het advies van ItsValium ter harte kunt nemen. Tenzij je heel handig bent gaat het je niet lukken om binnen afzienbare tijd voldoende geld bij elkaar te sprokkelen om een werkend systeem neer te zetten.

Je kunt makkelijk beneden de 900 euro blijven als je een 'gewone' kast neemt zoal een coolermaster stacker, of een Chieftech. Voor 15 euro heb je zo'n 4in3 module + ventilator zodat je in je kast ook nog disks in 5.25 sloten kwijt kunt.

Tegen die tijd dat je het potentieel van een 4020 kunt en wilt gaan benutten is er al lang weer een betere kast en dan kun je die waarschijnlijk ook beter betalen.

USB sticks als bootschijf vind ik zelf niet top. Die dingen gaan stuk. Beter is om 1 of 2 (RAID1) laptop schijfjes van 40 euro ofzo aan te sluiten.

14? Op die leeftijd zat ik achter een 286. * Q wordt oud.

[lampie1979]

Q schreef op zondag 27 december 2009 @ 00:15:
[...]


De oude versie met 1 TB schijven toont aan dat jij altijd storage koning bent geweest en ik de wisselbeker nooit heb gehad, behalve in mijn fantasie.

http://tweakers.net/gallery/sys/17047

Echt geweldig. 44 TB My God.

De gekheid zit hem in 'dit geval' niet eens zozeer in de server als wel in de verbouwing van het huis om deze te accommoderen.





Wat ik erg tof vind aan zowel de setup van Freak1 als Lampie1979 is dat de, gekheid toewijding consequent overal wordt doorgevoerd en niet beperkt blijft tot een 'wat groot' uitgevallen server.

Lampie komt uit de kast, Freak1 ook, nog meer prettig gestoorden onder 'ons' met een grote setup?


[...]


Dan staat mij nog wat te wachten...

Dat is de prijs misschien om goedkoop te willen zijn. Door geen hardware raid te nemen spaar ik zo 700+ euro voor een controller uit en kan ik bovendien goedkopere disks nemen. Het risico op uitval probeer ik dan met RAID 6 op te vangen. En een cold spare op de plank.

Ik hoop dat die 55% uitval een geval van pech hebben is.

Alhoewel...

Goed excuus om alles stapsgewijs door 2 TB disks te vervangen..

Ik zie dat Fabio mijn ervaringen deelt betreffende samsung disks... De combinatie ARECA (Intel IOP348) en Samsung is al geen goed huwelijk. Ik had ook raid 6, maarja als 55% defect raakt ben je snel klaar. Daar kan geen cold spare tegenop.... De WD's bevallen de Areca stukken beter

P.S zoals je kan zien in mijn screenshot van de Areca webmin zitten in mijn diverse Array zitten tot op heden nog steeds vier Samsung 1TB schijven. Deze zijn nog steeeds operationeel (knocking on wood).

[lampie1979]

Q schreef op maandag 28 december 2009 @ 11:56:
DJ-Visto, Ik denk dat je beter het advies van ItsValium ter harte kunt nemen. Tenzij je heel handig bent gaat het je niet lukken om binnen afzienbare tijd voldoende geld bij elkaar te sprokkelen om een werkend systeem neer te zetten.

Je kunt makkelijk beneden de 900 euro blijven als je een 'gewone' kast neemt zoal een coolermaster stacker, of een Chieftech. Voor 15 euro heb je zo'n 4in3 module + ventilator zodat je in je kast ook nog disks in 5.25 sloten kwijt kunt.

Tegen die tijd dat je het potentieel van een 4020 kunt en wilt gaan benutten is er al lang weer een betere kast en dan kun je die waarschijnlijk ook beter betalen.

USB sticks als bootschijf vind ik zelf niet top. Die dingen gaan stuk. Beter is om 1 of 2 (RAID1) laptop schijfjes van 40 euro ofzo aan te sluiten.

14? Op die leeftijd zat ik achter een 286. * Q wordt oud.

Als toegewijde DIY Nasser wil ik graag eenzelfde advies uitbrengen.

Kijk b.v. in mijn post op pagina 37:





Een geweldige kast voor weinig geld, met dezelfde diskruimte als een Norco (als je handig bent zelfs meer!)

Dit geeft je voldoende vrijheid om te spelen en te sparen.

Ik zie zojuist al een mooie voeding voorbij komen!

V&A aangeboden: Corsair TX750W

[ Voor 5% gewijzigd door lampie1979 op 28-12-2009 13:46 ]

[lampie1979]

Er komt een kleine upgrade aan:



Met als insteek de Virtual Machine Infterface (VMi) de taak opzich te nemen om alle VM af te sluiten bij een power failure. Dit geeft mij meer vrijheid gezien ik geen VM os als server hoef aan te wijzen. Bijkomstigheid is de temperature monitoring. Oja ik heb zojusit gekeken, maar gezien mijn load kan het gehele rack +/- 55 minuten doordraaien bij stroomuitval. Let the madness roam free..

[ Voor 21% gewijzigd door lampie1979 op 28-12-2009 13:58 ]

[Q]

Die Chieftech van Lampie is nog mooi ook, vind ik dan.:



Het kleinere broertje kan nog steeds 10 disks aan en is ook super.



Ik begon ooit met 4x 500 GB in RAID 5 in deze kast en deze draait nu nog als test bak.

Die kast van Lampie is maar 10 of 20 euro duurder dus als je de ruimte wilt hebben. Moet lukken.

[ Voor 12% gewijzigd door Q op 28-12-2009 14:03 ]

[lampie1979]

Als aanvulling op Q:

pricewatch: Chieftec CA-01B-B-SL

[PeterPan]

lampie1979 schreef op maandag 28 december 2009 @ 13:56:
Er komt een kleine upgrade aan:

[afbeelding]

Met als insteek de Virtual Machine Infterface (VMi) de taak opzich te nemen om alle VM af te sluiten bij een power failure. Dit geeft mij meer vrijheid gezien ik geen VM os als server hoef aan te wijzen. Bijkomstigheid is de temperature monitoring. Oja ik heb zojusit gekeken, maar gezien mijn load kan het gehele rack +/- 55 minuten doordraaien bij stroomuitval. Let the madness roam free..

Die bedoelde ik een paar posts terug. Met een beetje tweaken kan je misschien ook nog wel een rookmelder op een van die ingangen aansluiten.

[Q]

lampie1979 schreef op maandag 28 december 2009 @ 13:56:
Oja ik heb zojusit gekeken, maar gezien mijn load kan het gehele rack +/- 55 minuten doordraaien bij stroomuitval. Let the madness roam free..

Zou jij eens een rekensommetje willen maken van de load vs ee capaciteit in watt van je UPS en wat je setup dus echt verbruikt? Klopt dat met metingen via zon watt metertje via het stopcontact?

[Vuurvlieg]

Kun je een eSata schijf gewoon aan je FreeNAS software raid array toevoegen? en is het onder FreeNAS inmiddels mogelijk om online capacity expansion te doen?

[ Voor 36% gewijzigd door Vuurvlieg op 28-12-2009 15:15 ]

[DJ-Visto]

#	Product	Prijs	Subtotaal
1	AMD Phenom II X3 720 Black Edition	€ 99,65	€ 99,65
1	Chieftec Mesh CA-01SL-SL-B	€ 102,73	€ 102,73
1	Enermax ECO80+ 350W	€ 48,15	€ 48,15
1	Gigabyte GA-MA785G-UD3H	€ 68,98	€ 68,98
2	Hitachi Travelstar 5K500.B HTS545016B9A300	€ 38,17	€ 76,34
1	Intel Gigabit CT Desktop Adapter	€ 23,47	€ 23,47
1	Kingston ValueRAM KVR800D2N5K2/4G	€ 78,93	€ 78,93
1	Supermicro AOC-USASLP-L8i	€ 128,07	€ 128,07
5	Western Digital Caviar Green WD10EADS, 1TB	€ 70,-	€ 350,-
Importeren		Totaal	€ 976,32

Zoiets raden jullie mijn dus aan? Misschien met wat minder schijfjes beginnen & is deze cpu & controller goed om samen te draaien in software raid? Die voeding is al eerder gezegt voor mijn anderen server (misschien moet ik alles combineren, naar een groten NAS met een VM server, dat kost me minder..)

Iemand ideeën? Storage en Virtualisatie/speel server combineren of gewoon 2 machines maken (wat dus wel duurder is dan een CPU changen in de server die ik nu heb, en een controller kopen)

Hoor graag jullie ideeën en advies

Edit:
Als ik dus voor de keuze ga om alles in een te doen denk ik dat het zoiets moet worden:

#	Product	Prijs	Subtotaal
1	AMD Phenom II X3 720 Black Edition	€ 99,65	€ 99,65
1	Chieftec CA-01B-B-SL	€ 88,-	€ 88,-
1	Supermicro AOC-USASLP-L8i	€ 128,07	€ 128,07
5	Western Digital Caviar Green WD10EADS, 1TB	€ 70,-	€ 350,-
Importeren		Totaal	€ 665,72

Ik denk dat een nieuwe cpu met een core extra toch wel een vereiste is.. die controller kan dan in mijn x16 slot, en er zitten al 2nics in, hoef ik enkel mijn VMs nu over te zetten naar virtualbox, en een reinstall geven.

[ Voor 21% gewijzigd door DJ-Visto op 28-12-2009 22:11 ]

[lampie1979]

PeterPan schreef op maandag 28 december 2009 @ 14:28:
[...]

Die bedoelde ik een paar posts terug. Met een beetje tweaken kan je misschien ook nog wel een rookmelder op een van die ingangen aansluiten.

Dat zou een hele mooie oplossing zijn. Ik zal ook de mogelijkheid verkennen of ik deze kan koppelen aan de alarminstallatie.

[lampie1979]

DJ-Visto schreef op maandag 28 december 2009 @ 20:56:

Zoiets raden jullie mijn dus aan? Misschien met wat minder schijfjes beginnen & is deze cpu & controller goed om samen te draaien in software raid? Die voeding is al eerder gezegt voor mijn anderen server (misschien moet ik alles combineren, naar een grote NAS met een VM server, dat kost me minder..)

Iemand ideeën? Storage en Virtualisatie/speel server combineren of gewoon 2 machines maken (wat dus wel duurder is dan een CPU changen in de server die ik nu heb, en een controller kopen)

Hoor graag jullie ideeën en advies

Edit:
Als ik dus voor de keuze ga om alles in een te doen denk ik dat het zoiets moet worden:

Ik denk dat een nieuwe cpu met een core extra toch wel een vereiste is.. die controller kan dan in mijn x16 slot, en er zitten al 2nics in, hoef ik enkel mijn VMs nu over te zetten naar virtualbox, en een reinstall geven.

Let wel op dat Bare-metal hypervisors (ESX, ESXi etc..) zeer kieskeurig zijn in de chipset en proc. Supermicro spul zit altijd wel goed met drivers en support. Je zou het met 1 machine afkunnen en ook de NAS virtualiseren. Let er dan op dat de raid kaart drivers heeft voor de hypervisor!

[DJ-Visto]

lampie1979 schreef op maandag 28 december 2009 @ 23:01:
[...]


Let wel op dat Bare-metal hypervisors (ESX, ESXi etc..) zeer kieskeurig zijn in de chipset en proc. Supermicro spul zit altijd wel goed met drivers en support. Je zou het met 1 machine afkunnen en ook de NAS virtualiseren. Let er dan op dat de raid kaart drivers heeft voor de hypervisor!

Er is meer aangeraden op ESXi maar ik weet niet of het wat voor mijn is, aangezien alles in Debian (wat je nu vaak koopt van een beetje kwaliteit) prima word ondersteund.. En ESXi, en ESX zijn nog al kieskeurig..
En een beetje kwaliteit kan ik wel kopen maar iets wat 2x zo duur is van meer kwaliteit alleen voor mijn O.S vind ik voor nu een beetje overdreven

#	Product	Prijs	Subtotaal
1	AMD Phenom II X3 720 Black Edition	€ 99,65	€ 99,65
1	Chieftec CA-01B-B-SL	€ 89,90	€ 89,90
1	Supermicro AOC-USASLP-L8i	€ 128,07	€ 128,07
3	Western Digital Caviar Green WD20EADS, 2TB	€ 151,57	€ 454,71
Importeren		Totaal	€ 772,33

Is goedkoper, dan heb ik 3x 2TB kan ik die RAID5 van maken, en dan nog 2x 1TB in hardware RAID0 zodat ik 2TB drive krijg, zodat die in mijn RAID5 er bij kan.

Ik heb nog even wat vraagjes over software raid, lijkt allemaal niet moeilijk..

Stap 1:

apt-get install mdadm

Stap 2:

fdisk -l

Stap 3:
Output even opslaan of onthouden
Stap 4:

mdadm --create /dev/md0 --level=5 --raid-devices=4 /dev/sdb /dev/sdc /devsdd /dev/sde

Die achterste neem ik aan zijn de hardeschijven, die ik uit fdisk -l heb gehaald, of moet dat anders?

Stap 5:

/dev/md0

formatteren? hoe?

Dat was 't wel een beetje

Edit:

Hoe houden jullie jullie harddisks in de gaten? Gokken, elke dag een check laten lopen, een webui? Ik denk dat het laatste toch wel het meest gebruiksgemak is..

[ Voor 73% gewijzigd door DJ-Visto op 31-12-2009 02:01 ]

[Midas.e]

Na het zien van alle 10+TB nasjes zal ik mijne ook maar eens posten,

Het begon ooit met 2x160GB in raid0, dat werd al snel 6x160GB en 5x250GB. Inmiddels is dat allemaal vervangen door een nieuwe server:


Het hele spul is gebaseerd op een Supermicro C2SBX+ mainboard, een areca 1170 (24 port) en een lian li pc 343b. Hieraan hangen 12x1TB Hitachi's en 12x1.5TB Seagates.
Beide arrays draaien in raid6, raw opslag is ruim 30TB.
De nas wordt gebruikt als NFS store voor mn eigen virtualisatie( zie de ml110 ernaast) en mn eigen files.

[Q]

Midas.e schreef op donderdag 31 december 2009 @ 13:02:
Na het zien van alle 10+TB nasjes zal ik mijne ook maar eens posten,

Het begon ooit met 2x160GB in raid0, dat werd al snel 6x160GB en 5x250GB. Inmiddels is dat allemaal vervangen door een nieuwe server:
[afbeelding]

Het hele spul is gebaseerd op een Supermicro C2SBX+ mainboard, een areca 1170 (24 port) en een lian li pc 343b. Hieraan hangen 12x1TB Hitachi's en 12x1.5TB Seagates.
Beide arrays draaien in raid6, raw opslag is ruim 30TB.
De nas wordt gebruikt als NFS store voor mn eigen virtualisatie( zie de ml110 ernaast) en mn eigen files.

Mooie build! Vette kast ook, mooier dan zo'n standaard server kast. Ik heb 'm overwogen maar hij werd me toch wat te gortig. Wat draai je als OS?

Ik vraag me af of je die drive bays nog een beetje voor een knappe prijs hebt weten te vinden? Toen ik een kast aan het zoeken was heb ik ook een tower met veel van deze bays overwogen, maar qua prijs kwam ik toen al snel over die van een Norco heen.

We want more, nog meer Tweakers met een vette build? Het lijkt wel alsof ze nu allemaal tegelijk 'uit de kast komen'.

[Midas.e]

Q schreef op donderdag 31 december 2009 @ 13:09:
[...]




Mooie build! Vette kast ook, mooier dan zo'n standaard server kast. Ik heb 'm overwogen maar hij werd me toch wat te gortig. Wat draai je als OS?

Ik vraag me af of je die drive bays nog een beetje voor een knappe prijs hebt weten te vinden? Toen ik een kast aan het zoeken was heb ik ook een tower met veel van deze bays overwogen, maar qua prijs kwam ik toen al snel over die van een Norco heen.

We want more, nog meer Tweakers met een vette build? Het lijkt wel alsof ze nu allemaal tegelijk 'uit de kast komen'.

Als OS draai ik ubuntu, werk al jaren met linux en was dus een makkelijke keuze. De keuze om niet voor een mdadm oplossing te gaan maar voor een hw raid set was toch het feit dat ik daarvoor een aantal zeer slechte controllers heb gehad die onder linux je tot tranen dwongen.
De bays heb ik voor inkoop kunnen krijgen, dat betekend dat ze nogsteeds ruim 60 euro per stuk waren. Toch vind ik ze het zeker waard aangezien ik hiermee toch erg makkelijk disks kan swappen.

[Q]

Midas.e schreef op donderdag 31 december 2009 @ 13:13:
[...]


Als OS draai ik ubuntu, werk al jaren met linux en was dus een makkelijke keuze. De keuze om niet voor een mdadm oplossing te gaan maar voor een hw raid set was toch het feit dat ik daarvoor een aantal zeer slechte controllers heb gehad die onder linux je tot tranen dwongen.
De bays heb ik voor inkoop kunnen krijgen, dat betekend dat ze nogsteeds ruim 60 euro per stuk waren. Toch vind ik ze het zeker waard aangezien ik hiermee toch erg makkelijk disks kan swappen.

Heldere toelichting. Wel goed geregeld met inkoopsprijs, maar die bays blijven prijzig inderdaad. Maar met dit soort grote setups wil je toch wel makkelijk een disk kunnen swappen als het nodig is, dus verstandig is het wel.

[nero355]

Midas.e schreef op donderdag 31 december 2009 @ 13:02:
Na het zien van alle 10+TB nasjes zal ik mijne ook maar eens posten,

Het begon ooit met 2x160GB in raid0, dat werd al snel 6x160GB en 5x250GB. Inmiddels is dat allemaal vervangen door een nieuwe server:
[afbeelding]

Het hele spul is gebaseerd op een Supermicro C2SBX+ mainboard, een areca 1170 (24 port) en een lian li pc 343b. Hieraan hangen 12x1TB Hitachi's en 12x1.5TB Seagates.
Beide arrays draaien in raid6, raw opslag is ruim 30TB.
De nas wordt gebruikt als NFS store voor mn eigen virtualisatie( zie de ml110 ernaast) en mn eigen files.

Hahaha prachtig !!! Mijn volgende systeem gaat ook in die kast en wordt met waterkoeling (rechterkant ervan) en net als bij jou met hotswap units uitgerust worden

Dit topic wordt steeds leuker zo Keep up the good work !!

[Bolk]

Nu we toch bezig zijn...

Ik ben bezig met m'n NAS. Ik heb nu een Windows 2008 software RAID van 4x 1 TB disks in RAID 5. Die performance is zo slecht dat ik besloten heb om te investeren in beter materiaal.

Mijn keuze is toch gevallen op een hardware RAID oplossing in de vorm van een Adaptec 51645. Deze zal z'n werk gaan doen in een Norco 4220 met ruimte voor 20 disks.

De onderste bank ga ik gebruiken voor de system disks die gewoon op het moederbord aangesloten worden. Dat geeft me ruimte voor 16 SATA disks. Dit alles wordt gevoed door een P5Q moederbord met een Intel E6600 processor en 8 GB aan geheugen.

De system disks gaan bestaan uit 3 WD Raptors van 74 GB per stuk. Daarna zal ik beginnen met een RAID 5 Array van 3x 2TB disks welke snel uitgebreid gaat worden naar RAID 6 en naar mate de vraag naar storage toeneemt met meerdere disks. Ik vind het zonde om nu 16 disks te kopen terwijl ik er maar effectief 3 a 4 nodig heb. Dan koop ik liever iedere keer een disk bij.

Om het stroomverbruik enigszins in de hand te houden kan de Adaptec het een en het ander aan stroomverbruik oplossen en ik zit te denken aan 2TB WD green disks. Deze zijn dan wel duurder dan 2x 1TB disks maar het scheelt qua stroomverbruik.

Het hele zaakje komt te draaien op een VMWare ESXi schil met onder andere een Windows XP installatie voor een MediaPortal TV server en wat printer services, een Windows 2008 domeincontroller en mogelijk FreeNAS. Ik wil eerst wat benchmarks draaien met zowel Windows 2008 en FreeNAS en dan vooral het netwerk en access gedeelte. De array zelf zal met de Adaptec snel zat zijn. Maar ik wil gewoon het maximale uit m'n 1Gbit netwerk halen omdat ik veel met video vanaf het netwerk werk wil ik een zo snel mogelijke accesstime. Zeker als ik 1080p video wil streamen naar 2 mediacenter pc's.

[lampie1979]

DJ-Visto schreef op dinsdag 29 december 2009 @ 19:46:
[...]

Er is meer aangeraden op ESXi maar ik weet niet of het wat voor mijn is, aangezien alles in Debian (wat je nu vaak koopt van een beetje kwaliteit) prima word ondersteund.. En ESXi, en ESX zijn nog al kieskeurig..
En een beetje kwaliteit kan ik wel kopen maar iets wat 2x zo duur is van meer kwaliteit alleen voor mijn O.S vind ik voor nu een beetje overdreven

#	Product	Prijs	Subtotaal
1	AMD Phenom II X3 720 Black Edition	€ 99,65	€ 99,65
1	Chieftec CA-01B-B-SL	€ 89,90	€ 89,90
1	Supermicro AOC-USASLP-L8i	€ 128,07	€ 128,07
3	Western Digital Caviar Green WD20EADS, 2TB	€ 151,57	€ 454,71
Importeren		Totaal	€ 772,33

Is goedkoper, dan heb ik 3x 2TB kan ik die RAID5 van maken, en dan nog 2x 1TB in hardware RAID0 zodat ik 2TB drive krijg, zodat die in mijn RAID5 er bij kan.

Ik heb nog even wat vraagjes over software raid, lijkt allemaal niet moeilijk..

Stap 1:

apt-get install mdadm

Stap 2:

fdisk -l

Stap 3:
Output even opslaan of onthouden
Stap 4:

mdadm --create /dev/md0 --level=5 --raid-devices=4 /dev/sdb /dev/sdc /devsdd /dev/sde

Die achterste neem ik aan zijn de hardeschijven, die ik uit fdisk -l heb gehaald, of moet dat anders?

Stap 5:

/dev/md0

formatteren? hoe?

Dat was 't wel een beetje

Edit:

Hoe houden jullie jullie harddisks in de gaten? Gokken, elke dag een check laten lopen, een webui? Ik denk dat het laatste toch wel het meest gebruiksgemak is..

Waarom niet Openfiler als NAS?

[Midas.e]

nero355 schreef op donderdag 31 december 2009 @ 14:32:
[...]

Hahaha prachtig !!! Mijn volgende systeem gaat ook in die kast en wordt met waterkoeling (rechterkant ervan) en net als bij jou met hotswap units uitgerust worden

Dit topic wordt steeds leuker zo Keep up the good work !!

Denk daar goed over na, de kast heeft aan de binnekant een stuk minder ruimte dan ik verwachte.

[DJ-Visto]

lampie1979 schreef op donderdag 31 december 2009 @ 15:44:
[...]


Waarom niet Openfiler als NAS?

Omdat ik dan waarschijnlijk geen VMware, DNS, Webserver kan draaien..

[PeterPan]

Midas.e schreef op donderdag 31 december 2009 @ 17:56:
[...]

Denk daar goed over na, de kast heeft aan de binnekant een stuk minder ruimte dan ik verwachte.
[afbeelding]

Hoeveel casefans zitten er in totaal in? Toch niet alleen die ene zichtbaar in de foto?

[Midas.e]

in elk wisselframe 1 80mm en aan beide kanten een 120mm fan als uitvoer.

[DJ-Visto]

Ik denk dat het tijdelijk ook wel lukt met mijn X2 7850, als processor, hoeft geen X3 denk ik in, zodat ik voor wat minder kan aanschaffen, mijn idee over dit: 2x 1TB in hardware RAID0 zodat ik 2TB drive krijg, zodat die in mijn RAID5 er bij kan. Kan dat dan?

[Q]

DJ-Visto schreef op vrijdag 01 januari 2010 @ 22:10:
Ik denk dat het tijdelijk ook wel lukt met mijn X2 7850, als processor, hoeft geen X3 denk ik in, zodat ik voor wat minder kan aanschaffen, mijn idee over dit: 2x 1TB in hardware RAID0 zodat ik 2TB drive krijg, zodat die in mijn RAID5 er bij kan. Kan dat dan?

Als je Linux Software RAID gebruikt kan dat. Maar dan moet deze virtuele 2 TB disk net zo groot zijn als een echte, anders niet. Het beste is om dan de andere echte 2 TB disks ietsje onder te partitioneren of iets minder te gebruiken.

Ik heb iets vergelijkbaars ooit gedaan:



Zie hier wat info.

[ Voor 26% gewijzigd door Q op 01-01-2010 23:42 ]

[nero355]

Midas.e schreef op donderdag 31 december 2009 @ 17:56:Denk daar goed over na, de kast heeft aan de binnekant een stuk minder ruimte dan ik verwachte.
[afbeelding]

WTF... die kast hoort GROOT te zijn

Zou het dan beter zijn om alle HDD's rechts te zetten en de koeling bij de moederbord kant zeg maar ??

Anders misschien toch maar zelf iets bouwen ...

[raymonvdm]

lampie1979 schreef op donderdag 31 december 2009 @ 15:44:
[...]


Waarom niet Openfiler als NAS?

Ik quoute eigenlijk de verkeerde maar toch...

Die supermicro "Supermicro AOC-USASLP-L8i" is toch alleen een SATA uitbreidingskaart welke zelf geen raid functie heeft tenzij hij geplaatst wordt op een supermicro bord met raid module ?

[ Voor 10% gewijzigd door raymonvdm op 02-01-2010 02:00 ]

[DJ-Visto]

Q schreef op vrijdag 01 januari 2010 @ 23:42:
[...]


Als je Linux Software RAID gebruikt kan dat. Maar dan moet deze virtuele 2 TB disk net zo groot zijn als een echte, anders niet. Het beste is om dan de andere echte 2 TB disks ietsje onder te partitioneren of iets minder te gebruiken.

Ik heb iets vergelijkbaars ooit gedaan:

[afbeelding]

Zie hier wat info.

Dus het kan!
Maar ik moet natuurlijk nog wel even kijken hoe groot mijn schijven van 2TB worden als ze zijn geformatteerd enzo, ik gok op 1.936GB en hopelijk lukt dat dan ook met 2schijven in JBOD, en anders kijk ik wel even verder

[Nvidiot]

DJ-Visto schreef op dinsdag 29 december 2009 @ 19:46:
[...]


Ik heb nog even wat vraagjes over software raid, lijkt allemaal niet moeilijk..

Stap 1:

apt-get install mdadm

Stap 2:

fdisk -l

Stap 3:
Output even opslaan of onthouden

Het is netjes om op de disks een "linux raid autodetect" partitie aan te maken voordat je ze in mdadm gooit. Dit kun je doen met fdisk. (fdisk /dev/sdb -> n(ew partition) -> p(rimary). Type even op "linux raid autodetect zetten".

Hiermee voorkom je dat als je de disk ooit in een ander systeem hangt het OS het begin van de raid array verkeerd interpreteert en de disk probeert te mounten. Een tweede voordeel is wanneer je twee verschillende merken doorelkaar gaat gebruiken en de grootte van de disks komt niet precies overeen je de partities iets kleiner kunt maken zodat het alsnog werkt.

Stap 4:

mdadm --create /dev/md0 --level=5 --raid-devices=4 /dev/sdb /dev/sdc /dev/sdd /dev/sde

Die achterste neem ik aan zijn de hardeschijven, die ik uit fdisk -l heb gehaald, of moet dat anders?

Klopt, maar wanneer je dus partities hebt gemaakt moet je die noemen, dus

mdadm --create /dev/md0 --level=5 --raid-devices=4 /dev/sdb1 /dev/sdc1  ...(etc)

Stap 5:

/dev/md0

formatteren? hoe?

Je kunt nu de raid-array partitioneren of er rechtstreeks een filesystem op zetten. Ik heb er zelf rechtstreeks een ext3 filesystem op staan:

mkfs -t ext3 /dev/md0

Voor extra performance kun je het filesystem alignen met de disks in de array. Berekenen van hoe dit moet: http://busybox.net/~aldot/mkfs_stride.html

Deze kun je vervolgens gewoon mounten met

mount /dev/md0 /mnt/storage

En als je 'm automatisch gemount wil hebben even toevoegen aan /etc/fstab.

Dat was 't wel een beetje

Edit:

Hoe houden jullie jullie harddisks in de gaten? Gokken, elke dag een check laten lopen, een webui? Ik denk dat het laatste toch wel het meest gebruiksgemak is..

Ubuntu draait standaard checks en stuurt dagelijks een e-mail naar de eerst aangemaakte gebruiker (als ik 't me goed herinner) met daarin de status van de array. Als je 'sensors' installeert en configureert krijg je in hetzelfde e-mailtje ook meteen de temperatuursensor output. Met 'smartmontools' krijg je mailtjes bij smart failures van je harddisks (na configuratie).

[Q]

Voor grote arrays van meerdere TB zou ik geen EXT3 meer gebruiken maar XFS. Scheelt aanzienlijk in vrije ruimte. XFS performt ook beter.

En met mdadm kun je de disks los opgeven met /dev/sda1 /dev/sdb1, maar ook als /dev/sd[abcdefg]1

[ Voor 27% gewijzigd door Q op 02-01-2010 13:32 ]

[DJ-Visto]

Nvidiot schreef op zaterdag 02 januari 2010 @ 13:22:
[...]

Het is netjes om op de disks een "linux raid autodetect" partitie aan te maken voordat je ze in mdadm gooit. Dit kun je doen met fdisk. (fdisk /dev/sdb -> n(ew partition) -> p(rimary). Type even op "linux raid autodetect zetten".

Hiermee voorkom je dat als je de disk ooit in een ander systeem hangt het OS het begin van de raid array verkeerd interpreteert en de disk probeert te mounten. Een tweede voordeel is wanneer je twee verschillende merken doorelkaar gaat gebruiken en de grootte van de disks komt niet precies overeen je de partities iets kleiner kunt maken zodat het alsnog werkt.

[...]

Klopt, maar wanneer je dus partities hebt gemaakt moet je die noemen, dus

mdadm --create /dev/md0 --level=5 --raid-devices=4 /dev/sdb1 /dev/sdc1  ...(etc)

[...]

Je kunt nu de raid-array partitioneren of er rechtstreeks een filesystem op zetten. Ik heb er zelf rechtstreeks een ext3 filesystem op staan:

mkfs -t ext3 /dev/md0

Voor extra performance kun je het filesystem alignen met de disks in de array. Berekenen van hoe dit moet: http://busybox.net/~aldot/mkfs_stride.html

Deze kun je vervolgens gewoon mounten met

mount /dev/md0 /mnt/storage

En als je 'm automatisch gemount wil hebben even toevoegen aan /etc/fstab.

[...]

Ubuntu draait standaard checks en stuurt dagelijks een e-mail naar de eerst aangemaakte gebruiker (als ik 't me goed herinner) met daarin de status van de array. Als je 'sensors' installeert en configureert krijg je in hetzelfde e-mailtje ook meteen de temperatuursensor output. Met 'smartmontools' krijg je mailtjes bij smart failures van je harddisks (na configuratie).

Dank je wel! Hier mee kan ik even verder behalve de eerste stap, met mijn webserver nu (virtueel) kan ik niet

fdisk /dev/sdb 

doen, zit in root account.. Hij zegt unable to open map.
Voor de rest

Q schreef op zaterdag 02 januari 2010 @ 13:31:
Voor grote arrays van meerdere TB zou ik geen EXT3 meer gebruiken maar XFS. Scheelt aanzienlijk in vrije ruimte. XFS performt ook beter.

En met mdadm kun je de disks los opgeven met /dev/sda1 /dev/sdb1, maar ook als /dev/sd[abcdefg]1

Ik doe het wel handmatig met /dev/sda1/ enzo, want ik heb natuurlijk ook nog boot diskjes niet dat ik die ineens in een RAID array gooi, die zitten namelijk al in hardware RAID1. Ik moest sowieso XFS pakken, want dat ondersteund Windows ook.. Kan je trouwens met samba complete hardeschijven sharen? Denk ik gewoon

/dev/md0

ingeven als path?

[Nvidiot]

Het filesystem dat je op je NAS gebruikt maakt niet uit voor windows als je via Samba gaat sharen. Samba kan overigens alleen een gemounte disk sharen en niet rechtstreeks /dev/md0.

Voor wat performance tweaks van samba, kijk hier even: Nvidiot in "Het grote DIY RAID NAS topic deel 3"

[Q]

DJ-Visto schreef op zaterdag 02 januari 2010 @ 13:37:
[...]
Ik doe het wel handmatig met /dev/sda1/ enzo, want ik heb natuurlijk ook nog boot diskjes niet dat ik die ineens in een RAID array gooi, die zitten namelijk al in hardware RAID1.

Dat hoeft niet, dan doe je dus als voorbeeld /dev/sd[bcdefg]1

Ik moest sowieso XFS pakken, want dat ondersteund Windows ook.. Kan je trouwens met samba complete hardeschijven sharen? Denk ik gewoon

/dev/md0

ingeven als path?

Windows doet geen XFS. SAMBA is FS onafhankelijk. Ja je kunt een hele harde schijf sharen, maar waarom dat nodig is weet ik niet.

[DJ-Visto]

Nvidiot schreef op zaterdag 02 januari 2010 @ 13:41:
Het filesystem dat je op je NAS gebruikt maakt niet uit voor windows als je via Samba gaat sharen. Samba kan overigens alleen een gemounte disk sharen en niet rechtstreeks /dev/md0.

Voor wat performance tweaks van samba, kijk hier even: Nvidiot in "Het grote DIY RAID NAS topic deel 3"

Dank je wel voor de info!

Q schreef op zaterdag 02 januari 2010 @ 14:17:
[...]


Dat hoeft niet, dan doe je dus als voorbeeld /dev/sd[bcdefg]1


[...]


Windows doet geen XFS. SAMBA is FS onafhankelijk. Ja je kunt een hele harde schijf sharen, maar waarom dat nodig is weet ik niet.

Omdat daar dan al mijn storage staat? Waarschijnlijk 1mapje 'Downloads' en wat anderen schijven?
Trouwens als ik de RAID wil uitbreiden, met bijvoorbeeld nog een 2TB schijf hoef ik toch alleen te rebuilden en niet meet te formatteren?

[Midas.e]

klopt, je moet daarna wel je fs gaan resizen naar de nieuwe grote.
Om die reden gebruik ik een lvm, daar heb ik 2 arrays in zitten. Hierdoor kan ik makkelijk extra storage toevoegen en resizen.

[Q]

LVM is niet persé nodig. Nadat je een disk toevoegd en de array expand kun je met resize2fs gewoon je filesystem 'growen'.

Maar LVM is qua schaalbaarheid wel handig. Je bent er flexibeler mee, de vraag is echter of je het nodig hebt. Ik heb het niet gedaan, ik heb het niet nodig.

Voorbeeld:
Als je meerdere arrays tot 1 grote logische schijf wil vormen dan moet je gebruik maken van LVM. Ik heb alles in 1 tyfus grote RAID 6 gegooit en dan speelt dat niet.

Ik kan dus ook niet een 2e array maken en zodoende mijn array vergroten.

[ Voor 31% gewijzigd door Q op 02-01-2010 15:14 ]

[DJ-Visto]

Midas.e schreef op zaterdag 02 januari 2010 @ 14:45:
klopt, je moet daarna wel je fs gaan resizen naar de nieuwe grote.
Om die reden gebruik ik een lvm, daar heb ik 2 arrays in zitten. Hierdoor kan ik makkelijk extra storage toevoegen en resizen.

Maar wat is het voordeel van LVM nu?

Q schreef op zaterdag 02 januari 2010 @ 15:12:
LVM is niet persé nodig. Nadat je een disk toevoegd en de array expand kun je met resize2fs gewoon je filesystem 'growen'.

Maar LVM is qua schaalbaarheid wel handig. Je bent er flexibeler mee, de vraag is echter of je het nodig hebt. Ik heb het niet gedaan, ik heb het niet nodig.

Voorbeeld:
Als je meerdere arrays tot 1 grote logische schijf wil vormen dan moet je gebruik maken van LVM. Ik heb alles in 1 tyfus grote RAID 6 gegooit en dan speelt dat niet.

Ik kan dus ook niet een 2e array maken en zodoende mijn array vergroten.

Ik denk dat het ook op jou manier doe, ik zei geen enkele reden om het anders te doen.

[Midas.e]

DJ-Visto schreef op zaterdag 02 januari 2010 @ 18:22:
[...]

Maar wat is het voordeel van LVM nu?


[...]

Ik denk dat het ook op jou manier doe, ik zei geen enkele reden om het anders te doen.

Simpelweg gezegt, het beheren van je data, een lvm kan je makkelijk uitbreiden met een extra hd of array, een array een hd toevoegen kost daarintegen een complete rebuild of calculatie van parity.

[Q]

De essentie is dat je meerdere arrays of disks heel makkelijk tot een grote logische schijf kunt samenvoegen.

Disks voeg je naar mijn weten altijd aan een RAID array toe en die arrays raap je dan met LVM weer bij elkaar. Je zult dus altijd een array, zo lijkt me, moeten expanden, ongeacht het gebruik van LVM.

Als je van plan bent om 1 grote array te maken is LVM niet nodig. Als je niet teveel disks in 1 array wilt stoppen en meerdere RAID 5 of RAID 6 arrays wilt maken en die samenvoegen tot 1 geheel moet je LVM gebruiken.

En dat laatste is niet eens helemaal waar. Je kunt ook de arrays weer in een RAID set stoppen, RAID 0 of JBOD. Zo krijg je alsnog 1 groot volume.

[ Voor 38% gewijzigd door Q op 02-01-2010 20:28 ]

[Q]

Vraag aan de Norco bezitters.

Ik heb een scriptje gemaakt dat de temperatuur van iedere disk weergeeft op de positie in het chassis.



Zoals je kunt zien blijven de bovenste disks relatief koel en hebben de middenste en onderste disks het relatief warm. Het temperatuursverschil tussen de koelste en warmste disks is 8 tot 10 graden.

Het gaat mij niet zozeer om de absolute waarden maar meer om de verschillen. In dit (echte) voorbeeld zijn de waarden hoog omdat de machine met nog een server in een kleine kamer staat met de deur dicht.

Ik gebruik de stock Norco ventilatoren en heb verder niets aangepast. Hooguit achterin nog een paar slot fans. Verder heb ik de gaten in de fan mount onderin afgesloten omdat ik meen dat dit ten gunste is van de airflow.

Mijn vraag is of dit temperatuurbeeld vergelijkbaar is of dat er minder verschillen zijn / er een evenwichtiger beeld is.

[ Voor 6% gewijzigd door Q op 03-01-2010 03:52 ]

[dj_dysaster]

Midas.e schreef op zaterdag 02 januari 2010 @ 18:50:
[...]

Simpelweg gezegt, het beheren van je data, een lvm kan je makkelijk uitbreiden met een extra hd of array, een array een hd toevoegen kost daarintegen een complete rebuild of calculatie van parity.

* dj_dysaster zwaait naar midas

Ziet er netjes uit man, je zal het vast gepost hebben maar wat doet dit nou kwa read/write?

offtopic:
Dit is echt ceribus on steriods he . Ik heb zo`n vermoeden dat er binnenkort maar eens gelanned moet worden

[Brains]

Midas.e schreef op donderdag 31 december 2009 @ 13:02:

Wat een beest, zowel qua grootte als inhoud! Maar hoeveel watt verstookt de machine? Mijn nas verbruikt nu zo'n 150-200 watt. Dat is met 8x 250gb, areca 1220, e6600, 8gb ram met open-e als OS. Daarnaast staat een esxi doosjes met minimale inhoud, maar die verstookt toch ook al 60-80 watt.

[Verwijderd]

Q schreef op zondag 03 januari 2010 @ 03:47:
Zoals je kunt zien blijven de bovenste disks relatief koel en hebben de middenste en onderste disks het relatief warm. Het temperatuursverschil tussen de koelste en warmste disks is 8 tot 10 graden.

Mijn vraag is of dit temperatuurbeeld vergelijkbaar is of dat er minder verschillen zijn / er een evenwichtiger beeld is.

Staat je server op de vloer / een tafel of is deze gemount? Op je voorgaande posts met plaatjes staat deze steeds op een tafel vandaar de vraag.

Als dat het geval is, kan het chassis aan de onderkant minder goed z'n warmte kwijt. Er zijn een aantal industriële oplossingen als het echt een probleem is.

[Q]

Verwijderd schreef op zondag 03 januari 2010 @ 13:11:
[...]


Staat je server op de vloer / een tafel of is deze gemount? Op je voorgaande posts met plaatjes staat deze steeds op een tafel vandaar de vraag.

Als dat het geval is, kan het chassis aan de onderkant minder goed z'n warmte kwijt. Er zijn een aantal industriële oplossingen als het echt een probleem is.

De server ligt op een tafel. Maar als zo'n kast in een rack wordt ingebouwd, ingeklemd tussen twee andere servers dan heb je eigenlijk een zelfde situatie. Die kast moet koel blijven door de airflow van voor naar achter en moet het naar mijn weten niet hebben van warmte verlies via het chassis zelf.

[Sleepie]

De schijfruimte in mijn server begint op te raken, dus ben ik al een tijdje aan het kijken naar een NAS oplossing. De NAS is deels bedoeld voor storage, voorlopig met 4 x 1.5 TB schijven in RAID5. Aangezien deze raidset nog wel moet kunnen groeien, heb ik gekozen voor een Supermicro 8x SATA controller. Hardware raid functionaliteit heb ik niet nodig, ik wil een software raid gaan maken met OpenFiler als OS wat op het 2.5" schijfje komt te draaien.
Het moederbord is gekozen zodat ik later eventueel nog een controller kan toevoegen als ik meer dan 8 schijven nodig heb.

Verder wil ik mijn huidige 4 x 500GB schijven aan de SATA controller van het moederbord hangen en als een tweede software RAID5 set configureren en via iSCSI aanbieden aan een ESXi of Hyper-V box.

Met bovenstaande eisen/wensen in gedachte, kwam ik dan tot de volgende configuratie:



Genoeg die-hards hier die er eens een blik op kunnen werpen denk ik en misschien nog aanbevelingen/verbeterpunten zien?

[The-Source]

Je zou voorlopig nog wel die storage enclousure weg kunnen laten en zo 97 euro besparen. Deze kun je dan later bij een uitbreiding dan weer wel aanschaffen
Idem voor de supermicro kaart omdat je onboard sata aansluitingen ook nog voldoende aanwezig zijn. Zou je nu zo'n 220 euro besparen. Maar zijn wel kosten die later weer terug komen maar dan zou de aanschaf prijs wel weer gedaald kunnen zijn

Verder wil ik mijn huidige 4 x 500GB schijven aan de SATA controller van het moederbord hangen en als een tweede software RAID5 set configureren en via iSCSI aanbieden aan een ESXi of Hyper-V box.

Deze regel had ik over het hoofd gezien.

[ Voor 24% gewijzigd door The-Source op 03-01-2010 22:36 ]

[Sleepie]

klaasbram schreef op zondag 03 januari 2010 @ 22:35:
[s]
Deze regel had ik over het hoofd gezien.

In mijn huidige server zit ook zo'n enclosure. Dus vandaar dat ik er nog een bijkoop, dan zit alles netjes en ook nog hot-swappable. Die dingen zijn inderdaad duur, maar ik vind het toch wel de moeite waard

Even een concrete vraag:
Ik zie genoeg setups met 4 GB of zelfs 8GB intern geheugen. Ik neem aan dat als je alleen Openfiler of Freenas draait dat 2GB toch wel genoeg moet zijn?

[ Voor 19% gewijzigd door Sleepie op 04-01-2010 00:52 ]

[The-Source]

De grote RAM NAS worden voor meer dan alleen NAS gebruikt. Namelijk download server (is 2GB ram nog steeds genoeg) maar ook voor Virtualisatie en dan is het gewoon de vraag hoeveel VM's je gaat draaien.

[Dadona]

Het hangt er vanaf Zo gebruikte mijn minimale FreeNAS installatie met 3TB effectieve opslagruimte met ZFS 1.3 a 1.5GB aan geheugen. Ik had voor de rest alleen Samba aanstaan. Als je dan ook nog wat downloadtools erop plaatst, of dat de backuptaak niet wordt uitgevoerd door de clients, maar juist door de server dan kan het goed dat je over de 2GB heengaat. Op zich ben je dan nog helemaal niet zo bijzonder bezig, afgezien van het ZFS deel misschien. (Nog) Niet veel mensen gebruiken het en het vraagt meer geheugen.

[Bolk]

Hm, ik ben goed onderweg met m'n NAS maar ik kom nu wel tot de conclusie dat ik geen idee heb hoe ik met ESXi m'n disks kan importen. De stores zijn te klein en tevens is RAW mapping niet mogelijk in ESXi.

En ik ga echt geen $3k uitgeven voor die functionaliteit. Ik ben dus weer terug bij af en moet eens goed gaan nadenken over welk o/s ik wil gaan draaien. Gewoon een dag weggegooid doordat ik me niet goed verdiept heb in storage in ESXi

[axis]

Bolk schreef op maandag 04 januari 2010 @ 18:17:
Hm, ik ben goed onderweg met m'n NAS maar ik kom nu wel tot de conclusie dat ik geen idee heb hoe ik met ESXi m'n disks kan importen. De stores zijn te klein en tevens is RAW mapping niet mogelijk in ESXi.

En ik ga echt geen $3k uitgeven voor die functionaliteit. Ik ben dus weer terug bij af en moet eens goed gaan nadenken over welk o/s ik wil gaan draaien. Gewoon een dag weggegooid doordat ik me niet goed verdiept heb in storage in ESXi

Ik heb even niet goed gezocht hoe je setup eruit ziet, en ik weet ook niet welk OS je nu draait, maar je kunt zowel onder Linux, FreeBSD als OpenSolaris op je NAS je volumes toch presenteren via iSCSI aan je ESXi doos?

[axis]

Dadona schreef op maandag 04 januari 2010 @ 17:39:
Het hangt er vanaf Zo gebruikte mijn minimale FreeNAS installatie met 3TB effectieve opslagruimte met ZFS 1.3 a 1.5GB aan geheugen. Ik had voor de rest alleen Samba aanstaan. Als je dan ook nog wat downloadtools erop plaatst, of dat de backuptaak niet wordt uitgevoerd door de clients, maar juist door de server dan kan het goed dat je over de 2GB heengaat. Op zich ben je dan nog helemaal niet zo bijzonder bezig, afgezien van het ZFS deel misschien. (Nog) Niet veel mensen gebruiken het en het vraagt meer geheugen.

Met ZFS is het een heel ander verhaal, die gebruikt je geheugen om te filesystem access te cachen. Wat je ook wilt van een dedicated NAS. Je kunt configureren hoeveel geheugen ZFS mag gebruiken (google op ZFS ARC memory ofzo). Weet niet of je dit ook in FreeNAS kunt configureren.

[Midas.e]

Bolk schreef op maandag 04 januari 2010 @ 18:17:
Hm, ik ben goed onderweg met m'n NAS maar ik kom nu wel tot de conclusie dat ik geen idee heb hoe ik met ESXi m'n disks kan importen. De stores zijn te klein en tevens is RAW mapping niet mogelijk in ESXi.

En ik ga echt geen $3k uitgeven voor die functionaliteit. Ik ben dus weer terug bij af en moet eens goed gaan nadenken over welk o/s ik wil gaan draaien. Gewoon een dag weggegooid doordat ik me niet goed verdiept heb in storage in ESXi

Via NFS kan je zo je data exporten, je hebt dan ook geen limiet van het vmfs via iscsi. (2TB bij default blocksize). Zo bied ik mn 22TB aan mn esxi machines.