Fileserver upgrade

[Zer0CooL]

Hey iedereen,

ik ben bezig met een refresh van mijn fileserver thuis en zit wat in de knoop over welk OS ik best gebruik...

Huidige situatie :
Windows 7 ultimate
Intel Pentium E2120 @ 2Ghz
3GB DDR2
Highpoint 2340 (16x sata2)
2x raid 5 array van 6x 2TB schijven (1x samsung, 1x hitachi)

Nieuwe situatie :
OS : ??
Intel Core i3 2100
4GB DDR3
1x Highpoint 2340 (16x sata2)
1x Highpoint 2740 (16x sata2)

Harde schijven moeten er nog bijkomen, maar ik wacht voorlopig op betere prijzen.

Reeds getest :
Ubuntu linux (software raid via mdadm)
Ubuntu linux (hardware raid via mobo & kaart)
Windows 7 (hardware raid via mobo & kaart)

Ik zou graag via een mdadm of gelijkaardige oplossing werken om de simpele reden dat je dan raid arrays kan opbouwen over verschillende controllers. Echter in mijn initiele tests bleek de performance niet geweldig, mogelijk door de 'zwakke(re)' CPU.

ter referentie, op mijn huidige highpoint 2340 haal ik +/- 300MB/sec doorvoer.

van oplossingen zoals freenas ben ik ook geen geweldige fan omwille van hun zfs pooling, die de flexibiliteit van de array(s) niet ten goede komt.

Kunnen jullie jullie licht eens laten schijnen over mijn situatie?

alvast bedankt,
Zer0

[112fan]

Je zou eens kunnen kijken naar Windows Home Server 2011

[j.w.k]

openmediavault best goed oplossing voor een nas gebruik het zelf ook op meerde systemen.

[Zer0CooL]

112fan schreef op woensdag 15 februari 2012 @ 15:57:
Je zou eens kunnen kijken naar Windows Home Server 2011

Bedankt voor je reactie.
Windows Home Server is voor mij niet echt een optie aangezien ik graag weet wat er op de achtergrond gebeurt

j.w.k schreef op woensdag 15 februari 2012 @ 16:00:
openmediavault best goed oplossing voor een nas gebruik het zelf ook op meerde systemen.

deze zal ik eens checken! bedankt voor de tip!

verdere bedenkingen zijn steeds welkom natuurlijk!

Voorlopig was ik van plan hardwarematig 3 raid 5 arrays op te bouwen (1 op elke controller (2x raid 1x mobo) en deze dan via windows software 'raid' JBOD bij elkaar te plakken...

[ Voor 12% gewijzigd door Zer0CooL op 15-02-2012 16:08 ]

[112fan]

Je kan ook Windows Server 2008 (R2) nemen.

[Beatboxx]

Je hebt ze getest, wat is daar uitgekomen? En als je het puur als fileserver gaat gebruiken zou ik lekker ubuntu doen waarnaar je via ip o.i.d. bestanden upload!

[IceTeaGX]

RAID5 over 16 schijven is toch een vrij groot risico.
Zeker met zulke grote volumes is er een goede reden om ZFS te gebruiken.

[Beatboxx]

Inderdaad, neem hier ook eens een kijkje: Het grote ZFS topic

[Zer0CooL]

allereerst : iedereen alvast bedankt voor de replies!

Beatboxx schreef op woensdag 15 februari 2012 @ 17:41:
Je hebt ze getest, wat is daar uitgekomen? En als je het puur als fileserver gaat gebruiken zou ik lekker ubuntu doen waarnaar je via ip o.i.d. bestanden upload!

tot nu toe is de harware raid het enige dat lekker werkt...
heb onder ubuntu ook met mdadm (software raid) gespeeld, maar daar haalde ik over 4schijven slechts 24MB/sec doorvoer... met hardware raid was dat dichter bij 250MB/sec

zfs vind ik een beetje... een probleem...
het schijnt wel fijn te werken, echter je moet telkens een volledige reeks HDDs kopen (als ik het goed heb begrepen)

Had ook al naar oplossingen zoals unRaid en dergelijke gekeken, maar zelfs de betalende versie kan 'slechts' arrays maken van 21 schijven...
Door die beperking heb ik het eerlijk gezegd zelfs niet getest.

Ik zal zeker dat zfs topic nog eens uitspitten...

zfs had voor mij 2 belangrijke nadelen :
- vuistregel : 1GB RAM per TB storage... ik plan een 40TB aan storage te hebben op korte tot midellange termijn...
- expansion : schijven moeten per groep bijigekocht worden, in plaats van per stuk of per enkele stuks...

ondertussen openfiler en freenas ook getest en dat waren geen winners...
openfiler : onoverzichtelijke web-interface, omslachtige werkwijze.

[ Voor 10% gewijzigd door Zer0CooL op 16-02-2012 08:19 ]

[Keiichi]

Zer0CooL schreef op donderdag 16 februari 2012 @ 08:09:


tot nu toe is de harware raid het enige dat lekker werkt...
heb onder ubuntu ook met mdadm (software raid) gespeeld, maar daar haalde ik over 4schijven slechts 24MB/sec doorvoer... met hardware raid was dat dichter bij 250MB/sec

Ik heb een kleine atom 'server' staan met 4 schijven in software raid5, die voor schrijven 100Mbytes/sec weten te halen en lezen 200Mbytes/sec. Wellicht dat er iets anders speelt dan.

[akimosan]

Hmmm... Misschien is het nog wat vroeg om de definitieve keuze te maken. maar kun je wat met een tussenoplossing.

Windows Home Server is an sich geen verkeerde keuze, het levert je een server OS op ipv Windows 7.
Qua weten wat er op de achtergrond gebeurt: de basis is gewoon Server 2008 R2, middels RDP heb je gewoon toegang tot de volledige desktop en je kunt de tools van Server 2008 gebruiken.

Je hoeft de resourcepooling met harde schijven niet te gebruiken, je kunt ook bestaande raids gebruiken en gewoon schijven en mappen delen zoals je gewend bent.

Dus als je Windows gewend bent is de leercurve niet zo hoog..

Windows 8 (Server) gaat wel de nodige vernieuwing gebruiken, waaronder storage pooling. Hoe dat er precies uit gaat zien is me ook nog wat onduidelijk. Ze hebben het eerst uit Windows Home Server gesloopt en vervangen met een m.i. halfbakken oplossing omdat ze het niet stabiel konden krijgen en nu komt er toch iets in Windows 8? Ik ben benieuwd.

Ook gaat Windows 8 Server de limiet van 2TB voor VHD's opkrikken. Joepie!

Zelf ben ik overgestapt op Hyper-V Server en daarbinnen draai ik dan enkele virtuele servers (waaronder mijn fileserver)

Voordeel is dat ik meer flexibiliteit creëer in welk OS ik kan of wil gebruiken en mijn storage ook flexibeler kan gebruiken, doordat de virtuele fileserver geen fysieke harde schijf gebruikt, maar een virtuele.
Breid ik mijn fysieke capaciteit uit, dan kan ik eenvoudig de VHD kopiëren naar een nieuwe/grotere disk of extra VHD's creëren, koppelen aan de VM en we kunnen weer verder.

Je kunt op die manier dus makkelijker storage toevoegen en de data 1 op 1 verplaatsen.

Ik zou idd ook niet gaan voor 2 grote arrays van 2x 16 harddisks (vanwege risico bij uitval), maar eerder beginnen met raid arrays van 4x4. Op dit moment zijn HDD's van 2TB misschien betaalbaar, en tegen de tijd dat je 4x2TB volgeschreven hebt zijn misschien 4TB schijven even duur als 2TB nu. Dan koop je tegen die tijd 4x4TB, daar maak je een nieuwe array mee, en de volgende keer 4x8TB. Tegen de tijd dat je die op de helft zit, kopieer je de data van je eerste 4x2TB array, verkoopt de oude schijven misschien of gebruikt ze als spare. Dan heb je weer ruimte om 4x16TB erin te frutten.

Ik bedoel maar: als je je server in het begin helemaal volplempt, heb je geen ruimte om te schuiven. Bovendien heb je in eerste instantie overcapaciteit waar je nog niets mee doet, maar het kost je wel geld waarbij je op een later tijdstip hetzelfde kan uitgeven voor meer schijfruimte.

Houd er ook rekening mee dat bij gebruik van RAID je misschien ook moet rekening op aanschaf van extra sparedisks! Als er 1 schijf overlijdt in je RAID5 array moet je die eigenlijk wel kunnen vervangen door hetzelfde type schijf. Is dat type dan niet meer leverbaar dan heb je misschien alsnog een probleem.


En 4GB is wat karig hoor. Zeker als je gebruik zou willen maken van virtualisatie is meer RAM een goede keus (uiteraard ook een 64-bit OS gebruiken)
En minimaal QUAD processor om meerdere VM's te ondersteunen.

[borft]

hmm, ik vraag me af wat er mis ging met de software raid opstelling, ik haal op mijn servers met software raid vergelijkbare prestaties met hardware raid: ongeveer de max van de disks. Overigens zou ik verwachten dat je met een raid5 opstelling van meer dan 10 disks wel meer dan 1GB/s moet kunnen lezen als je sequentieel leest, ongeacht of je hardware of software raid gebruikt.

[Zer0CooL]

akimosan schreef op donderdag 16 februari 2012 @ 22:32:
En 4GB is wat karig hoor. Zeker als je gebruik zou willen maken van virtualisatie is meer RAM een goede keus (uiteraard ook een 64-bit OS gebruiken)
En minimaal QUAD processor om meerdere VM's te ondersteunen.

akimosan - bedankt voor je uitgebreide uiteenzetting!

Ik ben echter niet van plan gebruik te maken van virtualisatie.
Bovendien heb ik een cpu (i3 2100) gekocht die geen ondersteuning biedt voor intel VT.

als test heb ik gisteravond Ubuntu 11.10 desktop 64bit geïnstalleerd en een mdadm raid5 gemaakt van 6x 80GB laptopschijfjes (hadden we op t werk nog liggen)
Op die array haal ik met dd if=/dev/zero of=file.test count=4K
een kleine 60MB/sec schrijven voor een file van 2.1GB... lijkt me toch wel erg weinig, of ligt dat aan mij?
De array is geformatteerd als ext3.
ga straks eens proberen te kijken waar de bottleneck juist ligt.
misschien moet ik m'n mdadm array nog wat tweaken, heb ergens gelezen dat je met settings nog veel performance kan winnen.

had trouwens ook al gedacht aan arrays van 4 schijfjes per keer... dan kom ik als maximum (met 2TB schijfjes) op 48TB.
Het probleem is dat ik dan m'n huidige arrays ook moet aanpassen... heb nu 2x 6schijven in raid steken.
Een totaal van ruim 17TB bestaande data.
Dan zou ik sowieso 12 schijven moeten aankopen nu (3*4) om1 array te vervangen/kopieren, waarna ik dan 1 van de oorspronkelijke arrays kan 'afbreken' en een nieuwe array opzetten --> 4*4 = 24TB en dan zit 1 kaart al helemaal vol met 2TB schijfjes.

Als het werkgeheugen een knelpunt is kan ik vrij eenvoudig (en met minimale kosten) nog uitbreiden naar 8GB.

Mijn voorwaarden zijn vrij eenvoudig : stil, minstens 128MB/sec schrijven (gbit netwerk) en veel storage (en als het kan : zo 'zuinig' mogelijk)
Stil is al gelukt. Luidste componenten zijn de harde schijven.
CPU koeler : 6.8 - 14Db(A)
Voeding : 13Db(A)
case fans : 2 x Antec Big Boy 200 TriCool Fan (@ 400/600/800rpm)

[Verwijderd]

@topicstarter. Er wordt hier van alles geroepen en de reden daarvoor is denk ik omdat het niet echt duidelijk is wat jouw vereisten nu net zijn.

Kan je misschien eens verduidelijken:

- Wat er mis is met de huidige configuratie (op softwaregebied)?
- Hoe je huidige omgeving eruit ziet?
- Wat je zelf als eisen stelt?
- Waarvoor het gebruikt wordt?
...

Ik kan natuurlijk wel roepen dat ik een Win2008R2 file server zou neerpoten met DFS zodat ik 1 logische root heb onafhankelijk van de onderliggende hardware, maar als je niet wil investeren in een licentie hiervoor (om maar iets te noemen) heeft mijn input weinig zin.

Nog als losse opmerking even meegeven dat ik nooit zo'n grote SATA RAID omgeving zou bouwen aangezien de kans op failure in mijn ogen even groot is als met losse disks te bouwen. Als er in die grote array iets misgaat, kost het gigantisch veel tijd om die opnieuw te rebuilden en het is niet onwaarschijnlijk dat er tijdens die rebuild dan iets misgaat. Beter kleinere onafhankelijke arrays bouwen en deze eventueel op een layer hoger samen te brengen tot 1 logisch geheel als dat nodig is (DFS bv )

[Zer0CooL]

Verwijderd schreef op zaterdag 18 februari 2012 @ 00:13:
Kan je misschien eens verduidelijken:

- Wat er mis is met de huidige configuratie (op softwaregebied)?

Met de huidige config is op zich niets mis. Het werkt vlot, snel, alleen is de huidige opslagcapaciteit 'te klein' geworden.
Ik zag me genoodzaakt over te stappen op een configuratie met meerdere controllers, waardoor hardware raid een stuk minder interessant wordt (als je graag, zoals ik, 1 duidelijke filestructuur behoudt)

- Hoe je huidige omgeving eruit ziet?

Dit had ik in m'n oorspronkelijke post reeds aangehaald :

Huidige situatie :
Windows 7 ultimate
Intel Pentium E2120 @ 2Ghz
3GB DDR2
Highpoint 2340 (16x sata2)
2x raid 5 array van 6x 2TB schijven (1x samsung, 1x hitachi)

- Wat je zelf als eisen stelt?

Wel, mijn fileserver moet verhuizen naar een ruimte die we niet kunnen afsluiten (de 'kleine' slaapkamer waar hij nu staat krijgt misschien binnenkort een andere bestemming )
Daardoor moet hij een stukje stiller zijn dan de stofzuigers die er nu in hangen.
Dus targets :
- stil
- uitbreiding capaciteit
- liefst 1 duidelijke structuur voor het FS
- 124MB/sec schrijven op z'n minst

- Waarvoor het gebruikt wordt?

Deze fileserver gebruik ik privé om grote tot zeer grote files op te bewaren tot 50GB/stuk ongeveer

Ik kan natuurlijk wel roepen dat ik een Win2008R2 file server zou neerpoten met DFS zodat ik 1 logische root heb onafhankelijk van de onderliggende hardware, maar als je niet wil investeren in een licentie hiervoor (om maar iets te noemen) heeft mijn input weinig zin.

Ik wil uiteraard liefst zo min mogelijk investeren, aangezien het ding puur voor thuisgebruikt bedoeld is.
Windows licenties kan ik wel krijgen via school dus dat lijkt me zo niet echt een probleem.
Die DFS ziet er best boeiend uit, daar kan ik me morgen eens in verdiepen.

Nog als losse opmerking even meegeven dat ik nooit zo'n grote SATA RAID omgeving zou bouwen aangezien de kans op failure in mijn ogen even groot is als met losse disks te bouwen. Als er in die grote array iets misgaat, kost het gigantisch veel tijd om die opnieuw te rebuilden en het is niet onwaarschijnlijk dat er tijdens die rebuild dan iets misgaat. Beter kleinere onafhankelijke arrays bouwen en deze eventueel op een layer hoger samen te brengen tot 1 logisch geheel als dat nodig is (DFS bv )

Deze bedenking had ik me zelf ook reeds gemaakt.
Ben nog aan het twijfelen tussen arrays van 4 of van 8 schijven, aangezien de data die erop staat niet bepaald kritieke data is, als in : het zou jammer zijn om deze te verliezen, maar geen wereldschokkende ramp.

Bedankt alvast voor je reply en ik kijk uit naar de volgende ;-)

[Beatboxx]

Ik zou gewoon meerdere RAID5 array's maken van 4 schijven. En tja stil... Als je 20 schijven hebt die hard aan't werk zijn kan dat nooit stil zijn. Welke schijven ga je overigens kopen? Sommige zijn écht niet goed met RAID, anderen juist wel!

[osmosis]

is http://www.freenas.org/features niet wat voor je ?

[ Voor 17% gewijzigd door osmosis op 18-02-2012 23:35 ]

[Zer0CooL]

jterpstra schreef op zaterdag 18 februari 2012 @ 23:35:
is http://www.freenas.org/features niet wat voor je ?

jterpstra, bedankt voor je reactie, maar wil je toch even de startpost lezen alvorens te reageren?
Ik wil niet rot overkomen, maar toch...

[Beatboxx]

Kan je misschien proberen duidelijker te maken welke eisen je stelt aan een OS? (En antwoord m'n dm ff;))

[Zer0CooL]

dm is gebeurd beatboxx
OS maakt me niet veel uit...
ik werk nu met windows 7, kan vrij goed overweg met ubuntu (zowel desktop als server varianten)
ok red hat en aanverwanten zijn geen probleem.
Zelfs een OS dat de gehele bak zou herleiden tot een pure NAS zou ik geen echt probleem mee hebben.

[Zer0CooL]

update : ik heb ondertussen ook FlexRaid een kans gegeven.
Dit is voor mij ook geen optie vrees ik.

Hoewel de flexibiliteit waanzinnig is, is de snelheid niet om over naar huis te schrijven...
Je krijgt qua schrijfsnelheid de snelheid van 1 schijf, aangezien hij slechts op 1 schijf tegelijk schrijft...
Aantal redundante schijven zijn on the fly in te stellen, alsook uitbreiden vereist nauwelijks moeite...

Qua stabiliteit heb ik ook wat vragen... service 3x gecrasht in de dag dat ik het getest heb...

Volgende stap is Windows Home Server 2011 en openmediavault testen...

Ik laat nog wel weten wat ervan geworden is :-)