Het grote DIY RAID NAS topic deel 2

[Quadro!]

Het grote DIY NAS Topic

Op 10 januari 2007 startte Microkid het topic DIY RAID NAS bouwen. Dit onderwerp bleek meer tweakers bezig te houden en nu, een jaartje verder, bestaat het topic al uit meer dan 1300 posts. Een topic van 1300 posts doorspitten op zoek naar de informatie die je zoekt is echter niet altijd een pretje, vandaar dat we in dit topic verder gaan met het discussiëren over het ideale NAS. Daarnaast worden hier veelvoorkomende struikelblokken, tips, tweaks en how-to's bijgehouden. Lees voordat je eventueel specifieke RAID vragen gaat stellen in ieder geval de RAID FAQ door, aangezien daar veel vragen al worden beantwoord. NB: Als ik het over software raid heb, ga er dan vanuit dat ik OS-based software raid bedoel en met hardware raid bedoel ik doorgaans 'echte' hardware raid oplossingen met eigen cpu en geheugen, zoals we die kennen van areca, 3ware enz.

Hardware:

Processor, moederbord en geheugen: De kern van je NAS. Hiermee bepaal je in feite al of je een energiezuinige-, een überperformance-, een spotgoedkope- of een guldenmiddenwegfileserver wilt hebben. Een NAS moet natuurlijk uiteindelijk data over het netwerk pompen. 100mbit trekt elke cpu jonger dan 8 jaar tegenwoordig bijna wel vol, maar met gigabit moet je toch wel wat meer processorkracht in huis hebben. Voor zowel energiezuinige als goedkope servers zijn de AMD Athlon X2 (BE serie voor energie efficiëntie) met hun gunstige performance/watt/euro verhouding aan te raden. Maak je in ieder geval geen illusies dat je goede gigabit performance zult krijgen met een P3 of een Celeron. Vanwege het lage idle stroomverbruik van de goedkope AMD's, is dit platform dus bij uitstek geschikt voor een NAS. Bij een processor hoort natuurlijk ook een geschikt moederbord. Belangrijk is om hierbij te letten of de onboard hardware ondersteund wordt door jouw OS. Voor FreeBSD en FreeNAS zie dit overzicht voor SATA/PATA chipsets en kijk op de FreeBSD site voor een overzicht van gigabit adapters, let op gigabit bestaat uit twee onderdelen: MAC en de PHY. De PHY moet ook ondersteund worden anders werkt het niet. nVidia onboard gigabit ondersteuning in FreeBSD7 betekent nogsteeds dat je moet opletten of de PHY uitgekozen door de moederbord-fabrikant ook wordt ondersteund. Twee moederborden met dezelfde chipset kunnen nog wel een verschillende PHY chip hebben. Tenslotte is het toch wel aan te raden om minimaal 512MB geheugen te installeren, zeker wanneer je een softwarematige raidoplossing gaat gebruiken. Bovendien is geheugen tegenwoordig voor een appel en een ei bijna al te koop.. SATA (RAID) Controllers: In de meeste gevallen zal software raid wel voldoen, zeker als je RAID0, 1 of zelfs 1+0 gaat draaien. RAID5 is echter een ander verhaal. Hierbij moet immers bij elke write pariteit worden berekend en weggeschreven. Dat resulteert in een lagere write-performace en zeker als je de standaard onboard RAID5 van je moederbord of de RAID5 implementatie van windows gaat gebruiken kan de performance bedroevend zijn (minder dan 15MB/sec writes zijn eerder regel dan uitzondering). Gelukkig bestaan er wel goede implementaties, bijvoorbeeld geom_raid5, die beschikbaar is voor FreeBSD. Dit is een populaire oplossing en zal verder in deze startpost ook nog beschreven worden. Daarnaast is mdadm onder linux ook een zeer goede oplossing. Hardwarematige raid controllers zijn in de meeste gevallen voor een thuis NAS overkill, maar kunnen nuttig zijn in de volgende situaties. Je wilt RAID5 of 6 draaien en: • Je gebruikt Windows op je NAS (de softwarematige RAID5 alternatieven van windows lopen sterk achter op die van Linux en FreeBSD) • Je móet beslist Online Capacity Expansion of Online Raid Level Migration functionaliteit hebben. • Hoge IO concurrency (bijv. fileserver op een LAN-party waar veel mensen tegelijk leechen ) • Je hebt teveel geld en wilt een extra patsfactor aan je NAS toevoegen Als je tot de conclusie bent gekomen dat je inderdaad een hardwarematige raid controller nodig hebt én over voldoende budget beschikt, zijn vooral de controllers van het merk Areca aan te raden. Deze staan bekend om hun uitstekende performance, degelijkheid en goede support. Daarnaast zijn er natuurlijk voldoende andere aanbieders van raidcontorllers, zorg in ieder geval dat je een koopt waarbij er een CPU op zit die de XOR berekeningen uitvoert. Anders wordt je main CPU alsnog lastig gevallen met XOR operaties waar die niet voor is geoptimaliseerd en is je prijs/performance ten opzichte van een goede software raid5 oplossing nog steeds niet verbeterd. Het kan natuurlijk ook zo zijn dat je te weinig SATA poorten hebt en software RAID wilt draaien. In dat geval kun je een gewone, simpele sata controller gebruiken. Let er hierbij wederom wel op dat de PCI-bus vrij snel vol zit. Als je dus nog een leeg PCI-e x1 slot hebt doe je er beter aan een PCI-Express SATA controller te kopen, bijvoorbeeld kaarten met Silicon Image 3132 chip of JMicron JMB363, die vaak verkocht worden onder een andere naam zoals Sweex. Let goed op: Silicon Image 3132 wordt niet door FreeNAS ondersteund! Wel door FreeBSD7. Kast en voeding: Voor een thuisserver is een stille kast in combinatie met een efficiënte voeding meestal de beste oplossing. Bij de drivebays is het ook handig om te weten dat je elke 5.25" met een simpel en goedkope bracket kunt gebruiken voor een 3.5" harde schijf. Enkele merken kasten waarbij je eigenlijk altijd wel goed zit, zijn Antec, Chieftec en CoolerMaster die alle drie ook nog eens stock erg degelijke voedingen meeleveren; niet onbelangrijk voor een fileserver. Als je om wat voor reden dan ook een rackmount chassis wilt hebben, zou je eens kunnen kijken bij Chenbro. Die kasten zijn over het algemeen erg degelijk voor een relatief vriendelijke prijs. Harde schijven: Tenslotte natuurlijk het belangrijkste van je fileserver: de harde schijven. Er is extreem veel keus en het is maar net hoeveel ruimte je nodig hebt en hoeveel budget je hebt. Over de hoeveelheid schijven en de grootte ervan valt wat te zeggen. Het is handig om allereerst na te gaan hoeveel schijfruimte je in totaal wilt hebben en of je RAID wil gaan draaien. Als je bijvoorbeeld 4TB schijfruimte wilt hebben EN RAID5 wilt draaien, maar slechts plek hebt voor 4 harde schijven, kun je er voor kiezen 4 harde schijven van 1.5TB te nemen. Netto houd je dan 4.5TB over. Een andere factor om in je beslissing mee te nemen is natuurlijk dat meer harde schijven meer energie vreten en meer warmte produceren.

Software:

Operating System: Windows: Windows is natuurlijk een optie. Het kan prettig zijn als je geen zin hebt om energie en moeite te steken in het 'leren' van een nieuw besturingssysteem; alles is lekker vertrouwd en het is meestal ook nog vrij stabiel te noemen. De RAID5 implementatie van Windows is echter niet zo snel als die van de op *nix gebaseerde varianten. Als je er verder geen problemen mee hebt dat je schrijfsnelheden erg laag zijn ten opzichte van *NIX alternatieven, is Windows een reëele optie. De server edities van Windows ondersteunen standaard RAID5, maar Windows XP niet. Gelukkig hebben we daar de RAID hack voor. FreeNAS: FreeNAS is een OS gebaseerd op FreeBSD, speciaal gemaakt om een NAS te draaien. Het is extreem lightweight en simpel te configureren via de webinterface. Vrijwel alle standaardfeatures die je van een NAS verwacht zitten er in en biedt RAID5 ondersteuning via een oudere (maar stabiele) versie van geom_raid5, met minder hoge performance dan nieuwere versies op FreeBSD7 maar wel minder RAM genoeg neemt. Als je dus een OS zoekt waarbij je zo weinig mogelijk zelf hoeft te tweaken en die een kleine footprint heeft (het past op een 32MB CF kaart), kan dit een goede optie zijn. FreeBSD: Omdat FreeNAS een erg uitgeklede versie van FreeBSD is en speciaal gericht op files serven is, is het wat lastiger om er dingen als een webserver op te laten draaien. Wil je dus je NAS ook nog andere taken laten verrichten is het wellicht een goed idee om gewoon een FreeBSD installatie te doen. Let wel, als je dat doet moet je zelf de geom_raid5 module nog installeren. Bij de HOWTO's staan enkele tutorials hoe je een FreeBSD installatie kunt opzetten met geom_raid5 en hoe je bijvoorbeeld een webserver of Samba kunt installeren. Linux: In het vorige deel kwam linux als OS bijzonder weinig aan bod, maar toch wil ik het hier even noemen omdat het een prima optie is. Op http://linux-raid.osdl.org staat een mooie beschrijving over raid en dan met name de toepassing ervan op een linux machine. Welke distributie je wilt gebruiken is natuurlijk helemaal aan jou. Als je nog niet met een distro bekend bent, kijk dan even in Het grote welk OS (bijvoorbeeld linux distro) topic deel 7. Een aantal linux distributies die speciaal voor NASses ontwikkeld zijn: • Openfiler • SME Server

Howto's:

• Installatie van FreeBSD 7 met geom_raid5

Links:

• Door FreeBSD 7 en FreeBSD 6/FreeNAS ondersteunde SATA en PATA chips • Linux software RAID optimalisaties • Algemene linux tuning tips • Installatie van ZFS onder FreeBSD (experimenteel!)

[ Voor 136% gewijzigd door Quadro! op 12-03-2009 12:57 ]

[Twynn]

Dan moet ik toch even reageren om wat dingen in de startpost recht te zetten. Op deze manier lijkt het me iets te veel op freebsd-promotie.

Er is wel degelijk een raid5 implementatie in windows. Deze is inderdaad niet zo snel als een *nix versie maar wel degelijk bruikbaar. Geen capacity expansion maar het doet wat het moet doen: zorgen dat bij een hdd crash de boel blijft draaien en weer opnieuw te syncen is. Slecht is het namelijk niet.

Verder heb je ook voor linux wel degelijk een nas-distributie: Openfiler. Wel iets minder leightweight maar je kunt er ook meer mee. (En van wat ik heb vernomen wordt openfiler ook bedrijfsmatig ingezet).

[Quadro!]

FreeBSD propaganda was niet mijn doel en ik wil andere OS'es ook zeker niet weren, maar dat kwam in het vorige deel niet heel veel aan bod. Van het bestaan van Openfiler wist ik niet af, ik zet hem er even bij in de topicstart

[Tomsworld]

Je zou ook kunnen zeggen dat er commerciele tegenhangers bestaan zoals ondermeer www.open-e.com (geen ervaring mee maar ziet er een beetje een freenas ++ uit).

Ikzelf draai nu software raid onder linux, vooral raid1 ik ben daar heel tevreden over, misschien ga ik een Dell Perc 5/i kopen gezien die vrij goedkoop aangeboden worden op ebay, dat geeft dan de vrijheid de array eenvoudig te verhuizen.

[Nielson]

Quadropluxor schreef op dinsdag 12 februari 2008 @ 20:14:
FreeBSD propaganda was niet mijn doel en ik wil andere OS'es ook zeker niet weren, maar dat kwam in het vorige deel niet heel veel aan bod. Van het bestaan van Openfiler wist ik niet af, ik zet hem er even bij in de topicstart

Dan zou ik SME Server ook aan willen bevelen, net zoals Openfiler gebaseerd op CentOS, zit nmi iets strakker in elkaar, en is met een soort plugin systeem genaamd Contribs heel makkelijk uit te breiden met extra functionaliteit.

[Anoniem: 41852]

Twynn schreef op dinsdag 12 februari 2008 @ 20:04:
Er is wel degelijk een raid5 implementatie in windows. Deze is inderdaad niet zo snel als een *nix versie maar wel degelijk bruikbaar.

En zeer gevaarlijk, met de windows implementatie en veel onboard RAID5 implementaties is onopgemerkte datacorruptie mogelijk; deze implementaties schrijven namelijk niet de array status in de metadata, dus als de array weer opstart van een ernstige crash wordt de parity niet gecontroleerd. Zo blijft onopgemerkte corruptie bestaan en heb je eigenlijk al een deel van je RAID5 bescherming ingeleverd.

Daarnaast is 20MB/s of 400MB/s+ natuurlijk een groot verschil qua performance en van de features hoef je het ook niet te hebben. Software RAID5 bestaat dan ook niet op Windows, tenzij je hobby-implementaties meerekent. Maar daar vertrouw ik mijn data niet aan toe. Wil je persé Windows dan doe je er goed aan minimaal een Highpoint RocketRAID 23xx controller te overwegen. Pas dan kun je RAID5 met gerust hart gebruiken. Uiteraard allemaal IMHO.

Openfiler is gebaseerd op linux en gebruikt dus md-raid5. Die doet wel netjes een rebuild na een unclean shutdown. ZFS heeft door zijn design geen rebuild nodig, alhoewel ik zelf wel een scrub zou laten uitvoeren.

[Twynn]

Anoniem: 41852 schreef op woensdag 13 februari 2008 @ 08:16:
En zeer gevaarlijk, met de windows implementatie en veel onboard RAID5 implementaties is onopgemerkte datacorruptie mogelijk; deze implementaties schrijven namelijk niet de array status in de metadata, dus als de array weer opstart van een ernstige crash wordt de parity niet gecontroleerd. Zo blijft onopgemerkte corruptie bestaan en heb je eigenlijk al een deel van je RAID5 bescherming ingeleverd.

Na een crash wordt wel degelijk de parity gecontroleerd. (Praktijkervaring, heb jarenlang een windows fileserver gehad die dat wel degelijk deed).

Daarnaast is 20MB/s of 400MB/s+ natuurlijk een groot verschil qua performance en van de features hoef je het ook niet te hebben. Software RAID5 bestaat dan ook niet op Windows, tenzij je hobby-implementaties meerekent. Maar daar vertrouw ik mijn data niet aan toe. Wil je persé Windows dan doe je er goed aan minimaal een Highpoint RocketRAID 23xx controller te overwegen. Pas dan kun je RAID5 met gerust hart gebruiken.

Ook dit is weer helemaal overdreven. Snelheden zijn inderdaad niet als bij *nix varianten, maar zelfs mijn oude ondergeklokte P3 met oude ata schijven kwam al ruim boven de 20MB/S.

Bedenk verder ook dat deze implementatie zich al heel wat jaren in het bedrijfsleven heeft bewezen. Sinds de windows NT3.5 server versie kun je al softwarematige raid 5 draaien (sinds 1994 dus) en zeker kleinere bedrijven hebben hier al vaker gebruik van gemaakt.

Uiteraard allemaal IMHO.

Ik denk dat je beeld een beetje gekleurd is.

[El Cid]

Jammer dat Solaris er niet bij staat. Solaris + ZFS is volgens mij onverslaanbaar als fileserver.

[Anoniem: 41852]

Twynn schreef op woensdag 13 februari 2008 @ 08:53:
Na een crash wordt wel degelijk de parity gecontroleerd. (Praktijkervaring, heb jarenlang een windows fileserver gehad die dat wel degelijk deed).

Was dat met mirroring of echt RAID5? De keer dat ik dat testte kwam er namelijk geen rebuild.
Maar ook al zou dat werken, zijn er nog genoeg redenen om het niet te gebruiken:

Bijvoorbeeld de zeer lage write performance, zie hier een benchmark van Femme zelf:



Alhoewel de reads zeer goed zijn (is ook niet zo moeilijk) zijn de writes zeer slecht. Schrijven naar RAID5 is namelijk een complex proces dat op meerdere manier kan worden verricht, elk met voordelen en nadelen.

In Windows XP wordt een simpele RAID5 implementatie gebruikt, die het zonder write-combining moet doen. Write-combining houdt in dat de RAID-driver binnenstromende write-requests opspaart totdat deze een specifieke 'ultieme' lengte heeft, de full write block length (stripesize * (aantal_disks - 1)). Alleen als er met exact deze grootte geschreven wordt, is het mogelijk om de writes in 1 phase te doen en alle parity in één keer uit te rekenen omdat dan alle benodigde informatie reeds in het RAM staat. Dit gaat wel gepaard met extra CPU belasting, omdat het meer werk voor de processor met zich meebrengt.

Als je goed naar de ATTO scores kijkt, kun je zien wat er gebeurt. De write scores stijgen continu naar gelang de I/O request size groter wordt. Waarom? Hoe groter de I/O request des te meer 'full write blocks' er worden overlapt, die dus zonder reads weggeschreven kunnen worden.

Helaas werkt dit grapje in de praktijk niet door 1) een stripe misalignment en 2) Windows XP gaat maar tot 64KiB request size, wat dus overeenkomt met 6,4MB/s. Nu zullen hedendaagse hardeschijven sneller zijn en dus ook een hogere score leveren, maar die kunnen het seeken niet voorkomen dus het zal traag blijven. In feite leidt sequentiële write tot non-sequentiële read én writes (reads om de parity in te lezen)

Andere argumenten kunnen zijn:

• Omdat alle writes 2-phase gebeuren, betekent dat constant en intensief seeken van je schijven. Dat resulteert in meer slijtage, stroomverbruik en geluidsproductie.
• Je hebt vrijwel geen controle over je array, geen tools om te analyseren of diagnostische en recovery taken te verrichten. Verder ook weinig features qua RAID zelf, en ook geen expansion enzo.
• Werkt alleen onder XP (via een hack) en Server-editites, dus je array ooit meenemen naar Vista zit er niet in.
• Windows biedt geen support voor geavanceerde filesystems, en NTFS is lichte 'meta-data only' journaling en dat levert i.c.m. RAID5 een mogelijk risico op, die je niet geheel kunt uitsluiten met een UPS. Sterke journaling (voor metadata én data) biedt de beste bescherming tegen write-back, maar kent wel een double-write penalty waardoor je write snelheid omlaag gaat.

Maargoed, het hangt natuurlijk helemaal af van je wensen. Wil je niets spannends maar gewoon op een goedkope en gemakkelijke manier RAID5 gebruiken onder XP dan zie ik geen bezwaar. Echter, de nadruk in het voorgaande deel van dit topic werd vooral gelegd op een serieuze, snelle en veilige NAS. Linux en BSD hebben daarbij als voordeel dat een hardware RAID kaart niet nodig is, wat bij Windows als host OS wel nodig zal zijn gezien de beperkingen van software RAID5 in XP.

Ook dit is weer helemaal overdreven. Snelheden zijn inderdaad niet als bij *nix varianten, maar zelfs mijn oude ondergeklokte P3 met oude ata schijven kwam al ruim boven de 20MB/S.

Dankzij de simpele implementatie met weinig features is het meest CPU-verslindende onderdeel (write-combining) van tafel, en kun je XP RAID5 dus ook op oudere systemen gebruiken. Voor Linux en BSD icm moderne RAID5 geldt dit niet: die kunnen een X2 6000+ systeem tot aan de knieën brengen.

Voor mijn volgende NAS wil ik dan ook de energiezuinige Phenom 9100e gebruiken, quadcore en toch low-power. En goedkoop want hij zal wel rond of onder de prijs van de Phenom 9500 komen en die staat nu voor 135,- in de PW.

Ik denk dat je beeld een beetje gekleurd is.

Kan best, ik kan mijn enthousiasme in elk geval moeilijk bedwingen.

Maar mijn interesse kent wel een achtergrond. Anderhalf jaar geleden kwam ik contact met iemand die bezig was een RAID5 driver voor FreeBSD te maken. Al gauw waren we beide geinteresseerd in samenwerking en heb ik een dedicated testsysteem met ssh access geregeld, waarop we samen nieuwe code testten op stabiliteit en performance. En vooral bugs, want het duurde soms wel een week voordat het na een grote wijziging uberhaupt weer draaide.

Maar gaandeweg leer je hierdoor wel veel details en snap je waarom RAID5 ingewikkeld is en er meer wegen naar Rome zijn. Ook besef je dat de potentie van RAID heel groot is en door niemand nog optimaal benut wordt. geom_raid5 is legendarisch in zijn soort aangezien het in staat is een RAID5 write score neer te legen die hoger is dan die van een Areca ARC-1220. Ook al zijn er nu alweer snellere Areca's en gaat dit alleen op voor sequentiële I/O.. tot nu toe was dit ondenkbaar voor Software RAID5.

Maar het niveau wat geom_raid5 haalt is er pas gekomen na harde inspanningen waarbij het vallen en opstaan was, en er continu over het ontwerk ideeën werden geöpperd voor mogelijke verbeteringen. Hierdoor zijn er drie versies van geom_raid5 onstaan, elk met een eigen ontwerp-filosofie, als experiment bij de zoektocht naar meer performance (onze honger was groot ). Nadat ik de eerste keer getalen boven de 400MB/s zag ( voor dat moment), was voor ons eindelijk de bevestiging dat zulke write-snelheden wel degelijk mogelijk zijn met software. Dus gekleurd: ja, want trots op geom_raid5 ben ik zeker.

Maargoed conclusie is: mijn interesse ligt vooral bij de exotische NAS, welke dankzij het vorige topic veel mensen over de streep heeft getrokken en nu zoiets thuis draait. Iemand met minder ruige wensen heeft kiest logischerwijs ook voor wat anders.

[Twynn]

Anoniem: 41852 schreef op donderdag 14 februari 2008 @ 06:00:
Was dat met mirroring of echt RAID5?

Dat was echt raid5 met 6 schijven.

Maargoed, het hangt natuurlijk helemaal af van je wensen. Wil je niets spannends maar gewoon op een goedkope en gemakkelijke manier RAID5 gebruiken onder XP dan zie ik geen bezwaar.

Ok, dan ben ik het met je eens

Maargoed conclusie is: mijn interesse ligt vooral bij de exotische NAS, welke dankzij het vorige topic veel mensen over de streep heeft getrokken en nu zoiets thuis draait. Iemand met minder ruige wensen heeft kiest logischerwijs ook voor wat anders.

Klopt. Er zijn vele mogelijkheden. Toch zie ik vaak ook dat zo'n machine niet als nas wordt neergezet, maar als fileserver. En daarbij moet dan vaak toch nog wat meer gedaan worden zoals download-bak, webserver, htpc-server etc.. En dan word de os-afhankelijkheid natuurlijk al groter

[Anoniem: 46009]

Ik ben op zoek naar de beste energiezuinige oplossing. OS maakt me niet uit, maar bij voorkeur wil ik een NAS die maximaal powerdown doet (suspend, hibernate, weet ik veel) en ontwaakt als hij via het netwerk benaderd wordt.

De reden hiervoor is dat 99% van de tijd die NAS niet gebruikt wordt, en als hij wel continu draait veroorzaakt dat nodeloos veel energieverbruik en slijtage.

Wat is hiervoor de beste setup?

Ik heb wel gezocht en inmiddels geexperimenteerd met Windows XP icm Raid 1 (goed genoeg, hoef geen Raid5), maar dat levert problemen met wake-up on LAN.

[BurnerT]

joow deeltje 2 alweer

ik zoek een OS waar een beetje aan te sleutelen is en die een build in web interface heeft voor beheer en health check bestaat dat?

[_eXistenZ_]

Mooie TS. Ik zal binnekort ff wat schrijven (werd gevraagd in het vorige deel) als ik niet te fed up ben met FreeBSD, hiero blijft mijn server hangen als ik ongeveer een uurtje Gbit pomp. Ding was 5 dagen up, daarna ff gbit pompen, hoppakee weer dood.
Enlightenment, ik heb gekeken wattie zegt op me scherm maar hij reageert gewoon nergens meer op, zet niks op mijn scherm, en logt niks. Een totale freeze dus. Ik stuur je men sshgegevens via een PM zodat jij er naar kan kijken, want ik snap het echt niet meer . Hardware is gechecked behalve de PSU en goed bevonden. PSU is een brand spanking new Antec NeoHE 430, als je het mij vraag kan dat het probleem gewoon niet zijn.

Ik sta op het punt op FreeBSD helemaal over boord te gooien en er gewoon Gentoo op te zetten.
Dan maar wat minder performance... Maar voor ik dit alles doe, wil je dan eens kijken op mijn servertje wat er nu precies verkeerd geconfigged oid is. Tevens zijn de gegevens die op mijn server staan nu ook crippled, zo kon ik Crysis gister niet meer installeren nadat ik deze ooit op me server gezet had, en de laatste maand steeds dit gezijk aanhield. Ergens along the ride gaan er dus ook gewoon gegevens kapot.

Voor stats kan je kijken op http://existenznl.dyndns.org/phpsysinfo, waarbij me wel opvalt dat kernel + applications bijna altijd 500MB van de 1GB gebruiken.

BurnerT schreef op vrijdag 15 februari 2008 @ 12:18:
joow deeltje 2 alweer

ik zoek een OS waar een beetje aan te sleutelen is en die een build in web interface heeft voor beheer en health check bestaat dat?

Ja. _{Lees eerst maar eens}

[ Voor 13% gewijzigd door _eXistenZ_ op 15-02-2008 17:45 ]

[vargo]

_eXistenZ_ schreef op vrijdag 15 februari 2008 @ 15:19:
Mooie TS. Ik zal binnekort ff wat schrijven (werd gevraagd in het vorige deel) als ik niet te fed up ben met FreeBSD, hiero blijft mijn server hangen als ik ongeveer een uurtje Gbit pomp. Ding was 5 dagen up, daarna ff gbit pompen, hoppakee weer dood.
Enlightenment, ik heb gekeken wattie zegt op me scherm maar hij reageert gewoon nergens meer op, zet niks op mijn scherm, en logt niks. Een totale freeze dus. Ik stuur je men sshgegevens via een PM zodat jij er naar kan kijken, want ik snap het echt niet meer . Hardware is gechecked behalve de PSU en goed bevonden. PSU is een brand spanking new Antec NeoHE 430, als je het mij vraag kan dat het probleem gewoon niet zijn.

Ik sta op het punt op FreeBSD helemaal over boord te gooien en er gewoon Gentoo op te zetten.
Dan maar wat minder performance... Maar voor ik dit alles doe, wil je dan eens kijken op mijn servertje wat er nu precies verkeerd geconfigged oid is. Tevens zijn de gegevens die op mijn server staan nu ook crippled, zo kon ik Crysis gister niet meer installeren nadat ik deze ooit op me server gezet had, en de laatste maand steeds dit gezijk aanhield. Ergens along the ride gaan er dus ook gewoon gegevens kapot.

Voor stats kan je kijken op http://existenznl.dyndns.org/phpsysinfo, waarbij me wel opvalt dat kernel + applications bijna altijd 500MB van de 1GB gebruiken.


[...]

Ja. _{Lees eerst maar eens}

Klinkt als kapot geheugen. Heb je memtest86/memtest86+ al eens een etmaal laten draaien?
(heb zelf ooit zo'n probleem gehad waarbij de memtest in 1e instantie ok was... pas nadat ik de geheugenreepjes in een ander mobo zette en nogmaals testte bleek dat er toch 1 reep stuk was)

[Q]

Over de noodzaak van hardware raid ivm volgende punt:
• Je móet beslist Online Capacity Expansion of Online Raid Level Migration functionaliteit hebben.

Ook onder Linux werkt software online capacity expansion tegenwoordig. Dus je hoeft niet persé aan de hardware raid of bsd voor deze functionaliteit.

[Anoniem: 41852]

@_eXistenZ_: je hebt foute partitionering gebruikt:

code:

8 partitions:
#        size   offset    fstype   [fsize bsize bps/cpg]
  a:  8385867        0    4.2BSD     2048 16384 28528
  c:  8385867        0    unused        0     0         # "raw" part, don't edit

Dit houdt in dat de a-partitie de MBR zou mogen overschrijven. Gelukkig begint het filesystem niet op die locatie, maar je krijgt tijdens de boot en operatie wel tientallen waarschuwingen zoals deze:

Feb 14 14:36:04 mk2 kernel: WARNING: Expected rawoffset 0, found 8385930

Ik vraag me af: hoe heb je gepartitioneerd? Daar is iets niet goed gegaan denk ik. Of dat ook de reden is voor je crash: dunno.

[_eXistenZ_]

Het kan haast niet de reden voor mijn crash zijn, ik had dit idd gezien bij mijn laatste install en genegeerd (was zo vrijpostig geweest om dit in de drive geometry hoek te schuiven, wat ook genegeerd mocht )

Dit heb ik namelijk de eerste keer niet gehad toen ik gepartitioneerd heb, en op die install heeft mijn server ook een maandje ofzo lopen crashen precies zoals dattie nu doet.

Hoe ik gepartitioneerd heb: met de label editor alle slices weggegooid van mijn vorige avonturen, daarna per schijf eerst een 4G slice aangemaakt, daarna een slice met de rest van de ruimte aangemaakt.

1 van die schijven actief gezet en daar de bootloader op geinstalleerd.

Toen met geom_raid5 een array gemaakt van ad4s2 ad6s2 ad8s2 en ad10s2

[IRCfreAk]

ff een vraagje hier tussen al het geom geweld heen.
stel ik heb 6x500gb in raid5
en ik hang er nog 2x750gb bij
ik heb online expansion op mijn controller : lsi megaraid sata 300 8x pci-x
kan ik dan ook die 2x250 die ik over heb nog gebruiken? ik las dat het bij adaptec wel kon en bij areca weer niet

[_eXistenZ_]

Als je die 2 in raid5 gaat zetten heb je een raid5 van (8-1)x500gb. Je kan voor zover ik weet onder linux toch gewoon die extra 2x250gb partitioneren en gebruiken? Staat alleen niet in je raid5 array dan...

[Fauna]

_eXistenZ_ schreef op maandag 18 februari 2008 @ 09:50:
Als je die 2 in raid5 gaat zetten heb je een raid5 van (8-1)x500gb. Je kan voor zover ik weet onder linux toch gewoon die extra 2x250gb partitioneren en gebruiken? Staat alleen niet in je raid5 array dan...

Dan moet de controller dat wel ondersteunen... Bij een Areca kan dat inderdaad niet. Dan kun je de resterende 250GB dus niet in een andere raid-set of volume stoppen zodat je daar een partitie op aan kunt maken. En als dat niet gaat kun je met de software ook weinig beginnen .

[zyberteq]

ik draai al een tijdje met plezier freenas.
maar heb sinds kort 2x 500GB sata gekocht om eindelijk mijn ATA schijven weg te kunnen doen.

ik had 2 geom volumes. 1 raid5 met 4 schijven (hier moeten eigenlijk die 2 500gb'ers bijkomen)
en een geom-stripe volume van 4x 300GB schijven.

ik kan alleen op geen enkele manier meer bij die stripe.
had een beetje heen en weer zitten schuiven met de config omdat freenas de verkeerde schijven liet zien onder de verkeerde naam enzo, en na alle schijven (behalve de raid5 schijven) opnieuw toegevoegd te hebben kon ik niet meer bij de stripe.

met "graid5 dump /dev/ad4" krijg ik netjes te zien dat er een array is die 4 schijven bevat.
met "gstripe dump/dev/ad22" zegt ie echter:
Can't read metadata from /dev/ad22: Invalid argument.
Not fully done.
(bij elk van die 4 300GB's dus)
heb ook geen initialize gedaan op 1 van die schijven.
kan ik nog wat anders proberen?

[Anoniem: 41852]

You're doomed.

Nee hoor, het is mogelijk om je data terug te halen, met gstripe create kun je i.t.t. gstripe label een array maken zonder enige configuratie te overschrijven op de disks zelf. Zolang je geen filesystem mount betekent dat dat je vrij kunt experimenteren. De vraag is: weet je de exacte configuratie van de array? Stripesize en diskvolgorde zijn belangrijk. Als je dit weet kun je gstripe create gebruiken om een array te maken. Dan controleer je of daar het filesystem op staat wat je verwacht. Gebruik fsck -t ufs -n /dev/stripe/... om veilig te testen of het een geldig filesystem bevat. Krijg je superveel errors, dan komt de huidige configuratie niet overeen met de originele config.

Vind je het te eng, wil ik ook wel voor je kijken, daarvoor moet je dan wel SSH toegang regelen (poort 22).

[ Voor 55% gewijzigd door Anoniem: 41852 op 18-02-2008 20:40 ]

[zyberteq]

ik zou je best ssh access willen geven maar ik zit achter 2 routers waarvan er maar 1 van mij is. dus ik kan geen poorten forwarden.

maar ik heb wat geprobeerd. en ik krijg 2 verschillende errors:
/dev/stripe/strip3p1 (No such file or directory)Can't stat /dev/stripe/strip3p1
Can't stat /dev/stripe/strip3p1: No such file or directory
en:
** /dev/stripe/strip3p1 (NO WRITE)
** Last Mounted on /mnt/anime
** Phase 1 - Check Blocks and Sizes
PARTIALLY TRUNCATED INODE I=4
SALVAGE? no
enz...

de 2e lijkt me op wat jij zei, veeeeel errors, dus foute config.
die 1e ziet er vreemd uit. en lijkt ook niet goed te zijn

is die stripesize ook erg belangrijk? is gewoon de default van freenas 0.685

[_eXistenZ_]

Ondertussen is mijn server na testen gecrashed, daarna 1 reepje ram er uit getrokken. Vannacht issie weer gecrashed met 1 reepje ram, ik ga ze nu omwisselen. Als het meezit heb ik een kapot reepje te pakken nu. Als dat weer crasht test ik met een reepje in uit mijn eigen pc dat zich stabiel heeft bewezen in een jaar.

/edit

[b]Ik zie nu deze error nadat me server weer gecrashed is:

g_vfs_done(): raid5/data[READ(offset=-3957845<heel veel getalletjes>, length=32768] error=5
vnode_pager_getpages I/O read error
vm_fault: page read error: pid 4476 (rtorrent)

/edit

Zie mijn volgende post

[ Voor 65% gewijzigd door _eXistenZ_ op 21-02-2008 09:35 ]

[Quadro!]

Vanmiddag via de post op m'n werk 4x500GB ontvangen. Als ik thuis ben maar even met FreeBSD en geom stoeien De indeling die ik van plan ben te maken:

80GB ATA maxtor als bootdisk. Als ik zin heb later misschien nog iets met een USB-stick oid, maar eerst hou ik het simpel. Op elke 500GB een partitie van 15GiB en 450GiB (500GB = 465GiB). Vervolgens wil ik een kleine, snelle RAID0 array van 4x15GiB maken voor unrarren etc. en een grote veilige RAID5 array voor de algemene storage. Als die RAID0 vervolgens niet zo lekker blijkt te werken oid, kan ik die altijd nog weggooien en m'n RAID5 array expanden

[_eXistenZ_]

Ondertussen ben ik verder gaan zoeken naar die error 5, en het schijnt dat dit een vaker voorkomend probleem is icm Geom en sommige als generic gedetecte SATA chips - zo wordt de mijne ook gezien voor zover ik kan nagaan - of met een Areca driver. Afaik is hier geen oplossing voor, hoewel ze voor Areca schijnbaar een driver hebben uitgebracht die dat probleem voor zulke kaarten oplostte.

http://www.bsdforums.org/forums/showthread.php?t=48743 (Ongeveer halverwege zelfde error)
http://osdir.com/ml/freebsd.devel.geom/2006-01/msg00016.html

Deze dingen omschrijven behoorlijk mijn probleem, ook eentje die dit meldde icm met rtorrent, waar ik ook problemen mee heb. maar het gaat uiteindelijk om de hoeveelheid I/O die gedaan wordt. Bij veel I/O gaat BSD gewoon op zijn plaat. Ik durf nu dan ook met vrij grote zekerheid te zeggen dat het niet hardware gerelateerd is maar aan BSD / Geom ligt. _{Dit zeg ik niet om af te zijken, het liefste behoud ik dit OS maar als niet anders kan stap ik over op Gentoo...}

Dus Enlightenment, weet jij hier een oplossing voor of is mijn hardware ondanks dat ik er echt op gelet heb bij aanschaf en de berichten positief leken toch gewoon niet compatible met FreeBSD?

/edit

Ik lees dat DMA uitzetten helpt maar ik heb SATA schijven... Eens kijken of het helpt als ik de SATA controller in de bios op IDE mode zet en dan onder IDE de DMA uitzetten in me bios...

[ Voor 11% gewijzigd door _eXistenZ_ op 21-02-2008 09:36 ]

[Quadro!]

Zo, mijn NAS is up en running, maar dan wel onder Debian ipv het eerst geplande FreeBSD. De vorige keer had ik namelijk op dezelfde hardware problemen die wel wat op die van existenz leken en ik had geen zin om daar weer tegen aan te lopen. Bovendien moest ik constant opzoeken hoe ik iets deed waar ik een beetje ziek van werd, terwijl ik al bekend ben met Debian, en wist ik nog niet zeker of alle software die ik wilde gaan draaien het wel onder FreeBSD ging doen. Anyway tot die conclusie kwam ik toen ik geom_raid5 met geen mogelijkheid gecompileerd kreeg.

Nu heb ik dus met mdadm zonder problemen alles aan de praat gekregen met het volgende resultaat:

code:

obelix:/dev/md# mdadm --detail /dev/md0
/dev/md0:
        Version : 00.90.03
  Creation Time : Thu Feb 21 12:40:18 2008
     Raid Level : raid0
     Array Size : 62974208 (60.06 GiB 64.49 GB)
   Raid Devices : 4
  Total Devices : 4
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Thu Feb 21 12:40:18 2008
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

     Chunk Size : 64K

           UUID : c592a2a9:d1560de2:9547e4c9:010b9f63 (local to host obelix)
         Events : 0.1

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       33        2      active sync   /dev/sdc1
       3       8       49        3      active sync   /dev/sdd1

code:

obelix:/dev/md# mdadm --detail /dev/md1
/dev/md1:
        Version : 00.90.03
  Creation Time : Thu Feb 21 13:05:22 2008
     Raid Level : raid5
     Array Size : 1417920768 (1352.23 GiB 1451.95 GB)
    Device Size : 472640256 (450.74 GiB 483.98 GB)
   Raid Devices : 4
  Total Devices : 4
Preferred Minor : 1
    Persistence : Superblock is persistent

    Update Time : Thu Feb 21 13:05:22 2008
          State : clean, degraded, recovering
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 128K

 Rebuild Status : 8% complete

           UUID : d8c92fa3:248d791a:9547e4c9:010b9f63 (local to host obelix)
         Events : 0.1

    Number   Major   Minor   RaidDevice State
       0       8        2        0      active sync   /dev/sda2
       1       8       18        1      active sync   /dev/sdb2
       2       8       34        2      active sync   /dev/sdc2
       4       8       50        3      spare rebuilding   /dev/sdd2

Zoals je ziet is m'n RAID5 array aan het rebuilden, zodra dat klaar is wil ik ff wat benchmarks gaan draaien om te kijken of de performance me aan staat en ik FreeBSD icm geom_raid5 toch niet nog es een kans moet geven

[_eXistenZ_]

Ter vergelijking:
Ik haal met 4 HD501LJ's in raid5, vooropgesteld dat het ding een half uur niet crasht, 200MB/s schrijven en 220MB/s lezen op FreeBSD 7 RC1 AMD64.
Getest met # dd if=/dev/zero of=/data/zerofile bs=1m count=1000.

Ben benieuwd wat jij haalt

[ Voor 36% gewijzigd door _eXistenZ_ op 21-02-2008 20:39 ]

[Q]

Quadropluxor schreef op donderdag 21 februari 2008 @ 13:39:

Nu heb ik dus met mdadm zonder problemen alles aan de praat gekregen met het volgende resultaat:
Zoals je ziet is m'n RAID5 array aan het rebuilden, zodra dat klaar is wil ik ff wat benchmarks gaan draaien om te kijken of de performance me aan staat en ik FreeBSD icm geom_raid5 toch niet nog es een kans moet geven

Zelf draai ik Etch en haal ik met 4x 500 gb in raid 5 rond de 100 MB/s schrijven:

code:

server:~# dd if=/dev/zero of=/storage/test.bin bs=1M count=4000
4000+0 records in
4000+0 records out
4194304000 bytes (4.2 GB) copied, 41.7985 seconds, 100 MB/s

en lezen ongeveer 170 MB/s:

code:

server:~# dd if=/storage/test.bin of=/dev/null bs=1M count=4000
4000+0 records in
4000+0 records out
4194304000 bytes (4.2 GB) copied, 24.6608 seconds, 170 MB/s

Dat zijn dus geen hele hoge resultaten, maar mij maakt dat niets uit. Ik haal met gigabit bij lange na deze snelheden niet, dus waar gaat het over.

Voor dat beetje extra snelheid ga ik niet het gemak en stabiliteit van Debian opgeven. Maar dat is persoonlijk.

Om ook nog wat stroomverbruik in te dammen heb ik ook deze settings ingesteld:

code:

echo ondemand > /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor
echo ondemand > /sys/devices/system/cpu/cpu1/cpufreq/scaling_governor

echo 1 >/sys/devices/system/cpu/cpu0/cpufreq/ondemand/ignore_nice_load
echo 1 >/sys/devices/system/cpu/cpu1/cpufreq/ondemand/ignore_nice_load

echo 1 > /sys/devices/system/cpu/sched_mc_power_savings
echo 1500 > /proc/sys/vm/dirty_writeback_centisecs
echo 5 > /proc/sys/vm/laptop_mode

Dat scheelt alles bij elkaar 5-10 watt ofzo op het totaal verbruik in idle. Of dat relevant voor je is, is punt twee.

Met wake-on-lan zet ik mijn server aan, en na gebruik ook gewoon weer uit. Lekker makkelijk. Voor de downloads staat een super energie-zuinige mac-mini te draaien .

[ Voor 29% gewijzigd door Q op 21-02-2008 21:50 ]

[zyberteq]

ok nu heb ik dat sata supported lijstje van enlightenment wel gezien. maar waarom kan ik me dan herinneren dat daar ook adaptec chipsets tussen zaten?
om die reden heb ik een Adaptec 1430SA gekocht (4prts pci-e sata) gekocht.
FreeNAS doet net of ie niks ziet, maar de bootloader ziet netjes die 4 schijven aan dat ding wel. dus dan toch een support probleem van freenas?

ik begin nu wel een beetje te balen. eerst een TB aan anime kwijt en nu ook nog een unsupported sata kaart gelukkig is internet mijn backup voor die anime, maar tis toch vervelend.
maar die sata kaart is irritanter, adaptec is zo'n beetje de eerste chipset die ondersteund wordt door N*X'en (bij scsi iig) en deze kaart is ook al een tijdje als PCI of PCI-X verkrijgbaar. Ik ga proberen een array aan te maken, kijken of freenas em dan wel ziet.

[Kenny_NL]

zyberteq schreef op vrijdag 22 februari 2008 @ 11:49:
FreeNAS doet net of ie niks ziet, maar de bootloader ziet netjes die 4 schijven aan dat ding wel. dus dan toch een support probleem van freenas?

Ik had hetzelfde met een nieuw Epia SN1800-bord. Deze kan de 4 SATA-aansluitingen ook op meerdere manieren aansturen, als RAID en in AHCI. Als ik de poorten als AHCI aanstuur (via de bios), ziet de BIOS ze wel, maar FreeBSD/FreeNAS niet. In RAID-mode lukt het wel, ondanks dat er een software-RAID5 volume op zit en een losse schijf. Zijn er ervaringen van mensen met dit Epia-bordje en de AHCI-instellingen?

En blijkbaar is de volgorde van aansluiten ook relevant, want ik kon pas weer gebruik maken van alle schijven, nadat ik in de XML-config de schijf-aanduidingen had goedgezet. Hier voor zaten de 4 schijven op een Promise SATA300-TX4 en de schijven waren toch niet 1-op-1 over te zetten (althans, FreeNAS moest dat even bijgebracht worden...)

[zyberteq]

dat bijbrengen ben ik ook mee bekend.
tis handig dat geom de config op de schijven heeft, dus als je 2 schijven fysiek verplaatst maakt dat niet uit (was ik al achter gekomen) maar freenas weet dat dan nog niet. dus dat moet je dan ook weer bijwerken.
en mijn sata kaart heeft niet echt een losse schijf modus, tis echt een raid kaart.

[Bachatero]

Beste Tweakers,

Na circa twee weken doornemen van deze topic ben ook ik geïnteresseerd geraakt in FreeNAS. Ik heb het gisteren gedownload en ben het nu aan het installeren. Ik gebruik hiervoor voorlopig als experiment een Pentium3, 2GHZ, 1.25 GB RAM. Hierin voorlopig als test 2 PATA harddiskjes (39Gb + 28 Gb).

Als leidraad gebruik ik de FreeNAS handleiding die ik van internet heb afgehaald.

Het installeren ging goed en ben nu bezig met configureren. Maar ik heb de indruk dat er iets niet goed ging bij: Disk  Mount Point.

Als ik nu via mijn explorer (\\10.0.0.151) op de server inlog, kom ik wel in de server, maar de shared folder zie ik niet. Ik zie wel de computer share (Freenas) in de netwerk omgeving staan maar deze bevat geen subfolder die ik wel in de setup had aangegeven.


Bij disks: Mount Point: Management staat:
Disk File system Name Description Status
/dev/ad1p1 ufs 30 GB Drive OK

Hoe nu verder ?

Mijn dank reeds nu,

Johan

[zyberteq]

een P3 op 2GHz? toe maar, flinke OC

edit:
ik zie het al, 2GB ram en 1,25GHz P3

magoe, volgens mij moet je nog bij CIFS/Samba en dan onder het kopje shares aangeven welke mount points er dus geshared moeten worden.
dus stel dat nog ff in (evt icm gebruikers)
dat zou het moeten zijn

[ Voor 9% gewijzigd door zyberteq op 22-02-2008 14:12 ]

[Bachatero]

Ja,

Dat was het. Ik had het kopje: "Shares"over het hoofd gezien.

Gaan we weer verder experimenteren.

Bedankt.

Johan

[Stacheldraht]

Mijn raid5 DiY Nasje onder Ubuntu:

stacheldraht@eviltux:/mnt/labx/dump$ sudo mdadm --detail /dev/md0
/dev/md0:
Version : 00.90.03
Creation Time : Wed Jan 30 23:39:55 2008
Raid Level : raid5
Array Size : 488391808 (465.77 GiB 500.11 GB)
Used Dev Size : 244195904 (232.88 GiB 250.06 GB)
Raid Devices : 3
Total Devices : 3
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Sat Feb 23 12:58:54 2008
State : clean
Active Devices : 3
Working Devices : 3
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

UUID : a8807a55:ed3aab62:cab66618:3ff788d5
Events : 0.1482

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
2 8 49 2 active sync /dev/sdd1
stacheldraht@eviltux:/mnt/labx/dump$

[Quadro!]

Q schreef op donderdag 21 februari 2008 @ 21:43:
[...]
..

Gisteren even wat testjes gedraaid en ik kwam op praktisch exact dezelfde schrijfsnelheid als jou, maar mijn leessnelheid was 30MB/sec minder (ik kwam op 140MB/sec). Op zich wel prima, aangezien gigabit LAN toch niet meer voor elkaar krijgt Waardoor die tragere readspeed zou kunnen komen is mij een raadsel, wat voor hardware draai je?

Vervolgens even een test over LAN gedaan (directe gigabit verbinding tussen mijn laptop en mijn server), maar daar bleek er ergens een bottleneck te zitten, want met 30% CPU belasting haalde ik 25MB/sec over FTP. Ik had al een vermoeden dat mijn notebook hardeschijf bijster snel was, maar na een snelle bench bleek dat hij dus écht traag is Daar gooi ik dus binnenkort maar een Hitachi 7K200 200GB schijf in...

Stacheldraht, wat voor hardware zit daar onder en wat voor performance haal jij?

Voor de volledigheid de specs van m'n server even:
• Coolermaster Centurion CAC-T05
• AOpen 350W voeding
• EPoX EP-8NPA SLI (nForce 4 SLI, 4x onboard SATA, onboard gigabit)
• AMD Sempron 2800+ (Palermo: 90nm, E6 stepping en dus AMD64 instructieset)
• 512MB DDR Ram
• 4x Maxtor Diamondmax 11 500GB (kon ik voor een prettige prijs aankomen )
Dit alles dus draaiend op Debian Etch

[ Voor 22% gewijzigd door Quadro! op 23-02-2008 16:24 ]

[Q]

Quadropluxor schreef op zaterdag 23 februari 2008 @ 14:28:
[...]


Gisteren even wat testjes gedraaid en ik kwam op praktisch exact dezelfde schrijfsnelheid als jou, maar mijn leessnelheid was 30MB/sec minder (ik kwam op 140MB/sec). Op zich wel prima, aangezien gigabit LAN toch niet meer voor elkaar krijgt Waardoor die tragere readspeed zou kunnen komen is mij een raadsel, wat voor hardware draai je?

code:

server:~# mdadm --detail /dev/md0
/dev/md0:
        Version : 00.90.03
  Creation Time : Sat Jan 12 17:08:49 2008
     Raid Level : raid5
     Array Size : 1465151616 (1397.28 GiB 1500.32 GB)
    Device Size : 488383872 (465.76 GiB 500.11 GB)
   Raid Devices : 4
  Total Devices : 4
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Sat Feb 23 18:57:18 2008
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 128K

           UUID : b27e4c2b:5f095f2d:2ce552e4:6d63ea58
         Events : 0.110

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       33        2      active sync   /dev/sdc1
       3       8       49        3      active sync   /dev/sdd1

Ik vraag me af of je hardware het probleem is. Ik heb een wat grotere chunk-size. Maar dat zal ook niet veel uitmaken.

Misschien dat deze bron nog iets nuttigs oplevert, maar ik heb zelf niets speciaals gedaan:
http://oss.sgi.com/archives/xfs/2007-01/msg00079.html

Mijn machine is een Athlon X2 BE-2350 met 2 GB geheugen. Mobo is Abit AN-M2, dus niet zo spannend. Hij is iets zwaarder denk ik qua cpu en ram, maar volgens mij verklaart dat het verschil niet.

Ik draai de nieuwste stabiele AMD-kernel voor etch.

Maar 140 MB/s is evengoed niet om verdrietig van te worden .

Edit, misschien dat hier nog iets nuttigs tussen zit:
http://www.laukas.com/knbase/linux_special/

Ik heb gedaan:

mdadm --create /dev/md0 --level=5 --raid-devices=4 --chunk=128 /dev/sd[abcd]1.

Daarna:

mke2fs /dev/md0 -R stride=32 -j

--> 4k blocks van ext3 x 32 = 128 --> de chunksize.

[ Voor 7% gewijzigd door Q op 23-02-2008 19:35 ]

[Stacheldraht]

Ik moet hier het aan en ander aan tunen

AMD Athlon 64 X2 4600+
MSI K9N Platinum
XFX Nvidia 7600 GS 256mb Silent
4 GB Corsair XMS2 667Mhz
160GB WD HDD
250GB WD HDD
250G B WD HDD
250G B WD HDD
Samsung writemaster DVD+/-RW
Coolermaster Centurion 5 Black

Want dit kan natuurlijk niet

stacheldraht@eviltux:~$ dd if=/dev/zero of=/mnt/raid/data/test.bin bs=1M count=4000
4000+0 records in
4000+0 records out
4194304000 bytes (4.2 GB) copied, 84.7667 seconds, 49.5 MB/s

stacheldraht@eviltux:~$ dd if=/mnt/raid/data/test.bin of=/dev/null bs=1M count=4000
4000+0 records in
4000+0 records out
4194304000 bytes (4.2 GB) copied, 45.9966 seconds, 91.2 MB/s

Dit zijn de schijven:

WD Caviar Special Edition -- (250 GB) -- (7200 rpm) -- (S-ATA II/300)

[Quadro!]

@Stacheldraht: Hmm dat moet zelfs met langzamere schijven en 1 schijf minder nog wel sneller kunnen ja

Q schreef op zaterdag 23 februari 2008 @ 19:16:
[...]
Ik vraag me af of je hardware het probleem is. Ik heb een wat grotere chunk-size. Maar dat zal ook niet veel uitmaken.
[...]

Ik heb precies dezelfde chunksize op m'n RAID5 array (of bedoelde je Stacheldraht?) en chunksize maakt wel degelijk verschil. Die tweaks zien er trouwens wel interessant uit, daar zal ik even mee aan de slag als ik zondagavond weer thuis ben (zit nu bij m'n ouders) en naast "dd" ook wat meer 'real-life' benches draaien, maar ik zet in ieder geval de links even in de startpost

[ Voor 3% gewijzigd door Quadro! op 23-02-2008 20:02 ]

[Q]

Ik denk dat die mke2fs /dev/md0 -R stride=32 -j voornamelijk interessant is.

[RedHead]

Nielson schreef op woensdag 13 februari 2008 @ 07:00:
[...]
Dan zou ik SME Server ook aan willen bevelen, net zoals Openfiler gebaseerd op CentOS, zit nmi iets strakker in elkaar, en is met een soort plugin systeem genaamd Contribs heel makkelijk uit te breiden met extra functionaliteit.

Ik gebruik SME Server al jaren, alleen niet als NAS. Hoe is de performance en heb ik er nog speciale contribs voor nodig? Heeft hij ook de softwarematige RAID 5 (geom_raid5)?

[ Voor 18% gewijzigd door RedHead op 23-02-2008 20:25 ]

[Anoniem: 41852]

Sorry voor mn late reactie, mn internet doet vaag laatste tijd.

@_eXistenZ_: check je DM
@zyberteq: het is ook mogelijk dat je zelf de verbinding maakt vanaf je server, dan heb je geen port forwards nodig (alleen de ander; ik dus).

Anoniem: 46009 schreef op vrijdag 15 februari 2008 @ 12:14:
Ik ben op zoek naar de beste energiezuinige oplossing. OS maakt me niet uit, maar bij voorkeur wil ik een NAS die maximaal powerdown doet (suspend, hibernate, weet ik veel) en ontwaakt als hij via het netwerk benaderd wordt.

Dat laatste heb ik nooit geprobeerd, maar heet WOL (Wake On LAN). Het nadeel is dat je systeem regelmatig zal ontwaken omdat windows sowieso naar elke pc in de LAN pakketjes verstuurd, denk ik.

Schijven power-down kan wel, maar zorgt wel voor 10 seconde wachttijd als ze weer moeten opspinnen. Voor RAID zijn ook alle schijven nodig, alleen in een concat/JBOD/spanned volume kun je b.v. 8 schijven hebben en de volume in gebruik hebben, terwijl er 6 spinned-down blijven. Dit draai ik nu op mn 2e NAS. Toch werkt dit niet super, aangezien mijn UFS filesystem files op diverse plaatsen neerzet en niet netjes na elkaar. Gevolg is dus dat je tijdens het doorzoeken van mappen herhaaldelijk 10 sec. moet wachten omdat die gegevens zich op een spinned-down schijf bevinden.

De reden hiervoor is dat 99% van de tijd die NAS niet gebruikt wordt, en als hij wel continu draait veroorzaakt dat nodeloos veel energieverbruik en slijtage.

Wat is hiervoor de beste setup?

Een AMD processor: BE series als je dualcore wilt, of een moderne 65nm athlon 64 processor. Die hebben een laag idle verbruik. Intel Core 2 Duo verbruikt zo'n 25-30W idle. Yorkfield 45nm haalt wel 3W idle, maar die (6850 als ik me niet vergis?) kostte wel 700 euro toen ik laatst controleerde.

Eventueel kun je ook voor een VIA C7 oplossing gaan. Heb je een barebone (dus zelf geheugen + hardeschijf verzorgen) met misschien weinig cpu kracht maar voor simpel mirroring heb je dat ook niet nodig. Kies dan wel eentje met 4 SATA sloten. Ik vermoed wel dat alle I/O over PCI loopt, dus zowel je hardeschijven als gigabit. Veel performance haal je dus niet, maar als je met 20MB/s tevreden bent mag dat geen bezwaar zijn.

_eXistenZ_ schreef op donderdag 21 februari 2008 @ 16:44:
Ter vergelijking:
Ik haal met 4 HD501LJ's in raid5, vooropgesteld dat het ding een half uur niet crasht, 200MB/s schrijven en 220MB/s lezen op FreeBSD 7 RC1 AMD64.
Getest met # dd if=/dev/zero of=/data/zerofile bs=1m count=1000.

Je moet wel je read-ahead wat omhoog gooien voor hogere read-performance. B.v. met:
sysctl vfs.read_max=48

Q schreef op donderdag 21 februari 2008 @ 21:43:
Zelf draai ik Etch en haal ik met 4x 500 gb in raid 5 rond de 100 MB/s schrijven:

Dat zijn dus geen hele hoge resultaten, maar mij maakt dat niets uit. Ik haal met gigabit bij lange na deze snelheden niet, dus waar gaat het over.

Als 100MB/s write de limiet is, dan betekent dat ongeveer 30-35MB/s met goede journaling (double write). De lichte journaling van b.v. Ext3 is niet goed genoeg om de risico's van verloren buffers op te vangen. Zolang je je dat realiseert en het risico accepteert, is er weinig mis met je setup. Bovendien biedt Linux je de mogelijkheid te expanden, wat voor een software RAID5 setup een luxe feature is.

Om ook nog wat stroomverbruik in te dammen heb ik ook deze settings ingesteld:
echo 1500 > /proc/sys/vm/dirty_writeback_centisecs

Met deze instelling laat je dirty buffer voor maximaal 15 seconden bestaan, al die tijd in je RAM. Als er iets met je systeem gebeurt, betekent dat dat er best wel veel gegevens zomaar verdwijnen, ofwel de fysieke schijven nooit gehaald hebben. Dit levert het risico op van verloren/corrupte files door filesystem corruptie. Ténzij je filesystem sterk genoeg is om de verloren (en a-synchrone) buffers op te vangen en de data netjes weet te herstellen met een journal replay. JFS biedt mogelijk de beste bescherming, alhoewel ik me in dat FS nog niet heb verdiept.

Het voordeel van deze instelling is dat je writes opspaart tot 15 seconde, en dus niet continu kleine wijzigingen worden geschreven (zoals de file accesstime).

zyberteq schreef op vrijdag 22 februari 2008 @ 11:49:
ok nu heb ik dat sata supported lijstje van enlightenment wel gezien. maar waarom kan ik me dan herinneren dat daar ook adaptec chipsets tussen zaten?

De lijst die ik publiceer gaat alleen over ATA/SATA chips, niet over RAID kaarten zoals b.v. Areca. Check dus de volledige FreeBSD 7 hardware list (google).

Q schreef op zaterdag 23 februari 2008 @ 19:16:
Ik vraag me af of je hardware het probleem is. Ik heb een wat grotere chunk-size. Maar dat zal ook niet veel uitmaken.

Dat maakt in dit geval wel uit, omdat dit automatisch meer read-ahead betekent. De read-ahead wordt (in geval bij FreeBSD) in filesystem blocks uitgedrukt, een waarde van 8 betekent 8 x 16KB = 128KiB read/ahead, wat niet genoeg is om alle schijven in een RAID0 met 64KiB te laten werken. Dus om je sequential read omhoog te krijgen moet je de read-ahead ook omhoog gooien. Voor gigabit moet je vaak ook tuning doen om maximale performance te krijgen.

[ Voor 11% gewijzigd door Anoniem: 41852 op 24-02-2008 19:02 ]

[_eXistenZ_]

Anoniem: 41852 schreef op zondag 24 februari 2008 @ 18:28:
Je moet wel je read-ahead wat omhoog gooien voor hogere read-performance. B.v. met:
sysctl vfs.read_max=48

Die staat al op 64 Maargoed laten we eerst maar uitzoeken waarom me server blijft crashen, dan kannie altijd nog geoptimaliseerd worden

[Q]

Anoniem: 41852 schreef op zondag 24 februari 2008 @ 18:28:
Als 100MB/s write de limiet is, dan betekent dat ongeveer 30-35MB/s met goede journaling (double write). De lichte journaling van b.v. Ext3 is niet goed genoeg om de risico's van verloren buffers op te vangen. Zolang je je dat realiseert en het risico accepteert, is er weinig mis met je setup. Bovendien biedt Linux je de mogelijkheid te expanden, wat voor een software RAID5 setup een luxe feature is.

Dat risico accepteer ik omdat ik een APC UPS draai met apcupsd, wat overigens ook weer 'stroom kost', maar zo zal het zijn. Overigens is dataverlies van een enkel bestand niet zo'n punt, maar totale filesystem corruptie natuurlijk wel.

Met deze instelling laat je dirty buffer voor maximaal 15 seconden bestaan, al die tijd in je RAM. Als er iets met je systeem gebeurt, betekent dat dat er best wel veel gegevens zomaar verdwijnen, ofwel de fysieke schijven nooit gehaald hebben. Dit levert het risico op van verloren/corrupte files door filesystem corruptie. Ténzij je filesystem sterk genoeg is om de verloren (en a-synchrone) buffers op te vangen en de data netjes weet te herstellen met een journal replay. JFS biedt mogelijk de beste bescherming, alhoewel ik me in dat FS nog niet heb verdiept.

Het voordeel van deze instelling is dat je writes opspaart tot 15 seconde, en dus niet continu kleine wijzigingen worden geschreven (zoals de file accesstime).

Dit werd ook aangegeven bij die optie, dus dat je wel 'voorzichtig' bent met het gebruik van dit soort instellingen. Over JFS weet ik overigens niets.

Dat maakt in dit geval wel uit, omdat dit automatisch meer read-ahead betekent. De read-ahead wordt (in geval bij FreeBSD) in filesystem blocks uitgedrukt, een waarde van 8 betekent 8 x 16KB = 128KiB read/ahead, wat niet genoeg is om alle schijven in een RAID0 met 64KiB te laten werken. Dus om je sequential read omhoog te krijgen moet je de read-ahead ook omhoog gooien. Voor gigabit moet je vaak ook tuning doen om maximale performance te krijgen.

Ok. Dan zou dat dus misschien kunnen helpen.

[keur0000]

Misschien niet de juiste manier , maar toch plaats ik de vraag hier ook.

Heb vanmorgen een topic gestart "Compaq ML370 G2 met een Compaq Smart Array 431 controller" en FreeNas. Probleem is dat FreeNas niet wil booten van de RAID1 Array.

keur0000 in "FreeNas op ML370 G2 met Compaq Smart Arr..."

Indien iemand hier een oplossing voor weet of een idee heeft

[P5ycho]

Anoniem: 41852 schreef op zondag 24 februari 2008 @ 18:28:
Dat laatste heb ik nooit geprobeerd, maar heet WOL (Wake On LAN). Het nadeel is dat je systeem regelmatig zal ontwaken omdat windows sowieso naar elke pc in de LAN pakketjes verstuurd, denk ik.

WOL werkt met een zogenaamte 'magic packet', je kunt dan bijv. met een snelkoppeling op je desktop de server starten. WOL werkt alleen wanneer de device 'acpi off' is. dwz. hibernation of gewoon uit, wat precies hetzelfde is. Of het ook werkt met suspend to ram (S3) weet ik niet.
Een andere optie is misschien de server te configureren met een wake on event gebeuren in de bios.

Een AMD processor: BE series als je dualcore wilt, of een moderne 65nm athlon 64 processor. Die hebben een laag idle verbruik. Intel Core 2 Duo verbruikt zo'n 25-30W idle. Yorkfield 45nm haalt wel 3W idle, maar die (6850 als ik me niet vergis?) kostte wel 700 euro toen ik laatst controleerde.

De nieuwe 45nm core2duo's zijn interessant imho, vanwege hun lage idle verbruik. full load ligt ook op een magere 35W ongeveer. prijstechnisch is het wat anders.

Eventueel kun je ook voor een VIA C7 oplossing gaan. Heb je een barebone (dus zelf geheugen + hardeschijf verzorgen) met misschien weinig cpu kracht maar voor simpel mirroring heb je dat ook niet nodig. Kies dan wel eentje met 4 SATA sloten. Ik vermoed wel dat alle I/O over PCI loopt, dus zowel je hardeschijven als gigabit. Veel performance haal je dus niet, maar als je met 20MB/s tevreden bent mag dat geen bezwaar zijn.

De nieuwe epia SN-serie heeft gewoon een PCIe bus. En 4 SATA ports. Ik denk alleen dat freebsd er nog geen support voor heeft.

[Kenny_NL]

P5ycho schreef op maandag 25 februari 2008 @ 14:17:

De nieuwe epia SN-serie heeft gewoon een PCIe bus. En 4 SATA ports. Ik denk alleen dat freebsd er nog geen support voor heeft.

Ik heb zelf (net) zo'n SN1800, en FreeNAS (dus FreeBSD) ondersteunt 'm wel. Alleen de ACHI krijg ik niet goed werkend, als ik hiermee de SATA aanstuur, ziet de BIOS de disks wel maar FreeNAS kan ze niet vinden.

Verder een leuk bordje, die sneller zou zijn als dat Intel-bordje (D201GLY2). Nadeel is dan weer de prijs, die Intel is veel goedkoper (maar heeft ook minder features).

[P5ycho]

dat valt onder geen support voor mij
AHCI is gewoon een must als je het mij vraagt, anders heb je geen NCQ en hotswap. als je ahci uitzet loopt de boel in IDE emulatie.
kwestie van tijd voordat het gesupport wordt natuurlijk, maar wel klote. Met een beetje geluk kun je gewoon in 'IDE mode' de boel installeren en later ahci aanzetten als het supported is.

[Robbeke]

Ook ik overweeg een NAS te bouwen met FreeNAS met 3 x 750 GB in RAID 5. Ik lees echter tegenstrijdige berichten over de stabiliteit van de software RAID5 supportin FreeNAS. Ik zoek de NAS in een barebone te steken en het budget voor een hardware controller heb ik niet.

Heeft iemand praktijkervaringen hierin? Het is nl niet de bedoeling dat ik m'n kostbare data kwijt geraak.

Graag advies?

[Kenny_NL]

P5ycho schreef op maandag 25 februari 2008 @ 20:01:
dat valt onder geen support voor mij

De chipsets worden overigens wel gesupport (ze staan in de FreeBSD hardware-lijst), maar ik denk ook dat het moederbord nog relatief te nieuw is voor volledige FreeBSD-ondersteuning.

[Twynn]

Robbeke schreef op maandag 25 februari 2008 @ 21:29:
Ook ik overweeg een NAS te bouwen met FreeNAS met 3 x 750 GB in RAID 5. Ik lees echter tegenstrijdige berichten over de stabiliteit van de software RAID5 supportin FreeNAS. Ik zoek de NAS in een barebone te steken en het budget voor een hardware controller heb ik niet.

Heeft iemand praktijkervaringen hierin? Het is nl niet de bedoeling dat ik m'n kostbare data kwijt geraak.

Graag advies?

Als je freenas niet vertrouwd, waarom dan geen andere oplossing (gewoon linux setup/openfiler/windows)? Andere mogelijkheden genoeg.

En sowieso, welk os en welke opslagmethode je ook kiest, toch altijd backups blijven maken. Raid1/5/10/50/51 etc is nog steeds geen backup. Het meeste dataverlies wordt nog altijd veroorzaakt door user-errors. Per ongeluk wissen, overschrijven, wegsyncen etc. Raid is alleen tegen hardwarestoringen.
Dus sowieso altijd blijven denken over een backup oplossing.

[_eXistenZ_]

Iig ik ben nog geen steek verder...
Ram 24 uur getest, 0 errors. Alle schijven extended getest, geen errors. DMA uitgezet, en nog steeds crasht mijn server.

[ Voor 17% gewijzigd door _eXistenZ_ op 26-02-2008 13:43 ]

[Anoniem: 41852]

P5ycho schreef op maandag 25 februari 2008 @ 20:01:
dat valt onder geen support voor mij
AHCI is gewoon een must als je het mij vraagt, anders heb je geen NCQ en hotswap. als je ahci uitzet loopt de boel in IDE emulatie.

FreeBSD heeft voor (S)ATA controllers sowieso geen NCQ support, alleen hotswap indien ondersteund door de hardware en driver. Maar om dat nou een hot feature te noemen? Die ene keer dat je een gecrashte hardeschijf wilt vervangen, betekent misschien een minuutje downtime voor een reboot. Nauwelijks belangrijk in een thuissituatie.

NCQ heb je overigens niet nodig aangezien je filesystem en geom prima requests kunnen herordenen voor minder seeks. NCQ is wel een hot-feature als je HDD write buffering uitschakelt, aangezien de write-performance dan niet vreselijk inzakt omdat multi-queue I/O toch mogelijk blijft.

[Q]

_eXistenZ_ schreef op dinsdag 26 februari 2008 @ 13:43:
Iig ik ben nog geen steek verder...
Ram 24 uur getest, 0 errors. Alle schijven extended getest, geen errors. DMA uitgezet, en nog steeds crasht mijn server.

Sorry als deze vraag al is gesteld, maar draait het ding wel stabiel onder een ander os?

[_eXistenZ_]

Dat heb ik idd nog niet geprobeerd Reden is dat er eigenlijk al aardig wat data opstaat, wat zolang ie uit staat wel te recoveren valt. Tevens staat er een redelijk gepimpte FreeBSD install op, die ik liever niet kwijt ik zolang nog niet echt zeker is waar het aan ligt...

[Q]

Heeft het ding wel stabiel gedraaid?

[_eXistenZ_]

Nope Sinds de eerste dag dat ik er BSD op gedraaid heb is dit gezijk geweest

[Anoniem: 33151]

Heb je een asus m2a-vm?

Blijkbaar wel. Heb zelf ook veel shit met een systeem met dat bord en een BE-2350 CPU. Dacht eerst dat het aan de disk lag, terug gestuurd. Hetzelfde. Toen weer terug, vervangen door 4 andere disken. Weer errors en reboots. Nu het moederbord vervangen, en nog steeds...
Read errors, disken die niet worden gedetecteerd bij boot, of gewoon verdwijnen @ runtime. Eerder ook dat het systeem moest "opwarmen" voor ie de MBR kon lezen. Bij een koude boot moest ik een aantal keer resetten voor de MBR gelezen kon worden. En ja, met meerdere kabels geprobeerd.

Onder FreeBSD 7 panics gehad met gvinum, gjournal, ZFS en UFS.

Als je het systeem een aantal keer achter elkaar reset, heb je dan ook wel eens dat ie soms een power off doet?

[ Voor 94% gewijzigd door Anoniem: 33151 op 27-02-2008 15:41 ]

[_eXistenZ_]

Idd, ik heb zon bord Dus het is niet de chipset maar het bord zelf volgens jou? De resetbutton heb ik niet aangesloten dus dat kan ik ff lastig testen (custom plexi behuizing ) Heb ze ook niet meer liggen atm

[ Voor 8% gewijzigd door _eXistenZ_ op 27-02-2008 17:41 ]

[Anoniem: 33151]

Nou ik constateer slechts een overeenkomst . Jammer dat je die reset niet kan checken. Maar uit de mailing lists van FreeBSD blijkt dat er genoeg mensen zijn die een 690G chipset gebruiken en geen problemen hebben. Daarnaast heb ik redelijk wat ervaring met Asus en nooit problemen gehad. En FreeBSD zou zo'n beetje het meest stabiele OS zijn. Kan je es kijken welke revisie je bord is? Misschien is er wel een brakke batch of zo. Googlen op reset button power off is helaas nogal naald hooiberg.

[_eXistenZ_]

Ik haal me bak straks wel ff los, als jij ff kan typen hoe ik et beste kan checken en waar ik op moet letten? Gewoon 10 keer resetten en dan moettie uitvallen? Dan reset ik wel fftejs met een schroevendraaien oid op de mobopinnetjes...

/edit

Mijn BIOSversie is 1303. Staat niet op de site maar aan de volgorde te zien zijn er al 7 nieuwe biossen uitgekomen. Deze ga ik even updaten dus zodra ik een floppydrive gevonden heb, dan moet mijn server toch ff uit elkaar. Kan ik gelijk reset testen.

[ Voor 46% gewijzigd door _eXistenZ_ op 27-02-2008 19:16 ]

[Anoniem: 33151]

Ja precies, gewoon 10 of 20 x resetten (evt disken ff lostrekken zodat ze niet teveel ge-jojo te verduren krijgen.) Bij mij gaat ie dan toch zeker binnen 10x wel een keer helemaal uit. Het vorige bord binnen 3x.
Ik had bios 1404, later 1603. Allebei dit probleem. Revisie van het bord is 1.01g. Succes

[_eXistenZ_]

Kan dit niet gewoon een monkeyproof beveiliging ofzo zijn? Zodat je je bord niet sloopt, dattie gewoon denk vant zo doe nu maar es ff normaal ik ga uit?

[Anoniem: 33151]

Naah, zeker niet na drie keer. Heb nu een asus p5b bord ingebouwd met een C2 cpu, en die doet braaf resetten. Doe maar proberen

[Anoniem: 151270]

misschien een rare vraag maar waarom testen jullie de snelheid van jullie raid arays door er alleen maar nulletjes (/dev/zero) op te schrijven?

Zou het gebruik van /dev/random niet veel beter zijn om te kijken wat de snelheid is?

Ik zou verwachten dat het schrijven van alleen maar nullen veel sneller moet kunnen dan als je random gegevens wegschrijft ... bij een lange reeks bit's van alleen maar 0 is de XOR nml vrij simpel denk ik.

Hein

[_eXistenZ_]

De snelheid is niet CPUlimited bij de meesten, ikzelf heb een AMD BE-2400 en die staat uit zijn neus te vreten als ik XOR doe dus het is totaal niet belangrijk of je nulletjes of 1tjes schrijft

Volgens mij is het zelfs zo dattie per bit toch weer uit moet rekenen dus dat het precies even zwaar is

[Rostvertol-Mil]

_eXistenZ_ schreef op vrijdag 29 februari 2008 @ 12:03:
De snelheid is niet CPUlimited bij de meesten, ikzelf heb een AMD BE-2400 en die staat uit zijn neus te vreten als ik XOR doe dus het is totaal niet belangrijk of je nulletjes of 1tjes schrijft

Volgens mij is het zelfs zo dattie per bit toch weer uit moet rekenen dus dat het precies even zwaar is

Naja, Test het eens dan? Want hij heeft toch een punt imho.

[Anoniem: 41852]

/dev/random is bedoeld voor cryptografische toepassingen waarbij er geen 'predictability' (voorspelbaarheid) mag zijn. Hierdoor is de snelheid van /dev/random niet erg hoog. /dev/urandom (let op de extra 'u') is iets sneller. /dev/zero is het snelst: bottlenecked door je RAM. Dit kun je testen met:

dd if=/dev/random of=/dev/null bs=1m count=100
dd if=/dev/urandom of=/dev/null bs=1m count=100
dd if=/dev/zero of=/dev/null bs=1m count=100

Moderne RAID5 implementaties kunnen veel van je CPU vragen, zeker in combinatie met gigabit is een dualcore processor aan te bevelen. Encryptie is het zwaarst, hiervoor raad ik een quadcore processor aan.

[_eXistenZ_]

Ha vet Er zit dus toch verschil in. Ik gaat es ff testen...

/edit

No can do, sir!
Hij crasht tijdens het proberen. Ik backup nu alle relevante configfiles, en trap er dan bij wijze van test WinXP op. Kijken hoe stabiel die draait tijdens het kopieren. Jammer van mijn install maar die doe ik wel weer opnieuw.

[ Voor 67% gewijzigd door _eXistenZ_ op 02-03-2008 22:42 ]

[Anoniem: 41852]

Crasht hij op die exacte commando's in mn vorige bericht? Dan is je systeem echt niet stabiel, maar dat kan ook door een bug in FreeBSD komen. Ben benieuwd hoe je Windows XP test gaat!

[Bachatero]

Ik kan van iemand een Asus K8N4-E Deluxe board overnemen. Hij spreekt over de volgende SATA poorten op het moederboard:

Southbridge
2 xUltraDMA 133/100/66/33
4 xSATA 3 Gb/s ports Support RAID 0,1,0+1,JBOD
Silicon Image® 3114R RAID controller
4 xSATA
Support RAID 0,1,5,10,

Zijn dit de 8 SATA poorten waarmen het over heeft in dit forum als men het over het K8N4-E Deluxe board heeft.

M.a.w. kan ik deze 2 X 4 poorten gebruiken als ik een FreeNAS server wil bouwen?

Johan

[DJ-Promo]

Ik ben weer bezig met freenas op een P3 600mhz en 512mb ram.
De schijven die eraan hangen zijn een 60gb notebook schijf en een 40gb 3,5 samsung schijf.
Freenas is geinstalleerd op de 60gb schijf, je kiest bij de installatie voor een os schijf die heb ik standaard gelaten op 64mb.
Dan staat er na de installatie dat je de rest van de schijf kan invoegen bij disk managment en daarna mounten.
Ik krijg hem dan niet gemount altijd staat er error welke versie van freenas ik ook gebruik.
Als daarna de error laat zitten en andere schijf wil mounten werkt dit ook niet, verwijder ik de mounting point van het gedeelte van de os schijf werken de andere schijf wel gewoon.

[_W_]

hoi,

ben na een hele tijd toch aan het einde van dit interessante topic geraakt
ben ook in de markt voor een DIY NAS, encryptie is van groot belang voor mij dus had ik OpenBSD in gedachten omdat ik op geektechnique daar een artikel over gelezen had

in dit topic vind ik er echter niet veel over terug, heeft dit een reden?

ben wel nog echt groen dus het belooft een boeiende reis te worden

[P5ycho]

_W_ schreef op dinsdag 04 maart 2008 @ 18:58:
hoi,

ben na een hele tijd toch aan het einde van dit interessante topic geraakt
ben ook in de markt voor een DIY NAS, encryptie is van groot belang voor mij dus had ik OpenBSD in gedachten omdat ik op geektechnique daar een artikel over gelezen had

in dit topic vind ik er echter niet veel over terug, heeft dit een reden?

ben wel nog echt groen dus het belooft een boeiende reis te worden

wat voor encryptie is er van groot belang? of bedoel je veiligheid in het algemeen?

[_W_]

de bedoeling is dat enkel ik aan mijn data kan met een wachtwoord dat enkel ik ken
dus encryptie lijkt me de ideale oplossing

[_eXistenZ_]

Anoniem: 41852 schreef op maandag 03 maart 2008 @ 00:48:
Crasht hij op die exacte commando's in mn vorige bericht? Dan is je systeem echt niet stabiel, maar dat kan ook door een bug in FreeBSD komen. Ben benieuwd hoe je Windows XP test gaat!

Nope ik schreef naar me /data disk Iig, mijn WinXP netinstall wilde niet in 1 keer dus ik heb er gelijk maar Gentoo op gezet. Daarstraks had ik de zooi aan het draaien eindelijk, gelijk 30GB gepompt via gbit, en hij is rockstable... Blijkbaar was et toch FreeBSD dus. Ik onderwerp m uiteraard nog aan meerdere testen want men server leek eerst ook stable hoewel ie @ random crashte. Wie zegt dattie dat nu niet meer doet

[Anoniem: 41852]

Bachatero schreef op maandag 03 maart 2008 @ 22:39:
Zijn dit de 8 SATA poorten waarmen het over heeft in dit forum als men het over het K8N4-E Deluxe board heeft.

M.a.w. kan ik deze 2 X 4 poorten gebruiken als ik een FreeNAS server wil bouwen?

Ja en ja.

Ik heb dit bord ook zelf in gebruik, maar ben er nu niet meer zo enthousiast over. De beperkingen:

• De silicon image controller die 4 extra SATA poorten levert, is niet zo'n beste chip met de nodige BIOS problemen als je nog extra SATA controllers gebruikt. Ik moet de chip uitschakelen om mijn andere JMicron controllers te gebruiken. De chip gebruikt verder een PCI bus om te communiceren wat betekent dat al je I/O wordt vertraagd (meer latency).
• Het bord is socket 754 dus oude Semprons en classic Athlon 64, geen dualcore wat wel zo fijn is bij een gigabit NAS, zeker als je 'dure' dingen wilt zoals encryptie, compressie, Parity RAID 3/5/6, etc. FreeBSD7 kan ook supergoed van meerdere processors gebruik maken, dus dat loont zeker.
• Het energieverbruik van het moederbord vind ik hoog uitvallen, en het heeft ook een actief gekoelde chipset wat ik zelf nooit meer wil.
• Met mijn Sempron 3100+ haal ik maar 25MB/s encryptie-snelheid, wat het mijn doeleinden niet echt geschikt maakt. Daarnaast is de responstijd echt stukken slechter dan mijn dualcore NAS'en.

Ik wil je niet ontmoedigen, maar dit zijn dus mijn ervaringen. Nu kijk ik voor mijn nieuwe NAS naar Socket AM2+ bordjes met AMD RD7xx chipset met SB700 southbridge. Deze nieuwe southbridge heeft 6 SATA onboard en wordt door FreeBSD7 ondersteund. Zie hier voor wat pics.

_W_ schreef op dinsdag 04 maart 2008 @ 18:58:
ben ook in de markt voor een DIY NAS, encryptie is van groot belang voor mij dus had ik OpenBSD in gedachten omdat ik op geektechnique daar een artikel over gelezen had

in dit topic vind ik er echter niet veel over terug, heeft dit een reden?

OpenBSD ken ik niet zo, maar veel goeie dingen van OpenBSD (b.v. de goeie pf firewall) zijn geport naar FreeBSD. FreeBSD heeft twee goeie encryptie modules: geom_eli (AES-128, 192, 256 encryptie) en geom_bde (geavanceerde encryptie). Ook voor ZFS wordt in een apart project transparante encryptie toegevoegd, alhoewel deze momenteel alpha-kwaliteit is.

Als snelheid ook van belang is (> 20MB/s) dan raad ik sterk aan een dualcore of quadcore processor te gebruiken. Zelf ben ik ook op zoek naar hardware voor mijn nieuwe NAS en daarvoor wil ik waarschijnlijk een goedkope Phenom 9100e met laag energieverbruik combineren met een AMD R7xx/SB700 bordje. Maar het duurt nog tot eind maart denk ik voordat deze leverbaar zijn.

Voordeel van quadcore is dat je voor encryptie superveel rekenkracht in huis hebt en alle andere dingen (gigabit, raid5-engine) ook nog parallel kunt draaien. Encryptie schaalt lineair op dus een AMD processor met 4 cores zou theoretisch ook 4* de throughput moeten kunnen halen, mits je op je filesystem test en niet via /dev/. Hier wat GELI benchmark resultaten van een Core 2 Duo 3.0GHz systeem:

2 threads read:
314572800 bytes transferred in 2.990616 secs (105186629 bytes/sec)
1 thread read:
314572800 bytes transferred in 5.574472 secs (56430959 bytes/sec)

Met een AMD Athlon 64 X2 6000+ (3.0GHz) haal ik 101MB/s, AMD processoren doen het traditioneel goed in AES workloads, omdat die erg geheugenintensief zijn, dacht ik tenminste. Bovendien heeft Intel een shared cache en beperkende FSB waardoor meerdere cores sowieso niet lineair opschalen. Mijn oude Sempron NAS haalt slechts 25MB/s waardoor ik hem ga vervangen.

AMD Phenom 9100e wordt een 65W TDP processor wat waarschijnlijk 59W betekent bij 100% stress op alle 4 de cores, ik verwacht (lees: hoop) rond de 5-12W idle waardoor ik mijn doelen zeker ga halen: low idle power, high-performance, 2Gbps encrypted RAID5 NAS met 22 schijven (16 + 6). Misschien ga ik ook nog proberen de chip te undervolten.

Om het probleem van energieverbruik van hardeschijven op te lossen ga ik 16 schijven op een HighPoint RocketRAID 2340 met staggered spinup configureren. De 6 onboard controller schijven zijn dan niet staggered maar met een redelijke voeding moet dat wel te doen zijn hoop ik.
Ik gebruik straks twee RAID5 arrays: een actieve array met mn huidige data, en een hoop backups en oude projecten waar ik niets meer mee doe, maar wel wilt behouden. Dat laatste sla ik op in een grotere array van schijven die ik al heb, en die de meeste tijd spinned-down zullen zijn. Pas als ik iets 'uit het archief' wil halen, hoef ik dan 10 seconde te wachten. Spin-down op mn NAS voor actieve data werd me iets te irritant.

[_W_]

bedankt voor de uitgebreide uitleg!

mijn uitgangspunten zijn:
- encryptie
- laag energieverbruik
- snel
- mogelijkheid tot uitbreiding
- mogelijk bruikbaar voor andere functies (downloads, mediaserver, ...)

ik dacht met 4 schijven te beginnen en volledig nieuwe hardware

die Phenom 9100e lijkt wel interessant
voorlopig had een 1000euro in gedachten maar heb eigenlijk geen idee hoe ver ik daar mee ga komen

[P5ycho]

wat nou quadcores, ik doe encryptie gewoon in hardware

_{huiskamerpost, sorry, het moest gewoon even}

[ Voor 33% gewijzigd door P5ycho op 05-03-2008 20:59 ]

[Coenen]

Anoniem: 41852 schreef op woensdag 05 maart 2008 @ 03:42:
[...]

Ja en ja.

Ik heb dit bord ook zelf in gebruik, maar ben er nu niet meer zo enthousiast over. De beperkingen:

• De silicon image controller die 4 extra SATA poorten levert, is niet zo'n beste chip met de nodige BIOS problemen als je nog extra SATA controllers gebruikt. Ik moet de chip uitschakelen om mijn andere JMicron controllers te gebruiken. De chip gebruikt verder een PCI bus om te communiceren wat betekent dat al je I/O wordt vertraagd (meer latency).
• Het bord is socket 754 dus oude Semprons en classic Athlon 64, geen dualcore wat wel zo fijn is bij een gigabit NAS, zeker als je 'dure' dingen wilt zoals encryptie, compressie, Parity RAID 3/5/6, etc. FreeBSD7 kan ook supergoed van meerdere processors gebruik maken, dus dat loont zeker.
• Het energieverbruik van het moederbord vind ik hoog uitvallen, en het heeft ook een actief gekoelde chipset wat ik zelf nooit meer wil.
• Met mijn Sempron 3100+ haal ik maar 25MB/s encryptie-snelheid, wat het mijn doeleinden niet echt geschikt maakt. Daarnaast is de responstijd echt stukken slechter dan mijn dualcore NAS'en.

Heb jij wel eens met een rocketraid 2300 op een K8N4-E deluxe gedraaid?
Ik heb een tijdje geleden die rocketraid2300 kaart gekocht om m'n array (onder XP) naar toekomstige machine over te kunnen zetten en om niet afhankelijk te zijn van m'n mobo.
Helaas boot m'n PC heel moeilijk, ik moet meestal een keer of 3 resetten.
Alles wat SATA is heb ik uitgezet in de bios, weet jij nog iets wat ik zou kunnen proberen?

[Anoniem: 41852]

Nee ik heb mijn RR2340 nog niet binnen. BIOS updates kun je proberen, maar ik denk dat het een buggy moederbord blijft. Zolang het werkt, werkt het goed though. Maar de Sempron die ik ermee gebruik is wel traag.

En encryptie in hardware is zelden én van goede kwaliteit én heel erg snel, zoals je laatst ook op de frontpage kon lezen (bedrijf claimt AES encryptie maar blijkt een simpeler algoritme). Leuk is wel de AES hardware acceleratie in VIA Eden CPUs. Die gaat tot 75MB/s, helaas voor mij te weinig.

[Bachatero]

Enlightenment,

Ik heb het board aangeschaft een dag voor je reaktie. Er werden zulke lovende reakties over dit board op dit forum gegeven dat ik dacht dat ik er geen miskoop aan zou hebben. Aangezien het zelfbouwen van en NAS server voor mij nieuw is, en zaken zoals encryptie, compressie, Parity RAID 3/5/6 nog even wil overslaan, lijkt me dit een aardig board om mee te beginnen en te experimenteren.

Ik wil dan ook beginnen met FreeNAS en later overschakeln op FreeBSD.

Volgende week ga ik 4 X Samsung 500GB Serial ATA II (HD501LJ) disks bestellen om wat te experimenteren.

Nog bedankt voor je reaktie en je duidelijke uitleg.

Ik blijf dit topic en je reakties met aandacht volgen.

Dank en groet,

Johan

[Coenen]

Anoniem: 41852 schreef op zondag 09 maart 2008 @ 09:46:
Nee ik heb mijn RR2340 nog niet binnen. BIOS updates kun je proberen, maar ik denk dat het een buggy moederbord blijft. Zolang het werkt, werkt het goed though. Maar de Sempron die ik ermee gebruik is wel traag.

Bios updates heb ik al gedaan, zowel op m'n RR2300 en m'n K8N4-E deluxe.
Niks lijkt te helpen. Het beste lijkt het om m'n PC op te starten, een tijd te wachten, dan te resetten en dan gaat ie wel. Erg vervelend. Maar goed, ik denk dat er niks anders op zit dan een ander mobo te gaan kopen. Kan ik gelijk een snellere proc nemen, ook wel prettig.

[DARKLORD]

ben ook bezig om een systeem samen te stellen. had dit moederbord in gedachte:

GigaByte GA-MA78GM-S2H voor rond de 70euro.

5 x Serial ATA II 300

1. North Bridge: AMD 780G
2. South Bridge: AMD SB700

1. Realtek 8111C chip (10/100/1000 Mbit)
Supports AMD AM2+ Phenom/ AM2 Athlon64 series processors

wordt deze al ondersteund in freebsd 6.3? want ik wil freenas gaan gebruiken. en dan voorlopig 3 a 4x750gb RAID5


of heeft iemand nog een ander leuk moederbord in gedachten? wat dan wel werkt met freebsd.

eisen zijn in ieder geval wel 5 a 6 SATA II aansluitingen.

[NL-JP]

Ik krijg Freenas (nog) niet aan de praat op een GigaByte GA-MA78GM-S2H.

Heb twee Samsung Spinpoint 750 Gb in hardware Raid 1 geconfigureerd maar Freenas wil niet booten en hangt met een BTX loader error. Na wat googlen vermoed ik problemen met de ondersteuning van de SB700. De SB700 wordt wel ondersteund in FreeBSD 7 dus ik ga eens proberen of dat wel werkt. Maar dan moet ik wel alles met hand configureren en ik weet maar weinig van Linux
De volgende release van Freenas zal gebaseerd zijn op Freebsd 7 maar wanneer die komt is niet bekend.

Win XP en Knoppix draaien wel dus de hardware is o pzich in orde.

Als iemand tips heeft hoor ik dat graag!

[_W_]

ben nog wat gaan bladeren in vorige pagina's en handleidingen dus naast antwoorden vinden komen er ook weer vragen

mogelijke configuratie:
NAS met Phenom 9100e, encryptie en toekomstig misschien journaling

- zou het snelheidsverschil groot zijn tussen software RAID en een RocketRAID?

- RocketRAID 2340 PCI Express x8
RocketRAID 2320 PCI Express x4
x4 en x8: zit hier snelheidsverschil op bij de datastroom of is het omdat de 2340 dubbel zoveel schijven kan laten draaien dat ook dit verdubbeld is?

- kunnen de drivers voor de RocketRAID 2320 ook op FreeNAS gezet worden?
in de handleiding van spreken ze enkel van FreeBSD waarop FreeNAS dan weer gebaseerd is
zo ja, gaat het configureren met gui?

- de RocketRAID ondersteund mailen van diskfailure, valt dit te combineren met de powersave opties van FreeNAS?

[_eXistenZ_]

NL-JP schreef op vrijdag 21 maart 2008 @ 13:34:
IDe SB700 wordt wel ondersteund in FreeBSD 7 dus ik ga eens proberen of dat wel werkt. Maar dan moet ik wel alles met hand configureren en ik weet maar weinig van Linux

Dan heb je geluk, BSD is geen Linux

[ Voor 44% gewijzigd door _eXistenZ_ op 21-03-2008 15:15 ]

[Erik Jan]

DARKLORD schreef op zaterdag 15 maart 2008 @ 01:28:
1. Realtek 8111C chip (10/100/1000 Mbit)
Supports AMD AM2+ Phenom/ AM2 Athlon64 series processors

wordt deze al ondersteund in freebsd 6.3?

code:

%uname -a
FreeBSD rserver 7.0-RELEASE FreeBSD 7.0-RELEASE #0: Sat Mar  8 18:00:44 CET 2008     root@rserver:/usr/obj/usr/src/sys/RSERVER  amd64
%grep -iC1 "8111C" /sys/dev/re/if_re.c
%

Er zijn betere/handigere methoden, maar dit is dus een voorbeeldje van hoe je er achter komt of je hardware supported is. De NIC werkt dus wsch. nog niet, in de 7.0 tree althans. De SB700 met AHCI zit geloof ik in de HEAD branch, wat dus betekent dat het op z'n vroegst in 7.1 of 6.4 komt te zitten, en mogelijk pas in 8.0. Zelf patchen en compilen kan natuurlijk altijd, maar verwacht dan geen kant en klare productie-omgeving

NL-JP schreef op vrijdag 21 maart 2008 @ 13:34:
Ik krijg Freenas (nog) niet aan de praat op een GigaByte GA-MA78GM-S2H.

Heb twee Samsung Spinpoint 750 Gb in hardware Raid 1 geconfigureerd maar Freenas wil niet booten en hangt met een BTX loader error.

Zie ook bovenstaande. Die error is volgens mij dat je boot device niet gevonden kan worden, kan voorkomen bij setups met veel disks of USB boots. Zorg via je BIOS dat het apparaat waar je FreeNAS van boot echt de allereerste (aka je "C:" drive) is.

_W_ schreef op vrijdag 21 maart 2008 @ 14:45:
- zou het snelheidsverschil groot zijn tussen software RAID en een RocketRAID?

Ligt eraan, in de meeste huis-tuin-en-keuken sequentiele grote bestanden (FreeBSD ISO's ) situaties schijnt software sneller te zijn, in een enterprise veel random reads en writes omgeving hardware. Hangt schat ik een beetje af van je RAID level, wat je CPU nog meer te doen heeft, de controller die je bij software-RAID gebruikt, het multithreaded zijn van je software-RAID implementatie et cetera.

x4 en x8: zit hier snelheidsverschil op bij de datastroom of is het omdat de 2340 dubbel zoveel schijven kan laten draaien dat ook dit verdubbeld is?

Je PCIe bus zal niet direct de bottleneck zijn.

- kunnen de drivers voor de RocketRAID 2320 ook op FreeNAS gezet worden?
in de handleiding van spreken ze enkel van FreeBSD waarop FreeNAS dan weer gebaseerd is
zo ja, gaat het configureren met gui?

Zulke dingen kan je Googlen, bijv. hier draait iemand die RR 2320 succesvol met FreeBSD. FreeNAS werkt voornaamlijk met een Web interface.

- de RocketRAID ondersteund mailen van diskfailure, valt dit te combineren met de powersave opties van FreeNAS?

Zulke features werken vrijwel alleen op OS'en die door de vendor ondersteunt worden.

[_W_]

Erik Jan: bedankt voor de link, daar heeft iemand em inderdaad draaien op FreeNAS en met dezelfde webgui als in windows
die zegt wel dat het geen volledige hardware raid is

daar de driver van HighPoint voor FreeBSD gebruikt kan worden zal de mailtool normaal wel moeten werken
ga het toch nog maar even opzoeken

[Unicron]

Ik heb gisteren mijn NAS componenten opgehaald:
- Asus M3A78 EMH HDMI (voor de 6x sata en lekker zuinig)
- Chieftec BH-01B-B-B-400 kast (heeft intern 6x 3.5" drivebays dwars in de kast)
- Athlon64 X2 4400+ (65W)
- 2x1GB kingston DDR2 geheugen

Het idee is om van een USB stick Linux Ubuntu 7.10 te gaan draaien met software RAID 5. Zodra ik dit werkend heb schaf ik de hardeschijven aan. Afhankelijk van de prijs worden dat 750GB of 1TB Samsung F1 schijven.

[_eXistenZ_]

Beter neem je een distro waar je niet een hele gui bij krijgt, die zijn overbodig op een server en vreten geheugen FreeBSD doet de trick, of als je Linux wilt Debian of Gentoo

[Shuriken]

_eXistenZ_ schreef op maandag 24 maart 2008 @ 18:31:
Beter neem je een distro waar je niet een hele gui bij krijgt, die zijn overbodig op een server en vreten geheugen FreeBSD doet de trick, of als je Linux wilt Debian of Gentoo

Je bent zeker niet heel bekend met Ubuntu? De server variant installeerd niet standaard de GUI erbij. Daarnaast als je een klein beetje verstand hebt van Linux dan lukt je dat ook nog wel. Hoef je echt niet voor naar Gentoo ofzo te switchten.

Ik heb em zelf ook draaien op een stick met mdraid 5.

[Unicron]

Heb de afgelopen dagen flink geexperimenteerd met Ubuntu (ben een beginner qua linux). Uiteindelijk heb ik Ubuntu geinstalleerd op een 40GB PATA disk (dan heb ik de 6x SATA over voor de software raid), want met de usb stick wilde niet alles lukken.

Ik heb wel gekozen voor de desktop versie met een GUI, gezien dat voor mij als beginner soms wat makkelijker is. Verder heb ik Ubuntu 8.04 Beta genomen omdat de 7.10 livecd niet in de GUI kwam vanwege de onboard ati graphics.

Ik heb het meeste aan software dat ik nodig heb ook al werkend, zoals: Wake on lan, Samba, SSH, VNC, ati driver, mdadm.

Ik ben nu nog vooral aan het kijken hoe ik het systeem remote het makkelijkste kan uitzetten. En dan of ik hem suspend (S3) of helemaal uitzet. Verder spint de PATA systeem disk nogal snel weer op. Ik wil nog kijken of ik dingen als logging en andere dingen kan disabelen zodat de PATA disk langer standby blijft.

[ Voor 21% gewijzigd door Unicron op 24-03-2008 23:16 ]

[_eXistenZ_]

Shuriken schreef op maandag 24 maart 2008 @ 21:17:
[...]


Je bent zeker niet heel bekend met Ubuntu? De server variant installeerd niet standaard de GUI erbij. Daarnaast als je een klein beetje verstand hebt van Linux dan lukt je dat ook nog wel. Hoef je echt niet voor naar Gentoo ofzo te switchten.

Ik heb em zelf ook draaien op een stick met mdraid 5.

True, weinig ervaring mee, was ook voor het gemak vergeten dat er servervarianten zijn

[NL-JP]

Heb FreeNas aan de praat op de volgende doos:

GigaByte GA-MA78GM-S2H
Phenom 9500
1 x Raptor 36Gb als boot schijf (had ik nog liggen)
2 x Spinpoint 750gb in raid 1 voor data
2 Gb ram
1 x Linksys EG1032 (RTL8169S) Gigabit NIC
Coolermaster CM 690

Ik gebruik geen hardware raid omdat ik hierdoor een BTX loader error kreeg. Ik kan Freenas wel installeren op een CF card maar....weer een BTX loader error met booten. Van alles geprobeerd met bios instellingen maar ik denk dat het te maken heeft met de nieuwe chipset. De onboard NIC wordt ook niet herkend en heb er dus maar een los kaartje bij gezet. Zal dus moeten wachten op 7.1 of 6.4 en mogelijk op in 8.0 volgens Erik Jan. Er zit in ieder geval schot in FreeNAS 0.7 http://freenas.blogspot.c...-state-of-freenas-07.html.

Het werkt, maar ik vertrouw het nog niet helemaal. Bij het aanzetten van wat opties (schijven uit na 30 min, SMART, system power control) hoor ik de schijven even tikken en het systeem resette zichzelf. Moest toen de raid rebuilden. Als mijn boardje goed wordt ondersteund ben ik ook van plan om nog een schijf bij te kopen en in raid 5 te gaan draaien.

iSCSI werkt prima en ook rSync. Moet nog even uitzoeken hoe ik dan weer bij de backup kan, iemand tips hiervoor?

[Q]

Ik heb nu 4x 500 GB (t166) in raid 5 staan. Ik heb ruimte voor 6 extra disks en misschien is dat interessant. Vraag me niet waarom, ik zie het als een hobby

Met een 8 poorts controllertje er bij van Highpoint zou ik dan op 10 disks komen in raid 5. Maar dan zit ik met een onveilig gevoel. Want bij 10 disks is de kans op uitval 10x zo groot als bij 1 disk. Op zijn minst wil ik eigenlijk 1 disk als hot-spare gebruiken, maar 500 GB rebuilden duurt even en in die tussentijd heb je geen fault-tollerantie.

Raid 6 zou het meest ideaal zijn. Maar helaas kun je onder Linux (debian) niet van Raid 5 naar Raid 6 migreren, en waar moet je dan in de tussentijd met je data naar toe....

[edit]

Stom! De oplossing is simpel Maak een nieuwe raid-6 array aan met de 6 nieuwe disks. Verplaats de data van de oude raid-5 naar de raid 6. Grow de raid-6 met disks van de oude raid-5 die wordt vernietigd.... Alleen dat groeien mag dan niet fout gaan..

[ Voor 16% gewijzigd door Q op 26-03-2008 01:17 ]

[_eXistenZ_]

Ik denk dat RAID6 aardig onrealistisch is voor 10 schijven, als je de SMART data netjes bijhoudt met een cronjobje + laat mailen eens per maand / week. Hoe groot is de kans dat er dan nog precies op het zelfde moment 2 schijven met een goede SMART dood gaan?

[Q]

_eXistenZ_ schreef op vrijdag 28 maart 2008 @ 11:45:
Ik denk dat RAID6 aardig onrealistisch is voor 10 schijven, als je de SMART data netjes bijhoudt met een cronjobje + laat mailen eens per maand / week. Hoe groot is de kans dat er dan nog precies op het zelfde moment 2 schijven met een goede SMART dood gaan?

Ik weet niet in hoeverre min eigen ervaringen representatief zijn, maar mijn ervaring met SMART is altijd redelijk waardeloos geweest. In mijn verleden zijn een aantal disks stuk gegaan zonder ooit SMART waarschuwingen te krijgen. Maar misschien dat mensen er betere ervaringen mee hebben.

Op het moment dat een disk stuk gaat in raid 5 draai ik op dat moment zonder redundancy.Stel het waren 10 disks raid 5, dan dus 9 disks alsof je raid0 draait...

Zonder hot-spare of disk op de plank, zal de array waarschijnlijk een aantal dagen zonder redundancy draaien en dan moet de hele array nog weer rebuilden, wat ook een langdurige belasting zal opleveren voor alle disks. De kans dat er dan nog een uitvalt acht ik niet zo klein als wordt gedacht, maar harde cijfers heb ik niet.

Voor thuis-gebruik totale gekkigheid, maar eigenlijk zou ik naast RAID6 er nog een hot-spare naast zetten. Maar dan zou ik ook meteen een aluminiumfolie hoedje op moeten zetten. En financieel wordt dat echt veels te gortig.

Ik monitor de smart-status continue en laat mij mailen als het niet goed gaat. Idem voor een probleem met de array (getest).

Hoe staat het nu met jouw setup? Wat draai je nu Gentoo? Ik had begrepen dat je onder Linux geen problemen had?

[ Voor 6% gewijzigd door Q op 29-03-2008 00:07 ]

[DARKLORD]

Ben nu al beetje onderdelen bij elkaar aan het zoeken. Ik heb nog een grote thermaltake xaser3 case staan die ik nu ga hergebruiken voor me NAS. En kunnen al 6 hardeschijven standaard in, maar ik heb nu dit gevonden:

Addonics Disk Array 4SA




Dan is het ook gelijk hotswap. Met een grote ventilator op de achterkant ook. leuk spul

Verder ben ik nog aan het twijfelen of ik nu software raid ga nemen of hardware.. het gedoe van hardware is weer dat als de controller kapot gaat je precies dezelfde raid controller moet kopen om weer bij je data te kunnen. raid5..
over performance maak ik me niet echt druk namelijk. ik heb toch niet veel users

en is het de moeite om te wachten op ZFS? freebsd 7 heeft wel ondersteuning maar experimental? als ik nu alles al installeren als UFS dan wordt omschakelen later onmogelijk. want heb niet de mogelijkheid om al die data tijdelijk ergens anders te parkeren. heeft iemand al met ZFS gewerkt?

[ Voor 3% gewijzigd door DARKLORD op 29-03-2008 15:28 ]