Even niets...
Is er nog iets gaande in voedingland? Ik zie de laatste tijd maar bar weinig nieuwe voedingen geintroduceerd worden... De Cougar series is bij mijn weten de laatste die echt een flinke introductie gedaan heeft op het gebied van voedingen...
Even niets...
Als tweaker altijd leuk om wat te prullen. Gewoon FreeDOS op een bootable usb stickje gooien en die dingen vallen maw makkelijk te flashenFireDrunk schreef op dinsdag 03 mei 2011 @ 22:08:
Flashen kan prima via (Free)DOS USB bootdiskje... 5 minuten werk.
Ik zou voor de F4EG gaan, is volgens mij de snelste en zuinigste van het stel.
Ik zou me graag een beeld vormen van de snelheden die ik kan halen. Hoeveel zou ik ongeveer kunnen halen met 3 x F4EG in RAID 5 in combinatie met een goedkope switch als deze. De netwerkkaarten in server en clients zijn trouwens ook overal gigabit.
Even niets...
Dit is een van de redenen waarom ik niet begrijp waarom mensen toch voor bijv. een Synology NAS gaan. Die dingen halen niet zomaar 100 MB/s en zijn ook nog een behoorlijk prijzig. Soms is het zelfs zo dat die dingen zonder disks duurder zijn dan een zelfbouw met disks. En zuinigheid van een kant en klare NAS zijn ook al lang geen argument meer.FireDrunk schreef op woensdag 04 mei 2011 @ 10:28:
3 x F4EG kan in RAID5 (zowel hardware als software) > 100MB/s halen (mits goed geconfigureerd), dus in combinatie met die gigabit switch ga je de lijn gewoon dicht trekken.. (~100MB/s over SMB)
Dè developers podcast in je moerstaal : CodeKlets Podcast
Er zijn convertors beschikbaar die je achterop de SAS disk prikt zodat je er gewone SATA power en data kabels op aan kan sluiten. Dit zijn gewoon domme 1-op-1 elektrische verbindingen zonder conversie slagen oid. Dell levert ze bijvoorbeeld ook standaard mee in hun Precision workstations wanneer deze met SAS disken word uitgerust. De SAS controller zit namelijk ook onboard in de meeste gevallen met SATA aansluitingen.analog_ schreef op dinsdag 03 mei 2011 @ 17:29:
Kan je een onboard SAS controller met fysiek SATA poorten aansluiten op SAS disks (SFF8482) als je een gewone SATA (data/power) kabel hiervoor gecontroleerd sloopt.
Ik zou hier niet voor gaan klooien met kabels ombouwen omdat zoiets de stabiliteits nooit ten goed komt.
[ Voor 22% gewijzigd door redfoxert op 04-05-2011 10:43 ]
Verwijderd
ziet er goed uit[
En als laatste. Goedkoopste kast welke ik ooit gekocht heb. Maar bevalt eigenlijk prima op deze manier!![]()
EDIT: nvmrnd, ik moet beter lezen....redfoxert schreef op woensdag 04 mei 2011 @ 10:42:
[...]
Er zijn convertors beschikbaar die je achterop de SAS disk prikt zodat je er gewone SATA power en data kabels op aan kan sluiten. Dit zijn gewoon domme 1-op-1 elektrische verbindingen zonder conversie slagen oid. Dell levert ze bijvoorbeeld ook standaard mee in hun Precision workstations wanneer deze met SAS disken word uitgerust. De SAS controller zit namelijk ook onboard in de meeste gevallen met SATA aansluitingen.
Ik zou hier niet voor gaan klooien met kabels ombouwen omdat zoiets de stabiliteits nooit ten goed komt.
[ Voor 22% gewijzigd door FireDrunk op 04-05-2011 11:13 ]
Even niets...
Wat bedoel je juist met "mits goed geconfigureerd". Op welke zaken moet ik bijvoorbeeld letten? Block size en chunk size tijdens het aanmaken van mijn software raid bvb?FireDrunk schreef op woensdag 04 mei 2011 @ 10:28:
3 x F4EG kan in RAID5 (zowel hardware als software) > 100MB/s halen (mits goed geconfigureerd), dus in combinatie met die gigabit switch ga je de lijn gewoon dicht trekken.. (~100MB/s over SMB)
[ Voor 22% gewijzigd door SanderH_ op 04-05-2011 11:36 ]
Daarnaast ga ik er nog een aantal schijven extra aan hangen in Raid 1 voor mijn Back-up Strategie en de volgende stap wordt een Raid 1 voor het OS
En dan gaan we later dit jaar maar eens kijken naar een norco kastje om mijn storage verder uit te bouwen. van de 12TB die ik effectief heb zijn er nu een 9,5 gevuld xD gaat harder als ik dacht haha
Inderdaad zijn block en chunksize belangrijk, maar ook de sectorsize, alignment zijn belangrijk.SanderH_ schreef op woensdag 04 mei 2011 @ 11:32:
Wat bedoel je juist met "mits goed geconfigureerd". Op welke zaken moet ik bijvoorbeeld letten? Block size en chunk size tijdens het aanmaken van mijn software raid bvb?
Ook verdere (netwerk) aspecten als MTU, Jumbo frames, en kabels zijn allemaal factoren die belangrijk zijn om hoge troughput te halen.
Even niets...
De onboard gigabit chip van mijn server ondersteunt geen jumbo frames, de meeste van mijn hosts en mijn switch waarschijnlijk wel. Of de investering in een netwerkkaart met jumbo frames wel de moeite is vraag ik me al een tijdje af. Kabels zijn gewone CAT5 kabels
Ik denk dat ik het best wat experimenteer in VirtualBox met wat virtuele schijven voor ik dingen ga verklooien op mijn echte hardware.
[ Voor 10% gewijzigd door SanderH_ op 04-05-2011 11:56 ]
Als je gewoon CAT5e of CAT6 neemt dan heb je automatisch al 1 Gbps snelheden tussen je machines.SanderH_ schreef op woensdag 04 mei 2011 @ 11:52:
De onboard gigabit chip van mijn server ondersteunt geen jumbo frames, de meeste van mijn hosts en mijn switch waarschijnlijk wel. Of de investering in een netwerkkaart met jumbo frames wel de moeite is vraag ik me al een tijdje af. Kabels zijn gewone CAT5 kabels.
CAT5 zal niet boven de 20 a 30 MB/s uitkomen denk ik.
|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||
Je zou eens moeten zoeken naar eerder in dit topic. Verschillende mensen hebben hier aangetoond (Waaronder Q die er ook een script voor heeft om het te testen) dat het voor Raid5/6 beter is om 64k chunk te pakken. Dit geeft het beste gemiddelde voor zowel read als write. Dit zal wellicht ook nog afhangen van je FS (Ext vs XFS).SanderH_ schreef op woensdag 04 mei 2011 @ 11:52:
Volgens deze tutorial neem ik het best chunk sizes van 32k en block sizes van 8k, dit valt wel in te stellen tijdens het aanmakenv via mdadm. Sectorsize zijn hardware neem ik aan, en over alignment heb ik eigenlijk geen idee.
De onboard gigabit chip van mijn server ondersteunt geen jumbo frames, de meeste van mijn hosts en mijn switch waarschijnlijk wel. Of de investering in een netwerkkaart met jumbo frames wel de moeite is vraag ik me al een tijdje af. Kabels zijn gewone CAT5 kabels.
Ik denk dat ik het best wat experimenteer in VirtualBox met wat virtuele schijven voor ik dingen ga verklooien op mijn echte hardware.
Tevens is het niet verstandig om dit te testen in Virtualbox. je gaat daar altijd slechtere resultaten krijgen dan op je ruwe hdd's
[ Voor 7% gewijzigd door DJ-NaRRa op 04-05-2011 12:48 ]
De Samsung schijven van Azerty zijn reeds voorzien van de nieuwste firmwar, flashen is hier niet noodzakelijkSanderH_ schreef op dinsdag 03 mei 2011 @ 22:06:
Ik wil mijn debian machine binnenkort gaan vullen met een RAID5 setup. Met 3 x 2TB zou ik meer dan voldoende opslag moeten hebben. Ik twijfel nog tussen volgende 3 schijven:
klik
Met Samsung schijven heb ik persoonlijk altijd goede ervaringen gehad, alleen ben ik wat huiverig voor het flashen van deze schijven aangezien ik Linux draai. Dan zou ik ze eerst nog alledrie in een windows machine moeten hangen om ze te kunnen patchen met de nieuwe firmware, of zie ik dit verkeerd? Elk merk zal wel izjn voor- en tegenstanders hebben maar...welke van de drie zouden de NAS goeroes onder jullie mij aanraden?
Dit heb ik bevestigd gekregen van de afdeling verkoop.
server: DUAL 1800+mp 3x80gb raid 5 +2x40+1x10 2 x 300gb maxtor HD, Nvidia Gforce3 128MB DDR
Waar haal jij dat vandaan? CAT5 is toch ook gewoon 8 aders? Ik heb nog nooit gehoord van een kabel die 'maar' een bepaalde snelheid haalt...nero355 schreef op woensdag 04 mei 2011 @ 12:07:
[...]
Als je gewoon CAT5e of CAT6 neemt dan heb je automatisch al 1 Gbps snelheden tussen je machines.
CAT5 zal niet boven de 20 a 30 MB/s uitkomen denk ik.
Even niets...
Verwijderd
Cat5 = 100MHz = official 100 megabit standaard
Cat5e = 100 tot 350MHz = official 100 megabit, 'getest' voor gigabit op < 30 meter
Cat6 = 250MHz = official gigabit (100 meter), werkt voor 10 gigabit op < 30 meter
Cat6a = 500MHz = official 10 gigabit (10GBaseT) op 100 meter
Cat7 = 600MHz = 10 gigabit voor langere afstanden
Als je nu nieuwe bekabeling koopt moet je gewoon Cat6a kopen, anders kun je straks met 10 gigabit weer nieuwe kabels kopen. Je wilt namelijk niet dat je kabel een bottleneck vormt of de latency verhoogt doordat er regelmatig packets opnieuw moeten worden verstuurd.
[ Voor 29% gewijzigd door Verwijderd op 04-05-2011 13:16 ]
Wikipedia: Ethernet over twisted pairVerwijderd schreef op woensdag 04 mei 2011 @ 13:10:
Cat5 is niet geschikt voor gigabit. Het werkt wel, maar je zult veel packets krijgen die opnieuw verstuurd moeten worden. Bij weinig interferrentie en beperkte lengte kun je ze wel op gigabit gebruiken.
Cat5 = 100MHz = official 100 megabit standaard
Cat5e = 100 tot 350MHz = official 100 megabit, 'getest' voor gigabit op < 30 meter
Cat6 = 250MHz = official gigabit (100 meter), werkt voor 10 gigabit op < 30 meter
Cat6a = 500MHz = official 10 gigabit (10GBaseT) op 100 meter
Cat7 = 600MHz = 10 gigabit voor langere afstanden
Als je nu nieuwe bekabeling koopt moet je gewoon Cat6a kopen, anders kun je straks met 10 gigabit weer nieuwe kabels kopen. Je wilt namelijk niet dat je kabel een bottleneck vormt of de latency verhoogt doordat er regelmatig packets opnieuw moeten worden verstuurd.
Verderop:To connect two computers directly together without a switch, an Ethernet crossover cable is often used. Although many modern Ethernet host adapters can automatically detect another computer connected with a straight-through cable and then automatically introduce the required crossover, if needed; if neither of the computers have this capability, then a crossover cable is required. If both devices being connected support 1000BASE-T according to the standards, they will connect regardless of the cable being used or how it is wired.
Dus wat je zegt klopt redelijk, CAT5e is strongly recommended1000 100 1000BASE‑T 802.3ab 1999 PAM-5 coded signaling, At least Category 5 cable, with Category 5e strongly recommended copper cabling with four twisted pairs. Each pair is used in both directions simultaneously.
Even niets...
Verwijderd
Ik ben van mening dat je zeker voor een NAS niet wilt dat een lullig kabeltje de bottleneck is. Je geeft veel geld uit, dan kan een Cat6 of Cat6a kabel ook nog wel in je budget passen.
PS. bovendien dat stukje wat je paste gaat over crosslink. Gigabit heeft namelijk verplicht auto-MDI/MDI-X negotiation waardoor je altijd crosslink of straight kabel kunt gebruiken onafhankelijk van de configuratie. Het maakt dus niet meer uit of je cross of straight gebruikt. Dit maakte nog wel uit bij 100 megabit die auto-MDI/MDI-X niet verplicht heeft gesteld. Beetje zelfde verhaal met SATA/150 waarbij NCQ niet verplicht was, maar vanaf SATA/300 wél verplicht.
[ Voor 28% gewijzigd door Verwijderd op 04-05-2011 14:28 ]
Als ik dit doe is het netjes md0 maar zodra ik reboot wordt het md_d0 of md127.
Ik doe het volgende commando op nieuw aangemaakte vm disken:
sudo mdadm --create /dev/md0 --chunk=4 --level=1 --raid-devices=2 /dev/sdb /dev/sdc
Ik kijk daarna in me Samba config en daar staan geen devices.
sudo mdadm --detail --scan >> /etc/mdadm.conf
Geeft aan dat ik geen rechten heb, ik neem aan dat het zoiets is waardoor hij veranderd na een reboot.
Probeer het eens met:DJ-Promo schreef op woensdag 04 mei 2011 @ 14:49:
Zit nog steeds een beetje te stoeien in een vm met mdadm. Thuis op me nas heb ik de raid5 aangemaakt in de installatie. Toen de installatie klaar was heb ik hem geformateerd en gemount. Dit gaat allemaal goed ook na reboots. Nu zit ik in vm met verschillende Ubuntu versies een installatie te maken op een os disk en wil ik gewoon zelf in de terminal een array maken ( raid 1 ).
Als ik dit doe is het netjes md0 maar zodra ik reboot wordt het md_d0 of md127.
Ik doe het volgende commando op nieuw aangemaakte vm disken:
sudo mdadm --create /dev/md0 --chunk=4 --level=1 --raid-devices=2 /dev/sdb /dev/sdc
Ik kijk daarna in me Samba config en daar staan geen devices.
sudo mdadm --detail --scan >> /etc/mdadm.conf
Geeft aan dat ik geen rechten heb, ik neem aan dat het zoiets is waardoor hij veranderd na een reboot.
sudo mdadm --detail --scan >> /etc/mdadm/mdadm.conf
Bij Ubuntu net wat anders
bash: /etc/mdadm/mdadm.conf: Permission denied
Edit: even chmod 777 gedaan op mdadm.conf en dan pakt hij hem wel.
Ik ga alles nog een keer opnieuw doen.
[ Voor 31% gewijzigd door DJ-Promo op 04-05-2011 15:13 ]
Niets bevuilen, altijd leuk om te zien wat mensen hebben gebouwd.Quindor schreef op dinsdag 03 mei 2011 @ 21:46:
En als ik dan toch het topic aan het vervuilen ben.
Mijn nieuw gebouwde server (sinds een weekje). Generatie 7 alweer!
Lijkt mij een aardige setup, met veel storage in een compacte behuizing die wel nog hot-swap is zo te zien.
Ik heb deze week een oude "AMD Athlon X2 BE-2300, running at 1.9 GHz + 2 GB RAM" vervangen door:
- Intel DH67BL moederbord
- Intel(R) Core(TM) i5-2400S CPU @ 2.50GHz
- 4 GB Ram
Dit ding heeft een 8 poort Highpoint Rocket Raid 2320 met 6x0.5 TB en 2x1TB totaal 8x0.5TB in RAID5.
Deze machine was mijn eerste build en doet dienst als relatief zuinige download server. De oude AMD was me te sloom geworden, maar op zich prima dingetje.
Deze nieuwe setup werkte vlekkeloos, hoefde Debian Linux niet opnieuw te installeren.
[ Voor 51% gewijzigd door Q op 04-05-2011 19:42 ]
Verwijderd
welk fs ga je gebruiken? Squeeze ondersteund zfs.DJ-NaRRa schreef op woensdag 04 mei 2011 @ 11:36:
Sow ik ben er ook weer een keer in dit topic. Drukte op het werk en in sociale leven. Ik heb mijn server tijdelijk even down gehaald om een fikse upgrade te doen. Ik ga alle WD disks patchen met de wdidle3 tool en ik ga Debian Squeeze installeren. Dit laatste omdat ik mijn linux distro nu final vernaggeld heb met mixed libs en packages waardoor lenny me niet meer lief vond na een reboot.
Daarnaast ga ik er nog een aantal schijven extra aan hangen in Raid 1 voor mijn Back-up Strategie en de volgende stap wordt een Raid 1 voor het OS
En dan gaan we later dit jaar maar eens kijken naar een norco kastje om mijn storage verder uit te bouwen. van de 12TB die ik effectief heb zijn er nu een 9,5 gevuld xD gaat harder als ik dacht haha
Zou ik onder Linux niet doen via FUSE.Verwijderd schreef op woensdag 04 mei 2011 @ 19:50:
[...]
welk fs ga je gebruiken? Squeeze ondersteund zfs.
Verwijderd
Je kunt toch de FreeBSD kernel (kFreeBSD) gebruiken welke in Squeeze aanwezig is? Squeeze is toch de eerste Linux variant waarin native ZFS zit?
Van tweakers: "Na een ontwikkeltijd van twee jaar is Debian 6.0 uitgebracht. De Linux-distributie, die codenaam 'Squeeze' draagt, bevat onder andere een preview van Debian GNU/kFreeBSD, waarbij Debian-code gecombineerd wordt met de FreeBSD-kernel.", nieuws: Debian brengt versie 6.0 'Squeeze' uit
Op http://debian.fmi.uni-sof...zekFreeBSD-released!.html staat: "The 64bit release of Debian 6.0/kFreeBSD supports native ZFS as root partition. The kernel is now FreeBSD and there is no need for fuse now, so ZFS should now show its full potential."
Daarom ben ik juist zo benieuwd
Zonder de Linux-kernel is het dus geen Linux-variant meer, maar een BSD-variant
Unix doesn't prevent a user from doing stupid things, because that would necessarily prevent them from doing brilliant things.
while true ; do echo -n "bla" ; sleep 1 ; done
http://www.debian.org/ports/Demoniac schreef op donderdag 05 mei 2011 @ 10:49:
Dan heeft tweakers dat verkeerd geformuleerd, Debian zegt zelf namelijk het volgende: "Debian is een vrij besturingssysteem (OS) voor uw computer. Een besturingssysteem is de verzameling van basis- en hulpprogramma's die er voor zorgen dat uw computer werkt. Debian gebruikt de Linux kernel (de kern van het besturingssysteem, maar de meeste basisprogramma's komen uit het GNU Project; vandaar de naam GNU/Linux."
Zonder de Linux-kernel is het dus geen Linux-variant meer, maar een BSD-variant
Daar staat dus weer iets anders, op dezelfde site.Debian is an operating system (OS), not a kernel (actually, it is more than an OS since it includes thousands of application programs). Accordingly, while most Debian ports are based on Linux, there also are ports based on the FreeBSD, NetBSD and Hurd kernels.
Need more data. We want your specs. Ik ben ook maar dom. anders: forum, ff reggen, ff topic maken
En als je een oplossing hebt gevonden laat het ook ujb ff in dit topic horen.
Ik volg hier al een tijdje mee, maar zal mijn build er dan ook maar eens opzettenQ schreef op woensdag 04 mei 2011 @ 19:34:
Niets bevuilen, altijd leuk om te zien wat mensen hebben gebouwd.
De nas is gemaakt rond een Dell poweredge 2650 server. (Dual Xeon 2.8Ghz, 2GB ram) De 2U behuizing heeft een extra voeding gekregen om HD's te voorzien en er zijn 16 HD plaatsen gemaakt met plexi.
De poweredgde beschikt over 5 scsi hd''s waarop het os staat (windows 2008). De 16 extra schijven zijn aangesloten op een Areca 1160ML controller. De schijven zijn 8x samsung spinpoint F1 - 1TB en 8x WD caviar green 2TB. Beide arrays staan in raid 6. (in totaal dus 6 + 12 TB = 18 TB)



"Binnenkort" zou de nas weer een update moeten krijgen met nieuwe hardware en extra schijven.
8 * 2TB schijven zouden er bijkomen en alles zou mooi in de norco 4224 kast moeten komen die hier al klaar staat. Het OS zou een linux distro worden (momenteel aan het testen met debian).
Ik had vroeger al eens enkele distro's getest maar geen enkele gevonden waar ik tevreden mee was. (freenas, openfiler, ubuntu, ...) Telkens was er wel iets wat niet wou werken. Zowel hardware (drivers, compatibiliteit, ...) als software problemen. Windows heeft het wel altijd perfect gedaan zonder problemen, maar heeft het nu lastig met de streaming dat ik erop wil doen.
De overige hardware zou een Intel Xeon E3-1230, Asus p8b-e/4l moederbord , 8GB ram en areca ARC-1880ix-24 controller worden.
Wanneer deze upgrade er komt is wel nog een grote vraag... De socket 1155 moederborden zijn nog nergens te vinden
Pak gewoon software raid joh, veeeeel goedkoper, en praktisch even snel...
Even niets...
Verwijderd
Even niets...
Ik heb al heel wat gelezen waaronder dit interessant artikel, maar zo te horen heeft ieder filesystem wel zijn goede en slechte kanten. Maakt het echt niet veel uit, of is er toch één filesystem die boven de andere staat?
Ik dacht er zelf trouwens aan om ext3 te kiezen aangezien de snelheden wel goed zouden zijn en het nu toch al een hele tijd meegaat.
[ Voor 3% gewijzigd door SanderH_ op 05-05-2011 16:08 ]
Even niets...
Wanneer dit niet werkt kan ik nu nog een ander moederbord bestellen.
Verwijderd
pricewatch: MSI H67MA-ED55
Heb je tenminste nog twee PCI-express slots extra in plaats van waardeloze PCI slots. Bovendien mogelijk zuiniger, al zou het niet zoveel schelen.
Of Intel SASUC8i hierop werkt durf ik je niet te vertellen. Ik ken echter alleen de Zacate bordjes waarop deze controller niet werkt.
Verwacht geen diepgaande tutorial, het is redelijk basic maar bevat toch de juiste stappen denk ik. Het zou mooi zijn als ik hier wat feedback kon krijgen en wie weet komt hij nog van pas voor anderen:
klik
Verwijderd
klein voutjuh 'Voor iedere schijf dienen we een parititietabel aanmaken.SanderH_ schreef op donderdag 05 mei 2011 @ 20:54:
Binnenkort ga ik mijn RAID-5 array opzetten via mdadm. Ondertussen heb ik in een virtuele omgeving wat lopen experimenteren en gaandeweg alle stappen genoteerd. Ik heb deze in een soort van tutorial gegoten.
Verwacht geen diepgaande tutorial, het is redelijk basic maar bevat toch de juiste stappen denk ik. Het zou mooi zijn als ik hier wat feedback kon krijgen en wie weet komt hij nog van pas voor anderen:
klik
verder top
Paar puntjes beste kun je een partitie van het type linux raid aan maken.
type fd (zie http://www.jamierf.co.uk/...ing-mdadm-in-ubuntu-9-10/)
Wat ik er van begrijp zorgt dit er voor dat mdadm makkelijker de disks vind.
Voor het vullen van de mdadm.conf kun je het resultaat van mdadm --detail --scan --verbose
toevoegen.
Ben geen raid expert, dus corrigeer me als er ik er naast zit
Net weer een grow gestart.
Eindelijk ging het toevoegen van nieuwe hardware zonder grote problemen. Intel RAID Controller SASUC8I werd gelijk herkent + de schijven die er aan hangen. Flashen naar de LSI ti firmware en bios ging ook als een zonnetje.
Grow duurt trouwens wel lang en gaat erg sloom 15 a 20MB/s nog 1236.4min resterend....
ga van 5x 1.5TB raid5 naar 7x 1.5TB.
Hoort dit eigenlijk zo langzaam te gaan?
Daar heb je een leuke setup te pakken!KDVken schreef op donderdag 05 mei 2011 @ 11:41:
[...]
Ik volg hier al een tijdje mee, maar zal mijn build er dan ook maar eens opzetten![]()
De nas is gemaakt rond een Dell poweredge 2650 server. (Dual Xeon 2.8Ghz, 2GB ram) De 2U behuizing heeft een extra voeding gekregen om HD's te voorzien en er zijn 16 HD plaatsen gemaakt met plexi.
De poweredgde beschikt over 5 scsi hd''s waarop het os staat (windows 2008). De 16 extra schijven zijn aangesloten op een Areca 1160ML controller. De schijven zijn 8x samsung spinpoint F1 - 1TB en 8x WD caviar green 2TB. Beide arrays staan in raid 6. (in totaal dus 6 + 12 TB = 18 TB)
[afbeelding]
[afbeelding]
[afbeelding]
"Binnenkort" zou de nas weer een update moeten krijgen met nieuwe hardware en extra schijven.
8 * 2TB schijven zouden er bijkomen en alles zou mooi in de norco 4224 kast moeten komen die hier al klaar staat. Het OS zou een linux distro worden (momenteel aan het testen met debian).
Ik had vroeger al eens enkele distro's getest maar geen enkele gevonden waar ik tevreden mee was. (freenas, openfiler, ubuntu, ...) Telkens was er wel iets wat niet wou werken. Zowel hardware (drivers, compatibiliteit, ...) als software problemen. Windows heeft het wel altijd perfect gedaan zonder problemen, maar heeft het nu lastig met de streaming dat ik erop wil doen.
De overige hardware zou een Intel Xeon E3-1230, Asus p8b-e/4l moederbord , 8GB ram en areca ARC-1880ix-24 controller worden.
Wanneer deze upgrade er komt is wel nog een grote vraag... De socket 1155 moederborden zijn nog nergens te vinden
Ik denk dat het een beetje zonde van het geld is om een 24-poort hardware controller te kopen. Is het niet goedkoper om bijvoorbeeld een 16 poort en 8 poort controller aan te schaffen of meerdere 8 poort controllers in een serverboard en van software raid gebruik te maken? Puur even het financiele plaatje. Want eerlijk is eerlijk de 24-poorts is wel lekker makkelijk, los van welke schijven je daar mee kunt gebruiken.
Grow duurt lang.brid schreef op donderdag 05 mei 2011 @ 23:07:
Goede guide.
Paar puntjes beste kun je een partitie van het type linux raid aan maken.
type fd (zie http://www.jamierf.co.uk/...ing-mdadm-in-ubuntu-9-10/)
Wat ik er van begrijp zorgt dit er voor dat mdadm makkelijker de disks vind.
Voor het vullen van de mdadm.conf kun je het resultaat van mdadm --detail --scan --verbose
toevoegen.
Ben geen raid expert, dus corrigeer me als er ik er naast zit
Net weer een grow gestart.
Eindelijk ging het toevoegen van nieuwe hardware zonder grote problemen. Intel RAID Controller SASUC8I werd gelijk herkent + de schijven die er aan hangen. Flashen naar de LSI ti firmware en bios ging ook als een zonnetje.
Grow duurt trouwens wel lang en gaat erg sloom 15 a 20MB/s nog 1236.4min resterend....
ga van 5x 1.5TB raid5 naar 7x 1.5TB.
Hoort dit eigenlijk zo langzaam te gaan?
Hier een scriptje dat je kan vertellen wanneer het klaar is.
http://louwrentius.com/bl...-of-raid-rebuild-reshape/
----------------------------------------------
Estimated time of finishing rebuild / reshape:
Sat May 7 02:12:56 CEST 2011
----------------------------------------------
Helaas leert de ervaring dat hij met de tijd alleen maar langzamer wordt.
Hopelijk is hij dit weekend nog klaar.
Zit nu op 59% na 16 uur
Mooie setup en de 1880 is een geweldige kaart! Ik heb zelf de 1280ML (+/- 3 jaar) en die functioneert uitstekend! Als je het geld er neit zo toe doet dan zou ik dit direct doen. Ikzelf draai Windows 2008 R2 U1 en is 100% stabiel.KDVken schreef op donderdag 05 mei 2011 @ 11:41:
[...]
Ik volg hier al een tijdje mee, maar zal mijn build er dan ook maar eens opzetten![]()
De nas is gemaakt rond een Dell poweredge 2650 server. (Dual Xeon 2.8Ghz, 2GB ram) De 2U behuizing heeft een extra voeding gekregen om HD's te voorzien en er zijn 16 HD plaatsen gemaakt met plexi.
De poweredgde beschikt over 5 scsi hd''s waarop het os staat (windows 2008). De 16 extra schijven zijn aangesloten op een Areca 1160ML controller. De schijven zijn 8x samsung spinpoint F1 - 1TB en 8x WD caviar green 2TB. Beide arrays staan in raid 6. (in totaal dus 6 + 12 TB = 18 TB)
[afbeelding]
[afbeelding]
[afbeelding]
"Binnenkort" zou de nas weer een update moeten krijgen met nieuwe hardware en extra schijven.
8 * 2TB schijven zouden er bijkomen en alles zou mooi in de norco 4224 kast moeten komen die hier al klaar staat. Het OS zou een linux distro worden (momenteel aan het testen met debian).
Ik had vroeger al eens enkele distro's getest maar geen enkele gevonden waar ik tevreden mee was. (freenas, openfiler, ubuntu, ...) Telkens was er wel iets wat niet wou werken. Zowel hardware (drivers, compatibiliteit, ...) als software problemen. Windows heeft het wel altijd perfect gedaan zonder problemen, maar heeft het nu lastig met de streaming dat ik erop wil doen.
De overige hardware zou een Intel Xeon E3-1230, Asus p8b-e/4l moederbord , 8GB ram en areca ARC-1880ix-24 controller worden.
Wanneer deze upgrade er komt is wel nog een grote vraag... De socket 1155 moederborden zijn nog nergens te vinden
They call her... c*ck juggeling Thunderc*nt!
Ik heb wel mijn twijfels of ik alles wel op de juiste manier doe. Feedback hierover is altijd welkom.
Qua disken heb ik nu het volgende:
4x Seagate 7200.12 1TB
3x WD GP EARS 2.0 TB
2x 320GB Samsung Spinpoint F1
1x 320GB WD blue edition 5400rpm notebook disk voor FreeNAS.
Ik heb een Smart Array P400 Hardware controller welke niet echt geschikt is voor ZFS oplossingen, nu is de indeling welke ik wil maken als volgt:
Aan de P400 met UFS filesystem:
4x 7200.12 Raid 5, voor iets minder belangrijke data, (oude back-up enzo)
2x Samsung F1 raid 0 voor mijn test VM's het enige wat hierbij telt is performance.
1x 320GB blue edition voor het OS
Aan 6x onboard Sata:
3x WD EARS 2.0TB in raidz voor de recente back-ups, ghost images en userdata.
Heeft iemand nog opmerkingen of suggesties over deze plannen ?
Verwijderd
Ik had de servervault pagina al gezien maar had het niet heel goed gelezen."Be careful with the P400 single-disk RAID 0 setup. If you have a hotplug event (disk failure/drive removal), ZFS won't recognize the new disk without a reboot. The Smart Array controllers don't offer a true JBOD setting."
Opzich zou een reboot niet echt een probleem zijn.
Morgen maar eens even testen, maar eigenlijk wilde ik ook met het oog op memory en cpu load niet alleen ZFS gebruiken.
De raid controller kan mooi hardware raid 5 doen en zo toch een beetje bescherming zijn voor de minder belangrijke data, dat was althans mijn gedachte erachter.
[ Voor 14% gewijzigd door dutch_warrior op 06-05-2011 23:08 ]
Verwijderd
Root-on-ZFS is dus wat je wilt, een 100% ZFS installatie. Weet niet helemaal zeker of FreeNAS 8 dat nu ondersteunt, maar dat kun je vast wel uitvogelen?
Wat betreft controllers die eigen RAID doen, die zijn eigenlijk ongeschikt voor ZFS. Gebruik die in een Windows-omgeving ofzo, maar voor ZFS kun je echt veel beter normale HBA controllers gebruiken. Zoals een Intel SASUC8i in IT-mode. Dan loop je niet het risico dat een bad sector de disk onzichtbaar maakt, in feite knalt de firmware de disk er dan uit zonder dat het OS (ZFS dus) daar controle over heeft. Dat maakt je storage setup niet erg betrouwbaar. Als je dan ZFS neemt vanwege de veilige RAID, wil je wel dat ZFS direct controle over je disks heeft.
En over de raid controller, tja ik kom ook van een windows omgeving af maar ntfs is niet meer ideaal bij grote hoeveelheden data, ik heb namelijk meerdere malen gehad dat ik files ineens niet meer kon lezen.
Dan moet ik toch maar even kijken naar een root-on-zfs installatie eventueel toch maar even gaan zitten voor een FreeBSD installatie dan.
Ziet er prima uit.SanderH_ schreef op vrijdag 06 mei 2011 @ 20:02:
Ondertussen een paar aanpassingen gemaakt aan mijn tutorial. Ik heb ook een stukje over rebuilding toegevoegd.
Ik heb wel mijn twijfels of ik alles wel op de juiste manier doe. Feedback hierover is altijd welkom.
Advies: Gebruik XFS als filesystem onder Linux. EXT3 is te traag maar belangrijk: is niet efficiënt en kost je gigabytes aan opslagcapaciteit.
Misschien ook handig om aan te geven dat je vanaf zeg 8 disks toch echt RAID 6 zou moeten gaan overwegen.
[ Voor 9% gewijzigd door Q op 06-05-2011 23:40 ]
Verwijderd
ZFS is heel erg tof en je kunt het vrij goedkoop houden met 'consumentenhardware' - maar het is wel tricky:
- Het houdt van héél veel RAM, in tegenstelling tot normaal software RAID waarbij een halve GIG in principe voldoende is en meer niet direct tot meer performance leidt, hooguit tot cached files; ZFS is héél anders en performance hangt erg af van de hoeveelheid RAM. 8GB+ valt erg aan te raden
- RAID controllers zijn eigenlijk ongeschikt voor ZFS; dan 'offload' je een deel van je data integriteit aan je RAID controller cq. firmware. Dat wil je vaak niet, zeker als het om belangrijke data gaat. Dat betekent dus wel dat je aan bestaande RAID hardware niet zoveel hebt. Je kunt het wel gebruiken, maar dan kan ZFS maar deels de veiligheid van je data garanderen. Write-back in je controller moet je persé uitschakelen of het loopt helemaal in het honderd. ZFS is een transactioneel filesystem en gemaakt om direct met disks te communiceren; met een RAID controller ertussen gaat dat niet lekker. Bovendien maakt dat je storage erg gevoelig voor uitvallende disks door bad sectors; iets wat je niet hebt met non-raid controllers zodat ZFS direct control heeft over je disks.
- TLER-schijven zijn ook niet handig; ZFS heeft het niet nodig omdat non-TLER disks niet uitvallen en het is ook gevaarlijk bij degraded arrays of RAID0 arrays omdat je disks in feite error recovery hebben uitgeschakeld.
- Voor normaal software RAID maakt 32-bit CPU niets uit, voor ZFS is dat een doodzonde. ZFS wil héél graag een 64-bit CPU en OS.
- Expanders of port multipliers krijgen extra performance penalties bij ZFS in RAID-Z configuraties, door de manier waarop RAID-Z werkt. Dit betekent dat je meerdere controllers wilt hebben zonder expander. Een Areca controller met 'ix' in de naam is dus veel minder geschikt voor ZFS, terwijl andere RAID daar veel minder problemen mee heeft.
Zie ook: Het grote ZFS topic
Ja ik was al wel op de hoogte van de meeste aandachtspunten bij ZFS.
Ik heb nu hardware welke prima werkt met FreeBSD en FreeNAS, alleen de controller is dus een probleem.
Door UFS en ZFS samen te gebruiken dacht ik misschien een goede oplossing te hebben, ik was echter niet op de hoogte van het feit dat UFS niet te tunen is qua ram gebruik.
Ik ga dan toch maar even een goede HBA zoeken.
[ Voor 3% gewijzigd door dutch_warrior op 07-05-2011 00:04 ]
Voor thuis gebruik wil je zoveel mogelijk storage voor je geld. Performance die gigabit voltrekt is goed genoeg.Jormungandr schreef op vrijdag 06 mei 2011 @ 23:55:
@ Q: Dat of je maakt meedere arrays? Bij ons (EMC²) zijn op de machines het aantal disks voor oa RAID10, 5 en 6 volgens engineering vastgelegd adhv performance. Ik denk dat het dan logisch is dat hetzelfde kan gelden voor de DIY nas.
Meerdere arrays is meer verlies door parity disks.
Daarom draai ik ook 1 grote array (waarvan de sequentiële performance gruwelijk is). De random io performance van deze array is slecht.
Maar voor thuis storage boeit dat niet.
Thuis hebben mensen andere behoeftes dan waar de EMC arrays in voorzien
[ Voor 3% gewijzigd door Q op 07-05-2011 02:25 ]
7* de Hitachi Deskstar 7K3000 3TB (HDS723030ALA640) besteld.
Check hier voor meer info over de schijven
Welke de volgende zullen gaan vervangen.
Ch01 Raid Set # 01 1000.2GB SAMSUNG HD103UJ
Ch02 Raid Set # 01 1000.2GB SAMSUNG HD103UJ
Ch03 Raid Set # 01 1000.2GB SAMSUNG HD103UJ
Ch04 Raid Set # 01 1000.2GB SAMSUNG HD103UJ
Ch05 Raid Set # 01 1000.2GB SAMSUNG HD103UJ
Ch06 Raid Set # 01 1000.2GB SAMSUNG HD103SI
Ch07 Raid Set # 01 1000.2GB ST31000333AS
Ch08 Raid Set # 01 1000.2GB ST31000333AS
Ch09 Raid Set # 01 1000.2GB Hitachi HDT721010SLA360
Ch10 Raid Set # 01 1000.2GB WDC WD1001FALS-00J7B1
Ch11 Raid Set # 01 1000.2GB WDC WD1001FALS-00J7B1
Ch12 Raid Set # 01 1000.2GB WDC WD1001FALS-00J7B1
Dit brengt het totaal naar:
12 * 1 TB
7 * 3 TB
2 * 2 TB
------------------
Commultatief 37TB
Effectief 32TB
De 30 TB grens is voor mij doorbroken ;-)
[ Voor 8% gewijzigd door lampie1979 op 07-05-2011 05:18 ]
They call her... c*ck juggeling Thunderc*nt!
Verwijderd
prima schijven zo te lezen ..lampie1979 schreef op zaterdag 07 mei 2011 @ 05:14:
Zo we gaan maar weer eens upgraden!
7* de Hitachi Deskstar 7K3000 3TB (HDS723030ALA640) besteld.
Check hier voor meer info over de schijven
De 30 TB grens is voor mij doorbroken ;-)
Ik gebruik nu hardware uit mijn oude desktop,Verwijderd schreef op vrijdag 06 mei 2011 @ 23:55:
Met andere woorden: ZFS kan héél snel, héél veilig en héél goedkoop; maar dan moet je wel slim je hardware uitkiezen. Bestaande hardware is vaak ongeschikt voor ZFS. Een nieuw systeem bouwen speciaal voor ZFS is wel zo handig, vooral omdat dat helemaal niet zo duur hoeft te zijn. 8GB RAM voor 55 euro, controllers voor 100 euro. Maar bestaande hardware is vaak minder geschikt en mogelijk zelfs gevaarlijk voor je data.
Zie ook: Het grote ZFS topic
Maar ik heb ook een media server welke dvb-s streaming enzo verzorgt, ik heb tijdens de aanschaf van dit ding een beetje rekening gehouden met de pci-e aansluitingen.
Mobo: M4A89GTD PRO/USB3
CPU: Amd phenom x2 555 (unlockable naar 4 cores, maar denk dat dat niet nodig is.)
Ik ga even proberen hoe goed FreeBSD draait op dit systeem en dan kan ik hier natuurlijk 16GB DDR3 op plaatsen en een HBA.
Dan blijven mijn investeringen beperkt (ram upgrade voor dit systeem was toch al gepland
Het was mij trouwens opgevallen dat mijn seagate 7200.12 schijven allemaal exact hetzelfde typenummer hebben alleen het zijn twee verschillende serienr ranges en dus verschilt de maximum capaciteit.
Het vreemde is dat van beide serienr reeksen een schijf afwijkt qua capaciteit
ST31000528AS 9VP1LNYA 1000.200GB
ST31000528AS 9VP1YQ8J 999.00 GB
ST10000528AS 5VP1D6VT 1000.200 GB
ST31000528AS 5VP1DDRT 999.00 GB
De hoeveelheid GB is niet exact hetzelfde in werkelijkheid maar bovenstaande waarden geven het probleem weer. In Seatools 4 dos heb ik al van alles geprobeerd maar ik krijg het niet gefixt.
Vanmiddag ga ik nog even proberen of er een nieuwe firmware versie is en anders moet ik maar de capaciteit met de hand instellen op 999.00GB voor alle disks.
Yeah!lampie1979 schreef op zaterdag 07 mei 2011 @ 05:14:
Zo we gaan maar weer eens upgraden!
Hoeveel data heb je daadwerkelijk in gebruik eigenlijk?
| Overview of 10+ TB storage arrays | |||||
| User | Netto capacity | RAID Level | # of disks | Platform | Remarks |
|---|---|---|---|---|---|
| Freak1 | 44 TB | RAID 6 | 24 | VMware / Windows | Met Areca 1280ML |
| Lampie1979 | 32 TB | Multiple arrays | 24 ? | Windows | Met Areca 1280ML |
| Q | 18 TB | RAID 6 | 20 | Linux | MDADM software RAID, single array. |
| FireDrunk | 10+ TB | RAID 6 | 8*1.5TB + 4*2TB | Linux / ZFS | MDADM software RAID6 /ZFS tryout |
Wie een 10 TB+ setup heeft in een single chassis mag op de lijst.
Met welke tag kan ik de kolommen centreren?
[ Voor 91% gewijzigd door Q op 07-05-2011 12:04 ]
True dat² ^^.Q schreef op zaterdag 07 mei 2011 @ 02:25:
[...]
Thuis hebben mensen andere behoeftes dan waar de EMC arrays in voorzien
Maar het kan altijd een optie zijn natuurlijk voor mensen die echt veel storage nodig hebben en waar een extra schijf niet echt boeit. Ik heb altijd wat schrik voor die zeer grote arrays met nog eens zeer grote disks.
Het zal maar tussen de oren zitten zeker
Thx.Q schreef op vrijdag 06 mei 2011 @ 23:39:
[...]
Ziet er prima uit.
Advies: Gebruik XFS als filesystem onder Linux. EXT3 is te traag maar belangrijk: is niet efficiënt en kost je gigabytes aan opslagcapaciteit.
Misschien ook handig om aan te geven dat je vanaf zeg 8 disks toch echt RAID 6 zou moeten gaan overwegen.
Ik dacht net dat de meeste mediaspelers en out-of-the-box NAS apparaten ext3 gebruikten, en dat het daarom wel een goed fs is. Maar ik merk inderdaad dat de meesten hier XFS gebruiken. Dan maar daar even mee experimenteren.
Hoe doe ik dit precies op debian? Ik gebruikte altijd mkfs.<filesystem>. Maar voor xfs is die niet standaard aanwezig en apt-get vindt ook geen package.
Om mijn ssmtp in combinatie met mdadm eens te testen heb ik via --set-faulty een schijf zogezegd gesloopt. Kapotte schijf uit de array halen, er opnieuw insteken, en het rebuilden kon beginnen. Daar is hij nu nog steeds mee bezig... maar ik kan nog gewoon vrolijk bestanden kopiëren, aanmaken, verplaatsen..?
[ Voor 18% gewijzigd door SanderH_ op 07-05-2011 14:34 ]
Nou, ik gooi mezelf in de lijst!Q schreef op zaterdag 07 mei 2011 @ 11:16:
[...]
Yeah!
![]()
Hoeveel data heb je daadwerkelijk in gebruik eigenlijk?
Overview of 10+ TB storage arrays User Netto capacity RAID Level # of disks Platform Remarks Freak1 44 TB RAID 6 24 VMware / Windows Met Areca 1280ML Lampie1979 32 TB Multiple arrays 24 ? Windows Met Areca 1280ML Q 18 TB RAID 6 20 Linux MDADM software RAID, single array. FireDrunk 10+ TB RAID 6 8*1.5TB + 4*2TB Linux / ZFS MDADM software RAID6 /ZFS tryout
Wie een 10 TB+ setup heeft in een single chassis mag op de lijst.
Met welke tag kan ik de kolommen centreren?
| Overview of 10+ TB storage arrays | |||||
| User | Netto capacity | RAID Level | # of disks | Platform | Remarks |
|---|---|---|---|---|---|
| Freak1 | 44 TB | RAID 6 | 24 | VMware / Windows | Met Areca 1280ML |
| Lampie1979 | 32 TB | Multiple arrays | 24 ? | Windows | Met Areca 1280ML |
| Q | 18 TB | RAID 6 | 20 | Linux | MDADM software RAID, single array. |
| FireDrunk | 10+ TB | RAID 6 | 8*1.5TB + 4*2TB | Linux / ZFS | MDADM software RAID6 /ZFS tryout |
| Quindor | ~16 TB | No RAID | 8*2TB, 2xVertex2 (120+180GB) | VMware ESXi 4.1u1 | Drivebender diskpool |
~16TB, Geen RAID, 8*2TB + 120GB Vertex 2 + 180GB Vertex 2, Vmware ESXi 4.1u1, DriveBender disk pool.
[ Voor 29% gewijzigd door Quindor op 07-05-2011 14:21 ]
| Overview of 10+ TB storage arrays | |||||
| User | Netto capacity | RAID Level | # of disks | Platform | Remarks |
|---|---|---|---|---|---|
| Freak1 | 44 TB | RAID 6 | 24 | VMware / Windows | Met Areca 1280ML |
| Lampie1979 | 32 TB | Multiple arrays | 24 ? | Windows | Met Areca 1280ML |
| Q | 18 TB | RAID 6 | 20 | Linux | MDADM software RAID, single array. |
| Quindor | ~16 TB | No RAID | 8 | VMware ESXi 4.1u1 | Drivebender diskpool / 8*2TB, 2xVertex2 (120+180GB) |
| FireDrunk | 10+ TB | RAID 6 | 12 | Linux / ZFS | MDADM software RAID6 /ZFS tryout (8*1.5TB + 4*2TB) |
[ Voor 7% gewijzigd door Q op 07-05-2011 22:20 ]
Misschien moeten Firedrunk en Quindor hun posts ook nog even linken, ik kan helaas nog niet meedoen in dit lijstje, maar let op!Q schreef op zaterdag 07 mei 2011 @ 14:37:
Prima, tabel ietsje opgeschoond, als je een linkje naar een post met extra info hebt over het systeem kun je dat linken aan je naam.
Overview of 10+ TB storage arrays User Netto capacity RAID Level # of disks Platform Remarks Freak1 44 TB RAID 6 24 VMware / Windows Met Areca 1280ML Lampie1979 32 TB Multiple arrays 24 ? Windows Met Areca 1280ML Q 18 TB RAID 6 20 Linux MDADM software RAID, single array. Quindor ~16 TB No RAID 8 VMware ESXi 4.1u1 Drivebender diskpool / 8*2TB, 2xVertex2 (120+180GB) FireDrunk 10+ TB RAID 6 12 Linux / ZFS MDADM software RAID6 /ZFS tryout (8*1.5TB + 4*2TB)
* DJ-Visto spaart verder
Zo, de tabel eventjes bij gewerkt en zojuist een nieuwe controller gewonnen op ebay! Een IBM M1015 voor een netjes bedrag van ~70 euro. Erg benieuwd of deze wel aan disk spin down kan doen of niet. Aangezien ik dat nog steeds niet helemaal duidelijk heb kunnen krijgen.Q schreef op zaterdag 07 mei 2011 @ 14:37:
Prima, tabel ietsje opgeschoond, als je een linkje naar een post met extra info hebt over het systeem kun je dat linken aan je naam.
Overview of 10+ TB storage arrays User Netto capacity RAID Level # of disks Platform Remarks Freak1 44 TB RAID 6 24 VMware / Windows Met Areca 1280ML Lampie1979 32 TB Multiple arrays 24 ? Windows Met Areca 1280ML Q 18 TB RAID 6 20 Linux MDADM software RAID, single array. Quindor ~16 TB No RAID 8 VMware ESXi 4.1u1 Drivebender diskpool / 8*2TB, 2xVertex2 (120+180GB) FireDrunk 10+ TB RAID 6 12 Linux / ZFS MDADM software RAID6 /ZFS tryout (8*1.5TB + 4*2TB)
[ Voor 9% gewijzigd door Quindor op 07-05-2011 17:17 ]
Dat dacht ik dus ook ;-) Alhoewel mijn Raidcontroller wel de beperkende factor zal worden.
They call her... c*ck juggeling Thunderc*nt!
Nu zit die tot de nok toe vol, wat resulteert in 24 TBQ schreef op zaterdag 07 mei 2011 @ 11:16:
[...]
Yeah!
![]()
Hoeveel data heb je daadwerkelijk in gebruik eigenlijk?
Overview of 10+ TB storage arrays User Netto capacity RAID Level # of disks Platform Remarks Freak1 44 TB RAID 6 24 VMware / Windows Met Areca 1280ML Lampie1979 32 TB Multiple arrays 24 ? Windows Met Areca 1280ML Q 18 TB RAID 6 20 Linux MDADM software RAID, single array. FireDrunk 10+ TB RAID 6 8*1.5TB + 4*2TB Linux / ZFS MDADM software RAID6 /ZFS tryout
Wie een 10 TB+ setup heeft in een single chassis mag op de lijst.
Met welke tag kan ik de kolommen centreren?
Mooi overzicht, dank voor het opstellen hiervan!!
Tijd voor Het grote DIY RAID NAS topic deel 4? En deze tabel opnemen in de startpost?
They call her... c*ck juggeling Thunderc*nt!
Goeie deal!Quindor schreef op zaterdag 07 mei 2011 @ 17:15:
[...]
Zo, de tabel eventjes bij gewerkt en zojuist een nieuwe controller gewonnen op ebay! Een IBM M1015 voor een netjes bedrag van ~70 euro. Erg benieuwd of deze wel aan disk spin down kan doen of niet. Aangezien ik dat nog steeds niet helemaal duidelijk heb kunnen krijgen.
They call her... c*ck juggeling Thunderc*nt!
Haha. Geweldig.lampie1979 schreef op zaterdag 07 mei 2011 @ 18:14:
[...]
Nu zit die tot de nok toe vol, wat resulteert in 24 TB
1
| /dev/md5 17T 9.6T 6.9T 59% /storage |
Ik kom niet eens in de buurt en 25% van de data is rotzooi wat wel weg mag.
Maar dat is gewoon de fun van zoveel aso storage. Je kunt lui zijn. Je weet gewoon, no matter what, ik kan iets bewaren.
No thanks, toch fun?Mooi overzicht, dank voor het opstellen hiervan!!
Tijd voor Het grote DIY RAID NAS topic deel 4? En deze tabel opnemen in de startpost?
Ik weet niet hoe het gaat maar wil best mede-auteur zijn van de startpost, waarbij ik verder van de startpost af blijf, maar wel de tabel up-to-date hou.
Als je de tabel quote en aanpast dan is hij 'verloren' voor andere mensen, die kunnen er niet meer bij door te quoten. Mogelijk kun je er anders bij maar ben ik een forum noob.Quindor schreef op zaterdag 07 mei 2011 @ 17:15:
[...]
Zo, de tabel eventjes bij gewerkt en zojuist een nieuwe controller gewonnen op ebay! Een IBM M1015 voor een netjes bedrag van ~70 euro. Erg benieuwd of deze wel aan disk spin down kan doen of niet. Aangezien ik dat nog steeds niet helemaal duidelijk heb kunnen krijgen.
@Lampie1979, jij draaide meerdere RAID 6 arrays toch?, aangepast in tabel.
| Overview of 10+ TB storage arrays | |||||
| User | Netto capacity | RAID Level | # of disks | Platform | Remarks |
|---|---|---|---|---|---|
| Freak1 | 44 TB | RAID 6 | 24 | VMware / Windows | Met Areca 1280ML |
| Lampie1979 | 32 TB | RAID 6 | 24 ? | Windows | Met Areca 1280ML, meerdere arrays |
| Q | 18 TB | RAID 6 | 20 | Linux | MDADM software RAID, single array. |
| Quindor | ~16 TB | No RAID | 8 | VMware ESXi 4.1u1 | Drivebender diskpool / 8*2TB, 2xVertex2 (120+180GB) |
| FireDrunk | 10+ TB | RAID 6 | 12 | Linux / ZFS | MDADM software RAID6 /ZFS tryout (8*1.5TB + 4*2TB) |
[ Voor 51% gewijzigd door Q op 07-05-2011 22:23 ]
Ik doe raidz-5 trouwens.
[ Voor 9% gewijzigd door zzattack op 07-05-2011 22:25 ]
Jazeker, maar er komt een extra voorwaarde
1. 10+ TB builds
2. Je moet een post maken met informatie over hoe het systeem is opgebouwd, liefst met foto, maar op zijn minst info over de RAID array(s), etc.
Als je zo'n post maakt kom je in de tabel.
specs: zzattack in "Het grote DIY RAID NAS topic deel 3"
foto's: zzattack in "Het grote DIY RAID NAS topic deel 3"
[ Voor 97% gewijzigd door zzattack op 07-05-2011 22:29 . Reden: linkje toegevoegd ]
Heb je nu ook daadwerkelijk een enkele array met een 40 TB netto capaciteit? Met 20 disk dus? Als je ZFS raid vertaalt naar wat ik snap, dus RAID 6 als ik het goed begrijp?zzattack schreef op zaterdag 07 mei 2011 @ 22:25:
Staat al in het topic: zzattack in "Het grote DIY RAID NAS topic deel 3"
[ Voor 3% gewijzigd door Q op 07-05-2011 22:29 ]
Zijn dat 4 losse RAID 5 arrays (equivalent) dus 4 bruikbaar 1 parity? Hoe vertaal ik de 20 disks naar 28 TiB?zzattack schreef op zaterdag 07 mei 2011 @ 22:30:
Hij is inmiddels af, het is een 4x 5 disk raidz-1, met 28TiB usable disk space geworden.
Ik moet zeggen dat ik reken met TB die de fabrikant van de disk opgeeft. mijn 20 TB netto 18 TB is 17TiB.
Hoe zou jouw netto capaciteit dan uitkomen?
| Overview of GoT 10+ TB storage arrays | |||||
| User | Netto capacity | RAID Level used | # of disks | Platform | Remarks |
|---|---|---|---|---|---|
| Freak1 | 44 TB | RAID 6 | 24 | VMware / Windows | Met Areca 1280ML |
| zzattack | 32 TB | RAIDZ-1 | 20 | FreeBSD | ZFS 4 x 5-disk RAIDZ-1 fotos hardware |
| Lampie1979 | 32 TB | RAID 6 | 24 | Windows | Met Areca 1280ML, meerdere arrays |
| Q | 18 TB | RAID 6 | 20 | Linux | MDADM software RAID, single array. |
| Quindor | 16 TB | No RAID | 8 | VMware ESXi 4.1u1 | Drivebender diskpool / 8*2TB, 2xVertex2 (120+180GB) |
| FireDrunk | 15 TB | RAID 6 | 12 | Linux | MDADM software RAID6 /ZFS tryout (8*1.5TB + 4*2TB) |
[ Voor 80% gewijzigd door Q op 08-05-2011 00:34 ]
Volgens de fabrikant disk-grootte zou het dan 2 * 20 * 4 / 5 = 32TB zijn.
[ Voor 75% gewijzigd door zzattack op 07-05-2011 22:45 ]
Ik denk dat iedereen in de tabel gewoon die fabrikant berekening heeft aangehouden, althanks ik wel en gezien de andere waarden collega's ook.zzattack schreef op zaterdag 07 mei 2011 @ 22:38:
Pretty much ja, alleen dan de ZFS variant RAID-5. 2TB schijven, ongeveer 1.82 bruikbaar geloof ik, keer 20 - 4.
Volgens de fabrikant disk-grootte zou het dan 2 * 20 * 4 / 5 = 32TB zijn.
Ik noteer dus niet de TiB waarde maar de TB waarde. Uiteindelijk zal het OS wel de TiB waarde rapporteren, maar dan zouden we alle waarden even om moeten rekenen q.c. chekken bij iedere array eigenaar. Zeker als er gemixed wordt met disks etc.
@Firedrunk, volgens mij heb jij meer capaciteit dan ik heb genoteerd, gezien het aantal disks etc.?
@ zzattack, check fixed. Zou dan aardig zijn om de gelinkte posts te updaten.
[ Voor 13% gewijzigd door Q op 07-05-2011 22:48 ]
[ Voor 60% gewijzigd door zzattack op 07-05-2011 22:49 ]
15TB momenteel (8x 1.5TB RAID6, en 4x2TB RAIDZ), maar dat wisselt nog wel eens, daarom zei ik ook 10TB+Q schreef op zaterdag 07 mei 2011 @ 22:43:
@Firedrunk, volgens mij heb jij meer capaciteit dan ik heb genoteerd, gezien het aantal disks etc.?
Even niets...
Verwijderd
Correct ik draai twee arrays, beide momenteel Raid 6. Wanneer de 3TB's arriveren zal ik zowel Raid5 (7*3TB = 18TB) als Raid6 (12 * 1TB = 10TB) simultaan gaan draaien.Q schreef op zaterdag 07 mei 2011 @ 22:19:
[...]
Als je de tabel quote en aanpast dan is hij 'verloren' voor andere mensen, die kunnen er niet meer bij door te quoten. Mogelijk kun je er anders bij maar ben ik een forum noob.
@Lampie1979, jij draaide meerdere RAID 6 arrays toch?, aangepast in tabel.
Overview of 10+ TB storage arrays User Netto capacity RAID Level # of disks Platform Remarks Freak1 44 TB RAID 6 24 VMware / Windows Met Areca 1280ML Lampie1979 32 TB RAID 6 24 ? Windows Met Areca 1280ML, meerdere arrays Q 18 TB RAID 6 20 Linux MDADM software RAID, single array. Quindor ~16 TB No RAID 8 VMware ESXi 4.1u1 Drivebender diskpool / 8*2TB, 2xVertex2 (120+180GB) FireDrunk 10+ TB RAID 6 12 Linux / ZFS MDADM software RAID6 /ZFS tryout (8*1.5TB + 4*2TB)
They call her... c*ck juggeling Thunderc*nt!
RAID 50, waar blijven ze het verzinnen
Uh, er staat toch gewoon 4x2TB in RAIDZ? Wat is daar moeilijk aan?Verwijderd schreef op zaterdag 07 mei 2011 @ 23:38:
Als je 4x RAID-Z hebt is het beter om "4x RAID-Z" te schrijven denk ik, ipv gewoon RAID-Z. Zoveel schijven in een enkele RAID5 is namelijk erg onveilig. 4x RAID-Z is eigenlijk RAID5+0 ofwel RAID50.
Even niets...
Topic is wel erg vol.Jormungandr schreef op zaterdag 07 mei 2011 @ 23:46:
Is het niet beter van deze lijst gewoon in de TS te zetten en eventueel te PM'en om erin te mogen? 5x die tabel zien terugkomen op 1 pagina is niet bevordelijk voor het overzicht.
RAID 50, waar blijven ze het verzinnen. Iets met huis-tuin-keuken enzo ^^.
1. Iemand moet nieuwe topic start maken en auteur willen worden
2. Ik zou beheerder van de tabel willen zijn, maar niet van de TS zelf. dus als mede auteur.
3. Dit moet geregeld worden met een mod
Ik werk nu de tabel van 7 mei 22.33 bij.
Je zegt het zelf anders niet goedFireDrunk schreef op zondag 08 mei 2011 @ 00:21:
[...]
Uh, er staat toch gewoon 4x2TB in RAIDZ? Wat is daar moeilijk aan?
Het is een pool van 4x een raid-z1 van telkens 5 schijven. Echt makkelijk omschrijven gaat ook niet, maar imho is 4x RAID-Z1 van 5 * 2TB nog redelijk duidelijk. Als je met zpools bekend bent althans.
Dat is 1 vdev. Wat begrijp ik nou niet aan jullie verhaal?
Even niets...
Iemand die hier nog even vlug op zou kunnen antwoordenSanderH_ schreef op zaterdag 07 mei 2011 @ 14:05:
[...]
Thx.
Ik dacht net dat de meeste mediaspelers en out-of-the-box NAS apparaten ext3 gebruikten, en dat het daarom wel een goed fs is. Maar ik merk inderdaad dat de meesten hier XFS gebruiken. Dan maar daar even mee experimenteren.
Hoe doe ik dit precies op debian? Ik gebruikte altijd mkfs.<filesystem>. Maar voor xfs is die niet standaard aanwezig en apt-get vindt ook geen package.
Om mijn ssmtp in combinatie met mdadm eens te testen heb ik via --set-faulty een schijf zogezegd gesloopt. Kapotte schijf uit de array halen (
mdadm /dev/md0 -r /dev/sdx1) , er opnieuw insteken, en het rebuilden kon beginnen. Daar is hij nu nog steeds mee bezig... maar ik kan nog gewoon vrolijk bestanden kopiëren, aanmaken, verplaatsen..?
Verwijderd
borroz
10+ / 20 TB
RAIDZ2
12
OpenIndiana+napp-it
intel RAID Controller SASUC8I
12 x 2 TB
2 x SSD
Verwijderd
Ik had het inderdaad over jouw pool.zzattack schreef op zondag 08 mei 2011 @ 01:48:
Ah sorry, dacht dat jij en ciph het over mijn pool hadden.
Er staat wel een beschrijving in de laatste kolom. Maar het ging mij om de "RAID level" kolom. Dan kun je zien hoe 'redundant' de array is. 40TB met een enkele RAID-Z is natuurlijk niet veilig. Maar 4x RAID-Z is al veel veiliger. Dus misschien dat daar 4x RAID-Z moet staan ipv gewoon RAID-Z; omdat het in feite om 4 vdevs gaat.
Dat zou ook voor conventioneel RAID gelden. Als je twee RAID6 arrays striped dan kan daar 2x RAID6 staan, wat veiliger is dan 1x RAID6 (potentiëel dubbel aantal toegelaten failed disks).
Ik denk inderdaad dat we beter dit topic kunnen splitsen:
- Het grote zelfbouw NAS topic
- Het grote storage show-off topic
- Het grote ZFS topic (is er al)
Dus in feite twee nieuwe topics; het zelfbouw topic gaat dan over waar dit topic in de kern over ging: hulp of discussie over het zelf bouwen van een NAS. Het show-off topic zou dan vooral gaan om foto's en de lijst van storage systemen van mensen hier op GoT. Zo blijft dat lekker gescheiden en wordt het laatste een topic met veel foto's en geen 'hulp vraagjes' tussendoor; hooguit vragen over iemands setup.
| Overview of GoT 10+ TB storage arrays | |||||
| User | Netto capacity | RAID Level used | # of disks | Platform | Remarks |
|---|---|---|---|---|---|
| Freak1 | 44 TB | RAID 6 | 24 | VMware / Windows | Met Areca 1280ML |
| zzattack | 32 TB | RAIDZ-1 | 20 | FreeBSD | ZFS 4 x 5-disk RAIDZ-1 fotos hardware |
| Lampie1979 | 32 TB | RAID 6 | 24 | Windows | Met Areca 1280ML, meerdere arrays |
| Borroz | 24 TB | RAIDZ2 | 14 | OpenIndiana+napp-it | RAIDZ2 |
| Q | 18 TB | RAID 6 | 20 | Linux | MDADM software RAID, single array. |
| Quindor | 16 TB | No RAID | 8 | VMware ESXi 4.1u1 | Drivebender diskpool / 8*2TB, 2xVertex2 (120+180GB) |
| FireDrunk | 15 TB | RAID 6 | 12 | Linux | MDADM software RAID6 /ZFS tryout (8*1.5TB + 4*2TB) |
Volgens mij klopt hij het word echt geil
Verwijderd
dat schommelt momenteel omdat ik de definitieve config/os nog niet bepaald heb..ben allerlei dingen aan het testen, vandaar mijn ' 10+ / 20 TB .. in ieder geval niet meer dan 20 TB .. want ik ga zeker weten een raidz2 gebruiken maar hoe ik de vdef's configureer ?Oh borroz hoeveel storage heb je netto? 10TB?
| Overview of GoT 10+ TB storage arrays | |||||
| User | Netto capacity | RAID Level used | # of disks | Platform | Remarks |
|---|---|---|---|---|---|
| Freak1 | 44 TB | RAID 6 | 24 | VMware / Windows | Met Areca 1280ML |
| zzattack | 32 TB | RAIDZ-1 | 20 | FreeBSD | ZFS 4 x 5-disk RAIDZ-1 fotos hardware |
| Lampie1979 | 32 TB | RAID 6 | 24 | Windows | Met Areca 1280ML, meerdere arrays |
| Borroz | 24 TB | RAIDZ2 | 14 | OpenIndiana+napp-it | RAIDZ2 |
| Q | 18 TB | RAID 6 | 20 | Linux | MDADM software RAID, single array. |
| Quindor | 16 TB | No RAID | 8 | VMware ESXi 4.1u1 | Drivebender diskpool / 8*2TB, 2xVertex2 (120+180GB) |
| FireDrunk | 15 TB | RAID 6 | 12 | ESXi 4.1u1, Linux + FreeNAS Guests | MDADM software RAID6 /ZFS tryout (8*1.5TB + 4*2TB) |
Even wat aangepast...
[ Voor 4% gewijzigd door FireDrunk op 08-05-2011 13:25 ]
Even niets...
tis even wachten op de 3TB disks van WD, dan kunnen we er weer 24TB aan toevoegen
oh, en mijn platform is windows\hyper-v
[ Voor 16% gewijzigd door KorneelB op 08-05-2011 14:45 ]
60 TB can not be enough
In dit topic bespreken we de hardwarematige kant van het bouwen van een NAS. Vragen en discussies die betrekking hebben op de softwarematige kant, dien je elders te stellen. Zo is het ZFS topic de juiste plek voor vragen over ZFS maar ook over softwareplatformen zoals FreeNAS, NAS4Free, ZFSguru en andere softwareplatforms die met ZFS werken.