Storage showcase topic - 50+ TB storage systems

[Jormungandr]

SanderH_ schreef op zaterdag 28 september 2013 @ 00:23:
Iets wat ik me al lang afvraag: past zo een controller wel in een 2U kast (zeker als er nog 8087 connectors bij moeten)?

Die Seasonic ATX voeding past er trouwens sowieso niet in denk ik.

Ik heb een M1015 in een 2U norco en het gaat. De kabels moeten wel wat buigen, maar no problem. Ik had een fullsize bracket maar met wat tweaken lost je dat wel op. Powersupplies passen niet, daar moet je een 2U servervoeding kopen (seasonic ed).

[j.w.k]

[ Voor 160% gewijzigd door j.w.k op 11-10-2013 13:10 ]

[Q]

Hoi j.w.k,

Dat is een vette sloot aan storage 150+ TB. Gaaf hoor.

Als je het leuk vind om in 'de lijst' te komen met de systemen die daar voor in aanmerking komen, wil ik je vragen om twee dingen.

1. Wil je de systemen formatten volgens de tabel in de start post? Ik vind de post best slecht leesbaar.
2. Wil je er ook een verhaal bij verstellen, waarbij je keuzes motiveert en wijst op details etc. Ik neem aan dat je ooit begonnen bent met 1 systeem en dat je daaruit bent verdergegaan.

[ Voor 4% gewijzigd door Q op 30-09-2013 23:45 ]

[muppet99]

En kijk ook even goed naar je netto/bruto berekeningen:


Component

Value

Case Synology ds411j
Operating system DSM 4.3
Hard drive 4x WD 2 Tb
RAID array configuration RAID 5
Netto storage capacity 8.00 TB <---------
Network Onboard 1000MBit's

[SanderH_]

Om welke duistere reden wordt de PSU niet opgenomen in de systeemposts als ik vragen mag? Vind ik namelijk best interessant .

[j.w.k]

SanderH_ schreef op dinsdag 01 oktober 2013 @ 19:33:
Om welke duistere reden wordt de PSU niet opgenomen in de systeemposts als ik vragen mag? Vind ik namelijk best interessant .

Is geen duistere reden vind het niet zo belangrijk
zitten 2x ocz 550 watt voedingen in en 2x Zippy Technology P2M-6550P,2U Form,550W 2u

[Staatslot]

j.w.k schreef op maandag 30 september 2013 @ 21:26:
..vette specs en afbeeldingen...

Ik ben ook vooral benieuwd naar hoeveel stroom dit vreet, en of je iets hebt gedaan om die hoeveelheid te beperken. Staat alles altijd aan, schakel je bepaalde servers alleen bij gebruik aan (wol, handmatig?).

Verder

[j.w.k]

Staatslot schreef op woensdag 02 oktober 2013 @ 15:09:
[...]


Ik ben ook vooral benieuwd naar hoeveel stroom dit vreet, en of je iets hebt gedaan om die hoeveelheid te beperken. Staat alles altijd aan, schakel je bepaalde servers alleen bij gebruik aan (wol, handmatig?).

Verder

531 watt alles staat 24x7 aan de hdd's hebben spin down naar 20 min

[thalantis]

heb je ook zonnepanelen ?

[FireDrunk]

531W poeh, das een dikke 1000,- per jaar aan stroomkosten

[SmiGueL]

FireDrunk schreef op vrijdag 04 oktober 2013 @ 08:22:
531W poeh, das een dikke 1000,- per jaar aan stroomkosten

Ach ja.. als je €10k (random gok, heeft wss meer gekost) alleen al aan hardware hebt draaien dan maakt die €89 aan stroom per maand ook niet echt veel meer uit. Ik ken duurdere hobby's. ^^

*Smi vind de pics hier echt awesome, Kan het momenteel nog doen met een simpel NAS'je, maar ik denk dat ik hier over een paar jaar wel tussen kom te staan.

[ Voor 27% gewijzigd door SmiGueL op 04-10-2013 15:58 ]

[GioStyle]

Dik 500 watt met schijven in spindown? Ik zeg dat moet beter kunnen.

[j.w.k]

GioStyle schreef op vrijdag 04 oktober 2013 @ 10:29:
Dik 500 watt met schijven in spindown? Ik zeg dat moet beter kunnen.

@thalantis nee kom misschien wel met de tijd.

@FireDrunk valt wel mee is nog over te zien.

@SmiGueL bij elkaar heeft klein 10k gekost over de jaren

@GioStyle Ja dat moet zeker kunnen maar heb nu de tijd niet voor om dat te doen.

[ Voor 24% gewijzigd door j.w.k op 04-10-2013 12:46 ]

[Hakker]

Kom ik aanzetten met 100 watt Idle. Tegen de tijd dat er voor 150 TB aan disks inzitten misschien 200

[Goshimaplonker298]

Heb zelf ook iets van 500W idle met mijn setup. Dat is met alle disks in spindown
Meerdere kasten, sas expanders, controllers en zo dat vreet stroom.

[BartNL]

Goshimaplonker298 schreef op zaterdag 05 oktober 2013 @ 02:03:
Heb zelf ook iets van 500W idle met mijn setup. Dat is met alle disks in spindown
Meerdere kasten, sas expanders, controllers en zo dat vreet stroom.

bij mij ergens 200W - 250W. Verschil zit niet in de door jou genoemde componenten want die heb ik ook. Is denk ik meer de '...en zo...' dat stroom vreet

[Q]

Met dit soort setups vind ik discussies over stroom eigenlijk een beetje flauw. Als je geld hebt voor een Porsche, dan heb je ook geld voor het onderhoud.

[BartNL]

Q schreef op zondag 06 oktober 2013 @ 16:54:
Met dit soort setups vind ik discussies over stroom eigenlijk een beetje flauw. Als je geld hebt voor een Porsche, dan heb je ook geld voor het onderhoud.

ben ik het 100% mee oneens. Wanneer je de ontwikkelingen in computer land van de laatste jaren volgt is er qua verbruik juist de meeste vooruitgang. Dat geldt ook voor server hardware. Een server bouwen op basis van oude energie slurpende hardware is m.i. verspilling.

[Dadona]

Ik wil het niet direct op 100% of wat gooien, maar ik vind dat je vooral een kans mist. Juist met grote setups is het interessant om slimme acties uit te halen. Kijk naar Google. Die hebben grote setups en daar gaan ze een discussie over stroom echt niet afdoen als 'een beetje flauw'. Onderhoud doen aan de donkere kant, slimme opslag van de data (langzaam versus snel / spinup versus altijd aan) en het mogelijk maken om een setup uit te laten.
Uiteindelijk kan iedere idioot een 1500W PSU halen, zware 24/7 koeling voor de schijven gooien, .. maar of je dan een efficiënte opstelling hebt? (Efficiënt als in prijs, energie en prestaties?) Dat vind ik juist knap, als iemand, met wat voor opstelling dan ook de zaak hoogst efficiënt weet te maken.

[Verwijderd]

Dat vind ik juist knap, als iemand, met wat voor opstelling dan ook de zaak hoogst efficiënt weet te maken.

Ik had zelf het idee een nieuw 'showoff' topic te maken waarbij de regels iets anders zijn. Met name efficiente setups en andere afwijkende builds kunnen hier in komen. Zo bijvoorbeeld een lijst met verhouding X terabyte beschikbaar tegen X watt idle vermogen; dan kun je de idle watt per terabyte uitrekenen bijvoorbeeld.

Dit topic lijkt soms te gaan wie 'de grootste bobbel in de broek' heeft, dat vind ik zelf jammer. Je kunt denk ik categoriën maken zoals zuinigheid, opslagcapaciteit, bescherming. En daar ranglijsten van maken zoals de top-10 zuinigste setups in absoluut (<10W) en relatief (per TB opslag) en ga zo maar door.

Is hier animo voor?

[sloth]

Zeker

Kan me ook helemaal in de post van Dadona terugvinden.

[Kuusj]

Pff, hoe krijg je zo iets vol?
Een paar backups kunnen nooit meer dan een paar TB's zijn en een thuis-mediacollectie van 150TB lijkt me ook sterk.

Hier ontgaat het me dan ook totaal, maar dat zal gegarandeert aan mij liggen, want 10K uitgeven voor Bragging rights lijkt me sterk.

[GioStyle]

@CiPHER:

Dat lijkt me wel wenselijk, ik denk dat je op die manier toch weer wat meer leven inblaast in dit topic. Ik zie liever 10 posts met huis en tuin-opstellingen waarbij uitgelegd wordt welke componenten zijn gekozen dan 1 uit de kluiten gewassen fileserver.

@kuusj98:

Een blue-ray is ongeveer 50GB, er gaan 20 blue-rays in 1TB. Een leuke filmcollectie en je praat al over tientallen TB's.

[j.w.k]

kuusj98 schreef op zondag 06 oktober 2013 @ 18:57:
Pff, hoe krijg je zo iets vol?
Een paar backups kunnen nooit meer dan een paar TB's zijn en een thuis-mediacollectie van 150TB lijkt me ook sterk.

Hier ontgaat het me dan ook totaal, maar dat zal gegarandeert aan mij liggen, want 10K uitgeven voor Bragging rights lijkt me sterk.

@kuusj98 Een paar Backups van webserver's en database server's zij al meer dan 15tb bij elkaar.
10k uitgeven waarom niet zou nu kunnen volgens jou dan ?
Al rip's van me blue-ray collectie zijn al meer dan 60TB

@CiPHER Goed idee

[ Voor 5% gewijzigd door j.w.k op 06-10-2013 19:32 ]

[Verwijderd]

Verwijderd schreef op zondag 06 oktober 2013 @ 18:40:
[...]

Ik had zelf het idee een nieuw 'showoff' topic te maken waarbij de regels iets anders zijn. Met name efficiente setups en andere afwijkende builds kunnen hier in komen. Zo bijvoorbeeld een lijst met verhouding X terabyte beschikbaar tegen X watt idle vermogen; dan kun je de idle watt per terabyte uitrekenen bijvoorbeeld.

Dit topic lijkt soms te gaan wie 'de grootste bobbel in de broek' heeft, dat vind ik zelf jammer. Je kunt denk ik categoriën maken zoals zuinigheid, opslagcapaciteit, bescherming. En daar ranglijsten van maken zoals de top-10 zuinigste setups in absoluut (<10W) en relatief (per TB opslag) en ga zo maar door.

Is hier animo voor?

Top! Doen, dat stimuleert innovatie! Alleen ruwe TB is niet meer van deze tijd.

[ppl]

Verwijderd schreef op zondag 06 oktober 2013 @ 18:40:
Dit topic lijkt soms te gaan wie 'de grootste bobbel in de broek' heeft, dat vind ik zelf jammer. Je kunt denk ik categoriën maken zoals zuinigheid, opslagcapaciteit, bescherming. En daar ranglijsten van maken zoals de top-10 zuinigste setups in absoluut (<10W) en relatief (per TB opslag) en ga zo maar door.

Dan zou ik toch eerst eens het woordje "showoff" gaan opzoeken in een woordenboek. Dat bobbelverhaal is inherent aan een showoff topic omdat dit nou eenmaal exact de betekenis is van showoff: het is opschepperij.

Wat je meer wil is een "show and tell" waarbij je je setup laat zien en er tekst en uitleg bij geeft van voornamelijk het waarom (wat heb je gemaakt, waarom heb je voor bepaalde dingen gekozen). Het enige wat je dan zou moeten doen is een inhoudsopgave maken met daarin links naar posts waar mensen dingen uitleggen. Als je dat dan opdeelt in categorieën (zuinigheid, veel opslag, etc.) krijg je een topic dat veel minder "showoff" is. Als je ranglijsten (top 10, top 5, top 30) blijft maken zal je altijd de nadruk krijgen op dat "showoff". Je kunt je alleen afvragen of je dit soort dingen niet ook in de diverse topics over diy NAS, zuinige server, enz. kunt doen ipv hiervoor een apart topic maken (alternatief: vanuit die topics linken naar dit nieuwe topic).

[jacovn]

Stroomgebruik is inderdaad een interessante optie.
Geef maar aan wat er gemeten moet worden. Ik heb een apc ups die verbruik weergeeft, en ook wel zo een tussenzet meter

[Q]

Verwijderd schreef op zondag 06 oktober 2013 @ 18:40:
[...]

Ik had zelf het idee een nieuw 'showoff' topic te maken waarbij de regels iets anders zijn. Met name efficiente setups en andere afwijkende builds kunnen hier in komen. Zo bijvoorbeeld een lijst met verhouding X terabyte beschikbaar tegen X watt idle vermogen; dan kun je de idle watt per terabyte uitrekenen bijvoorbeeld.

Dit topic lijkt soms te gaan wie 'de grootste bobbel in de broek' heeft, dat vind ik zelf jammer. Je kunt denk ik categoriën maken zoals zuinigheid, opslagcapaciteit, bescherming. En daar ranglijsten van maken zoals de top-10 zuinigste setups in absoluut (<10W) en relatief (per TB opslag) en ga zo maar door.

Is hier animo voor?

Ik vind zuinig niet zo sexy(*). Ik vind het penis-meten in dit topic eigenlijk enorm meevallen. Misschien dat mijn Porche-analogy niet zo goed valt.

Er is trouwens al een topic voor zuinige servers?
Wat voor 'afwijkende builds' zouden dan nog meer behandeld moeten worden?

(*) Mijn server staat hooguit een paar uur per week aan als hij nodig is, via wake-on-lan.

Vanuit technisch oogpunt is het gerust wel aardig om rekening te houden met het verbruik, we zijn allemaal niet gek. Maar we weten allemaal dat met grote storage die 27/7 doet ook de stroom rekening wat groter zal uitvallen, dat hoort er bij.

Die 500+ watt idle die ik voorbij zag komen is wel wat excessief ik, als dat naar ~250 zou gaan, dus 250 watt winst, bij een kwh prijs van 22 cent zou je dan 450+ euro per jaar besparen. Over een periode van 3 jaar kun je dan best wat geld besparen en dat kan wel interessant zijn. Maar als je meerdere losse systemen hebt wordt dat heel moeilijk.

[ Voor 28% gewijzigd door Q op 06-10-2013 23:14 ]

[thalantis]

ik heb de idle van mijn nieuwe server eindelijk ook even gemeten gister, 28 disken in spindown gebruikt hij 105 watt, vind ik netjes

[Q]

Dat is zeker netjes. Ik kan geen spin down gebruiken en dan doe ik met 20 disks 145 watt idle. Dit is met 4+ jaar oude hardware.

[thalantis]

20 disken die gewoon draaien en dan 145watt idle vind ik ook netjes.
als mijn 28 disken draaien dan gebruikt het systeem 100 watt meer.

[Pantagruel]

Q schreef op zondag 06 oktober 2013 @ 22:50:
[...]
Ik vind zuinig niet zo sexy(*). Ik vind het penis-meten in dit topic eigenlijk enorm meevallen. Misschien dat mijn Porche-analogy niet zo goed valt.

Er is trouwens al een topic voor zuinige servers?
Wat voor 'afwijkende builds' zouden dan nog meer behandeld moeten worden?

(*) Mijn server staat hooguit een paar uur per week aan als hij nodig is, via wake-on-lan.

[off-topic]
Ik zie t t-shirt al voor me " My e-penis is larger than yours, go s*ck it!'
[/off-topic]

Ach de lengte van de e-penis is met 10x4TiB makkelijk te verlengen, wel oppassen als je er mee gaat rondzwaaien . Daarbij komt dat de info uit dit topic en distro's als ZFSguru/FreeNAS bijna iedereen wel een storage bak in elkaar kan prutsen en beheren.

Analogieën die de lading dekken zijn niet altijd even makkelijk te bedenken, je weet natuurlijk wel dat een extra machine extra verbruik met zich meebrengt. Vervolgens is het aan de eigenaar of er voor een meer of minder zuinige setup gekozen wordt, met de hardware keuze kun je best wel wat bereiken.

Voor een aantal van ons zal zuinigheid minder relevant zijn omdat ze idd gebruik maken van WoL om de server aan te schoppen. Ik "bezondig" me hier ook aan, maar aangezien de server 3 a 4x per week aangaat voor een uur of 2 a 3 kan ik best leven met een iets minder zuinige setup.

Er is idd al een topic voor zuinige servers

En terecht de vraag, welke 'afwijkende builds'. Hebben we t puur over de hardware kant van afwijkend of komen de afwijkende gebruiksdoelen en hoe die bereikt zijn ook in aanmerking voor het bereiken van de show-off lijst.

[Verwijderd]

Ik dacht aan de volgende ranglijsten:

* Ranglijst bruikbare opslagcapaciteit (effectieve opslagruimte exclusief redundancy)
100GB RAID0 -> Windows
90GB RAID5 -> Windows
60GB RAID-Z2 -> FreeBSD

* Ranglijst zuinige NAS (hoeveelheid GB dat je per watt idle beschikbaar kunt houden; met/zonder spindown)
100TB @ 100W = 1000GB per watt met spindown, zonder spindown @ 200W = 500GB per watt
50TB @ 50W = 1000GB per watt met spindown
20TB @ 40W = 500GB per watt met spindown

* Ranglijst compacte NAS (hoeveel opslag kun je kwijt per kubieke decimeter?)
20TB in Mini-ITX behuizing @ 2,25 dm³

* Ranglijst beste bescherming (redundancy overhead)
3x 11 disks in RAID-Z3 = min 3 max 9 gefaalde disks zonder dataverlies
2x 7 disks in RAID-Z3 = min 3 max 6 gefaalde disks zonder dataverlies
2x 10 disks in RAID-Z2 = min 2 max 4 gefaalde disks zonder dataverlies

* Ranglijst mooiste NAS (uiterlijk van de behuizing)
build van user X (foto's)
build van user Y (foto's)

* Ranglijst speciale NAS (alles wat afwijkend/onconventioneel is)
speciale build van user X met heleboel 2,5" SSDs
speciale build van user Y op basis van ARM chip en Linux
speciale build van user Z helemaal gratis allemaal 2e hands afdankhardware

Ik noem maar wat voorbeelden; zodat jullie een idee krijgen. Maar ik denk dat je zo een leuker en meer divers topic krijgt.

Bovendien kun je reguliere lijsten maken waar gewoon iedereen in mag die dat wilt. Kun je ook makkelijk zien welke hardware en welke software mensen zoal gebruiken. Zonder dat het gelijk een hele speciale 'showoff' NAS build hoeft te zijn. De echt grote en speciale builds staan in hun eigen ranglijst en krijgen dus sowieso al genoeg aandacht. Maar op deze manier wordt die aandacht niet enkel gegeven in termen van méér en nog eens méér, maar wordt er ook op andere kwaliteiten gelet. Bijvoorbeeld de zuinigste of meest compacte NAS bouwen, of juist zo weinig geld uitgeven voor een zo groot resultaat; ik noem maar wat.

Wat vinden jullie?

[Verwijderd]

@CiPHER, I agree... Het is nu teveel van hetzelfde...

[ppl]

I disagree volledig want die nieuwe opzet is niet anders als het "show je server" topic in de HK. Die staat niet voor niets in de HK. Als je er een waardevol topic van wil maken dan moet men uitleggen waarom ze voor bepaalde zaken hebben gekozen en dan moet er ook ruimte zijn voor discussie/vragen voor dat soort zaken. Zonder die discussie is het niet meer dan een opsomtopic (en dat is HK voer). Dan heb ik liever dit topic waar er discussie is en waar je kunt lezen waar mensen hun onderdelen vandaan halen. Heb ik als lezer meer aan.

[DYX]

Ik ben het er ook wel mee eens dat zuinigheid een keuze is van de bouwer. Persoonlijk heb ik ook wel afwegingen gedaan om bv voor een cpu met 90w tdw te kiezen en niet voor 1 met 130w tdw. In mijn geval is dat al zuinig. Een ZFS server die 20w gebruikt en 10TB heeft, is bv voor mij persoonlijk niet erg interessant.
Dit topic is voor mij interessant voor de grotere machines, oftewel 50TB+. Er kan dan wel gevraagd/gediscussieerd worden over het energie verbruik, maar vaak met zulke bakken is het energieverbruik voor de bouwer (en persoonlijk voor mij) minder interessant dan bijvoorbeeld de gebruikte SAS expander of 10-40Gbit netwerkverbinding. Maar dit is mijn persoonlijke mening/interesse

[Q]

ppl schreef op maandag 07 oktober 2013 @ 19:46:
I disagree volledig want die nieuwe opzet is niet anders als het "show je server" topic in de HK. Die staat niet voor niets in de HK. Als je er een waardevol topic van wil maken dan moet men uitleggen waarom ze voor bepaalde zaken hebben gekozen en dan moet er ook ruimte zijn voor discussie/vragen voor dat soort zaken. Zonder die discussie is het niet meer dan een opsomtopic (en dat is HK voer). Dan heb ik liever dit topic waar er discussie is en waar je kunt lezen waar mensen hun onderdelen vandaan halen. Heb ik als lezer meer aan.

Dit is precies de reden waarom dit topic is opgezet. Dit topic is een discusie hoekje rond het thema 'grote storage'. De lijst met builds is een leuk ranglijstje, wat het iets meer sexy maakt, maar dat is niet de essentie. Helaas zijn sommige posts met servers wat karig, maar over het algemeen denk ik dat iedereen wel wat kan opsteken van de builds hier.

Het probleem van al deze lijstjes die worden geopperd is niet meer dan dat: lijstjes. Maar wat is echt interessant voor mensen? Of je moet een speciaal topic gaan starten voor 'speciale servers' die onder de schijnwerper mogen, maar wat zijn dan in vredesnaam je criteria?

Dit topic focussed op servers met veel storage. Een ander topic richt zich op zuinige servers. Wat heb je dan nog meer wat interessant is?

[brederodekater]

De grens moet gewoon omhoog om het speciaal te houden. 10TB+ systemen komen tegenwoordig ook in het gewone DIY RAID NAS topic voor.

Ik zou zeggen, laten we met de tijd mee gaan; gooi de grens omhoog naar 50TB+ en schoon de ranking op

[BartNL]

zou wel ruimte laten voor builds met minimaal 10 (of andere ondergrens) schijven onafhankelijk van het aantal terabytes. Bijvoorbeeld 16x 1TB is interessanter dan 4x 4TB.

[Q]

BartNL schreef op dinsdag 08 oktober 2013 @ 11:21:
zou wel ruimte laten voor builds met minimaal 10 (of andere ondergrens) schijven onafhankelijk van het aantal terabytes. Bijvoorbeeld 16x 1TB is interessanter dan 4x 4TB.

Dat is precies waar ik zelf aan dacht, maar met minimaal 10 disks wordt de lijst misschien met 8 stuks opgeschoond. Dat kan me eigenlijk weinig boeien.

De vraag is in hoeverre de grootte van de lijst zo spannend is eigenlijk. Als je meer geeft om echt dikke storage, scrol gewoon niet zo ver naar beneden.

Ik ben mij er terdege van bewust dat mijn eigen build met 18 TB ook uit de lijst zou verdwijnen als de lat op zeg 20+ TB wordt gezet en dat maakt mij op zich niet uit, maar ik ben van mening dat ik best een aardige build heb en dat het kind zo met het badwater wordt weggegooid.

Veel belangrijker: wat bereiken we met het wat korter maken van de lijst: dat we bits besparen? Ik ben voor opruimen, maar ik zie niet zoveel rommel. Wat ik wel interessant vindt is de actualiteit: hoeveel builds zijn nog in de staat zoals ze in de lijst staan.

[ Voor 31% gewijzigd door Q op 08-10-2013 15:35 ]

[thalantis]

mijn build die in de lijst staat is niet meer actueel, andere kast e.d.
zie ook thalantis in "Storage showoff topic - 10+ TB storage systems"

[ppl]

Q schreef op maandag 07 oktober 2013 @ 20:38:
Dit is precies de reden waarom dit topic is opgezet. Dit topic is een discusie hoekje rond het thema 'grote storage'. De lijst met builds is een leuk ranglijstje, wat het iets meer sexy maakt, maar dat is niet de essentie.

Dat weet ik maar de klacht is nu juist dat dit in de loop der tijd is veranderd in een showoff-only topic, dus zonder die discussie. Die nieuwe opzet zal dat niet veranderen want zoals je het zelf al mooi verhaalt:

Het probleem van al deze lijstjes die worden geopperd is niet meer dan dat: lijstjes.

Dit topic focussed op servers met veel storage. Een ander topic richt zich op zuinige servers. Wat heb je dan nog meer wat interessant is?

Vraag ik me ook af. Misschien dit topic omdopen tot iets van een speciale storage builds ipv een 10+ TB storage system topic. Als ik het hier zo lees dan wil men builds die technisch interessant in elkaar steken, niet builds die een x aantal TB aan storage hebben (mik er genoeg disks in en je voldoet aan de hoeveel TB's, dat is niet moeilijk en dan ook niet interessant).

[Q]

Hoe meer TB hoe groter de uitdaging omdat je zelfs met 4TB schijven er veel nodig hebt. No offence naar j.w.k. maar zijn post zorgt er in de huidige staat voor dat zijn systemen niet in de lijst worden opgenomen. Alhoewel ik de build waardeer wordt er niets geschreven over de motivaties en de keuzes die zijn gemaakt, en wat hebben mensen er dan aan? Ik ga niet zeggen dat ik daar altijd heel consequent mee ben geweest, dan zou ik de posts nog eens na moeten lopen.

Ik wacht met smart op de eerste gek die een echt storage cluster opbouwt. Of dat iemand iets beschrijft hoe je met BSD of Linux en goedkope 2e hands FC controllers en switches ook vette storage aan elkaar kan knopen. Etc.

[FireDrunk]

Oh lol, ik heb net Quad Port FC kaartjes gekocht en zit te denken om een ZFS/BSD HAST/CARP clustertje te gaan bouwen voor ofwel Hyper-V / ESXi.

Dat is een beetje wat je bedoelt?

(word alleen waarschijnlijk SSD only, dus ik word lijstduwer ipv lijsttrekker )

[Q]

Dat is al heel leuk, maar een cluster als in de trant van dat je schaalt over machines, niet meer over disks. Ceph, Lustre, etc.

[Verwijderd]

Q, is dat niet de toekomst, kunnen schalen over meerdere systemen? Dat is nu net het probleem met Raid en de reden waarom ik ben overgestapt op Ceph.

Ja, je levert er ten opzichte van Raid 5 wel een extra stukje netto storage voor in, daar het gelijk staat aan minimaal Raid 1, want je kiest voor minimaal 1 kopie van elk bestand, maar meer kan ook. Je krijgt er ook wat voor terug. Ik kan er een willekeurig systeem compleet uithalen, zonder dat de data onbereikbaar wordt. Zolang de ruimte van 1 systeem vrij beschikbaar is over de andere systemen, balanceert Ceph de verloren kopieën door het eruit halen van 1 systeem.

Niet genoeg TB per systeem (bruto: 32TB, netto: 16TB) om in je lijstje te komen, maar in totale TB aan opslag (bruto: 160TB, netto: 80TB) is het niet verkeerd. Maar daar gaat het mij uiteindelijk niet om. Ik wil dat mijn data veilig opgeslagen ligt en niet bij het uitvallen van 1 disk of 1 systeem niet meer beschikbaar is (of zelfs verloren is).

#	Product
5	Intel Xeon E3-1230 V3 Boxed
5	Supermicro X10SL7-F
40	Western Digital Red WD40EFRX, 4TB
5	Intel Ethernet Server Adapter I350-T4
5	Ri-vier 2U 8bay chassis with SAS backplane - S1-06A
5	Noctua NH-L12
5	Kingston ValueRAM KVR16E11K4/32
5	Samsung 840 series Pro 128GB
Bekijk collectie

De Intel I350-T4 zorg voor 4x1Gbit netwerkaansluiting, welke is ingezet als de backbone voor Ceph. Deze 4 ethernetkabels zijn voor alle servers verbonden met een switch. Dit zorgt ervoor dat Ceph het repliceren van data met 400Mb/sec over een eigen netwerk (vlan) kan doen.

De 2x1Gbit, welke op het moederbord aanwezig zijn, zijn verbonden met een andere switch. Via deze verbinding is alle data beschikbaar voor de clients.

Het geheel draait op Ubuntu Linux 12.04 LTS en Ceph.

[ Voor 5% gewijzigd door Verwijderd op 11-10-2013 07:32 ]

[Q]

Verwijderd schreef op vrijdag 11 oktober 2013 @ 07:21:
Q, is dat niet de toekomst, kunnen schalen over meerdere systemen? Dat is nu net het probleem met Raid en de reden waarom ik ben overgestapt op Ceph.

Is dit al in bedrijf? Dat is echt heel gaaf. De grens is nog steeds 10TB per systeem, maar in dit geval is die grens niet relevant. Dit is typisch iets gaafs wat nog - volgens mij - niemand - heeft draaien. Heb je ook foto's? Omdat het om meerdere systemen gaat, zou je van 1 systeem dat tabelletje willen invullen?

- Hoe ontsluit je de data? NFS, SAMBA, iSCSI etc?

[ Voor 10% gewijzigd door Q op 11-10-2013 09:06 ]

[Q]

j.w.k schreef op maandag 30 september 2013 @ 21:26:

Naar aanleiding van mijn opmerking over j.k.w.'s post dat deze in mijn ogen niet 'tabel waardig is' voor andere gebruikers omdat keuzes en motivaties niet helder worden beschreven, heeft j.k.w. zijn hele post maar weg gehaald.

Ik had liever gezien dat moeite was gestoken om uit te leggen waarom bepaalde keuzes zijn gemaakt voor hardware en software, etc, maar dat was blijkbaar te veel moeite. Ik wilde nog even nalezen wat er precies in stond, maar dat gaat niet meer. Jammer maar helaas.

[]Byte[]

[b]HyperBart schreef op zaterdag 22 september 2012 @ 20:03:
[...]

* ]Byte[ doet ff
En ik zat me daar vorig jaar te ... om mijn dual NIC er in te prutsen.
Had dus ook gewoon het hele bord er ff uit kunnen halen....
Wel zo makkelijk.
Ik heb er mijn pfSense op draaien (in CARP-cluster. Backup-node draait op ESX - soon to be KVM)
tnx voor de tip. (als ik binnenkort mijn memory ga upgraden )

[HyperBart]

Ik lees nu per toeval nog eens in dit topic en kom je post tegen als laatste.

Ik heb mijn N40L niet meer (jammer, want ik vond het echt een geweldig high dense bakje voor relatief weinig geld met deftige kwaliteit hardware). Ik heb alles geconsolideerd in mijn SuperMicro. Moet nog wel eens een SSD bijkopen zodat mijn disks in spindown kunnen, scheelt makkelijk 30W aan verbruik.

Het uithalen van dat moederbord was ook wel wat prutswerk hoor. Die SAS kabel loskrijgen, alle kabeltjes van USB en andere prullaria was niet makkelijk.

[ Voor 16% gewijzigd door HyperBart op 11-10-2013 19:50 ]

[ppl]

Verwijderd schreef op vrijdag 11 oktober 2013 @ 07:21:
Q, is dat niet de toekomst, kunnen schalen over meerdere systemen? Dat is nu net het probleem met Raid en de reden waarom ik ben overgestapt op Ceph.

Nee. Het kon al een tijdje, het wordt alleen beter maar dat is niet de hoofdreden waarom het niet per definitie de toekomst is. Er zijn verschillende soorten storage vormen die ieder zo z'n eigen nut heeft. De organisatie waar ik werk is inmiddels in de praktijk erachter gekomen waarom dat zo is. Niet alle data is hetzelfde en kun je dan ook niet op hetzelfde systeem zetten. Inmiddels hebben ze van deze dure les geleerd en is de storage omgeving uit elkaar getrokken naar een aantal aparte omgevingen.

Overigens is RAID iets totaal anders dan Ceph. RAID is er alleen voor het opvangen van een defecte disk (of meerdere defecte disks) om te voorkomen dat de machine bij een defect meteen buiten gebruik is. Dat wil je natuurlijk ook wel bij Ceph gebruiken. Het is altijd gedoe als iets stuk gaat dus dat wil je zoveel mogelijk opvangen. Wat RAID echter niet doet is het omvallen van de volledige machine opvangen. Ceph kan dat weer wel. Echter zul je ook hier moeten opletten. Brand in een gebouw waar je gehele storage omgeving staat zal Ceph niet opvangen, een goed ontworpen storage omgeving echter wel.

Ik denk dat je hier ook goed moet kijken of 1 grote storage omgeving wel wenselijk is en je niet naar bijv. een aantal kleinere moet gaan. Kortom, in hoeverre wil je schalen en moet je dan nog wel iets als Ceph gaan toepassen? Wat als er softwarematig iets fout gaat of een storing optreedt? Dan hebben we het niet over een paar clients, paar TB, etc. die hinder ondervinden maar ineens over een gigantische omgeving (risicomanagement is dus niet onbelangrijk).

Ik snap dat de meesten hier alleen voor thuis een opslagomgeving opzetten voor dingen als film en muziek maar zijn er hier ook mensen die wat meer hebben nagedacht over de risico's als er iets stuk gaat aan hun omgeving (hardware, software)? Hoe vang je die risico's op? Je storage omgeving opdelen in kleinere segmenten?

[Q]

@PPL dat is wel een leuk onderwerp. De grote vraag is tegen welke risico's je bescherming zoekt. Voor thuis accepteer ik het dat ik alles kwijt ben bij brand, of als de machine opeens de geest geeft. Die risico's zijn aanwezig, maar niet heel groot (alhoewel ik ooit een fikkende voeding had in mijn NAS (el-cheapo voeding)).

Een risico dat wel aardig groot is, is disk uitval. De ironie is dat ik dit zelf na 4+ jaar met 20 schijven nog niet heb meegemaakt. Maar op mijn werk met 50+ disks gaat er zeker 1 per 2 maanden, maar dat is een 27/4 setting.

Zoals ik het begrijp is het aardige van CEPH dat je dus niet meer aan RAID hoeft. Je koopt gewoon een doos met veel harde schijven, maar RAID is niet nodig, het mogen gewoon allemaal losse disks zijn. Dat maakt het design lekker simpel en scheelt ook weer in de kosten.

Ik ben benieuwd wat precies de ervaring was binnen je bedrijf. Bij het bedrijf waar ik werk hebben we ook 1 groot SAN (en een backup SAN). Mocht deze ooit uitvallen dan zal dat forse gevolgen hebben omdat bijna alles op het SAN draait. Toch blijft een SAN handig voor dingen als vmotion en zo. Dus wat doe je dan, meerdere SANs neerzetten? Op local storage draaien en op applicatie level failover doen over meerdere hosts?

Voor thuis geldt denk ik toch dat de meeste mensen hier media opslaan en als dat wegvalt, dan is dat toch een geaccepteerd risico, hoe zonde het ook is. Zolang je privé foto's maar niet verloren gaan. Ik meen dat overigens een enkeling wel degelijk twee servers heeft staan waarbij de een een backup is van de ander. Dat is vooral een keuze hoeveel waarde je aan de data hecht.

Maar een cluster bouwen is wel heel erg cool.

[ Voor 14% gewijzigd door Q op 12-10-2013 23:22 ]

[Ijstheefles]

Misschien inspiratie materiaal;

http://www.reddit.com/r/D...byte_full_setup_detailed/

bijna 1 petabyte ^_~

[Q]

Ijstheefles schreef op dinsdag 12 november 2013 @ 20:20:
Misschien inspiratie materiaal;

http://www.reddit.com/r/D...byte_full_setup_detailed/

bijna 1 petabyte ^_~

Het getal is wel gaaf maar als ik de post lees dan val ik niet echt van mijn stoel. Iemand die gewoon veel geld uit geeft en zijn data over storage dozen verdeeld alsof het portable usb drives zijn. Ik zou wel willen dat ik zo'n hobby kon bekostigen.

[Ettepet]

freak1 schreef op dinsdag 26 maart 2013 @ 11:10:
[...]

Ben mijn DS3612xs ook weer aan het uitbreiden:

System specifications
Component	Value
Case	Synology DS3612xs + 2 X DX1211
CPU	Intel Core I5 (bromolow)
RAM	8 GB
Motherboard	Synology made
Operating system	Synology Custom Linux Distro version 4.3
Controller	Custom
Hard drive	12X Seagate 4TB ST4000DM000 14x Seagate 3TB ST3000DM001
SSD	8x Samsung SSD 830 256GB
RAID array configuration	2 X 12 disk Synology Hybrid Raid (RAID 6 variant) 2x 3TB HD (Raid 0), tijdelijke opslag 6x SSD (Raid 0), downloaden / uitpakken 2x SSD Synology cache
Netto storage capacity	78 TB
Network	4 X 1gbit in LAG, 2 Gbit effectief
UPS	Ja, APC 650
Filesystem	EXT 4
Idle power, max power	nog niet gemeten/uitgezocht

De inhoud van de basis-unit (DS3612xs zelf) is bedoeld voor tijdelijke zaken: 2x 3T HD en 8x SSD. Hier kan ik eventueel mijn 8x 3TB ST3000DM001's uit mijn DS1812+ in doen, waardoor ik die met circa 500MB/s kan laten kopieëren van/naar de DX1211's.

Ik had de 12x Seagate 4TB ST4000DM000's eergisteren besteld bij AMMS, hij kwam ze persoonlijk twee uurt geleden brengen (eerste kerstdag! ).

AMMS is importeur van Seagate, waardoor ze met pallets tegelijk worden aangeleverd. Dit neemt (verwacht ik) een belangrijke oorzaak weg van (meestal onzichtbare) defecten tijdens vervoer/verzenden. Als je veel hard disks tegelijk besteld is het rechtstreeks kopen bij zo'n instantie (welk merk hard disk dan ook) potentieel nuttig, vooral als ze in de buurt zitten (zoals in dit geval). Wie de importeur van Western Digital / Hitachi is en of je daar ook rechtstreeks bij kunt kopen weet ik niet.

De komende tijd heb ik weer een hoop te doen want veel is ongeordend opgeslagen nu (o.a. op 4x Seagate 3TB ST3000DM001's die ik in een Sharkoon Quattro als forse floppies gebruik.

[Q]

Ettepet schreef op woensdag 25 december 2013 @ 13:32:
[...]

Ben mijn DS3612xs ook weer aan het uitbreiden:

Gave setup, heb je ook wat foto's er bij? Gooi ik 'm in de lijst.

[ Voor 82% gewijzigd door Q op 25-12-2013 16:41 ]

[Ettepet]

Q schreef op woensdag 25 december 2013 @ 16:41:
Gave setup, heb je ook wat foto's er bij? Gooi ik 'm in de lijst.

Hmm... Had nog geen recente foto, maar met een Asus AC68 router (sprieten alle kanten op) bovenop de DS1812+, bovenop mijn DS3612xs + 2x DX1211 ga ik er denk ik toch wel eentje maken. Duurt een paar dagen, want de 2e DX1211 is nog onderweg (Bol.com voor 849 euro).

Gave set-up inderdaad, ik heb echt gekocht wat ik wilde en niet domweg units gevuld met schijven. Dit ding kan met gemak 24 uur non-stop 17MB/s downloaden en tegelijkertijd uitpakken/verifiëren zonder in te zakken (performance). Je kunt veel meer met die units dan de specs aangeven, als je durft uit te proberen.

[ Voor 26% gewijzigd door Ettepet op 25-12-2013 22:01 ]

[BartNL]

Ettepet schreef op woensdag 25 december 2013 @ 21:55:
[...]
Gave set-up inderdaad, ik heb echt gekocht wat ik wilde en niet domweg units gevuld met schijven. Dit ding kan met gemak 24 uur non-stop 17MB/s downloaden en tegelijkertijd uitpakken/verifiëren zonder in te zakken (performance). Je kunt veel meer met die units dan de specs aangeven, als je durft uit te proberen.

was voor mij ook overweging en waarschijnlijk omdat ik niet durf te proberen voor "veilige" (in de zin van mij bekende) windows setup gegaan.
Bij 24/7 gebruik en continue download zullen de Seagates wel flink er van langs krijgen. Hier recent twee 3TB exemplaren die bad sectors begonnen te ontwikkelen. Bij mij hebben deze ongeveer 1000 uur gedraaid. Wanneer je 24/7 draait is dat binnen een jaar. Draai je zo intensief of is het af een toe een bulk download en wat is je ervaring met de Seagates tot nu toe? Zelf ben ik vooral over de betrouwbaarheid van de 4TB exemplaren tot nu toe aangenaam verrast (0 rma en 0 uitval tot nu toe) t.o.v. de 3TB exemplaren die ook al prima voldoen.

[nero355]

BartNL schreef op woensdag 25 december 2013 @ 22:31:
Zelf ben ik vooral over de betrouwbaarheid van de 4TB exemplaren tot nu toe aangenaam verrast (0 rma en 0 uitval tot nu toe) t.o.v. de 3TB exemplaren die ook al prima voldoen.

Welke 4 TB versie van Seagate gebruik je dan en in welke omstandigheden/hoe lang en zo ??

[BartNL]

nero355 schreef op woensdag 25 december 2013 @ 22:36:
[...]

Welke 4 TB versie van Seagate gebruik je dan en in welke omstandigheden/hoe lang en zo ??

zie http://gathering.tweakers...message/38699799#38699799 voor de omstandigheden. Type 4TB schijf is de Seagate ST4000DM000. Eerste 6 zitten er nu denk ik driekwart jaar in.

[ Voor 7% gewijzigd door BartNL op 25-12-2013 23:08 ]

[Ettepet]

BartNL schreef op woensdag 25 december 2013 @ 22:31:
Bij 24/7 gebruik en continue download zullen de Seagates wel flink er van langs krijgen. Hier recent twee 3TB exemplaren die bad sectors begonnen te ontwikkelen. Bij mij hebben deze ongeveer 1000 uur gedraaid. Wanneer je 24/7 draait is dat binnen een jaar. Draai je zo intensief of is het af een toe een bulk download en wat is je ervaring met de Seagates tot nu toe? Zelf ben ik vooral over de betrouwbaarheid van de 4TB exemplaren tot nu toe aangenaam verrast (0 rma en 0 uitval tot nu toe) t.o.v. de 3TB exemplaren die ook al prima voldoen.

Draait bij mij nu misschien 300-400 uur in anderhalf jaar tijd. En dat is vooral de hoofdunit, de DX1211 gaat al gauw in slaapstand (deep sleep) als je daar niks mee doet. Download ook vaak via de pc als het een beperkte hoeveelheid betreft, en kijk recentelijk films via mijn tablet of via mijn Oppo 105 (met lokale schijf).

Er is gewoon niet zoveel interessants te downloaden, gemiddeld gesproken, in elk geval niet als je een snel internetabonnement hebt. Ik gebruik mijn opslag als een database/bibliotheek van films, muziek enz. Dingen die ik wil gaan zien houd ik vaak al apart. Het is voor mij net als met boeken, eens in de zoveel tijd wil je bepaalde dingen nog eens lezen of kom je aan films toe die je vooruitgeschoven had.

[psy]

Verwijderd schreef op vrijdag 11 oktober 2013 @ 07:21:
Q, is dat niet de toekomst, kunnen schalen over meerdere systemen? Dat is nu net het probleem met Raid en de reden waarom ik ben overgestapt op Ceph.

Ja, je levert er ten opzichte van Raid 5 wel een extra stukje netto storage voor in, daar het gelijk staat aan minimaal Raid 1, want je kiest voor minimaal 1 kopie van elk bestand, maar meer kan ook. Je krijgt er ook wat voor terug. Ik kan er een willekeurig systeem compleet uithalen, zonder dat de data onbereikbaar wordt. Zolang de ruimte van 1 systeem vrij beschikbaar is over de andere systemen, balanceert Ceph de verloren kopieën door het eruit halen van 1 systeem.

Dat hele CEFS had ik nog niet van gehoord maar dit kan toch gewoon met DFS?
Gebruik ik al jaren thuis zit standaard in Windows Server. Als hier een machine thuis eruitknalt op wat voor manier dan ook wordt automatisch overgeschakeld naar de 2e DFS share waar ook alles staat.

Of denk ik nu te simpel?

[Q]

Ettepet schreef op woensdag 25 december 2013 @ 21:55:
[...]

Hmm... Had nog geen recente foto, maar met een Asus AC68 router (sprieten alle kanten op) bovenop de DS1812+, bovenop mijn DS3612xs + 2x DX1211 ga ik er denk ik toch wel eentje maken. Duurt een paar dagen, want de 2e DX1211 is nog onderweg (Bol.com voor 849 euro).

Gave set-up inderdaad, ik heb echt gekocht wat ik wilde en niet domweg units gevuld met schijven. Dit ding kan met gemak 24 uur non-stop 17MB/s downloaden en tegelijkertijd uitpakken/verifiëren zonder in te zakken (performance). Je kunt veel meer met die units dan de specs aangeven, als je durft uit te proberen.

Foto's: leuker inderdaad om de final setup er even op te zetten.

Dat is zeker een handige feature van deze NAS. Maar dat moet je 'm wel modden of zijn dit standaard synology packages?

psy schreef op donderdag 26 december 2013 @ 00:09:
[...]


Dat hele CEFS had ik nog niet van gehoord maar dit kan toch gewoon met DFS?
Gebruik ik al jaren thuis zit standaard in Windows Server. Als hier een machine thuis eruitknalt op wat voor manier dan ook wordt automatisch overgeschakeld naar de 2e DFS share waar ook alles staat.

Of denk ik nu te simpel?

Ceph is niet te vergelijken met DFS. DFS is alleen maar storage replicatie, maar meer een soort RAID1. CEPH kan een soort van RAID5 of RAID6 doen over X servers. Naar mijn weten kan dit met DFS niet.

[ Voor 29% gewijzigd door Q op 26-12-2013 14:04 ]

[Ettepet]

Q schreef op donderdag 26 december 2013 @ 14:01:
Dat is zeker een handige feature van deze NAS. Maar dat moet je 'm wel modden of zijn dit standaard synology packages?

Standaard features. Een hoop wordt niet geadverteerd.

Ik heb vanochtend bijvoorbeeld de 12x 4TB ingebouwd in mijn (momenteel) enige DX1211, i.p.v. de 12x 3TB die erin zat. Ik zet het apparaat aan en hij klaagt niet eens over de missende diskgroep. Dit betekent dat je makkelijk 3 of 4 DX1211's zou kunnen kopen en pas aansluiten als je die nodig hebt (officieel kunnen er maximaal 2 worden aangesloten). Vermoedelijk werkt dat verwisselen van units alleen als de DS3612xs daarbij uit staat.

Dit is (samen met "Deep Sleep") een van de redenen dat ik een schijfgroep niet over meerdere units verdeel.

De basis-units zijn anders dan de uitbreidings-units, ook met hoe data opgeslagen wordt***. Je kunt een blok met schijven dus niet zomaar uitwisselen tussen deze units (basis <-> uitbreiding). Wel kun je (binnen grenzen) een groep harddisks verhuizen tussen verschillend type basis-units, of wellicht (nog niet geprobeerd), verschillend type uitbreidings-units. Genoemde grenzen kun je vinden op de Synology-site en hebben vooral te maken met teveel van elkaar verschillende architecturen en het gebruiken van dezelfde DSM-versie.

***met name vanwege een extra systeempartitie die met Raid 1 op alle schijven in de basis-unit wordt gezet.

Als je van usenet-news download merk je al gauw dat tijdens het verifieren/repareren/uitpakken de download inzakt. Dit komt vaak niet (alleen) door een trage processor maar ook doordat de schijf waarop je dit doet (zwaar) overbelast wordt. Het downloaden moet domweg wachten totdat het weer bij de schijf kan. Door 1 of 2 SSD's in Raid 0 te gebruiken en voldoende RAM te hebben is deze bottleneck weg. Uitpakken doe je dan naar (bijvoorbeeld) 2 harddisks, ook in Raid 0. Ik kocht wat meer SSD's omdat grotere SSD's toendertijd redelijk prijzig waren en ik ook de maximum transportsnelheden binnen de DS3612xs wilde bepalen.

[ Voor 7% gewijzigd door Ettepet op 26-12-2013 15:10 ]

[Q]

Ettepet schreef op donderdag 26 december 2013 @ 14:57:
[...]

Standaard features. Een hoop wordt niet geadverteerd.

....

Gaaf, scheelt wel een hoop gedonder met zelfbouw en je hebt support van Synology. Ik zal het nog even opzoeken, het enige nadeel is de prijs (ik zie 2K zonder disks), maar je krijgt er een hoop gemak en features voor terug.

Ik zal eens uitrekenen wat mijn nieuwe server zonder disks gaat kosten...
Update: ook 2K realiseer ik me nu.... Het enige verschil is dat er 24 disks in het chassis gaan. Daarvoor moet je dan dus een DX1211 kopen en die doen ook 1K zonder disks.

Maar als ik de tijd mee reken die het mij kost om mijn server in elkaar te zetten en te testen....

[ Voor 33% gewijzigd door Q op 26-12-2013 15:52 ]

[Goshimaplonker298]

Q schreef op donderdag 26 december 2013 @ 14:01:
[...]


Foto's: leuker inderdaad om de final setup er even op te zetten.

Dat is zeker een handige feature van deze NAS. Maar dat moet je 'm wel modden of zijn dit standaard synology packages?


[...]


Ceph is niet te vergelijken met DFS. DFS is alleen maar storage replicatie, maar meer een soort RAID1. CEPH kan een soort van RAID5 of RAID6 doen over X servers. Naar mijn weten kan dit met DFS niet.

CEPH doet geen RAID5 of RAID6 over X servers er is namelijk geen parity oid.
Als je het al met RAID wil vergelijken kan je het beste zeggen dat het RAID1 of te wel mirroring is. Waarbij er meerdere kopieen van je data gemaakt worden. Op dit moment is dat 2 (1 origineel en 1 kopie) in de toekomstige versies wordt dit standaard 3 (1 origineel en 2x een kopie).
Hoeveel kopieen er gemaakt worden is iets wat je kan instellen. Denk aan het princiepe als een N-way mirror met ZFS. Alleen staat je pool hier op X servers met X disks en wordt de data verdeeld over deze X servers met X disks. Waarbij er standaard nooit een kopie van data op de zelfde server kan staan (Is allemaal instelbaar, mocht je dit wel willen)

De voorgaande uitleg is heel erg versimpeld, CEPH doet meer dan dit waardoor het goed kan schalen. CEPH is bedoeld voor omgevingen met veel hosts. Men werkt voor CEPH op dit moment wel aan Erasure Coding om met parity de boel effiienter op te slaan netzoals RAID1 vs RAID5 of Raid6 (Z1,2,3)

Op het moment als je 3 hosts hebt met ieder 100TB storage (300TB raw) en size = 3 ( 1 origineel en 2x kopie) hou je effectief 100TB over met CEPH.

Als erasure coding straks beschikbaar komt voor CEPH dan wordt het rekensommetje anders
3 hosts a 100TB met parity = 1 ( zeg maar raid 5) dan hou je van de 300TB raw 200TB over.

[Ettepet]

Q schreef op donderdag 26 december 2013 @ 15:41:
[...]


Gaaf, scheelt wel een hoop gedonder met zelfbouw en je hebt support van Synology. Ik zal het nog even opzoeken, het enige nadeel is de prijs (ik zie 2K zonder disks), maar je krijgt er een hoop gemak en features voor terug.

Ik zal eens uitrekenen wat mijn nieuwe server zonder disks gaat kosten...
Update: ook 2K realiseer ik me nu.... Het enige verschil is dat er 24 disks in het chassis gaan. Daarvoor moet je dan dus een DX1211 kopen en die doen ook 1K zonder disks.

Maar als ik de tijd mee reken die het mij kost om mijn server in elkaar te zetten en te testen....

Ik had de DX1211 bij bol.com voor 849, minus 50 euro tegoedbonnen (kerst) dus dat viel mij reuze mee.

De schijven zijn nog steeds vreselijk duur, en de invoering van 5TB en 6TB is flink vertraagd (zijn er nog steeds niet). Hierdoor is de extra hardware (ten op zichte van de schijven) relatief voordelig, daarom doe ik het zo.
---

Ik zou trouwens nooit "cold spares" inbouwen, want schijven falen niet willekeurig gewoonlijk (=uit dezelfde partij en goed vervoerd). Mocht er na een paar jaar intensief gebruik een schijf problemen gaan geven dan red ik veel liever de data naar een andere groep (nieuwe) schijven dan het risico van meer uitval tijdens een intensieve en zeer langdurige Raid-reparatie. Ik zorg wel dat ik 1 of 2 van de betreffende schijf heb, of er aan kan komen nog, maar die gebruik ik tussendoor gewoon voor minder belangrijke zaken. In mijn main-unit zitten 2x 3TB vanwege dit, in gebruik als tijdelijke dump-plek.

[ppl]

psy schreef op donderdag 26 december 2013 @ 00:09:
Dat hele CEFS had ik nog niet van gehoord maar dit kan toch gewoon met DFS?
Gebruik ik al jaren thuis zit standaard in Windows Server. Als hier een machine thuis eruitknalt op wat voor manier dan ook wordt automatisch overgeschakeld naar de 2e DFS share waar ook alles staat.

Of denk ik nu te simpel?

Het is maar 1 feature van Ceph en een feature die inmiddels ook al in het SMB protocol zit (SMB3). Als ik het zo lees kun je Ceph het beste zien als de netwerk variant van RAID: ipv disks hebben we het hier over nodes (servers). DFS is dat niet. Dat is een gecentraliseerde plek waarin alle locaties met data in terug te vinden is. Daar zorg je gewoon dat je meerdere plekken met de data hebt (die je dus moet repliceren met elkaar om de data gelijk te houden, dat kun via DFS, dat kan op filesystem niveau (denk aan sync in ZFS)). Als 1 plek dan niet beschikbaar is wordt de client naar de andere plek verwezen (iets wat SMB3 ook doet).

Zoals ik al eerder zei gaat het eerder om hoe jij je storage omgeving hebt ontworpen dan om wat je gebruikt voor die storage omgeving. Ceph kan een hele mooie oplossing zijn maar dat is DFS die gebruik maakt van een SAN welke dan weer ZFS gebruikt ook wel. Ceph is denk ik alleen wat makkelijker te realiseren in je thuislab

[Q]

Ettepet schreef op donderdag 26 december 2013 @ 19:24:

Ik zou trouwens nooit "cold spares" inbouwen, want schijven falen niet willekeurig gewoonlijk (=uit dezelfde partij en goed vervoerd). Mocht er na een paar jaar intensief gebruik een schijf problemen gaan geven dan red ik veel liever de data naar een andere groep (nieuwe) schijven dan het risico van meer uitval tijdens een intensieve en zeer langdurige Raid-reparatie. Ik zorg wel dat ik 1 of 2 van de betreffende schijf heb, of er aan kan komen nog, maar die gebruik ik tussendoor gewoon voor minder belangrijke zaken. In mijn main-unit zitten 2x 3TB vanwege dit, in gebruik als tijdelijke dump-plek.

Persoonlijk zou ik ook niet snel een hot-spare of cold-spare inbouwen. Als je daar een disk voor kwijt raakt, waarom dan niet gewoon in de array opnemen als RAID6. Als dat niet genoeg redundancy is voor iemand dan zou ZFS RAIDZ3 nog interessant kunnen zijn.

Overigens doet mijn huidige machine met 1TB schijven 'maar' 5 uur over een rebuild. Dat zou met 4 TB schijven oplopen tot 20 uur. Dat zou ik zelf wel acceptabel vinden, maar niet voor een hele grote 24 disk RAID6 array. Dat is de reden waarom ik waarschijnlijk een RAID60 ga draaien met 2x12 disks in RAID6 gestriped. Als 24 disks mee moeten doen in de rebuild is de kans dat er nog een disk kapt groter dan dat je maar 12 disks laat stampen.

[Ettepet]

Q schreef op vrijdag 27 december 2013 @ 11:23:
[...]
Overigens doet mijn huidige machine met 1TB schijven 'maar' 5 uur over een rebuild. Dat zou met 4 TB schijven oplopen tot 20 uur. Dat zou ik zelf wel acceptabel vinden, maar niet voor een hele grote 24 disk RAID6 array. Dat is de reden waarom ik waarschijnlijk een RAID60 ga draaien met 2x12 disks in RAID6 gestriped. Als 24 disks mee moeten doen in de rebuild is de kans dat er nog een disk kapt groter dan dat je maar 12 disks laat stampen.

Je moet wel beseffen dat naast de rebuilt je ooit daarna ook nog alle data van de schijven moet halen/redden. Dus effectief moet je met langzamerhand defect rakende groepen schijven die 20-24 uur met een factor 2 vermenigvuldigen, best wel een belasting als er meerderen aan het eind van hun latijn raken. Mijn prio zou dan redden zijn en niet reparatie. Je kunt de oudere schijven dan eventueel nog een tijdje inzetten voor minder belangrijk werk.

[Q]

Mijn 20 disk NAS is van de zomer 5 jaar oud. Een leeftijd waarbij je toch wel disk uitval mag gaan verwachten. Echter mijn NAS staat 99% van de tijd uit. Dus ik verwacht dat het ding nog minstens drie jaar mee gaat zonder significante disk uitval omdat de poweron hours gering zijn. Maar tegen die tijd draait al lang een vervanger (ben ik mee bezig) en mogelijk dat ik dit oude chassis met disks voor die tijd (hoge leeftijd) verkoop.

[thalantis]

iemand nog een lian-li cube hebben?
zo een http://www.xoxide.com/lian-li-pc-343b-case.html er is wel wat aan geknutselt, de doos heb ik niet meer en opsturen word denk ik een probleem
maar als ik er nog iemand blij mee kan maken, heb ook nog 3x deze http://www.xoxide.com/lianli-pc343-rear-hdd-module.html
http://www.xoxide.com/lianli-ex34nb-hddkit-black.html ook nog 1x
deze zit er ook in http://www.xoxide.com/pc343b-top-fan-plate.html

Modbreak:

Dit hoort in V&A, gelieve daar je aanbod posten. Naar je advertentie linken in je signature is wel een mogelijkheid.

[ Voor 34% gewijzigd door Verwijderd op 29-12-2013 18:11 ]

[BartNL]

Ettepet schreef op vrijdag 27 december 2013 @ 12:20:
[...]Je moet wel beseffen dat naast de rebuilt je ooit daarna ook nog alle data van de schijven moet halen/redden. Dus effectief moet je met langzamerhand defect rakende groepen schijven die 20-24 uur met een factor 2 vermenigvuldigen, best wel een belasting als er meerderen aan het eind van hun latijn raken. Mijn prio zou dan redden zijn en niet reparatie.

Is ook de reden dat ik van grote 24 disk raid-6 array naar meerdere 6 disk raid-5 arrays ben overgegaan. Ik heb daardoor per 24 schijven 4 schijven overhead (4x raid5) ipv 2 (1x raid6) maar de data per array is beter te redden.
Voorbeeld voorheen bij 1 array van 24 schijven moest ik de array rebuilden om de data te redden aangezien ik geen ruimte had om de data te kopiëren. Nu met meerdere arrays kan ik wanneer een array degraded raakt de data naar een andere array kopiëren. Bij maximaal 30TB zal dit in mijn setup ongeveer een dag duren waarbij ik de belangrijkste data dan als eerste kan redden. Pas daarna hoef ik te kijken of ik de array wil redden of opnieuw initialiseer. Tijdens kopiëren schrijf ik geen data naar de degraded array. Risico is daardoor kleiner.
Eén hele grote array lijkt leuk maar heeft voor mij meer nadelen dan voordelen.

[psy]

als iemand nog ecc zoekt

8 GB ECC ram voor 38 euro...?
pricewatch: Kingston ValueRAM KVR16LR11S4/8HA

[RenaldoN]

Als je sommige opstellingen hier ziet is dat echt vet om te zien.
Zelf heb ik nu in mijn mediacenter 9tb opslag zitten en in mijn vaste desktop 12tb. Enkel en alleen om series en films op te slaan. Doe de data handmatig kopiëren zodat ik niks kwijt kan raken. Paar maanden geleden door incorrecte NTFS tabel een deel van mijn data kwijt geraakt en.sindsdien sla ik alles op 2 locaties op. Veel van jjullie zullen de opslag ook wel zakelijk gebruiken denk ik ?

[Q]

BartNL schreef op vrijdag 27 december 2013 @ 14:05:
[...]

Is ook de reden dat ik van grote 24 disk raid-6 array naar meerdere 6 disk raid-5 arrays ben overgegaan. Ik heb daardoor per 24 schijven 4 schijven overhead (4x raid5) ipv 2 (1x raid6) maar de data per array is beter te redden.
Voorbeeld voorheen bij 1 array van 24 schijven moest ik de array rebuilden om de data te redden aangezien ik geen ruimte had om de data te kopiëren. Nu met meerdere arrays kan ik wanneer een array degraded raakt de data naar een andere array kopiëren. Bij maximaal 30TB zal dit in mijn setup ongeveer een dag duren waarbij ik de belangrijkste data dan als eerste kan redden. Pas daarna hoef ik te kijken of ik de array wil redden of opnieuw initialiseer. Tijdens kopiëren schrijf ik geen data naar de degraded array. Risico is daardoor kleiner.
Eén hele grote array lijkt leuk maar heeft voor mij meer nadelen dan voordelen.

Als ik dit goed begrijp wil je dus altijd 25 om een falende array op te kunnen vangen. Daaruit begrijp ik ook dat je de storage niet in 1 pool stopt maar dus los houdt? 4x1 array?

Misschien wel interessant: de rebuild time van een array is niet afhankelijk van het aantal disks in de array maar van de grootte van een schijf. Een grote array rebuildt niet langzamer dan een kleine array.

Het is wel zo dat de kans op een 2e disk falen met een array van 6 disks kleiner is dan met 12 of zelfs 24 disks. Ik vind zelf 2xRAID6 met 12 disks dan een mooiere balans want je bent dan altijd 100% beschermd tegen double-disk-faillure, met RAID5 heb je altijd een 1/4 kans dat er net een disk uit de verkeerde array klapt, een kans die gezien de rebuild / data transfers al forst groter wordt.

-------

De setups in dit topic zijn voor privé gebruik, zakelijke oplossingen mogen conform de topic richtlijnen niet mee doen.

[ Voor 3% gewijzigd door Q op 27-12-2013 19:19 ]

[Q]

YES!



Quad-port Linux Bonding geeft ~360 MB/s ruwe TCP doorvoer. Als dat 300MB/s NFS doorvoer geeft ben ik tevreden.

Edit: NFS doorvoer is momenteel 350 MB/s

Edit2: Hmm: dat was met een goed te cachen file. In de praktijk met echte data zie ik nog niet veel hogers dan 260 MB/s.... Maar dat kan aan een trage array liggen.

[ Voor 92% gewijzigd door Q op 28-12-2013 00:20 ]

[FireDrunk]

Lekker dan!

(wat gebruik je om dat te testen? meerdere clients?)

[BartNL]

Q schreef op vrijdag 27 december 2013 @ 19:18:
[...]
Als ik dit goed begrijp wil je dus altijd 25 om een falende array op te kunnen vangen. Daaruit begrijp ik ook dat je de storage niet in 1 pool stopt maar dus los houdt? 4x1 array?

momenteel is de storage 7 arrays. Van 99% van de data op de storage maak ik normaliter geen backup. Die backup maak ik pas wanneer een array degraded raakt.

Misschien wel interessant: de rebuild time van een array is niet afhankelijk van het aantal disks in de array maar van de grootte van een schijf. Een grote array rebuildt niet langzamer dan een kleine array.

punt is dat starten van het rebuilden een verhoogd risico is. Er kan dan van alles mis gaan dus maak ik dan liefst eerst een backup.
Raid-6 is 2x zo veel parity dus rebuild verwacht ik zal dan ook wat langer bezig zijn. Rebuild tijden zie ik gelukkig bijna nooit . In de eventlog van mijn areca heb ik die tijden ook niet paraat. Zie wel dat scrubben van 6x4TB raid 5 (>10 uur) langer duurt dan 6x 3TB raid 5(> 6 uur) en 12x3TB raid-6 (>8 uur). Zal bij rebuilden vergelijkbaar zijn.

Het is wel zo dat de kans op een 2e disk falen met een array van 6 disks kleiner is dan met 12 of zelfs 24 disks. Ik vind zelf 2xRAID6 met 12 disks dan een mooiere balans want je bent dan altijd 100% beschermd tegen double-disk-faillure, met RAID5 heb je altijd een 1/4 kans dat er net een disk uit de verkeerde array klapt, een kans die gezien de rebuild / data transfers al forst groter wordt.

Vind zelf de hanteerbaarheid van de hoeveelheid data belangrijk en heb daarom liever kleinere arrays. ik heb momenteel 1x raid 6 met 12 schijven en 6x raid 5 met 6 schijven.

[Q]

FireDrunk schreef op vrijdag 27 december 2013 @ 22:02:
Lekker dan!

(wat gebruik je om dat te testen? meerdere clients?)

Nee Linux Bonding tussen twee machines via switch en dan gewoon een NFS mount maken. Maar helaas valt de performance toch tegen. Met een echte test data set (niet makkelijk te cachen/comprimeren) haal ik maar 260 MB/s.

Helaas.

For a four interface balance-rr bond, expect that a single
TCP/IP stream will utilize no more than approximately 2.3
interface's worth of throughput,

115 MB/s * 2.3 = 260 MB/s....

[ Voor 20% gewijzigd door Q op 28-12-2013 02:45 ]

[Speedwolf]

nero355 schreef op woensdag 25 december 2013 @ 22:36:
[...]

Welke 4 TB versie van Seagate gebruik je dan en in welke omstandigheden/hoe lang en zo ??

ik gebruik de ST3000DM001(12ST) en de ST4000DM000(8ST) van beide zeer tevreden.
Bij levering had ik wel een DOA van de 3TB maar draaien nu ca 3-4 maand 24/7 en gaan goed.
Hopelijk blijft het zo ze zijn nog jong

[FireDrunk]

Q schreef op zaterdag 28 december 2013 @ 00:12:
[...]


Nee Linux Bonding tussen twee machines via switch en dan gewoon een NFS mount maken. Maar helaas valt de performance toch tegen. Met een echte test data set (niet makkelijk te cachen/comprimeren) haal ik maar 260 MB/s.

Helaas.


[...]


115 MB/s * 2.3 = 260 MB/s....

Maar dat is lokaal->switch->lokaal?
Heb je de NFS share al eens gemount met rsize=32768,wsize=32768?

[Ettepet]

Je kunt zowiezo de tcp/ip verbindingen ongebundeld gebruiken als afzonderlijke communicatiepoorten naar andere apparaten. Voorwaarde is alleen dat je het ip-bereik van elke poort/verbinding anders kiest (192.168.0.xxx, 192.168.1.xxx, enz.). Op die manier heb ik vorig jaar al eens 2 synology diskstations onderling laten synchroniseren zonder noodzaak voor switch of router. Een van de verbindingen liep via mijn normale router zodat ik met beiden kon praten. Het configureren en aansluiten was kinderspel, je moet alleen wel je data in 2 (of meer) afzonderlijke datastromen opsturen. Bij Synology deed ik dat via "Mount Remote Folder" en dan je data kopiëren naar die folder(s).

[GioStyle]

Case:	Fractal Design Node 304
CPU:	Intel Pentium G3220
Motherboard:	Asus H87I-Plus
RAM:	Corsair Vengeance LP 2x 4GB
CPU cooler:	Stock
Case fans:	1x Noctua NF-A14 FLX (5v) + 2x Noctua NF-B9 (5v)
Harddrives:	6x Western Digital WD30EZRX
Operating system:	FreeNAS 9.1.1
Filesystem:	ZFS
Raid array configuration:	RAIDZ2
Netto storage capacity:	12TB
Network:	Onboard (Intel I217)
Power consumption (start-up):	120,6 watt
Power consumption (idle, no spindown):	43,5 watt
Power consumption (idle, spindown):	xx,x watt
Power supply:	Seasonic G450

Deze storagebox wordt puur gebruikt voor mkv's (films/series) en om mijn VM's naar te back-uppen. Voor de rest niet echt spannend, het ging mij voornamelijk om de zuinigheid. Idle met spindown moet ik nog een keer meten, maar ik gok op ongeveer 28-30 watt.

[Hakker]

Q schreef op zaterdag 28 december 2013 @ 00:12:
[...]


Nee Linux Bonding tussen twee machines via switch en dan gewoon een NFS mount maken. Maar helaas valt de performance toch tegen. Met een echte test data set (niet makkelijk te cachen/comprimeren) haal ik maar 260 MB/s.

Helaas.


[...]


115 MB/s * 2.3 = 260 MB/s....

Kan natuurlijk ook zijn dat je Sata 2 poorten gebruikt en is de controller ook nog een mogelijke bottleneck

[Q]

FireDrunk schreef op zaterdag 28 december 2013 @ 16:45:
[...]


Maar dat is lokaal->switch->lokaal?

Ja, maar ook als je de gewoon de kabels rechtstreeks verbind zonder switch.

Heb je de NFS share al eens gemount met rsize=32768,wsize=32768?

Ja, goed punt, ik heb deze default waardes van debian:

rsize=1048576,wsize=1048576

Ik heb die waardes kleiner gemaakt maar dat hielp niet.

Ik heb echter (iperf) 350 MB/s ruwe TCP doorvoer capaciteit.

Of ik moet eens kijken of multi-path TCP nog iets voor me kan doen...

[FireDrunk]

Hmm, aantal nfs deamons verhogen? (optie voor je NFSd service)

[Q]

Ok, zal ik ook naar kijken, bedankt.

Ik moet echt mijn tests even goed gaan opschrijven in een spreadsheet want ik ga fouten maken en verkeerde aannames doen.

Ik heb zojuist onomstotelijk vastgesteld met iperf dat ik een ruwe TCP doorvoersnelheid heb van 360 MB/s naar elkaar toe. Dus het maakt niet uit welke iperf -s doet en welke iperf -c

oot@nano:~# iperf -c 10.0.2.2 -t 60
------------------------------------------------------------
Client connecting to 10.0.2.2, TCP port 5001
TCP window size: 23.5 KByte (default)
------------------------------------------------------------
[ 3] local 10.0.2.3 port 50925 connected with 10.0.2.2 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-60.0 sec 20.9 GBytes 3.00 Gbits/sec

Omdat ik een Debian en een Ubuntu systeem met elkaar laat praten, die verschillende versies van nc gebruiken, heb ik met 'ncat' getest (onderdeel van nmap).

Een tool als ncat of nc geeft echte real-world applicatie-niveau performance en daarom zie ik dit als echt bewijs dat de bandbreedte er is.

root@nano:~# dd if=/dev/zero bs=1M | ncat 10.0.2.2 1234
^C10199+0 records in
10198+0 records out
10693378048 bytes (11 GB) copied, 29.782 s, 359 MB/s

Ook hier geldt: beide richtingen op: prima performance.

De tests hierboven zijn gedaan zonder switch, ik heb daarna de switch er weer tussen gedaan en ik zie geen verschil in performance. Dus dat is positief.

Ik denk dat mijn volgende stap wordt om Ubuntu van mijn download server af te vegen en te vervangen door Debian wheezy voordat ik extra tests ga doen.

[ Voor 14% gewijzigd door Q op 29-12-2013 14:24 ]

[Q]

GioStyle schreef op zaterdag 28 december 2013 @ 19:34:
Deze storagebox wordt puur gebruikt voor mkv's (films/series) en om mijn VM's naar te back-uppen. Voor de rest niet echt spannend, het ging mij voornamelijk om de zuinigheid. Idle met spindown moet ik nog een keer meten, maar ik gok op ongeveer 28-30 watt.

Ik vind die kast wel mooi, ik ben Fractal Design fan. Toch respectabel doosje.

[FireDrunk]

Ubuntu en Debian Wheezy gebruiken toch exact hetzelfde TCP stack en praktisch dezelfde kernel 3.2 vs 3.8? Daar is toch geen verschil in TCP stack of Bonding logica?

[Q]

Helemaal waar, mogelijk levert het niets op, het is een kwestie van uitsluiten. Ik test NFS met een array die mogelijk de performance niet kan leveren dus ik ga waarschijnlijk wat disks overhevelen zodat de tests ergens op slaan.

[Q]

code:

root@server:/mnt/nano# dd if=BDROM.ISO of=/dev/null bs=1M
21243+1 records in
21243+1 records out
22275883008 bytes (22 GB) copied, 64.9153 s, 343 MB/s

Dit is een read op mijn download server (still ubuntu) via NFS vanaf mijn nieuwe NAS van een 6-disk RAID0 MDADM.

Met ZFS over NFS heb ik nog gigantische performance problemen. Maar dit werkt echt goed.

Write performance is behoorlijk slechter. Je ziet dat de machine buffert, dan de data moet wegschrijven en zich daarin een beetje verslikt, waardoor je choppy performance krijgt.

code:

  0   0  88  12   0   0|   0   428M|5743k  129k|   0     0 |4474  1497 
----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw 
  0   5  86   8   0   2|   0   264M|  79M  908k|   0     0 |  44k   73k
  0  12  80   2   0   6|   0   177M| 313M 3509k|   0     0 |  35k   28k
  0  13  80   0   0   7|   0     0 | 355M 3749k|   0     0 |  27k   14k
  0  12  80   0   0   7|   0     0 | 356M 3799k|   0     0 |  27k   14k
  0  13  76   1   0  10|   0   154M| 363M 4271k|   0     0 |  34k   16k
  0   5  83   9   0   3|   0   441M| 114M 1503k|   0     0 |  16k 7488 
  0   1  87  12   0   1|   0   418M|9419k  191k|   0     0 |4832  1661 
  0   2  88  10   0   1|   0   350M|  19M  235k|   0     0 |  35k   63k
  0  14  77   2   0   7|   0   147M| 305M 3966k|   0     0 |  39k   23k
  0  13  82   0   0   5|   0     0 | 345M 3790k|   0     0 |  28k   15k
  0  13  79   0   0   8|   0     0 | 352M 4293k|   0     0 |  33k   16k
  0  14  78   0   0   8|   0     0 | 362M 4316k|   0     0 |  34k   16k
  0   8  78   8   0   5|   0   457M| 198M 2602k|   0     0 |  24k   11k
  0   1  87  12   0   0|   0   398M|8613k  168k|   0     0 |4702  1747 
  0   0  87  12   0   0|   0   426M|2011k   62k|   0     0 |4590  1457 
  0  10  81   3   0   6|   0   237M| 243M 2981k|   0     0 |  67k   96k
  0  12  81   0   0   7|   0     0 | 351M 3691k|   0     0 |  25k   13k
  0  13  79   0   0   8|   0     0 | 340M 4113k|   0     0 |  33k   16k
  0  11  81   0   0   8|   0     0 | 368M 3827k|   0     0 |  26k   14k
  0  11  77   6   0   6|   0   390M| 272M 3204k|   0     0 |  27k   13k
  0   1  87  12   0   1|   0   411M|  14M  221k|   0     0 |5152  1931 
  0   0  88  12   0   0|   0   455M|3751k  106k|   0     0 |5016  1525 
  0   5  86   8   0   2|   0   263M|  69M  682k|   0     0 |  46k   79k
  0  12  82   0   0   6|   0    13k| 337M 3853k|   0     0 |  27k   14k
  0  10  83   0   0   7|   0     0 | 342M 3844k|   0     0 |  29k   14k
  0  13  79   0   0   8|   0     0 | 349M 3919k|   0     0 |  30k   15k
  0  15  79   0   0   7|   0    19M| 365M 4366k|   0     0 |  33k   16k
  0   4  83  10   0   4|   0   516M| 122M 1366k|   0     0 |  14k 6331 
  0   0  88  12   0   0|   0   410M|5023k  124k|   0     0 |4544  1592 
  0   2  87  11   0   0|   0   357M|1206k   38k|   0     0 |  37k   67k
  0  11  80   2   0   6|   0   216M| 289M 3324k|   0     0 |  32k   23k

Een read is echter super smooth:

code:

root@nano:/# dstat 1
You did not select any stats, using -cdngy by default.
----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw 
  0   1  97   2   0   0|3347k   31M|   0     0 |   0     0 |5666  5506 
  0   3  84   7   0   6| 334M    0 |3019k  350M|   0     0 |  21k 2455 
  0   3  85   7   0   5| 343M    0 |3126k  362M|   0     0 |  21k 2517 
  0   4  82   9   0   6| 349M   65k|3142k  368M|   0     0 |  21k 2961 
  0   3  83   7   0   7| 323M 8192B|2987k  342M|   0     0 |  21k 2726 
  0   3  85   6   0   6| 348M    0 |3121k  370M|   0     0 |  21k 2672 
  0   3  85   6   0   6| 345M    0 |3174k  370M|   0     0 |  21k 2512 
  0   3  86   6   0   6| 328M    0 |3059k  346M|   0     0 |  21k 2338 
  0   3  84   7   0   6| 330M    0 |3008k  346M|   0     0 |  21k 2540 
  0   2  87   5   0   6| 258M    0 |2938k  342M|   0     0 |  20k 2235 
  0   3  85   6   0   6| 329M    0 |3005k  352M|   0     0 |  21k 2646 
  0   3  84   7   0   6| 336M    0 |3003k  354M|   0     0 |  21k 2695 
  0   2  85   7   0   6| 326M    0 |3047k  344M|   0     0 |  21k 2615 
  0   3  87   5   0   5| 282M    0 |3000k  332M|   0     0 |  21k 2225 
  0   2  86   7   0   5| 183M    0 |2661k  306M|   0     0 |  18k 1897 
  0   3  87   4   0   6| 305M    0 |2803k  321M|   0     0 |  21k 2136 
  0   2  85   8   0   5| 301M    0 |2753k  317M|   0     0 |  20k 2464

Nu ook dit soort prestaties met ZFS

[DeKemp]

Zo ik kom ook maar eens langs met mijn nas.

System specifications
Component	Value
Case	Sharkoon T9 Economy
CPU	Intel Pentium G2020
RAM	2x 8gb ECC Kingston value
Motherboard	Supermicro X9SCL-F
Operating system	Freenas 9.2.0
Controller	IBM M1015 IT mode
Hard drive	5x WD Red 3tb
Hard drive enclosure	2x Icydock MB455SPF-B
RAID array configuration	Raidz1
Netto storage capacity	12TB
Network	Dual Gbit copper.
UPS	APC 900 pro (overkill komt van een andere machine)
Filesystem	ZFS
Idle power usage	Onbekent
Extra	-

Details.

Gebruik is hoofdzakelijk data en backup opslag.


Hier moet nog eens een keer wat aan gedaan worden.

[ Voor 8% gewijzigd door DeKemp op 03-01-2014 00:54 ]

[GioStyle]

Hoe vind je de kwaliteit van de kast tegenover bijvoorbeeld Fractal Design?

[Shunt]

DeKemp schreef op vrijdag 03 januari 2014 @ 00:34:
Zo ik kom ook maar eens langs met mijn nas.

[afbeelding]

System specifications
Component	Value
Case	Sharkoon T9 Economy
CPU	Intel Pentium G2020
RAM	2x 8gb ECC Kingston value
Motherboard	Supermicro X9SCL-F
Operating system	Freenas 9.2.0
Controller	IBM M1015 IT mode
Hard drive	5x WD Red 3tb
Hard drive enclosure	2x Icydock MB455SPF-B
RAID array configuration	Raidz1
Netto storage capacity	12TB
Network	Dual Gbit copper.
UPS	APC 900 pro (overkill komt van een andere machine)
Filesystem	ZFS
Idle power usage	Onbekent
Extra	-

Details.

Gebruik is hoofdzakelijk data en backup opslag.

[afbeelding]
Hier moet nog eens een keer wat aan gedaan worden.

Nevermind ondertussen gevonden in je URL onder het lijstje.
Best aan de prijzige kant is er nog iets speciaals dat het die 125 euro dubbel en dwars waard maakt?

Zodra ik wat meer ruimte heb (van appartement naar een huis) of eindelijk stroom + UTP heb in mijn meterkast dan wil ik daar mijn nas gaan plaatsen. Maar een oplossing met een 19 inch rack server vond ik wat te gortig. Dit daar in tegen is een mooie tussen oplossing als ik dat zie.

Nevermind ondertussen gevonden in je URL onder het lijstje.
Best aan de prijzige kant is er nog iets speciaals dat het die 125 euro dubbel en dwars waard maakt?

[ Voor 8% gewijzigd door Shunt op 03-01-2014 11:05 ]

[mux]

Ondersteunt de G2020 ECC?

[BartNL]

volgens Intel wel en is bij veel moderne pentium en celeron cpu's nu zo.

[DeKemp]

GioStyle schreef op vrijdag 03 januari 2014 @ 10:20:
Hoe vind je de kwaliteit van de kast tegenover bijvoorbeeld Fractal Design?

Bevalt me nog prima, kast is lekker goedkoop. Ik zie niet wat een duurdere kast toe zou moeten voegen voor een nas.

Shunt schreef op vrijdag 03 januari 2014 @ 10:53:
[...]
Nevermind ondertussen gevonden in je URL onder het lijstje.
Best aan de prijzige kant is er nog iets speciaals dat het die 125 euro dubbel en dwars waard maakt?

Wat bedoel je precies?

[ Voor 33% gewijzigd door DeKemp op 03-01-2014 15:38 ]

[Shunt]

DeKemp schreef op vrijdag 03 januari 2014 @ 15:36:
[...]


Bevalt me nog prima, kast is lekker goedkoop. Ik zie niet wat een duurdere kast toe zou moeten voegen voor een nas.


[...]


Wat bedoel je precies?

Wel 125 euro per 5 bays extra vind ik aan de prijzige kant. Vooral als het niet meer is dan een frame met daar in domme bays zonder enige toegevoegde functie. Nu snap ik dat een kast vinden met + 10 drive bays lastig is maar om in een kast van 100 euro 250 euro uit te geven aan nog eens 10x drive bays is wat uit proportie voor mijn gevoel.

[Q]

Shunt schreef op vrijdag 03 januari 2014 @ 15:56:
[...]

Wel 125 euro per 5 bays extra vind ik aan de prijzige kant. Vooral als het niet meer is dan een frame met daar in domme bays zonder enige toegevoegde functie. Nu snap ik dat een kast vinden met + 10 drive bays lastig is maar om in een kast van 100 euro 250 euro uit te geven aan nog eens 10x drive bays is wat uit proportie voor mijn gevoel.

Bij een partij als ri-vier heb je een 12 of 16 disk hotswap rackmount chassis voor veel minder geld per bay.