Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 18-09 20:40
Huh? Wat wil je nou doen? Dat ding in een moederbord zetten zonder CPU? 8)7

Even niets...


Acties:
  • 0 Henk 'm!

  • Shamalamadindon
  • Registratie: Juni 2009
  • Laatst online: 30-03-2024

Wanneer heb je het laatst je wachtwoord verandert? Er word op T.net de laatste tijd regelmatig misbruikt gemaakt van accounts met gelekte wachtwoorden om andere gebruikers op te lichten. Verander je wachtwoord, geef oplichters geen kans!


Acties:
  • 0 Henk 'm!

  • DYX
  • Registratie: Mei 2008
  • Laatst online: 18-09 19:00

DYX

FireDrunk schreef op vrijdag 29 maart 2013 @ 11:33:
Huh? Wat wil je nou doen? Dat ding in een moederbord zetten zonder CPU? 8)7
Ik vermoed dat hij een powerboard ipv een mainboard bedoeld zoals bv deze Supermicro:
http://www.servethehome.c...y-jbod-chassis-made-easy/

Acties:
  • 0 Henk 'm!

  • BartNL
  • Registratie: Maart 2001
  • Laatst online: 15-09 13:52
FireDrunk schreef op vrijdag 29 maart 2013 @ 11:33:
Huh? Wat wil je nou doen? Dat ding in een moederbord zetten zonder CPU?
had ik eerst zo maar heb hem nu in een mobo met G1610 getzet wat als voordeel heeft dat ik die PC via WoL aan/uit kan zetten. PC doet op dit moment niet anders dan de HP SAS expander en 18 harddisks voeden.

Acties:
  • 0 Henk 'm!

  • analog_
  • Registratie: Januari 2004
  • Niet online
FireDrunk schreef op vrijdag 29 maart 2013 @ 11:33:
Huh? Wat wil je nou doen? Dat ding in een moederbord zetten zonder CPU? 8)7
Zolang dat maar stroom geeft op de PCIe sloten kan je dat gebruiken om een expander te voeden, is een traditionele DIY truc Je kan ook een klein powerboardje aanschaffen wat waarschijnlijk ook zuiniger is, er zijn bepaalde supermicro part nummers die circuleren. ServeTheHome heeft er zeker eens wat over gepubliceerd.

Acties:
  • 0 Henk 'm!

  • Sc0tTy
  • Registratie: December 2003
  • Laatst online: 20:27
Vraagje aan de mensen met een Norco 4224:

Hoe hebben jullie je OS disk(s) gemonteerd? Of zijn hiervoor bays opgeofferd.

Op dit moment heb ik nog slots vrij maar op langer termijn moeten mijn OS 3.5" sata disk mirror daar wel uit.

En wat moet ik met al die stukken ijzer die er los bij zitten, ik las ergens dat dit voor een tweede PSU is maar kan er nergens een handleiding voor vinden :(

[ Voor 25% gewijzigd door Sc0tTy op 29-03-2013 18:50 ]

Lumia 800 > 820 > 950 | Surface Pro 3 | Windows 10 Mobile Insider


Acties:
  • 0 Henk 'm!

  • thalantis
  • Registratie: Augustus 1999
  • Laatst online: 26-01-2023

thalantis

12200 Wp

ik heb de os disk (ssd) met een schroefje aan de zijkant vast gezet zitten allemaal gaatjes in

Jsunnyreports


Acties:
  • 0 Henk 'm!

  • DYX
  • Registratie: Mei 2008
  • Laatst online: 18-09 19:00

DYX

Sc0tTy schreef op vrijdag 29 maart 2013 @ 18:49:
Vraagje aan de mensen met een Norco 4224:

Hoe hebben jullie je OS disk(s) gemonteerd? Of zijn hiervoor bays opgeofferd.

Op dit moment heb ik nog slots vrij maar op langer termijn moeten mijn OS 3.5" sata disk mirror daar wel uit.

En wat moet ik met al die stukken ijzer die er los bij zitten, ik las ergens dat dit voor een tweede PSU is maar kan er nergens een handleiding voor vinden :(
Haha, ik zat me precies hetzelfde af te vragen toen ik de doos opende. Het compleet ontbreken van de handleiding helpt niet echt. Als OS disk heb ik een SSD. Deze heb ik op dit moment nog even voor mijn voeding liggen. Denk dat ik deze gewoon met klitteband vastmaak aan de bodemplaat/zijkant.

Acties:
  • 0 Henk 'm!

  • Greetoz
  • Registratie: Juni 2002
  • Laatst online: 17:02
IK heb ook de Norco 4224 en de OS disk is een 2,5 inch die ik gewoon met dubbelzijdig tape aan de zijkant vast heb geplakt.

Verder zijn de andere stukken ijzer voor verschillede PSUs ,ja er kunnen er 2 in maar dan wel zo;n redundant geval dat net zo groot is als de meeste consumenten PSU;s

https://printcraft3d.nl Protect your BMW! https://BimmerNotify.app


Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
jacovn schreef op dinsdag 26 maart 2013 @ 19:29:
Mijn file server is op ZFSguru gebaseerd. Na een half jaar aanmodderen met unraid (raad ik iedereen af die wat hoger gespannen verwachting heeft qua performance) is dit een verademing.
De server is bedoeld voor opslag van films. Hiervoor had ik die op losse hdd's staan, en via e-Sata aan een afspeler gekoppeld. Jaren terug heb ik ooit een thecus nas gehad, maar door de lage overdracht snelheid en geringe schaalbaarheid ben ik daar toen van af gestapt.

De keuze voor de kast is simpel, die had ik al staan (2 zelfs) met unraid was de inzet om de bestaande collectie aan 1000, 1500 en 2000 GB HDD's te hergebruiken. Ik wilde het goedkoop oplossen, en heb norcotec HDR-5-v2 5in3 racks van 10 euro gekocht, een noctua pwm fan geplaatst.

Toen unraid niet naar mijn zin werkte heb ik meer 3 en 4 TB hdds gekocht om binnen zfs 2 raidz2 pools van 10 hdd's te kunnen maken. Inmiddels heb ik al die oude hdd's (40) verkocht en ben ik bezig om server 2 te vullen met 3 TB disks.


System specifications
ComponentValue
CaseCooler Master Stacker STC001
CPUXeon E3-1265LV2
RAM32 GB Supermicro MEM-DR380L-HL01-EU16
MotherboardSupermicro X9SAE-V
PowersupplySeasonic Platinum 760
Operating systemZFS Guru 9.1-005 featuring FreeBSD 9.1-RELEASE with ZFS v28
Controller3x IBM M1015 flashed to IT mode
Hard drive10x Hitachi 7K4000
Hard drive10x Toshiba DT01ACA300
SSDIntel X25 80 GB
SSD2x Samsung 830 64 GB
array configuration Pool 1 RaidZ2 10 x Toshiba DT01ACA300 (20 TiB) Pool 2 RaidZ2 10 x Hitachi 7K4000 (27 TiB)
Netto storage capacity47 TiB
NetworkIntel Gigabit on board 2x
UPSAPC Back-UPS 1500
FilesystemZFS v28
Idle power usage~200 Watt (no spindown)
ExtraNoctua PWM fans met Zalman PWM mate controllers
ExtraPSU naar 5 Sata power van Moddiy (in Seasonic versie)
Extra5in3 Modules HDR-5-v2 van Norco

20 HDD's op de M1015 controllers. 3 SSD's op het moederbord.
1 SSD voor boot
2 SSD voor L2ARC en ZIL voor beide pools (ZIL in mirror voor beide pools)

Op de foto van de binnenkant is de 140mm fan te zien die de 3 m1015 fans koelt.
Ook kun je de blauwe sata power kabels zien. Deze komen direct van de seasonic voeding en sluten per stuk 5 disks in een 5in3 module aan.
[afbeelding]

Aan de bovenkant zie je zalman PWM mate controllers die de PWM fans aansturen. Dit zijn handige kastjes die 3 presets en een handmatige stand hebben. 1 is in gebruik voor de fans die in de 5in3 modules zitten, en de ander voor de 120 en 80 mm fans voor de lucht uitvoer en de 140 mm die boven de IBM M1015 kaarten zit.
[afbeelding]

Aan de voorkant zie je de buiten kant van de 5in3 racks. Ik wil er nog stof filters in of voor plaatsen.
Waarschijnlijk ga ik de complete 5in3 racks verder naar binnen schuiven en dan een filter frame maken wat alle 5in3 racks in 1 keer afdekt.
Er zitten nu magnetische stof filters op, maar die dekken de hele voorkant niet goed af.
[afbeelding]
De zelfde post maar nu met toelichting en foto's. als je conform de topic start mij een regel met informatie voor in de tabel DM't dan kom je in de lijst

Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
done met link.

Acties:
  • 0 Henk 'm!

  • Deniax
  • Registratie: Februari 2000
  • Laatst online: 15-09 21:36
Met al die disks in oa Norco kasten, hebben jullie geen last dat de kast gaan resoneren door alle disks die erin zitten?
Mijn Norco kast maakt echt een rot geluid en pas als ik hard tegen de bovenkant duw is het geluid weg.

Aardig vervelend, koop je Noctua koelers tegen het geluid, resoneert de kast als een gek :(

Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
Geen last van. Heb je met die Noctua koelers nog wel genoeg airflow c.q. geen last met te warme disks?

Acties:
  • 0 Henk 'm!

  • BartNL
  • Registratie: Maart 2001
  • Laatst online: 15-09 13:52
Deniax schreef op maandag 01 april 2013 @ 10:27:
Met al die disks in oa Norco kasten, hebben jullie geen last dat de kast gaan resoneren door alle disks die erin zitten?
als je er 24 disks in zet maken die altijd herrie en bij mij dus ook. Resonantie heb ik denk ik geen last van. Heb je de bovenkant/deksel helemaal goed naar voorkant gedrukt en vastgezet met de 4 schroefjes?

Acties:
  • 0 Henk 'm!

  • jacovn
  • Registratie: Augustus 2001
  • Laatst online: 18-09 18:32
Bartnl: in de toplist op p1 sta jij met 66GB van 24x3TB disk in raid-6
Dat is dan dus 22x3 =66 TB.

Maar dat is dan toch de bruto ruimte?

Moeten we niet allemaal op dezelfde manier de capaciteit daar melden ?

Bij mij is het raidz2 van 10x3TB en 10x4TB, daar hou ik dan bruto 8x3 en 8x4 = 56TB aan over.
Helaas netto onder zfs in het filesysteem maar iets van 47 TB, maar zfs heeft wel iets overhead voor zover ik weet. In de pool zie ik ook de bruto capaciteit staan.

3TB geformateerd is 2,72 TiB, dus dan heb je bijna 60 TiB met 22 hdds lijkt me, toch 10% verschil.

8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase


Acties:
  • 0 Henk 'm!

  • BartNL
  • Registratie: Maart 2001
  • Laatst online: 15-09 13:52
jacovn schreef op maandag 01 april 2013 @ 22:23:
Moeten we niet allemaal op dezelfde manier de capaciteit daar melden ?
Even kort de lijst bekeken en ik denk dat de meesten net als mij met netto harddisk TB rekenen. Onder windows heb ik inderdaad een 60TB partitie. Zie nu ook dat freak1 ook drie behuizingen opvoert en zo zou ik nu met twee behuizingen op 101TB (of met jouw berekening 91,7TB) komen zie BartNL in "Storage showoff topic - 10+ TB storage systems"
Er is volgens mij wat ruimte voor interpretatie
Als ik startpost zie daar wordt als rekenvoorbeeld 10x 1TB in raid5 ook als 9TB berekend. Eigenlijk ben jij dus degene die afwijkende rekenmethode hanteert en zou je denk ik 56TB kunnen vermelden :)

[ Voor 28% gewijzigd door BartNL op 02-04-2013 00:24 ]


Acties:
  • 0 Henk 'm!

  • Midas.e
  • Registratie: Juni 2008
  • Laatst online: 15-09 19:08

Midas.e

Is handig met dinges

Gewoon df -h doen, plakken, klaar.
/dev/mapper/storage-storage 23T 15T 8.2T 65% /storage
eerste getalletje is 23TB, dan heb je 23TB.

Hacktheplanet / PVOutput


Acties:
  • 0 Henk 'm!

  • BartNL
  • Registratie: Maart 2001
  • Laatst online: 15-09 13:52
het is discutabel of dat "gewoon" is en aantal disk dat voor redundantie gebruikt wordt op je bruto capaciteit in mindering brengen is veel eenvoudiger en werkt ook (z)onder windows. Volgens de start post is dat de manier om het te berekenen. Zie topic startpost
Als je 10 x 1TB in RAID 5 draait heb je netto 9 TB capaciteit en haal je de ondergrens niet.

Acties:
  • 0 Henk 'm!

  • jacovn
  • Registratie: Augustus 2001
  • Laatst online: 18-09 18:32
Bartnl, ja zo zag ik het ook staan, alleen heb ik een scherm waar de netto maat van het file systeem staat, en dat leek me meer correct.

Dus vandaar de vraag hoe het op te geven. Het maakt me ook niet zo veel uit, alleen is alles weergeven om dezelfde manier logischer denk ik

En ik zou jouw uitbreiding met WOL voeding ook gewoon meetellen. Dat is net zo goed 1 systeem als een synology.. en goedkoper ;) (ik heb de kale serverprijs maar in mijn entry erbij geplaatst)

[ Voor 9% gewijzigd door jacovn op 02-04-2013 06:54 ]

8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase


Acties:
  • 0 Henk 'm!

  • KorneelB
  • Registratie: Mei 2008
  • Laatst online: 10-08 10:43
BartNL schreef op maandag 01 april 2013 @ 22:46:
[...]

Even kort de lijst bekeken en ik denk dat de meesten net als mij met netto harddisk TB rekenen. Onder windows heb ik inderdaad een 60TB partitie. Zie nu ook dat freak1 ook drie behuizingen opvoert en zo zou ik nu met twee behuizingen op 101TB (of met jouw berekening 91,7TB) komen zie BartNL in "Storage showoff topic - 10+ TB storage systems"
Er is volgens mij wat ruimte voor interpretatie
Als ik startpost zie daar wordt als rekenvoorbeeld 10x 1TB in raid5 ook als 9TB berekend. Eigenlijk ben jij dus degene die afwijkende rekenmethode hanteert en zou je denk ik 56TB kunnen vermelden :)
volgens mij is de discussie al eens eerder voorbij gekomen...

capaciteit is capaciteit van disks. 12 X 4 TB disks in raid 6 = (12X4)-(2X4).
bits, bytes en ander gefreubel is niet bijzonder interessant dan.

mbt losse chassis;
heb je 1 chassis waar je mobo e.d. inzit met daaruit een aantal SATA kabels naar je 2e chassis, waarin puur een PSU en disks zit, dan is dat gewoon 1 server.
heb je meedere servers welke samen storage pools serveren dan zijn dat losse servers.

60 TB can not be enough


Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
De regel is inderdaad zoals Freak1 'm beschrijft.

<aantal disks> - <aantal disks voor parity> * capaciteit van disk. En capaciteit is gewoon 1, 2, 3 of 4 TB. We doen niet aan TiB of dingen achter de comma.

Ik heb zelf 20 x 1 TB in mijn systeem, RAID 6 dus minus 2 TB = 18 TB netto.

Acties:
  • 0 Henk 'm!

  • jacovn
  • Registratie: Augustus 2001
  • Laatst online: 18-09 18:32
Mooi dan groei ik zo maar 9 TB dus :)

8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase


Acties:
  • 0 Henk 'm!

  • BartNL
  • Registratie: Maart 2001
  • Laatst online: 15-09 13:52
jacovn schreef op dinsdag 02 april 2013 @ 06:52:En ik zou jouw uitbreiding met WOL voeding ook gewoon meetellen.
was ik ook van plan. Had nog idee er wat 1,5TB disks bij te prikken wat niet meer gaat gebeuren dus heb update melding gedaan en aanpassing verwerkt in posting m.b.t. mijn fileserver

[ Voor 22% gewijzigd door BartNL op 02-04-2013 19:41 ]


Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
Sommigen zijn volgens mij meer aan RAID parity disks kwijt dan anderen aan netto storage hebben.

Cool :)

Acties:
  • 0 Henk 'm!

  • jacovn
  • Registratie: Augustus 2001
  • Laatst online: 18-09 18:32
Ja 14 TB bij mij..
Alles beter dan data kwijtraken bij oudere disc failures, die ergenis alleen al heeft me voor raidz2 doen kiezen. Bij mijn vorige setup met unraid had ik met een losse kabel wel eens rebuilt tijden van 25+ uur.
Bij ZFS was het na een controller failure en een reboot een paar seconden.

8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase


Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
:( Controller failure, daar noem je iets.

Dat is iets waar je je als hobbyist niet zo goed tegen kunt beschermen. Dat is ook iets wat ik wel cool vind aan SAN systemen. Dual controllers die ieder hun eigen aansluiting op een HD hebben. Enterprise SAS HDs heb je dus ook met dubbele aansluitingen, 1 voor iedere controller.

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 18-09 20:40
Ik denk dat het goedkoper is om een backup te maken... Redundantie heeft alleen maar zin tegen uptime, meer niet...

Even niets...


Acties:
  • 0 Henk 'm!

  • jacovn
  • Registratie: Augustus 2001
  • Laatst online: 18-09 18:32
Die controller failure had te maken met de boot waarin de kaart niet goed opstart. Dat was met een i3 op dat mainbord, en nu met een xeon boot hij wel keurig.

8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase


Acties:
  • 0 Henk 'm!

  • thalantis
  • Registratie: Augustus 1999
  • Laatst online: 26-01-2023

thalantis

12200 Wp

controller failure kan je bij areca opvangen met een nieuwe kaart kopen, in princiepe ziet hij dan de oude raid weer.

2x een grote server en die aan elkaar spiegelen is ook een oplossing ;)

Jsunnyreports


Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 18-09 20:40
Dat is allemaal geen backup... Een backup is een offline kopie...

Even niets...


Acties:
  • 0 Henk 'm!

  • Sc0tTy
  • Registratie: December 2003
  • Laatst online: 20:27
FireDrunk schreef op zaterdag 06 april 2013 @ 14:26:
Dat is allemaal geen backup... Een backup is een offline kopie...
Offsite ;)

Lumia 800 > 820 > 950 | Surface Pro 3 | Windows 10 Mobile Insider


Acties:
  • 0 Henk 'm!

  • B2
  • Registratie: April 2000
  • Laatst online: 06:45

B2

wa' seggie?

Ik zie mijn netto 22 TB build trouwens nog steeds niet in de TS staan. Wordt deze nog bijgehouden? Ik ben trouwens terug/over naar ZFS on Linux op Ubuntu 12.04. Het hele virtualisatie gedoe was leuk, maar VT-D en ZFSGuru/FreeBSD gaat toch niet goed. Uiteindelijk moest ik zelfs de hele pool destroyen en vanaf 0 beginnen, er zaten teveel data en checksum errors op de disken.

Acties:
  • 0 Henk 'm!

  • ppl
  • Registratie: Juni 2001
  • Niet online

ppl

FireDrunk schreef op zaterdag 06 april 2013 @ 14:26:
Dat is allemaal geen backup... Een backup is een offline kopie...
Een backup is pas een backup als je het succesvol terug kunt zetten. Daarnaast is het ook zeer zeker geen eis dat een backup offline of offsite dient te zijn. Een backup kan ook online zijn en inhouse. Je kunt diverse soorten backups toepassen zodat je bijv. heel snel files die je het afgelopen uur hebt gemaakt kunt restoren maar ook in geval van brand in een paar dagen tijd weer een complete live omgeving kunt optuigen. Een server waarnaar je kunt switchen als de hoofdserver uitvalt valt dan ook prima op te voeren als zijnde "backup".

Dat wat thalantis noemt is in zekere vorm een backup. Het is alleen geen handige backup voor de data die op die RAID array staat. Het wil nog wel eens voorkomen dat bij het vervangen van de defecte kaart door een identieke nieuwe het alsnog mis gaat en je de hele array (en dus ook de data) kwijt bent. Dan wil je dus liever nog kunnen grijpen naar andere vorm van backup (het omwisselen van kaarten is een stuk sneller dan TB's aan data restoren dus als een kaart wissel werkt...profit! zo niet...pak de tapes/etc. maar).

Backups maken met enorme hoeveelheden data is en blijft een uitdaging :/

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 18-09 20:40
Klopt, maar als ik heel eerlijk ben, hoef ik echt niet 20TB aan data te backuppen... Alle TV-Series, Films en Games zijn opnieuw te downloaden of als je echt een trage verbinding hebt, ga je een keer een dagje rondrijden met je server langs vrienden, en haalt daar het gros van de meuk op.

ECHT kritieke data is meestal: Documenten, Foto's, Muziek (als je een echte verzamelaar bent van exotisch materiaal) en soms eigen geschoten beeldmateriaal.

Dat is meestal < 1TB. In mijn geval zelfs < 100MB.

Even niets...


Acties:
  • 0 Henk 'm!

  • jacovn
  • Registratie: Augustus 2001
  • Laatst online: 18-09 18:32
Je moet wel vrienden hebben met dezelfde hobby dan :)
Ik ben door de tijd heen ook wel wat films kwijt geraakt bij hdd issues, maar het blijven maar films.
Vervelend is dat bij een aantal usenet providers er wel erg,veel takedown requests zijn geweest, vooral op oudere films. Wel adverteren met 1300-1500 dagen, maar dan alle blu ray rips haast corrupt hebben staan.

8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase


Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
B2 schreef op zaterdag 06 april 2013 @ 14:40:
Ik zie mijn netto 22 TB build trouwens nog steeds niet in de TS staan. Wordt deze nog bijgehouden? Ik ben trouwens terug/over naar ZFS on Linux op Ubuntu 12.04. Het hele virtualisatie gedoe was leuk, maar VT-D en ZFSGuru/FreeBSD gaat toch niet goed. Uiteindelijk moest ik zelfs de hele pool destroyen en vanaf 0 beginnen, er zaten teveel data en checksum errors op de disken.
Als je de spullen confirm de ts aanlevert kom je in de lijst

Acties:
  • 0 Henk 'm!

  • analog_
  • Registratie: Januari 2004
  • Niet online
Q schreef op zaterdag 06 april 2013 @ 12:10:
:( Controller failure, daar noem je iets.

Dat is iets waar je je als hobbyist niet zo goed tegen kunt beschermen. Dat is ook iets wat ik wel cool vind aan SAN systemen. Dual controllers die ieder hun eigen aansluiting op een HD hebben. Enterprise SAS HDs heb je dus ook met dubbele aansluitingen, 1 voor iedere controller.
Controller failure los je op door je raid1 setjes over twee controllers te verdelen, sowieso is een bunch of mirrors een meer enterprise aanpak boven raid5/6 (vanwege de IOPS dan).

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 18-09 20:40
analog_ schreef op zaterdag 06 april 2013 @ 20:15:
[...]

Controller failure los je op door je raid1 setjes over twee controllers te verdelen, sowieso is een bunch of mirrors een meer enterprise aanpak boven raid5/6 (vanwege de IOPS dan).
Oh ja? Ik zie NetApp, EMC, 3PAR, Dell PowerVault, HP LeftHands anders nooit met Mirrors :)

Even niets...


Acties:
  • 0 Henk 'm!

  • thof
  • Registratie: Oktober 2008
  • Laatst online: 20:32

thof

FP ProMod
Wat ik mij altijd afvraag bij het gebruik van twee controllers om uitval op te vangen, is hoe het OS er op reageerd op het moment dat een device corrupte data terug gaat geven of in zijn geheel stopt met functioneren. Mij lijkt de kans namelijk best groot dat het OS dan crashed of dat de software die de data gebruikt gebruikt vastloopt. Ben wel benieuwd hoe dit in de praktijk werkt namelijk, iemand ervaringen?

Server 1: Intel N305 | 48GB RAM | 5*4TB NVME | 4x 2.5GbE
Server 2: Intel N5105 | 64GB RAM | 1TB NVME | 4x 2.5GbE
Server 3: Intel Xeon E5-2670 | 128GB RAM | 512+750GB SATA SSD | 6x10TB HDD | 6x 1GbE [Buiten gebruik]


Acties:
  • 0 Henk 'm!

  • B2
  • Registratie: April 2000
  • Laatst online: 06:45

B2

wa' seggie?

Q schreef op zaterdag 06 april 2013 @ 18:57:
[...]


Als je de spullen confirm de ts aanlevert kom je in de lijst
Zie details hier hier.

Overview of GoT 10+ TB storage arrays
UserNetto capacityRAID Level used# of disksPlatformRemarks
B222 TBRAIDZ212 LinuxZFS on Linux, eigen design en build case

Acties:
  • 0 Henk 'm!

  • SmiGueL
  • Registratie: September 2005
  • Laatst online: 19:46
B2 schreef op zondag 07 april 2013 @ 14:30:
Overview of GoT 10+ TB storage arrays
UserNetto capacityRAID Level used# of disksPlatformRemarks
B222 TBRAIDZ212 LinuxZFS on Linux, eigen design en build case
Moet dat geen 20TB zijn dan? :P (12x2TB, waarvan 2x2TB voor parity)

[ Voor 84% gewijzigd door SmiGueL op 07-04-2013 16:59 ]

Delidded 4770K 4.7GHz @ H220 || Gigabyte Z87X-UD4H || 16GB @ 2400MHz || Gigabyte GTX 760 || 2x128GB Samsung 830 @ RAID-0 & WD 3 TB || Iiyama XB2483HSU-B1 || Synology DS916+ 3x6TB + 120GB SSD Cache || Synology DS213+ 6TB backup


Acties:
  • 0 Henk 'm!

  • analog_
  • Registratie: Januari 2004
  • Niet online
thof schreef op zondag 07 april 2013 @ 12:18:
Wat ik mij altijd afvraag bij het gebruik van twee controllers om uitval op te vangen, is hoe het OS er op reageerd op het moment dat een device corrupte data terug gaat geven of in zijn geheel stopt met functioneren. Mij lijkt de kans namelijk best groot dat het OS dan crashed of dat de software die de data gebruikt gebruikt vastloopt. Ben wel benieuwd hoe dit in de praktijk werkt namelijk, iemand ervaringen?
Je kan het ook gebruiken voor andere raid vormen zolang je maar niet meer dan het aantal pariteitsdisks per controller aansluit. In ZFS zou dat zoiets zijn als een drie controllers, met ieder twee disks in raidz2 of drie controllers, met ieder drie disks in raidz3, ...

Ik heb zelf zo mijn ssd pair of mirrors volumes verdeelt over meerdere controllers. Heb het enkel nog nooit in praktijk zien falen maar mocht dit voorkomen licht ik jullie wel in. Ik heb ook geen idee hoe je dit goed kan simuleren, het hangt denk ik vooral af van de concrete driver implementatie of hij over de kop gaat.
FireDrunk schreef op zaterdag 06 april 2013 @ 21:04:
[...]

Oh ja? Ik zie NetApp, EMC, 3PAR, Dell PowerVault, HP LeftHands anders nooit met Mirrors :)
What can I say :? Dan hebben we andere configuraties bekeken, ik zie regelmatig >16 disks mirrored ZFS configuraties voorbij komen voor (met name) virtualisatie.

Acties:
  • 0 Henk 'm!

  • B2
  • Registratie: April 2000
  • Laatst online: 06:45

B2

wa' seggie?

SmiGueL schreef op zondag 07 april 2013 @ 16:58:
[...]


Moet dat geen 20TB zijn dan? :P (12x2TB, waarvan 2x2TB voor parity)
Om eerlijk te zijn zette jouw opmerking ook aan het denken. En inderdaad... de pool had ik niet als raidz2 aangemaakt :X
Stond toch nog geen data op, dus opnieuw aangemaakt :)

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 18-09 20:40
analog_ schreef op maandag 08 april 2013 @ 05:11:
[...]

What can I say :? Dan hebben we andere configuraties bekeken, ik zie regelmatig >16 disks mirrored ZFS configuraties voorbij komen voor (met name) virtualisatie.
Grappig dat jij een andere ervaring hebt! Het blijkt dus dat er in den lande toch nogal wat verschil is over het hebben van de beste configuratie voor bepaalde loads. Want bijna alle bedrijven denken wel dat ze zelf de beste oplossing hebben ;)

Bij de klanten waar ik gezeten heb, werd vaak gewerkt met insteekkaarten net NAND flash om de random reads te optimaliseren.

Even niets...


Acties:
  • 0 Henk 'm!

  • revox862
  • Registratie: September 2002
  • Laatst online: 16:51
FireDrunk schreef op maandag 08 april 2013 @ 09:11:
Bij de klanten waar ik gezeten heb, werd vaak gewerkt met insteekkaarten net NAND flash om de random reads te optimaliseren.
Jammer dat er dan direct weer flash tegenaan wordt gegooid. Met tunen kun je ook veel performance problemen oplossen.

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 18-09 20:40
Klopt, het is meer vanwege support vanuit de fabrikant... :)

Hoewel het alignen van disks on ESXi ook nogal veel verschil maakte :)

Even niets...


Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
B2 schreef op maandag 08 april 2013 @ 08:10:
[...]


Om eerlijk te zijn zette jouw opmerking ook aan het denken. En inderdaad... de pool had ik niet als raidz2 aangemaakt :X
Stond toch nog geen data op, dus opnieuw aangemaakt :)
Lijst bijgewerkt ;)

Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
analog_ schreef op maandag 08 april 2013 @ 05:11:

What can I say :? Dan hebben we andere configuraties bekeken, ik zie regelmatig >16 disks mirrored ZFS configuraties voorbij komen voor (met name) virtualisatie.
Is dat RAID 10 of RAID1?

Acties:
  • 0 Henk 'm!

  • ppl
  • Registratie: Juni 2001
  • Niet online

ppl

FireDrunk schreef op maandag 08 april 2013 @ 09:11:
Grappig dat jij een andere ervaring hebt! Het blijkt dus dat er in den lande toch nogal wat verschil is over het hebben van de beste configuratie voor bepaalde loads. Want bijna alle bedrijven denken wel dat ze zelf de beste oplossing hebben ;)
Duh, geen bedrijf en dus geen IT-omgeving is hetzelfde. Dan kies je natuurlijk sowieso de oplossing die het beste bij die omgeving en het lijstje met wensen en eisen past. Ik denk dat die mirrored setups wel in combinatie zullen zijn met striped setups (oftewel RAID10). Alleen maar mirrored lijkt me nogal sterk, je bent dan gewoon de helft van je disks kwijt en dat is nogal prijzig.

Acties:
  • 0 Henk 'm!

  • Jormungandr
  • Registratie: Oktober 2006
  • Laatst online: 18:25
Controller failure wordt op enterprise SAN zowiezo opgevangen door gewoon dual port disks, dual links en dual controllers te gebruiken. Bij een Service Processor failure trespassen alle LUN's gewoon naar de andere kant.
Mirroring wordt niet altijd gebruiken, maar is wel handig voor disaster recovery.

@ raid levels op arrays. Geloof het of niet, maar bij ons (EMC) gebruiken veel VNX/Clariion/Symm arrays gewoon RAID5. Voor trage en grote SATA disken wordt op VNX wel RAID6 gebruikt omdat de rebuild tijden iets te lang worden. Dit is echter niet verplicht. RAID 10 is een optie, maar als je weet dat je de helft van je disken kwijt bent op een array van 15disks x veel enclosures dan lopen de kosten hoog op. Op den duur dus hoger dan gewoon backups gebruiken.

Tot zover de enterprise talk, over naar DIY monsters :P.

Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
Jormungandr schreef op maandag 08 april 2013 @ 21:37:


Tot zover de enterprise talk, over naar DIY monsters :P.
Voor thuis telt alleen capaciteit, maar bij bedrijven heb je ook met IOPS te maken. Wij overwegen om gewoon meer spindels in te zetten, voor meer IOPS en de extra storage capaciteit gewoon onbenut te laten. Zonde, maar als je IOPS wil...


@B2 wat voor read/write performance haal hij op je Linux on ZFS configuratie? Heb je benches?

[ Voor 30% gewijzigd door Q op 08-04-2013 21:58 ]


Acties:
  • 0 Henk 'm!

  • analog_
  • Registratie: Januari 2004
  • Niet online
Ik had het dus over striped mirrors (raid10). Ik denk dat de motivatie is dat er niet 'zoveel' storage nodig is met een KISS mentaliteit en een upgrade pad naar flash/ram devices. Mogelijk dat ik wel over een iets kleinere schaal spreek dan jullie. Overigens hebben we nu nergens een plek om over enterprise storage te praten, dit leunt nog het meest er tegenaan vanwege de aspiratie, t'is echter een showoff topic :(

Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
analog_ schreef op maandag 08 april 2013 @ 21:57:
Ik had het dus over striped mirrors (raid10). Ik denk dat de motivatie is dat er niet 'zoveel' storage nodig is met een KISS mentaliteit en een upgrade pad naar flash/ram devices. Mogelijk dat ik wel over een iets kleinere schaal spreek dan jullie. Overigens hebben we nu nergens een plek om over enterprise storage te praten, dit leunt nog het meest er tegenaan vanwege de aspiratie, t'is echter een showoff topic :(
Ik vind enterprise geleuter over storage ook erg leuk / interessant, voor zover ik er verstand van heb. Maar ik zou ook niet weten hoe je dat op een betere plek kwijt kunt behalve in professional servers/netwerken. Het blijft toch een consumenten site, dus wat moet je.

Ik vind het zelf niet erg als er wat over bedrijfsmatige storage wordt geluld in dit topic. Ik denk dat dit voor de meeste bezoekers hier ook wel een interessant onderwerp is en hoewel er soms andere problemen spelen, kan het wel leerzaam zijn voor wie gewoon een zwak voor storage heeft.

Acties:
  • 0 Henk 'm!

  • BartNL
  • Registratie: Maart 2001
  • Laatst online: 15-09 13:52
Q schreef op maandag 08 april 2013 @ 22:02:
[...]Ik vind enterprise geleuter over storage ook erg leuk / interessant, voor zover ik er verstand van heb. Maar ik zou ook niet weten hoe je dat op een betere plek kwijt kunt behalve in professional servers/netwerken. Het blijft toch een consumenten site, dus wat moet je.

Ik vind het zelf niet erg als er wat over bedrijfsmatige storage wordt geluld in dit topic. Ik denk dat dit voor de meeste bezoekers hier ook wel een interessant onderwerp is en hoewel er soms andere problemen spelen, kan het wel leerzaam zijn voor wie gewoon een zwak voor storage heeft.
ben ik het niet mee eens. De professionele markt ligt heel ver van wat je zinvol privé in elkaar knutselt / gebruikt. Ik lees 10x liever een posting over een relatief simpele fileserver voor thuisgebruik dan geleuter een megadure zakelijke oplossingen.

Acties:
  • 0 Henk 'm!

  • B2
  • Registratie: April 2000
  • Laatst online: 06:45

B2

wa' seggie?

Q schreef op maandag 08 april 2013 @ 21:54:
[...]

@B2 wat voor read/write performance haal hij op je Linux on ZFS configuratie? Heb je benches?
Wat voor dd bench zou je willen zien?

Acties:
  • 0 Henk 'm!

  • VorCha
  • Registratie: November 2004
  • Laatst online: 11-06 21:15
Q schreef op maandag 08 april 2013 @ 22:02:
[...]
Het blijft toch een consumenten site, dus wat moet je.
Niet om het een of ander maar ik zie hier vrijwel constant betere en interessantere storage oplossingen langs komen dan in het bedrijfsleven en laat staan de overheid.

Hoe goed Enterprise oplossingen op papier kunnen zijn, ik zie het vaak niet zo geïmplementeerd. Het blijft maatwerk en dat pak zit vaak verschrikkelijk

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 18-09 20:40
Technisch misschien beter. Maar ook beter manageble?

Even niets...


Acties:
  • 0 Henk 'm!

  • Jormungandr
  • Registratie: Oktober 2006
  • Laatst online: 18:25
Beter dan enterprise? Leuk, maar toch net niet. Geen enkele in de lijst is zo resilient als een echte enterprise oplossing. Enterprise en home zijn twee totaal verschillende beestjes.

Het gaat hem hier om zoveel factoren, oa:
- Scalability
- TCO
- Accountability
- Manageability
- Resilience

Een ZFS whitebox is een superieure oplossing voor home en DIY, misschien zelfs voor een zelfstandige. Wanneer je naar grote bedrijven gaat zakt dit helemaal door de grond omdat het tekort komt op een aantal van de gegeven punten.

Dat enterprise oplossingen maatwerk zijn is logisch. Elke klant heeft een unieke workload, setup, IO size, ... . Verkeerde implementatie ligt eerder aan presales die hun job niet goed gedaan heeft of implementation die de mist in gaat. Hate the game, not the player ;).

Acties:
  • 0 Henk 'm!

  • VorCha
  • Registratie: November 2004
  • Laatst online: 11-06 21:15
Ik zeg niet dat je met huis, tuin en keuken oplossingen, enterprise storage oplossingen kunt optuigen. Wat ik bedoel is dat hier de thuis oplossingen vaak beter doordacht en op maat gemaakt zijn dan dat ik wel eens ben tegen gekomen in het bedrijfsleven en overheid.
Niet dat ze uitwisselbaar zijn.
En het ligt idd zeker niet aan de gekozen oplossing maar vrijwel altijd aan presales en implementatie enz. Ik ben zelfs tegengekomen dat een bepaalde storage oplossing gekozen werd omdat de manager zo fijn gelunched had met een accountmanager |:( 8)7 :'(
En dat terwijl er een poc op basis van backblaze duidelijk beter presteerde... 7(8)7

Acties:
  • 0 Henk 'm!

  • B2
  • Registratie: April 2000
  • Laatst online: 06:45

B2

wa' seggie?

Q schreef op maandag 08 april 2013 @ 21:54:
[...]
@B2 wat voor read/write performance haal hij op je Linux on ZFS configuratie? Heb je benches?
dd testje uitgevoerd :

Schrijven:
code:
1
2
3
4
b2@nas:/data/services$ dd if=/dev/zero of=test.file bs=1M count=102400 
102400+0 records in
102400+0 records out
107374182400 bytes (107 GB) copied, 160.626 s, 668 MB/s


Lezen:
code:
1
2
3
4
b2@nas:/data/services$ dd of=/dev/null if=test.file bs=16M
6400+0 records in
6400+0 records out
107374182400 bytes (107 GB) copied, 149.879 s, 716 MB/s

Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
B2 schreef op dinsdag 09 april 2013 @ 11:01:
[...]


dd testje uitgevoerd :

Schrijven:
code:
1
b2@nas:/data/services$ dd if=/dev/zero of=test.file bs=1M count=102400
Lijken mij uitstekende waarden. Ik verbaas me wel dat de schrijf performance zo hoog is, of komt dat door de SSD caching?

Acties:
  • 0 Henk 'm!

  • VorCha
  • Registratie: November 2004
  • Laatst online: 11-06 21:15
Q schreef op dinsdag 09 april 2013 @ 20:08:
[...]


Lijken mij uitstekende waarden. Ik verbaas me wel dat de schrijf performance zo hoog is, of komt dat door de SSD caching?
Zeker mooie waarden, ik kom in niet veel verder dan 140MB/sec op een 6 x 250GB RaidZ2 en 80MB/sec op een 6 x 1TB RaidZ2, maar van die laatste hebben 2 disks smart meldingen. Dus ik vermoed daardoor een performance issue

Acties:
  • 0 Henk 'm!

  • B2
  • Registratie: April 2000
  • Laatst online: 06:45

B2

wa' seggie?

Q schreef op dinsdag 09 april 2013 @ 20:08:
[...]


Lijken mij uitstekende waarden. Ik verbaas me wel dat de schrijf performance zo hoog is, of komt dat door de SSD caching?
Ik gebruik alleen een l2arc ssd voor het lezen, dus geen slog device. Bij een 10GB file was de schrijf snelheid nog hoger, rond de 800MB/s.

Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
Maar ff op borst kloppen: volgens mij heb ik nog steeds na bijna 4 jaar de kroon van de hoogste sequentiële read performance:

1.1 GB/s op een RAID6.

Ik had wel verwacht dat ik nu eens met al die snelle apparatuur verslagen zou zijn. :)

Of heb ik iemand over het hoofd gezien en verkeer ik in de ontkenningsfase?

Acties:
  • 0 Henk 'm!

  • analog_
  • Registratie: Januari 2004
  • Niet online
Q schreef op dinsdag 09 april 2013 @ 23:20:
Maar ff op borst kloppen: volgens mij heb ik nog steeds na bijna 4 jaar de kroon van de hoogste sequentiële read performance:

1.1 GB/s op een RAID6.

Ik had wel verwacht dat ik nu eens met al die snelle apparatuur verslagen zou zijn. :)

Of heb ik iemand over het hoofd gezien en verkeer ik in de ontkenningsfase?
Ik ben daar al lang over maar niemand heeft ooit iets opgemerkt over m'n posting. Hierbij opnieuw dus (met ZFS op openindiana):
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
dual sandy bridge 3.3G, 16GB ram (read/write/resilver per second): 

4x crucial m4 128G MLC
raid0:  1.87G/616M/1.79G 512G
raid10: 1.99G/272M/956M 256G
raid5:  1.54G/371M/1.77G 384G <chosen mode
raid6:  1.68G/261M/1.47G 256G

8x intel x25e 32G SLC
raid0: 1.76G/1.15G/1.86G 256G
raid10: 1.71G/774M/966M 128G <chosen mode
raid5: 1.56G/568M/1.04G 192G
raid6: 1.58G/439M/1.42G 156G


Jup met SSDs maar storage is storage. Ben nog bezig met srp te configureren en dan kan ESXi eindelijk genieten van jus-de-power. Het is ook een proof-of-concept opstelling met als doel schandalig veel IOPS te genereren.

[ Voor 17% gewijzigd door analog_ op 10-04-2013 00:14 ]


Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
Nooit opgemerkt. Ziet er heel bruut uit. Kun je eens een meting doen met dd en grote file size dus zeg 50GB ?

[ Voor 29% gewijzigd door Q op 10-04-2013 00:17 ]


Acties:
  • 0 Henk 'm!

  • analog_
  • Registratie: Januari 2004
  • Niet online
Q schreef op woensdag 10 april 2013 @ 00:16:
Nooit opgemerkt. Ziet er heel bruut uit. Kun je eens een meting doen met dd ?
Dat is getest met dd en 64G test file bestaande uit 3 20GB MKVs files in een tarfile, op de resilver na natuurlijk, dat is na het read/write testen gedaan.

[ Voor 20% gewijzigd door analog_ op 10-04-2013 00:21 ]


Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
Mag ik mij hooguit nog koning van de read performance van HDD-based software-RAID noemen :( ;)

Acties:
  • 0 Henk 'm!

  • analog_
  • Registratie: Januari 2004
  • Niet online
Q schreef op woensdag 10 april 2013 @ 00:19:
Mag ik mij hooguit nog koning van de read performance van HDD-based software-RAID noemen :( ;)
Yup, ik denk ook niet dat ik lang zal standhouden vanwege het gemak om erover te gaan, iedereen met ~500 euro over kan zich vier of acht recentere SSDs kopen en één m1015 kaart. De kost zit hem in de bandbreedte naar buiten de machine te leiden.

[ Voor 9% gewijzigd door analog_ op 10-04-2013 00:38 ]


Acties:
  • 0 Henk 'm!

Verwijderd

Ik ben bezig met het bouwen van een NAS. hij gaat het volgende bevatten:

- I3 Processor
- 16GB intern Geheugen
- 24 HD`s (tijdelijke test setup: 6x 250GB en 18x 160GB)
- Areca ARC-1300ix-16 controller
- Corsair Gaming GS800 voeding

Nu wil ik hem gaan installeren met FreeNAS met natuurlijk ZFS en SabNZB, Sickboard enz. enz. word dus gebruikt als download station maar ook als file opslag zoals documenten en foto`s en films.. enz. enz.

Ik zit nu alleen nog met een vraag voor welke RAID ik ga kiezen.. ik denk een RAIDZ of RAIDZ2 maar kan nog niet echt een keuze maken... misschien kunnen jullie me een advies geven..

wat ik wil:
- Zonder extreem moeilijke commando's een disc te kunnen vervangen bij defect
- Ook wil ik makkelijk kunnen uitbreiden van ruimte. dus makkelijk een 160gb vervangen voor een 500 of 1tb.. aangezien de 160gb hd`s een test opstelling is en ik ze 1 voor 1 met de tijd voor grotere wil vervangen..
- Data moet veilig staan maar ik wil niet extreem veel ruimte inleveren zoals een Mirror..

werken mijn wensen op een RAIDZ opstelling? zo ja hoe werkt dit dan in de praktijk? en zo nee waarom niet? (logisch :-) )

thanks!

Acties:
  • 0 Henk 'm!

  • psy
  • Registratie: Oktober 1999
  • Laatst online: 15-09 12:48

psy

BartNL schreef op donderdag 28 maart 2013 @ 21:42:
[...]

werkt altijd is als Tweaker natuurlijk een nadeel en je betaalt per slot duidelijk meer dan bij zelfbouw.
_/-\o_
Wat definieert een tweaker :9

8.960 Wp - 16 kW Daikin L/W - 2 x MHI L/L - gasloos sinds 2017 - Loxone - SAP/IS-U/ABAP - rijdt nog LPG ;-)


Acties:
  • 0 Henk 'm!

  • DDX
  • Registratie: April 2001
  • Nu online

DDX

Q schreef op dinsdag 09 april 2013 @ 23:20:
Maar ff op borst kloppen: volgens mij heb ik nog steeds na bijna 4 jaar de kroon van de hoogste sequentiële read performance:

1.1 GB/s op een RAID6.

Ik had wel verwacht dat ik nu eens met al die snelle apparatuur verslagen zou zijn. :)

Of heb ik iemand over het hoofd gezien en verkeer ik in de ontkenningsfase?
Met beetje nieuwe hardware moet jij zeker in te halen zijn.
Met mijn eigen server niet te doen, ssd readcache geeft zelfs lagere performance als ik grote files ga lezen.

Toevallig net opslag servertje op m'n werk neergezet. (perc710p raid6 12* 4tb wdc)
Telt niet mee voor dit topic, maar puur ter info de speed :
code:
1
2
3
4
5
6
7
8
# dd if=/dev/zero of=test.file bs=1M count=102400
102400+0 records in
102400+0 records out
107374182400 bytes (107 GB) copied, 64.2206 s, 1.7 GB/s
]# dd of=/dev/null if=test.file bs=16M            
6400+0 records in
6400+0 records out
107374182400 bytes (107 GB) copied, 86.4037 s, 1.2 GB/s


Al snap ik niet helemaal waarom schrijven op raid6 zo snel is (/vergeleken met lezen)

https://www.strava.com/athletes/2323035


Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
Dat is voor het eerst dat ik zulke performance zie.

Ik denk dat de RAID6 performance eventueel te verklaren is omdat het om nieuwe data gaat en dan kan in het RAID algoritme een shortcut worden genomen en heb je geen last van de 6 IOP write penalty. Of deze zin ook ergens op slaat is de vraag.

Je zou nog eens kunnen kijken met 'dstat' of je ook echt die performance ziet tijdens een DD sessie.

Acties:
  • 0 Henk 'm!

  • Waking_The_Dead
  • Registratie: Januari 2010
  • Laatst online: 04-07-2024
Verwijderd schreef op woensdag 10 april 2013 @ 20:10:
Ik ben bezig met het bouwen van een NAS. hij gaat het volgende bevatten:

- I3 Processor
- 16GB intern Geheugen
- 24 HD`s (tijdelijke test setup: 6x 250GB en 18x 160GB)
- Areca ARC-1300ix-16 controller
- Corsair Gaming GS800 voeding

Nu wil ik hem gaan installeren met FreeNAS met natuurlijk ZFS en SabNZB, Sickboard enz. enz. word dus gebruikt als download station maar ook als file opslag zoals documenten en foto`s en films.. enz. enz.

Ik zit nu alleen nog met een vraag voor welke RAID ik ga kiezen.. ik denk een RAIDZ of RAIDZ2 maar kan nog niet echt een keuze maken... misschien kunnen jullie me een advies geven..

wat ik wil:
- Zonder extreem moeilijke commando's een disc te kunnen vervangen bij defect
- Ook wil ik makkelijk kunnen uitbreiden van ruimte. dus makkelijk een 160gb vervangen voor een 500 of 1tb.. aangezien de 160gb hd`s een test opstelling is en ik ze 1 voor 1 met de tijd voor grotere wil vervangen..
- Data moet veilig staan maar ik wil niet extreem veel ruimte inleveren zoals een Mirror..

werken mijn wensen op een RAIDZ opstelling? zo ja hoe werkt dit dan in de praktijk? en zo nee waarom niet? (logisch :-) )

thanks!
RAID-Z1 met zo veel schijven lijkt me niet aangewezen. Twee RAID-Z2 vdevs misschien, al dan niet samen in 1 pool. Eentje met 10x160GB. Dan kan je van die resterende 8x160GB virtuele 4x320GB van maken en dan die 6x250GB er bij plaatsen. Zo heb je ook 10 (virtuele) schijven om in RAID-Z2 te plaatsen. Van die virtuele 320GB schijven wordt dan natuurlijk maar 250GB gebruikt omdat dat de laagste capaciteit is binnen de vdev.

Maar aangezien je je schijven op termijn toch wilt vervangen, zou ik me daar nu niet druk om maken.
Op die manier heb je uiteraard "slechts" 20 (virtuele) schijven ipv 24.

Of je maakt helemaal geen virtuele schijven en gebruikt die resterende 4 schijven dan voor een dedicated download vdev.

Aangezien het toch een testopstelling is, kan je beter gewoon zelf het een en ander uitproberen en zien wat je het best bevalt.

Acties:
  • 0 Henk 'm!

  • analog_
  • Registratie: Januari 2004
  • Niet online
Heb ook al eens zoiets opgemerkt met raid6 en een lsi9266 kaart met vier crucials m4. Ik weet niet of ik atto goed genoeg heb ingesteld (vermoeden van niet namelijk).
Afbeeldingslocatie: http://tweakers.net/ext/f/W99GtRyLMnhD82ai5767jWFM/full.png

[ Voor 46% gewijzigd door analog_ op 11-04-2013 01:20 ]


Acties:
  • 0 Henk 'm!

Verwijderd

Ik heb een X aantal 160gb Hd`s en een X aantal 250Hd`s. kan ik in Freenas met ZFS RAIDZ/1 een poel aanmaken van alle 160GB hd`s en een RAIDZ/1 poel aanmaken voor alle 250Hd`s en deze 2 poels als 1 volume laten werken? dus als 1 partitie/map/share op de computer..??

Acties:
  • 0 Henk 'm!

Verwijderd

Ja.

Acties:
  • 0 Henk 'm!

Verwijderd

SUPER!!! }:O kun je me een korte uitleg geven hoe.. wat moet ik en welke volgorde aanmaken? :*) :*)

Acties:
  • 0 Henk 'm!

Verwijderd

Sorry, dat kan ik niet. Heb zelf weinig tot geen ervaring met ZFS. Je moet het zoeken in het verschil tussen de pools en vdevs, meer weet ik zo niet uit mijn hoofd.

Acties:
  • 0 Henk 'm!

  • DDX
  • Registratie: April 2001
  • Nu online

DDX

Q schreef op woensdag 10 april 2013 @ 22:45:
Dat is voor het eerst dat ik zulke performance zie.

Ik denk dat de RAID6 performance eventueel te verklaren is omdat het om nieuwe data gaat en dan kan in het RAID algoritme een shortcut worden genomen en heb je geen last van de 6 IOP write penalty. Of deze zin ook ergens op slaat is de vraag.

Je zou nog eens kunnen kijken met 'dstat' of je ook echt die performance ziet tijdens een DD sessie.
Wat bedoel je met echte performance ?
Ik heb zelfde test gedaan met *10 size (dus ruim 1 TB schrijven/lezen) en krijg zelfde resultaten.

https://www.strava.com/athletes/2323035


Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 18-09 20:40
Ik vind het nogal wat... Hoevel RAM heeft die machine? Want ik geloof er eerlijk gezegd niet heel veel van dat die controller het voor elkaar krijgt om elke disk ruim 130MB/s aan sustained writes te laten doen...

Anders heeft Dell (of natuurlijk LSI, want dat is het) hun huiswerk wel echt heel goed gedaan... Heeft dat ding een flash cache?

@robertjan, meerdere vdev's vormen 1 pool.
Je kan (even uit het hoofd) op de command line een pool maken van meerdere vdev's als volgt:

Bron: http://pthree.org/2012/12...inistration-part-i-vdevs/

RAID10:
zpool create tank mirror GPT/ad0 GPT/ad1 mirror GPT/ad2 GPT/ad3


RAID 50:
zpool create tank raidz GPT/ad0 GPT/ad1 GPT/ad2 raidz GPT/ad3 GPT/ad4 GPT/ad5

[ Voor 37% gewijzigd door FireDrunk op 11-04-2013 18:21 ]

Even niets...


Acties:
  • 0 Henk 'm!

  • DDX
  • Registratie: April 2001
  • Nu online

DDX

Machine heeft 16GB ram (en raidcontroller 1GB cache)

https://www.strava.com/athletes/2323035


Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
DDX schreef op donderdag 11 april 2013 @ 16:24:
[...]


Wat bedoel je met echte performance ?
Ik heb zelfde test gedaan met *10 size (dus ruim 1 TB schrijven/lezen) en krijg zelfde resultaten.
Ik bedoel met echte performance dat je ook echt ziet dat er 1,nogwat GB/s verstookt wordt als je aan het writen bent, zie ook mijn youtube vid van mijn storage bak. Misschien dat er toch iets gecached wordt ofzo?

Je merkt het, ik zit in de ontkenningsfase ;)

Acties:
  • 0 Henk 'm!

  • Waking_The_Dead
  • Registratie: Januari 2010
  • Laatst online: 04-07-2024
Verwijderd schreef op donderdag 11 april 2013 @ 14:53:
Ik heb een X aantal 160gb Hd`s en een X aantal 250Hd`s. kan ik in Freenas met ZFS RAIDZ/1 een poel aanmaken van alle 160GB hd`s en een RAIDZ/1 poel aanmaken voor alle 250Hd`s en deze 2 poels als 1 volume laten werken? dus als 1 partitie/map/share op de computer..??
Ik denk dat je beter hier eens kan gaan kijken.

Acties:
  • 0 Henk 'm!

  • Megalith
  • Registratie: Juni 2009
  • Laatst online: 17:44
Na dik een jaar is het tijd om mijn systeem in dit topic maar eens te updaten. Er is inmiddels wel het een en ander veranderd. Van de Areca 1220 RAID6 ben ik zo'n 9 maand geleden overgestapt naar ZFS. Even daarna heb ik de iSCSI verbinding naar mijn ESXi machine vervangen door FibreChannel met een bijpassende switch >:)

Ik gebruik één grote pool voor films, muziek, LU's, en Time machine backups. Van de belangrijkste dingen (foto's, muziek en de LU's) wordt er dagelijks een snapshot genomen en dmv zfs send receive naar de 6TB pool gekopieerd. Ik ben bezig om hiervoor een mooi python script te schrijven maar kom er ivm tijdgebrek bijna niet aan toe.
Om de gebruikte bandbreedte, read/write operations en dergelijke een beetje bij te houden heb ik een C programma geschreven die ik nog steeds verder aan het ontwikkelen ben (klik..). Deze stuurt het naar een mysql database zodat ik de gegevens via andere manieren weer in kan zien.

System specifications zelfbouw 3U storage en HyperV bak
ComponentValue
CaseNorcotech RPC 3116
CPUIntel Xeon E3 1220 (LGA 1155, Quad Core, 3.1 GHz
RAM16GB Kingston ValueRAM ECC UDIMM
MotherboardSupermicro X9SCA-F (iPMI, KVM over IP, dual Gbit LAN
Operating systemOpenIndiana build 15a7
Controller2x IBM M1015
Hard drive10x Samsung EcoGreen F4EG HD204UI (2TB), 3x WD20EARS (2TB), 3x WD30EZRX (3TB), 1x Intel 320 120GB (ZIL), 2x Intel 330 60GB (L2ARC), 1x Intel X25-M 80GB (OS)
RAID array configuration 10 Samsung 2TB in RAIDZ-2 (16TB); 3 WD 3TB in RAIDZ (6TB); 3 WD 2TB in RAIDZ (4TB)
Netto storage capacity26TB
Network6x 1Gbit (4x dmv HP NC364T en 2x onboard) naar twee V1910-16G switches
2x 4Gbit (Emulex LPe11002) naar een Brocade Silkworm 200e
UPS-
FilesystemZFS
Idle power usageCa 100W. Hele rack om en nabij 200W


Foto's:
Afbeeldingslocatie: http://i36.tinypic.com/ojguis.jpg

Afbeeldingslocatie: http://i38.tinypic.com/bdpf69.jpg

Afbeeldingslocatie: http://i33.tinypic.com/24gt6xv.jpg

Afbeeldingslocatie: http://i35.tinypic.com/dxd1xj.jpg

Acties:
  • 0 Henk 'm!

  • Pantagruel
  • Registratie: Februari 2000
  • Laatst online: 14-09 10:44

Pantagruel

Mijn 80486 was snel,....was!

fcg123 schreef op woensdag 24 april 2013 @ 22:15:
Na dik een jaar is het tijd om mijn systeem in dit topic maar eens te updaten. Er is inmiddels wel het een en ander veranderd. Van de Areca 1220 RAID6 ben ik zo'n 9 maand geleden overgestapt naar ZFS. Even daarna heb ik de iSCSI verbinding naar mijn ESXi machine vervangen door FibreChannel met een bijpassende switch >:)

Ik gebruik één grote pool voor films, muziek, LU's, en Time machine backups. Van de belangrijkste dingen (foto's, muziek en de LU's) wordt er dagelijks een snapshot genomen en dmv zfs send receive naar de 6TB pool gekopieerd. Ik ben bezig om hiervoor een mooi python script te schrijven maar kom er ivm tijdgebrek bijna niet aan toe.
Om de gebruikte bandbreedte, read/write operations en dergelijke een beetje bij te houden heb ik een C programma geschreven die ik nog steeds verder aan het ontwikkelen ben (klik..). Deze stuurt het naar een mysql database zodat ik de gegevens via andere manieren weer in kan zien.

snip
Mooie setup, als ik zo'n klein Rack cabinet zie begint het toch lichtelijk te jeuken.
Ziet er toch beter, vooral op ruimte organisatie vlak, dan de het drietal kasten (midi/big tower) die ik in gebruik heb. Vooral het kleurschema is om van te :r (t bekende standaard crème, alu met zwart en een blauwe kast).

Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R


Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
Wat kostte 4Gbit fibrechannel je eigenlijk dus 2x nics + switch?
Hoe exporteer je disks/volumes op je NAS van ZFS naar je esxi server via FC? Is dat een fc configuratie?

[ Voor 45% gewijzigd door Q op 25-04-2013 11:07 ]


Acties:
  • 0 Henk 'm!

  • Megalith
  • Registratie: Juni 2009
  • Laatst online: 17:44
Met behulp van Comstar kun je op Solaris LUN's of vdevs over fibrechannel of iscsi exporteren. De FC HBA in de nas moet je wel eerst in target mode zetten. Standaard staan ze meestal op initiator mode. De HBA in de ESXi bak is zo ingesteld dat hij van een lun die op de nas staat boot. Op die manier ben ik geen enkele vorm van opslag meer nodig in m'n ESXi machine en het uitwisselen van blokken storage tussen verschillende vmware machines zou erg eenvoudig moeten zijn. Het enige nadeel is dat er een single point of failure is. Maar de belangen zijn hier niet zo groot dus dat neem ik voor lief :+

De switch heb ik op marktplaats voor 250 op de kop getikt. Alle 16 poorten zijn gelicenced op 4gbit. De dusl port HBA's een jaar geleden voor 75 pst inclusief een boel kabels.

Acties:
  • 0 Henk 'm!

  • Q
  • Registratie: November 1999
  • Laatst online: 17:24
Bedankt voor de toelichting.

FC is dus best wel betaalbaar eigenlijk 2e hands. Want een quad port NIC is ook pittig aan de prijs. Weet niet hoe het momenteel verhoudt tov infiniband maar het is interessant.

Acties:
  • 0 Henk 'm!

  • analog_
  • Registratie: Januari 2004
  • Niet online
Ter vergelijking, IB heeft mij 600e gekost in totaal voor 4 dual port DDR kaartjes en 4x 10meter QDR rated kabels.

Acties:
  • 0 Henk 'm!

Verwijderd

Ik heb net mijn zelfbouw NAS voor het eerst aangezet, hierin zit een Areca ARC-1300ix-16 maar FreeNAS zit totaal geen enkele HD.. Ook zal der volgens de handleiding van de controller een soort van bios scherm te zien zijn bij het booten van de pc maar ook deze krijg ik niet te zien.. iets mis met de kaart of doe ik wat fout?

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 18-09 20:40
Zie DM :)

Even niets...


Acties:
  • 0 Henk 'm!

  • timofp
  • Registratie: Juli 2007
  • Laatst online: 22-12-2024
Pi0tr schreef op donderdag 17 januari 2013 @ 20:11:
[...]


Heb je hier wat meer informatie over? Doe je dit met WOL ofzo? Dit is natuurlijk wel interessant...
Sorry voor de late reactie op deze vraag. Ik gebruik hier Lights Out voor. Ik gebruik de WHS2011 Client waar deze oorspronkelijk voor gemaakt is, maar ondertussen is de software voor andere besturingssystemen ook beschikbaar.

Je installeert het op de server waarop je de instellingen maakt (heel uitgebreid) en op de clients installeer je een plugin welke o.a. de server kan wekken bij het opstarten indien deze nog niet is opgestart.

Acties:
  • 0 Henk 'm!

  • fonsoy
  • Registratie: Juli 2009
  • Nu online
Een dikke maand heb ik mijn geupgrade server in gebruik genomen. Die upgrade was ook hard nodig, de vorige setup bevatte 'slechts' 6TB, en die was helemaal vol. Nu zit ik op de 16TB.
- Samsung HD204UI 2TB * 5 (de schijven uit de oude setup, met de coldspare er maar bij geplaatst)
- Hitachi 4TB * 3

Ik draai VMware ESXi. Zo kan ik de rekenkracht van de xeon toch nog nuttig gebruiken voor andere VM's. Ik draai o.a. een active directory, een subsonic server, ftp en dergelijken.
De RAID setup is voor beide bundels harde schijven RAID Z. ZFSguru draait namelijk ook als VM. Op het moment ben ik nog aan het testen wat handig is voor goede performance. Ik heb een van de twee RAID sets via iSCSi aan de Domain controller doorgegeven. Vanuit deze VM kan dan handig de permissies e.d. beheren. Ik ga binnenkort ook kijken naar een oplossing waarbij ik de ZFSguru ook in het domein betrek.

Hardware:
- Supermicro X9SCM-F
- Intel Xeon E3 1220V2
- 32GB DDR ECC 1333Mhz
- IBM M1015, via passthrough naar de ZFSguru
- No-name gouden USB stick als bootmedium van ESXi
- Samsung 256GB 840 Pro als datastore voor de VM's

Binnenkort nog kijken naar het interrupt storm probleem, als ik de ZFSguru meer dan 1 vCore geef. Als deze er een of twee extra krijgt, zal de performance helemaal de lucht in schieten. Op het moment haal ik 100 MB/s continue, dus klagen mag ik niet. Desondanks stop ik nog niet met tweaken :)

Het is een leuke hobby, zullen we maar zeggen :D
code:
1
2
3
[tr]
[td][url=http://gathering.tweakers.net/forum/list_message/40329811#40329811]fonsoy[/url][/td][td] 16 TB[/td][td] RAID Z [/td][td] 8 [/td][td]ESXi[/td][td]ZFSguru op ESXi, icm IBM M1015.[/td]
[/tr]

Afbeeldingslocatie: http://i.imgur.com/etrDHpIl.jpg

Lenovo W520 - i7 2720QM - 8GB DDR3 1333Mhz - 1080p - Nvidia 1000M - 9 cell accu


Acties:
  • 0 Henk 'm!

  • GioStyle
  • Registratie: Januari 2010
  • Laatst online: 19:33
En wat voor kast is dat? :)

Acties:
  • 0 Henk 'm!

  • heuveltje
  • Registratie: Februari 2000
  • Laatst online: 18-09 20:51

heuveltje

KoelkastFilosoof

God die heb ik ook nog 1 gehad.
Ideale kastjes, 3 x5.2.5 onder. plaats voor 2 schijven, en dan weer 3x5.25
En dat alles in iets kleiner dan een midi tower. hoe heette dat kreng ook alweer

Oe lol gevonden :) avance b031
(als het hem niet is lijkt ie er iig op :) )
heuveltje in "Show je Server (deel 2)"
grappig dat nadat ik al 8 jaar wegben bij chello, mijn webpagina daar nog steeds lijkt te bestaan :?
wel jammer dat net de interne foto ontbreekt :(

Afbeeldingslocatie: http://members.chello.nl/~r.vandenheuvel/Obelix_side.jpg
Mmm was blijkbaar toch net anders, och ja, het was een leuke weg down "memory lane"

[ Voor 42% gewijzigd door heuveltje op 30-05-2013 21:36 ]

Heuveltjes CPU geschiedenis door de jaren heen : AMD 486dx4 100, Cyrix PR166+, Intel P233MMX, Intel Celeron 366Mhz, AMD K6-450, AMD duron 600, AMD Thunderbird 1200mhz, AMD Athlon 64 x2 5600, AMD Phenom X3 720, Intel i5 4460, AMD Ryzen 5 3600 5800x3d


Acties:
  • 0 Henk 'm!

  • GioStyle
  • Registratie: Januari 2010
  • Laatst online: 19:33
Oh, het is geen kast met 9 5.25" bays?

Acties:
  • 0 Henk 'm!

  • nero355
  • Registratie: Februari 2002
  • Laatst online: 28-02 22:21

nero355

ph34r my [WCG] Cows :P

Kreeg deze link binnen en moest meteen aan dit topic denken : http://arstechnica.com/in...ited-data-77-tb-in-month/

Ik vind dat die een uitnodiging voor dit topic moet krijgen _O_

|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||


Acties:
  • 0 Henk 'm!

Verwijderd

fonsoy schreef op donderdag 30 mei 2013 @ 20:51:
Binnenkort nog kijken naar het interrupt storm probleem, als ik de ZFSguru meer dan 1 vCore geef. Als deze er een of twee extra krijgt, zal de performance helemaal de lucht in schieten. Op het moment haal ik 100 MB/s continue, dus klagen mag ik niet. Desondanks stop ik nog niet met tweaken :)
Toevallig heb ik nog geen 12 uur geleden een oplossing gevonden voor dat probleem die bij mijn setup lijkt te werken:

http://christopher-techni...devices-from-esxi-to.html

Acties:
  • 0 Henk 'm!

  • Xesxen
  • Registratie: Juli 2009
  • Laatst online: 16:09
nero355 schreef op vrijdag 31 mei 2013 @ 01:33:
Kreeg deze link binnen en moest meteen aan dit topic denken : http://arstechnica.com/in...ited-data-77-tb-in-month/

Ik vind dat die een uitnodiging voor dit topic moet krijgen _O_
Afbeeldingslocatie: https://i.xesxen.nl/3258-seedhoukou.png
Zijn huide stand bij een torrenttracker :)

Wie kan inschatten wat voor stroom die setup gebruikt?

Rare vogel in spe

Pagina: 1 ... 24 ... 38 Laatste

Let op:
Om heftige discussies te voorkomen in het topic, lees eerst goed de start post om te weten waar aan het systeem moet voldoen. Ben je van mening dat jouw systeem toch in dit topic hoort maar valt hij niet binnen de gestelde eisen, neem dan contact op met een van de auteurs van dit topic zij zullen open staan voor goede argumenten, zoals ook vermeld in de start post.

Gebruik de in de TS geplaatste tabel om dit topic leesbaar te houden!