Het grote DIY RAID NAS topic deel 3

[msxer]

Misschien hebben jullie wel gelijk en ben ik te paranoia aan het worden

Ik begrijp uit jullie reacties dat er maar weinigen zijn die een RAID-Z3 met 7 disks nuttig vinden t.o.v. de meerkost, en dat RAID-Z2 maw prima voldoet.

[FireDrunk]

Zeker, misschien als je echt een beest van een backup server wil maken, die juist de offsite is van een ander datacenter, dan zou je kunnen overwegen om iets van 3* 11 schijven in RAIDZ3 te zetten... Maar verder.

[msxer]

Helemaal duidelijk, bedankt.

Heb ik nog 1 punt waar ik over twijfel, en dat is de plaats van het OS :

- bij op de RAID-Z2 array zetten
- op een USB stick
- op een SSD
- op een 2.5" HDD

Ook hier primeert weer de vraag wat is de veiligste oplossing.

Is het bijvoorbeeld veiliger om OS en datadisks gescheiden te houden ?

Heeft het voordelen bij diskfaillure dat het OS op een aparte schijf staat ?

[FireDrunk]

Veiligste is natuurlijk om je OS op het veiligste medium te zetten... Als dat je data disks zijn, dan is dat wel het veiligst.

Dat het de meest praktische oplossing is, zou ik niet zeggen...

Ik heb zelf gewoon het OS op een SSD staan. Je kan als je ZFS-on-Root gebruikt netjes een scriptje maken dat een snapshot maakt, en daarna dit snapshot naar een backup filesystem op je pool schrijft. Dan heb je altijd een backup.

Persoonlijk ben ik niet zo bang voor mijn OS... Dat installeer ik zo opnieuw... Ik heb dan ook geen applicaties (behalve SabNZBdPlus) op mijn Storage VM.

Als je iets veiliger wil zijn, kan je 2 SSD's in een ZFS mirror zetten.

[msxer]

Ok, dus in geval van falen van het OS kan je altijd met een nieuwe install terug aan je data.

Het is niet zo dat het OS gegevens opslaat die je nodig hebt om bij je data op de RAID-Z2 array te kunnen ?

[FireDrunk]

Zeker niet. je kan een livecd pakken met ZFS support (Er zijn een aantal Linux distro's die die gemaakt hebben, en je kan iets als ZFSguru gebruiken).

Daarmee kan je je pool importeren, en daarna de backup terugzetten.

[msxer]

Mooi, dus met een livecd kan je sowieso terug opstarten om de nodige reparaties aan het OS te doen.

Het lijkt me dan idd wel makkelijker/praktischer om het OS op een aparte disk te hebben staan ipv verspreid over je pool, of is dit niet de reden waarom jij voor een SSD gekozen hebt ?

[FireDrunk]

In mijn setup, is de SSD de datastore in ESXi. Daarop staat een VM, welke zijn root volume op die datastore heeft. Via VT-d geef ik een controller door, waar mijn data storage aan zit, welke op ZFS gebaseerd is.

In mijn geval is mijn OS dus nooit redundant omdat het via ESXi gaat. De VM in kwestie is zo ontzettend klein en simpel opgezet dat ik daar geen backups van maak. Letterlijk de enige applicaties die er op draaien zijn: Samba, SabNZBdPlus, NFS Server, en CollectD (een monitoring daemon).

Die configuratie is met 15-20 minuten opnieuw opgebouwd. Voor mij niet de moeite om moeilijk te gaan doen met RAID controllers om mijn SSD storage redundant te krijgen in ESXi.

[FREAKJAM]

LibreNMS al eens bekeken? Ook een leuke monitoringtool.

[ Voor 25% gewijzigd door FREAKJAM op 18-12-2014 13:12 ]

[msxer]

Nog een vraagje voor de kenners :

crucial MX100 of M500 de betere keuze ?

Volgens Cipher op het ZFSguru forum zou de M500 betere foutcorrectie hebben ?

qoute:
I like Crucial MX100 because of their price and the protection mechanisms they employ. The power-safe capacitors are quite unique for a consumer SSD product and the RAID5 bitcorrection is a nice extra. The MX100 has 1/127 bitcorrection while the M500 has 1/16 bitcorrection. The latter is superior, but the MX100 is a tad cheaper and better available.

[FireDrunk]

Denk dat ze relatief vergelijkbaar zijn. Mijn mening: Kies de goedkoopste.

[Verwijderd]

Klopt helemaal; diegene heeft er verstand van!

Serieus: de M500 heeft betere RAID5 ('RAIN') bescherming, maar onbekend is wat de ruwe BER is van het NAND geheugen. Het kan zijn dat de MX100 beter NAND heeft en dat de mindere bescherming van RAID5 daarmee compenseert. Toch denk ik dat de M500 op zich wel iets beter is dan de MX100 omdat de MX100 duidelijk als budget wordt gepresenteerd; en 16nm NAND heeft normaliter ook een slechtere BER. De M550 heeft 2xnm NAND en waarschijnlijk dus ook betere BER dan de MX100.

[FireDrunk]

Mja, dat is (denk ik) alleen van belang als je het ding echt op zijn top gaat belasten... Als je het ding gewoon als casual SSD gaat gebruiken, zul je er in de levensduur dat je het ding in gebruik hebt, niets van merken.

Ga je het ding als L2ARC inzetten voor een pool met 10-tallen tot 100-den users, is het een ander verhaal misschien...

FREAKJAM schreef op donderdag 18 december 2014 @ 13:11:
LibreNMS al eens bekeken? Ook een leuke monitoringtool.

Ziet er niet verkeerd uit... Ben niet zo'n fan van PHP moet ik eerlijk zeggen, maar goed, dat is bijna alles tegenwoordig

[ Voor 33% gewijzigd door FireDrunk op 18-12-2014 14:23 ]

[msxer]

Prijsverschil MX100 en M500 is verwaarloosbaar, dus dan kies ik voor de M500.

[FireDrunk]

Beide prima keuzes!

[Het_Eendje]

Pantagruel schreef op dinsdag 16 december 2014 @ 20:45:
Kort door de bocht, nee, niet zonder t nodige risico!.

[...]

Als je minder haast hebt stel je de aankoop uit en schaf je meteen 3 disks aan. Ja RAIDZ van 3 disks is duurder (€283.5/6TiB = €47.25 per 1 TiB)), maar per saldo verlies je slechts 33% van de disk capaciteit, terwijl je bij mirroring 50% verlies moet nemen (€189/3TiB = €63 per 1 TiB), wat per bruikbare TiB in weze duurder is.

Dank je wel voor je uitgebreide reactie. Mooi dat de hardware-setup op zich prima is (ook voornamelijk gebaseerd inderdaad op de topics hier op Tweakers). Ik zag inderdaad dat de overhead afneemt naarmate je meer schijven erin stopt. Het is dan wel verleidelijk om er meerdere schijven in te stoppen. Aan de andere kant neemt het stroomverbruik dan toe. Op zich geen grote bedragen (tientje per schijf per jaar ongeveer, dacht ik), maar toch zonde als je de ruimte niet gebruikt.

De datatoevoer of wijzigingen in bestaande data zullen niet groot zijn (paar honderd MB per week hooguit), maar ik heb geen idee hoe die snapshots zich gedragen, bv. hoeveel overhead daar nog in zit. Kost het dan daadwerkelijk enkel deze paar 100MB aan wijzigingen aan ruimte bij een nieuwe snapshot?

Wellicht is het slim om wat je wilt en wat je wenst eens voor je zelf uit te schrijven. Nu lijkt het erop dat je ergens mee begint en gaande weg als maar meer wilt waarvoor de setup wellicht niet super geschikt is.

Je hebt hier wel een beetje gelijk, denk ik. Een tijdje terug heb ik een externe schijf aangeschaft voor het maken van back-ups. Op zich prima, want zo'n schijf kun je op een andere locatie bewaren en dan ben je redelijk safe. Vervolgens kom ik tot de conclusie dat dit eigenlijk heel onhandig is. Het liefst zou ik automatisch een off-site back-up willen. Zodoende zou ik graag een zuinig servertje willen. Daarna kwam ik ZFS tegen, dat toch wel erg veel voordelen biedt: datacorruptie wordt gedetecteerd en je kunt snapshots maken zonder dat het bergen ruimte kost. En als je er nu twee schijven in stopt kan de server de data automatisch herstellen. En dan komen we nu al bijna bij 3 schijven.. Het loopt een beetje uit de hand misschien.

Als ik het goed begrijp is het niet eenvoudig om veilig data te behouden als je een schijf toevoegt, ivm. single point of failures e.d. Aan de andere kant, dit systeem zelf is in feite een back-up van data die ik nu op mijn pc heb staan en waarvan de belangrijkste data ook nog eens op een externe hardeschijf staat. Hoeveel risico neem ik nu als ik er straks toch achter kom eigenlijk een extra schijf nodig te hebben en dat dan blijkt dat ik de hele server leeg moet gooien? Voor een bedrijfsoplossing lijkt het me ook niet handig, maar voor thuis? Het voornaamste probleem is dat je mogelijk de snapshots dan kwijtraakt, maar de nieuwste versie kan ik toch zo weer van mijn pc of externe schijf naar de server kopiëren?

MTDjassen schreef op woensdag 17 december 2014 @ 09:11:
Ik draai op hetzelfde bordje FreeNAS tot tevredenheid. Heb inderdaad een gat in m'n case waar de voeding hoort, maar erger me er niet zo aan. Eventueel kun je afsluitende stukjes metaal kopen voor ervoor maar ik heb die noodzaak tot noch toe nog niet gevoeld. Zorg dat je een kwalitatief goede en efficiënte adapter koopt, geen chinese meuk want daar krijg je spijt van (en een afgefikt huis). Ik haalde zelf deze en die werkt prima op max 80W. Lager kan eventueel, als je er geen 3 schijven aan hangt, bv 60W. Ik heb hier niet voor gekozen.

Inderdaad zijn kleine kastjes waar toch 3*3.5" in kan wat aan de schaarse kant, ik heb zelf een standaard tower gekocht omdat het voor mij weinig uit maakte (staat toch niet in het zicht).

Dank je wel voor je reactie. Ik heb me nog niet zo verdiept in adapters, maar je hebt wel gelijk dat die behoorlijk belast worden als ze 24/7 moeten werken. Ik zal je suggestie voor adapter meenemen. Een afgefikt huis heb ik liever ook niet.

Zo'n gat in de behuizing hoort er dus gewoon bij. Over de behuizing twijfel ik nog een beetje. Op zich fijn om je servertje af en toe mee te kunnen nemen, aan de andere kant zul je dat ook niet zo vaak doen.

[player-x]

msxer schreef op donderdag 18 december 2014 @ 11:19:
Ik ben van plan om voor 4TB schijven te gaan, waarschijnlijk WD Green's omdat deze veel worden aangeraden.

RAID-Z2 zou dus 6x 4TB worden of RAID-Z3 7x 4TB.

Ik zou voor 6x WD RED gaan.

Als ik moet kiezen puur voor betrouwbaarheid tussen, RAIDZ-3 met 7x Green, of RAIDZ-2 met 6x RED, is voor mijn de keuze snel gemaakt, en kies ik voor zeker voor de WD REDs.

Ik gebruik zelf RAIDZ-3 + 2x hot-spare, maar dat is omdat ik in mijn offline back-up server mijn oude array van 16x 750GB schijven (effectief 8TB) gebruik, en al voldoende had aan 3~4TB voor back-up onvervangbare privé data, en ik met die 7j oude schijven wat extra zekerheid wou.

[msxer]

Ok, maar ik dacht de de TLER functie van de Red's nadelen heeft icm ZFS.

Quote van Cipher hierover:

Het punt is dat WD Red schijven standaard TLER hebben geactiveerd. Dit beperkt de recoverytijd tot 7 seconden. Daarmee kun je zeggen dat je de recovery functionaliteit van de hardeschijf min of meer hebt uitgeschakeld.

Zolang je een redundante ZFS pool hebt, dus een mirror of RAID-Z die compleet is, of je gebruikt copies=2, dan zit je veilig en ben je bestand tegen bad sectors. Dan heb je de recovery functionaliteit van je hardeschijf niet nodig.

Maar stel je draait RAID-Z en je mist één schijf (stuk, whatever) en gedurende de rebuild met een nieuwe schijf, krijg je opeens last van een of meerdere bad sectors. In dat geval is het niet fijn dat je laatste mogelijkheid om de data uit te lezen - de recovery functionaliteit van de hardeschijf zelf - effectief de nek om hebt gedraaid. In die omstandigheid wil je juist dat de schijf alle tijd krijgt en misschien na een aantal retries met 120sec recovery wel die sector kan uitlezen. Dat is mij met SpinRite en met gewoon 'dd' met een script dat dit herhaaldelijk uitvoert, wel degelijk gelukt op meerdere schijven. Kortom, de recovery functionaliteit kan heel nuttig zijn en het is eigenlijk jammer dat je dat moet uitschakelen.

Waarom dan recovery uitschakelen? Waarom niet gewoon aanlaten? Dat is het punt; onboard RAID op Windows OS en de meeste Hardware RAID zijn beide gevoelig voor timeouts. Eigenlijk zijn ze heel 'dom' in die zin dat ze een timeout van meer dan 10 seconden beschouwen alsof de hele schijf opeens defect zou zijn. Dit terwijl een consumentenschijf vrolijk probeert te recoveren. Als je dus een 'strenge' RAID controller gebruikt die TLER gedrag verwacht van hardeschijven, dan heb je WD Red nodig met TLER functionaliteit. Dergelijke RAID engines zijn eigenlijk incompatible met normale consumenten hardeschijven. Dat is een zwakte van die RAID controllers/engines, niet van de schijf zelf in mijn opinie.

Als je TLER nodig hebt, dan moet je TLER hebben. Als je het niet nodig hebt, zoals bij ZFS, dan wil je het liever niet. Je kunt namelijk altijd in het operating system de timeout instellen die je wilt hebben; dus wat TLER doet kun je ook aan de zijde van het OS doen. Voor ZFS is WD Green dus mijns inziens de beste keus. Voor Windows onboard RAID en Hardware RAID gebruik je WD Red. Maar WD Reds kun je wel prima met ZFS gebruiken; alleen in specifieke situaties maakt het uit: geen redundancy meer, maar wel een bad sector op de schijf.

[player-x]

msxer schreef op donderdag 18 december 2014 @ 21:28:
Ok, maar ik dacht de de TLER functie van de Red's nadelen heeft icm ZFS.

Met WDTLER.EXE kan je dat gewoon aanpassen, naar een setting die je wilt, het is dus geen probleem om bij een RED de TLER aan te passen indien nodig.

[msxer]

Dat brengt me dus weer aan het twijfelen...

Ik wil ZFSguru gaan gebruiken, en was door het lezen van het ZFS topic eigenlijk vrij zeker van mijn keuze voor de WD greens.

Maar als de TLER verder geen belemmering is, dan heb je voor ongeveer 25 euro bij de REDs wel een jaar extra garantie.

Maar je leest dan weer verhalen dat de greens en reds inwendig gewoon identiek zouden zijn, en dat enkel de firmware verschilt.
Of dat de greens vooral in het eerste half jaar uitvallen en dat ze nadien minder storingsgevoelig blijken.
Moeilijke keuze...

[Verwijderd]

Volgens de BackBlaze-studie zouden WD Greens ook vooral falen in het eerste jaar en nauwelijks tussen het 2e en 3e jaar. Nu moet je dergelijke studies met een grote korrel zout nemen, maar ik zelf zou de meerprijs het niet waard vinden. Bedenk ook dat buiten de EU je 2 jaar extra krijgt (3 jaar ipv 1 jaar garantie) dus in de EU is de meerprijs het nog minder waard.

[msxer]

Maar ze kunnen dus wel allebei perfect werken met ZFSguru ?

Als ik het goed samenvat:
- bij de greens moet je de headparking aanpassen
- bij de reds de TLER functie

Is dus meer een afweging van extra jaar garantie tegenover de meerprijs.

[Verwijderd]

Klopt ja. De TLER functie kun je ook aanlaten, mits je niet je redundancy verliest. Dus TLER is prima als je een redundante array hebt en dan een bad sector. Dan heb je de recovery niet nodig van je array. Op het moment dat je degraded RAID-Z draait en dan een bad sector hebt, dan wil je graag wel dat de error recovery van de schijf functioneel is, omdat dit je laatste kans is om de data foutloos uit te lezen.

Gelukkig heeft ZFS wel beveiligde metadata zelfs op single-disk pools; dus onafhankelijk van redundancy. Dit werkt middels ditto blocks, beter bekend als copies=2. Voor metadata is dit standaard; voor data moet je dit specifiek activeren. De metadata is wat het filesystem consistent houdt en de extra gegevens zoals filenaam, checksum en directorystructuur opslaat; alles dus behalve de inhoud van het bestand zelf. Als de metadata corrupt raakt, heb je ook geen toegang meer tot het bestand en kan zelfs het hele filesystem corrupt raken. Bij ZFS is dit extreem zeldzaam door alle additionele beveiligingen.

[player-x]

Verwijderd schreef op vrijdag 19 december 2014 @ 00:26:
dus in de EU is de meerprijs het nog minder waard.

De REDs hebben een auto ballancer in de motor zitten, dus hebben ze minder vibraties dan Green's, is voor mij de meer prijs wel waard, en de extra jaar garantie, hoewel maar een kleine plus, is daar boven op altijd meegenomen.

[FireDrunk]

@CiPHER, wat je vaak (in mijn ogen) nog vergeet te vertellen, is dat een schijf zonder TLER je hele pool laat bokken. In principe is dit geen probleem, en wachten applicaties wel, maar er zijn genoeg applicaties die met bepaalde timeouts toch echt sterven.

Denk aan Databases, Virtual Machines, iSCSI Servers, NFS (maar dat ligt meer aan de client), Samba (Windows Clients).

Dit kan ook negatieve gevolgen hebben voor de consistentie van je applicaties. Die kans is niet groot, maar moet je zeker niet weglaten... Als 'snachts je pool ineens begint te bokken, en je gaat bijvoorbeeld via iSCSI backups maken, of ineens veel data in een database schrijven. Is het theoretisch mogelijk dat deze applicaties crashen/corrupt raken... Dat is zeker een fout van de applicatie, en niet van ZFS, maar het is wel een scenario om rekening mee te houden...

Persoonlijk ben ik meer fan van RAIDZ2 icm TLER, dan bijvoorbeeld RAIDZ zonder TLER... RAIDZ met TLER is zoals CiPHER zelf aangeeft lastig als je tijdens het rebuilden van 1 schijf een bad sector tegenkomt... Dat heb je bij RAIDZ2 dan weer niet zo snel...

[msxer]

Even proberen te vertalen in mijn eigen woorden

Het komt er dus eigenlijk op neer dat als je maar 1 schijf hebt die uit mag vallen, zoals bij RAID-Z, het beter is om geen TLER te hebben omdat ZFS dan kan blijven proberen de fout op de schijf te herstellen zonder een timeout van de TLER functie.

Met RAID-Z2 is dit minder van belang omdat je dan 2 schijven hebt die uit mogen vallen, en dus bij uitval van de eerste schijf (en timeout door TLER op de eerste schijf) , de kans dat je ook problemen hebt op de 2e schijf waarbij ook hier een timeout optreed door TLER wel heel erg klein is.

[FireDrunk]

Klopt, en op het moment dat de schijf een rotte sector tegenkomt, kan ZFS diezelfde sector nog herstellen door de redundancy van de tweede schijf.

[msxer]

Begin het eindelijk een beetje door te krijgen

[Verwijderd]

FireDrunk schreef op vrijdag 19 december 2014 @ 08:51:
@CiPHER, wat je vaak (in mijn ogen) nog vergeet te vertellen, is dat een schijf zonder TLER je hele pool laat bokken.

Out of the box is dit inderdaad de standaard behavior; maar dat kun je prima tunen. Wat de hardeschijf zelf doet met TLER, kan het operating system even goed. In plaats van de logica bij de hardeschijf te plaatsen, is het veel logischer om dit op het niveau van de host te regelen. De host heeft immers meer mogelijkheden om te weten wat verstandig is; de hardeschijf weet zelf niet of je nog redundancy hebt ja of nee.

ZFSguru heeft het volgende in de /boot/loader.conf staan:

code:

# mimic TLER behavior
# note: error recovery is useful in cases where you lost your redundancy!
kern.cam.ada.default_timeout="7"
kern.cam.da.default_timeout="7"
kern.cam.ada.retry_count="2"
kern.cam.da.retry_count="2"

Volgens mij nog wel commented out, maar dat kun je dus eenvoudig inschakelen.

Persoonlijk ben ik meer fan van RAIDZ2 icm TLER, dan bijvoorbeeld RAIDZ zonder TLER... RAIDZ met TLER is zoals CiPHER zelf aangeeft lastig als je tijdens het rebuilden van 1 schijf een bad sector tegenkomt... Dat heb je bij RAIDZ2 dan weer niet zo snel...

De ideale situatie is als ZFS bij één seconde latency al direct naar een andere (redundante) bron grijpt en direct de trage disk met waarschijnlijk een bad sector zou overschrijven. Dit gebeurt nu pas nadat het operating system een I/O error afgeeft voor die disk. Dat is erg jammer want als ZFS op dit punt zou worden aangepast heb je het beste van beide werelden:

• Snelle timeout (1 seconde) bij redundante pools; nog véél beter dan TLER dus.
• Nog steeds volledige 120 seconden recovery time bij niet-redundante pools zoals een degraded RAID-Z

Dat is natuurlijk wat we allemaal willen. Hoe dan ook; TLER in de firmware van een hardeschijf regelen, vind ik gewoon een vieze hack/workaround voor iets wat het operating system zou moeten doen. Het is natuurlijk voornamelijk bedoeld voor strenge legacy RAID controllers die een disk met bad sectors niet kan onderscheiden van een gefaalde disk.

[FireDrunk]

Best case scenario communiceert ZFS met je OS dat het graag data van een schijf wil, maar gaat het ondertussen ook halen bij een andere schijf.

Zodra de oude schijf asynchroon meld dat er toch data opgehaald is (dmv ECC recovery ofzo), kan ZFS altijd bepalen of de data correct is.

Doet de schijf na 120 seconden nog moeilijk, kan ZFS tegen het OS zeggen, he uh, dat request van net, dat duurt me te lang, doe er maar iets aan. Dan kan je OS ingrijpen omdat de Applicatie het te lang vindt duren...

[Verwijderd]

FireDrunk schreef op vrijdag 19 december 2014 @ 13:43:
Best case scenario communiceert ZFS met je OS dat het graag data van een schijf wil, maar gaat het ondertussen ook halen bij een andere schijf.

Dat is ook wat ik voorstel.

Bij RAID-Z familie kan ZFS prima van alle disks lezen ipv alleen de disks waar data op staat. Als ZFS ook van de parity disk leest kan het zelf besluiten om binnen no-time zelf de informatie van de langzaamste disk te herconstrueren. Een 'soft timeout' van 100ms zou dit al kunnen triggeren.

Bovendien zou ZFS een 'verify' optie kunnen krijgen, zoals sommige RAID5/6 controllers ook hebben, die bij elke read ook de parity controleert en zonodig corrigeert. Dat is nu nog niet zo bij ZFS, hebben wij een jaar geleden ofzo eens getest met gstat.

Doet de schijf na 120 seconden nog moeilijk, kan ZFS tegen het OS zeggen, he uh, dat request van net, dat duurt me te lang, doe er maar iets aan. Dan kan je OS ingrijpen omdat de Applicatie het te lang vindt duren...

Dit is momenteel niet hoe het bij ZFS is geïmplementeerd. ZFS doet verder niets met timeouts. Als het OS geen timeout (I/O error) geeft op een disk, dan wacht ZFS oneindig lang.

Door ZFS wat slimmer te maken op dit gebied, zou je dus het beste van beide werelden kunnen hebben: zonder TLER toch wel supersnelle 'soft timeouts' hebben waarbij de data van de parity disk gelezen wordt, en als het nodig is toch de volledige 120 seconden recoverytijd bij degraded RAID-Z met een bad sector, bijvoorbeeld.

Kan het waard zijn eens te opperen bij de BSD devs.

[FireDrunk]

Exact, hoeft maar een paar regels code te zijn.

Scenario A: "Notify OS of missing redundancy, so increase OS timeout of disk (which doesn't have TLER enabled)"

Scenario B: "Reset the IO Request to a disk, because we have redundancy to coop with the lack of data from a drive."

[ Voor 5% gewijzigd door FireDrunk op 19-12-2014 14:17 ]

[msxer]

Ben ondertussen begonnen met de praktische kant van mijn zelfbouw server.

Omdat de Seasonic G360 voeding niet genoeg sata aansluitingen heeft zal ik een verloop moeten gaan gebruiken.

Nu kwam ik deze tegen :

https://ri-vier.eu/drive-...el-p-207.html?cPath=18_65

Dus van molex naar 6 keer sata.

Lijkt interessant, iemand ervaring mee misschien ?

[FREAKJAM]

Ik heb zelf ook een G360 voeding in combinatie met een molex naar sata. Ik heb zelf de Bitfenix variant.
pricewatch: BitFenix Adapter (Molex to 4 x SATA Power)

Dit is trouwens ook nog een mogelijkheid: (past alles precies onder elkaar)
pricewatch: Silverstone SST-CP06 4x SATA

[ Voor 27% gewijzigd door FREAKJAM op 20-12-2014 00:16 ]

[msxer]

Kijk, nog meer mogelijkheden, die Bitfenix was ik nog niet tegengekomen.

Zou het verder een probleem zijn om 6 HDD's aan 1 molex kabel te hangen ?

[FREAKJAM]

Ik weet het eigenlijk niet, maar Silverstone adviseert zelf om niet meer dan 4 schijven aan één molex te hangen.

Warning：Do not use more than four hard drives on one single power cable

Ik zou het dus niet doen

[msxer]

Ok, dan verdeel ik het wel tussen een molex en een sata kabel.

Trouwens nog bedankt om je ervaring met het X10SL7-F moederbord te delen, heb hem nu zelf ook

[FREAKJAM]

Graag gedaan! Ik heb je trouwens nooit verteld wat mijn verbruik is van mijn setup, maar dat komt omdat ik het simpelweg niet weet. (besef nu ook dat ik je sowieso was vergeten een bericht terug te sturen).

Binnenkort misschien toch eens een metertje kopen en kijken wat de boel vreet aan stroom. Veel bouwplezier in ieder geval!

[msxer]

Thanks, zal mijn verbruik ook posten als ik hem draaiende heb.

Zal iets voor de kerstdagen worden (als ik alles nog op tijd besteld krijg).

[player-x]

msxer schreef op zaterdag 20 december 2014 @ 00:10:
Omdat de Seasonic G360 voeding niet genoeg sata aansluitingen heeft zal ik een verloop moeten gaan gebruiken.

Nu kwam ik deze tegen :

Ik haat molex connectoren, geven veel te vaak problemen, vooral als je ze doorverbind, persoonlijk gebruik ik altijd losse stekkers die ik op de kabel druk.



Werkt perfect, heb zelf eens een zak met 100 van die stekkers op eBay gekocht voor $9 + $15 porto, kom voorlopig niet te kort.

Als je toch voor een molex > SATA kabeltje gaat, zeker die verbinding dan iig wel met een kleine Tyrap, kan je een hoop problemen schelen.

[FireDrunk]

Ligt een beetje aan het type verloopje. Er is rommel op de markt, maar ook prima spul... Even goed uitzoeken helpt

Persoonlijk gebruik in molex -> 4x SATA van ik dacht BitFenix.. Geen hokkiewokkiekabeltje van 2 euro, maar een deftige gesleevde kabel van 6,99 ofzo.

Ik heb zelf ook problemen gehad met de 'goedkope' normale zwart rood geel gekleurde kabels met witte stekkers.

Mijn huidige verloopje doet het al jaren prima, en daar wordt regelmatig aan gerommeld

[ Voor 60% gewijzigd door FireDrunk op 20-12-2014 09:51 ]

[player-x]

FireDrunk schreef op zaterdag 20 december 2014 @ 09:19:
Persoonlijk gebruik in molex -> 4x SATA van ik dacht BitFenix.. Geen hokkiewokkiekabeltje van 2 euro, maar een deftige gesleevde kabel van 6,99 ofzo.

Sleeving zegt heel erg weinig over de kwaliteit van de kabel, het kopen van een bekent merk zegt wat meer, daar die bedrijven hun naam verbinden aan het product dat ze verkopen.

Gaat echt een heel stuk veder dan wat de meeste mensen zouden doen, maar ik knipte in het verleden de molex verbindingen er af, en soldeerde ze dan, daarna krimpte ik er krimpkous over heen om de verbinding te isoleren/beschermen, is de meest betrouwbare oplossing, gebruikte geen elektrische tape daar dat los laat met de tijd.

[riwi]

FREAKJAM schreef op zaterdag 20 december 2014 @ 00:13:
Dit is trouwens ook nog een mogelijkheid: (past alles precies onder elkaar)
pricewatch: Silverstone SST-CP06 4x SATA

Die vind ik erg handig en netjes. Zeker als je harddisks dicht bijelkaar gemonteerd zijn. Geeft minder kabel fuss. Ik heb er een stuk of 6 in gebruik in mijn kast.
Heb wel gemerkt dat je ze niet moet daisychainen. Dus iedere CP-06 op een eigen sata connector en niet 3x een CP-06 achter elkaar hangen want dan kreeg ik vage problemen met disken die weg vielen @random.



meer plaatjes van mijn NAS build : http://etmriwi.home.xs4all.nl/pc/pc_desktop2.htm

[ Voor 5% gewijzigd door riwi op 20-12-2014 14:27 ]

[matty___]

riwi schreef op zaterdag 20 december 2014 @ 14:22:
[...]


meer plaatjes van mijn NAS build : http://etmriwi.home.xs4all.nl/pc/pc_desktop2.htm

Mijn ogen wat doe je

[-The_Mask-]

riwi schreef op zaterdag 20 december 2014 @ 14:22:
[...]


Die vind ik erg handig en netjes. Zeker als je harddisks dicht bijelkaar gemonteerd zijn. Geeft minder kabel fuss. Ik heb er een stuk of 6 in gebruik in mijn kast.
Heb wel gemerkt dat je ze niet moet daisychainen. Dus iedere CP-06 op een eigen sata connector en niet 3x een CP-06 achter elkaar hangen want dan kreeg ik vage problemen met disken die weg vielen @random.

En liefst niet meer dan ~6A door één 12V draad. Je kunt dus niet op elke connector op dezelfde draad zo'n SST-CP06 zetten. Dan kan het namelijk ook wel goed mis gaan. Smeltende kabels of connectors, waardoor kortsluiting kan ontstaan en alles naar de filistijnen kan gaan. Je voeding is door zijn single rail van 70A ook zo goed als niet tegen kortsluiting beveiligd op de 12V rail dus dan kan het goed misgaan.

meer plaatjes van mijn NAS build : http://etmriwi.home.xs4all.nl/pc/pc_desktop2.htm

Die moet je even hier plaatsen, is verdiend.

[player-x]

-The_Mask- schreef op zaterdag 20 december 2014 @ 17:03:
Je voeding is door zijn single rail van 70A ook zo goed als niet tegen kortsluiting beveiligd op de 12V rail dus dan kan het goed misgaan.

Hoewel technisch nagenoeg alle voedingen tegenwoordig single rail zijn, hebben meerdere tegenwoordig wel een overbelasting beveiliging ingebouwd.

En word er vaak van meerdere 20~30A virtuele rails gebruik gemaakt, de gebruikte HX850W, die ik ook heb heeft dat niet trouwens.

Het is dus zeker als je een zwaardere voeding kiest, om te kijken of die meerdere virtuele rails heeft, een dergelijke voeding is makkelijk te herkennen, heet heeft bv een totaal vermogen van 70A, en 3 rails van 30A.

[VorCha]

Eens kijken of iemand meer zou willen weten over het volgende;
# df --total
Filesystem Size Used Avail Use% Mounted on
acheron:/datastore1 2,6T 805G 1,9T 31% /mnt/acheron
lethe:/volume1 3,6T 626G 3,0T 18% /mnt/lethe
styx:/volume1 5,4T 2,3T 3,1T 43% /mnt/styx
/dev/sdc1 2,7T 2,3T 315G 88% /mnt/data
total 15T 5,9T 8,2T 43%

[-The_Mask-]

player-x schreef op zaterdag 20 december 2014 @ 17:38:
[...]

Hoewel technisch nagenoeg alle voedingen tegenwoordig single rail zijn, hebben meerdere tegenwoordig wel een overbelasting beveiliging ingebouwd.

En word er vaak van meerdere 20~30A virtuele rails gebruik gemaakt, de gebruikte HX850W, die ik ook heb heeft dat niet trouwens.

Het is dus zeker als je een zwaardere voeding kiest, om te kijken of die meerdere virtuele rails heeft, een dergelijke voeding is makkelijk te herkennen, heet heeft bv een totaal vermogen van 70A, en 3 rails van 30A.

Eh wat probeer je precies te zeggen? Hetzelfde wat ik zei ongeveer maar net anders?

[thibautb]

Welke 8 of meer sata 300/600 raid controller raden julie mij aan? Ik heb een budget van ongeveer maximum 200 euro, en os is windows. En ook kan je het zelfde bij een raidcontroller doen als bij windows rst, dus een schijf er bij doen en dan moet niet alles verwijderd worden?

[msxer]

Nog even terugkomen op het uitbreiden van het aantal sata aansluitingen van mijn voeding.

Ik zie dat de pricewatch: Silverstone SST-CP06 4x SATA een condensator ingebouwd heeft van 2200μ om de spanning te helpen stabiliseren.

Zie specificaties :
The SilverStone SST-CP06 is a set of continuous SATA cable connectors designed to facilitate cabling and reduce clutter inside a PC with multiple SATA devices. It hooks up to four SATA devices via four right angled connectors. Two high quality 2200μF capacitors are included on the cable to provide stable voltage to all connected devices. So if you have a lot of SATA drives in your system, the CP06 is a must buy for improving aesthetics and drive reliability.

Is zo'n condensator echt een voordeel ?

[ Voor 7% gewijzigd door msxer op 21-12-2014 20:42 ]

[player-x]

msxer schreef op zondag 21 december 2014 @ 20:29:
Is zo'n condensator echt een voordeel ?

Niet bijzonder, het heeft zowel voor als nadelen.

Het vangt spanningspieken op, en zorgt voor een ietsjes meer stabiele spanning, maar het laden van de condensator tijdens opstarten is ook weer een nadeel.

Onder de streep is het niet echt een plus of een min imho.

[msxer]

Hoeveel watt(of ampères) zou dit dan extra trekken bij het opstarten ?

[player-x]

Geen idee, maar het zal vast niet echt zo schokkend zijn dat het problemen oplevert.

[msxer]

We gaan het gewoon proberen, vindt deze het interessants omdat de sata stekker mooi dicht bij elkaar zitten.

[A1AD]

FREAKJAM schreef op zaterdag 20 december 2014 @ 00:30:
Binnenkort misschien toch eens een metertje kopen en kijken wat de boel vreet aan stroom.

Ik ben trouwens ook heel benieuwd naar het verbruik van jou setup.

[Verwijderd]

riwi schreef op zaterdag 20 december 2014 @ 14:22:
[...]
meer plaatjes van mijn NAS build : http://etmriwi.home.xs4all.nl/pc/pc_desktop2.htm

Als je er vleugels op monteert, kan je concurreren met de google balonnen!

[FireDrunk]

@Riwi, Ben je niet bang dat die RocketRaids mottig gaan lopen doen icm ZFS?

[BartNL]

msxer schreef op zondag 21 december 2014 @ 21:39:
Hoeveel watt(of ampères) zou dit dan extra trekken bij het opstarten ?

het zijn 2x 2200uF condensatoren. De capaciteit in F is zo dat bij 1 volt een 1 F condensator gedurende 1 seconde 1 ampere kan leveren. Silverstone kabeltje heeft 0,044 F en zal bij harde schijf op 12V werken. Capaciteit is dan milliseconden lang iets in de orde van enkele ampere. Theoretisch heeft dit voordeel wanneer er al veel vermogen (zo groot dat je bij meer vermogen spanning zakt) aan het kabeltje hangt.
In de praktijk zitten in je PSU veel grotere condensatoren die bij begin van het kabeltje de spanning stabiliseren.
Je moet al een ongewenst grote belasting aan je kabeltje hebben om de Silverstone condensatoren zinvol te laten zijn. Nadelig is het m.i. nooit.

[Ultra]

Heeft iemand nog een tip voor een webshop waar ze harde schijven wel goed inpakken?
Ik heb al een zending geretourneerd omdat de bundel schijven in een enkele laag noppenfolie zaten, die los kon rondstuiteren in een grote doos (met daarin ongeveer de helft van Ultra in "Het grote DIY RAID NAS topic deel 3" ).
Daarna heb ik bij een andere webshop besteld, waar ze dubbellaags noppenfolie per schijf en wat papier om de boel te fixeren voldoende vinden. Ik twijfel of ik ook deze zending zal retourneren, vooral omdat het waarschijnlijk nergens anders wel naar mijn standaard zal gaan.

[riwi]

-The_Mask- schreef op zaterdag 20 december 2014 @ 17:03:
En liefst niet meer dan ~6A door één 12V draad. Je kunt dus niet op elke connector op dezelfde draad zo'n SST-CP06 zetten. Dan kan het namelijk ook wel goed mis gaan. Smeltende kabels of connectors, waardoor kortsluiting kan ontstaan en alles naar de filistijnen kan gaan. Je voeding is door zijn single rail van 70A ook zo goed als niet tegen kortsluiting beveiligd op de 12V rail dus dan kan het goed misgaan.

Ik heb bewust een single rail voeding gekozen met veel amps op de 12V lijn. Vorige voeding trok het booten niet en door de 3 rails en het gebrek aan documentatie over welke rail op welke kabels actief was leek me de single rail beter.
Ik heb 3x 10 schijven en gebruik 3 sata power kabels van de HX850. Aan bijna iedere sata connector hangt dan een CP-06. Alle fans (11 stuks) zitten op een molex uitgang van de HX850 met bitfenix molex naar 3xfan splitsers

De machine draait al meer dan een jaar super stabiel. Ik ben bezig een tweede machine op te tuigen. Waarschijnlijk weer met de super mooie Lian Li PC-D8000 kast die overigens niet te tillen is met 30 schijven vanwege de omvang en het gewicht.

-The_Mask- schreef op zaterdag 20 december 2014 @ 17:03:
Die moet je even hier plaatsen, is verdiend.

Daar heb ik geen toegang, maar dat hoeft ook niet

[riwi]

FireDrunk schreef op maandag 22 december 2014 @ 06:47:
@Riwi, Ben je niet bang dat die RocketRaids mottig gaan lopen doen icm ZFS?

Ik gebruik de raid functies niet, maar je kan ze idd niet in "IT" mode flashen dus in principe blijft de "raid" er tussen zitten. Ik had/heb ook een highpoint 2300 (PCI-E 1x met 4x sata) en daar had ik het probleem dat na elke boot ZFS( Guru destijds) klaagde omdat de controller wat bytes weg schrijft op de disken waardoor ZFS denkt dat ze stuk zijn. Die kon ik dan handmatig onlinen en replace'n met zichzelf dan draaide het weer tot de volgende reboot.

Met de 2720 en 2740 heb ik geen problemen gehad kwa ZFS. Dat werkt vlekkeloos. Ik heb wel issues gehad dat onder linux de bootschijf /dev/sda wijzigt na het laden van de marvel driver in bv. /dev/sdx. Ik heb dat opgelost door bij het booten niet naar /dev/sda te wijzen maar naar de /dev/disk/by-id van de disk.
http://www.linuxquestions...prevents-boot-4175474284/

Zoals gezegd problemen die ik heb gehad was met onvoldoende power van de voeding, met daisychainen van de CP-06'en en 2x een schijf die sata bus error's gaf die ik gewoon vervangen heb door nieuwe schijven.

[-The_Mask-]

riwi schreef op maandag 22 december 2014 @ 12:26:
[...]

Ik heb bewust een single rail voeding gekozen met veel amps op de 12V lijn. Vorige voeding trok het booten niet en door de 3 rails en het gebrek aan documentatie over welke rail op welke kabels actief was leek me de single rail beter.

Welke voeding was dat?

Ik heb 3x 10 schijven en gebruik 3 sata power kabels van de HX850. Aan bijna iedere sata connector hangt dan een CP-06

Dus 10 hardeschijven per kabel? Met gebruik van staggered spin-up? En welke hardeschijven zijn het, zit nogal wat verschil in verbruik.

. Alle fans (11 stuks) zitten op een molex uitgang van de HX850 met bitfenix molex naar 3xfan splitsers

Een gemiddelde fan is vrij zuinig, alleen de straaljager modellen willen wel wat nemen. 0,3A daar houd het vaak wel mee op, 11 fans is dan nog maar 3,3A, dat kan gemakkelijk over één draad.

[riwi]

-The_Mask- schreef op maandag 22 december 2014 @ 13:22:
Welke voeding was dat?

[...]
Dus 10 hardeschijven per kabel? Met gebruik van staggered spin-up? En welke hardeschijven zijn het, zit nogal wat verschil in verbruik.

Een zalman ZM500. Deed het verder altijd goed. Tot 16 schijven deed ie het ook goed. Toen ik naar 24 ging had ik problemen met booten. Je hoorde de disks dan stotteren bij het starten. En dan startte maar een deel.
Staggered spinup werkt alleen als alles op 1 controller zit. Mobo en 2 sata controllers kletsen niet met elkaar. Heb de staggered spinup uit gezet want zonder werkt het ook prima.

Ja ongeveer 10 schijven per sata power kabel uit de HX850.
Dat verhaal met de oververhitting is leuk bedacht, maar die disken hebben alleen tijdens de spin up zo veel power nodig. daarna zakt het naar 5W of minder.
Tijdens boot meet ik +-600 Watt en powered up ong. 280W. Na spindown van alle pools rond de 100W.

Disken zijn vrijwel allemaal Seagate desktop modellen. 2T, 3T en 4T :
10x Seagate st4000dm000(4TB)
10x Seagate st3000dm001(3TB)
7x Seagate st2000dl003(2TB)
2x Seagate Baracuda ST32000542AS(2TB)
1x Western Digital WD20EARS green(2TB)

[thibautb]

riwi schreef op maandag 22 december 2014 @ 14:33:
[...]


Disken zijn vrijwel allemaal Seagate desktop modellen. 2T, 3T en 4T :
10x Seagate st4000dm000(4TB)
10x Seagate st3000dm001(3TB)
7x Seagate st2000dl003(2TB)
2x Seagate Baracuda ST32000542AS(2TB)
1x Western Digital WD20EARS green(2TB)

Wat is de failrate d'er op? Want iedereen zegt dat je geen seagate's zou mogen gebruiken omdat die zo slecht zijn?

[riwi]

thibautb schreef op maandag 22 december 2014 @ 14:47:
Wat is de failrate d'er op? Want iedereen zegt dat je geen seagate's zou mogen gebruiken omdat die zo slecht zijn?

Iedereen praat elkaar na en wijst naar backblaze. Backblaze hebben resonerende storage pods en sub optimale koeling. Sommige schijven kunnen daar niet goed tegen. Ik lees op de ZFS-on-Linux mailing list ook negatieve berichten over Seagate, maar mijn ervaringen zijn 100% positief.
Bij mij hangt bijna alles in rubbers en met 11 fans ook goed gekoeld.

Schijven park met defecten :
10x Seagate 4.0TB : ST4000DM000 (5900 rpm) (sata3, 64MB)
10x Seagate 3.0TB : ST3000DM001 (7200 rpm) (sata3, 64MB)
9x Seagate 2.0TB : ST2000DL003 (5900 rpm) (sata3, 64MB) (2x broken)
1x Seagate 2.0TB : ST2000DM001 (7200 rpm)
2x Seagate 2.0TB : ST32000542AS (5900 rpm)
2x WesternDigital 2.0TB : WD20EARS Caviar Green 2TB, 64MB (1x broken)
4x Samsung 1.5TB : HD154UI Green (5400 rpm)
4x Seagate 1.5TB : ST31500341AS
6x Samsung 1TB : HD103UJ (4x wil niet goed starten)
5x Samsung 750G : HD753LJ
4x Samsung 500G : HD501LJ

Dus :
WD = 1 van 2 stuk = 50%
Samsung 4 van 19 stuk = 21%
Seagate 2 van 36 stuk = 5%

Maargoed alles met 1.0T of minder ligt in een krat dus die zullen niet snel stuk gaan. De 1T en 1.5T stonden vroeger 24x7 aan dan hebben ze wel meer te lijden.

[Pantagruel]

riwi schreef op maandag 22 december 2014 @ 14:57:
[...]


Iedereen praat elkaar na en wijst naar backblaze. Backblaze hebben resonerende storage pods en sub optimale koeling. Sommige schijven kunnen daar niet goed tegen. Ik lees op de ZFS-on-Linux mailing list ook negatieve berichten over Seagate, maar mijn ervaringen zijn 100% positief.
Bij mij hangt bijna alles in rubbers en met 11 fans ook goed gekoeld.

Schijven park met defecten :
10x Seagate 4.0TB : ST4000DM000 (5900 rpm) (sata3, 64MB)
10x Seagate 3.0TB : ST3000DM001 (7200 rpm) (sata3, 64MB)
9x Seagate 2.0TB : ST2000DL003 (5900 rpm) (sata3, 64MB) (2x broken)
1x Seagate 2.0TB : ST2000DM001 (7200 rpm)
2x Seagate 2.0TB : ST32000542AS (5900 rpm)
2x WesternDigital 2.0TB : WD20EARS Caviar Green 2TB, 64MB (1x broken)
4x Samsung 1.5TB : HD154UI Green (5400 rpm)
4x Seagate 1.5TB : ST31500341AS
6x Samsung 1TB : HD103UJ (4x wil niet goed starten)
5x Samsung 750G : HD753LJ
4x Samsung 500G : HD501LJ

Dus :
WD = 1 van 2 stuk = 50%
Samsung 4 van 19 stuk = 21%
Seagate 2 van 36 stuk = 5%

Maargoed alles met 1.0T of minder ligt in een krat dus die zullen niet snel stuk gaan. De 1T en 1.5T stonden vroeger 24x7 aan dan hebben ze wel meer te lijden.

In gebruik:

3x Seagate 3.0TB : ST3000DM001, 2 stuks gestorven en vervangen, 66,6%
10x WD 2.0TB: WD20EARS Green, 2 stuks infant mortality, 1 gestorven, allen vervangen, 30%
4x Samsung 1.5TB : HD154xx, 1 gestorven (na 4 a 5 jaar gok ik), ruimschoots afgeschreven, 25%
4x Samsung 1TB : HD103xx, 2 gestorven (na 4 a 5 jaar gok ik), ruimschoots afgeschreven, 50%
--------------------------------------------------------
2x Samsung 750G : HD753xx, 0%
6x Samsung 320 GB: 1 drive aan het overlijden , ruimschoots afgeschreven, 16,7%
4x WD 300 GB: 0%
2x Samsung 160 GB: 0%

Eerlijkheids halve zeg ik er wel bij dat alles beneden de 1 TB voor test doeleinden ingezet word en dus hoofdzakelijk stil staat/ligt. De 2 stuks 160 GB Sammies zijn de mirorred boot schijven van de zfsguru install en dus wel in gebruik.

Alle disks boven de streep slijten of hebben hun dagen gesleten in 4-in-3 modules van CM voorzien van een fan, dus redelijk trillingsvrij en koel.

Voor alles geldt dat de aantallen absoluut te klein zijn om er een zinnige uitspraak aan te verbinden anders dan een onderbuikgevoel.

[ Voor 4% gewijzigd door Pantagruel op 22-12-2014 15:46 ]

[BartNL]

riwi schreef op maandag 22 december 2014 @ 14:57:
[...]Iedereen praat elkaar na en wijst naar backblaze. Backblaze hebben resonerende storage pods en sub optimale koeling.

niemand LEEST wat Backblaze zelf concludeert. Op een of andere manier is er ergens selectief gequote dat de Hitachi / HGST schijven de beste zijn. Het lijkt bijna een Hitachi / HGST PR stunt. Backblaze zelf koopt n.a.v. de statistieken 4TB Seagates....

[riwi]

Ik had ook alleen die conclusie gequote gezien. Maar tevens dat bepaalde series van Seagate bij hen minder goed scoorden.
Het zou leuk zijn als Google bv statistieken van disk uitval zou geven. Dan zijn de aantallen nog groter. Maar ook dan zijn de omstandigheden van belang.

Ik koop de Seagates omdat ze goedkoop zijn, ik graag allemaal "dezelfde" disks wil met soortgelijk gedrag kwa TLER, smart etc. En je kan ze vaak nog lang kopen. Hoewel bij de laatste 2TB moest ik een ST2000DL003 vervangen met een ST2000DM001 omdat de 5900rpm'ers er niet meer waren. En WD had van die vage specs kwa toerental waarbij ze het toerental niet wilden specificeren.

Als je Pantagruels ervaring en de mijne naast elkaar zet deden die Samsung schijfjes het nog niet zo slecht. De 1TB'ers bij mij spinnen nog wel op aan een fatsoenlijke voeding. Met een Sharkoon met esata willen ze niet meer.

[msxer]

@BartNL

Bedankt om de werking van de condensatoren in de CP-06 uit te leggen.

Ik had vooral vraagtekens bij het nadelig effect van de condensatoren bij het opstarten.

Dus dat ze tijdens het opstarten nog eens extra ampères zouden trekken waardoor de HDD's tijdens het opspinnen misschien wel te weinig zouden krijgen.

Als ze in milliseconden al opgeladen zijn dan zijn ze mijn inziens al vol vooraleer de HDD's beginnen op te spinnen.

[ Voor 9% gewijzigd door msxer op 22-12-2014 19:43 ]

[-The_Mask-]

riwi schreef op maandag 22 december 2014 @ 14:33:
[...]


Een zalman ZM500. Deed het verder altijd goed. Tot 16 schijven deed ie het ook goed. Toen ik naar 24 ging had ik problemen met booten. Je hoorde de disks dan stotteren bij het starten. En dan startte maar een deel.

Als je de ZM500-HP bedoeld dat is idd een FSP Epsilon voeding welke bekend staat om zijn slechte OCP implementatie dus dat zou kloppen. Ook is het een design wat erg veel ripple genereert wat weg moet worden gefilterd door de condensators alleen zijn deze condensators niet van echt goede kwaliteit en worden ze ook nog eens slecht gekoeld. Veel van deze voedingen zijn al stuk, maar lang niet altijd merkt de gebruiker dit. Vaak wordt die nog gewoon door gebruikt terwijl de voeding een dikke ripple op de andere onderdelen zet, dat is echt slecht voor je hardware. Dus was sowieso verstandig geweest de voeding te vervangen.

Staggered spinup werkt alleen als alles op 1 controller zit. Mobo en 2 sata controllers kletsen niet met elkaar. Heb de staggered spinup uit gezet want zonder werkt het ook prima.

Ik heb er geen ervaring mee maar waarom werkt het niet met losse controllers? Maakt toch niet uit dat de controllers niet met elkaar communiceren? Dat sommige HDD's dan wel tegelijkertijd worden gestart maakt niet uit, zolang ze dat maar niet allemaal tegelijkertijd doen.

Ja ongeveer 10 schijven per sata power kabel uit de HX850.
Dat verhaal met de oververhitting is leuk bedacht, maar die disken hebben alleen tijdens de spin up zo veel power nodig. daarna zakt het naar 5W of minder.
Tijdens boot meet ik +-600 Watt en powered up ong. 280W. Na spindown van alle pools rond de 100W.

Is niet iets wat ik bedenk is iets wat een serieus probleem is. Als je 10 hardeschijven tegelijkertijd laat opspinnen en alles zit aangesloten op maar één 12V draad trek je zo maar 20A door de draad heen, ongetwijfeld dat de spanning in zo'n geval hard inzakt door de weerstand die je krijgt met zo'n stroom door een dunne draad en allemaal niet geweldige connecties. De vraag is hoe leuk de hardeschijven dit vinden.

Volgens Seagate verbruiken de hardeschijven zelfs zo'n 7/8W tijdens lezen/schrijven, als ik zo wat reviews lees dan is 7W voor de 12V ook vrij normaal. Qua stroom tijdens lezen en schrijven zit je dan wel goed, mits je geen slechte connectie hebt.

Wat echter best wel vaak voorkomt is een slechte connectie bij verloopjes. In zo'n geval wordt de connector dus warm, smeltende connectors is iets wat je regelmatig langsziet komen op het internet. Zelfs ook wel eens een gesmolten sata power connector gezien.

Normaalgesproken zou dan de kortsluitbeveiliging wel in werking moeten treden, maar die wordt bij jouw voeding niet zo maar getriggered. De 12V rail van de HX850 Silver heeft namelijk geen enkele beveiliging, geen OCP, SCP, OVP of UVP helemaal niks. De voeding schakelt pas uit bij iets van 1000W waardoor je een kortsluitstroom van meer dan 80A moet hebben wil de voeding uitschakelen. 80A krijg je niet zo maar door één 12V draad heen, kan dus best zijn dat de voeding gewoon aan blijft omdat de kortsluitstroom lager is. En dan wil je niet weten wat er in je PC gebeurt.

Daarom erg opletten met zoiets, slim is het iig niet wat je doet.

[databeestje]

Van de seagate barracuda es.2 hebben we ongeveer de helft in 3 jaar vervangen op meer dan 50 stuks.

De andere seagate en hgst schijven hadden we deze problemen niet. Zelfs de consumenten seagate barracudas deden het veel beter.

Ook de es.2 schijven in de Dell equallogic gingen erg snel. Een half array in 5 jaar.

[BartNL]

het is inderdaad beter om bepaalde typenummers te mijden dan een merk. Elk merk heeft af en toe een slechte serie. De HGST's zijn op dit moment wel meest betrouwbaar maar persoonlijk koop ik nog 4TB Seagates die in mijn setup ook zeer betrouwbaar blijken.

[BartNL]

-The_Mask- schreef op maandag 22 december 2014 @ 20:22:
[...]
Wat echter best wel vaak voorkomt is een slechte connectie bij verloopjes. In zo'n geval wordt de connector dus warm, smeltende connectors is iets wat je regelmatig langsziet komen op het internet.

count me in, gesmolten molex connector...

[player-x]

BartNL schreef op maandag 22 december 2014 @ 23:06:
count me in, gesmolten molex connector...

Ik moet echt niks meer hebben van molex connectoren.

Heb er letterlijk maar een in al mijn systemen, die op mijn Aquaero 6 zit fan controller, voor de rest gebruik ik alleen SATA stroom connectoren voor mijn rand apparatuur, en heb nieuwe kabels besteld om de de molex kabels te vervangen van mijn modulaire kabels, die ik gebruik van mijn HX850W in mijn server.

[ijdod]

Ben langzamerhand weer eens aan het kijken naar vervanging van mijn huidige "NAS". Dit is nu een Asus barebone met C2D cpu, 4 GB RAM en 2x1TB Samsung schijven in RAID1. OS is Ubuntu, en naast de usual suspects qua services fungeert deze ook als router naar de glasvezelverbinding. Dit alles draait nu al 5 jaar zonder problemen, maar dat houdt een keer op. Merendeel van de data is vervangbaar, van de kritische data wordt regelmatig een externe backup gemaakt. Voornaamste doel is het makkelijk beschikbaar stellen van onze DVD collectie aan de XBMC onder de TV.

Qua basis-features zou ik genoeg hebben aan een simpele behuizing, met een ASrock Q1900DC-ITX, een GB of 8, 4x3TB (3TB is voor mij de sweetspot in prijs/GB), en een extra NIC. OS wordt waarschijnlijk Debian met OMV er op. An sich allemaal niet heel spannend.

Maar dan ga je je er in verdiepen, en begint feature creep op te treden. ECC geheugen is wel leuk. ZFS ook. Meer SATA poorten voor meer schijven... Schijfje er bij, Avoton bordje, voeding wordt wat kritischer... keuzes keuzes.

Iets waar hier denkelijk wel ervaring in is: Voedingen zijn inefficiënt, in lage belasting. Een PicoPSU is zelf erg efficiënt, maar hangt achter een brick die zelf weer een normale efficiency heeft, maar goed belast wordt. De waarden die ik zie van standaard PSU's vs bricks doen me vermoeden dat het formaat van de PicoPSU een belangrijkere factor is dan het stroomverbruik. Klopt dat?

[FireDrunk]

Klopt, maar bedenk je ook, dat PicoPSU's niet de meest kwalitatief goede voedingen zijn die je kan bedenken.
Als je 4 harddisks erop aan wil sluiten, wordt het ook al krap met spinup. Een beetje schijf, doet 20W spinup, dus dan zit je met een 90W PicoPSU al aan de krappe kant... Nou kan een PicoPSU wel kortstondig iets meer hebben, maar toch... Je moet dan ook al aan een 100W adapter achter (of voor, hoe je het ook wil zien) de PicoPSU hebben, en die zijn ook niet goedkoop (als je een zuinige wil).

PicoPSU's zijn naar mijn mening vooral leuk icm bordjes waar je geen disks aan hangt.

[ Voor 8% gewijzigd door FireDrunk op 23-12-2014 09:26 ]

[riwi]

-The_Mask- schreef op maandag 22 december 2014 @ 20:22:
Als je de ZM500-HP bedoeld dat is idd een FSP Epsilon voeding welke bekend staat om zijn slechte OCP implementatie dus dat zou kloppen. ...
Dus was sowieso verstandig geweest de voeding te vervangen.

Ik houd dat in gedachten. Ik heb 2 van die ZM500HP voedingen.

-The_Mask- schreef op maandag 22 december 2014 @ 20:22:
Ik heb er geen ervaring mee maar waarom werkt het niet met losse controllers? Maakt toch niet uit dat de controllers niet met elkaar communiceren? Dat sommige HDD's dan wel tegelijkertijd worden gestart maakt niet uit, zolang ze dat maar niet allemaal tegelijkertijd doen.

Dan zul je moeten zorgen dat de schijven op 1 HX850 sata aansluiting staggered opspinnen en dus op dezelfde controller zitten. Met ZFS wil je de sata-data juist verdelen over alle controllers voor de bandbreedte. Dus je kan het wel zo uitkienen, maar het wordt er niet eenvoudiger op. De opstarttijd neemt met staggered spinup aanzienlijk toe. Zeg 2 a 3 (of 5) sec per disk, dat is een nadeel.

-The_Mask- schreef op maandag 22 december 2014 @ 20:22:
Als je 10 hardeschijven tegelijkertijd laat opspinnen en alles zit aangesloten op maar één 12V draad trek je zo maar 20A door de draad heen, ongetwijfeld dat de spanning in zo'n geval hard inzakt door de weerstand die je krijgt met zo'n stroom door een dunne draad en allemaal niet geweldige connecties. De vraag is hoe leuk de hardeschijven dit vinden.

Ongetwijfeld dat de voeding dan niet aan zijn specs voldoet. Een voeding die volgens spec 80A levert op de 12V rail moet zonder mokken 20A kunnen leveren zonder significante spanningsdip. Als je met 30 schijven zit zul je ze toch ergens stroom vandaan moeten laten halen. Dus verdelen over de 3 sata power kabels van de HX850 is dan logisch. De verbindingen zijn allemaal prima in orde hier. Dat je geen sluiting moet maken is logisch.

-The_Mask- schreef op maandag 22 december 2014 @ 20:22:
Daarom erg opletten met zoiets, slim is het iig niet wat je doet.

Wat is er nu niet slim gedaan volgens jou?

[-The_Mask-]

Het is niet de voeding wat het probleem is maar de kabel, dat probeer ik duidelijk te maken. Als je zoveel stroom door één dun draadje probeert te trekken zakt de spanning aan het einde van de kabel, niet aan het begin of bij de voeding, die blijft gewoon netjes rond de 12V. De voeding heeft een ander probleem en dat is de kortsluitbeveiliging als er iets verkeerd gaat, doordat je alles aansluit op een niet hele verstandige manier.

[riwi]

Maar hoe raad jij dan aan om 30 schijven aan te sluiten op de HX850 ?

[player-x]

riwi schreef op dinsdag 23 december 2014 @ 19:12:
Maar hoe raad jij dan aan om 30 schijven aan te sluiten op de HX850 ?

Ik had op een gegeven moment 34 HDDs aan een HX850W hangen in mijn server, waarvan 1x 60GB SSD voor OS, 2x 2.5'' voor download, 1x 640GB WD RE, 16x 750GB Seagate Barracuda 7200.11, en 14x 3TB Greens.

Heb een extra setje SATA kabels besteld, ter vervanging van de molex kabels, daar mee had ik dus 24 SATA via een standaard manier, en op die elk van die kabels heb nog eens 2 of 3 extra losse connectoren geprikt, en dat werkte voor mij probleemloos.

Op het moment heb ik mijn oude 16x array in mijn offline back-up server gezet, en heb ik dus weer flink wat HDDs minder in mijn PC zitten, maar het werkte prima hoor, 34HDDs

[-The_Mask-]

Extra kabels vanaf de voeding is idd de beste oplossing.

[riwi]

Ik denk dat de sata power kabels van de HX850 gemakkelijk de benodigde stroom kunnen leveren voor 10 disks zonder relevante spanningsval over de kabel. We hebben het over 20A bij 12V kortstondig tijdens de spinup.
Toen ik bij de kema zat en ze kortsluit proefen met 600MW deden... daar ging stroom lopen

Als ik een 2de NAS bouw zou ik hem exact weer zo opbouwen want het werkt prima en de stroom door die sata power kabels is echt geen probleem.

[-The_Mask-]

Dat gaat over hele andere kabeldiktes en veel hogere spanning en daardoor lagere stroom.

[ijdod]

Mwa, 20A piekbelasting op 12V zou ik ook met die kabeldikten niet direct wakker van liggen. De Molex connectoren daarentegen... (eea is natuurlijk een beetje afhankelijk van de exacte kabel)

[ Voor 3% gewijzigd door ijdod op 23-12-2014 22:27 ]

[riwi]

-The_Mask- schreef op dinsdag 23 december 2014 @ 21:54:
Dat gaat over hele andere kabeldiktes en veel hogere spanning en daardoor lagere stroom.

Dat ging over ruim 2kV met kiloamperes door geleiders van 10cm die praktisch verdampten in de test.
Maar dit heeft niks met dit topic te maken. En een stage in 1990, dus best lang geleden.

[jacovn]

FireDrunk schreef op zondag 14 december 2014 @ 11:22:
Hmm, dan lijkt het gewijzigd. Vroegah was het nog wel eens anders... Dan had de E3 meer lanes... Denk dat dat Socket 1155 was dan. Even spieken.

http://ark.intel.com/prod...-8M-Cache-3_20-GHz?q=1230

20 Lanes.

http://ark.intel.com/prod...-up-to-3_40-GHz?q=i5-2400

16 Lanes.

http://ark.intel.com/prod...-Cache-3_10-GHz?q=i3-2100

16 Lanes.

Even hier op terug komen.

Als ik een nieuw mainbord zoals de supermicor X10SL7-F koop dan heb ik volgens het blokschema in de handleiding:
x8 pci-E voor de LSI2308 chip. Via de cpu
X8 pci-E voor het x16 slot. Via de cpu
X4 pci-E voor het x8 slot (via de C222)

Die laatste gaat via de x4 DMI II bus (5.0 GB)

Qua sata poorten heb ik er 20 nodig.
8 op de on board lsi, m1015 erbij in het x16 slot lijkt me.

Dan zou ik een 10GE adapter in het x8 slot kunnen stoppen, die krijgt dan maar 4 lanes.
Die moet echter wel de bandbreedte delen over de x4 DMI II bus samen met de rest van de dingen (5x sata nog nodig)

Het lijkt me geen probleem, want in mijn andere server zit een x9scm-f en die heeft ook op de x4 via de pch chip een 10 GE adapter lopen (daar zitten dan 2 stuks M1015 in de x8 sloten via de cpu)
Daar zitten zowel 4 discs voor de array als de boot ssd en de l2arc ssd ook op.

Iemand die het een slecht idee vindt ?

[FireDrunk]

Slecht idee? Neuh, als je echt 100% wil belasten kan je inderdaad beter naar een E5 kijken, die heeft een stuk meer PCIe lanes (40 geloof ik).

Ga je het echt merken? Denk het niet.

8 schijven doen ~1GB/s max, dat is maar 1/5e van de DMI interface (die doet volgens mij ruim 5GB/s)
Daar komen dan nog je lokale SATA poorten bij, waarvan 1 SSD.

Beetje overhead meerekenen, en je blijft denk ik nog ruim onder de 5GB/s.

Of je er qua latencies iets van gaat merken weet ik niet. Ik heb geen idee op welke manier zo'n DMI interface switcht tussen SATA en PCIe.

[ Voor 51% gewijzigd door FireDrunk op 24-12-2014 09:25 ]

[jacovn]

Ik zie inderdaad met een test van 10 disk raidz2 rond de 1 GB/s

Maar ja, film streamen is wellicht een keer 50 mbit/sec.
Enkel copy slag over 10GE is wel 350-400 MB/sec.

Ik moet dan de 10GE adapter toch omzetten omdat ik ze point to point gebruik. Server 1 is vol, dus kan hij naar server 3.
Zolang switches 800-1000 euro zijn laat ik het maar even zo

Kan nu van bruto salaris een pc kopen, dus dat scheelt 52%

[player-x]

jacovn schreef op woensdag 24 december 2014 @ 10:08:
Zolang switches 800-1000 euro zijn laat ik het maar even zo

Zelf gebruik ik Thunderbolt tussen mijn server en werk PC, bevalt me prima, het enige wat je wel moet doen is de Host Table aanpassen op de server en werkPC.

Had het zelfde probleem tijdens de overgang van 100Mbit naar Gbit netwerk, met onbetaalbare Gbit Switches, 10j oud topic: extra Gbit verbinding server<>pc in bestaand netwerk

En de Supermicro X10SAT heeft ECC ondersteuning en een TB aansluiting.

[ Voor 11% gewijzigd door player-x op 24-12-2014 11:35 ]

[BartNL]

jacovn schreef op woensdag 24 december 2014 @ 10:08:
Zolang switches 800-1000 euro zijn.....dus dat scheelt 52%

eigenlijk al heel betaalbaar dus

[jacovn]

Tja mijn andere spullen niet. Dus ik zou een Cisco SG500 series ding moeten kopen, daar zitten dan 4 spf+ interfaces op, genoeg voor 3 x zfs server en PC. Helaas 895 euro..

Maar als een server vol zit mik ik af en toe een film eraf, en zet er een nieuwe op. Dat kan ook wel met 100Mb/sec voor die paar keer. Dus kaart overzetten is stuk goedkoper..

Ik hoop dat de prijzen zakken, maar vrees van niet. Zal inderdaad wel thunderbolt of iets anders worden.

[jacovn]

BartNL schreef op woensdag 24 december 2014 @ 11:43:
[...]

eigenlijk al heel betaalbaar dus

Hmm denk niet dat de HR afdeling dat (switch) goed gaat keuren.
Moederbord, cpu, ram, ventilatoren etc. zal nog loslopen. Het is in het kader van thuiswerkplek.
Of je dan 10GE switch nodig hebt.. Het bedrijfs vpn is op 10 mbps per sessie beperkt.

[BartNL]

offtopic:
Misschien navragen want voor werkkosten valt het volgens mij onder "bijbehorende apparatuur". Het zou voor HRM niet uit hoeven maken of jij een onnodig snelle switch of een onnodig krachtige computer koopt? Het bedrag zal wel gelimiteerd zijn maar wanneer je regelmatig via deze constructie PC apparatuur mag aanschaffen lijkt het mij wel logisch dat het ook bijbehorende apparatuur mag zijn.
Wanneer je de VPN verbinding daadwerkelijk (onnodig) via de 10G switch laat lopen is dat volgens de WKR denk ik beter dan wanneer jij een PC koopt die je helemaal niet voor het thuiswerken gebruikt.

[jacovn]

Ik kan er een backup van de laptop op maken

[player-x]

jacovn schreef op woensdag 24 december 2014 @ 11:43:
Tja mijn andere spullen niet. Dus ik zou een Cisco SG500 series ding moeten kopen, daar zitten dan 4 spf+ interfaces op, genoeg voor 3 x zfs server en PC. Helaas 895 euro..

De D-Link SmartPro DGS-1510-28X is 400 euro, een stuk beter geprijsd dus, maar voor persoonlijk nog steeds nutteloos, daar ik in mijn Werk/GamePC met Quad-SLI geen plaats heb voor een extra NIC.

Maar wat moet je met 3 ZFS servers op 10Gbit/s, is een niet genoeg al?

[IceTeaGX]

Je mag daar dan nog wel SPF+ modules of kabels bijkopen, wat ook nog een aanzienlijke kost is.

Maar wat moet je met quad SLI, is een niet genoeg al?

(Als je nog ergens ongebruikte PCIe poorten hebt, kan je met een expander misschien nog wel iets tweaken)

[player-x]

IceTeaGX schreef op donderdag 25 december 2014 @ 12:06:
Maar wat moet je met quad SLI, is een niet genoeg al?

Niet als je op 7680x1600 gamed, had gehoopt Tri-SLI genoeg zou zijn maar, maar Quad is bij sommige games een welkome aanvulling.

(Als je nog ergens ongebruikte PCIe poorten hebt, kan je met een expander misschien nog wel iets tweaken)

Nee dat zie ik echt niet zitten, zelfs als het mechanisch vrij eenvoudig zou zijn, wat het zeker niet is.

Persoonlijk ben ik prima tevreden met Thunderbolt als een netwerk extra ''High speed Point to Point'' verbinding.

[jacovn]

player-x schreef op donderdag 25 december 2014 @ 10:12:
[...]

De D-Link SmartPro DGS-1510-28X is 400 euro, een stuk beter geprijsd dus

Inderdaad, die is wel interessant. Thx voor de link.

Maar wat moet je met 3 ZFS servers op 10Gbit/s, is een niet genoeg al?

Je lijkt mijn vrouw wel

Ik heb een hekel aan wachten, dus 350-400 MByte/sec copy speed is beter dan 105MByte/sec.
Expanders leek ook wel interessant, maar dan moet alles altijd aan staan, wellicht kun je dan wel verschillende pools spindown laten doen.
Server met 2 pools is handelbaar, risico dat je alles kwijt raakt is minder groot.
Kost meer, maar goed dat heb je er voor over of niet.

Sfp+ kabels heb ik er nu ook tussen zitten, dus dat is geen probleem, op ebay tussen de 50 en 65 euro.

[player-x]

jacovn schreef op donderdag 25 december 2014 @ 21:35:
Je lijkt mijn vrouw wel

Ehhh, omdat ik niet begrijp waarom je graag geld verspilt

Ik heb een hekel aan wachten, dus 350-400 MByte/sec copy speed is beter dan 105MByte/sec.

En hoe wil je dat in de praktijk nuttig gebruiken over 3 servers, je kan de data niet in R0 opslaan over die 3 servers met gebruik van Gbit.

Expanders leek ook wel interessant, maar dan moet alles altijd aan staan, wellicht kun je dan wel verschillende pools spindown laten doen.
Server met 2 pools is handelbaar, risico dat je alles kwijt raakt is minder groot.
Kost meer, maar goed dat heb je er voor over of niet.

Dat is allemaal leuk in theorie, maar imho in de praktijk geheel nutteloos.

En haal zelf rond de 600MB/s via Thunderbolt, tussen mijn server en WerkPC.

En qua redundantie voor mijn kritieke data, heb ik mijn offline back-up server, en BuddyBackUp, zeker net zo veilig, en waarschijnlijk zelfs een stuk veiliger.

[jacovn]

player-x schreef op vrijdag 26 december 2014 @ 01:19:
[...]

Ehhh, omdat ik niet begrijp waarom je graag geld verspilt

Tja ik klaag ook niet dat jij zit te gamen op 4 monitoren naast elkaar toch ? (Of 2x2, of wat dan ook)

En waarom is het geld verspillen ?
Ik hoef niet meer dan raidz2 redundantie, en niet meer dan 10 hdds spinup als ik film zit te kijken.
Dat los ik op met verschillende servers, mijn keuze.

Net een adapter gekocht, 225€ inclusief shipping. Kabel gevonden voor 61€

Maar toch bedankt dat je aan me denkt,

[ Voor 3% gewijzigd door jacovn op 26-12-2014 07:32 ]