Het grote DIY RAID NAS topic deel 3

[Nielson]

Volgens de handleiding zit er tweemaal een 8-kanaals Marvell 88SE9485 op. Quad Gb LAN komt van een Marvell 88E1543.

[TimPie Vink]

-The_Mask- schreef op zondag 07 september 2014 @ 17:29:
[...]

De voeding kan wel wat beter, huidige is niet al te best.

Bedankt voor dit, ik ben niet zo thuis in voedingen, wat zijn dingen waar ik moet op letten? Ik zal zometeen nog even een lijstje met opties in deze post zetten waar ik nog keuze uit heb.

[FireDrunk]

Check ff [BBG aanschaf] Voedingen - Deel 29

[Johnnygo]

Mijn data verzameling gaat hard, en de server begint vol te raken. Ik kan nog even vooruit, maar ben aan het bedenken hoe ik het beste kan upgraden. Momenteel heb ik het volgende systeem staan:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 153,-	€ 153,-
1	ASRock B75 Pro3-M	€ 46,-	€ 46,-
3	Seagate Desktop HDD, 4TB	€ 130,-	€ 390,-
3	WD Green WD30EZRX	€ 89,90	€ 269,70
1	Antec Three Hundred	€ 51,95	€ 51,95
1	Kingston HyperX Beast KHX16C9T3K4/32X	€ 292,17	€ 292,17
Bekijk collectie Importeer producten		Totaal	€ 1.202,82

En een 120gb SSD als zfs cache die ik nog had liggen.
En een BeQuit! 350W voeding.

Op dit systeem draait ESXi met zfsguru in een VM, en de controllers van het moederbord zijn doorgezet naar de zfsguru VM. (Hiervoor heb ik een goedkoop pci kaartje met 4 sata poorten waar 1 laptop HDD aan hangt voor de ESXi datastore.)
Verder draait er nog een VM voor tvheadend/oscam (samen met een HDhomerum en Ziggo DVB-c), een netboot server zodat de xbmc (openelec) clients volledig diskless zijn. Een download VM met couch potato, sickbeard, sabnzbd, en transmission. En een openvpn VM.

De kast zit nu redelijk vol. Ik zit daarom te denken aan een kast upgrade zodat ik ook voldoende ruimte heb voor toekomstige uitbreidingen. Zit zelf te danken aan zoiets als dit:
https://ri-vier.eu/rivier...6a-p-352.html?cPath=1_3_7

Maar dan verder. De HDD's ga ik overzetten. Maar is het verstandig om ook de rest van de hardware over te zetten? Is die nog een beetje van deze tijd? Of ga ik het snel terug verdienen als ik een compleet nieuwe server bouw (met energieverbruik bedoel ik dan). Het geheel verbruikt nu zo'n 80 watt idle.

Hoe ga ik er verder voor zorgen dat al die bays in deze kast gaan werken? Om te beginnen heb ik dan natuurlijk een controller nodig:
pricewatch: IBM ServeRAID M1015 SAS/SATA Controller for System x
Maar ik heb er 3 nodig om alle bays aan te sturen, en het moederbord heeft maar 2 pci-e poorten. Dan kan ik dus beter 1 m1015 doen en een sas expander. Welke adviseren jullie daarvoor?

Ik zie ook bordjes zoals de asus P9A-I/C2550/SAS/4L Maar die ondersteund geen vt-d, dus kan ik dan de controller's niet doorzetten. Wel kan ik dan de drives apart als raw device doorgeven. Maar werkt dat een beetje betrouwbaar?

Ik zou graag willen weten wat jullie zouden doen zodat ik weer een tijdje vooruit kan (maar ook de kosten een beetje binnen perken houden).

[FireDrunk]

80W is best veel voor die configuratie, wat voor voeding gebruik je? Want daar lijkt mij haast meer winst te behalen dan met een compleet nieuw set.

Het setje wat je nu hebt is prima en je wint hooguit 10W met een Haswell setje gok ik. Waarschijnlijk nog minder.

[ Voor 5% gewijzigd door FireDrunk op 12-09-2014 13:14 ]

[GioStyle]

Ik heb momenteel 6x 3TB. Als ik ga uitbreiden, dan zou ik ook voor die Ri-Vier 4U case gaan.

Als basis zou ik een ASRock E3C224D4I-14S nemen met een 36 poort sas expander. Alle schijven op de expander. Ik heb me nog niet zo ver in verdiept of deze combo daadwerkelijk gaat werken, maar tof vind ik hem wel.

[FireDrunk]

Als je die Expander cheap van eBay af haalt is het helemaal een leuke build!

Ik zou het zelf ook zeker overwegen. Helemaal nu SSD's zo goedkoop zijn dat je echt nooit meer hoge snelheden nodig hebt op je 'grote' array

[toelie]

FireDrunk schreef op vrijdag 12 september 2014 @ 13:57:
Als je die Expander cheap van eBay af haalt is het helemaal een leuke build!

Ik zou het zelf ook zeker overwegen. Helemaal nu SSD's zo goedkoop zijn dat je echt nooit meer hoge snelheden nodig hebt op je 'grote' array

Er werd altijd gezegd dat je beter geen sata schijven achter sas expanders kon hangen.

Net even gezocht en de meeste problemen komen uit 2010/2011 al zie ik toch nog wat vervelende gevallen van wat latere datum, voornamelijk icm ZFS. Schijven die tijdens scrubs of andere hoge I/O niet meer willen reageren.

Heeft iemand hier al een betrouwbare setup met sata schijven achter SAS expanders?

[FireDrunk]

Dat probleem kwam volgens mij vooral uit het SAS 1.0 tijdperk, waar STP (SATA Tunneling Protocol) nog niet verplicht was.

Sinds SAS 2.0 (en met 3.0 ) is het verplicht om SATA over SAS te ondersteunen.

Als je dus een SAS 2.0 Expander en een SAS 2.0 Controller gebruikt, zou je veilig moeten zitten

[ Voor 20% gewijzigd door FireDrunk op 12-09-2014 14:36 ]

[Johnnygo]

Ok, dus dan heb ik eigenlijk alleen maar de kast, een controller en een sas expander nodig (en nog wat kabelwerk). Eventueel ook een andere voeding. Moet even kijken welke er nu precies in zit, maar het is er eentje van BeQuiet!.
Een sas expander is wat lastiger te vinden. Ik zie de HP veel voorbij komen op ebay:
pricewatch: HP SAS Expander Card
Is dat de expander die ik dan nodig heb? Of zijn er ook andere (goedkopere) opties?

[FireDrunk]

Chenbro en Intel hebben goedkopere welke qua firmware ook iets makkelijker zijn volgens mij. (Die HP Expander is volgens mij alleen te flashen met een HP controller ervoor).

Juist die HP SAS Expander was volgens mij degene waar de meeste problemen mee zijn, dus die zou ik juist weren.

Liever een Intel SAS 2.0 Expander ofzo.
Zoiets als deze: http://www.intel.nl/conte...controller-res2sv240.html

[ Voor 14% gewijzigd door FireDrunk op 12-09-2014 15:52 ]

[BartNL]

ik heb twee Chenbro CK23601 SAS Expanders in gebruik met daaraan sata schijven.
Deze werken met scrubben probleemloos maar ik gebruik wel HW raid dus weet niet hoe deze met ZFS werken.

[Goshimaplonker298]

De Chenbro en Intel SAS expanders hebben een LSI IC. Met LSI kan je bijna niet fout gaan met expanders.
De HP heeft een PCM Sierra IC er op. Dit zijn ook hele goede IC's die je ook vaak tegenkomt in grotere storage boxen.
Alleen heeft HP de firmware aangepast waardoor sata disks op sata 1 speed negotiaten.
Zo zijn er nog wat andere isssues. Zijn werkbare dingen maar als je het kan kijk naar die Chenbro of de Intel sas expander.
De intel heeft als voordeel dat de poorten flexibel staan in de firmware. (in of out)

[TrsvK]

Ik kreeg een tijdje terug een email van mijn freenas NAS:

The following warning/error was logged by the smartd daemon:

Device: /dev/ada2, Read SMART Self-Test Log Failed

Device info:
WDC WD40EZRX-00SPEB0, S/N:WD-WCC4E6HWFY0P, WWN:5-0014ee-25ff7a87a, FW:80.00A80, 4.00 TB

vandaag kreeg ik een andere:

The following warning/error was logged by the smartd daemon:

Device: /dev/ada5, failed to read SMART Attribute Data

Device info:
WDC WD40EZRX-00SPEB0, S/N:WD-WCC4E8NZX6PK, WWN:5-0014ee-20a7f673d, FW:80.00A80, 4.00 TB

Via: smartctl -A /dev/ada5

kan ik de SMARTwaarden gewoon handmatig uitlezen.

Is dit een rede om ongerust te zijn?

[TrsvK]

TrsvK schreef op zaterdag 13 september 2014 @ 02:58:
Ik kreeg een tijdje terug een email van mijn freenas NAS:

The following warning/error was logged by the smartd daemon:

Device: /dev/ada2, Read SMART Self-Test Log Failed

Device info:
WDC WD40EZRX-00SPEB0, S/N:WD-WCC4E6HWFY0P, WWN:5-0014ee-25ff7a87a, FW:80.00A80, 4.00 TB

vandaag kreeg ik een andere:

The following warning/error was logged by the smartd daemon:

Device: /dev/ada5, failed to read SMART Attribute Data

Device info:
WDC WD40EZRX-00SPEB0, S/N:WD-WCC4E8NZX6PK, WWN:5-0014ee-20a7f673d, FW:80.00A80, 4.00 TB

Via: smartctl -A /dev/ada5

kan ik de SMARTwaarden gewoon handmatig uitlezen.

Is dit een rede om ongerust te zijn?

Ik kreeg net weer zo'n emailtje.

The following warning/error was logged by the smartd daemon:

Device: /dev/ada3, Read SMART Error Log Failed

iemand een idee hierover?

[Verwijderd]

Kan een kabelprobleem zijn; kun je zelf proberen handmatig smartctl -A -s on /dev/ada3 te draaien? SMART data kun je posten in het 'Check je SMART' topic voor feedback over de betekenis van je SMART-output.

[TrsvK]

Ik kan handmatig gewoon smartctl draaien. Het is ook steeds een andere schijf. Bedoel je dat het een probleem met mn satakabeltjes kan zijn? Ik heb deze net een paar weken geleden vervangen.

[Verwijderd]

Dan zou je in de SMART data iets moeten zien qua UDMA CRC Error Count; dat is wat kabelerrors indiceert.

[TrsvK]

De UDMA CRC Error Count van de betreffende schijf staat op 0.

[Verwijderd]

Gebruik je misschien een ietwat oudere 3Gbps SAS controller? Die heeft namelijk een bug met het snel uitlezen van SMART data. Je disk heet 'ada' dus die is waarschijnlijk op de onboard controller aangesloten (AHCI). Maar dat is het enige dat ik kan bedenken.

Ik gebruik smartd verder niet; ik lees enkel SMART handmatig uit.

[player-x]

Een andere optie is om Windows op een Aparte schijf te installeren, en die in je systeem hangen, en van daaruit wat SMART test doen met wat Windows utilities , want SMART is OS onafhankelijk.

FreeNAS is wel leuk, maar op het moment je tegen problemen aan loopt, bijt dat spartaanse je behoorlijk in je reet.

[TrsvK]

Ik heb de: http://www.asrockrack.com...detail.asp?Model=C2550D4I

Al mijn schijven heb ik aan de sata 3 controllers gehangen. wellicht kan ik beter de intel sata2 controllers gebruiken?

[ Voor 33% gewijzigd door TrsvK op 21-09-2014 02:56 ]

[TrsvK]

Ik blijf maar berichten krijgen. Nu deze weer:
Checking status of zfs pools:
NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
NDP 21.8T 2.25T 19.5T 10% 1.00x ONLINE /mnt

pool: NDP
state: ONLINE
status: One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
using 'zpool clear' or replace the device with 'zpool replace'.
see: http://illumos.org/msg/ZFS-8000-9P
scan: scrub repaired 28K in 2h4m with 0 errors on Sun Sep 21 02:04:39 2014
config:

NAME STATE READ WRITE CKSUM
NDP ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
gptid/68c608e9-2471-11e4-8451-d050990a6177 ONLINE 0 0 0
gptid/69c30c8a-2471-11e4-8451-d050990a6177 ONLINE 0 0 0
gptid/6addf186-2471-11e4-8451-d050990a6177 ONLINE 0 0 0
gptid/6be514d7-2471-11e4-8451-d050990a6177 ONLINE 0 0 0
gptid/6cd67141-2471-11e4-8451-d050990a6177 ONLINE 0 0 0
gptid/6dd6c408-2471-11e4-8451-d050990a6177 ONLINE 0 0 7
cache
gptid/6e3af854-2471-11e4-8451-d050990a6177 ONLINE 0 0 0

errors: No known data errors

-- End of daily output --


Het klinkt allemaal vrij serieus of valt het mee?

[Verwijderd]

Dat valt wel mee. ZFS heeft gewoon zijn werk gedaan. Je hebt RAID-Z2 en je hebt checksum errors. Geen enkel probleem. Pas als je op minimaal drie disks op precies de verkeerde plek corruptie hebt, zal je problemen krijgen. En dan alleen nog met één file, en je kunt dan zien met welke file. Metadata is met ditto blocks nog eens extra beschermd. In de praktijk betekent dit dat je vrijwel immuun bent voor corruptie, zeker bij RAID-Z2.

Gewoon even in de gaten houden; als je corruptie hebt op alle disks willekeurig, dan is dat vaak een teken van RAM corruptie ipv disk corruptie. Maar bij 'normale' corruptie is dit gewoon een teken dat je er verstandig aan hebt gedaan om ZFS te gebruiken. Had je een legacy RAID gebruikt dan had je dit nooit opgemerkt en had je silent corruption gekregen. Dan had je het nooit geweten totdat je ooit iets tegenkwam wat niet in orde was; zoals een .rar archief wat een fout gaf, of een jpeg met artifacts, of een video met blipjes.

De melding die ZFS geeft in dit geval is nogal cryptisch. Een analyse:

One or more devices has experienced an unrecoverable error = ZFS ziet een probleem op een schijf die de schijf zelf niet kon oplossen. Zoals: de schijf bevat verkeerde data op een bepaalde plek. ZFS weet dat de data verkeerd is dankzij de checksum beveiliging.

An attempt was made to correct the error. = ZFS heeft zijn werk gedaan en heeft ingegrepen.

Applications are unaffected. = Je data is prima in orde en applicaties die je data gebruiken hebben niets van het probleem gemerkt. Gaat u maar rustig slapen; er is niets aan de hand.

[player-x]

BartNL schreef op vrijdag 12 september 2014 @ 17:53:
ik heb twee Chenbro CK23601 SAS Expanders in gebruik met daaraan sata schijven.
Deze werken met scrubben probleemloos maar ik gebruik wel HW raid dus weet niet hoe deze met ZFS werken.

Voor software RAID zou ik de 40p Rocket 750 gebruiken, heb er zelf net een 2 weken in huis en ben flink aan het testen met 40 stuks 250GB SATA schijven uit een oude NAS, voor RAIDZ tot en met RAIDZ3 test, en tot nu toe werkt het letterlijk zo goed als vlekkeloos.

Hierna gaan we BtrFS test doen, persoonlijk zijn er een aantal dingen die voor mij BtrFS een betere keuze maken, alleen zijn een groot deel daarvan nog steeds in de Alpha of Beta fase, voornamelijk de "online volume expansion" functie vind ik zeer interessant, maar de core van BtrFS is nu al stabiel genoeg voor praktijk gebruik.

---

Ben op het moment een behuizing voor mijn server aan het maken, welke behoorlijk wat ideeën heeft geleend van Backblaze's Storage Pod 4, maar toch een eigen, en vooral een compacter en veelzijdiger ontwerp is, dat meer geschikt is voor thuis of small office gebruik.

Het idee is een zo compact mogelijke behuizing te bouwen, niet veel groter dan een E-ATX moederbord, met PSU boven de laag model CPU koeler gemonteerd, en plaats voor 4x 3.5'' onder de moederbord tray, en 6x 2.5'' tegen de zijkant va de kast, als mobo tray gebruik ik deze 35 euro kostende tray van Lian-Li, waar ik een nieuwe achter plaat voor ga maken en een flink stuk ga inkorten, daarnaast met ATX borden kunnen de fans aan de binnen zijde geplaatst worden en met E-ATX moeten aan de buitenkant gezet worden ivm dat die borden tot 28mm langer zijn.
Als de koeler niet sterk genoeg is kan ook een closed loop waterkoeling op gemonteerd worden op 2x 140mm inlet fans, de inkeping voor de leidingen zitten in het ontwerp en kunnen er zo uitgebroken worden.

Daaronder een HDD behuizing die net zo breed en diep is als mobo behuizing, waar je net als bij de Storage Pod 4 je HDDs recht op in kan zetten, maar dan 20 ipv 45 stuks, en 2x 140mm fans, en ik ga niet met Molex stekkers knoeien, maar zal alles gewoon netjes solderen.

En als 20 HDDs niet voldoende is, kan je er gewoon nog eens 20 onder of boven klikken, en je kan door stapelen boven en onder totdat je geen SATA/SAS poorten meer hebt, plafon hoogt of kabel lengte, net als of je flinke schoenen dozen aan het stapelen bent.

Als de kasten klaar zijn, ga ik eens kijken of er interesse is via Kickstart of zo, zo ja mogelijk maak ik ook een mATX en/of ITX kast, een andere optie is om printplaat te maken een printplaat te maken met alle SATA aansluitingen ipv kabels een stekkers, maar dan moeten er minimaal 500 mensen interesse hebben.

[TrsvK]

Heel erg bedankt voor de reacties. Erg leerzaam!

[player-x]

Verwijderd schreef op zondag 21 september 2014 @ 04:02:
Had je een legacy RAID gebruikt dan had je dit nooit opgemerkt en had je silent corruption gekregen.

Ja en nee, want je merkt in dit geval via SMART dat je data corruptie hebt, en je hebt het correct, in dat de array zelf niet weet dat er corruptie optreed.

Dus als je aan de hand van de SMART waarschuwing, je die HDD had vervangen, dan was de kans aanzienlijk dat je geen last zou hebben van die stille corruptie, maar wel met de nadruk op kans, en je geen 100% zekerheid hebt dat je echt geen problemen hebt.

[BartNL]

Verwijderd schreef op zondag 21 september 2014 @ 04:02:Had je een legacy RAID gebruikt dan had je dit nooit opgemerkt en had je silent corruption gekregen. Dan had je het nooit geweten totdat je ooit iets tegenkwam wat niet in orde was; zoals een .rar archief wat een fout gaf, of een jpeg met artifacts, of een video met blipjes.

Wanneer je legacy raid gebruikt zoals het hoort merk je het wel degelijk. Voor mij word je door zulke terugkerende onzin statements ook in ruimere zin minder geloofwaardig.

[Verwijderd]

Als een legacy RAID engine data leest, is dat vrijwel altijd zonder 'verify' optie; waarbij de redundante data wordt vergeleken met de normale data. Dus corruptie wordt daarbij niet gedetecteerd.

Als een legacy RAID engine een scrub/rebuild uitvoert, kan het enkel pariteit/mirrored blocks met elkaar vergelijken. Het kan niet weten welke versie correct is. In dit geval zal de controller ervoor kiezen om de voorkeur te geven aan de data en de pariteit/mirror te corrigeren naar het origineel. Maar het is helemaal niet gezegd dat het origineel de juiste versie is; dat had ook de pariteit/mirror versie kunnen zijn.

Uiteindelijk komt er in beide gevallen dus corruptie richting het filesystem. Bij een filesystem check kan dat nog grotere vormen aannemen wanneer de corruptie zich naar de (onbeveiligde) metadata verspreid. In dat geval kunnen hele directorystructuren verdwijnen of kun je dingen gaan zien zoals dit:



Ik snap dat jij een succesvolle gebruiker bent van Legacy RAID en dat je tot nu toe geen van dit soort zaken hebt mogen ervaren. Dit betekent echter niet dat alle beschermingsmechanismen en beveiligingen in ZFS en andere 3e generatie filesystems voor niets zijn en dat het allemaal bullshit is. We kunnen hooguit discussiëren over de mate waarin je blootstaat aan de hierboven genoemde risico's.

[OMX2000]

player-x schreef op zondag 21 september 2014 @ 04:24:
*knip* lange quotes graag inkorten

Gaaf!!! Dan een felle kleur en I'm in!

[ Voor 90% gewijzigd door Verwijderd op 21-09-2014 15:50 ]

[Verwijderd]

player-x schreef op zondag 21 september 2014 @ 14:33:
[...]

Ja en nee, want je merkt in dit geval via SMART dat je data corruptie hebt, en je hebt het correct, in dat de array zelf niet weet dat er corruptie optreed.

Dus als je aan de hand van de SMART waarschuwing, je die HDD had vervangen, dan was de kans aanzienlijk dat je geen last zou hebben van die stille corruptie, maar wel met de nadruk op kans, en je geen 100% zekerheid hebt dat je echt geen problemen hebt.

SMART kan geen corruptie detecteren omdat de hardeschijf dit nooit kan weten. Waar jij op doelt zijn leesfouten binnen de schijf zelf. Dat kan de hardeschijf wel weten. In geval van leesfouten waarbij er meer bits foutief zijn dan gecorrigeerd kan worden door de ECC errorcorrection, wordt de sector (512B of 4K) een zogenaamde 'pending sector'. Dit kun je inderdaad zien in de SMART data als Current Pending Sector.

Dergelijke bad sectors kunnen 'uBER bad sectors' genoemd worden, omdat ze na overschrijven weer prima te gebruiken zijn; er is geen fysieke schade. Er is gewoon niet voldoende errorcorrectie en die locatie heeft om wat voor redenen een hoger aantal biterrors dan gecorrigeerd kan worden.

Omdat hardeschijven dankzij de ATA standaard nooit data mogen leveren waarvan ze weten dat deze onjuist is, zal de hardeschijf een I/O error genereren ipv verkeerde data retourneren naar de host. Dit zorgt ervoor dat de legacy RAID engine wel degelijk bescherming kan bieden, want bij redundante RAID levels kan het hierdoor van een redundante disk lezen en bij een scrub/rebuild wordt het probleem meestal ook weer opgelost. Meestal, want er zijn allemaal dingen die mis kunnen gaan bij read errors, zoals het TLER verhaal maar ook dan is het nog geen garantie dat legacy RAID correct omgaat met read errors.

Doordat uBER bad sectors steeds meer voorkomen - vroeger met 250GB disks was dit nauwelijks een issue - komt ook de beveiliging van legacy RAID onder druk te staan. Als een schijf met uBER bad sector wordt gezien als een defecte schijf, dan berschemt legacy RAID niet meer tegen 2 dode disks bij RAID6-bescherming. Dan zou je moeten zeggen: RAID6 beschermt tegen twee disks met read errors/bad sectors. En dat is natuurlijk veel minder goede bescherming dan tegen twee dode disks.

Zo is het een groot risico dat tijdens de rebuild met een dode schijf, er allerlei pending sectors opduiken op de overige disks. Dat is helemaal geen theoretisch risico want het komt vrij regelmatig voor. Het is ook de reden dat artikelen zoals Why RAID5 stops working in 2009 zijn geschreven. Dat 2009 slaat op een soort grenswaarde waarbij de uBER op een gegeven moment een te groot probleem wordt waardoor legacy RAID zijn beschermende werking als sneeuw voor de zon ziet verdwijnen.

Om die reden is er een transitie van legacy RAID met legacy filesystems, naar moderne 3e generatie filesystems zoals ZFS, Btrfs en ReFS. Microsoft probeerde al eerder 'bitrot protection' in Windows Home Server te bouwen met Drive Extender 2.0 - wat uiteindelijk afgeblazen werd om andere redenen namelijk incompatibiliteit. Het probleem bestaat dus echt en is zeker geen sprookje. Het is gewoon veel beter als het filesystem corruptie om te beginnen kan ontdekken. Met redundante bronnen kun je het vervolgens ook corrigeren. Dit alles kan 'live' gebeuren zonder disk checks of rebuilds. Zodra je data aanraakt, zorgt een modern filesystem ervoor dat het correct is. Daarnaast wordt ook de metadata - de structuur van het filesystem - gevalideerd zodat corrupte metadata niet leidt tot problemen zoals het screenshot hierboven. Gevalideerde metadata is extreem belangrijk, waarbij je ook met een enkele disk zonder RAID geen filesystem schade kunt krijgen, hooguit defecte files. Dit komt omdat naast de validatie ook ditto blocks - een soort backups - voor metadata worden gebruikt. Alle metadata wordt minimaal 2 keer opgeslagen.

Ouderwetse filesystems zoals Ext4 en NTFS ontberen al deze genoemde beveiligingen. Die gaan uit van een perfect opslagapparaat. Dit dwingt met name zakelijke gebruikers die een hoog niveau van zekerheid willen, om dure hardware aan te schaffen. Disks met uBER 10^-16 die qua specs dus een factor 100 (dat is 10000%) minder bad sectors genereren, en natuurlijk dure RAID controllers die beter gevalideerd zijn dan Silicon Image/Promise/JMicron/ASMedia/Intel/AMD/VIA FakeRAID onder Windows, wat nog altijd de groep meest gebruikte RAID engines omvat.

[BartNL]

Verwijderd schreef op zondag 21 september 2014 @ 15:29:
Als .....

ik zie de voordelen van een moderner filesysteem ook wel. Jij overdrijft enkel de zwakke punten van legacy raid. Ook in bovenstaande post draaf je weer door met een screenshot die op zich niets met raid van doen heeft. Wat ik enkel stel is dat je bij hardware raid via scrubben vast kunt stellen dat er een probleem is. Wat je daarna met die informatie kunt of doet maakt voor thuisgebruik wel verschil.
Stel dat hardware raid nog steeds zo dom is als jij suggereert dan heb je na het scrubben mogelijk één of meerdere defecte bestanden. Voor mijn thuisgebruik DIY NAS is dat niet problematisch omdat het voor 95% backups van blu-ray en usenet betreft en ik van de rest een backup maak.
Met jouw postings wek je de indruk dat raid een vervanging van een backup is en dat zal het nooit zijn. Ook niet met een fout tolerant filesysteem als ZFS.

[Verwijderd]

BartNL schreef op zondag 21 september 2014 @ 17:37:
ik zie de voordelen van een moderner filesysteem ook wel. Jij overdrijft enkel de zwakke punten van legacy raid.

In welke zin overdrijf ik de zwakke punten? Ik ben enkel in gegaan op de mogelijkheden die legacy RAID niet heeft die moderne filesystems zoals ZFS wel heeft. Dat zijn gewoon feiten. Het overschrijven of onderschatten zou hem erin zitten dat je gaat inschatten hoe groot het probleem is. Dat is iets wat Robin Harris doet door 2009 als datum te noemen waarop het uBER probleem onacceptabele vormen begint aan te nemen, waardoor RAID5 vermeden zou moeten worden. Dat lijkt wel ongeveer te kloppen; RAID5 hedendaags wordt niet meer geacht even goed te functioneren als dat het in het verleden deed. Volgens sommigen is het zelfs 'not done' om hedendaags RAID5 te gebruiken. Dat zijn echter meningen, geen feiten.

Ook in bovenstaande post draaf je weer door met een screenshot die op zich niets met raid van doen heeft.

Als de RAID controller corruptie doorschuift naar een legacy filesystem, is het vervolgens aan het filesystem hoe te handelen in dat geval. Het domme filesystem heeft geen enkele bescherming om zelfs maar corruptie te detecteren. Het kan enkel controleren of de metadata consistent is, en dan nog in beperkte mate. De mogelijkheden voor zo'n legacy filesystem om zulke zaken te corrigeren zijn ook zeer beperkt.

De screenshot laat zien wat er kan gebeuren als filesystem metadata corrupt raakt. Dus als corruptie door de RAID laag aan het filesystem wordt doorgegeven, en die corruptie zich niet in user-data maar in filesystem metadata bevindt. Dan kunnen de gevolgen zeer groot zijn, zoals het verdwijnen van hele directorystructuren en andere ernstige schade.

Wat ik enkel stel is dat je bij hardware raid via scrubben vast kunt stellen dat er een probleem is.

Niet altijd; het enige dat het kan vaststellen is of de redundantie overeenkomt met het origineel. Je kunt ook corruptie hebben waarbij beide zijn aangetast en niet strijdig met elkaar zijn - al is dat inderdaad zeer zeldzaam. Maar stel een RAID5 volume verliest één disk en je gaat rebuilden, dan verlies je op dat moment al de mogelijkheid om corruptie überhaupt te detecteren. Je hebt enkel nog maar toegang tot één bron: de redundantie. Als die A zegt terwijl het eigenlijk B had moeten zijn, zal de RAID controller dit onmogelijk kunnen vaststellen en er blind vanuit gaan dat de ontvangen informatie correct is.

Nog erger is dat leesacties bij redundante arrays doorgaans niet met 'verify' gebeuren. Enkel het origineel wordt ingelezen niet de redundante kopie of pariteit. In dit geval kan de corruptie bij het lezen ook weer worden verspreid door schrijf acties. Daarbij zal de pariteit wel weer consistent zijn met het origineel, maar omdat de data corrupt was om te beginnen blijft dat helemaal ongedetecteerd ook na een rebuild.

Stel dat hardware raid nog steeds zo dom is als jij suggereert dan heb je na het scrubben mogelijk één of meerdere defecte bestanden. Voor mijn thuisgebruik DIY NAS is dat niet problematisch omdat het voor 95% backups van blu-ray en usenet betreft en ik van de rest een backup maak.

De corruptie kan ook in metadata voorkomen. Nu neemt de metadata niet zoveel plek in als normale data, dus de kans dat corruptie metadata raakt is relatief klein. Maar dat is weinig geruststellend; een klein risico dat je vliegtuig neerstort is nog steeds geen fijn idee. Idem hieraan vind ik dat een klein maar significant risico dat je opgeslagen gegevens corrumperen zonder dat je dit zelfs kan detecteren, geen wenselijke vorm van semi-permanente opslag is. Anno 2014 moet het beter kunnen.

Je hebt het verder over backups. Dat is natuurlijk heel goed dat je van de belangrijke dingen backups maakt en ik geef je ook zeker gelijk dat niet alle data bij thuisgebruikers belangrijk is. Maar weten wat wel en wat niet corrupt is, vind ik wel een belangrijk iets. Als er iets stuk gaat, wil je weten welke files dit betreft. Als je dat niet weet, is het goed mogelijk dat de corruptie zich ook naar je backups zal verspreiden. Dan heb je dingen drie keer gebackupped en is het nog steeds mogelijk dat je je trouwfoto's opent een paar jaar later en er artifacts in zitten. Ik vind dat onacceptabel. ZFS weigert om data te leveren waarvan het weet dat deze corrupt is (End-to-End Data Integrity) en dat zou ook moeten voorkomen dat dergelijke corruptie zich kan voortplanten richting je backups.

Met jouw postings wek je de indruk dat raid een vervanging van een backup is en dat zal het nooit zijn. Ook niet met een fout tolerant filesysteem als ZFS.

RAID en backups hebben al een overlap qua bescherming tegen gegevensverlies. Zo bieden ze beide een vorm van redundantie omdat ook een backup een redundante vorm van opslag is. Ze bieden beide bescherming tegen een gefaalde disk, bijvoorbeeld.

ZFS gaat verder in die overlap, doordat met snapshots ook historie beschikbaar wordt. Zo kan ZFS ook beschermen tegen een per ongeluk verwijderde directory, of een virus dat aan je bestanden knaagt. Dit is doorgaans bescherming die enkel backups bieden.

Dat gezegd, heb je natuurlijk gelijk dat ZFS alleen niet een backup overbodig maakt. Overlap van bescherming betekent nog niet identieke bescherming. Het beste is als je zowel ZFS als een backup gebruikt. Het liefst de backup ook ZFS zodat je een keten van corruptie-detectie krijgt (ZFS Send/Receive) en je ook incremental backups kunt maken waarbij je terug kunt gaan in de tijd en corruptie op vele niveaus het hoofd kunt bieden.

Veel thuisgebruikers hebben echter niet de financiële middelen of motivatie om hun casual data zoals audio/video-files 1:1 te backuppen. Juist in die gevallen is het kiezen voor een betrouwbaar filesystem en disk multiplexer (RAID) enorm belangrijk en is de keuze voor ZFS zeer logisch gezien de superieure vorm van bescherming die dit 3e generatie filesystem kan bieden. Legacy RAID en legacy filesystems zijn simpelweg niet meer van deze tijd - ook al werkt het in principe nog wel, het werkt steeds minder goed en er is nu simpelweg iets beters.

[BartNL]

Verwijderd schreef op zondag 21 september 2014 @ 18:01:
...iets beters.

wat wil ik daar nog tegenin brengen

[Verwijderd]

Nouja het beste tegenargument vind ik tot nog toe dat jij een aardig intensieve gebruiker bent van wat ik 'legacy RAID' noem en dat je zonder bijzonder veel redundancy tot dusver louter positieve ervaringen hebt. Dus ik kan je positie prima begrijpen dat je ietwat sceptisch bent tegenover alle onheilspellende berichten omtrent de risico's van legacy RAID. Ik denk dat dat inderdaad te nuanceren valt. Maar zekerheid over je opslag is toch wel erg fijn. Als je computer crasht of iets anders werkt niet, kan ik dat veel makkelijker accepteren dan dat mijn gegevens kwijt of corrupt zijn. Dat mag niet meer gebeuren anno 2014 vind ik.

Vandaar dat ik enorm blij ben met ZFS en de mogelijkheden die het biedt om echt volwaardige bescherming te bieden aan je bestanden, ook al zijn die bestanden niet superbelangrijk het is fijn dat je minder gauw op backups hoeft terug te vallen maar nog belangrijker: dat je weet dat alles in orde is als je ZFS niet hoort klagen.

Begrijp me ook niet verkeerd dat ik op de tafel sta te dansen als bij jou morgen de pleuris uitbreekt. Dat is echt niet zo. Tegelijkertijd is het denk ik wel zo dat het feit dat jij tot dusver geen grote problemen hebt ervaren met je setup, niet betekent dat dit ook voor anderen zal gelden. Dus het advies om een 3e generatie filesystem zoals ZFS te gebruiken waar mogelijk, is denk ik wel een goed advies.

[player-x]

Verwijderd schreef op zondag 21 september 2014 @ 16:05:
SMART kan geen corruptie detecteren omdat de hardeschijf dit nooit kan weten. Waar jij op doelt zijn leesfouten binnen de schijf zelf.

Was dat dan ook niet het eerste probleem hier?

Zijn eerste error die hij zag was toch namelijk een SMART error, dus in dit geval is dat ook de disk met de errors die vervangen wordt, er zijn bij klassieke R6 een redelijke kans dat een rebuild alle problemen oplost.
Uiteraard zijn er geen garanties, en is ZFS de veel betrouwbaardere FS keuze, maar je opmerking dat hij bij klassieke R6 niks gemerkt had klopte in dit geval niet.
.

BartNL schreef op zondag 21 september 2014 @ 17:37:
ik zie de voordelen van een moderner filesysteem ook wel. Jij overdrijft enkel de zwakke punten van legacy raid.

Mee eens, en klassieke raid heeft ook voordelen dat 3de gen FS nog niet hebben, behalve experimenteel op zijn best in BtrFS, en dat is OCE, en OCE is voor mij een echt gewilde functie.


Zelf heb ik een Win2013R2 server met een 18x 3TB hardware R6 array + 1 hot spare, en werkt tot nu toe probleemloos.

Zo is het een groot risico dat tijdens de rebuild met een dode schijf, er allerlei pending sectors opduiken op de overige disks.

Heb verscheidende OCE rebuilds gedaan tot nu toe zonder problemen.

Maar net zo als de reden je brand verzekering neemt, niet omdat je verwacht je huis uit zal branden, is het verstandig om een 3de Gen FS te nemen, vandaar dat ik over ga naar waarschijnlijk BtrFS, en die binnenkort eerst als extra array dienst gaat doen, en later geheel vervangen gaat worden voor waarschijnlijk alleen BtrFS R6 array('s).

Reden voor BtrFS over ZFS zijn.

• Toekomstige ondersteuning van OCE. (1)
• Sneller dan ZFS, vooral met veel snapshots word ZFS erg langzaam. (2)
• Minder geheugen nodig.
• Werkt beter met Linux. (Wil absolute geen spartaanse FreeNAS)
• ZFS is niet geïntegreerd in de Linux kernel, wat kan, en zal zeer waarschijnlijk problemen geven

(1) Met OCE kan je behoorlijk veel geld besparen op de aanschaf van HDDs, daar je ze een voor een kan toevoegen, ipv van extra pools met extra verlies.

• 21x 1TB disk R6 array heeft effectief 19TB bruikbare ruimte
• 3TB disk pool 2TB bruikbaar x 7 = 21 disks geeft effectief 14TB aan bruikbare ruimte.

En met de opkomende 4K video formaat, zie ik mijn opslag behoefte alleen maar groeien

(2) Gebruik de array ook als netwerkdrive, daar mijn main systeem SSD only is, alle extra snelheid is welkom.

We zullen zien of BtrFS R5/6 op tijd stabiel voor me wordt, heb nog ongeveer 6 maanden voor ik klaar ben met mijn nieuwe server behuizing, hoop ook dat tegen die tijd 8 maar bij voorkeur 10TB REDs uit zijn.

Anders wordt het toch voorlopig RAIDZ2, al met al heb ik voor thuis, een redelijk extreem netwerk en server, moet dus goed nadenken over wat ik ga doen, want verkeerde keuzes kunnen behoorlijke problemen geven, zowel technisch als financieel.

[OMX2000]

player-x schreef op zondag 21 september 2014 @ 20:08:


We zullen zien of BtrFS R5/6 op tijd stabiel voor me wordt, heb nog ongeveer 6 maanden voor ik klaar ben met mijn nieuwe server behuizing, hoop ook dat tegen die tijd 8 maar bij voorkeur 10TB REDs uit zijn.

Anders wordt het toch voorlopig RAIDZ2, al met al heb ik voor thuis, een redelijk extreem netwerk en server, moet dus goed nadenken over wat ik ga doen, want verkeerde keuzes kunnen behoorlijke problemen geven, zowel technisch als financieel.

Dus is voor huis tuin en keuken (use case 20+ TB) gebruik nu BtrFS wel of geen viable filesysteem? Want volg het al een paar jaar met een scheef oog, maar heb nog steeds niet het gevoel dat het nu een volwaardig alternatief is voor ZFS. Ik wil voor thuis gewoon zeer robuust opslag en geen gedoe. Gewoon een bak storage voor weinig naast mijn ESXi doos.

[analog_]

Heb je een reden om over te stappen? Zonee, nee.

[Q]

BtrFS is nog niet af dus is geen alternatief voor ZFS of legacy hw/sw RAID.

[Kortfragje]

BtrFS is inderdaad nog niet af. Bijvoorbeeld het scrubben van een RAID5 of 6 volume is nog niet geimplementeerd. Dat betekent dat fouten in het file systeem niet hersteld kunnen worden... Het betekent ook dat je GEEN failed drive kan vervangen in een raid 5/6 omdat dat ook scrub nodig heeft om te herstellen.

Op dit moment zou ik toch voor ZFS gaan. Ondanks het ontbreken van OCE biedt het toch de meeste mogelijkheden.

https://btrfs.wiki.kernel...eas#Scrub_with_RAID_5.2F6

Addendum: gezien dit ook de status was toen ik rondkeek (vorig jaar augustus) en het nog steeds niet door iemand geclaimd is, verwacht ik niet dat het over 6 maanden gebeurd is. (Hoewel dat niet echt ergens op gebaseerd is uiteraard.) Desalniettemin, mocht het wel geïmplementeerd zijn, vraag ik me af of alle bugs gevonden zijn binnen 6 maanden.

[ Voor 39% gewijzigd door Kortfragje op 26-09-2014 23:03 . Reden: typo ]

[Q]

[FireDrunk]

Er zijn echt *veel* mensen bezig met BTRFS hoor, ik zit daar in de mailing list, maar man, dat is echt druk... Drukker dan BSD op veel vlakken...

Maar jullie hebben zeker gelijk, BTRFS is nog niet af, en RAID5/6 al helemaal niet.

Voor mirrors is het nog leuk

[Verwijderd]

Als het zo druk is, waarom ligt Btrfs dan zo mijlenver achter op ZFS en lijkt het niet op te schieten met de meest elementaire features? Als Btrfs eindelijk zover is als ZFS versie 1, dan nog hebben ze een achterstand van véle jaren, zeker als het in dit tempo verder gaat....

[FireDrunk]

Zo zo... Lekker defensief Verkeerde been uit bed gestapt?

BTRFS ligt qua start van het project uberhaupt een heel aantal jaren achter, dus ach, het boeit mij weinig...

En druk != snel af...

[Verwijderd]

Gewoon een kritische noot. Ze hadden namelijk ook Btrfs in een bruikbare staat kunnen brengen met beperkte features. Nu lijkt het een project wat voor de komende 5 jaar nog bèta en eigenlijk onbruikbaar zal zijn behalve voor early adopters. Als het echt zoveel aandacht krijgt, vraag ik me af hoe dat komt. Zo groot was het team dat ZFS ontwikkelde ook niet...

[FireDrunk]

BTRFS' als filesystem is in veel gevallen al prima bruikbaar, het zijn vooral de extra features die nog niet klaar zijn. (Block level devices, compressie, RAID5/6).

Bedenk wel, dat BTRFS de vermeende 'block-pointer-rewrite' die ZFS mist, al heeft. Dat maakt nou juist al die features veel ingewikkelder om te maken...

Dat is nou juist een van de leuke features van BTRFS, on-the-fly (zonder verlies van redundancy) filesystems omzetten van RAID1 naar RAID5, en weer door naar RAID6...

Dat is een feature waar ZFS alleen nog maar van kan dromen

Desallniettemin blijft het zeker beta hoor...

[player-x]

FireDrunk schreef op zaterdag 27 september 2014 @ 02:13:
Bedenk wel, dat BTRFS de vermeende 'block-pointer-rewrite' die ZFS mist, al heeft. Dat maakt nou juist al die features veel ingewikkelder om te maken...

Dat is nou juist een van de leuke features van BTRFS, on-the-fly (zonder verlies van redundancy) filesystems omzetten van RAID1 naar RAID5, en weer door naar RAID6...

Mijn kijk op BtrFS is het zelfde, BtrFS heeft de lat heel hoog gelegd qua dergelijke functies, of het te hoog ligt, ik geloof het niet, want er zijn nu toch wel een stel hele grote jongens die hun gewicht achter de ontwikkeling van BtrFS hebben gezet.

Daarnaast kan en zal ZFS nimmer te nooit niet in Linux worden ge integreert, met de nodige problemen van dien, omdat Oracle ZFS nooit de licentie verenigbaar met de Linux GPL zal maken.

En de reden dat ik helaas nog steeds hardware raid gebruik is omdat er geen software raid alternatief is dat Online Capacity Expansion en Online Raid Level Migration functionaliteit heeft, en ZFS zal die functies waarschijnlijk nooit krijgen.
(persoonlijk zou ik ook prima met een offline versie van die functies kunnen leven)

Maar je hebt gelijk CiPHER, BtrFS zal toch ooit eens zijn belofte waar moeten maken.

[TMon]

Hier nog maar even mijn huidige issue posten. Harde schijven downspinnen niet via het moederboard.

Ik heb een server met 10 schijven. 5x 2TB WD Green en 5x 3TB WD green. Ik draai ZFS-Guru10.1-001 beta9 .
8 van de 10 schijven heb ik als test aan de M1015 gehangen en Firedrunks toevoeging aan rc.conf werkt prima, al deze schijven gaan down na 15 minuten.
Behalve dus nogsteeds de 2 aan het mobo.
Mijn moederboard is de welbekende ASRock B75 Pro3-M. Bios is ongewijzigd. Misschien zit daar nog iets in?
In rc.conf heb ik onder het spindown kopje de schijven toegevoegd. ada1 en ada2, timer in seconde goed gezet en de "NO" veranderd in "YES" zodat ie dit stukje software mag uitvoeren.
In rc.conf het uitvoeren van de zfs scripts ook op "YES".

Kan de exacte rc.conf text nu even niet kopieren.
Ik gebruik overigens 2 en 3 TB WD green schijven. De 2 schijven die niet uit gaan zijn 3TB greens, die geen APM ondersteunen. Met WDIdle is de parkeerfunctie uitgeschakeld.

Het OS staat op een SSD, evenals MySQL xmbc database. Dus de disks hebben ook echt geen IO voor langere tijd. Wat ook klopt want de schijven aan de M1015 spinnen wel down.

[ Voor 8% gewijzigd door TMon op 27-09-2014 14:02 ]

[Verwijderd]

Zou je ergens je volledige /etc/rc.conf kunnen posten, zoals op pastebin.ca?

[Kortfragje]

Ik zou ook graag op btrfs overstappen (heb er vorig jaar ook naar gekeken voor ik aan zfs begon). Vooral vanwege de uitgebreide mogelijkheden, betere toerusting op de thuisgebruiker (OCE), en volledige kernel integratie (het is me wel is gebeurd dat dkms de kernel modules niet hercompileerde, en dat is gewoon irritant).

Maar voorlopig is btrfs nog te alpha voor mij, ik ga over een maand mn nas en backup upgraden en blijf nu bij zfs. Maar wellicht volgend jaar nog is kijken...

[FireDrunk]

Dat verhaal met DKMS heb ik ook al eens gehad, dat blijft vervelend. Eigenlijk zou je systeem moeten waarschuwen dat je een nieuwe kernel aan het installeren bent, en deze tegen moeten houden als er DKMS delen missen of mislukken...

Helaas is DKMS nog niet zo ver volgens mij... Er wordt wel gepoogd dingen automatisch te compileren, maar volgens mij gaat je upgrade proces vrolijk door als er een compilatie fout is.

[TMon]

Cipher

Bij deze m'n rc.conf
Pastebin rc.conf

Ik hoop dat er geen gevoelige info in staat, want dan is ie nu publiek bezit

[wetsteyn]

Na aandachtig dit forum gelezen te hebben, zit ik met 3 vragen.

Dit is wat ik wil bouwen:

#	Product	Prijs	Subtotaal
1	ASRock C2550D4I	€ 259,50	€ 259,50
10	Seagate Desktop HDD, 4TB	€ 130,-	€ 1.300,-
1	Fractal Design Node 804	€ 92,92	€ 92,92
1	Kingston KVR16N11K2/16	€ 135,50	€ 135,50
1	Seasonic G-Serie 360Watt	€ 50,-	€ 50,-
Bekijk collectie Importeer producten		Totaal	€ 1.837,92

Hierop zal freenas op een Kingston V300 30GB SSD draaien
De 10 schijven zijn toekomst.

1. is het verplicht 10 dezelfde schijven te hebben? of mag 5x schijf x zijn en 5x schijf y?

2. Zijn deze schijven goed genoeg?

3. is ECC geheugen verplicht? ik heb nog een kingston setje van 2x4GB hier liggen is dat ook goed?

[Verwijderd]

1. bij RAID-Z1/2/3 familie is het aanbevolen om dezelfde schijven te gebruiken voor optimale performance, dat betekent ook dezelfde firmware.

2. Ik ben geen liefhebber van Seagate; ik zou je WD Green WD40EZRX aanraden. Punt daarbij is wel dat je headparking moet uitschakelen of op een lager pitje zetten. Dit kan met WDIDLE.EXE (dos-utility).

3. Of ECC-geheugen 'verplicht' is voor een ZFS NAS is een onderwerp van felle discussie. Mijn mening is dat het prima zonder kan in de meeste gevallen, omdat je via checksum errors gewaarschuwd wordt in vrijwel alle gevallen en ZFS ook tegen een stootje kan. Maar als je het goed wilt doen is ECC natuurlijk wel een grote plus. Als je al ECC geheugen hebt liggen zou ik lekker dat gebruiken.

[wetsteyn]

Verwijderd schreef op dinsdag 30 september 2014 @ 00:01:
1. bij RAID-Z1/2/3 familie is het aanbevolen om dezelfde schijven te gebruiken voor optimale performance, dat betekent ook dezelfde firmware.

2. Ik ben geen liefhebber van Seagate; ik zou je WD Green WD40EZRX aanraden. Punt daarbij is wel dat je headparking moet uitschakelen of op een lager pitje zetten. Dit kan met WDIDLE.EXE (dos-utility).

3. Of ECC-geheugen 'verplicht' is voor een ZFS NAS is een onderwerp van felle discussie. Mijn mening is dat het prima zonder kan in de meeste gevallen, omdat je via checksum errors gewaarschuwd wordt in vrijwel alle gevallen en ZFS ook tegen een stootje kan. Maar als je het goed wilt doen is ECC natuurlijk wel een grote plus. Als je al ECC geheugen hebt liggen zou ik lekker dat gebruiken.

CiPHER,

Bedankt, alleen dan zit ik nu met 5x 3TB Seagate schijven .
Kan ik die dan ook niet hergebruiken?

De rest is duidelijk bedankt voor je hulp!

[Verwijderd]

Wat voor configuratie wil je nu precies? 10 disks in RAID-Z2? Ik zie in je lijstje namelijk 10 schijven en je zegt dat het 'toekomst' is. Wat wil je nu concreet gebruiken? Als je nu al 5 schijven hebt, kun je die in een RAID-Z stoppen. Een schijf erbij en een 6-disk RAID-Z2 is ook optimaal. 10 schijven in RAID-Z2 is de sweet spot: de beste configuratie met het oog op redundancy (2-voudig parity), space efficiency (20% overhead) en performance (4K optimized zonder ruimte te verliezen).

[wetsteyn]

De schijven die ik nu heb zijn pricewatch: Seagate Desktop HDD, 3TB.
Hiervan heb ik er nu 5 in een HTPC zitten zonder enkele raid of iets dergelijks.
Deze is nu 80% vol en wil overstappen op een FreeNAS.

Is het wijsheid om anders nog 1 schijf erbij te kopen en daarmee "veilig te zijn".
Zoals ik het zie heb je dan 12TB (6x 3TB disks). Dan zou ik nog 3x 4TB erbij moeten kopen zodat ik die in Raid-Z kan zetten dan heb ik 20TB.
Dan kan ik terzijnde tijd volgend jaar april 10 schijven bestellen.

[Verwijderd]

Eén schijf erbij en je hebt 6 schijven; ga je die dan in RAID-Z2 plaatsen? Dan heb je (6 - 2) * 3TB = 12TB inderdaad.

Wat je ook kunt doen is je huidige 5 schijven houden en die in RAID-Z2 plaatsen, en 5 keer WD Green 4TB bijkopen en daar een losse RAID-Z van maken. Later kun je dan 5 schijven bijkopen en er een 10 disk RAID-Z2 van maken. Echter, moet je dan wel alles op de seagate schijven zetten, dus je moet dan mogelijk wel ruimte vrijmaken tijdelijk.

Wel kun je de 10-disk RAID-Z2 aanmaken met slechts 8 schijven (double degraded), zodat je twee schijven van 4TB tijdelijk extra hebt om gegevens op te bewaren. Dan alles naar de 10-disk RAID-Z2 kopiëren waarbij er dus twee schijven missen, en uiteindelijk de 2 tijdelijke schijven weer toevoegen zodat je 10-disk RAID-Z2 compleet wordt. Begrijp je deze procedure? In feite 'steel' je dus schijven van je RAID-Z2 om tijdelijk gegevens over te kunnen zetten.

Gewoon maar wat ideeën. Ik zou in jouw plaats liever investeren in WD schijven ipv Seagate.

[servela]

wetsteyn schreef op maandag 29 september 2014 @ 23:56:
Na aandachtig dit forum gelezen te hebben, zit ik met 3 vragen.

Dit is wat ik wil bouwen:

#	Product	Prijs	Subtotaal
1	ASRock C2550D4I	€ 259,50	€ 259,50
10	Seagate Desktop HDD, 4TB	€ 130,-	€ 1.300,-
1	Fractal Design Node 804	€ 92,92	€ 92,92
1	Kingston KVR16N11K2/16	€ 135,50	€ 135,50
1	Seasonic G-Serie 360Watt	€ 50,-	€ 50,-
Bekijk collectie Importeer producten		Totaal	€ 1.837,92

Hierop zal freenas op een Kingston V300 30GB SSD draaien
De 10 schijven zijn toekomst.

1. is het verplicht 10 dezelfde schijven te hebben? of mag 5x schijf x zijn en 5x schijf y?

2. Zijn deze schijven goed genoeg?

3. is ECC geheugen verplicht? ik heb nog een kingston setje van 2x4GB hier liggen is dat ook goed?

Ik heb pas een gelijkaardige opstelling in elkaar gezet

#	Product	Prijs	Subtotaal
1	ASRock C2550D4I	€ 259,-	€ 259,-
4	WD Green WD30EZRX	€ 90,75	€ 363,-
1	Fractal Design Node 804	€ 92,92	€ 92,92
1	BitFenix Adapter (Molex to 4 x SATA Power)	€ 5,67	€ 5,67
2	Crucial CT102472BD160B	€ 76,50	€ 153,-
1	Seasonic G-Serie 360Watt	€ 54,50	€ 54,50
1	Crucial MX100 256GB	€ 91,96	€ 91,96
Bekijk collectie Importeer producten		Totaal	€ 1.020,05

Enkel andere memory. Werkt prima.
Er zijn kunnen 10 3.5" schijven in.
Kleine tip: de front usb sloten van de 804 kan je aansluiten met een USB3.0 header, het moederbord heeft een USB2.0 header. Dus een converter van USB3.0 naar USB2.0 header is handig

[thibautb]

Ik vind niet dat het nodig is om hier een nieuw topic over te starten maar zou graag een nas-server maken, die minstens acht schijven houd met mogelijkheden tot uitbreiden zonder te veel kosten, ga het in een 19' rack maken, welke case zou ik het beste gebruiken? Misschien eentje met ingebouwde sas/sata expander, dat had ik ergens gelezen dat er zo een cases bestaan, en zou ik best xeon gebruiken of gewoon een z97 platform dingie? Mijn budget ligt rond de 1000 zonder de hdd's en rack zelf, maar dat maakt nu niet zo veel uit.

Ben ook van plan om proxmox te gebruiken voor virtualisatie en daar dan zfsguru op zetten., maar kan ik daar da ook nog gewoon andere programma's op zetten?

[ Voor 13% gewijzigd door thibautb op 30-09-2014 23:01 ]

[DXaroth]

thibautb schreef op dinsdag 30 september 2014 @ 22:55:
Ik vind niet dat het nodig is om hier een nieuw topic over te starten maar zou graag een nas-server maken, die minstens acht schijven houd met mogelijkheden tot uitbreiden zonder te veel kosten, ga het in een 19' rack maken, welke case zou ik het beste gebruiken? Misschien eentje met ingebouwde sas/sata expander, dat had ik ergens gelezen dat er zo een cases bestaan, en zou ik best xeon gebruiken of gewoon een z97 platform dingie? Mijn budget ligt rond de 1000 zonder de hdd's en rack zelf, maar dat maakt nu niet zo veel uit.

Ben ook van plan om proxmox te gebruiken voor virtualisatie en daar dan zfsguru op zetten., maar kan ik daar da ook nog gewoon andere programma's op zetten?

Aangezien je voor ZFS gaat, zorg er voor dat je de HBA gesupport wordt door je virtualisatie platform, en dat je processor VT-d ondersteunt... je wilt ZFS zo dicht mogelijk tegen je hardware kunnen laten praten.

[Verwijderd]

Ik moet een NAS bouwen met een (vooralsnog) beperkt budget. De opslag is per direct nodig.

Dit betekent dat een bestaand desktop systeem (Pentium G3220, 8GB ram, H81 chipset) zal worden omgebouwd. Ik ben van plan om hier 6x WD Green 2TB in RaidZ2 in te plaatsen en FreeNAS of ZFS Guru te gebruiken. Gezien de componenten zal regelmatig een backup naar crashplan worden gemaakt.

Zodra er weer budget beschikbaar is komen de schijven in een Asrock C2550D4I systeem met ECC geheugen en de mogelijkheid om extra schijven toe te voegen.

Hoe makkelijk/moeilijk is het om de schijven over te plaatsen zonder de array opnieuw op te moeten bouwen? En maakt het daarvoor nog uit of ik voor FreeNAS of ZFS Guru ga?

[Paul]

Overzetten is geen probleem, zolang beide maar dezelfde versie van ZFS gebruiken of je naar een versie gaat die hoger is. Bij plaatsen is een zwak punt van ZFS, dat kan alleen met complete VDEV's. Je kunt dus niet één schijf toevoegen aan een RAID-Z1, je moet een hele nieuwe RAID-Z1 maken (en als je dat met de oude schijven doet verlies je dus al je data).

[Verwijderd]

Paul schreef op woensdag 01 oktober 2014 @ 12:30:
Overzetten is geen probleem, zolang beide maar dezelfde versie van ZFS gebruiken of je naar een versie gaat die hoger is. Bij plaatsen is een zwak punt van ZFS, dat kan alleen met complete VDEV's. Je kunt dus niet één schijf toevoegen aan een RAID-Z1, je moet een hele nieuwe RAID-Z1 maken (en als je dat met de oude schijven doet verlies je dus al je data).

Dat gaat dan dus goed, huidige MB kan precies 6 schijven aan, de Asrock 12. Ik plaats dan een tweede 6 schijven VDEV bij als er weer budget is.

@Firedrunk hieronder: Booten van een low profile goede kwaliteit USB stick is goed genoeg.Daar zitten de kosten niet in.

[ Voor 9% gewijzigd door Verwijderd op 01-10-2014 14:23 ]

[FireDrunk]

Dan heb je alleen geen bootschijf.

[Paul]

Waarom? ZFSGuru doet (als ik de website goed lees) default Root-on-ZFS, en FreeNAS wil het liefst van USB starten

Ik heb nergens een verwijzing naar ESXi, dus voor de datastore hoeft het ook niet

[wetsteyn]

Paul schreef op woensdag 01 oktober 2014 @ 12:30:
Overzetten is geen probleem, zolang beide maar dezelfde versie van ZFS gebruiken of je naar een versie gaat die hoger is. Bij plaatsen is een zwak punt van ZFS, dat kan alleen met complete VDEV's. Je kunt dus niet één schijf toevoegen aan een RAID-Z1, je moet een hele nieuwe RAID-Z1 maken (en als je dat met de oude schijven doet verlies je dus al je data).

Is dat alleen met ZFS of ook met FreeNAS?
Ik bevind me namelijk in een soort gelijke situatie.

Nu kan ik namelijk 5 3TB schijven die ik nog heb in Raid-Z zetten en straks als het financieel haal baar is in 1x overstappen op 6x XTB schijven met de ASRock C2550D4I of eventuele opvolger en natuurlijk de oude Raid - Z schijven.

[Paul]

Dat is een eigenschap van ZFS, en dus ook van FreeNAS.

Als je bij gelijk aantal schijven wilt blijven is het gewoon 1 voor 1 schijven vervangen en zodra de laatste klaar is de extra ruimte in gebruik nemen. Als je echt meer schijven of een ander RAID-level wilt gebruiken dan moet je dat parallel opbouwen of je data tijdelijk ergens anders neerzetten. Aangezien je echter ook een nieuw mobo gaat kiezen lijkt me dat je (tijdelijk) met 2 NAS'en zit en je dus gewoon van de oude naar de nieuwe kunt kopiëren?

[FireDrunk]

Root-on-ZFS met 2 * 6 Schijven is zeker mogelijk, maar het is extreem zonde van je portemonnee...
Al je schijven blijven namelijk permanent draaien omdat je OS vrolijk op die Array blijft krassen

[Verwijderd]

Ik zal het OS zeer zeker niet op de array zetten. Het idee is namelijk dat de Array helemaal onafhankelijk wordt van de hardware en dat is hij niet meer als de hardware afhankelijke OS laag erop staat.

[wetsteyn]

Paul schreef op woensdag 01 oktober 2014 @ 16:28:
Dat is een eigenschap van ZFS, en dus ook van FreeNAS.

Als je bij gelijk aantal schijven wilt blijven is het gewoon 1 voor 1 schijven vervangen en zodra de laatste klaar is de extra ruimte in gebruik nemen. Als je echt meer schijven of een ander RAID-level wilt gebruiken dan moet je dat parallel opbouwen of je data tijdelijk ergens anders neerzetten. Aangezien je echter ook een nieuw mobo gaat kiezen lijkt me dat je (tijdelijk) met 2 NAS'en zit en je dus gewoon van de oude naar de nieuwe kunt kopiëren?

Dat is wel het idee.

[Genestealer]

Hopelijk kan iemand mij helpen met mijn setup. Ik kom er maar niet uit wat beste mogelijkheid is voor mijn NAS/Backup setup.

Setup:

ESXi 5.5
1x 250GB hdd voor VM's
1x 3TB HDD
1x 1TB HDD

Hiervoor had ik een LG nas waarbij je een handig optie had namelijk "Selective Mirror". Ik kon dan een map share aanvinken die ik gespiegeld wil hebben. Soort raid optie alleen dan op een of meerdere mappen. Bij uitval van een HDD had ik de bestanden nog.

Dit zou ik zo graag willen op mijn ESXI setup. Ben al dagen aan het rond spitten op internet en met FreeNas aan het spelen maar helaas. Probleem is dan dat ik maar 1TB beschikbaar heb met raid 1 etc.

[wetsteyn]

Ottovw schreef op woensdag 01 oktober 2014 @ 17:18:
Hopelijk kan iemand mij helpen met mijn setup. Ik kom er maar niet uit wat beste mogelijkheid is voor mijn NAS/Backup setup.

Setup:

ESXi 5.5
1x 250GB hdd voor VM's
1x 3TB HDD
1x 1TB HDD

Hiervoor had ik een LG nas waarbij je een handig optie had namelijk "Selective Mirror". Ik kon dan een map share aanvinken die ik gespiegeld wil hebben. Soort raid optie alleen dan op een of meerdere mappen. Bij uitval van een HDD had ik de bestanden nog.

Dit zou ik zo graag willen op mijn ESXI setup. Ben al dagen aan het rond spitten op internet en met FreeNas aan het spelen maar helaas. Probleem is dan dat ik maar 1TB beschikbaar heb met raid 1 etc.

Lees dit eens:
https://calomel.org/zfs_raid_speed_capacity.html

Dan snap je waarom je maar 1TB beschikbaar hebt .

[Verwijderd]

Verwijderd schreef op woensdag 01 oktober 2014 @ 11:51:
Hoe makkelijk/moeilijk is het om de schijven over te plaatsen zonder de array opnieuw op te moeten bouwen? En maakt het daarvoor nog uit of ik voor FreeNAS of ZFSguru ga?

Belangrijk is dat je niet alle ZFS features inschakelt. In veel gevallen gebeurt dit automatisch; waardoor je niet zomaar je pool naar een ander OS of zelfs andere versie van OS kunt migreren.

Bij ZFSguru kun je de pool aanmaken als ZFS versie 28; dan heb je ZFS features uitgeschakeld. Je kunt desgewenst features handmatig activeren zonder dat je gelijk alle features inschakelt. Ik weet niet of FreeNAS dit ook kan, maar dit is wel vereist als je cross-OS compatible wilt blijven.

Ik vind het erg jammer dat bij upgraden naar versie 5000 standaard alle features geactiveerd worden; hierdoor hebben veel mensen problemen met het migreren van hun data. Nexenta bijvoorbeeld heeft proprietary features die automatisch worden ingeschakeld, daarmee kun je dus nooit meer naar een ander OS en heb je dus praktisch een vendor-lockin. Dat was volgens mij nooit de gedachte achter de ZFS features. Mijn filosofie is dat standaard alle features uit staan en je per feature handmatig als gebruiker moet activeren als je die feature wilt. Zo kun je je pool optimaal cross-OS compatible houden en toch gebruik maken van de extra features. De meest belangrijke feature vind ik LZ4-compressie. Maar ook dat is geen absolute must.

FireDrunk schreef op woensdag 01 oktober 2014 @ 16:39:
Root-on-ZFS met 2 * 6 Schijven is zeker mogelijk, maar het is extreem zonde van je portemonnee...
Al je schijven blijven namelijk permanent draaien omdat je OS vrolijk op die Array blijft krassen

Bij ZFSguru kun je zo partitioneren dat je alleen de eerste disk niet kunt downspinnen omdat daar je OS partitie op staat waar ZFSguru op wordt geïnstalleerd. De overige disks kunnen dan wel downspinnen. Andere ZFS platforms hebben beperkingen, zo is dit bij FreeNAS volgens mij niet mogelijk.

De beste optie vind ik om een SSD voor OS+L2ARC+sLOG te gebruiken; maar ook hier is mogelijk dat FreeNAS beperkingen heeft waarbij de OS disk niet voor andere zaken gebruikt kan worden. Het beste is om in een VM uit te proberen voordat je je data op de NAS zet.

[Genestealer]

wetsteyn schreef op woensdag 01 oktober 2014 @ 18:57:
[...]


Lees dit eens:
https://calomel.org/zfs_raid_speed_capacity.html

Dan snap je waarom je maar 1TB beschikbaar hebt .

Dank je voor je link, erg interessant maar ik ben goed op te hoogte waarom ik maar 1TB beschikbaar krijg bij RaidZ of Raid1 setup. Echter vind ik het zonde om van mijn 3TB hdd maar 1TB te gebruiken omdat de kleinste HDD in mijn systeem 1TB is.

Ik kan het dan oplossen om nog een 3TB te kopen en ben van het probleem af. Maar wil kijken of ook software matig oplossing is (wellicht in FreeNas) om alleen een specifiek opgegeven share map te mirroren in plaats van een hele drive.

Iemand daar ideeën/oplossing voor? Ik had dit op mijn LG-nas N2R1

[A1AD]

Ottovw schreef op woensdag 01 oktober 2014 @ 20:10:
[...]
Iemand daar ideeën/oplossing voor? Ik had dit op mijn LG-nas N2R1

Rsync + cron al geprobeerd?

[Genestealer]

A1AD schreef op woensdag 01 oktober 2014 @ 23:04:
[...]


Rsync + cron al geprobeerd?

Wat ik zo snel gezien heb is dat dit geheel op linux scripts draait en configureerd. Geen GUI interfaces als ik het zo begrijp? Ik heb dit zelf wel nodig....

[Nindustries]

wetsteyn schreef op maandag 29 september 2014 @ 23:56:
Hierop zal freenas op een Kingston V300 30GB SSD draaien

Nooooooooo
FreeNAS kan perfect op een deftige usb stick draaien. (Embedded install)
Het wordt in het geheugen geladen bij boot en enkel naar geschreven bij wijzigingen van de configuratie. Cheap en effectief!

[A1AD]

Ottovw schreef op donderdag 02 oktober 2014 @ 00:40:
[...]


Wat ik zo snel gezien heb is dat dit geheel op linux scripts draait en configureerd. Geen GUI interfaces als ik het zo begrijp? Ik heb dit zelf wel nodig....

Je kan dit in de webinterface van freenas configureren.

[FireDrunk]

Verwijderd schreef op woensdag 01 oktober 2014 @ 19:04:
[...]
Bij ZFSguru kun je zo partitioneren dat je alleen de eerste disk niet kunt downspinnen omdat daar je OS partitie op staat waar ZFSguru op wordt geïnstalleerd. De overige disks kunnen dan wel downspinnen.

Zeker waar, maar dan ben je de ruimte die je voor je OS reserveerd kwijt op al je schijven.. Dan gaat mijn OCD tikker toch af

[wetsteyn]

Nindustries schreef op donderdag 02 oktober 2014 @ 00:45:
[...]


Nooooooooo
FreeNAS kan perfect op een deftige usb stick draaien. (Embedded install)
Het wordt in het geheugen geladen bij boot en enkel naar geschreven bij wijzigingen van de configuratie. Cheap en effectief!

En hoe groot moet de USB stick wezen .

[Pantagruel]

FireDrunk schreef op donderdag 02 oktober 2014 @ 09:10:
[...]

Zeker waar, maar dan ben je de ruimte die je voor je OS reserveerd kwijt op al je schijven.. Dan gaat mijn OCD tikker toch af

Een andere optie is om 2 SSD's aan te schaffen (met stroomverliesbescherming!) en deze in slices (*BSD) onder te verdelen, OS in mirror (safety first) en de resterende ruimte tbv caching (SLOG/L2ARC). Kunnen de drives downspinnen en t verbruik van de 2 ssd's is apennootjes (aanschafprijs buiten beschouwing gelaten en t feit dat t voor een thuis server over-kill is [nu geloof ik niet dat er voor een tweaker zoiets bestaat als computerhardware gerelateerde over-kill ]).

OCD, he bah, ga meteen m'n handen wassen

[ Voor 14% gewijzigd door Pantagruel op 02-10-2014 16:11 . Reden: oh no ocd ]

[servela]

wetsteyn schreef op donderdag 02 oktober 2014 @ 09:45:
[...]


En hoe groot moet de USB stick wezen .

FreeNas 9.x heeft min 4Gb nodig. Dus eentje van 4Gb of 8Gb is voldoende

[thibautb]

ik zit hier nu bij serverhome.nl wat rond te neuzen, ik zie dat ze heel wat refurbished hardware hebben, dat maakt me nu niet uit, maar ik zat bezig met een servertje te maken en ik had daarbij dan als optie om Dual Channel 4G FC PCI-E HBA Full Profile DELL 0JX250
hba fiber kaart te pakken, het is een imb system x3550 m2 trouwens, maar dan wou ik daar een DELL POWERVAULT MD1000 bij doen, maar het lijkt er zo op dat die andere input hebben voor de hba kaart kabel, moet ik daar dan, wat bij optie's staat een Dell PowerEdge Expandable RAID Controller PERC 5/E bij kopen zodat en die dan in m'n server steken zodat ik wel kan verbinden of heb ik iets verkeerd gedaan?


En heeft er iemand hier al ervaringen met serverhome.nl?

[Paul]

De MD1000 is Direct Attached d.m.v. 3 GB/s SAS, die moet met een SAS-kabel (SFF 8470) aan een PERC 6/E of 5/E inderdaad (of een ander merk ).

Die Fiber-Channel kaart is om de server aan je SAN te hangen als je shared storage (op FC) hebt. Het is een Emulex LPe11002, die doet ook IP over FC om zo een sneller netwerk te hebben, goedkoper dan 10GE, maar er valt online niet heel veel over te vinden.

Zo'n 2e-hands server en een MD 1100 zijn echter niet bepaald zuinig, en al helemaal niet goedkoop. Ik weet niet wat je eisen precies zijn; in een MD1100 + x3550 M2 passen in totaal 21 schijven en je gebruikt dan 4U.

Is iets als Paul in "Zuinige ESXi Server" in een https://ri-vier.eu/rivier...6a-p-352.html?cPath=1_3_7 niet goedkoper en zuiniger? Mogelijk wel een sterkere voeding nemen als je inderdaad 24 harddisks gaat gebruiken

Ik heb geen ervaring met die webshop

[thibautb]

Paul schreef op donderdag 02 oktober 2014 @ 21:40:
De MD1000 is Direct Attached d.m.v. 3 GB/s SAS, die moet met een SAS-kabel (SFF 8470) aan een PERC 6/E of 5/E inderdaad (of een ander merk ).

Die Fiber-Channel kaart is om de server aan je SAN te hangen als je shared storage (op FC) hebt. Het is een Emulex LPe11002, die doet ook IP over FC om zo een sneller netwerk te hebben, goedkoper dan 10GE, maar er valt online niet heel veel over te vinden.

Zo'n 2e-hands server en een MD 1100 zijn echter niet bepaald zuinig, en al helemaal niet goedkoop. Ik weet niet wat je eisen precies zijn; in een MD1100 + x3550 M2 passen in totaal 21 schijven en je gebruikt dan 4U.

Is iets als Paul in "Zuinige ESXi Server" in een https://ri-vier.eu/rivier...6a-p-352.html?cPath=1_3_7 niet goedkoper en zuiniger? Mogelijk wel een sterkere voeding nemen als je inderdaad 24 harddisks gaat gebruiken

Ik heb geen ervaring met die webshop

zuinig maakt niet zo veel uit, en als ik alles heb geconfigureerd, dan kom ik uit op iets van 980 euro zonder harde schijven excl btw, dus dat val denk ik best wel mee. Maar de componenten zijn allemaal refurbished ongeveer.

[Paul]

Dan heb je de goedkoopste CPU en 16x 2 GB ram en maar één SAS-kabel? Tja. Het maakt een hoop herrie, je portemonnee loopt leeg op de stroomrekening en je hebt geen rackrails. Werkt het? Zeker Is het de beste oplossing? Denk het niet

Overigens, wat wil je er op gaan draaien? Als je iets met ZFS wilt gaan doen moet je juist geen PERC-controller nemen maar een SAS-controller.

[thibautb]

Paul schreef op donderdag 02 oktober 2014 @ 22:18:
Dan heb je de goedkoopste CPU en 16x 2 GB ram en maar één SAS-kabel? Tja. Het maakt een hoop herrie, je portemonnee loopt leeg op de stroomrekening en je hebt geen rackrails. Werkt het? Zeker Is het de beste oplossing? Denk het niet

Overigens, wat wil je er op gaan draaien? Als je iets met ZFS wilt gaan doen moet je juist geen PERC-controller nemen maar een SAS-controller.

Ik heb dus van perc naar sas controller gegaan, energie maakt niet uit hoor, maar ik zal je even de details gegeven van wat ik zou willen kopen.

[player-x]

Ik begrijp het gebruik van complexe pro stuf niet helemaal.

Gewoon een Highpoint DC7280 DATACenter HBA op een 1150 bordje, en als alternatief voor de netwerk kaarten, gewoon een bord met Thunderbold nemen en die als een cross verbinding te gebruiken, mits je alleen maar max 2 PCs met de server hoeft te verbinden op 10Gbit/s tot op 10m afstand.

Moet je perse een Xeon en/of ECC geheugen dan is er nog de S1150 Supermicro X10SAT

Wikipedia: KISS principle

[thibautb]

ik moet geen xeon maar ik wil wel heel wat virutualisatie gaan, doen ongeveer 1 heel zware, 3 normale en dan een stuk of 10 lichte, de zware is vooral voor al m'n films en series bij te houden en te downloaden, en dat zijn er heeel veel, die gaat dan op centos denk ik lopen, voor zfs, via proxmox, maar nu ik erover na denk ben ik niet zeker ofdat ik centos wel virtueel mag laten draaien? en als dat niet is dan worden het twee servers, maar ik vond het redelijk goedkope prijzen, en er is toch niet echt een nadeel aan ecc memory?, en het was gewoon echt heel goedkoop. Dus daarom leek dat systeempje me wel interessent.

En die highpoint is wel tof maar die kost wel heel veel.

En het verdere doel is om rond de 60tb te geraken met vooral 3tb schijven want die zijn het goedkoopst per gb

[ Voor 11% gewijzigd door thibautb op 02-10-2014 22:53 ]

[FireDrunk]

Wat is jouw definitie van "hele zware"? 16GB RAM maar nog steeds >90% van de tijd idle? of hebben we het hier over een minecraft server voor 200 man?

Anders kan je naar een stevige i5 of zelfs een i7 op socket 2011 kijken?

[ Voor 20% gewijzigd door FireDrunk op 03-10-2014 08:09 ]

[GioStyle]

Een beetje Plex, SickBeard en SABnzbd valt natuurlijk niet in de categorie zwaar, ondanks dat je een enorme collectie hebt. Ik heb hier ook 200+ films en 40+ series op een i5 3550. Geen enkel probleem.

[FireDrunk]

Ik raise you:

model name      : Intel(R) Celeron(R) CPU G1610 @ 2.60GHz

root@NAS:~# zfs list -t filesystem
NAME                      USED  AVAIL  REFER  MOUNTPOINT
datapool                 8.51T  1.87T   291K  /datapool
datapool/backups          225G  1.87T   225G  /datapool/backups
datapool/btsync           366M  1.87T   366M  /datapool/btsync
datapool/data            7.64T  1.87T  7.64T  /datapool/data
datapool/data/Projects   17.6M  1.87T  17.6M  /datapool/data/Projects
datapool/kvm_vm           198K  1.87T   198K  /datapool/kvm_vm
datapool/lagelanden_4k    619G  1.87T  17.8G  /datapool/lagelanden_4k
datapool/programs         383M  1.87T   383M  /datapool/programs
datapool/ssdpool_backup  20.0G  1.87T  20.0G  /datapool/ssdpool_backup
ssdpool                   655G   128G  20.0G  /ssdpool

2: p5p1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000
    link/ether bc:5f:f4:66:fe:d1 brd ff:ff:ff:ff:ff:ff
3: p6p1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 9000 qdisc mq state DOWN mode DEFAULT group default qlen 1000
    link/ether f4:ce:46:a7:4f:78 brd ff:ff:ff:ff:ff:ff
4: p6p2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP mode DEFAULT group default qlen 1000
    link/ether f4:ce:46:a7:4f:79 brd ff:ff:ff:ff:ff:ff
5: p6p3: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 9000 qdisc mq state DOWN mode DEFAULT group default qlen 1000
    link/ether f4:ce:46:a7:4f:7a brd ff:ff:ff:ff:ff:ff
6: p6p4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP mode DEFAULT group default qlen 1000
    link/ether f4:ce:46:a7:4f:7b brd ff:ff:ff:ff:ff:ff

top - 08:59:53 up 1 day, 17:26,  1 user,  load average: 0.08, 0.05, 0.07

KiB Mem:   8093960 total,  7842252 used,   251708 free,   670776 buffers
KiB Swap: 15625212 total,    14696 used, 15610516 free.   412316 cached Mem

Celeron G1610, 8GB RAM, 4 SSD's tbv Virtual Machines, 8TB aan data, SabNZBd, Sickbeard, CouchPotato.

En het ding verveeld zich nog steeds...

[GioStyle]

Yep, ik heb een Pentium G3320 voor mijn NAS en een i5 3550 voor mijn Hyper-V bak. Beiden doen eigenlijk niets bijzonders. De G3320 serveert alleen data via SMB. De i5 3550 heeft 5 VM's, maar echt 95% van de tijd hebben ze het makkelijk.

Ik ga bovenstaande setups ook de komende tijd niet meer vervangen voor wat snellers, zuinigers of wat dan ook. Die rek is er wel een beetje uit.

[player-x]

thibautb schreef op donderdag 02 oktober 2014 @ 22:51:
de zware is vooral voor al m'n films en series bij te houden en te downloaden, en dat zijn er heeel veel

Heb zelf een 45TB server, en ik zie hem letterlijk nooit over de 10% load gaan voor zijn server functies.

Het enige dat hem strest is dat ik altijd video aan het re-encoden ben, gebruik een onder geklokte 2600K@2.2Ghz voor de beste balans en hoogste IPW (Instructies Per Watt)

en er is toch niet echt een nadeel aan ecc memory?, en het was gewoon echt heel goedkoop. Dus daarom leek dat systeempje me wel interessent.

Nee er zitten alleen maar voordelen aan het gebruik van ECC, zeker voor server gebruik.

En die highpoint is wel tof maar die kost wel heel veel.

De prijs per poort is behoorlijk laag hoor.

En het verdere doel is om rond de 60tb te geraken met vooral 3tb schijven want die zijn het goedkoopst per gb

En hier ga je totaal de mist in, ja de prijs per GB is het laagste voor 3GB schijven, maar niet het laagst als je alles berekend, want in die berekening moet je ook de bijkomende kosten per SATA port berekenen, plus de energie kosten voor elke extra HDD.

En op eens zijn dan 6TB HDDs een stuk interessanter, en komen er ook veel goedkopere controllers en behuizingen opeens in beeld.

[GioStyle]

player-x schreef op vrijdag 03 oktober 2014 @ 09:18:

En hier ga je totaal de mist in, ja de prijs per GB is het laagste voor 3GB schijven, maar niet het laagst als je alles berekend, want in die berekening moet je ook de bijkomende kosten per SATA port berekenen, plus de energie kosten voor elke extra HDD.

En op eens zijn dan 6TB HDDs een stuk interessanter, en komen er ook veel goedkopere controllers en behuizingen opeens in beeld.

Laten we even vanuit gaan dat we bruto 60TB opslag willen:

20x Green 3TB = 20 x 90 euro = 1800 euro
10x Green 6TB = 10 x 220 euro = 2200 euro

De 6TB schijven kost je 400 euro meer, maar je hebt minder controllers en minder grote behuizing (geen 19" case nodig, kan in 'goedkope' ATX kast) nodig, plus je stroomverbruik is een stuk lager door minder schijven en minder controllers. Makes sense.

[Paul]

thibautb schreef op donderdag 02 oktober 2014 @ 22:51:
En het verdere doel is om rond de 60tb te geraken met vooral 3tb schijven want die zijn het goedkoopst per gb

- 14 VM's op 24 GB? Dapper...
- Je komt 4 blindplates voor de x3550 tekort, er zitten 6 sloten voor 2.5" schijven in
- Je komt nog 3 brackets of blindplates voor de MD1000 tekort, er zitten 15 sloten in.
- Welke virtualisatie ga je gebruiken? Waar zet je het OS op? Ik neem aan dat je ZFS-VM (dmv VT-d) die SAS 5/E gaat gebruiken?

Dan je wens 60 TB met 3 TB-schijven te halen, dat kost je, zonder redundancy, dus al 20 schijven. 3 TB 2.5" is er bij mijn weten niet, dus hoe ga je dat halen met een MD1000 waar maar 15 schijven in kunnen?

Als ik dom het bedrag van de MD1100 door 15 deel en 20% extra schijven reken voor RAID-Z2 dan zijn 6 TB schijven het goedkoopst, reken ik het wat intelligenter door (waarbij ik me aan 2^n dataschijven houd en probeer tussen de 60 TB en 60 TiB te blijven) dan is het heel jammer dat er geen 16 schijven in die MD1000 passen. Dan is het met 3 TB schijven inderdaad het goedkoopst, maar kun je niet echt meer uitbreiden (4 sloten vrij).

[FireDrunk]

_{En dan mag je hopen dat die MD1100 6TB schijven ondersteund}

[Pantagruel]

FireDrunk schreef op vrijdag 03 oktober 2014 @ 11:12:
_{En dan mag je hopen dat die MD1100 6TB schijven ondersteund}

Voorlopig gaat de tel bij Dell niet verder dan 2TB, of 6TB drives zullen werken is een kostbare gok.

Perhaps just a brain fart, maar is het niet verstandiger om, als je echt met 6TB drives wilt gaan werken in je array, voor een RAIDZ3 setup te gaan (11 disks; 8x data +3x parity) ? De pech is dan wel dat je de 60 TiB niet gaat halen (11 disks; 8x data + 3x parity = 48TB), of je moet echt een diepte investering doen (19 disks; 16x data + 3x parity = 96TB).

[player-x]

Pantagruel schreef op vrijdag 03 oktober 2014 @ 12:48:
voor een RAIDZ3 setup te gaan (11 disks; 8x data +3x parity)

RaidZ3 is redelijke overkill, hoewel ik het zelf ook gebruik voor mijn offline back-up server, is het in de praktijk niet echt noodzakelijk voor live systemen, en zeker niet voor thuis gebruik.

Want in de praktijk is RAIDZ2 al een behoorlijk goede beveiliging, en moeten er meer dan twee HDDs dood gaan voor je data verlies hebt, en als dat gebeurd, zal waarschijnlijk die derde parity schijf ook niet veel meer helpen, tenzij je server opzet en nooit meer naar om kijkt, en ook geen waarschuwing mails heb aan staan als er iets mis gaat.

In mijn offline server heb ik een RAIDZ3 array, inclusief 2 hot-spare's van de HDDs van mijn oude main array, daar 8TB meer dan voldoende was voor al mijn privé data, en de HDDs niet echt voor andere dingen meer ging gebruiken, en de hot spare's zijn waarschijnlijk een goed plan voor +5j oude schijven.

Ik heb een Offline back-up server, daar ik zestien oude 750GB schijven over had plus een 16p PCI-X controller en een mobo met een S939 dual core 2Ghz Opteron 170 CPU, en de data die op die server gaat, alleen om eigen gemaakte onvervangbaar materiaal betreft als foto's en video's, in gebouwd in een oude brandwerende kast, die in de garage staat +20m van mijn huis, en ook nog eens goed tegen bliksem beschermt is, een echte noodzaak hier in Noorwegen daar alle kabels boven gronds zijn.

[ Voor 3% gewijzigd door player-x op 03-10-2014 16:39 ]