Het grote DIY RAID NAS topic deel 3

[FireDrunk]

picco.nl heeft ze ook.

[Plato112]

De kogel is door de kerk, ook hier moet een NAS/downloadbak komen.
Op dit moment draait de game PC 24/7 omdat daar de vier data harde schijven inzitten.Vanuit energieoogpunt is dit verre van ideaal want het is een oude game pc en het idle-verbruik is waarschijnlijk niet mis. Nu dus een Intel E8400 met een Ati Radeon HD4890.

Dit gaat mee naar de nieuwe NAS:

#	Product	Prijs	Subtotaal
1	Samsung EcoGreen F2 EG HD154UI, 1.5TB	€ 135,65	€ 135,65
1	Samsung Spinpoint F4 EG HD204UI, 2TB	€ 189,-	€ 189,-
1	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 124,70	€ 124,70
Bekijk collectie Importeer producten		Totaal	€ 449,35

De nieuw te bouwen NAS zal voor de volgende doelen gebruikt worden:
• "Veilig" opslaan van backups
• Muziek-, film- en seriecollectie opslaan (zo'n 4TB)
• Bepaalde documenten en foto's centraal opslaan
• Transmission, SABnzbd, Couchpotato en Sickbeard draaien. Dus downloaden, parren en unrarren
• Overig spul opslaan (2TB)

Eisen:
• Zuinig! Mag nu best iets meer kosten als het terug te verdienen is op de energierekening.
• Gaat draaien op ZFS (welke moet ik nog beslissen/afwegen)
• Moet uitbreidbaar zijn dus nu een vdev van 3x3TB in RAID-Z1 met daarbij de twee Samsung drives als JBOD, later waarschijnlijk nog een vdev erbij in RAID-Z.

Ik heb me de afgelopen zeer uitgebreid ingelezen in Het grote ZFS topic, Nieuwe Zuinige Server (discussie) en dit topic natuurlijk. Zo ben ik gekomen tot de volgende setup:

#	Product	Prijs	Subtotaal
1	Intel Pentium G860 Boxed	€ 56,95	€ 56,95
1	Asrock B75 Pro3-M	€ 57,90	€ 57,90
2	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 124,70	€ 249,40
1	Fractal Design Arc Midi Tower	€ 72,90	€ 72,90
1	Crucial Ballistix Sport BLS2CP8G3D169DS1SC	€ 64,51	€ 64,51
1	be quiet! Straight Power E9 400W	€ 64,50	€ 64,50
Bekijk collectie Importeer producten		Totaal	€ 566,16

Ik heb deze onderdelen geselecteerd omdat:
• CPU: Snelste Intel voor onder de €60
• Mobo: 8 SATA-aansluitingen
• HDD: Ik heb al één van deze hdd's in bezit en dus kan ik die combineren met deze twee in RAID-Z, plus goede €/GB verhouding.
• Mooie kast voor een redelijke prijs met lekker veel ruimte voor hdd's en volgens mij fatsoenlijke kwaliteit
• RAM: 16GB omdat ZFS daarvan houdt en dit setje op aanraden van CiPHER in dit topic.
• PSU: Ik ben bang dat een PicoPSU niet al m'n hdd's aankan bij het opspinnen (is dit terecht rekening houdend met uitbreiding?). Daarom deze zuinige kwaliteits ATX-voeding, vooral ook bij laag verbruik zuinig.


Nu heb ik nog een aantal vragen:

1. Is een AMD FM2 setup een goed alternatief? Of is een Intel setup op dit moment zuiniger in idle en evt. betere bang for the buck?
2. Is deze setup overkill voor mijn doeleinden en zou een Brazos ruim voldoende zijn?
3. Heeft iemand nog tips over eventuele betere/zuinigere onderdelen?

[analog_]

Ik heb meer schijven hangen op de 300watt variant met verder de h77-pro4 variant en verder dezelfde config, dus je kan veilig downsizen.

[Verwijderd]

@Plato112: je hebt goed vooronderzoek gedaan en ik kan er eiegnlijk niets aan toevoegen! Je hebt mijns inziens de juiste afwegingen gemaakt. PicoPSU wordt lastig als je ook nog wilt kunnen uitbreiden, bovendien is de 150W netadapter duur en moeilijk te krijgen tenzij je de slechtere Streacom set neemt. Ook zul je bij PicoPSU de T uitvoering van de CPU moeten nemen om je piekverbruik laag te houden tijdens het opstarten. Is dat het waard? Die BeQuiet is ook een prima voeding en onder de 10W zul je toch niet komen ook niet met spindown. Kortom: prima afweging zo.

AMD setup zou qua idle weinig mogen uitmaken. Wel denk ik dat met name non-Windows platforms zoals BSD de stroombesparingstechnieken van Intel beter ondersteunen; AMD leunt erg op softwarematige ondersteuning van energiebesparing. Met name de GPU heb ik het idee. Dus mijn voorkeur gaat tegenwoordig uit naar Intel, maar als iemand zou zeggen AMD is minder zuinig zou ik dat bestrijden. Maar ik zie niet direct de meerwaarde; die G860 lijkt mij prima!

Dus wat mij betreft een zeldzaamheid, maar je setup zoals jij hem nu hebt lijkt mij perfect voor jou!

[FireDrunk]

Heeft iemand al bevestigd of die ASMedia Controller die op dat bord zit (poort 7, en 8 ) goed werkt met ZFS?

[Verwijderd]

Ik heb hem niet met ZFS gebruikt, maar hij wordt in elk geval goed herkend door ZFSguru middels de AHCI driver. Verder heb ik wat stroommetingen gedaan, hij slurpt 0,3 watt. Hij ondersteunt geen energiebesparing; wat de Intel ICHxR controller wel doet in DIPM mode. Intel is zelfs zo stoer dat hij 0,0 watt gebruikt bij activatie van DIPM, ongeacht specifieke ondersteuning van de hardeschijf. Dus zonder schijven aan de Intel controller maar DIPM ingeschakeld verbruikt de Intel controller helemaal niets. Zie hier voor specifieke metingen: Stroomverbruik Processor+Moederbord+Geheugen

[Plato112]

Bedankt voor de reacties!

analog_ schreef op woensdag 05 december 2012 @ 01:47:
Ik heb meer schijven hangen op de 300watt variant met verder de h77-pro4 variant en verder dezelfde config, dus je kan veilig downsizen.

De PSU is inderdaad sterker dan nodig, maar dat is puur gedaan omdat deze zeer zuinig is bij een verbruik van 10/20Watt. Daarnaast vind ik het wel prettig om de ruimte te hebben zodat ik deze PSU nog altijd in een ander systeem kan gebruiken. Ik twijfelde dus eigenlijk alleen tussen deze PSU en een PicoPSU, maar toch bedankt voor je input

Verwijderd schreef op woensdag 05 december 2012 @ 02:29:
@Plato112: je hebt goed vooronderzoek gedaan en ik kan er eiegnlijk niets aan toevoegen! Je hebt mijns inziens de juiste afwegingen gemaakt. PicoPSU wordt lastig als je ook nog wilt kunnen uitbreiden, bovendien is de 150W netadapter duur en moeilijk te krijgen tenzij je de slechtere Streacom set neemt. Ook zul je bij PicoPSU de T uitvoering van de CPU moeten nemen om je piekverbruik laag te houden tijdens het opstarten. Is dat het waard? Die BeQuiet is ook een prima voeding en onder de 10W zul je toch niet komen ook niet met spindown. Kortom: prima afweging zo.

AMD setup zou qua idle weinig mogen uitmaken. Wel denk ik dat met name non-Windows platforms zoals BSD de stroombesparingstechnieken van Intel beter ondersteunen; AMD leunt erg op softwarematige ondersteuning van energiebesparing. Met name de GPU heb ik het idee. Dus mijn voorkeur gaat tegenwoordig uit naar Intel, maar als iemand zou zeggen AMD is minder zuinig zou ik dat bestrijden. Maar ik zie niet direct de meerwaarde; die G860 lijkt mij prima!

Dus wat mij betreft een zeldzaamheid, maar je setup zoals jij hem nu hebt lijkt mij perfect voor jou!

Ik heb zelf een hekel aan mensen die got als een helpdesk gebruiken en ik vind het leuk om alles zoveel mogelijk zelf uit te zoeken. Maar ik weet dat ik niet alles weet dus laat ik het hier even checken.

Die PicoPSU ga ik maar niet op gokken, ook al heb ik hier nog een Dell 150W adapter liggen.
Het verhaal over Intel/AMD kon ik nergens goed vinden dus bedankt, dit maakt het weer een stuk duidelijker en weer wat geleerd

FireDrunk schreef op woensdag 05 december 2012 @ 08:48:
Heeft iemand al bevestigd of die ASMedia Controller die op dat bord zit (poort 7, en 8 ) goed werkt met ZFS?

Mocht ik het systeem op korte termijn draaiende hebben dan wil ik dit wel testen. Maar aangezien ik nog nooit met ZFS gewerkt heb, ben ik bang dat het even kan gaan duren.

[FireDrunk]

Als CiPHER zegt dat de disks gedetecteed worden, zal ZFS in eerste instantie wel werken.
Wat je graag wil testen, hoe de controller om gaat met Bad Sectors, want dat zegt eigenlijk het meeste.

Dat is een hele lastige test, dus dat verwachten we niet van je

[Plato112]

Nee, ik ben niet van plan een harde schijf aan bad sectors te helpen
Maar nu weet ik iig waar het om gaat.

[ Voor 21% gewijzigd door Plato112 op 05-12-2012 11:03 ]

[victorb]

Zo net 7km van mijn huis nieuwe sas -> sata kabels gehaald voor 10euro ex btw per stuk Zometeen mijn server maar eens verbouwen

[Pantagruel]

FireDrunk schreef op woensdag 05 december 2012 @ 10:56:
Als CiPHER zegt dat de disks gedetecteed worden, zal ZFS in eerste instantie wel werken.
Wat je graag wil testen, hoe de controller om gaat met Bad Sectors, want dat zegt eigenlijk het meeste.

Dat is een hele lastige test, dus dat verwachten we niet van je

ZFSguru vindt de controller en kan de aangesloten disks benaderen. Heb afgelopen weekend een ZFSguru bakje gemaakt voor een ander op basis van t Asrock B75 Pro3-M bordje.

specs:

#	Product	Prijs	Subtotaal
1	Intel Core i3 2120 Boxed	€ 70	€ 70
1	Asrock B75 Pro3-M	€ 57,90	€ 57,90
6	Western Digital Green WD30EZRX, 3TB	€ 124,90	€ 749,40
1	Corsair Vengeance CML32GX3M4A1600C10	€ 136,-	€ 136,-
2	Intel Postville X25-M SSDSA2MJ080G201 80GB	€ 0	€ 0
Bekijk collectie Importeer producten		Totaal	€ xxxxx

De 2 SSD's waren reeds in t bezit en worden gerecycled, de i3 is 2de hands. De behuizing is een Antec Performance One P183 en de PSU is vooralsnog een oude EnerMax Pro+ 385 W (beiden reeds aanwezig). De EnerMax staat wel op de nominatie om met korte termijn vervangen te worden door een recenter exemplaar (300 a 400W exemplaar, iets als een : LC-Power Green Power LC7300 80+ Silver Shield of een Seasonic G-Serie 360Watt)

De 2 SSD's zitten als mirror voor het OS/LARC op de AsMedia controller en de 3TB disks op de Intel controller. Nu lees ik net dat dit een goede gok is ivm DIPM, in ieder geval gaan de disks van de data array netjes uit en t verbruik van de 2 ssd's is wel te hebben .

Plato112 schreef op woensdag 05 december 2012 @ 11:02:
Nee, ik ben niet van plan een harde schijf aan bad sectors te helpen
Maar nu weet ik iig waar het om gaat.

Ahhh ff laten stuiteren terwijl de disk zijn rondjes maakt, et le voila

[ Voor 8% gewijzigd door Pantagruel op 05-12-2012 11:31 ]

[victorb]

Upgrade time :D:D



Update

[ Voor 32% gewijzigd door victorb op 05-12-2012 14:45 ]

[analog_]

Ziet er mooi uit victorb! Die arc mini is denk ik mijn beste aankoop dit jaar, wat een heerlijk ding.

Ik weet dat je kernel panics krijgt met die asmedia en de illumos kernel (openindiana, nexentatstor, nexenta, ...).

[victorb]

18TB bruto en 12 TB netto + 2x500gb mirror boot. De 6x 3TB seagate disks zitten op de IBM M1015 controller. En de 128gb samsung ssd zit verstopt in de 5.25 bays als L2arc zfs cache



Ik wacht nog even tot mijn 3e filmpje van de upgrade klaar is voordat ik hem bij de 10tb machines neerplant

[ Voor 19% gewijzigd door victorb op 05-12-2012 20:52 ]

[ebia]

Verwijderd schreef op maandag 26 november 2012 @ 23:33:
[...]
Ik raad aan dat je je configuratie zo hebt ingericht dat je makkelijk kunt switchen tussen bijvoorbeeld ZFSguru, FreeNAS en NAS4Free. Zou je bijvoorbeeld problemen hebben in X wat je niet makkelijk zelf kunt verhelpen, dan migreer je gewoon naar Y. Dat is best een fijne gedachte; geen vendor-lockin!

Nog bedankt voor je reactie. Ondertussen heb ik de NAS in elkaar en draaiende, ware het niet dat ik 1 disk terug heb moeten sturen omdat ie nogal rare drops had in z'n transfer rate en access times. Het is dus nog even wachten.

Hoe dan ook ben ik nu aan het Advanced benchmarken met (max) 5 disken, de resultaten tot nu toe:

Now testing RAID0 configuration with 4 disks: cWmRd@cWmRd@cWmRd@
READ: 362 MiB/sec 361 MiB/sec 359 MiB/sec = 361 MiB/sec avg
WRITE: 93 MiB/sec 94 MiB/sec 93 MiB/sec = 94 MiB/sec avg

Now testing RAID0 configuration with 5 disks: cWmRd@cWmRd@cWmRd@
READ: 383 MiB/sec 381 MiB/sec 374 MiB/sec = 379 MiB/sec avg
WRITE: 96 MiB/sec 96 MiB/sec 96 MiB/sec = 96 MiB/sec avg

Now testing RAIDZ configuration with 4 disks: cWmRd@cWmRd@cWmRd@
READ: 240 MiB/sec 241 MiB/sec 242 MiB/sec = 241 MiB/sec avg
WRITE: 69 MiB/sec 69 MiB/sec 69 MiB/sec = 69 MiB/sec avg

Is dat herkenbaar voor jou (als medegebruiker van het Brazos platform)? Of heb je nog adviezen voor bepaalde tuning?

De quote die ik aanhaalde, het dusdanig configureren dat de zaak portable blijft, kun je aangeven hoe ik dat dan zou moeten doen?

Zit trouwens nu een beetje rond te kijken in de huidige ZFSguru versie, ziet er al weer een stuk beter uit dan die ik ook in het verleden heb getest. Gaaf hoor, denk dat ik hierbij blijf, het bevalt.

Wel zou ik graag willen sysloggen (naar een ander systeem). Zou ik dat dan via de cli aan de praat moeten krijgen?

[nero355]

victorb schreef op dinsdag 04 december 2012 @ 22:56:
Duidelijk

Weer wat geleerd

Eindelijk een webshop gevonden die zeer duidelijke info geeft over kabels (was info aan het zoeken ik ga ze niet hier bestellen)
http://www.webconnexxion....-forw.breakout-1.0mt.html

[afbeelding]

Dat is tenminste duidelijk! Morgen even andere kabels fixen.

De eigenaar is een toffe gast dus als je vragen of hulp nodig hebt met een produkt dan zou ik gewoon effe een mailtje sturen

[MM-]

Ik heb met behulp van dit topic een simpele build samengesteld waar ik graag wat feedback op zou willen. De 1,5 TB schijf is al in bezit en zou ik graag als OS drive willen gebruiken zodat de storage eventueel in spindown zou kunnen.

In principe is het voornamelijk bedoeld als NAS maar ik ga ook meerdere Ruby applicaties draaien want ik heb een vrij goede connectie waar ik gebruik van kan maken :-)
Daarom leek een vrij snelle CPU me wel belangrijk, ook het feit dat ik graag m'n 500 mbit wil dichttrekken met downloaden en parren/unrarren, maar ik weet niet zo goed wat daar de bottlenecks van zijn.

Ik zat zelf te denken om te beginnen met 1 disk voor storage en dan rustig uit te breiden. Volgens mij kan je met MDADM makkelijk een schijf toevoegen om zo je storage capaciteit te vergroten, klopt dat?

Redundancy is voor mij niet direct een vereiste want de data die ik op wil slaan is niet onvervangbaar.
Wel ben ik geïnteresseerd in ZFS en zou ik later die optie wel willen verkennen maar dan moet ik eerst 3 schijven hebben en zou ik eens moeten nadenken hoe ik de data ga migreren ;-)

Klopt het dat met MDADM en ZFS TLER schijven niet nodig zijn?

Ik zit vooral met de vraag wat voor voeding ik nodig heb want dat vind ik moeilijk in te schatten. Zijn hier bepaalde vuistregels voor?
Ik denk dat ik in de toekomst maximaal iets van 4 tot 5 drives zou willen aansluiten, verder geen externe hardware. Ik zie veel meldingen over PicoPSU in onder andere het zuinige server topic maar hier ben ik nog totaal onbekend mee. Zuinigheid is geen absolute vereiste maar altijd mooi meegenomen natuurlijk!

Als jullie verder nog op of aanmerkingen hebben op deze build hoor ik het graag!

#	Product	Prijs	Subtotaal
1	Intel Pentium G860 Boxed	€ 56,50	€ 56,50
1	Asrock B75 Pro3-M	€ 57,90	€ 57,90
0	Western Digital Caviar Green WD15EADS, 1.5TB	€ 0,00	€ 0,00
1	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 124,70	€ 124,70
1	Fractal Design Core 1000	€ 29,47	€ 29,47
1	Corsair Vengeance CML16GX3M2A1600C10	€ 64,75	€ 64,75
Bekijk collectie Importeer producten		Totaal	€ 333,32

[ Voor 4% gewijzigd door MM- op 06-12-2012 15:41 ]

[Toon-VA]

Na stevig wat rond te kijken op tweakers heb ik dan toch ook besloten om zelf een NAS te bouwen ipv een kant en klaar systeem te kopen. Ook al gewoon omdat het wel leuk is een nieuw systeem in elkaar te stoppen .

Het systeem zal voornamelijk gebruikt worden voor volgende zaken:

• Backup van computers - ongeveer 7 systemen (Windows en Mac)
• Download via Torrents en HTTP
• Opslag van Films (momenteel nog 2x 1,5TB USB)
• Koppeling naar mijn WD Live Hub mediaspeler
• Zuinig maar toch ook krachtig (het moet niet superzuinig zijn, maar toch minder dan een Game Systeem )

Het systeem zal draaien met ZFS (FreeNAS) in een RAID-Z2 met 6x 3TB schijven (welke ben ik nog niet uit, daar hoopte ik wat info van jullie over te krijgen)

Er zal zeker ook wel eens gespeeld worden met andere OS'en zoals Windows Server, Esxi (daarom dat ik het een iets krachtiger machientje maak)

Ik heb momenteel 2 configuraties, ze verschillen enkel van Case, hierover straks meer.

NAS 1:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 159,99	€ 159,99
1	Zotac Z77-ITX WiFi	€ 152,77	€ 152,77
1	Lian Li PC-Q08 Zwart	€ 88,90	€ 88,90
2	3Ware 3Ware Multi-lane SATA cable CBL-SFF8087OCF-05M	€ 17,23	€ 34,46
1	Kingston HyperX KHX1600C10D3B1K2/16G	€ 69,90	€ 69,90
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 99,99	€ 99,99
Bekijk collectie Importeer producten		Totaal	€ 606,01

NAS 2:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 159,99	€ 159,99
1	Zotac Z77-ITX WiFi	€ 152,77	€ 152,77
1	Lian Li PC-Q25B	€ 110,50	€ 110,50
2	3Ware 3Ware Multi-lane SATA cable CBL-SFF8087OCF-05M	€ 17,23	€ 34,46
1	Kingston HyperX KHX1600C10D3B1K2/16G	€ 69,90	€ 69,90
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 99,99	€ 99,99
Bekijk collectie Importeer producten		Totaal	€ 627,61

Er zit nog geen voeding bij, maar ik dacht aan deze modulaire "OCZ Silencer Mk III 400 Watt". Deze staat niet in de prijslijst van Tweakers.

Tussen de 2 configuraties zit geen verschil buiten de Case, hier wou ik wat input van jullie over krijgen. Het grote verschil zit hem in de front, de Lian Li PC-Q08 heeft een open front en USB aansluiting maar de Lian Li PC-Q25B heeft een gesloten front zonder USB. Ik weet niet goed wat ik moet doen helaas, de open Case gaat meer stof opnemen in de NAS maar heeft dan wel USB vooraan wat handig kan zijn. De gesloten Case is dan weer stiller en zal minder stof opnemen. Advies aub

Het moet vooral een kleine kast zijn die ik ergens kan neerplanten zonder er altijd op gefixeerd te worden (de case met LED fan wordt aangepast naar fan zonder LED indien ik deze kies)

Het moederbord heb ik gekozen omdat dit standaard 2x Gigabit LAN heeft (en Wifi - nice to have), hiermee kan ik dan via Link Aggregation werken zodat beide poorten evenveel worden belast.

Verder vraag ik me af of ik een SSD zou plaatsen voor het OS en/of caching (Dedicated ZIL en L2ARC - 2 termen die ik niet ken maar ben tegengekomen in het ZFS topic )


Dit is het zo een beetje, natuurlijk is alle info / input meer dan welkom.

[IceTeaGX]

[b][message=39404460,noline]Klopt het dat met MDADM en ZFS TLER schijven niet nodig zijn?

Inderdaad, TLER is hiervoor niet nodig, en zou zelfs nadelig zijn.

[b][message=39404460,noline]
Ik zit vooral met de vraag wat voor voeding ik nodig heb want dat vind ik moeilijk in te schatten. Zijn hier bepaalde vuistregels voor?

Voor dit systeem met een 6 tal drives, kom je zeker nog toe met 300W.
Een PicoPSU is nog te overwegen, zoals het nu is, maar daar zal je niet veel meer schijven kunnen bijplaatsen, en dan zit je nog met die adapter.
Neem een 300W 80+ bronze en je zit goed. Zuinigere voedingen kosten over het algemeen meer dan dat ze uiteindelijk gaan besparen de eerste 5 jaar.

---

Toon-VA schreef op donderdag 06 december 2012 @ 15:51:
Na stevig wat rond te kijken op tweakers heb ik dan toch ook besloten om zelf een NAS te bouwen ipv een kant en klaar systeem te kopen. Ook al gewoon omdat het wel leuk is een nieuw systeem in elkaar te stoppen ...

1) CPU is zwaar overkill voor dit systeem zijn doen. Of ben je nog van plan er films op de recoden oid? Neem gewoon een Celeron of Pentium, en je zit al meer dan goed.
2) Schijven: WD greens, of WD reds zijn zeker geen slechte optie. De reds zouden iets beter afgesteld zijn op NAS gebruikt (vibraties etc.)
3) De PC-Q08 trekt mijn voorkeur. Tegen het stof kan je zelf iets van filter inbouwen. Zelfs een stuk muggengaas erover spannen (ghetto!!) zal al helpen.
4) Ondersteund het netwerk op dat moederbord wel een vorm van link aggregation, ik vind dit online niet onmiddelijk terug.
5) FreeNAS zelf kan je misschien best op een USB stick zetten. Een SSD als ZIL of L2ARC zal je waarschijnlijk niet direct nodig hebben. (ZIL = betere synchrone schrijfprestaties, L2ARC = betere leesprestaties)

[onox]

Je kan ook nog naar de pricewatch: Lian Li PC-Q18 kijken i.p.v. de PC-Q08 mocht je die nog niet kennen.

[webbier]

De PC-Q08 heeft gewoon een stoffilter voor de 140 mm intake fan zitten. Als je er voor zorgt dat je de fan met de aansluiting aan de linkerkant doet (zodat hij makkelijk los te halen is) kun je de fan incl. filter er heel makkelijk uitschuiven om schoon te maken. Dit gaat zelfs met de harddisk kooi geïnstalleerd.

[Verwijderd]

Toon-VA schreef op donderdag 06 december 2012 @ 15:51:
Er zal zeker ook wel eens gespeeld worden met andere OS'en zoals Windows Server, Esxi (daarom dat ik het een iets krachtiger machientje maak)

Als je ESXi overweegt, is een processor met vt-d support bijna verplicht. Dan zit je bijvoorbeeld aan een pricewatch: Intel Core i5 3470 Boxed of hoger. Let op: de K versies ondersteunen géén vt-d. Controleer met de Intel Ark.

Peperduur ITX moederbord op basis van Z77 waarbij je flink betaalt voor de softwarematige functies die alleen in Windows werken; dat lijkt mij eveneens iets wat je zou kunnen heroverwegen. Als je persé ITX wilt:
pricewatch: Intel DH77DF

Als je Micro-ATX wilt raad ik dit bordje aan, flink goedkoper en ik denk beter voor een ZFS NAS:
pricewatch: Asrock B75 Pro3-M

Qua geheugen zou ik eerder dit setje aanraden, eerst 20 euro duurder nu zelfs iets goedkoper en iets sneller:
pricewatch: Crucial Ballistix Sport BLS2CP8G3D169DS1SC
Dit setje heb ik als zuiniger getest dan andere geheugenmodules.

Er zit nog geen voeding bij, maar ik dacht aan deze modulaire "OCZ Silencer Mk III 400 Watt".

Naast dat ik OCZ een heel slecht merk vind, is het heel goed mogelijk dat deze voeding helemaal niet zo zuinig is. Mijn tip: ga voor een voeding die zuinig is getest op lage wattages. Welk etiket heeft (80plus) is irrelevant omdat deze enkel op asociaal hoge load wordt getest. Je wilt weten hoe efficient de voeding is bij minder dan 5% load. Deze voeding kan ik aanraden als zuinige ATX voeding:
pricewatch: FSP Aurum Gold 400
pricewatch: be quiet! Straight Power E9 400W

Het moederbord heb ik gekozen omdat dit standaard 2x Gigabit LAN heeft (en Wifi - nice to have), hiermee kan ik dan via Link Aggregation werken zodat beide poorten evenveel worden belast.

Weet je zeker dat dat gaat werken? Je gebruikt géén Windows in je netwerk?! Dan kun je mogelijk inderdaad round robin gebruiken (TCP violating!). Je zult dan direct (cross) moeten aansluiten zonder switch ertussen. Alternatief is LACP met een geschikte switch, maar dan zit je per netwerkverbinding vast aan de snelheid van één uplink. Wees je hiervan bewust! Je kunt niet zomaar netwerkpoorten bij elkaar gooien en extra snelheid krijgen, dat ligt toch echt iets gecompliceerder.

[Toon-VA]

Bedankt alvast voor de info allemaal.

Nu de commentaar te hebben gelezen, heb ik het systeem aangepast net als de vereisten. We schrappen het spelen met Windows Server en ESXI (ik koop later nog wel een klein krachtig systeem om hier mee te experimenteren).

Die info over link aggregation heb ik opgezocht en het is dus niet van toepassing voor mij helaas. Ik heb dan toch nog gekeken naar een Mini ITX mobo en ben uitgekomen bij Gigabyte (was zelfs nog goedkoper dan het Intel bordje).

Deze heeft ook 2 netwerkaansluitingen, ik configureer ze dan wel zodat films over X en Backups / download over Y gaat. Zo heb ik toch een beetje een soort van traffic control :-)

De nieuwe CPU ben ik tegengekomen uit vorige topic's en het "zuinige sever" stukje. Ik weet alleen niet of deze nu snel genoeg is om bvb. (worst case) HD film te sturen naar media speler, ondertussen te downloaden en een backup te runnen in de achtergrond? Of toch beter een i3?

#	Product	Prijs	Subtotaal
1	Intel Pentium G860 Boxed	€ 56,50	€ 56,50
1	Gigabyte GA-B75N	€ 81,20	€ 81,20
1	Lian Li PC-Q08 Zwart	€ 88,90	€ 88,90
2	3Ware 3Ware Multi-lane SATA cable CBL-SFF8087OCF-05M	€ 17,23	€ 34,46
1	Crucial Ballistix Sport BLS2CP8G3D169DS1SC	€ 64,51	€ 64,51
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 106,99	€ 106,99
1	be quiet! Straight Power E9 400W	€ 63,90	€ 63,90
Bekijk collectie Importeer producten		Totaal	€ 496,46

Voor de Harde schijven was mijn oorspronkelijk idee ook om voor de WD Red's te gaan omdat deze gemaakt zijn 24/7 NAS, maar ik dacht te hebben gelezen dat door TLER deze beter niet in Raid-Z werden geplaatst (of ben ik hier weer verkeerd).

Ook kreeg ik een privéberichtje dat ik beter NAS4FREE kon draaien dan FreeNas 8, iemand hier ervaring mee of een uitlegje waarom want meet stond er niet in het privé bericht

Ik heb beide nog nooit gedraaid, maar FreeNas zag er mij heel netjes en gebruiksvriendelijk uit.

Nogmaals bedankt voor de info alvast, als je nog opmerkingen/tips hebt laat gerust iets weten.

Bijleren kan nooit kwaad

[analog_]

• CPU:-150mV
• IGP:-100mV
• RAM:1.35V (ipv. 1.585V)
• VTT: 0983V +1 standje
• PCH: 0.854V +1 standje
• PLL: 1.586V
• VCCSA: 0.925V

#	Product
1	Intel Pentium G860 Boxed
1	Asrock H77 Pro4-M
2	Samsung Spinpoint F1 HD103UJ, 1TB
5	Seagate Barracuda Green ST32000542AS, 2TB
1	Corsair CMV16GX3M2A1333C9
1	be quiet! Pure Power L7 300W
2	Crucial m4 CT128M4SSD2 128GB
Bekijk collectie Importeer producten

Daarnaast zit er nog het volgende in:

• Voltaire HCA 500ex-d (fw: Mellanox MHGH-28-XTC)
• IBM M1015 (fw: LSI9220-8i it)

Er worden enkel de 2TB disks in spindown gebracht, er blijven dus twee crucials en twee samsungs draaien. Dit komt neer op 58W volgens mijn meter. Dit lijkt mij nog best redelijk voor wat er aan extra kaarten en disks inzit.

Als ik mijn ESXi machine erbij op hang en laat idlen komt het totaal neer op 103W dus die hangt ergens in de 45W (xeon 1230v2, 32GB, x9scm-f, ook voltaire en zelfde voeding/kast, boot van usb).

[IceTeaGX]

Toon-VA schreef op donderdag 06 december 2012 @ 23:58:Deze heeft ook 2 netwerkaansluitingen, ik configureer ze dan wel zodat films over X en Backups / download over Y gaat. Zo heb ik toch een beetje een soort van traffic control :-)

pricewatch: Intel Intel Server Board S1200KPR LGA1155 Mini-ITX (DBS1200KPR)
Ondersteund LACP normaal gezien.

Toon-VA schreef op donderdag 06 december 2012 @ 23:58:De nieuwe CPU ben ik tegengekomen uit vorige topic's en het "zuinige sever" stukje. Ik weet alleen niet of deze nu snel genoeg is om bvb. (worst case) HD film te sturen naar media speler, ondertussen te downloaden en een backup te runnen in de achtergrond? Of toch beter een i3?

Voor standaard fileserving is een atom al snel genoeg. Een Pentium of zelfs een Celeron zal dit met gemak kunnen doen. En hij past ook op hierboven aangehaald moederbord.

Toon-VA schreef op donderdag 06 december 2012 @ 23:58:Voor de Harde schijven was mijn oorspronkelijk idee ook om voor de WD Red's te gaan omdat deze gemaakt zijn 24/7 NAS, maar ik dacht te hebben gelezen dat door TLER deze beter niet in Raid-Z werden geplaatst (of ben ik hier weer verkeerd).

Volgens mij gaat dit geen al te grote problemen geven. Het feit is dat ZFS geen probleem heeft als TLER -niet- aanwezig is. Als het wel aanwezig is, gaat een schijf sneller een leesfout genereren, i.p.v. zelf het probleem op te lossen. Dus je gaat iets meer leesfouten krijgen, maar ZFS zou deze moeten kunnen opvangen. Of dat is toch wat ik er van maak met mijn theoretische analyse

[ Voor 5% gewijzigd door IceTeaGX op 07-12-2012 14:13 ]

[IJzerboot]

Salland was bij mij niet zo lief.. Was maar 65 euro maar mis het bracket op mijn M1015..
Iemand nog een bracket over?

[pilsjesman]

Wat is tegenwoordig de beste oplossing om je oude stapel schijven nog een leven te geven?
Het gaat dan om verschillende grootte schijven, dus een eenvoudige raid5 valt al af.

Is het dan het beste om soortgelijke grootte schijven in een raid1 te zetten en vervolgens dit alles in een raidZ te plaatsen? Of zijn hier betere oplossingen voor?
Ik wil graag freenas gebruiken, maar simpel zfs striping wil ik niet aan beginnen met oude disks.

[MikeVM]

de vraag is of je het goedkoper kan gebruiken dan nieuwe disks te kopen

bijvoorbeeld, je hebt 10 500GB disks, maar je hebt geen sata poorten, dan moet je Sata-controller bijkopen?
dat kost je 100 euro
is je voeding dan ook nog eens te zwak?
heb je genoeg aansluitingen op je voeding.
en dan moet je ook eens kijken naar je verbruik van je disks.

in elk geval is het anders.. soms is het beter om 10 500GB disks te vervangen door 3 2TB Disks, en je oude disks te verkopen..

heb je genoeg sata poorten?
is je voeding sterk genoeg hiervoor?
heb je een behuizing om deze disks te huizen?

soms moet je meer investeren om die oude disks te kunnen gebruiken dan een paar nieuwe te kopen..

[GioStyle]

En zie hier de wegwerpmaatschappij, maar eerlijk is eerlijk, zo redeneer ik ook.

[MikeVM]

wegwerp? verkopen die handel

trouwens, een HDD verslijt ook, en na een bepaalde tijd is het gewoon slimmer om ze niet meer te gebruiken.
ook al heb je ZFS, als je elke maand een slechte disk hebt, dan is de kans groter dat je meerdere disks tegelijkertijd hebt die eruitklappen..

[Phuncz]

Op zoek naar de beste oplossing, zelfbouw NAS, HP MicroServer of Synology DS4xx:

In de nabije toekomst wil ik alle media storage van de computers en toestellen naar 1 snelle NAS verplaatsen. Alle toestellen zijn reeds voorzien van een SSD als bootdisk maar voor de rest wil ik geen HDD's hebben in de toestellen zelf.

Momenteel heb ik een desktop PC, download PC, Apple notebook en een paar tablets in huis.
Ik heb een Gigabit netwerk evenals een Wireless N (2.4GHz én 5GHz), waar ik dus ook hoge snelheden mee haal momenteel. De download PC wil ik eventueel integreren in de NAS, deze wordt enkel voor torrents gebruikt. Voor mij is het niet belangrijk dat ik dit systeem in-house heb, eventueel kan ik ook gaan voor een seedbox, een (shared/virtual) servertje huren, suggesties hiervoor zijn welkom.

Echter zou ik wel een goede, constante verbinding willen naar de NAS vanaf de toestellen, waar de zwaarste load voornamelijk van de desktop PC gaat komen, mogelijk ook de download PC als deze in-house blijft. Ik zou minimaal een 100MB/s willen lezen/schrijven, de NAS zou ik liefst iets geavanceerds als ZFS hebben ipv. RAID want gezien ik waarschijnlijk met opslag tussen 6 en 10TB ga werken, is de kans groot dat RAID meer problemen gaat geven dan oplossingen. Sowieso wil ik een off-site* backup nemen van de belangrijkste data in de vorm van een tweede NAS die ik momenteel al heb, namelijk een WD MyBook Live 2TB. Deze haalt makkelijk 50-70MB/s read/write, dus weinig limiterende factor.

De tablets en notebook zijn van Apple, dus iTunes media server en een photo share, moet ik wel nog bekijken hoe je dat best aanpakt op de systemen, zou handig zijn, evenals een share voor films en series voor de WDTV Live mediaplayer. De internet verbinding is een 60Mbit/4.5Mbit profiel, via een VDSL modem verbonden aan een Airport Extreme, die me toch wel niet teleurstelt qua prestatie en stabiliteit.

Hele boterham, maar wat lijkt jullie het beste ? Met de prioriteit bij algemene snelheid met 4-6 disks van 2TB, high availability (+ aangevuld door WD Mybook Live NAS) en eventueel in een relatief stil pakket. Ik sta een uitdaging niet in de weg, hardware of software-wise, mini-ITX is geen probleem en FreeNAS heb ik ondertussen ook al een beetje door.

* hiermee bedoel ik niet de term die gebruikt wordt in enterprise omgevingen, waar we praten over een andere locatie of land, maar meer een ander gedeelte van het huis. Stel dat het huis in de fik gaat of we krijgen dieven op bezoek, als ik de backup NAS in de meterkast heb steken, is die hoogstwaarschijnlijk nog veilig.

[Verwijderd]

hottip voor de nas zelfbouwers - een dezer dagen wordt dit aangeboden..

3U Rackmt Svr Case norco w/16 Hot-Swap SATA/SAS Drive Bays RPC-3216
4 st. SFF-8087 to SFF-8087 Internal Multilane SAS Cable
SUPERMICRO X8SIL-F - Moederbord
Intel Xeon X3440 - 2.53 GHz
Kingston ValueRAM - Geheugen/DDR3 Reg/ECC 4 x 8 GB
Intel RAID Controller SASUC8I

[marrek]

hmmm via vraag en aanbod?

[Pantagruel]

Verwijderd schreef op donderdag 13 december 2012 @ 03:41:
hottip voor de nas zelfbouwers - een dezer dagen wordt dit aangeboden..

3U Rackmt Svr Case norco w/16 Hot-Swap SATA/SAS Drive Bays RPC-3216
4 st. SFF-8087 to SFF-8087 Internal Multilane SAS Cable
SUPERMICRO X8SIL-F - Moederbord
Intel Xeon X3440 - 2.53 GHz
Kingston ValueRAM - Geheugen/DDR3 Reg/ECC 4 x 8 GB
Intel RAID Controller SASUC8I

Hoezo Borroz, je gaat je server in de verkoop doen en wat nieuws bouwen ??

[BartNL]

Phuncz schreef op woensdag 12 december 2012 @ 10:38:....is de kans groot dat RAID meer problemen gaat geven dan oplossingen....

daarom wordt raid ook al jaren succesvol ingezet? Er is op elke techniek wel wat af te dingen en raid heeft zeker zijn beperkingen. Om daarmee dan te stellen dat het vooral problemen geeft is een stap te ver.
Zelf maak ik al jaren gebruik van een hardware raid setup met volumes die groter zijn dan het geen jij van plan bent en door bijvoorbeel "bitrot" wat volgens tegenstanders van raid al jarenlang een probleem is ben ik nog nooit één file kwijtgeraakt. Daarbij kun je je afvragen in hoeverre het omvallen van één of zelfs honderden bits voor thuisgebruik merkbaar zal zijn. Hardware raid is wel een makkelijke en betrouwbare manier om met een éénvoudig moederbord en oude CPU een volwaardige NAS te bouwen.
In jouw geval zou ik overigens ook een simpel AMD moederbord met ECC geheugen en bijvoorbeeld een ServeRaid kaart adviseren en dan FreeNas draaien.

[Verwijderd]

Pantagruel schreef op donderdag 13 december 2012 @ 19:58:
[...]


Hoezo Borroz, je gaat je server in de verkoop doen en wat nieuws bouwen ??

klopt.. project staat stof te happen, de kast zit zelfs nog in het plastic en ik wil een digitale scoop kopen
heb nog geen tijd gehad om een nette V&A te maken .. morgen hoop ik

[ Voor 12% gewijzigd door Verwijderd op 14-12-2012 06:00 ]

[Verwijderd]

BartNL schreef op donderdag 13 december 2012 @ 20:52:
[...]
daarom wordt raid ook al jaren succesvol ingezet?

Zo ook door Tweakers.net?

Voor de nieuwkomers: T.net heeft in het verleden een grote fout gemaakt door te veronderstellen dat ze een mirror hadden gemaakt, terwijl dit geloof ik een stripe bleek te zijn. Bij een disk failure was dus alles weg. Geen echt goede backup gemaakt. Door RAID denken mensen goed beschermd te zijn; daar schuilt het grootste gevaar. Mensen die geen RAID gebruiken, gebruiken mogelijk betere backups om zich te beschermen. Het is mijn stelling dat een dergelijke schijnveiligheid dus gevaarlijker kan zijn dan helemaal geen RAID gebruiken.

Er is op elke techniek wel wat af te dingen en raid heeft zeker zijn beperkingen. Om daarmee dan te stellen dat het vooral problemen geeft is een stap te ver.

Het is anders wel zo dat vooral thuisgebruikers heel veel problemen hebben gehad met gefaalde RAID arrays, terwijl hun schijven nog prima in orde waren. Ik durf zelfs te stellen dat van alle thuisgebruikers die data kwijt zijn geraakt met RAID, de grootste oorzaak is failures op RAID-niveau en niet failures op disk-niveau.

Zelf maak ik al jaren gebruik van een hardware raid setup met volumes die groter zijn dan het geen jij van plan bent en door bijvoorbeel "bitrot" wat volgens tegenstanders van raid al jarenlang een probleem is ben ik nog nooit één file kwijtgeraakt.

Maar het is zo vaak zo dat zolang men geen probleem ondervindt, men ook denkt dat het probleem overdreven wordt of zelfs totaal afwezig is. Zo denken genoeg Sandforce/OCZ bezitters dat het een 'hetze' is die tegen het bedrijf/controller wordt gevoerd, omdat zij nog nooit last hebben gehad van problemen. Voor de gebruikers is hun ervaring dus erg binair: óf wel problemen, óf helemaal geen.

Daarbij kun je je afvragen in hoeverre het omvallen van één of zelfs honderden bits voor thuisgebruik merkbaar zal zijn.

Omvallen van bits suggereert dat je niet helemaal begrijpt hoe bitrot werkt. Het is niet zo dat de data die je leest opeens een enkel bitje van 0 naar 1 heeft omgedraaid, zoals bij RAM wel het geval is. Hardeschijven en SSDs maken namelijk gebruik van ECC bitcorrectie, en in de ATA standaard is vastgelegd dat een opslagapparaat nooit data mag terugsturen waarvan het weet dat het corrupt is. Het gevolg hiervan is dat als er voldoende bitfouten zijn die het corrigerend vermogen van ECC overstijgen, de gehele sector onleesbaar wordt en geldt als bad sector - ofwel Current Pending Sector in de SMART output. Dan gaat het dus niet om één bit maar om 512 bytes of 4096 (4K) bytes in geval van moderne schijven. Bij SSDs gaat het tegenwoordig om 8K cellen.

Wat je misschien ook niet weet is dat zonder ECC bitcorrectie, moderne hardeschijven bijna helemaal niets meer foutloos kunnen lezen. Bitcorrectie is dus nodig om überhaupt een functionerende hardeschijf te krijgen die niet zo dement is als je opa van 158 jaar oud. Bij SSDs is het nog erger, omdat deze meer dan de helft van hun fysieke opslagcapaciteit kwijt zijn aan bitcorrectie.

Wil je weten hoe uBER (bit rot) en bad sectors precies werken, raad ik je aan dit verhaal eens door te lezen, wat denk ik best een mooi stuk is om eens door te lezen zodat je beter weet hoe bad sectors en bitcorrectie nu ongeveer werkt: Verwijderd in "Het grote ZFS topic"

[Phuncz]

Ik heb op mijn lopende cursus momenteel verschillende setups lopende en lopende gehad. Ik heb een FreeNAS setup met vier 74GB 10K SCSI schijven die op de RAID controller als aparte "RAID0" volumes zijn (dus eigenlijk aparte LUN's), deze samengegooid in een ZFS partitie met RAIDz2 indeling.

Ook heb ik een Windows 2008R2 setup met twee fibre-channel HBA's verbonden met een HP SAN Switch die dan weer verbonden is aan een HP MSA1500cs, waar 2 shelves aan hangen met in totaal 24 schijven. Deze heb ik al in alle mogelijke vormen in een combinatie van RAID0, RAID0+1, RAID5 en RAID6 gegooid.

Met de FreeNAS setup heb ik nog nooit een probleem gehad, alhoewel één schijf af en toe failures geeft, maar de ZFS vangt dat mooi op: de data blijft beschikbaar, ik krijg een warning maar alles blijft gewoon doorgaan.

Met de Windows 2008R2 server setup werken alle schijven probleemloos, totdat ik iets doe om de robustheid te testen. Sowieso ben ik met RAID5 en 6 niet ver geraakt, de array lag er zo lang uit met het aanmaken van parity van LEGE volumes, dat ik het na een dag wel doorhad dat ik niet een dag tot een week op een rebuild en dus verlaagde veiligheid én prestatie) kon wachten elke keer als er iets kleins fout ging. Met RAID1-setups kon ik ook lang wachten voordat de array weer in orde was, maar ik kon gelukkig nog aan mijn data.

In de FreeNAS heb ik (ja zeker niet optimaal) 2 schijven als boot, die in RAID1 staan. Ik merkte dat een schijf nogal eens wat rare geluiden maakte dus ik dacht om hem preventief te vervangen. Schijf eruit, andere schijf (zelfde type) erin, RAID1 rebuild begint en is na een kwartier klaar. Een kwartier, voor énkel het FreeNAS OS. Ik heb ook twee HBA's geinstalleerd in de FreeNAS en gekoppeld aan de SAN Switch, multipath actief gekregen en een tweede ZFS volume gemaakt, echter krijg ik het niet voor elkaar dat replication erop "local" gebeurt. Deze wil ik dan gebruiken om te mirroren, zodat zelfs een volledige array mag oproken zonder dataverlies.

In mijn (jong en onervaren) ogen is ZFS een betere implementatie van RAID op een ander niveau, maar eentje die in dit tijdperk betere resultaten geeft. RAID1 en RAID0 zijn leuk maar iets als RAID5 of 6 zul je mij niet meer zien gebruiken op kritieke systemen, ook niet voor thuisgebruik.

[Verwijderd]

Het echte verschil is natuurlijk dat RAID omgaat met schijven die óf perfect werken (geen bad sectors; geen timeouts) óf als defect gemarkeerd worden. Either you're with us, or you're against us mentaliteit. ZFS gaat anders om met schijven om die deels werken, dus 99,99% is leesbaar maar een paar bad sectors niet. Daarbij wordt niet gelijk de hele schijf als defect gemarkeerd maar wordt redundantie gebruikt om de bad sectors te overschrijven en dus te repareren. Geheel transparant en zonder tussenkomst van de gebruiker. Je ziet enkel wat read of checksum errors in de status output maar verder kun je je schouders ophalen.

Daarnaast biedt ZFS een modern filesystem met bescherming, terwijl andere filesystems geen enkele bescherming bieden. Geen enkele bescherming! Hun metadata is niet redundant; dus als een onleesbare sector in de metadata voorkomt dan krijg je corruptie zoals:



Kortom, ZFS is next-generation storage terwijl traditioneel RAID en legacy filesystems gemaakt zijn voor een ander tijdperk, in het jaar 2000 waar de datadichtheid nog veel lager lag en bad sectors enkel voorkwamen bij fysieke schade en niet door onvoldoende bitcorrectie.

Nu wordt de ongeschiktheid van legacy storage nog gebagatelliseerd, maar ik denk dat zodra Linux en Windows hun eigen next-gen filesystem op orde hebben (Btrfs en ReFS) dat deze publieke opinie snel genoeg omslaat. Reden genoeg om nu te profiteren van ZFS in een tijdperk waar de software van vandaag niet meer geschikt is voor de hardware van vandaag. Een dead zone waarbij ZFS dus voorlopig het enige alternatief is op deze problematiek.

[FireDrunk]

Ik weet niet of je de ontwikkelingen van BtrFS volgt, maar die gaan in een rap tempo, en ik moet echt eerlijk zeggen, dat het een tof systeem word.

Het gaat een aantal features (nog) niet krijgen die ZFS al wel heeft, maar sommige dingen zijn echt wel beter (of iig beter voor thuisgebruikers) dan ZFS.

[Verwijderd]

Tja, ik ben iets minder positief. Allereerst begint Btrfs (en ReFS) op een grote achterstand ten opzichte van ZFS, die behalve meer features vooral het voordeel heeft dat het bewezen stabiel is en al volop gebruikt wordt.

Het grootste nadeel van Btrfs (en ReFS) zal de licentie zijn. Hierdoor blijft Btrfs beperkt tot Linux en blijft ReFS beperkt tot Windows. ZFS is een cross-platform next-gen filesystem en werkt op Solaris, BSD en Linux.

Daarnaast kun je je afvragen hoeveel aandacht Microsoft en Linux besteden aan filesystems. Microsoft heeft hun hele I/O subsystem lang laten rotten. Linux heeft paniekerig gereageerd op hun achterstand en risicovolle beslissingen gemaakt. Ubuntu heeft veels te vroeg Ext4 als default filesystem ingesteld. Met alle gevolgen van dien. Corruptie corruptie en corruptie. Zelfs in de laatste kernels 3.4, 3,5 en 3,6 zitten Ext4 dataloss bugs:

EXT4 Data Corruption Bug Hits Stable Linux Kernels
There Might Be Another EXT4 Corruption Bug

Het grote voordeel van Btrfs en ReFS is dat zij flinke inhaalslagen kunnen maken en de development volgens mij inderdaad wel de goede kant op gaat. Maar ze hebben dan ook nog een flinke weg te gaan. ZFS daarintegen is flink afgeremd qua ontwikkeling door de annexatie van Sun Microsystems door het duivelse Oracle. De enige ontwikkeling cq. voortgang van ZFS sinds v28 zal gebeuren door IllumOS en FreeBSD. Het zal niet stilstaan, onlangs weer een grote patchset geland op 10-CURRENT, maar duidelijk is wel dat de development flink trager gaat.

En je hebt inderdaad gelijk dat de grote tekortkoming van ZFS voor thuisgebruikers - block pointer rewrite wat expansion van vdevs mogelijk maakt en defrag - een issue is waar Btrfs zich kan onderscheiden.

Hoe de toekomst eruit zal zien blijft afwachten. Maar ik denk dat het niet overdreven is om te stellen dat voorlopig ZFS de enige keuze is voor een volwassen veilig opslagsysteem toegankelijk voor normale stervelingen.

[FireDrunk]

Zeer zeker, BtrFS heeft echt nog minimaal 2-3 jaar te gaan voordat het op mijn server zou kunnen komen
Ik ben van oudsher toch wat meer Linux minded (en ook gecertificeerd) vandaar dat ik ooit misschien toch weer terug wil overstappen.

Wat ik wel echt gaaf vind, is de online RAID level migratie binnen een pool

[Verwijderd]

Ja, net zoals ZFS met mirrors flexibel is, zou je dat ook willen met RAID-Z. Dus een enkele disk naar mirror en dat weer naar RAID-Z converten, dat zou een mooie feature zijn. Dat zou allemaal moeten kunnen met Block Pointer Rewrite functionaliteit. Jammer dat dat er niet in zat voordat Sun werd geofferd aan de duivel, want dat is wel cruciale functionaliteit.

Maar ik vind ZFS zoals het nu is eigenlijk al een héél goed filesystem. Dus zelfs al zou er niets meer gebeuren qua development, blijft het lang nuttig. Maar inderdaad, zodra Btrfs bruikbaar wordt zal dat ook ten koste gaan van marktaandeel van ZFS. Wat natuurlijk wel heel jammer is dat door de licentie het Linux-only zal blijven. Juist nu er projecten zijn waarbij 'Linux' distributies zoals Ubuntu/Debian experimenteren met een FreeBSD kernel.

Het liefst wil je een filesystem wat een BSD/MIT licentie heeft, zodat alle operating systems ter wereld hier zonder beperkingen gebruik van kunnen maken. Helaas gaat dat niet gebeuren vrees ik, ook al zou HammerFS misschien in aanmerking kunnen komen.

[FireDrunk]

Hammer ziet er inderdaad wel tof uit! Jammer inderdaad dat BtrFS niet echt een open licentie heeft.
Aan de andere kant is Linux an sich al heel groot, aangezien alle distributies er gebruik van kunnen maken.

Het is maar wat je makkelijk vind. Ik ben persoonlijk niet zo'n voorstander van altijd maar 200% je best doen om iets multiplatform te krijgen. Kijk maar naar Java, dat is vanwege zijn constante gemorrel over verschillende platforms inferieur aan veeeel andere programmeer talen.

Python en Perl winnen snel terrein, en worden breed ingezet om multi-platform te blijven.
Qua snelheid en flexibiliteit ligt Java achter.

Juist daarom zou ik liever zien dat elk OS zijn eigen FS heeft, en dat GOED doet, waardoor iedereen per platform gewoon iets te kiezen heeft. Ga je voor linux? Prima, dan kan je ZFS en BtrFS gebruiken. Ga je voor FreeBSD, kan je HammerFS en ZFS gebruiken. Ga je voor Windows, ben je een knurft, en kan je alleen ReFS gebruiken.

[Verwijderd]

Juist daarom zou ik liever zien dat elk OS zijn eigen FS heeft, en dat GOED doet

Mja, vind je dat echt zo'n groot goed? Ik vind het namelijk wel een nadeel dat je ergens aan vast zit, en je niet kunt switchen tussen een alternatief, zoals nu wel kan bij ZFS.

Daarnaast kun je ook zien dat ZFS onder FreeBSD aardig wat liefde krijgt; in veel gevallen zelfs beter dan onder Solaris platform. Het booten van RAID-Z is een voorbeeld, maar je kunt het in bredere zin zien. In elk geval werkt ZFS onder FreeBSD gewoon erg goed ook al is dit een 'foreign' technology die geïmporteerd is van een ander project (Solaris).

Als ZFS onder een BSD licentie was vrijgegeven, was iedereen onder Linux bezig dit net zo goed of nog beter draaiende te krijgen als het op BSD en Solaris platforms draait, ben ik van overtuigd. Het is vanwege de licentiebeperkingen dat het maar beperkt liefde en aandacht krijgt.

Maar wat jij wilt gaat denk ik wel werkelijkheid willen: Microsoft krijgt ReFS, Linux krijgt Btrfs en UNIX heeft ZFS. Alleen ben ik daar zelf niet zo héél gelukkig over. Je ziet bijvoorbeeld dat FreeBSD veel innovaties heeft die zijn gevloeid naar andere projecten; zelfs Windows gebruikt BSD technologie; de hele TCP/IP stack komt bijvoorbeeld van BSD, al zal daar nu veel meer verschil tussen zitten in moderne Windows-versies. Maar ook Firefox, MySQL en de Linux-kernel hebben baat gehad van FreeBSD innovaties. Dat is gewoon een groot goed als je geen restrictieve licentie gebruikt.

[FireDrunk]

Uiteraard, maar ik ben denk ik iets meer een realist. Als je ziet wat voor een strijd er soms is tussen verschillende distro's als het gaat om Linux, dan denk ik dat samenwerking niet altijd goed is, ookal staat een licentie het gewoon toe.

Kijk naar het hele SystemD, UDEV, MDEV verhaal.. Gentoo vs Ubuntu.. En dat ging er niet zacht aan toe...

Dessalniettemin zou je graag willen dat inderdaad alle dev's hard werken om alles qua functionaliteiten mooi te maken, en op alle platformen te laten werken. Maar ja, da's walhalla...

[BartNL]

Verwijderd schreef op vrijdag 14 december 2012 @ 07:16:
[...]Voor de nieuwkomers: T.net heeft in het verleden een grote fout gemaakt door te veronderstellen dat ze een mirror hadden gemaakt, terwijl dit geloof ik een stripe bleek te zijn.

die fout is met software raid net zo goed mogelijk

Omvallen van bits suggereert dat je niet helemaal begrijpt hoe bitrot werkt. Het is niet zo dat de data die je leest opeens een enkel bitje van 0 naar 1 heeft omgedraaid

jouw uitleg suggereet dat je weet hoe harde schijven zelf een mechanisme hebben dat voor bitrot corrigeert. Dat is geen andere definitie van bitrot.

Wat je misschien ook niet weet is dat zonder ECC bitcorrectie, moderne hardeschijven bijna helemaal niets meer foutloos kunnen lezen.

dat op zich zegt weer weinig over de betrouwbaarheid van de harde schijf.

Ik snap best dat een modern filesysteem, dat netter omgaat met schrijffouten, zoals ZFS de toekomst is. Wat alleen niet zo stellig een feit is, is dat (hardware) raid oplossingen met de huidige 3TB schijven en bijvoorbeeld met NTFS niet doen wat ze moeten doen.

[FireDrunk]

Ik snap best dat een modern filesysteem, dat netter omgaat met schrijffouten, zoals ZFS de toekomst is. Wat alleen niet zo stellig een feit is, is dat (hardware) raid oplossingen met de huidige 3TB schijven en bijvoorbeeld met NTFS niet doen wat ze moeten doen.

Die discussie is dus echt al 100x gevoerd, en ook uitgebreid door grote jongens als Sun, Oracle, IBM uitgelicht, Zelfs google heeft er dacht ik al iets over gezegd.

Kern van het verhaal. De huidige systemen beveiligen NIET tegen bitrot, en dat is zeker een probleem.
Of je er daadwerkelijk last van hebt, ligt 100% aan geluk en gebruik.

Net als dat sommige mensen wel 100x in hun leven hun gordel (in de auto) nodig hebben, hebben anderen hem nog NOOIT nodig gehad...

Dat wil niet zeggen dat je hem niet om moet doen...

[vso]

FireDrunk schreef op vrijdag 14 december 2012 @ 14:18:
[...]


Die discussie is dus echt al 100x gevoerd, en ook uitgebreid door grote jongens als Sun, Oracle, IBM uitgelicht, Zelfs google heeft er dacht ik al iets over gezegd.

Kern van het verhaal. De huidige systemen beveiligen NIET tegen bitrot, en dat is zeker een probleem.
Of je er daadwerkelijk last van hebt, ligt 100% aan geluk en gebruik.

Net als dat sommige mensen wel 100x in hun leven hun gordel (in de auto) nodig hebben, hebben anderen hem nog NOOIT nodig gehad...

Dat wil niet zeggen dat je hem niet om moet doen...

Bitrot IMHO komt eigenlijk (zover ik begrepen had) is dat het eigenlijk de magnetische veld verstoort word, door diverse actier eromheen/ouderdom ..

Hoe groter de schijf hoe meer kans op fouten(LEES vanwege de data dichtheid --> magnetisch veld), vandaar dat onder andere SAS schijven klein blijven.

---

---

BartNL schreef op vrijdag 14 december 2012 @ 14:01:
Ik snap best dat een modern filesysteem, dat netter omgaat met schrijffouten, zoals ZFS de toekomst is. Wat alleen niet zo stellig een feit is, is dat (hardware) raid oplossingen met de huidige 3TB schijven en bijvoorbeeld met NTFS niet doen wat ze moeten doen.

al eerder dit jaar(vorig jaar) zo'n discussie met Chiper gehad/gelezen ..
Komt er kort op neer dat RAID meer met minder doet, ZFS draait het het eigenlijk om .. Minder met meer
Hmm klopt niet helemaal ...

nu ja RAID staat voor Redundant Array of Inexpensive Disks .. oftewel "goedkope rij schijven met backup mogelijkheid". staat dat gelijk met BACKUP nee .. maar het bied verhoogde optionele veiligheid .. alleen deze is afhankelijk van bepaalde gestelde "veiligheden"
net zoals 640K meer dan genoeg was ..zijn we nu pas (20 of 30 jaar na dato) bijna van erlost ..(dat je het niet ziet wil niet zeggen dat we er geen last van hebben,,)
Bij RAID heb je eigenlijk veel last van de "ingebouwde" limitaties, dit is hardware/software onafhankelijk/ .. ZFS omdat het van de grond af opnieuw ontworpen is deze niet.

---

---

Overgens vind ik zelf dat elk genoemd FS tot op heden Hammer/zfs/ReFS etc etc .. nog bagger.

Voor mij moet een FS
- Deduplicatie
- caching (tiered storage o.a)
- internet disk(s) iscsi/webdav etc
- clustering
- backup ingebouwd

Je wilt dat bv de foto die je net genomen is met je "gsm", "automagisch" op je desktop pc staat (al dan niet via mobiel internet/wifi oid) dat als 1 disk "crasht" je gewoon de disk vervangt omdat de zooi traag is ..
Dus je FS is transparant(er) dan nu ..

[FireDrunk]

vso schreef op vrijdag 14 december 2012 @ 14:55:
[...]

Bitrot IMHO komt eigenlijk (zover ik begrepen had) is dat het eigenlijk de magnetische veld verstoort word, door diverse actier eromheen/ouderdom ..

Hoe groter de schijf hoe meer kans op fouten(LEES vanwege de data dichtheid --> magnetisch veld), vandaar dat onder andere SAS schijven klein blijven.

Que?

pricewatch: Seagate Constellation ES.2 ST33000650SS, 3TB SAS-2.0, 64MB, 7200rpm

Klets. SAS is niets anders dan een enterprise gericht protocol. Heeft niets met de grootte van een disk te maken.

In theorie kunnen ze gewoon een 15k 146GB disk maken met een sata interface, alleen is daar geen markt voor... Oh wacht, dat heet velociraptor

En bitrot heeft volgens mij weinig met datadichtheid te maken, enige is dat de KANS natuurlijk bij een hoge datadichtheid groter word. Niet omdat het magnetisch veld heel anders is, maar gewoon omdat je daadwerkelijk meer clusters hebt

[ Voor 11% gewijzigd door FireDrunk op 14-12-2012 15:09 ]

[vso]

FireDrunk schreef op vrijdag 14 december 2012 @ 15:08:
[...]


Que?

pricewatch: Seagate Constellation ES.2 ST33000650SS, 3TB SAS-2.0, 64MB, 7200rpm

Klets. SAS is niets anders dan een enterprise gericht protocol. Heeft niets met de grootte van een disk te maken.

In theorie kunnen ze gewoon een 15k 146GB disk maken met een sata interface, alleen is daar geen markt voor... Oh wacht, dat heet velociraptor

En bitrot heeft volgens mij weinig met datadichtheid te maken, enige is dat de KANS natuurlijk bij een hoge datadichtheid groter word. Niet omdat het magnetisch veld heel anders is, maar gewoon omdat je daadwerkelijk meer clusters hebt

pff thx voor de update ..

[Patatjemet]

Zelfs in 4 TB nu: Western Digital WD RE 4TB.

[Verwijderd]

FireDrunk schreef op vrijdag 14 december 2012 @ 15:08:
[...]


Que?

pricewatch: Seagate Constellation ES.2 ST33000650SS, 3TB SAS-2.0, 64MB, 7200rpm

Klets. SAS is niets anders dan een enterprise gericht protocol. Heeft niets met de grootte van een disk te maken.

In theorie kunnen ze gewoon een 15k 146GB disk maken met een sata interface, alleen is daar geen markt voor... Oh wacht, dat heet velociraptor

Velociraptor is anders wel een 'enterprise' of 'nearline' schijf zoals SAS disks maar dan met SATA interface. De grootte van de disk was vergelijkbaar met SAS/SCSI disks, de bouw van de disks, de specificaties op veel vlakken zoals 100% duty cycle. Raptor/velociraptor zijn/waren gewoon serverschijven maar dan voor de consumentenmarkt voor power users e.d.

Volgens mij heeft hij best een punt als hij zegt dat serverschijven betrouwbaarder zijn door lagere datadichtheid. Voor extra zekerheid wat bij dergelijke doelgroepen gewenst is, wil je een grotere afstand tussen de tracks en wil je ook niet al te hoge datadichtheid. Dat stelt ze in staat om betrouwbaarder te zijn, zo vermoed ik. Hoe verklaar je anders dat server-class schijven 10^-15 of 10^-16 uBER specificatie hebben terwijl consumentenschijven op 10^-14 blijven steken. Ongeacht of die waarden correct zijn, denk ik dat het zeker klopt dat server-class schijven betrouwbaarder zijn en minder snel bad sectors krijgen. Dit terwijl ze over dezelfde hoeveelheid ECC bitcorrectie beschikken.

Feit is dat serverschijven vaak veel minder opslag en datadichtheid hebben. Het zijn de consumentenschijven voor massaopslag die altijd/meestal voorop lopen qua datadichtheid. Ook gebruiken die meer fysieke oppervlakte, wat je kunt zien aan het feit dat server-class schijven aan het einde van hun capaciteit nog op 60% van hun performanceniveau zitten; terwijl consumentenschijven zo'n 45-55% doen.

En bitrot heeft volgens mij weinig met datadichtheid te maken

Bewijs hiervoor is heel moeilijk, maar volgens mij is dat wel degelijk zo. Bij gebrek aan goede gegevens wordt het echter heel moeilijk hier sluitend bewijs voor te vinden. Maar uit eigen ervaring kan ik wel stellen dat bad sectors zonder fysieke schade dus enkel bad door onvoldoende ECC bitcorrectie bij hedendaagse schijven extreem veel vaker voorkomt dan vroeger, waar bad sectors gewoon een teken was voor fysieke schade. Bad sectors zonder fysieke schade kun je herkennen aan Current Pending Sector in de SMART output, terwijl als je ze overschrijft deze gewoon verdwijnt maar de Reallocated Sector Count niet hoger wordt. Kortom: de sector blijft in gebruik en wordt niet omgewisseld met een reserve sector.

Het is ook niet zo heel onlogisch dat datadichheid met SNR (Signal to Noise-ratio) te maken heeft. Steeds meer bitfouten betekent dat je steeds met ECC bitcorrectie nodig hebt om dezelfde uBER-niveau te bereiken. Maar die ECC neemt niet toe, dus het aantal bad sectors door gebrek aan ECC neemt daardoor wel toe - aangenomen dat andere factoren gelijk blijven wat natuurlijk in de praktijk nooit zo is.

Hoe denk jij daar over dan?

[ Voor 8% gewijzigd door Verwijderd op 14-12-2012 15:42 ]

[FireDrunk]

Wat je zegt klopt wel, maar wat ik begreep uit zijn verhaal, was dat de uBER hoger was omdat de datadichtheid groter was, omdat dat een ander magnetisch veld met zich meebrengt. En dat denk ik juist niet.

Als je zegt dat een disk van 100GB een leesfout heeft elke 10^14 gelezen bytes, of een disk van 2TB een fout heeft elke 10^14 gelezen bytes. dan gaat de 2TB disk eerder fouten geven.

Waarom? Heel simpel, op 2TB kan je meer kwijt, dus gebruik je de schijf ook meer.

In theorie zijn ze exact even foutgevoelig, alleen moet je bij een 100GB schijf de data 20x zo vaak lezen dan op een 2TB schijf. En aangezien je een film niet zomaar 20x kijkt, merk je daar als consument weinig van.

Wat hier dus nauw mee samenhangt is het verhaal met RAID rebuilds die stuk gaan. Omdat een 100GB schijf maar 100GB hoeft te lezen, is de kans dat er een unrecoverable error optreedt tijdens de rebuild, kleiner. Dat wil niet zeggen dat als je een 100GB schijf 20x rebuild dat de schijf evenveel errors maakt als het rebuilden van één 2TB schijf, maar de KANS er op is in theorie even groot.

ECC is geen exacte wetenschap zoals jij zegt: Dat evenveel ECC geheugen, dezelfde resultaten zou moeten leveren. Dat is dus helemaal niet zo.

regions.cmg.org/regions/m...ts%20the%20difference.pdf

Lees ook dit maar eens, daar zie je heel duidelijk het verschil in software, firmware en ECC.

[vso]

Verwijderd schreef op vrijdag 14 december 2012 @ 15:33:
[...]

Velociraptor is anders wel een 'enterprise' of 'nearline' schijf zoals SAS disks maar dan met SATA interface. De grootte van de disk was vergelijkbaar met SAS/SCSI disks, de bouw van de disks, de specificaties op veel vlakken zoals 100% duty cycle. Raptor/velociraptor zijn/waren gewoon serverschijven maar dan voor de consumentenmarkt voor power users e.d.

Hoe denk jij daar over dan?

Leuk dat je wat meer in depth er over verteld, dit is ongeveer wat ik bedoelde .. Daarop voortbordurend .. denk dat juist de schijven niet "vol" te proppen .. dus eerst alle oneven "ringen" te beschrijven voordat je met de "even" begint .. je de SNR laag houd .. Daarnaast bij een foto/video/sound ga je "bitrot" ook niet echt merken .. mits het tussen de schijf en applicatie daar redelijk slim mee overweg gegaan kan worden.


Andere side note, hoe merkt je nu echt bitrot? want ondanks dat we er nu lappen tekst over schrijven het is niet alsof het een plaag is .. en dus expentioneel groeit. Gaat het met ouderdom ? dus disks ouder als 5 jaar vervangen? (theoretisch zou mijn 40MB HD wellicht nog perfect werken... als ik daar nut voor zou hebben) ..

[FireDrunk]

Bit rot is geen exacte wetenschap, dat is ook juist het probleem. Waar veel problemen, zoals bijvoorbeeld trillingen in je schijf, opgelost kunnen worden door ECC, is bit rot lastiger op te lossen, omdat het niet iets mechanisch is, maar iets wat 'stil/silent' is.

Denk bijvoorbeeld eens aan een grote zonnevlam, die misschien kan voorkomen. Dat zou de kans op een uBER / rotte bit met een aantal maal moeten vergroten heb ik ooit eens gelezen.

[vso]

FireDrunk schreef op vrijdag 14 december 2012 @ 15:54:
Bit rot is geen exacte wetenschap, dat is ook juist het probleem. Waar veel problemen, zoals bijvoorbeeld trillingen in je schijf, opgelost kunnen worden door ECC, is bit rot lastiger op te lossen, omdat het niet iets mechanisch is, maar iets wat 'stil/silent' is.

Denk bijvoorbeeld eens aan een grote zonnevlam, die misschien kan voorkomen. Dat zou de kans op een uBER / rotte bit met een aantal maal moeten vergroten heb ik ooit eens gelezen.

Eigenlijk is het dus pure theorie en komt het zelden voor (tenzij wat ik ook gelezen heb die zonnevlam voorkomt) .. tja ..

[FireDrunk]

Nou, PURE theorie zou ik het niet noemen... Dat het weinig voorkomt allá, maar ik heb het zelf ook meegemaakt (random drops van schijven uit Hardware RAID arrays).

CiPHER heeft het met zijn Areca ook zeker meegemaakt.

[BartNL]

FireDrunk schreef op vrijdag 14 december 2012 @ 15:49:
Wat je zegt klopt wel, maar wat ik begreep uit zijn verhaal, was dat de uBER hoger was omdat de datadichtheid groter was, omdat dat een ander magnetisch veld met zich meebrengt. En dat denk ik juist niet.

de oorzaak van de errors is volgens mij meestal niet het demagnetiseren op zich maar beschadigingen op micro nivo. Omdat de datadichtheid hoger is heb je per beschadiging meer errors. Aan de andere kant worden de schijven wel steeds beter gemaakt en voorzien van meer fout correctie capaciteit waardoor de error rate nog niet zo hoog als wat je op basis van cijfers van enkele jaren terug zou verwachten.

[BartNL]

FireDrunk schreef op vrijdag 14 december 2012 @ 14:18:
[...]Dat wil niet zeggen dat je hem niet om moet doen...

ook hardware raid kun je instellen om wekelijks of maandelijks eeen volume check te doen bij Areca de optie "scrub bad block" bij een scheduled volume check.

[FireDrunk]

Maar dat gaat alleen om bad sectors, niet om bit rot detectie.

[BartNL]

FireDrunk schreef op vrijdag 14 december 2012 @ 21:35:
Maar dat gaat alleen om bad sectors, niet om bit rot detectie.

zo lang bitrot binnen de tolerantie van ECC valt is het volgens mij ook niet een probleem maar inherent aan de tegenwoordig gebruikte technieken.
Even puur theoretisch stel dat ECC tot 10 rotte bits kan verwerken zonder dat het tot merkbare fouten leidt bij welk aantal rotte bits zou je dan wat willen doen. Naar mijn mening is het dan juist om te wachten totdat de ECC bij de 10e bit faalt en die sector dan pas niet meer te gebruiken.

[Durandal]

Zodra die 10e bit faalt ben je je data kwijt. Slimmer is dan bij bitrot 8 of 9 de sector al te swappen, maar dat is aan de firmware van de disk.

Hoe verklaar je anders dat server-class schijven 10^-15 of 10^-16 uBER specificatie hebben terwijl consumentenschijven op 10^-14 blijven steken. Ongeacht of die waarden correct zijn

Die waarden kunnen in mijn ogen dan ook niet correct zijn.
Hoe is de magnetische coating van een platter, of de platter zelf, van een consumenten disk anders dan die van een enterprise disk? Hier geldt natuurlijk de wet van de aantallen en die zegt dat allemaal dezelfde platters maken goedkoper is in inkoop, research & development en productie. Ergo, alle platters zijn zoveel mogelijk hetzelfde ongeacht welke sticker er op de disk staat.
Waar je wel op kan diversificeren is softwarematige beperkingen, zoals TLER die ineens niet meer aan of uit kan. Ja ze kunnen meer ECC bits op de enterprise disks gooien maar dan zou die uiteindelijk minder data hebben en dat zie ik niet. Of ze kunnen ECC bits uitzetten op consumenten disks, maar als dat ooit uit komt kunnen ze volgens mij aansprakelijk gesteld worden voor een hoop dataverlies en ik geloof ook niet dat ze zo'n risiko durven te nemen.

Kortom, dat 10^x is gewoon marketing. Er is toch niemand die het test of zelfs betrouwbaar kan testen.

[ Voor 80% gewijzigd door Durandal op 15-12-2012 12:03 ]

[FireDrunk]

Ook dat is weer erg overtrokken vind ik persoonlijk. De waarheid zal ergens in het midden liggen.

Zowel meer ECC als andere Firmware, als betere quality control. Wat ook bij veel voedingen gebeurt is hi-pot checking. Haalt het ding een hogere rating? Dan krijgt hij die, zo niet? gaat hij weg voor een model met minder vermogen. Gebeurt ook met processoren, 1 core kapot? Dan maken we er een triple core van. Iets minder werkend L1 Cache? Dan maken we er een i5 van, en ga zo nog maar even door.

Wat wel duidelijk word uit veel onderzoeken, is dat alle andere hardware (buiten de platter om dus) van een hogere kwaliteit is. Leeskoppen, antivibratie, en niet onbelangrijk, de firmware. Of het nou alleen een feature is, of echt duurdere en beter uitgewerkte algoritmes, het maakt niet uit. Ze zijn betrouwbaarder...
Of die waarde van 10^16 daarmee gerechtvaardigd is, hebben harddiskfabrikanten nog nooit bewezen.

@BartNL, als je de term bit-rot gebruikt, ben je het ECC stadium allang voorbij. Je kan nog zoveel ECC hebben, maar als een hele sector niet meer te lezen is, kan je niets meer met ECC. Denk aan PAR2 bestanden. Je kan soms wel 10, 20 of in extreme gevallen 30% extra PAR2 files mee krijgen met een download. Als je download voor 30% stuk is, kan je hem dan misschien nog net repareren.

Maar stel, ik maak een 100% PAR2 set, en mijn data is 100% kapot. Kan ik dan mijn file reconstrueren?

[BartNL]

FireDrunk schreef op zaterdag 15 december 2012 @ 14:21:
...als je de term bit-rot gebruikt, ben je het ECC stadium allang voorbij...

lijkt mij al aardig off-topic maar volgens mij niet.

[FireDrunk]

Lees de rest ook even, daar leg ik juist uit waarom.

Bovendien komen er vrij vaak fouten voor in media / leesacties. Dat zijn juist de recoverable errors, en die worden weggepoetst met ECC.

/offtopic: overigens denk ik juist wel dat dit ontopic is, omdat het de keuze van een DIY RAID NAS behoorlijk kan beinvloeden als je dit soort dingen weet.

[analog_]

Gebruiken jullie de term niet ieder anders? De ene heeft bij bit-rot het over individuele omgevallen bits die al dan niet een sector flippen vanwege te crappy FEC. Firedrunk heeft het bij bit-rot over niet recoverable sectoren als gevolg van teveel bitflips.

Kan iemand de samenvatting van afgelopen pagina's noteren? Tabelletje met de raid levels en welke maatregelen tegen wat beschermt (ecc, bit-rot, resilvering, ...)

Oorzaak	Redundantie Niveau	Oplossing
bit-rot	mirror-of-n	resilvering, file read
bit-rot	raid-z1	resilvering
bit-rot	raid-z2,z3	resilvering, (file read?)

[ Voor 84% gewijzigd door analog_ op 15-12-2012 19:48 ]

[FireDrunk]

Je hebt gelijk, uBER en bit-rot hoeven niet hetzelfde te zijn, maar het kan wel natuurlijk.
De sector kan inderdaad flippen, dat levert uiteindelijk silent corruption op, whereas een Unrecoverable read error anders is. Beide zijn te vinden via Checksums (hoewel een read error gewoon een statuscode in SATA / AHCI heeft), en op te lossen middels redundantie. (elke vorm) zolang ze gedetecteerd worden.

Een bad block test van Areca kan dus niet een silent bit flip detecteren, omdat ze niet aan de hand van checksums kunnen zien welke data er corrupt is.

[analog_]

Ik ben momenteel bezig met dat plan van 3 hardware configs met verschillende target size op te stellen. Ik zal mijn uiteindelijk voorstel wel nog posten en beargumenteren, het gaat meer een 'dit zijn de opties, kies 1 v/d 3' per config worden. Vooruitgang kan je hier volgen (mini, midi, maxi, controllers en extra). Ik heb geprobeerd de meest populaire producten die voorbij komen in dit topic, DIY RAID, Zuinige ESXi zoveel mogelijk te gebruiken zodat het voorstel hopelijk in de smaak valt.

[Phuncz]

Zelf heb ik dit in gedachten:

#	Product	Prijs	Subtotaal
1	Intel Core i3 3220T Boxed	€ 113,50	€ 113,50
1	Intel Desktop Board DQ77KB	€ 121,90	€ 121,90
1	Corsair Vengeance CMSX16GX3M2A1600C10	€ 75,50	€ 75,50
1	Seasonic Power Adapter 120Watt (19V)	€ 39,41	€ 39,41
1	Crucial m4 mSATA CT032M4SSD3 32GB	€ 44,45	€ 44,45
Bekijk collectie Importeer producten		Totaal	€ 394,76

Inclusief deze case:


chenbro SR30169 (~90€)

Heb nog 4 schijven, meer heb ik ook weinig aan. Het moederbord, Intel DQ77KB, heeft ook maar 4 SATA-plugs, ook een kabel met 4 power-connectors die gevoed worden via het moederbord (pic).

Dit moederbord staat me zeer erg aan omdat het voorzien is van 2 Intel Gbit NIC's, evenals een Q77 chipset en een meer professioneel georienteerde setup. Het lijkt me ideaal voor VM-toepassingen maar ook voor NAS, gezien je de NIC's kunt load-balancen voor het zwaardere gebruik.

Ook is het voorzien van een mSATA slot voor eventueel SSD-buffering, alhoewel ik nog niet weet of FreeNAS hiermee overweg kan.

[ Voor 14% gewijzigd door Phuncz op 21-12-2012 12:03 ]

[ebia]

victorb schreef op dinsdag 04 december 2012 @ 16:47:
Wat is salland lief voor mij! Hij zou zonder bracket zijn (Ik had al een pci wifi kaartje gevonden met de juiste bracket hier thuis )

Welk wi-fi kaartje was dat??

[tsjoender]

ebia schreef op dinsdag 18 december 2012 @ 13:49:
[...]


Welk wi-fi kaartje was dat??

Die m1015 brackets zijn ook los te krijgen via Ebay:

http://www.ebay.nl/itm/28...egories%26_fvi%3D1&_rdc=1

Mocht die link niet werken dan kun je zoeken op item nummer: 281040163129

[onox]

Phuncz schreef op zaterdag 15 december 2012 @ 21:48:
Heb nog 4 schijven, meer heb ik ook weinig aan. Het moederbord, Intel DQ77KB, heeft ook maar 4 SATA-plugs, ook een kabel met 4 power-connectors die gevoed worden via het moederbord (pic).

Dit moederbord staat me zeer erg aan omdat het voorzien is van 2 Intel Gbit NIC's, evenals een Q77 chipset en een meer professioneel georienteerde setup. Het lijkt me ideaal voor VM-toepassingen maar ook voor NAS, gezien je de NIC's kunt load-balancen voor het zwaardere gebruik.

Wat een gaaf bordje zeg Maar hoe ga je die HDMI/displayport porten benutten want volgens mij heeft je CPU geen ingebouwde GPU. Of ga je AMT gebruiken?

Ik zelf heb de pricewatch: Intel Intel Server Board S1200KPR LGA1155 Mini-ITX (DBS1200KPR) op het oog vanwege de ECC. Wel geen geluid en USB 3.0

[Phuncz]

onox schreef op dinsdag 18 december 2012 @ 20:19:
Wat een gaaf bordje zeg Maar hoe ga je die HDMI/displayport porten benutten want volgens mij heeft je CPU geen ingebouwde GPU. Of ga je AMT gebruiken?

iAMT lijkt me voldoende, aangezien ik er geen scherm ga aanhangen, de bedoeling is dat het echt als een NAS zal fungeren. Echter was het niet de bedoeling dat ik een CPU nam zonder GPU, dan wordt het de i5-3330 Bedankt voor de tip !

[FireDrunk]

iAMT zonder GPU in je CPU werkt volgens mij niet.

[tsjoender]

FireDrunk schreef op woensdag 19 december 2012 @ 08:55:
iAMT zonder GPU in je CPU werkt volgens mij niet.

Zonder IGP heb je alleen de AMT features van remote stoppen en starten en resetten. Als je ook op het scherm mee wil kijken over het netwerk (inclusief BIOS en POST) dan moet de CPU en vPro en IGP hebben.

[FireDrunk]

Ok, duidelijk, goed om te weten!
(/me heeft wel AMT, maar gebruikt het nog niet...)

[MrCostanzo]

Sinds een tijdje ben ik mij aan het inlezen op ZFS gebied, en heb vooral het grote ZFS topic doorgespit. Voor op het werk staat een serververvanging in de planning, en ik was van plan één machine te maken voor alle data (een NAS). Op de drukste momenten werken er zo'n 15 mensen tegelijk, op één grote share. Op dit moment draait het spul onder debian en wordt de share via samba aangeboden. Over de huidige performance zijn geen klachten, tenzij iemand een grote kopieeractie begint, dan ondervinden de meesten mensen een duidelijke performance drop.

Dit is mijn boodschappenlijstje, ik ben heel erg benieuwd of dit een beetje deugdelijk en snel ZFS systeem op zal leveren:


Supermicro X8SIE-LN4F
4x GB LAN
6x DDR3 ECC
6x SATA 300
Socket 1156
Intel Xeon X3440 2.53 Ghz
Kingston KVR1066D3D8R7S/4G x4
Western Digital RE 4 1 TB à x4
Samsung 830 series SSD 128GB à x2
Codegen 4u-500
Cooler Master Silent Pro M2 520W

Een systeem met een Xeon x3440, 16GB registerd ECC - RAM en 4 WD schijven van 1 TB, plus nog 2 samsung SSD's van 128GB.

Ik wilde de schijven in een RAIDZ-2 opstelling gebruiken, en een mirror partitie op de SSD maken voor een paar VM's, plus een mirror partitie voor de SLOG (?) en de rest van de SSD's in striping voor de L2ARC cache.

De machine zal zelf voor het grootste gedeelte de share via samba delen voor de mensen die aan het werk zijn, plus op de ssd's zullen een paar VM's draaien, hoofdzakelijk voor een kleine mail- en webserver. Iedere nacht wordt een Backup van de belangrijke data gemaakt via een andere machine.

Ook zit ik er over te denken om de schijven per twee in mirror te zetten, en dan samen in 1 pool. Op deze manier zou de performance groter zou, en kunnen er nog steeds 2 schijven tegelijk stuk gaan, behalve als ze in dezelfde vdev zitten.

De machine wordt via de 4lan aansluitingen 4x GigaBit op het netwerk aangesloten (waarschijnlijk via bonding/lacp)

Kan ik hier een tijd mee vooruit? of zijn er misschien andere/betere opties? Het budget is bepert, met deze samenstelling zou ik onder de €1400,- blijven.

edit: ik was van plan de nieuwste FreeNAS te gaan draaien, deze wilde ik installeren op 2 usb-stickjes, mocht 1 van beide stuk gaan, kan er snel weer verder gewerkt worden.

[ Voor 3% gewijzigd door MrCostanzo op 19-12-2012 14:57 ]

[FireDrunk]

Even wat geklaag: (ik bedoel het nooit aanvallend )

Waarom wil je op zo'n verouderd platform gaan bouwen?
4x 1Gb LAN Trunken is leuk, maar met 15 gebruikers is dat echt overkill en ga je dat nooooit gebruiken.

RE schijven heb je niet nodig voor ZFS, dat is voor Hardware RAID controllers. Gewone schijven voldoen prima.

Die voeding is niet zo zuinig, neem liever een Seasonic G-series of een BeQuiet E9. 520W is ook zwaaaaar overkill, 300W is zat.

4 schijven in RAIDZ2 is inderdaad prima, maar vergeet niet een goede backup. ALs je die hebt, is RAIDZ2 erg overdreven (1 schijf uitval, met een mailtje als er een kaduuk gaat is wel voldoende als je een goede backup hebt.)

Neem 2TB schijven, die kosten in verhouding veel minder. Liever 2 * 2TB in een mirror, dan 4*1TB in RAIDZ2. (Random performance van de mirror is hoger).

Mirroren en dan in pool zetten lijkt me niet verstandig, ik denk dat dat averechts gaat werken, maar ervaring heb ik er niet mee, alleen maar theorie.

Over FreeNAS, vergeet niet dat de configuratie niet online bijgehouden word, wat dat betreft kan je haast beter ZFSguru draaien, dan kan je namelijk 2 kleine partities maken op de SSD en daar ZFSguru gemirrored op installeren. FreeNAS kan voorzover ik weet nog steeds niet op je pool geinstalleerd worden.

[MrCostanzo]

FireDrunk schreef op woensdag 19 december 2012 @ 15:04:
knip

Bedankt voor je feedback, hier de 'redenen' voor mijn keuzes

De keuze voor het verouderde platform zijn de kosten, dit was een van de weinige en goedkopen manieren om aan 4x GB Lan te komen. Deze bandbreedte wordt inderdaad door de 15 gebruikers niet volgetrokken, maar ik wil op een 2e snellere machine nog een paar VM's draaien, die hun storage van deze machine halen. Hierbij is de performance wel belangrijk, vandaar dat ik voor wat extra bandbreedte gekozen heb.

Je oplossing van 2* 2TB vind ik een mooie, ik had echter voor 4* 1 TB gekozen vanwege de mogelijkheid dat 2 disks dan tegelijk stuk kunnen gaan. Bovendien denk ik dat RAIDZ-2 op deze manier iets meer performance heeft? (weet ik niet zeker).

De voeding is inderdaad wat aan de zware kant, de reden hiervoor is, is dat het systeem toch wel weer een jaar of 4/5 mee moet gaan, via psu-calculator rekening gehouden met slijtage van een paar jaar kwam ik hierop uit.

Ik weet overigens dat ik ook gewone schijven kan gebruiken, echter zijn deze RE 4 op 1 TB schijven niet veel duurder dan normale, maar zijn ze wel bedoeld voor 24/7 gebruik en hebben ze langer garantie /

nogmaals dank voor je feedback, ik zal het in overweging nemen!

[EnerQi]

Ik weet overigens dat ik ook gewone schijven kan gebruiken, echter zijn deze RE 4 op 1 TB schijven niet veel duurder dan normale, maar zijn ze wel bedoeld voor 24/7 gebruik en hebben ze langer garantie

Voor zover ik begrepen heb, zijn juist RE schijven slecht icm ZFS. De schijven gaan sneller offline door TLER functie in de schijf (7 sec om van een error te recoveren). Misschien is het het klok en klepel verhaal, maar dit zou je even moeten nagaan.

[MrCostanzo]

EnerQi schreef op woensdag 19 december 2012 @ 15:29:
[...]


Voor zover ik begrepen heb, zijn juist RE schijven slecht icm ZFS. De schijven gaan sneller offline door TLER functie in de schijf (7 sec om van een error te recoveren). Misschien is het het klok en klepel verhaal, maar dit zou je even moeten nagaan.

Uit het Grote ZFS topic heb ik begrepen dat je de TLER van de schijven kunt uitschakelen, en dit dan verder geen probleem meer vormt?

[Verwijderd]

Je maakt IMO veel 'verkeerde' afwegingen, of althans afwegingen die ik - gezien je veronderstelde wensen - anders zou maken.

Hardeschijven
Geen 1TB nemen, oudere schijven die meer energie per terabyte opslag nodig hebben. De WD RE4 1TB heeft ouderwets 500GB platters (zie: http://rml527.blogspot.nl...tern-digital-35_9883.html) terwijl nieuwere schijven 1000GB platters hebben. Ook zijn ze trager.

Als je de ruimte niet nodig hebt, beschouw nieuwere 2TB schijven dan gewoon als 1TB. Desnoods maak je een 1TB partitie. Dan gebruik je ook de snelste plek op de schijf terwijl die 1TB zijn hele bereik nodig heeft; op het einde van zijn bereik is deze veel langzamer. Kortom, nieuwere 2TB zijn dus om twee redenen sneller en moderner.

Socket 1156
Ouderwets platform; is de prijs echt extreem goedkoop dat je hem bijna gratis kunt krijgen? Heb je de extra kosten voor stroomverbruik meegerekend per jaar? Ik denk dat je goedkoper uit bent met een Socket 1155 platform met moderner spul. Aanschafkosten hoger, maar 24/7 energiekosten lager en dat heb je er binnen een paar jaar mogelijk al uit. Zelfs al ga je uit van slechts een winst van 25W dan nog betekent dit 200 euro in 4 jaar tijd 24/7 gebruik.

4x gigabit NIC
Heb je dat echt nodig? Hoe denk je de extra bandbreedte te gaan gebruiken? Heb je een Linux of UNIX workstation die round robin aggregatie ondersteunt? Indien je Windows gebruikt, zit je vast aan LACP aggregatie en heb je dus ook maar maximaal profijt van één gigabit uplink per connectie. Kortom, wat wil je bereiken en is dit wel de juiste manier?

Geheugen
Je kiest voor 4GiB DDR3/1066 ECC modules. De ECC part is het enige voordeel wat je dan krijgt. Daar betaal je dan ook fors voor. Voor veel minder geld (120 euro) heb je 32GiB aan DDR3/1600 met CL9 op 1.5V. Je mist dan echter wel ECC. Dat lijkt me voor een ZFS box voor thuisopslag je minste zorg. Als je ergens ECC wilt hebben, is het op je andere workstations die data gaan opslaan op de NAS; want die gebruiken geen ZFS waardoor corruptie wordt gedetecteerd. Kortom, je wilt overal ECC hebben behalve op je ZFS NAS, of die als laatste. Je desktops hebben het meer nodig dan je ZFS server.

Voeding
Ik zou voor een zuinige voeding gaan, zelf raad ik daarvoor deze aan: pricewatch: be quiet! Straight Power E9 400W
Deze heeft volgens de kenners echter niet alle beveiligingen die andere (dure) voedingen wel hebben, maar is wel erg zuinig als dat een overweging voor je is.

Ik zou zeggen, denk er nog eens overna. Nu kun je nog keuzes maken.

[FireDrunk]

Ik heb ook nog wel een Quad Port Intel NIC liggen hoor, die kan je tweedehands vrij goedkoop krijgen.
Dat zou niet de afweging voor een bepaald platform moeten zijn.

Ik denk dat je beter uit bent (zoals CiPHER al terecht zegt) met een S1155 oplossing.

Een middenmoter i3 kan alles wat jij wil dat hij doet met 2 vingers in zijn neus en verbruikt idle stukken minder dan die X3440 (heb die CPU ook gehad... Zuinig, maar het kan beter...).

@CiPHER (e.a.)
Verschil tussen X3440 -> g8xx/g6xx/i3 s1155 is misschien wel 25W worst case idd, maar dan heb je ook stukken minder performance. Een X3440 is echt geen trage CPU, die valt ongeveer tussen de snelste i3 en de traagste i5.

[ Voor 21% gewijzigd door FireDrunk op 19-12-2012 15:42 ]

[MrCostanzo]

Bedankt voor jullie feedback,

Ik zal gaan kijken naar een S1155 oplossing. De quad-Xeon had ik gekozen omdat ik bang was te weinig snelheid te hebben, en omdat ik RAM zocht met ECC. (vandaag dus geen i3 of i5 in overweging genomen)
Ik was in de veronderstelling dat op het moment je een server draait die 24/7 kan en moet draaien, je het beste ECC geheugen kon gebruiken.

Als je de ruimte niet nodig hebt, beschouw nieuwere 2TB schijven dan gewoon als 1TB. Desnoods maak je een 1TB partitie. Dan gebruik je ook de snelste plek op de schijf terwijl die 1TB zijn hele bereik nodig heeft; op het einde van zijn bereik is deze veel langzamer. Kortom, nieuwere 2TB zijn dus om twee redenen sneller en moderner.

Als ik 2 TB schijven neem, en inderdaad 1TB partities maak, moet ik dan zelf nog bepaalde instellingen gebruiken om te zorgen dat de snelste plek gebruik wordt? Of kan ik gewoon bij het begin beginnen, en een partitie van 1TB aanmaken?

Edit:

Nieuw lijstje na de feedback:
Supermicro X9SCM-F s1155
2x GB LAN
4x DDR3
4x sata 300
2x sata 600
Intel Core i3 2130 2x 3,4 Ghz.
Hitachi Deskstar 7K3000 4x 2TB
Samsung 830 series SSD 128GB x2
Codegen 4u-500
Antec Earthwatts EA-450 Platinum
Geheugen 16GB Corsair

Dit is op de korte termijn zo'n 100 á 200 euro goedkoper dan het bovenstaande lijstje.(en op de lange termijn natuurlijk nog goedkoper)

De reden dat ik voor 4nic's is gekozen, omdat ik op die manier 2 wilde inzetten voor de bandbreedte tussen de gebruikers en de storage (er worden lokaal teken- en rekenprogramma's gedraaid, die de data op de netwerk storage hebben staan) en de andere 2nic's voor 2 snelle (virtuele) rekenmachines op de andere server, die dus hun data ook van deze storage moeten halen. Waar ik ban voor was/ben is dat op het moment dat deze twee machines aan het rekenen zijn (er worden dan redelijk wat files gemaakt/gelezen/geschreven) de snelheid voor de overige gebruikers inkakt.

[ Voor 34% gewijzigd door MrCostanzo op 19-12-2012 16:05 ]

[krijn1985]

@CiPher (en MrCostanzo) Het ging hier om een NAS voor op het werk (iig zo kwam het op mij over). Zou je in dat geval nog steeds afraden om ECC geheugen te nemen?

[FireDrunk]

ECC geheugen is altijd beter, maar het is gewoon duur. En je moet zelf kiezen of je de kosten op vind wegen tegen de baten...

@MrConstanzo,

Je nieuwe lijstje is al beter, als je echt safe wil zijn, koop er een UPS bij, en je bent gelijk tegen een power-outage beveiligd.

Overigens, waarom kies je voor de Hitachi's? Dat zijn toch 7200 RPM schijven?

[Verwijderd]

Hallo,

Ik ben bezig om een NAS samen te stellen voor privegebruik. Het systeem zal ook (tijdelijk) getest worden in onze zakelijke omgeving. Indien dit naar behoren werkt, zal een vergelijkbaar systeem (of twee, replicatie) worden gebouwd (met een rack behuizing) ter vervanging van onze huidige Equallogic iSCSI SAN (die achter een drietal ESX 3.5 servers staat) De ESX servers zullen ook worden vervangen.

Hierbij het lijstje:

#	Product	Prijs	Subtotaal
4	AMC CBL-SFF8087OCF-10M	€ 15,43	€ 61,72
1	be quiet! Straight Power E9 500W	€ 85,10	€ 85,10
2	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 107,99	€ 215,98
2	Intel 520 240GB	€ 197,95	€ 395,90
4	Intel 520 60GB	€ 67,90	€ 271,60
1	Intel Xeon E3-1220 Boxed	€ 178,80	€ 178,80
4	Kingston 8GB 1333MHz DDR3 Registered ECC with Parity CL9 DIMM Quad Rank, x8 LV	€ 54,45	€ 217,80
1	Lian Li PC-A75X	€ 175,10	€ 175,10
1	Sharkoon SATA QuickPort Intern 6-Bay	€ 39,-	€ 39,-
1	Supermicro X9SCM-F	€ 180,10	€ 180,10
12	Western Digital Green WD30EZRX, 3TB	€ 119,90	€ 1.438,80
Bekijk collectie Importeer producten		Totaal	€ 3.259,90

De SSD's zijn voor boot, ZIL en L2Arc (allen in RAID-1). Is dit een goed uitgangspunt?
Zijn deze SSD's goed gekozen/gedimensioneerd?

Verder heb ik twijfels of ik de combinatie moederbord, processor en geheugen goed heb gekozen. Wellicht heeft iemand betere suggesties?

De voeding kan waarschijnlijk wel wat kleiner. 12 disken a 1,78A max geeft 256W. SSD's zijn samen 6W.
Processor 80W, Moederbord en controllers weet ik zo niet.
Opgeteld 342W + ? voor mobo/controllers.

Graag hoor ik jullie (gewaardeerde) mening.

Jacques

[Verwijderd]

MrCostanzo schreef op woensdag 19 december 2012 @ 15:46:
Als ik 2 TB schijven neem, en inderdaad 1TB partities maak, moet ik dan zelf nog bepaalde instellingen gebruiken om te zorgen dat de snelste plek gebruik wordt? Of kan ik gewoon bij het begin beginnen, en een partitie van 1TB aanmaken?

Een hardeschijf heeft virtuele LBA van 0 tot een groot getal. Dat komt overeen met het oppervlak wat bij de buitenste tracks van de platter begint en eindigt bij de binnenste tracks. Denk hierbij aan het oppervlak van een cd. Per omwenteling is de snelheid bij de buitenste tracks het grootst, omdat daar meer centimeter oppervlak per seconde/omwenteling te verwerken valt. De snelheid begint dus op 100% en eindigt op 45% bij normale hardeschijven. Een partitie van 1TB aan het begin betekent dat je het beste deel van 100% tot 72% ofzo gebruikt en het langzamere gedeelte opzij zet. Hierdoor worden je random seeks ook beter, deze techniek wordt ook wel 'short stroking' genoemd.

Waar ik ban voor was/ben is dat op het moment dat deze twee machines aan het rekenen zijn (er worden dan redelijk wat files gemaakt/gelezen/geschreven) de snelheid voor de overige gebruikers inkakt.

ZFS doet aan transaction groups; daar kun je mogelijk wel last van hebben. Tuning en de juiste hardware zou dit burst-performance-probleem tot een minimum moeten kunnen beperken.

FireDrunk schreef op woensdag 19 december 2012 @ 16:36:
Overigens, waarom kies je voor de Hitachi's? Dat zijn toch 7200 RPM schijven?

Het is een conservatieve keuze, maar Hitachi maakt best wel goede schijven. Ik heb minder hoge dunk van de nieuwe 1TB platter generatie, ook al zijn die sneller. Dus die Hitachi's valt wellicht wel wat voor te zeggen.

FireDrunk schreef op woensdag 19 december 2012 @ 15:39:
@CiPHER (e.a.)
Verschil tussen X3440 -> g8xx/g6xx/i3 s1155 is misschien wel 25W worst case idd, maar dan heb je ook stukken minder performance. Een X3440 is echt geen trage CPU, die valt ongeveer tussen de snelste i3 en de traagste i5.

Klopt, maar zelfde verhaal met de Q6600 die vaak als left-over-hardware voor een NAS wordt gebruikt. De prestaties van deze chip zijn ook niet kinderachtig, maar het is de idle power consumption die hem de nek om doet. 40-50 euro extra per jaar maximaal verschil voor de chip zelf en ook het moederbord met een dual-chip chipset zal meer verbruiken. Dus misschien wel 70 euro extra aan stroomkosten per jaar. In dat geval is het wel zonde zo'n chip te gebruiken voor een 24/7 server. Zelf gebruik ik mijn onzuinige hardware voor NAS backup systemen die bijna altijd uitstaan, dan maakt stroomverbruik ook niets meer uit.

krijn1985 schreef op woensdag 19 december 2012 @ 16:13:
@CiPher (en MrCostanzo) Het ging hier om een NAS voor op het werk (iig zo kwam het op mij over). Zou je in dat geval nog steeds afraden om ECC geheugen te nemen?

Tja dan ga ik weer twijfelen. Maar mijn eerste vraag zou zijn: hoe zit het met je workstations? Die gaan data schrijven naar je NAS, en bestaande data lezen en manipuleren. Juist omdat je op deze systemen geen enkele errordetectie hebt voor corruptie op je filesystem, en je hebt geen End-to-End data protection, zou ik juist voor deze systemen ECC aanraden.

Vandaar dat ik zeg: je wilt overal ECC, maar je ZFS systeem als laatste. Als je al je workstations aan ECC hebt, dan is het zonde om je ZFS box geen ECC te geven; dan beter helemaal goed doen. Maar als je workstations allemaal geen ECC hebben, en je gaat juist veel geld uitgeven zodat je ZFS box wel ECC heeft, dan maak je misschien de verkeerde afweging. Je ZFS NAS zal dan namelijk het enige systeem zijn wat corruptie door geheugen bitflips kan detecteren én corrigeren. En zelfs als er onrepareerbare schade is, dan nog wordt deze vroeg of laat gedetecteerd.

In het document waar ZFS op geheugenfouten werd gecontroleerd, bleek dat ZFS eigenlijk geen enkele bescherming heeft voor RAM bit flips. Dat lijkt overeen te komen met mijn tests waarbij ik foutief RAM (duidelijk veel errors met memtest dus véél meer dan non-ECC gevalideerd geheugen ooit zal produceren) heb gebruikt. Ik kreeg daarbij corruptie op mijn disks maar bij het opnieuw lezen of bij een scrub werd deze gedetecteerd en gecorrigeerd. Wel heb je op deze manier geen end-to-end data protection. Dat wil zeggen dat het mogelijk is dat ZFS corrupte data aan de applicatie levert, simpelweg omdat de data eenmaal in RAM niet opnieuw wordt gecontroleerd. ZFS gaat uit dat de RAM geen fouten maakt.

Maar mijn punt is dus, dat door de error detectie én correctie je RAM-fouten door non-ECC RAM eigelijk wel prima kunt opvangen. Zeker als je zoals aanbevolen ook een backup hebt, hoef je niet zo druk te maken hierom. Dan liever je workstations met ECC beveiligen want die kunnen errors noch detecteren noch corrigeren.

Maar als het gaat om 'mission critical' hardware voor bedrijven die vette centen verdienen en het systeem gewoon aan de hoogste veiligheidseisen moet voldoen, dan mag je geen concessies doen aan ECC. Dan is het heel duidelijk ECC en dan ook zo geconfigureerd dat er een verify en scrub gebeurt; dit kun je vaak instellen op serverborden. Dan kun je vrijwel zeker zijn dat je RAM foutloos is.

[BartNL]

Verwijderd schreef op woensdag 19 december 2012 @ 19:02:
Maar mijn punt is dus, dat door de error detectie én correctie je RAM-fouten door non-ECC RAM eigelijk wel prima kunt opvangen. Zeker als je zoals aanbevolen ook een backup hebt, hoef je niet zo druk te maken hierom.

erg vreemde conclusie? Persoonlijk zou ik op basis van de gerefereerde onderzoeken dan liever ook altijd wat meer aan ECC ram uitgeven.

[ Voor 9% gewijzigd door BartNL op 19-12-2012 20:48 ]

[Verwijderd]

Mijn punt is dat corruptie op je ZFS server beter te managen is. Je detecteert het vroeg of laat, je kan het vaak ook corrigeren omdat je redundantie / ditto copies hebt. Ik testte met een RAM stickje wat veel fouten gaf in MemTest86+. Een niet-ECC reepje wat foutloos is, zou alleen héél af en toe een bitflip kunnen hebben, door straling als ik dat goed had begrepen.

Dus ik vind het geen vreemde conclusie. Andere platforms hebben helemaal geen bescherming tegen RAM bitflips. Juist omdat ZFS veel geheugen zelf gebruikt en dus als er bitfouten zijn in je RAM dit een grote kans is dat dit ZFS data betreft, is enigszins geruststellend. Applicaties die door bitflips foute data genereren lijkt mij veel erger, want dat ga je nooit detecteren tenzij het programma crasht.

Mijn punt is dus dat ZFS tenminste iets van verdediging heeft tegen RAM bitflips, terwijl je typische desktop/workstation dat niet heeft. Dus dan zou juist op die systemen ECC geheugen logischer zijn volgens mijn stelling. In elk geval die eerst en de ZFS server pas als laatst.

[Mr_gadget]

Maar in hoeverre komen bitfouten in RAM / filesystem voor? Niet dat ik ZFS niet zeer interessant vindt maar hoe hebben bedrijven met grote databases / archieven dit probleem dan tot nu toe opgelost?

[analog_]

Mr_gadget schreef op woensdag 19 december 2012 @ 21:46:
Maar in hoeverre komen bitfouten in RAM / filesystem voor? Niet dat ik ZFS niet zeer interessant vindt maar hoe hebben bedrijven met grote databases / archieven dit probleem dan tot nu toe opgelost?

Er is een paper over ZFS en de bestendigheid tegen dergelijke dingen, basicly is er tot nu toe vrijwel nooit bescherming voor ingebouwd in systemen, net zoals die spanningsuitval beveiliging op ssds (supercap) ook tot nu toe nooit is aangepakt. Beschouw het dus ook als een luxe goed.

[FireDrunk]

Applicaties die door bitflips foute data genereren lijkt mij veel erger, want dat ga je nooit detecteren tenzij het programma crasht.

Daar is ECC dus juist goed voor. ECC is een applicatie onafhankelijk mechanisme om bitflips te detecteren. Applicaties hoeven zich dus niet meer bezig te houden met checksums en consistency checks. Dat doet de hardware al voor je.

Wat jij zegt klopt wel, als ZFS in ZIJN(of haar) memory errors detecteert worden die inderdaad misschien wel gezien. Maar stel dat je een bitflip hebt in Samba, of in NFS, en deze services leveren kapotte data aan ZFS om te schrijven? Dan word die data gewoon op disk gezet. ZFS berekend gewoon een checksum en het word gewoon gecommit.

Juist daar wil je ECC voor. ZFS red zich inderdaad wel, maar alle andere applicaties duidelijk niet.

[Verwijderd]

Ik denk dat je me verkeerd begrijpt. Met die quote bedoel ik dus juist dat je applicatie zonder ECC groot gevaar loopt, omdat je applicatie verder niets heeft om corruptie op RAM-niveau te detecteren laat staan corrigeren. Je ZFS server heeft dat - tot op enige hoogte - wel, vandaar dat ik denk dat juist je workstations met applicaties die data verwerken, als belangrijker zie om die eerst aan ECC te helpen, dan de ZFS server zelf.

Met Sendfile zou het zo zijn dat de dat die ZFS leest en in zijn geheugen zet, door Samba en andere services lekker op zijn plek gehouden wordt, en de socket direct uit dit geheugenadres leest. Dat garandeert denk ik bijna dat als er bitflips zijn op de ZFS server, deze zich bevindt in ZFS data.

Dus volgens mij zijn we het wel eens dat het juist de applicaties en services zijn (hoofdzakelijk op de desktops) die ECC-bescherming het meest kunnen gebruiken.

[redfoxert]

Zolang je niet in de hele keten ECC gebruikt heb je er inderdaad vrij weinig aan. Een laptop zonder ECC die corrupte data op je ZFS share schrijft voorkom je niet met ECC in je server en ook niet met ZFS op je storage.

[FireDrunk]

Dat dus, maar ECC met ZFS is altijd beter, want dan garandeer je dat je data op dat moment consistent is.

Maar het eeuwenoude regeltje geld weer:

Je moet de kosten tegen de baten afwegen. ECC UDIMM is duur... easy...

---

Zojuist mijn nieuwe aanwinst in gebruik genomen
Nieuwe case voor mijn server, het is na lang zoeken een Fractal Define XL (Met USB 3.0 ) geworden.

Voorkant
Zijkant

Eigenlijk een top kast voor een DIY RAID NAS, alleen moet je goed opletten met welke voeding je neemt, want een L7 300W zoals ik heb, is niet echt tof, omdat de moederbord / CPU kabels eigenlijk te kort zijn.
Het past echt precies... Ze hadden geen 4mm korter moeten zijn...

[ Voor 63% gewijzigd door FireDrunk op 20-12-2012 13:17 ]

[Pantagruel]

FireDrunk schreef op donderdag 20 december 2012 @ 09:00:
snip...

Zojuist mijn nieuwe aanwinst in gebruik genomen
Nieuwe case voor mijn server, het is na lang zoeken een Fractal Define XL (Met USB 3.0 ) geworden.

Voorkant
Zijkant

Eigenlijk een top kast voor een DIY RAID NAS, alleen moet je goed opletten met welke voeding je neemt, want een L7 300W zoals ik heb, is niet echt tof, omdat de moederbord / CPU kabels eigenlijk te kort zijn.
Het past echt precies... Ze hadden geen 4mm korter moeten zijn...

Pure pr0n 4 da h4rdw4re n3rdz

[FireDrunk]

Ik had met mijn stomme kop natuurlijk eerst *ALLE* harde schijf brackets verkeerd om... (dus met de connector richting moederbord, ipv richting de achterkant... En ik vond het al krap worden.. Toen keek ik nog eens goed... Ohja, je kan ze natuurlijk beter andersom doen...

Vervangen van een disk is nu ook kinderspel, kabels zitten zo strak, dat het haast hotswap is geworden

Server is overigens geruisloos nu

[Verwijderd]

als je nog een serverkastje zoek