Het grote DIY RAID NAS topic deel 3

[Verwijderd]

FireDrunk schreef op vrijdag 18 maart 2011 @ 09:44:
[...]


Interresant leesvoer! Handig voor de mensen die FreeNAS overwegen!
Persoonlijk voor mij dus ook handig omdat ik nu mijn voorgaande benchmarks de prullenbak in kunnen omdat ik met FreeNAS getest heb Toch maar eens OpenSolaris proberen

http://sites.google.com/site/eonstorage/

ZFS Evil Tuning Guide
TLER/ERC/CCTL discussie

[ Voor 19% gewijzigd door Verwijderd op 18-03-2011 12:06 ]

[Obscurax]

Het begint te kriebelen om ook een ZFS build te maken op een Zacate moederbord.

[Verwijderd]

Arnoud1 schreef op vrijdag 18 maart 2011 @ 00:21:
[...]

Vergeet ook niet dat ZFS na hardware raid kwam om de beperkingen van bestaande filesystemen op te vangen. Raid is nooit gemaakt om samen te werken met ZFS en de houding van raid tegenover slechte schijven is net waarom raid in enterprise systemen gebruikt wordt! Een schijf die voor 80% goed is wil je dan echt niet meer gebruiken.

RAID is juist ontworpen om géén dure schijven aan te hoeven schaffen. In een tijd waarbij je moest kiezen tussen dure betrouwbare schijven en goedkope maar minder betrouwbare schijven, was een techniek om één betrouwbaar medium uit meerdere minder betrouwbare disks te destilleren een hele interessante en vernieuwende optie.

RAID gaat dus specifiek over kostenbesparingen en goedkope hardware. De I in RAID staat origineel voor Inexpensive. Hedendaags zijn we behoorlijk afgedwaald, en fabrikanten hebben RAID juist als een melkkoe gezien. Vandaar ook dat ze de 'RAID dropout' probleem niet willen fixen; ze verdienen er grof geld aan waarom zouden ze het fixen kost ze heel veel geld omdat ze geen RAID edition hardeschijven meer kunnen verkopen.

Zie ook de blog van Jeff Bonwick, lead dev van ZFS:

The original promise of RAID (Redundant Arrays of Inexpensive Disks) was that it would provide fast, reliable storage using cheap disks. The key point was cheap; yet somehow we ended up here. Why?

url: http://blogs.sun.com/bonwick/entry/raid_z

Ik vraag mij ook af waar die legende over 'geen hardware raid kaarten gebruiken' ontstaan is. Al 3 jaar lang een hardware raid 5 (3Ware 9550SXU-ML + BBU) en 7 gewone schijven van 1TB (Seagate Barracuda 7200.11) en nog nooit is er een schijf uitgekickt.

Dus, omdat jouw array er nog nooit mee te maken heeft gehad, bestaat het probleem niet? Oudere schijven hebben sowieso veel minder last van uBER; het zijn vooral nieuwe schijven met een hoge datadichtheid die problemen met uBER krijgen. WD20EADS is berucht omdat het duizenden pending sectors kan ontwikkelen doordat de ECC in veel gevallen tekort schiet. Bij 4K sector disks zou je dit probleem minder moeten hebben.

Je kunt kijken in je SMART output. Current Pending Sector is de waarde waardoor een schijf uit de RAID zal vallen. Deze hoort altijd 0 te zijn. Als je Reallocated Sector Count niet 0 is, dan heb je in het verleden dus actieve bad sectors gehad. Zonder bad sectors heb je geen last van uitvallende schijven, dus dat is een voorwaarde. Het probleem is dus dat moderne schijven relatief veel vaker last krijgen van uBER.

Een schijf kicken gebeurd echt wel met redenen. Niet bij kleine foutjes, wel bij ernstige die moeten opvallen.

Een schijf wordt eruit gekickt als de controller een tijd lang geen reactie krijgt op zijn commando. Dat noemen we een timeout en die staat meestal op 10 seconden voor de meeste hardware RAID. Daarom is de TLER functie ook uitgevonden: de RAID controller zal dan geen timeout genereren en de disk eruit trappen. Het gevaar van TLER is dat je hardeschijven al heel snel opgeven bij bad sectors en dus de kans dat ze die kunnen recoveren erg klein is.

Het is niet omdat je een hardware raid kaart hebt dat je die functionaliteit moet gebruiken. Voor zover ik weet ondersteund iedere kaart pass trough (zie verder).

Elke controller kan het anders ondersteunen, maar bijvoorbeeld Areca dropt nog steeds disks in Passthrough mode of JBOD mode; dus deze controller is in welke modus dan ook ongeschikt. Daar zit je dan met je dure controller!

Pass through en JBOD zijn totaal verschillende dingen. Bij pass through heb je GEEN ARRAY. De schijf wordt gewoon doorgegeven aan het OS en die moet er maar zijn ding mee doen.
Bij JBOD heb je meestal 'spanning'. Meerdere schijven vormen een array, zonder dat de voordelen van raid gebruikt worden.

Bij zowel PassThrough als JBOD mode heb je een SCSI array: één disk per array. Je disks zullen als SCSI disks worden gezien, niet als ATA disks. Je kunt niet normaal SMART opvragen, alleen door passthrough module van je RAID controller (zoals areca of highpoint in smartctl -d). Het blijft dus een RAID array, waarbij de RAID firmware de controle heeft over je disks. Als die besluit je disk eruit te schoppen, dan heeft ZFS daar NIETS over te zeggen. Dát is het hele probleem.

JBOD wordt gebruikt voor verschillende dingen:
- non RAID HBA mode
- RAID mode waarbij elke disk zonder metadata als passthrough wordt geconfigureerd
- spanning/concatenating (RAID0 achtige array maar zonder snelheidswinst)

Voor ZFS gebruik je best pass through en geen JBOD.

Voor ZFS gebruik je het beste een NON-RAID controller ook wel HBA genoemd. Intel SASUC8i in IT-mode is een uitstekende keuze. Je onboard AHCI poorten zijn de beste poorten die je kunt hebben. Bij al deze non-RAID adapters is het zo dat het OS bepaalt of de schijven eruit worden getrapt; niet de controller. Dat is dus wat je wilt.

En omdat je bij pass through geen array hebt is er geen sprake van degradatie of dergelijke.

Je hebt gewoon 8 arrays; voor elke disk een array. Performancedegradatie heb je altijd bij een RAID controller; alle latencies zijn ongeveer 0.1ms hoger door de verwerkingstijd van de firmware. Een echte HBA is dus sneller.

ZFS is gewoon een bestandsysteem met lvm en heeft op zich niet rechtstreeks met raid functionaliteit te maken. ZFS kent een softwarematige raid implementatie die in wezen niet verschilt van hardware raid. De foutcorrectie zit hem in het bestandsysteem zelf en die doet dat dus beter dan raid.

Dat is dus onjuist. Als wat je zou zeggen zou kloppen, dan zou het theoretisch mogelijk zijn om ZFS RAID na te bouwen met een andere driver, die niet het hele ZFS filesystem hoeft te kennen. Dat lukt dus niet - de manier hoe ZFS RAID doet is eigenlijk géén RAID! Daarom wordt ZFS ook wel een 'layering violation' genoemd, omdat het filesystem en RAID engine met elkaar versmelt; de RAID engine moet dingen van het filesystem weten en andersom; geen enkel project wat zo werkt!

De manier hoe ZFS zijn data opslaat zal dan ook nooit door een RAID controller te implementeren zijn. Dynamische stripesizes bijvoorbeeld zijn niet mogelijk als filesystem en RAID layer gescheiden producten zijn. De stripesize wordt aangepast naar de grootte van het bestand.

Zie ook:
http://blogs.sun.com/bonw...ampant_layering_violation

Waar ik ook nog eens op wil wijzen is dat raid kaarten met een BBU werken en hierdoor je data beschermen bij stroomuitval.

Je kunt het anders omschrijven: RAID controllers met write-back zijn inherent onveilig, omdat bijna alle filesystems niet genoeg foutcorrigerende middelen hebben om zonder schade te recoveren van verloren transactie metadata. De RAID controller doet dus onveilige writeback met een BBU. Zonder die write-back schrijf je met 5MB/s naar een RAID5, dus een BBU is min of meer verplicht.

Dus RAID controller + BBU + RAID edition schijven (TLER) is een dure aangelegenheid. Vergelijk met een non-RAID controller zonder BBU of UPS met normale desktop schijven en het slimme ZFS filesystem zorgt voor de veligheid; ideale keus IMO. Dan heb je ook al die dure hardware niet nodig, die profitteert van de onduidelijkheid over problemen met RAID.

Indien je dus niet met zo'n kaart wil werken met je een externe BBU voorzien op je NAS of met flashcache werken. Ik denk dat velen hier geen rekening mee houden.

Ik weet niet pecies wat je wilt zeggen, maar ZFS heeft geen BBU nodig. ZFS kan heel snel naar RAID5/6/7 achtige vormen schrijven zonder bescherming van een UPS nodig te hebben; dat is alleen voor filesystems zonder goede intent log of zonder write barriers. ZFS heeft de ZFS Intent Log (ZIL) - een softwarematige manier van journaling die de hele BBU enzo vervangt. Foetsie! Scheelt weer doekoe.

En over raid 5 met 2Tb schijven: http://www.zdnet.com/blog...stops-working-in-2009/162

Daar is ZFS dus immuun voor. uBER kan er wel voor zorgen dat één of meer bestanden beschadigd raken. Dit krijg je te zien met zpool status -v output, precies welke bestanden. Silent corruptie heb je dus nooit meer, en je hele array gaat ook niet aan gort door uBER zoals wel met veel conventionele RAID.

Zelfde geldt voor RAID6 overigens:
http://www.zdnet.com/blog...stops-working-in-2019/805

[Splendid]

FireDrunk schreef op vrijdag 18 maart 2011 @ 09:44:
[...]


Interresant leesvoer! Handig voor de mensen die FreeNAS overwegen!
Persoonlijk voor mij dus ook handig omdat ik nu mijn voorgaande benchmarks de prullenbak in kunnen omdat ik met FreeNAS getest heb Toch maar eens OpenSolaris proberen

Ik kan je zeker Nexenta aanraden, ik draai hier NexentaCore icm Napp-it webgui en dit bevalt mij prima! Verbruik in watt tussen NexentaStor en NexentaCore was bijna 10watt! Dus kun je zeker meenemen in de keuze als je stroomverbruik belangrijk vind

[HarmoniousVibe]

ZFS is fantastisch. Dat is waar. Maar laten we de zaken ook niet overdrijven.

Veel van de voordelen van ZFS die je aanhaalt gelden ook voor de MDADM+LVM2+XFS stack. Ook hier kun je gebruik maken van goedkope schijven (geen TLER nodig), simpele SAS/SATA-controllers (onboard dan wel raid-kaarten in HBA mode) en waarmee je bovendien nog diverse controllers kunt combineren.

Daar komt nog bij dat je in tegenstelling tot ZFS wel je array kunt blijven uitbreiden zonder dat je per aankoop minimaal 1 schijf aan ruimte moet opofferen en daarmee niet kunt profiteren van lager geworden prijzen. Ironisch genoeg wordt er vanuit de kant van Oracle/SUN/ZFS vaak gezegd dat ze snappen dat dit voor de kleine gebruiker handig kan zijn en dat het ze vrij staat een patch te submitten, maar dat ze er zelf geen prioriteit aan geven omdat het target audience toch echt enterprises zijn (met veel geld dus) die niet per schijf uitbreiden en het niet erg vinden om steeds een schijf of twee te blijven opofferen per aankoop.

Daarnaast heeft MDADM ook geen last van dropouts door timeouts en biedt het ondersteuning voor write-intent logs (bitmaps). XFS heeft ondersteuning voor write barriers, wat de consistentie van de metadata moet garanderen, ook bij uitval tijdens schrijfacties.

Hiermee wil ik niet ontkennen dat ZFS erg goed is en voordelen biedt boven andere oplossingen zoals hwRAID of MDADM (ook nadelen overigens), maar dat niet alles wat je hier noemt ZFS-specifiek is.

[Verwijderd]

Splendid schreef op vrijdag 18 maart 2011 @ 13:22:
[...]

Ik kan je zeker Nexenta aanraden, ik draai hier NexentaCore icm Napp-it webgui en dit bevalt mij prima! Verbruik in watt tussen NexentaStor en NexentaCore was bijna 10watt! Dus kun je zeker meenemen in de keuze als je stroomverbruik belangrijk vind

ziet er idd goed uit (de gui) .. maar gebruik je de community versie (met beperkingen) ?

[ Voor 7% gewijzigd door Verwijderd op 18-03-2011 16:20 ]

[Splendid]

Verwijderd schreef op vrijdag 18 maart 2011 @ 16:14:
[...]


ziet er idd goed uit (de gui) .. maar gebruik je de community versie (met beperkingen) ?

[afbeelding]

Nee, ik gebruik de Core versie. Dit is standaard zonder Gui, vandaar Napp-it. De Stor heeft een mooie Nexenta Gui maar de free versie heeft inderdaad beperkingen (max 18TB, voor nu)

[FireDrunk]

Toch maar eens proberen dan, misschien word het nog wat als ze VMXNET3 gaan ondersteunen...
Heb nog 4 * 2TB ongebruikt in een lege array zitten, daar ga ik dan maar weer eens ZFS op poffen en kijken of het performt

[voodooless]

Ik twijfel nog steeds of ik een Atom of i3 systeemje zal bouwen... i3 is best wel wat duurder (duurder MB en duudere CPU), maar performance is wel een heel stuk beter. Voorlopig opteer ik gewoon voor het gebruik van een mirror van twee keer 3TB disks, met de optie voor nog twee extra disks. Die kan ik altijd achteraf in de pool gooien om zo op raid 10 uit te komen. Dan heb ik met 6TB meer dan zat plek. Een mirror betekend natuurlijk wel dat de CPU belasting flink minder zal zijn, al zal ZFS checksums nog wel de nodige CPU cycles slopen... Lastige keuze

[Verwijderd]

Heb je al naar Zacate gekeken? Veel beter platform voor ZFS dan Atom.

CPU performance komt het ook niet zo op aan. Checksums stellen niets voor, compressie en encryptie (zonder AESNI) is wel CPU-heftig. Voor normale ZFS storage heb je vooral aan héél veel geheugen.

Aangezien Zacate DDR3 is, heb je ook goedkopere geheugensticks. Je kunt er makkelijk 2x4GiB = 8GiB in gooien en dat gaat veel beter presteren dan een Core i3 met 4GiB. Core i3 is wel een slag sneller qua CPU performance, dus als je gaat vergelijken met Core i3 met 8GiB zal laatstgenoemde de strijd winnen. Maar ik vermoed dat het verschil qua RAM véél groter zal zijn, zeker zonder compressie en dergelijke.

3TB disks van WD zijn traag, ik zou gewoon Samsung 2TB schijven doen veel goedkoper per GB en sneller ook nog. Hitachi 5K3000 is wel een optie, maar nog steeds duurder dan 2TB met 666GB platters.

Voor 4K sector disks geldt:
RAID-Z: 3 disks of 5 disks
RAID-Z2: 6 disks of 10 disks

[Dadona]

Waarom 3 of 5 en 6 of 10? Wat is het idee daarachter?

[Verwijderd]

Heeft te maken met hoe ZFS data over de disks verdeelt. Als ik het goed begrijp kom je zonder parity schijven uit op een macht van 2, dus: 1, 2, 4, 8, 16. Dat zijn dan goede combinaties voor 4K sector disks in een RAID-Z. Maar dan moet je dus niet de parity schijven meetellen. Dus daarom krijg je de verschillen per RAID-Z en RAID-Z2. Op OpenSolaris forums, FreeBSD forums en HardOCP staat meer info hierover.

[Verwijderd]

Splendid schreef op vrijdag 18 maart 2011 @ 16:58:
[...]

Nee, ik gebruik de Core versie. Dit is standaard zonder Gui, vandaar Napp-it. De Stor heeft een mooie Nexenta Gui maar de free versie heeft inderdaad beperkingen (max 18TB, voor nu)

18 TB is in dit topic een beperking denk ik ..

[Q]

mphilipp schreef op vrijdag 18 maart 2011 @ 09:44:
[...]

Ach...het blijven statistieken, en we weten wat die betekenen. Ik ben in datacenters geweest met giga SAN's en een beheerder zei me dat ze ooit hadden berekend dat er elke maand een HD zou sneuvelen. Maar dat gebeurde niet.Ik zie ze in het DC nou echt niet de hele dag met schijven slepen, en die hebben er echt wel meer als ik. Dus die meneer mag wat mij betreft nog heel lang interessante verhalen schrijven in zijn collumn, maar het zegt mij allemaal niet zoveel.

Ik vind dat er enorm veel ophef wordt gemaakt over URE / UBE etc maar in de praktijk wordt de soep volgens mij helemaal niet zo heet gegeten. Jouw anekdote bevestigd dit.

Nu is mijn individuele ervaring met harde schijven niet iets waar je enige conclusies uit kunnen trekken, maar ik heb nog nooit gehad dat een schijf binnen 5 jaar stuk ging.

Ik heb PATA schijfjes van 80 GB stuk zien gaan na 5+ jaar, tot twee keer toe, van verschillende merken.

Ik heb 20 1 TB disks in mijn NAS en geen een is gesneuveld tot nu toe.

Ik heb 6 disks van verschillende groottes in mijn oude NAS en geen een is gensneuveld tot nu toe. Ook geen problemen gehad.

Misschien heb ik mazzel.

Misschien zijn de risico's toch niet zo groot.

Ik denk dat de risico's niet zo groot zijn. Toch had ik liever wel de checksumming van ZFS gehad als het had gekund, maar we hebben lang zonder gekund. Ik geloof het wel.

Je kunt naar uitval percentages kijken naar gegevens van Google, maar voor ons is dat eigenlijk niet boeiend. Want bij ons thuisgebruikers staan de disks 99.999% van de tijd uit hun neus te vreten of in mijn geval, staan ze uit. Ik denk dat dit de levensduur aanmerkelijk verlengt.

Ik vind ZFS een mooiere oplossing dan MDADM + LVM uitgezonderd het feit dat je dus niet je array kan growen op een goedkope wijze, vanuit het perspectief van thuisgebruikers.

Maar alle nadelen er omheen wegen ook mee in de keuze.

Soms krijg ik de indruk dat er een atmosfeer wordt gecreëerd waarin je eigenlijk je data op het spel zet als je geen ZFS draait. Hoe hebben we ooit 40 jaar zonder ZFS gekund? Dat lijkt me ver gezocht.

[voodooless]

Verwijderd schreef op vrijdag 18 maart 2011 @ 18:13:
Heb je al naar Zacate gekeken? Veel beter platform voor ZFS dan Atom.

Heb ik naar gekeken ten opzichte van Atom, maar ik vind helaas geen zinvolle benchmarks, alleen gebazel over de snelle GPU die erin zit...

CPU performance komt het ook niet zo op aan. Checksums stellen niets voor, compressie en encryptie (zonder AESNI) is wel CPU-heftig. Voor normale ZFS storage heb je vooral aan héél veel geheugen.

Beiden ga ik toch niet doen..

Aangezien Zacate DDR3 is, heb je ook goedkopere geheugensticks. Je kunt er makkelijk 2x4GiB = 8GiB in gooien en dat gaat veel beter presteren dan een Core i3 met 4GiB. Core i3 is wel een slag sneller qua CPU performance, dus als je gaat vergelijken met Core i3 met 8GiB zal laatstgenoemde de strijd winnen. Maar ik vermoed dat het verschil qua RAM véél groter zal zijn, zeker zonder compressie en dergelijke.

Een moderne Atom heeft ook gewoon DDR3 hoor Zacate met 8GB kost net zoveel als een i3 met 4GB. 't is een overweging waard. Ik heb alleen geen idee wat de performance gaat zijn bij gebrek aan zinvolle benchmarks. hier heb ik wel wat gevonden.

3TB disks van WD zijn traag, ik zou gewoon Samsung 2TB schijven doen veel goedkoper per GB en sneller ook nog. Hitachi 5K3000 is wel een optie, maar nog steeds duurder dan 2TB met 666GB platters.

Voor zover ik in benchmarks gezien heb is het ding helemaal niet zo traag.. In ieder geval in staat om 1Gbit helemaal vol te trekken. Goed zat dus. Toch is 2TB vanwege de prijs wel interessant.

[ Voor 7% gewijzigd door voodooless op 18-03-2011 20:32 ]

[Verwijderd]

The Good
- Quiet Operation
- Atom beating performance
- Competitive Power Consumption
- Scope for HDD expansion
- SATA 6.0Gb/s and USB 3.0

The Mediocre
- Integrated WiFi - almost essential on a board such as this?
- mATX could have been mITX

The Bad
- None

REVIEW

[voodooless]

Verwijderd schreef op vrijdag 18 maart 2011 @ 20:36:
[afbeelding]
REVIEW

Leuk allemaal, maar dit soort reviews laten dus totaal niet zien wat je van zo'n CPU moet verwachten in een NAS. Daar zijn compleet andere disciplines gevraagd van op een desktop. Een benchmark als HDTune laat ook in dat opzicht nog niet echt een duidelijk in zicht zien..

[Verwijderd]

Performance is gewoon iets beter dan Atom, voornamelijk single threaded performance (Atom is een in-order CPU; Brazos is een out-of-order CPU).

Grootste verschil tussen Brazos/Zacate en Atom is het stroomverbruik in idle mode:
http://www.xbitlabs.com/a...display/amd-e-350_12.html

Voor ZFS performance heb je vooral veel geheugen nodig, geheugenbandbreedte kun je denk ik op nummer 2 zetten. CPU performance eigenlijk maar heel weinig; interrupts en memory copies zullen de meeste CPU tijd in beslag nemen.

[Verwijderd]

voodooless schreef op vrijdag 18 maart 2011 @ 20:46:
[...]


Leuk allemaal, maar dit soort reviews laten dus totaal niet zien wat je van zo'n CPU moet verwachten in een NAS. Daar zijn compleet andere disciplines gevraagd van op een desktop. Een benchmark als HDTune laat ook in dat opzicht nog niet echt een duidelijk in zicht zien..

nee dat klopt, tis natuurlijk ook geen specifiek nas bordje.. oftie daar geschikt voor is ga ik binnenkort uitproberen.
voor 116,- moet je niet te hoog gespannen verwachtingen hebben denk ik... als je echt performance wil kom je in een hele andere prijsklasse terecht.. maar zuinig istie wel

[Arnoud1]

Een nas is bedoeld om 24/24u 7/7 aan te staan. Dan wil je dus de zuinigste hardware. Mijn vorige nas (volledig supermicro, 2x opteron 246, etc) verstookte 2,4Mwatt, om nog te zwijgen over da SAN's. Dit wil je echt niet.
Kiezen voor een krachtige cpu betaal je op termijn. Systemen die niet op Atom of Zacate gebaseerd zijn verbruiken min 45Watt tot 70Watt zonder de schijven. Qua prestaties merk je het niet (ik spreek over NAS, zeker over 1Gb netwerk). Leuke is dat Zacate ook nog virtualisatie kan doen. Als je echt CPU power nodig hebt zou ik dat niet combineren met een nas. Zelfs met een P3 kan je een nas maken die snel genoeg is. Ik heb nog atom's getest met software raid lvm + ext3 en die halen 600MB/sec. Zacate kan dit zeker ook aan.

[Arnoud1]

Overstappen van hardware raid naar software raid is moeilijker dan ik dacht.
Ik begin helemaal te twijfelen over welke systemen ik nu ga gebruiken.

btrfs klink veelbelovend maar is nog niet stable en raid5/raid6 werkt nog niet...
ZFS moet je inderdaad min 3 schijven toevoegen of gewoon helemaal opnieuw beginnen als je wilt uitbreiden.
Linux raid + LVM + ext4 klinkt leuk, maar heeft toch net niet wat ZFS kan.

Ik hoopte op Debian, maar heb twijfels aan dat fuse systeem.
FreeNAS is verouderd en traag
Opensolaris is dood sinds de overname door Oracle
Nexenta, geen ervaring mee
FreeBSD dan maar zeker, maar dit is ook een verouderde zpool

Zucht, onmogelijk om het beste samen te krijgen.

Wie gebruikt welk systeem en waarom? Bestaat er een stabiel systeem waar ZFS up to date is?

Ik wil ook DHCP en Firewall draaien op de nas.

[Verwijderd]

FreeBSD heeft ZFS versie 15 en dat is misschien niet de meest recente, maar wel een hele stabiele ZFS release, in tegenstelling tot de oudere releases in oudere FreeNAS 0.7.x releases. V28 komt er ook aan, Maar als je geen de-dupe nodig hebt, wat mis je dan echt met ZFS versie 15? Weinig toch?

Wat zijn precies je prioriteiten, en waarom is overstappen naar software RAID moeilijk? FUSE zou ik zeker niet doen als je een stabiel storagesysteem wilt. Al helemaal niet ZFS over FUSE.

Nexenta is dan nog een waardig alternatief wat je eens kunt ontdekken! Ubuntu achtige omgeving + ZFS, voor velen een uitkomst! Zelf vind ik de features van ZFS wel heel cool. FreeBSD heeft betere ondersteuning voor 4K disks dan het Solaris platform en ook met hardware support zit je beter.

Maar zoals je zegt: elke oplossing heeft voor- en nadelen, je moet zelf uitvogelen welke voordelen voor jou het belangrijkst zijn en welke nadelen je mee kunt leven.

[Arnoud1]

Ga een Intel RAID Controller SASUC8I bestellen bij azerty.nl... In belgie geraak ik daar niet gemakkelijk aan. Wil er wel kabels bij bestellen en het is me niet duidelijk op de site van azerty welke ik moet bestellen. Heb SAS SFF 8087 naar 4x Sata nodig maar er staat niet aan welke kant wat zit... :-s

[Arnoud1]

Zal zeker een van deze worden:
CBL-0188L
CBL-0278L
Weet iemand het verschil?

[HarmoniousVibe]

Als je een (forward) 'breakout'-kabel koop zit je volgens mij sowieso goed. De term impliceert namelijk een richting. Wat je hoe dan ook moet mijden is een reverse breakout cable.

Overigens heb ik nooit begrepen waarom je zo'n kabel niet gewoon twee kanten op kunt gebruiken, maar goed.

[ Voor 14% gewijzigd door HarmoniousVibe op 18-03-2011 21:57 ]

[Verwijderd]

http://www.specialty-cables.com/mini_sas_cables-int.html
linksonder heb je nodig (SFF8087 naar 4x SAS/SATA)

Let op dat je niet de 'reverse breakout' kabels koopt! Die zijn voor Norco behuizingen en is juist dat je de 4 SATA kabels op je moederbord ofzo aansluit; heel wat anders dus.

Edit: hier op Webconnexxion hebben ze hem ook:
http://www.webconnexxion...._info.php?products_id=713

[ Voor 17% gewijzigd door Verwijderd op 18-03-2011 21:55 ]

[Verwijderd]

idd.. ben er net achter dat ik wel 1 x 'reverse breakout' nodig heb

deze

leuk bordje.. heb er zin in

[Arnoud1]

Verwijderd schreef op vrijdag 18 maart 2011 @ 21:53:
http://www.specialty-cables.com/mini_sas_cables-int.html
linksonder heb je nodig (SFF8087 naar 4x SAS/SATA)

Let op dat je niet de 'reverse breakout' kabels koopt! Die zijn voor Norco behuizingen en is juist dat je de 4 SATA kabels op je moederbord ofzo aansluit; heel wat anders dus.

Edit: hier op Webconnexxion hebben ze hem ook:
http://www.webconnexxion...._info.php?products_id=713

Om leveringskosten uit te sparen wil ik ze bij azerty.nl kopen. Ik heb er nog 3 liggen van 3ware, maar die houd ik om samen met mijn kaart te verkopen of later nog te gebruiken. (was die PCI-X nu maar eens compatibel... zucht).
Alleen geraak ik er niet aan uit welke:
http://azerty.nl/8-1593-2...cro-cbl-0188l-seri-l.html
http://azerty.nl/8-1593-2...cro-cbl-0278l-seri-l.html

Deze ben ik relatief zeker van, maar ze zijn duurder:
http://azerty.nl/0-1752-147941/3ware-multilane-.html

[raven22]

Verwijderd schreef op vrijdag 18 maart 2011 @ 20:50:
Performance is gewoon iets beter dan Atom, voornamelijk single threaded performance (Atom is een in-order CPU; Brazos is een out-of-order CPU).

Grootste verschil tussen Brazos/Zacate en Atom is het stroomverbruik in idle mode:
http://www.xbitlabs.com/a...display/amd-e-350_12.html

Voor ZFS performance heb je vooral veel geheugen nodig, geheugenbandbreedte kun je denk ik op nummer 2 zetten. CPU performance eigenlijk maar heel weinig; interrupts en memory copies zullen de meeste CPU tijd in beslag nemen.

dit is geen eerlijke vergelijking want de ion heb je bij een nas/server systeem niet nodig natuurlijk en dat scheelt veel in je stroomverbruik.

[voodooless]

raven22 schreef op vrijdag 18 maart 2011 @ 22:29:
dit is geen eerlijke vergelijking want de ion heb je bij een nas/server systeem niet nodig natuurlijk en dat scheelt veel in je stroomverbruik.

Hier zie je het zelfde beeld met een D525 met Intel chipsetje. Het verschil is minder groot, maar nog steeds aanwezig.

Ik kom voor mezelf voorlopig op dit uit:

#	Product	Prijs	Subtotaal
1	Asrock E350M1	€ 92,-	€ 92,-
1	Chenbro ES34069	€ 196,50	€ 196,50
2	Samsung EcoGreen F4EG HD204UI, 2TB	€ 66,-	€ 132,-
1	Kingston ValueRAM KVR1333D3N9K2/8G	€ 73,51	€ 73,51
Bekijk collectie Importeer producten		Totaal	€ 494,01

Komt nog een SD kaartje bij voor het OS, en een Intel SSD als ZFS cache disk (die heb ik nog liggen).

[ Voor 76% gewijzigd door voodooless op 18-03-2011 22:49 ]

[Verwijderd]

' en een Intel SSD als ZFS cache '...

sluit je dan die ssd gewoon op een sata poort aan en in je os stel je in dat dat de ZFS cache is..ofzo ?
en werkt dat ook met vb freenas ?

[HarmoniousVibe]

Een beetje Googlen kan geen kwaad. Eerste hit: http://www.solarisinterna...de#Separate_Cache_Devices

edit: graag gedaan!

[ Voor 9% gewijzigd door HarmoniousVibe op 19-03-2011 01:28 ]

[Verwijderd]

HarmoniousVibe schreef op zaterdag 19 maart 2011 @ 00:58:
Een beetje Googlen kan geen kwaad. Eerste hit: http://www.solarisinterna...de#Separate_Cache_Devices

goh nou bedankt hoor ..pfffffff

[FireDrunk]

Komop, een beetje meer liefde jongens We zijn (hopelijk) allemaal volwassen

Gister toch maar weer Nexenta geinstalleerd, maar out of the box nog geen VMXNET3 ondersteuning.
Dus ik voeg een E1000 controller toe, maar die word niet vanzelf geinstalleerd... Vanavond misschien maar eens kijken hoe dat met het handje moet... Het blijft een beetje vreemd in elkaar gezet vind ik... Misschien dat dat de Solaris achtergrond is...

[Birdie_NL]

Omdat ik aan het einde van de maand mijn 'raid(5)' ga realiseren zit ik met wat twijfels.

Ik ben van plan om 2TB schijven te gaan gebruiken, nu schijnt het dat de Western Digital Caviar GreenPower WD20EARS wat probleempjes heeft qua blocksize?

Met de Samsung versie van 2TB heb ik geen ervaring, enkel de oudere type schijven tot 500GB hebben het bij mij niet lang uitgehouden.

Er zijn eigenlijk 3 potentiéle kans hebbers en dat zijn de:

Western Digital Green WD20EARS (2TB)
Seagate Barracuda Green 5900.3 (2TB)
Samsung EcoGreen F4EG HD204UI (2TB)

Mijn voorkeur gaat uit naar de WD want ik heb hele goede ervaringen met schijven TOT 1TB.

[FireDrunk]

Allemaal prima schijven, Seagate is de enige met 5 jaar garantie volgens mij, en de andere 2 zijn leuk(er) geprijst.

De F4EG moet je misschien de Firmware van upgraden.

[Verwijderd]

Samsung F4 zie ik als net iets beter dan WD EARS, maar als je de nieuwe EARS tegen Samsung F4 vergelijkt zitten ze heel erg dicht bij elkaar. De Samsung gebruikt 40% minder spinup current wat best een groot verschil is; meer disks aansluiten op hetzelfde wattage voeding.

Met 'blocksize' doel je op de sector size van deze schijven: het zijn 4K sector schijven en dat maakt héél veel uit. In een foute config kunnen deze schijven heel erg langzaam zijn.

Je vertelt niet wat voor platform je op wilt draaien. Windows met hardware RAID5 heeft hele andere wensen dan een ZFS server of iets gebaseerd op Linux (software-raid). Als het even kan zou ik voor RAID5 bij Windows wegblijven. RAID5 is een complex level waar veel bij fout kan gaan, dan heb je dus een goede RAID layer nodig.

Bij RAID5 onder windows met Onboard RAID:
- TLER schijven nodig
- trage write speed tenzij je writeback inschakelt (Intel onboard RAID) maar dat tegen een hoog risico van corruptie bij stroomuitval

Bij RAID5 onder Windows met Hardware RAID:
- TLER schijven nodig op de meeste controllers
- snelle write speed bij gebruik van write-back
- write-back alleen veilig mits gebruik wordt gemaakt van een BBU (Battery Backup Unit)

[Birdie_NL]

Verwijderd schreef op zaterdag 19 maart 2011 @ 15:02:
Samsung F4 zie ik als net iets beter dan WD EARS, maar als je de nieuwe EARS tegen Samsung F4 vergelijkt zitten ze heel erg dicht bij elkaar. De Samsung gebruikt 40% minder spinup current wat best een groot verschil is; meer disks aansluiten op hetzelfde wattage voeding.

Met 'blocksize' doel je op de sector size van deze schijven: het zijn 4K sector schijven en dat maakt héél veel uit. In een foute config kunnen deze schijven heel erg langzaam zijn.

Je vertelt niet wat voor platform je op wilt draaien. Windows met hardware RAID5 heeft hele andere wensen dan een ZFS server of iets gebaseerd op Linux (software-raid). Als het even kan zou ik voor RAID5 bij Windows wegblijven. RAID5 is een complex level waar veel bij fout kan gaan, dan heb je dus een goede RAID layer nodig.

Bij RAID5 onder windows met Onboard RAID:
- TLER schijven nodig
- trage write speed tenzij je writeback inschakelt (Intel onboard RAID) maar dat tegen een hoog risico van corruptie bij stroomuitval

Bij RAID5 onder Windows met Hardware RAID:
- TLER schijven nodig op de meeste controllers
- snelle write speed bij gebruik van write-back
- write-back alleen veilig mits gebruik wordt gemaakt van een BBU (Battery Backup Unit)

Ik heb van Firedrunk een HP P410i/512MB BBWC controller gekocht.
Ik draai Server 2008 R2 Standard en het klopt wat ik bedoelde met de blocksize van 4K.

[Verwijderd]

Ik heb geen idee wat voor controller dat is; geen ervaring mee. Je doet er goed aan te informeren (bij HP misschien gewoon?) of deze controller ook goed overweg kan met non-RAID schijven die geen TLER of CCTL hebben om de timeout tot 7 seconden te beperken. Als dat zo is kun je prima WD EARS gebruiken. Bij Samsung heb je wel CCTL en moet je kijken of de controller dit ondersteunt. Bij CCTL moet bij elke boot de controller CCTL inschakelen.

Het is dus afhankelijk van je RAID controller of Samsung F4 of WD EARS goed gaat werken. Ik geef Samsung nog een redelijke kans, denk dat de WD's er snel uitvliegen zodra je eenmaal een paar bad sectors krijgt. Bijna alle RAID controllers verwachten TLER-gedrag, waarbij de schijf nooit langer dan 10 seconde een timeout zal veroorzaken. Gebeurt dat wel, dan denkt de controller dat je schijf kapot is en detached hij hem, terwijl desktop schijven tot wel 120 seconden kunnen doen aan error recovery, terwijl dus maar één sector op de hele schijf onleesbaar is en de schijf echt niet stuk is verder. Dat probleem is in meer detail eerder in dit topic beschreven.

Als de controller zijn eigen accu/BBU heeft, kun je gerust write-back inschakelen. Heb je dat niet koop dan zo'n ding, want write-back gaat véél verschil opleveren vooral in RAID5/6 parity RAID.

[ Voor 20% gewijzigd door Verwijderd op 19-03-2011 15:25 ]

[HarmoniousVibe]

Ik heb toevallig ook een server met een P400i. Echter heb ik er geen desktopschijven in hangen, maar gewoon 2.5" SAS enterprise drives (HP DG146ABAB4). Wel kan ik je vertellen dat je de HP/Compaq CCISS Smart Array driver nodig hebt. Volgens dit tabelletje wordt er geen ATA passthrough ondersteund onder Windows. Dit betekent dat je CCTL niet online kunt aanpassen.

Ik zou je aan willen raden Hitachi's te kopen. Naar ik heb vernomen(!) kun je dmv de officiële tool van Hitachi de CCTL-intelling wel persistent veranderen.

[ Voor 6% gewijzigd door HarmoniousVibe op 19-03-2011 17:15 ]

[Birdie_NL]

Verwijderd schreef op zaterdag 19 maart 2011 @ 15:23:
Ik heb geen idee wat voor controller dat is; geen ervaring mee. Je doet er goed aan te informeren (bij HP misschien gewoon?) of deze controller ook goed overweg kan met non-RAID schijven die geen TLER of CCTL hebben om de timeout tot 7 seconden te beperken. Als dat zo is kun je prima WD EARS gebruiken. Bij Samsung heb je wel CCTL en moet je kijken of de controller dit ondersteunt. Bij CCTL moet bij elke boot de controller CCTL inschakelen.

Het is dus afhankelijk van je RAID controller of Samsung F4 of WD EARS goed gaat werken. Ik geef Samsung nog een redelijke kans, denk dat de WD's er snel uitvliegen zodra je eenmaal een paar bad sectors krijgt. Bijna alle RAID controllers verwachten TLER-gedrag, waarbij de schijf nooit langer dan 10 seconde een timeout zal veroorzaken. Gebeurt dat wel, dan denkt de controller dat je schijf kapot is en detached hij hem, terwijl desktop schijven tot wel 120 seconden kunnen doen aan error recovery, terwijl dus maar één sector op de hele schijf onleesbaar is en de schijf echt niet stuk is verder. Dat probleem is in meer detail eerder in dit topic beschreven.

Als de controller zijn eigen accu/BBU heeft, kun je gerust write-back inschakelen. Heb je dat niet koop dan zo'n ding, want write-back gaat véél verschil opleveren vooral in RAID5/6 parity RAID.

Je legt het allemaal duidelijk uit, dank daarvoor.
Ik vind het alleen veel te ingewikkeld worden voor wat..ik tot nu toe weet en van plan was.

Over schijven die uit de array gehaald worden door de controller binnen een x aantal sec. etc.
En nu ik lees dat een Windows platform ook weer niet veel ondersteuning voor het geheel bied vind ik erg jammer opeens

Ik moet er echt even over na gaan denken en eventueel meer? info hierover winnen op i-net.
Maar ik begin niet aan linux of freenas, ik heb freenas een tijdje gehad om het e.e.a. te testen maar het is toch niet weggelegd voor mij op dit moment.

Hebben bijv. de 1,5TB schijven dit hele probleem niet? dus de blocksize etc.?

[HarmoniousVibe]

Je moet het gebrek aan ondersteuning in Windows ook weer niet gaan overschatten. Wat ik zei is alleen maar dat jouw controller geen ATA-passthrough ondersteunt, wat betekent dat je die TLER/CCTL/ERC-instelling waar CiPHER het over heeft in feite niet kunt aanpassen vanuit je OS. De controller zelf wordt voor zover ik weet (ik draai geen Windows) prima ondersteund.

Maar, zoals ik al zei heeft Hitachi een tool waarmee je de desbetreffende instelling buiten het OS om kunt wijzigen, waardoor het 'nadeel' van deze combinatie van controller en OS min of meer komt te vervallen.

Over de voors en tegens van HDD's met 4K sectoren weet ik niet zo veel.

[ Voor 14% gewijzigd door HarmoniousVibe op 19-03-2011 19:11 ]

[Verwijderd]

ZFS crash demo

[Birdie_NL]

HarmoniousVibe schreef op zaterdag 19 maart 2011 @ 19:10:
Je moet het gebrek aan ondersteuning in Windows ook weer niet gaan overschatten. Wat ik zei is alleen maar dat jouw controller geen ATA-passthrough ondersteunt, wat betekent dat je die TLER/CCTL/ERC-instelling waar CiPHER het over heeft in feite niet kunt aanpassen vanuit je OS. De controller zelf wordt voor zover ik weet (ik draai geen Windows) prima ondersteund.

Maar, zoals ik al zei heeft Hitachi een tool waarmee je de desbetreffende instelling buiten het OS om kunt wijzigen, waardoor het 'nadeel' van deze combinatie van controller en OS min of meer komt te vervallen.

Over de voors en tegens van HDD's met 4K sectoren weet ik niet zo veel.

Zou ik dit hele blocksize en tler/cctl probleem niet hebben als ik 1,5TB hardeschijvn ga gebruiken?
EDIT: met uitzondering van de 1.5TB WD EARS hardeschijven, deze hebben namelijk ook een indeling van 4kb sectoren ipv 512b.

[ Voor 6% gewijzigd door Birdie_NL op 20-03-2011 14:50 ]

[Dadona]

Verwijderd schreef op zondag 20 maart 2011 @ 14:36:
ZFS crash demo

Tsja, dit is natuurlijk nog niet zozeer ZFS. Dit is gewoon een 'crash' van een hdd en het systeem merkt dat op en gaat gewoon door. Simpelweg een demonstratie van redundantie, of dat nu RAID5/6/10/RAIDZ/RAIDZ2/... is.

[Verwijderd]

Inderdaad, dit voorbeeld is dan beter (hoe ZFS corruptie tegengaat). In dit filmpje wordt random data naar een fysieke schijf (één van de twee disks in een mirror) geschreven en dan een file aangesproken; de file wordt gecorrigeerd teruggestuurd en geen fouten aan de applicatiezijde. In de status output kun je zien dat de schijf foute checksums had en die zijn gecorrigeerd. Nog steeds geen écht goed voorbeeld, maar wel beter dan het eerste filmpje.

Normaal RAID zou niet door hebben gehad dat er corruptie aan de gang was, bijna geen enkele RAID implementatie doet 'verify'; wat wil zeggen dat bij het lezen ook de pariteit/redundancy wordt gelezen en wordt vergeleken met het origineel.

[Loekie]

Wellicht dat iemand hier wat licht opkan laten schijnen.
Ik ben bezig geweest om van onboard SATA over te gaan naar schijven aangesloten via een met IT-firmware geflashte Intel SASUC8I, prime, inbouwen geen probleem, schijven omsteken op deze adapter geen probleem, echter hierna lijkt een van mijn WD20EARS-schijven minder sectors te hebben gekregen dan de andere schijven. Naast het feit dat ik dit nog niet eerder heb meegemaakt maar ook google niet verder helpt, vroeg ik me af waardoor zoiets zou kunnen komen?

Smart geeft geen relocated sectors of sectors pending oid, fdisk en gparted geven ook nog de zelfde grootte weer, maar het aantal sectoren is wel anders geworden en daardoor kan ik de disk niet weer terug in de MDADM-array(RAID6) plaatsen na herpartitioneren.
Ook de schijf compleet legen door dd if=/ddev/zero of=/dev/sdn en dan partitioneren levert niets op.
Nu was ik al van plan er een extra schijfje aan te hangen(het doel van de migratie) maar ik wil dit eerst wel opgehelderd hebben...

[Verwijderd]

ik vroeg mij op derze zonnige dag af.. situatie (bij wijze van): 1 SASUC8I met 8 disks en 4 disks op mobo aangesloten.

maakt het nu uit, of je voor een pool deze door elkaar gebruikt (qua snelheid of anderzins) of dat het wellicht beter is ze ook in zfs gescheiden te houden.

[Verwijderd]

@Loekie: toevallig een Gigabyte moederbord? Die heeft een "Backup BIOS to HDD" functie die je schijven zomaar kleiner kunnen maken en bestaande data overschrijft; dat wil je zeker uitschakelen! Ook moeilijk om te herstellen, omdat je schijven low-level (HPA) worden benaderd om de capaciteit te beperken voor het OS en zo de backup BIOS te verbergen. Erg gevaarlijke feature dit.

Kan ook gewoon zijn dat je verschillende type schijven hebt. Er zijn drie versies van de EARS voor zover ik weet, waarvan één met 666GB platters. Hopelijk heb je die, want dat is wel de beste.

Om verschil in capaciteit op te vangen kun je partities gebruiken, waarbij je 100MB ofzo aan het einde ongebruikt laat. Dat is toch de langzaamste plek dus kun je prima missen. ;-)

Zorg wel dat je de partities goed aligned. De start LBA moet 2048 sectors zijn (1MiB offset).

@borroz: je onboard chipset SATA poorten zijn de beste SATA die je kunt hebben. Add-on non-RAID controllers zijn ook prima, maar hebben naar mijn ervaring nét iets hogere latency. Beschouw je onboard poorten dus als het beste wat je kunt hebben. TRIM-capable, native AHCI en low-latency omdat het het dichtst bij de chipset/processor zit; het is namelijk geïntegreerd in de southbridge en dus direct aan northbridge gekoppeld of zelfs rechtstreeks aan de CPU in geval van Fusion chipsets (Bulldozer & Zacate).

Mixen van controllers is ook geen probleem, maar de hoogste latency telt voor alle schijven in een RAID-Z, dus dingen als expanders, port multipliers en controllers met beperkte bandbreedte (PCI/PCI-X/te weinig PCIe lanes) kun je beter vermijden.

[Obscurax]

Na deze thread en andere threads op [H]ard|Forum gevolgd te hebben ben ik toch jaloers geworden op sommige ZFS builds. Mijn bedoeling is uiteindelijk een 16 disk setup te bereiken, die toch wat energie vriendelijk is.

GA-880GA-UD3H (8x sata)
AMD Athlon II X2 240E
Kingston ValueRAM KVR1333D3N9K2/8G
Samsung EcoGreen F4EG HD204UI, 2TB x6 (raidz2)
2x 4GB usb flash drives (boot zfs mirror)
be quiet! Pure Power L7 350W or Corsair vx450 (beide hier liggen)
Norco RPC-3116

later zou ik dan de setup willen uitbreiden met:
Intel SASUC8I
2TB x10 (raidz2)
8 GB memory

Indien ik het goed heb kom ik zo uit op 24TB storage. Dit systeem dient puur voor storage en niets anders. Het systeem zou ik graag op NexentaCore met napp-it draaien of FreeNAS (indien 8 reeds beschikbaar is). Misschien dat er dus nog een intel NIC nodig is, ik vind er alvast geen info over. Nu had ik hier graag nog een UPS aan gehangen, iemand die hier ervaring mee heeft of nog andere suggesties/opmerkingen heeft? Spijtig dat rack mountable UPS'en zo duur zijn.

Verder snap ik ook het 4k en 512k alignment verhaal niet helemaal. Kan iemand hier duidelijkheid over geven?

[Verwijderd]

Dat moederbord heeft 6x echt SATA en 2x FakeRAID; weet niet of je dat kunt of wilt gebruiken, zeker onder Solaris.

USB sticks wil je misschien ééntje 8GB en de ander 4GB doen, zodat je zorgt dat ze niet tegelijkertijd uitvallen. 8GB heeft namelijk meer write cycles; als je twee dezelfde type 4GB neemt is de kans groot dat ze ook tegelijk stuk gaan.

350W is mogelijk niet genoeg om 16 schijven op te spinnen. De Samsungs zijn wel heel zuinig met spinup current, veel lager dan WD EARS. 14W volgens StorageReview. Dat is dus 224W en dan komt je moederbord + CPU er nog bij. 450W lijkt me wel afdoende, mits het een kwaliteit voeding is.

Je controller moet je mogelijk nog flashen naar IT firmware, kun je doen met een DOS-tool. Info op servethehome.com.

4K sectors versus 512-byte sectors (niet K) gaat over de hardeschijven. Samsung F4 en andere schijven hebben 4K sectors. Dat betekent dat ze langzamer kunnen worden als ze niet optimaal gebruikt worden, bijvoorbeeld door een 'vieze' partitie zoals XP die aanmaakt. Maar ook door andere dingen kan de performance teruglopen.

ZFS in het bijzonder heeft baat bij combinaties van disks. 6 of 10 schijven in een RAID-Z2 is een optimaal getal, dus je zit hier wel goed!

Overigens is er een methode om ZFS pools te optimaliseren voor 4K sector disks. Dit kun je doen onder FreeBSD en ook ZFSguru heeft een makkelijke methode hiervoor via web-interface. Dit zorgt ervoor dat je pool 'ashift=12' wordt en daarmee sneller zal werken op 4K sector disks. Je kunt dan je pool exporteren en onder Solaris weer importeren zodat je ook onder Solaris (idem Nexenta) performancevoordeel hebt.

[Verwijderd]

een CF mini raid 1 bootdingus.. zou dat werken ?



alhier

[ Voor 14% gewijzigd door Verwijderd op 20-03-2011 18:13 ]

[DARKLORD]

Damn heel het weekend gehoopt dat nieuwe zfsguru versie online zou komen maar was niet het geval hopelijk van de week dan! (nieuwe release heeft ingebouwde torrent client om updates en extensions te downloaden. virtualbox extension bestond al in 0.1.7 ZFSGuru als host, en dan enkele VM's aanmaken om als http/mail/sql etc te functioneren.

Ik heb nu een Antec Twelve Hundred, pricewatch: Antec Twelve Hundred ,prima kast, maar het kan beter, Norco kast staat op mijn verlanglijstje. Zijn goed betaalbaar in ieder geval, alleen die douane toeslag he! Maar volgens nieuws berichten hebben ze het toch te druk met pakketjes uit Japan te scannen op radioactiviteit! Snel bestellen dan maar

[ Voor 5% gewijzigd door DARKLORD op 20-03-2011 18:18 ]

[Verwijderd]

Norco kast staat op mijn verlanglijstje.

http://cybershop.ri-vier.nl/ iets duurder dat wel maar geen 'gezeur' ..


ZFSguru vs FreeNAS .. hoe moet ik dat zien ?

[ Voor 15% gewijzigd door Verwijderd op 20-03-2011 18:26 ]

[Verwijderd]

FreeNAS is meer uitontwikkeld (alhoewel 0.8 ook nog veel dingen mist), maar heeft het nadeel dat je het nauwelijks kunt uitbreiden. Het is een gestripte FreeBSD dus zomaar dingen installeren 'op de FreeBSD manier' gaat niet. Dat is wel een groot nadeel vooral als je nog extra dingen op je server wilt draaien.

ZFSguru is een jong project wat op normaal FreeBSD is gebaseerd, dus je kunt met ssh inloggen en normaal ports installeren. Wel zo leuk als je met BSD zelf ook wilt kunnen (leren) werken. De interface is vrij simpel en duidelijk van opbouw, maar mist nog functionaliteit ten opzichte van FreeNAS.

Je kunt ze in virtualbox uitproberen, beide draaien hier prima. Als je dan toch bezig bent, kun je net zo goed ook napp-it een kans geven. Is wel minder gebruikersvriendelijk dan FreeNAS of ZFSguru.

[ Voor 9% gewijzigd door Verwijderd op 20-03-2011 18:52 ]

[Verwijderd]

tnx.. heb nog gezocht wanneer FreeNas 8 (the final zeg maar) uitkomt maar niets gevonden.

wat betreft iets installen onder' FreeNas.. heb is gekeken naar MySQL/phpMyAdmin maar dat is idd een heel gedoe.

ZFSguru ga ik ook is proberen

[Loekie]

Verwijderd schreef op zondag 20 maart 2011 @ 15:56:
@Loekie: toevallig een Gigabyte moederbord? Die heeft een "Backup BIOS to HDD" functie die je schijven zomaar kleiner kunnen maken en bestaande data overschrijft; dat wil je zeker uitschakelen! Ook moeilijk om te herstellen, omdat je schijven low-level (HPA) worden benaderd om de capaciteit te beperken voor het OS en zo de backup BIOS te verbergen. Erg gevaarlijke feature dit.

Kan ook gewoon zijn dat je verschillende type schijven hebt. Er zijn drie versies van de EARS voor zover ik weet, waarvan één met 666GB platters. Hopelijk heb je die, want dat is wel de beste.

Om verschil in capaciteit op te vangen kun je partities gebruiken, waarbij je 100MB ofzo aan het einde ongebruikt laat. Dat is toch de langzaamste plek dus kun je prima missen. ;-)

Zorg wel dat je de partities goed aligned. De start LBA moet 2048 sectors zijn (1MiB offset).

Geen gigabyte, 5 disk raid6, en wel verschillende typen schijven, ben nu niet thuis, maar vziw het 2e en 3e type, Dus revisie met grote en kleinere print. Het vreemde is dat deze schijf al een paar maanden tevreden meeliep in de RAID-set, sinds overschakeling naar de SASUC8I echter 'zomaar' uitvalt en nu veel minder sectors heeft. Is er een feature op een K10N78 mobo of op de intel HBA die dit kan doen?
Zo ja, hoe kan ik dat killen? Ik koop er van de week wel een schijf bij en kijk daarna wel even wat er met deze gebeurt.

[Tortelli]

Arnoud1 schreef op maandag 14 maart 2011 @ 22:28:
Beter niet voor de Asus E35M1-I DELUXE gaan, maar voor de Asus E35M1-M PRO.
Ik kocht hem voor 128€, meet 7 tot 13watt (alles uitgeschakeld wat niet nodig is), nog eens 25€ voor 2Gb DDR3 1333.
Grote voordeel is dat je 2x PCI en 2x PCIe hebt. Draadloos moet ik niet voor een NAS (kan via usb of pci(e) kaart)
Op al deze bordjes heb je 5x interne SATA 600 en 1x eSATA. Raid-Z2 of raid6 lukt dus niet zonder extra kaart.

Ik zit zelf te kijken naar de s E35M1-I DELUXE en Asus E35M1-M PRO. Enige probleem wat ik bij de Pro tegenkom is dat er weinig leuke Micro ATX behuizingen te krijgen zijn volgens mij?.
Zoek een behuizing waar minimaal 5 HDD's in kunnen en niet al te groot is.

Setup moet de volgende worden:

#	Product	Prijs	Subtotaal
1	Asus E35M1-I DELUXE	€ 136,-	€ 136,-
1	Lian Li PC-Q08B	€ 90,-	€ 90,-
1	Kingston ValueRAM KVR1333D3N9/4G	€ 36,72	€ 36,72
Bekijk collectie Importeer producten		Totaal	€ 262,72

Of natuurlijk een Pro met Micro ATX behuizing. Als OS zal ik Windows Server 2008 R2 of eventueel later Homeserver 2011 gaan draaien. Het wordt een fileserver waar geen super belangrijke data op zal komen te staan.

Paar dingen heb ik nog geen duidelijkheid over;
HDD's
Zal een aantal HDD's gebruiken die momenteel in mijn pc zitten (3*1.5TB + 1*2TB). Twijfel nog wat ik met de OS hdd zal doen. 2,5"laptop hdd (€35), of een "oude" 500gb hdd gebruiken?.

Voeding
Ik heb nog een 450w coolermaster voeding liggen. Echter zal deze niet echt efficient zijn met een setup die onder load met alle hdd's in actie misschien 50watt verbruikt. Heb nog een 5-6 jaar oude laptop voeding liggen (120w , komt uit het pentium 4 laptop tijdperk) die ik in combo met een Pico PSU moet kunnen gebruiken?.

[ Voor 14% gewijzigd door Tortelli op 20-03-2011 20:29 ]

[DARKLORD]

Verwijderd schreef op zondag 20 maart 2011 @ 19:26:
tnx.. heb nog gezocht wanneer FreeNas 8 (the final zeg maar) uitkomt maar niets gevonden.

wat betreft iets installen onder' FreeNas.. heb is gekeken naar MySQL/phpMyAdmin maar dat is idd een heel gedoe.

ZFSguru ga ik ook is proberen

zfs guru kan je 0.1.7 proberen. maar ik zou even wachten op 0.1.8. die komt waarschijnlijk deze week uit.
volg dit topic:
http://hardforum.com/showthread.php?t=1573822

voor versie 0.1.7:
http://zfsguru.com/files/...-livecd-amd64.iso.torrent
met ZFSv15

FreeNAS 0.8 heeft nu status RC3. Waarom weet ik niet, want er zitten nog lang niet alle functies in om het een release candidate te noemen.

als je bsd wilt gebruiken kan je beter even wachten op de zfsguru 0.1.8. . mysql, php etc kan je eventueel ook in een jail draaien sinds freebsd 8

[ Voor 3% gewijzigd door DARKLORD op 20-03-2011 20:37 ]

[DARKLORD]

Verwijderd schreef op zondag 20 maart 2011 @ 18:22:
[...]


http://cybershop.ri-vier.nl/ iets duurder dat wel maar geen 'gezeur' ..


ZFSguru vs FreeNAS .. hoe moet ik dat zien ?

bedankt voor de tip!

zfsguru is een nieuw veelbelovend project, gebaseerd op een volledige install van freebsd. ontwikkeling is in volle gang. het wordt makkelijk uitbreidbaar met extensions welke door de ingebouwde torrent client opgehaald kunnen worden. gebruikt zfs versie v15 maar je kan ook kiezen voor v28 als je dat nodig denkt te hebben. Freenas 0.7 staat momenteel stil. alleen wat software updates verder niets. Dit omdat freenas 0.8 in ontwikkeling is. een nieuw project gebaseerd op freebsd maar dan ook een speciaal platform en niet de volledige freebsd install. lijkt me dus niet handig als je zelf dingen wilt toevoegen. het ziet er mooi uit, maar ontwikkeling gaat verder ook traag. het wordt door een commercieel bedrijf ontwikkelt, gratis, dus kan me ook niet voorstellen dat daar veel prioriteit naar uit gaat.

als je virtual box installeert op je pc kan je ze allebei testen

[Verwijderd]

Ik zit zelf te kijken naar de s E35M1-I DELUXE en Asus E35M1-M PRO. Enige probleem wat ik bij de Pro tegenkom is dat er weinig leuke Micro ATX behuizingen te krijgen zijn volgens mij?.
Zoek een behuizing waar minimaal 5 HDD's in kunnen en niet al te groot is.

zoiets ?

plaatje

[ Voor 10% gewijzigd door Verwijderd op 20-03-2011 20:38 ]

[Tortelli]

Die had ik gevonden ja, wel stevig geprijst imo @ €135 .

[voodooless]

Heeft iemand FreeNAS op Virtualbox 4.0.4 (mac) aan de gang gekregen? Na het booten van de installatie CD stopt de VM gewoon . Nexenta Core was ook al geen succes, daar deed het netwerk het niet. Ik ben nu bezig met ZFSguru. Wie daar bedacht heeft dat het handig is om alleen een torrent ter beschikking te stellen moeten ze ook kielhalen

Edit: lekker dan: ZFSguru vm gaat op de zelfde manier dood als FreeNAS... Lang leve Oracle

[ Voor 12% gewijzigd door voodooless op 20-03-2011 21:00 ]

[Obscurax]

@ CiPHER

Ik heb me laten inspireren door deze build: http://hardforum.com/show...1036855769&postcount=1121
Als ik het juist heb worden hier ook fakeRAID poorten gebruikt? Wat is het nadeel hiervan?
Ik vind geen moederbord met 8 echte SATA poorten en anders moet ik terug afwijken van de ideale 6 en 10 verhouding en worden niet al mijn hot swaps gebruikt wat natuurlijk zonde is.

Ik zou graag met 1 ZFS pool van 6disks beginnen op het moederbord, en later uitbreiden met de intel controller + de 2 fakeRAID poorten. Zo komt er een 2de pool van 10 disks bij (beide raidz2).
Performance geef ik niet zo veel om, ik wil wel dat men data "safe" staat.

8GB en 4GB zal het worden, bedankt voor de tip.
Bedankt voor de verhelderende uitleg.

ZFSguru ziet er goed uit, spijtig dat het nog niet stable is.

[DARKLORD]

@Obscurax

0.1.7 is stable hoor. samba, ssh, nfs, iscsi zit er in. alleen verder nog geen features. en beveiliging ook nog niet, MAAR je kan via webpagina zonder in te loggen erbij.. firewall is wel ingesteld op 192.xxx.xxx.xxx only

[Dadona]

Van de site

Please note: this product is currently in development, and lacks certain core features. The first stable ZFSguru version will be 0.2.0.

[DARKLORD]

nou als het binnen een paar uur niet crasht vind ik het stable

[Verwijderd]

eureka !




ergens nog ZFSguru setup documentatie te vinden ?

[ Voor 22% gewijzigd door Verwijderd op 20-03-2011 22:18 ]

[DARKLORD]

nee nog niet. maar wijst zichzelf beetje toch? disks toevoegen, formateren, pool maken etc. met virtualbox kan er niets mis gaan in ieder geval!

[Verwijderd]

DARKLORD schreef op zondag 20 maart 2011 @ 22:25:
nee nog niet. maar wijst zichzelf beetje toch? disks toevoegen, formateren, pool maken etc. met virtualbox kan er niets mis gaan in ieder geval!

nou hier kan er van alles mis gaan ..

begint al bij het formatteren ..gpt / dd / geen idee

[ Voor 9% gewijzigd door Verwijderd op 20-03-2011 22:34 ]

[DARKLORD]

deze zal ik je voorzeggen: GPT




als je dat gedaan hebt, kan je ook bij install, Root-on-ZFS kiezen. dan worden de bootfiles op je pool geïnstalleerd. geen livecd meer nodig dus.

[Verwijderd]

Obscurax schreef op zondag 20 maart 2011 @ 21:10:
@ CiPHER

Ik heb me laten inspireren door deze build: http://hardforum.com/show...1036855769&postcount=1121
Als ik het juist heb worden hier ook fakeRAID poorten gebruikt? Wat is het nadeel hiervan?

Vaak capped in performance, en ze kunnen de laatste sector overschrijven om hun RAID metadata op te slaan. Dus bij voorkeur gebruik je ze niet, maar FreeBSD ondersteunt ze opzich wel.

Ik vind geen moederbord met 8 echte SATA poorten en anders moet ik terug afwijken van de ideale 6 en 10 verhouding en worden niet al mijn hot swaps gebruikt wat natuurlijk zonde is.

Ja dat is ook een overweging, met 8 onboard SATA + 8 poort HBA ben je gelijk klaar. Hmm moeilijk..

Performance geef ik niet zo veel om, ik wil wel dat men data "safe" staat.

Gebruik dan partities om te zorgen dat FakeRAID niet aan je data kan knagen. Verder zie ik voor de veiligheid geen problemen, en als die er zijn zie je dat in het begin denk ik wel aan dat die schijven checksum fouten genereren; maar dat verwacht ik niet.

ZFSguru ziet er goed uit, spijtig dat het nog niet stable is.

Eigenlijk alle ZFS platforms niet; het is allemaal in ontwikkeling. Maar wat versta je precies onder stable; bijna alle platforms maken gebruik van stabiele OS en ZFS code, dus in dat opzicht is het stabiel. Maar qua GUI functionaliteit is het nog niet 'af'.

voodooless schreef op zondag 20 maart 2011 @ 20:58:
Heeft iemand FreeNAS op Virtualbox 4.0.4 (mac) aan de gang gekregen? Na het booten van de installatie CD stopt de VM gewoon .

Waar gaat het precies mis? Heb je genoeg RAM aan de VM gegeven en heb je een 64-bit CPU?

Nexenta Core was ook al geen succes, daar deed het netwerk het niet. Ik ben nu bezig met ZFSguru. Wie daar bedacht heeft dat het handig is om alleen een torrent ter beschikking te stellen moeten ze ook kielhalen

Mwa kan best begrijpen als je als klein open source project liever via torrents distribueert. Een commerciëel bedrijf kan prima wat kosten dekken omdat ze op andere manieren geld verdienen aan het project; maar bij open source is dat lastiger denk ik. Kan me voorstellen dat al die ISO's behoorlijk aantikken bij de maandkosten.

[HarmoniousVibe]

Gaat over of en hoe je je schijven wilt formatteren. DD (stomme naam overigens) is partitionless en GPT is een type partitietabel/indeling, dus dan werk je met partities. Ik zou zelf hoe dan ook paritionless werken, omdat er dan qua alignment niks fout kan gaan. Sowieso is er niet echt reden om één grote partitie te maken als je er toch nog een raid-laag overheen legt.

Als je ook je OS daarop wilt draaien wordt het natuurlijk een iets ander verhaal, maar dan nog lijkt het me verstandiger om die partities op de raid-array aan te maken en niet andersom.

[ Voor 21% gewijzigd door HarmoniousVibe op 20-03-2011 22:50 ]

[Verwijderd]

GPT heb je nodig als je wilt booten van die pool, bij DD (wat inderdaad zonder partities is volgens mij) kun je niet booten.

Ik zal wel even testen of die GPT partities aligned zijn; denk eigenlijk van wel, zijn vaak juist ouderwetse MBR partities die met verkeerde alignment worden aangemaakt.

Als je FakeRAID gebruikt dan wil je de laatste sectoren afschermen, dus wil je wel partities gebruiken. En ook kun je daarmee voorkomen dat je een gefaalde schijf niet kunt vervangen, omdat je vervangende schijf net een paar kilobyte minder groot is. Door iets van 50 of 100 megabyte te reserveren kun je dat probleem oplossen.

[Verwijderd]

HarmoniousVibe vs DARKLORD

DD vs GPT 1 - 1 (tussenstand)

(en dan moet ik dat installen zonder handleiding)

[HarmoniousVibe]

Ah de bootloader ondersteunt geen ZFS-partities/slices?

edit: haha, nou als je wilt kunnen booten van ZFS slices dan moet je blijkbaar GPT kiezen. Als je OS op een andere schijf staat raadt de ZFS Best Practice Guide aan om hele disks te gebruiken.

[ Voor 64% gewijzigd door HarmoniousVibe op 20-03-2011 23:01 ]

[Verwijderd]

HarmoniousVibe schreef op zondag 20 maart 2011 @ 22:59:
Ah de bootloader ondersteunt geen ZFS-partities/slices?

ik heb met die ZFSguru 0.1.7-amd-64.iso een VM aan gemaakt met 7 8 GB diskjes (ben zuinig vandaag)
1 voor ZFS en 6 voor een raidz2.. uhh dacht ik

[HarmoniousVibe]

Verwijderd schreef op zondag 20 maart 2011 @ 23:02:
[...]


ik heb met die ZFSguru 0.1.7-amd-64.iso een VM aan gemaakt met 7 8 GB diskjes (ben zuinig vandaag)
1 voor ZFS en 6 voor een raidz2.. uhh dacht ik

Als je inderdaad je OS op die 8e disk hebt staan zou ik kiezen voor DD.

[Verwijderd]

HarmoniousVibe schreef op zondag 20 maart 2011 @ 23:05:
[...]

Als je inderdaad je OS op die 8e disk hebt staan zou ik kiezen voor DD.

doen we




wat is de sector size voor een virtuele disk ? ik probeer 4k en dat werkt..myFIRSTpool is klaar..

nou weet ik dat pas in versie 1.8 het mogelijk is om cache in te stellen.. maar nu blijkt spare ook niet in 1.7 mogelijk te zijn (via webgui) .. kortom, ik wacht wel even op 1.8

[ Voor 49% gewijzigd door Verwijderd op 20-03-2011 23:22 ]

[zion]

Mijn eerste post in dit topic, na deze thread al een mooi tijdje gevolgd te hebben, en alle 4678 posts gelezen te hebben (sommigen meer dan eens )...

Momenteel word ik een beetje gek van mijn HDD's die overal rondslingeren, veelal externe trage dingen en ik wil mijn +- 5TB chaos dus gaan omzetten naar +- 15TB orde, en de externe schijven alleen nog voor backup van belangrijke data.

Energiezuinig is een prio1, evenals data integriteit, en daarom kom ik (zoals meerderen hier) tot ongeveer de volgende configuratie:

#	Product	Prijs	Subtotaal
1	Asus E35M1-M Pro	€ 115,69	€ 115,69
1	Fractal Design Define XL (Zwart)	€ 129,90	€ 129,90
2	Intel PRO/1000 GT	€ 23,12	€ 46,24
10	Samsung EcoGreen F4EG HD204UI, 2TB	€ 66,-	€ 660,-
2	Western Digital Scorpio Blue WD1600BEVT, 160GB SATA-300, 8MB, 5400rpm	€ 30,73	€ 61,46
1	be quiet! Pure Power L7 300W	€ 33,90	€ 33,90
1	OCZ Vertex 2 SATA II 2.5" SSD 60GB	€ 89,90	€ 89,90
1	GeIL Value PLUS GVP38GB1333C9DC	€ 63,90	€ 63,90
Bekijk collectie Importeer producten		Totaal	€ 1.200,99

Om alle schijven aan te sturen wil ik een PCIe-x2 kaart gaan gebruiken op basis van de LSI SAS2008 (Supermicro X8SI6-F LSI SAS 2008 / LSI 9210/9211-8i / Intel RS2WC080) met IT geflashde firmware (Hier te vinden).

Ik heb ondertussen ook begrepen dat je nieuwere LSI controllers niet meer zomaar kan flashen van IR naar IT (zie hier) maar eerst de oude IR firmware weg moet gooien (met sas2flsh -o -e 7) en dan de nieuwe IT te installeren (sas2flash -o -f 2118it.bin -b mptsas2.rom).

Ok, tot zover alles duidelijk. Dan nu de 2 vraagjes die ik heb:
1: Kan iemand mij het verschil uitleggen tussen de LSI 9210-8i en 9211-8i? de LSI pdf's zijn woord voor woord hetzelde.
2: Als ik flash naar IT firmware, verlies ik dan de staggered spin-up functionaliteit die de kaart ondersteund?
3: Ik wil ZFS gaan draaien (nog niet zeker in welke vorm (freeNAS/OpenIndiana/Nexenta)), maar ik heb hier en daar nu al een paar keer gelezen dat spin-down van de HDD's niet ondersteund wordt, is dit correct? dit zou toch wel een redelijke dealbreaker zijn.

(overigens is bovenstaande config maar een uitgangspunt, ik ben pas in de zomer toe aan het daadwerkelijk aanschaffen van het systeem, en zal de op dat moment beste keus wbt schijven maken, de rest van de onderdelen staan wel redelijk vast)

[voodooless]

Verwijderd schreef op zondag 20 maart 2011 @ 22:43:
Waar gaat het precies mis? Heb je genoeg RAM aan de VM gegeven en heb je een 64-bit CPU?

Het gaat mis na het boot scherm (waar je de boot opties kan kiezen). Dan stopt de VM gewoon. Uiteraard is er genoeg ram en een 64 bit CPU.

[ Voor 5% gewijzigd door voodooless op 21-03-2011 06:08 ]

[Ravefiend]

zion schreef op maandag 21 maart 2011 @ 05:45:
Ok, tot zover alles duidelijk. Dan nu de 2 vraagjes die ik heb:
1: Kan iemand mij het verschil uitleggen tussen de LSI 9210-8i en 9211-8i? de LSI pdf's zijn woord voor woord hetzelde.

Let's see:

• LSI SAS 9210-8i (PDF)
• LSI SAS 9211-8i (PDF)

Lijkt mij enkel een kwestie van plaatsing van de componenten, meer specifiek de SFF8087 connectors die ofwel horizontaal ofwel verticaal op de kaart staan.

[FireDrunk]

De een is dus voor een ander soort 19" kast, waarin de kaart horizontaal kan zitten.

[Birdie_NL]

Even een kleine quote van mezelf eergisteren.

brndst schreef op zondag 20 maart 2011 @ 14:43:
[...]

Zou ik dit hele blocksize en tler/cctl probleem niet hebben als ik 1,5TB hardeschijvn ga gebruiken?
EDIT: met uitzondering van de 1.5TB WD EARS hardeschijven, deze hebben namelijk ook een indeling van 4kb sectoren ipv 512b.

Ik sta dus op het punt op hardeschijven te bestellen, nu vraag ik mij dus af waar ik in mijn geval goed aan doe.

[HarmoniousVibe]

Voor zover ik weet verlies je niet de staggered spinup-functionaliteit met HBA firmware.

[Verwijderd]

zion schreef op maandag 21 maart 2011 @ 05:45:
Mijn eerste post in dit topic, na deze thread al een mooi tijdje gevolgd te hebben, en alle 4678 posts gelezen te hebben (sommigen meer dan eens )...

Momenteel word ik een beetje gek van mijn HDD's die overal rondslingeren, veelal externe trage dingen en ik wil mijn +- 5TB chaos dus gaan omzetten naar +- 15TB orde, en de externe schijven alleen nog voor backup van belangrijke data.

Energiezuinig is een prio1, evenals data integriteit, en daarom kom ik (zoals meerderen hier) tot ongeveer de volgende configuratie:

#	Product	Prijs	Subtotaal
1	Asus E35M1-M Pro	€ 115,69	€ 115,69
1	Fractal Design Define XL (Zwart)	€ 129,90	€ 129,90
2	Intel PRO/1000 GT	€ 23,12	€ 46,24
10	Samsung EcoGreen F4EG HD204UI, 2TB	€ 66,-	€ 660,-
2	Western Digital Scorpio Blue WD1600BEVT, 160GB SATA-300, 8MB, 5400rpm	€ 30,73	€ 61,46
1	be quiet! Pure Power L7 300W	€ 33,90	€ 33,90
1	OCZ Vertex 2 SATA II 2.5" SSD 60GB	€ 89,90	€ 89,90
1	GeIL Value PLUS GVP38GB1333C9DC	€ 63,90	€ 63,90
Bekijk collectie Importeer producten		Totaal	€ 1.200,99

Om alle schijven aan te sturen wil ik een PCIe-x2 kaart gaan gebruiken op basis van de LSI SAS2008 (Supermicro X8SI6-F LSI SAS 2008 / LSI 9210/9211-8i / Intel RS2WC080) met IT geflashde firmware (Hier te vinden).

Ik heb ondertussen ook begrepen dat je nieuwere LSI controllers niet meer zomaar kan flashen van IR naar IT (zie hier) maar eerst de oude IR firmware weg moet gooien (met sas2flsh -o -e 7) en dan de nieuwe IT te installeren (sas2flash -o -f 2118it.bin -b mptsas2.rom).

Ok, tot zover alles duidelijk. Dan nu de 2 vraagjes die ik heb:
1: Kan iemand mij het verschil uitleggen tussen de LSI 9210-8i en 9211-8i? de LSI pdf's zijn woord voor woord hetzelde.
2: Als ik flash naar IT firmware, verlies ik dan de staggered spin-up functionaliteit die de kaart ondersteund?
3: Ik wil ZFS gaan draaien (nog niet zeker in welke vorm (freeNAS/OpenIndiana/Nexenta)), maar ik heb hier en daar nu al een paar keer gelezen dat spin-down van de HDD's niet ondersteund wordt, is dit correct? dit zou toch wel een redelijke dealbreaker zijn.

(overigens is bovenstaande config maar een uitgangspunt, ik ben pas in de zomer toe aan het daadwerkelijk aanschaffen van het systeem, en zal de op dat moment beste keus wbt schijven maken, de rest van de onderdelen staan wel redelijk vast)

welkom bij de 'veel.. erg veel lezen/vragen' club ..

vraag: waarom 2 netwerk kaarten erbij ?

[Demo]

Verwijderd schreef op maandag 21 maart 2011 @ 10:15:
vraag: waarom 2 netwerk kaarten erbij ?

Ik vraag me vooral af, waarom 2 PCI-netwerkkaarten? Één zo'n ding trekt op topsnelheid de hele bandbreedte van de PCI-bus al vol.

[FireDrunk]

Waarschijnlijk omdat er geen andere uitbereidingssloten zijn dan een enkel PCIe x1 slotje

[HarmoniousVibe]

FireDrunk schreef op maandag 21 maart 2011 @ 10:40:
Waarschijnlijk omdat er geen andere uitbereidingssloten zijn dan een enkel PCIe x1 slotje

Nou ja een PCIe x1 slot is toch bijna dubbel of vier keer zo snel als PCI (afhankelijk van of het v1 of v2 is).

Is het ook niet zo dan je die bandbreedte per slot beschikbaar hebt?

[FireDrunk]

Meestal wel ja, maar dat ligt een beetje aan het chipset. Bij PCIe x1 kun je ervanuit gaan dat je alle bandbreedte krijgt, bij x4 willen ze bij gebruik van alle sloten terugvallen naar x1 (en hetzelfde geld voor x16).

Er zijn een paar moederborden (waaronder een paar van Gigabyte) die een PCIe x1 slot uitzetten als het x4 slot erboven(of eronder) gebruikt word. Wat dus erg vervelend kan zijn als je alle sloten wil gebruiken...

[HarmoniousVibe]

Dat is vevelend ja, maar dat kun je natuurlijk gewoon opzoeken in de manual of op de website. In de manual van mijn mobo staat dat de snelheid van de PCIe x16 sloten terugvallen naar x8 als de bovenste twee x16-sloten in gebruik zijn. Mijn derde x16-slot draait sowieso al op max x4 of x8 geloof ik.

edit: De Asus E35M1-M Pro heeft zo te zien één x16-slot wat ook begrensd is op x4. Zelf zou ik altijd een mobo nemen met zo min mogelijk PCI en zoveel mogelijk PCIe en dan fysiek zo groot mogelijk. Ik zou echt niet weten waarvoor ik meer dan één PCI-slot zou moeten gebruiken. Zeker in een NAS, waar alles om bandbreedte draait.

Merk overigens wel op dat die SAS/RAID-controllers van LSI x8 zijn en niet x2! Dit betekent dat je in theorie in ieder geval begrensd wordt door de bandbreedte van PCIe (op 2GB/s dus) en niet op de bandbreedte van je HBA-controller (theoretisch 8GB/s met de toekomstige PCIe 3.0, anders 4GB/s). Dat is op zich niet erg, omdat je die 2GB/s toch nooit vol gaat krijgen.

De vraag rijst dan echer wel wat voor zin het heeft om een SATA/SAS 6Gbps-controller te kopen. Met die grote mechanische disks ga dat toch nooit halen en je SSD (mocht je nog ooit een SATA-III SSD kopen) kun je altijd nog aansluiten op je mobo.

Oftewel, in mijn ogen is met dit mobo (vanwege de aanwezigheid van SATA-III en de afwezigheid van >=PCIe x8) deze controller overkill en kun je beter een goedkopere en zuinigere 3Gbps-controller kopen. Sowieso heb je met die schijven (uberhaupt met mechanische schijven) helemaal niks aan SATA-III.

[ Voor 76% gewijzigd door HarmoniousVibe op 21-03-2011 11:36 ]

[Verwijderd]

maar goed dan heb je 3 netwerkaansluitingen want op het mobo zelf zit er ook 1 ..

[Ravefiend]

HarmoniousVibe schreef op maandag 21 maart 2011 @ 11:05:
De vraag rijst dan echer wel wat voor zin het heeft om een SATA/SAS 6Gbps-controller te kopen. Met die grote mechanische disks ga dat toch nooit halen en je SSD (mocht je nog ooit een SATA-III SSD kopen) kun je altijd nog aansluiten op je mobo.

Oftewel, in mijn ogen is met dit mobo (vanwege de aanwezigheid van SATA-III en de afwezigheid van >=PCIe x8) deze controller overkill en kun je beter een goedkopere en zuinigere 3Gbps-controller kopen. Sowieso heb je met die schijven (uberhaupt met mechanische schijven) helemaal niks aan SATA-III.

En je kan er ook een kantekening bij plaatsen dat de wat 'oudere' 3Gbps HBA's wat betere OS support hebben gezien dat deze al langer bestaan.

@borroz: Heb jij tegenwoordig FreeNAS 0.8 draaiende op je NAS and if so, wat zijn tot op heden je ervaringen?

Voor zover ik het kan zien wordt er nog wel wat gesleuteld aan de GUI ed. doch is het me niet duidelijk of de ZFS kernel component nog verder wordt geupdate met elke nieuwe RC of niet.

[Verwijderd]

zion schreef op maandag 21 maart 2011 @ 05:45:
Energiezuinig is een prio1, evenals data integriteit, en daarom kom ik (zoals meerderen hier) tot ongeveer de volgende configuratie:

Ziet er goed uit, maar die PCI slots zou ik niet gebruiken; je hebt een mooie PCI-express onboard NIC; dan lijkt het me heel erg zonde om een PCI NIC te gaan gebruiken; waarom?

Ook beetje zonde om twee losse HDDs alleen voor het OS te kiezen. Een USB stickje kan ook is stukken goedkoper en low power. Je wilt bij low power NAS vooral onnodige dingen vermijden die veel energie trekken. Twee hardeschijven verbruikt al evenveel dan het moederbord+RAM+CPU in idle mode (7W).

3: Ik wil ZFS gaan draaien (nog niet zeker in welke vorm (freeNAS/OpenIndiana/Nexenta)), maar ik heb hier en daar nu al een paar keer gelezen dat spin-down van de HDD's niet ondersteund wordt, is dit correct? dit zou toch wel een redelijke dealbreaker zijn.

Dat werkt sowieso vaak niet. Je moet er speciale kabels voor hebben. Ondersteuning van je controller, moederbord, HDD is irrelevant; je stroomkabel moet pin 11 uit hebben staan, wat een signaal geeft of de HDD gelijk moet opspinnen ja of nee. Je kunt wachten tot je een ons weegt, maar zolang dat pinnetje gewoon van stroom voorzien is, gebeurt er geen staggered spinup; zet dat uit je hoofd en koop een iets zwaardere voeding. Samsung F4 doet 14W spinup current; 50% minder dan WD EARS.

Nog een weetje over die controller. Met PCI-express 2.0 heb je door de PCIe x4 capped Zacate bordjes dubbel zoveel bandbreedte:

Voorbeeld 1) 3Gbps Intel SASUC8i = PCI-express 1.0 x8 = netto PCIe 1.0 x4 = 1GB/s
Voorbeeld 2) 6Gbps SuperMicro USAS2-L8e = PCI-express 2.0 x8 = netto PCIe 2.0 x4 = 2GB/s

Dus omdat de 6Gbps LSI controllers PCI-express 2.0 ondersteunen, heb je op zacate de dubbele bandbreedte.

(overigens is bovenstaande config maar een uitgangspunt, ik ben pas in de zomer toe aan het daadwerkelijk aanschaffen van het systeem, en zal de op dat moment beste keus wbt schijven maken, de rest van de onderdelen staan wel redelijk vast)

Vraag me wel af of het zin heeft nu anderen op je lijstje te commenten; later zijn er weer nieuwe producten en nieuwe afwegingen.

[Verwijderd]

Ravefiend schreef op maandag 21 maart 2011 @ 12:21:
[...]

@borroz: Heb jij tegenwoordig FreeNAS 0.8 draaiende op je NAS and if so, wat zijn tot op heden je ervaringen?

Voor zover ik het kan zien wordt er nog wel wat gesleuteld aan de GUI ed. doch is het me niet duidelijk of de ZFS kernel component nog verder wordt geupdate met elke nieuwe RC of niet.

de eerste onderdelen voor mijn nas moeten nog binnenkomen
* update : mobo / controller / mem binnen

ben alleen bezig mij wat in de materie te verdiepen dmv installen div. pakketten onder vmware.
moet FreeNas 8 RC3 nog proberen..RC2 was duidelijk nog niet af ..

uiteindelijk hoeft het van mij geen racemonster te worden, maar een zuinige betrouwbare doos met een eenvoudige webinterface.. ik hou niet zo van commandlines ..

[-Moondust-]

Ik heb wat gegoogled maar kon niets vinden behalve andere mensen die het ook niet weten. Kan de Intel SASUC8I overweeg met 3TB schijven?

[Ravefiend]

-Moondust- schreef op maandag 21 maart 2011 @ 13:27:
Ik heb wat gegoogled maar kon niets vinden behalve andere mensen die het ook niet weten. Kan de Intel SASUC8I overweeg met 3TB schijven?

Intel noch LSI wil het gezegd hebben maar Hitachi lijkt er wel van overtuigd dat het werkt met hun disk. De Intel SASUC8I is gebaseerd op de LSI SAS1068E. Misschien dat het OS een even belangrijke rol speelt inzake drivers?

[Verwijderd]

SAS ondersteunt geen 2TiB+ als het goed is; maar SATA zou dat wel moeten kunnen. Kan het niet met zekerheid zeggen, maar lijkt me vreemd als het niet zou werken.

Wel zijn de WD 3TB disks duidelijk langzamer dan de 2TB disks. Ik zou of nu de 2TB nemen of wachten op 1TB platters en dan 4TB disks halen; zit je ook tegen de 200MB/s doorvoer als het goed is, dus wordt een leuke schijf.

[-Moondust-]

Verwijderd schreef op maandag 21 maart 2011 @ 13:52:
SAS ondersteunt geen 2TiB+ als het goed is; maar SATA zou dat wel moeten kunnen. Kan het niet met zekerheid zeggen, maar lijkt me vreemd als het niet zou werken.

Wel zijn de WD 3TB disks duidelijk langzamer dan de 2TB disks. Ik zou of nu de 2TB nemen of wachten op 1TB platters en dan 4TB disks halen; zit je ook tegen de 200MB/s doorvoer als het goed is, dus wordt een leuke schijf.

4TB schijven zouden voor mij echt ideaal zijn, hoef ik geen HBA te kopen. De vraag is alleen wanneer die 4TB schijven op de markt gaan komen. Als dat pas aan het einde van het jaar is doe ik het wel even met 2TB schijven.

[Verwijderd]

Samsung zou al 1TB platters hebben geproduceerd, de nieuwe serie zou Samsung F6 heten (waar blijft de F5 dan?). Totaal onzeker wanneer ze uitkomen, maar gok dat rond de zomer wel moet lukken.

Aan de andere kant, 2TB schijven van Samsung zijn nu spotgoedkoop (66 euro) dus dat is ook een overweging.