Het grote DIY RAID NAS topic deel 3

[jacovn]

Voor M1015 met Raid is de key M1000 nodig heb ik gelezen hier:
http://www.servethehome.c...ced-feature-key-m1015-70/

“The IBM “ServeRAID M1000 Series Advance Feature Key offers a cost-effective RAID 5 and SED upgrade for enterprise-class RAID solutions and integrates emerging SAS technology into an organization s storage infrastructure. It is ideal for supporting server mission-critical applications where high levels of sustained read and write operations are required such as video streaming Web content video-on-demand security and surveillance fixed content and reference data storage. The M1000 Series Advance Feature Key adds RAID 5 50 with SED support to your enterprise storage architecture.”

[FireDrunk]

Die RAID key is een wassen neus, de M1015 heeft sowieso geen hardware RAID5 onboard. Dus de RAID key is een vage key die CPU-based RAID5 mogelijk maakt.

Met een M1015 sowieso geen RAID5 doen... Koop dan een tweedehands HP P410 of een deftig Adaptec kaartje ofzo.

[redfoxert]

Met FireDrunk. Alleen al het gebrek aan write-back cache maakt het dat de M1015 een waardeloze performance in RAID5 modus zal hebben.

Voor de rest is de M1015 een geniale kaart die goed supported is door LSI drivers (want dat is het gewoon) om voor weinig veel extra SATA poorten erbij te krijgen, op elk OS.

[Phulakontarhos]

Bedankt voor de info!
Ik ben vooral geïnteresseerd in RAID 10.

Als je headparking kan uitschakelen en de timeouts veranderen naar 10 seconden, waarom zou je dan nog steeds geen WD green's doen op M1015?

Dus WD red's worden afgeraden om dit verhaal van een extra percentage mogelijkheid tot data verlies/corruptie? Dan lijkt mij WD greens meer betrouwbaar...

Eventueel afstappen van Western Digital schijven? Hitachi eventueel?

[FireDrunk]

Green's zijn niet betrouwbaarder dan Red's, integendeel, de Red's zijn van een nieuwere serie, dus waarschijnlijk gaan die minder snel stuk. Enige nadeel van Red's is dat tijdens het tegenkomen van een bad sector, deze sneller opgeeft dan een Green, maar verder wel gewoon blijft werken...

Een Green kan zich suf gaan staan rekenen op een bad sector en daardoor tientallen seconden onbereikbaar zijn.

In het geval van een niet checksummend filesystem (zoals elk filesystem onder Windows) wil je graag dat je array intact blijft als er een bad sector gevonden word.

In het geval van ZFS kan je in principe gewoon TLER hebben, want ZFS pikt toch de fouten op met checksums en lost deze op als je redundantie hebt (Mirror, RAIDZ, copies=2).

Andere schijven zijn ook een optie, want veel andere schijven hebben niet zo'n last met de headparking.

Ik heb zelf Seagates nieuwe HDD.15 serie, en die bevallen prima.

[Goudduif]

Verwijderd schreef op zondag 26 mei 2013 @ 04:06:
@Goudduif: Seagate 7200.14 raad ik af; deze maken regelmatig geluidjes en zijn minder zuinig dan de WD Green (EARX) of WD Red (Green en Red zijn fysiek gelijk, behalve de firmware en garantie). De Green moet je headparking nog wel tunen, de Reds hebben dit standaard uitgeschakeld. Maar 20 of 30 minuten timer is prima en wenselijk naar mijn mening.

Ok dat is dus duidelijk, we gaan voor de RED, en welke PCIe controler heeft dan de voorkeur?

En als ik op ongeveer een 6TB uit wil komen, wat is dan voor wat betreft snelheid, maar zeker ook voor wat betreft veiligheid de beste ZFS config?

[FireDrunk]

6*2TB in RAIDZ2, maar dat is relatief duur. 4*3TB in RAIDZ is ook prima, alleen snelheids technisch is slechter. Zowel omdat je minder spindels hebt, alswel dat je een oneven aantal data disks hebt.

Persoonlijk nooit last van, heb hier 4*4TB in RAIDZ, en dat draait als een tierelier...

[Goudduif]

FireDrunk schreef op maandag 27 mei 2013 @ 12:08:
6*2TB in RAIDZ2, maar dat is relatief duur. 4*3TB in RAIDZ is ook prima, alleen snelheids technisch is slechter. Zowel omdat je minder spindels hebt, alswel dat je een oneven aantal data disks hebt.

Persoonlijk nooit last van, heb hier 4*4TB in RAIDZ, en dat draait als een tierelier...

Momenteel heb ik een volume, met twee mirror's van twee disken, en een Cache drive van 20GB op een SDD.
Volgens mij is dit redelijk veilig, zolang er maar niet meer dan een disk per mirror weg valt.
Als je het hebt over de snelheid van RaidZ zoals jij dit hebt draaien, en de mirror's zoals ik die hebt draaien
hebt, zit daar dan nog een wezenlijk verschil in?

Dan heb ik overigens, ook nog steeds een foutmelding van SD0, dat is de cd-rom drive die ik in de VM op disconnect hebt staan. is er ook iemand die mij hier raad in kan geven? Hoe kan ik de cdrom (SD0) uit nexenta verwijderen?

[FireDrunk]

Ja, mirrors zijn veel sneller qua random IO. Sequentieel zal het elkaar niet zo veel ontlopen.

[Phulakontarhos]

Bedankt, toch is het nog moeilijk de correcte schijven te kiezen.

In deze interessante thread: http://gathering.tweakers.net/forum/list_messages/1540652 lees ik dat het absoluut af te raden is WD red te kiezen in dergelijke combinaties.
In feite heb ik niet echt een idee wat het percentage data verlies zou kunnen inhouden / betekenen...

En WD green wordt afgeraden in RAID door fabrikanten (of zijn minder betrouwbaar / gaan niet zo lang mee...), maar ik hoorde dat de meeste kant en klare NAS stations eigenlijk ook software raid doen.
Als een green drive zich suf rekent, dan gaat die volgens mij ook een stuk minder langer mee denk ik.

Voor het geld hoef ik het niet te doen, meerprijs van de ene ten op zichte van de andere maakt mij niet uit.

[FireDrunk]

Hey, en hoe die zijn die Western Digital Red en/of WD RE - betere performance dan Green drives, en zeer zuinig en stil, en zijn die er niet speciaal voor raid?
Deze schijven nooit gebruiken in samenwerking met desktop aansluiting of een controller die geen ondersteuning heeft voor TLER, de kans op data corruptie over tijd is hoger terwijl er geen ''realworld'' voordelen zijn over zijn goedkoper groene broertjes.

Heb de post er maar even bijgepakt, maar ik vind dit echt onzin... Er is IETS meer kans op data corruptie, en dat verhaal over desktop aansluitingen is echt onzin.

Op een desktopaansluiting heb je helemaal geen TLER nodig, want je hebt geeneens een RAID engine (tenzij je FakeRAID gebruikt, maar dat moet je sowieso niet doen...) Elke desktop aansluiting kan prima een WD Red hebben zonder dat er iets gebeurt.

Een WD Red besteed gewoon minder tijd aan recovery als hij een bad sector tegenkomt, maar zeggen dat een Green veel beter is omdat hij daar langer mee bezig is, is onzin.

Er is nog NIEMAND die daar significante tests/resultaten over heeft gegeven, en vanuit de fabrikanten is het ook dood- en dood-stil.. Deze willen deze getallen namelijk helemaal niet vrijgeven, want zeer waarschijnlijk blijkt daar uit, dat ook doet een disk er 60 seconden over, dat de sector toch niet te repareren is in 99.9% van de gevallen...

Met andere woorden: Lange Error Recovery op een harddisk is vrijwel nutteloos... Als je data je lief is, moet je gewoon backups maken, en niet vertrouwen op iets onzinnigs als een TLER-loze schijf.

Red's hebben meer garantie, als dat je iets waard is, moet je die nemne, anders kan je Green's nemen, maar die hebben headparking.

TLER zou ik compleet buiten beschouwing laten...

Om het duidelijk te maken:

Type Schijf	RAID	Voordelen	Nadelen
Normaal	Alleen Software RAID (Linux MD, ZFS, GEOM)	Goedkoop	Geen
Western Digital Green	Alleen Software RAID (Linux MD, ZFS, GEOM)	Goedkoop, stil, zuinig	Headparking
Western Digital Red	Alle	TLER, dus hardware-RAID, Garantie	Duurder, miniscule kans op datacorruptie omdat TLER ingrijpt voordat een bad sector gerecovered is.
Enterprise (SAS/FC)	Alleen Hardware RAID Controllers	Snel	Duur, lawaai, niet op reguliere controllers

[ Voor 18% gewijzigd door FireDrunk op 27-05-2013 13:25 ]

[Phulakontarhos]

Bedankt voor dit verhelderend antwoord!

Ik denk dat ze met desktop aansluiting misschien onboard RAID bedoelen...?

[FireDrunk]

Dat zou heel misschien kunnen, maar aangezien het om het HTPC topic gaat, denk ik van niet.

[Phulakontarhos]

Wel vreemd dat er gesporken wordt over data verlies bij de WD reds.
Bij RAID zal toch geprobeerd worden de data van de beschadigde sector van een andere schijf te recoveren via pariteit (of indien RAID 1 via gewone kopie)...

Weet je trouwens of die IBM M1015 TLER ondersteund?

[FireDrunk]

Phulakontarhos schreef op maandag 27 mei 2013 @ 16:32:
Wel vreemd dat er gesporken wordt over data verlies bij de WD reds.
Bij RAID zal toch geprobeerd worden de data van de beschadigde sector van een andere schijf te recoveren via pariteit (of indien RAID 1 via gewone kopie)...

Nope, bij reguliere RAID word er altijd vanuit gegaan dat de data gelijk heeft, en word er een nieuwe pariteit geschreven. Alleen ZFS weet of de data of de pariteit niet meer klopt (omdat de metadata ook gechecksummed word.)

Weet je trouwens of die IBM M1015 TLER ondersteund?

Een controller hoeft TLER niet te ondersteunen. TLER betekend alleen maar dat een schijf gewoon stopt met recovery na zoveel seconden en een error richting de controller geeft met: " Ja jammer, die sector is kapot..."

Bij een M1015 kan je wel opgeven hoe lang een schijf er over MAG doen voordat de controller zegt, "EY SCHIJF, kap eens met error recovery, en ga door!" (Soft Reset)
Of zelfs zegt, "Uuuh jij doet zo lang over recovery, jij zal wel kapot zijn" en pleurt hem uit de array.

Bij een M1015 kan je die waardes instellen, bij bijna alle andere controllers is dat gelimiteerd tot de SAS standaard (ik dacht iets van 7 seconden...)

Je kan een M1015 dus instellen om losser om te gaan met die recovery van een disk, maar of dat dat genoeg is om Green's in een array te houden, kan ik niet garanderen.

[nero355]

Wat versta je onder een Normale HDD ? Een WD Blue of een Seagate .15 serie of zo ??

Hoe staat het dan met de WD Black Editions or de RE schijven Ik vind Seagate een eng merk de laatste paar jaar en er is niet veel meer om tussen te kiezen door al die overnames...

[Phulakontarhos]

Weet er iemand of die IBM ServeRAID M1015 controller draait onder windows 7 64 bit?
Op de site van IBM vind ik enkel drivers voor Windows Server 2003 / 2008...

Hier nog wat interessante informatie in verband met Western Digital red / green en TLER:
http://www.pcper.com/revi...OHO-NAS-Drive-Full-Review

[FireDrunk]

Server 2008 = Windows 7 kernel, elke driver werkt gewoon.

[Phulakontarhos]

Ah, wist ik niet... Bedankt!

[FireDrunk]

Volgens mij kan je zelfs prima de LSI drivers gebruiken. Als je crossflashed sowieso, maar zelfs als je het niet doet, kan je volgens mij de LSI drivers gebruiken.

http://www.lsi.com/suppor...tname=LSI%20SAS%209211-8i

[ Voor 36% gewijzigd door FireDrunk op 28-05-2013 16:06 ]

[jadjong]

Ding doet het gewoon onder 7, nog niet handmatig een driver moeten installeren.

[Phuncz]

FireDrunk schreef op dinsdag 28 mei 2013 @ 15:58:
Server 2008 = Windows 7 kernel, elke driver werkt gewoon.

Een uitweiding daarover:
Windows Server 2008 R2 <=> Windows 7
Windows Server 2008 <=> Windows Vista

Zeker opletten dat je 64-bit drivers bij je 64-bit OS gebruikt !

Voornamelijk voor GPU's is het echter een probleem dat de Windows Vista drivers niet gaan op Windows 7, maar voor storage controllers moet je toch altijd verifiëren of het idd. ondersteund is.

[Phuncz]

Wat moeten we hiervan denken ? De vervanger van de RE4 ?

http://www.guru3d.com/new..._line_of_hard_drives.html

[Phulakontarhos]

Dan kan ik toch beter de driver van LSI SAS 9240-8i gebruiken?

http://www.lsi.com/produc...s/MegaRAIDSAS9240-8i.aspx

FireDrunk schreef op dinsdag 28 mei 2013 @ 16:05:
Volgens mij kan je zelfs prima de LSI drivers gebruiken. Als je crossflashed sowieso, maar zelfs als je het niet doet, kan je volgens mij de LSI drivers gebruiken.

http://www.lsi.com/suppor...tname=LSI%20SAS%209211-8i

[FireDrunk]

Nee? De 9240-8i is een MegaRAID controller die op een SoC gebaseerd is met ingebouwde raid.
Het gaat hier om de MPTSAS2 driver voor LSI SAS 2008 gebaseerde controllers.

[d.baars]

Laat ik mijn zelfbouw NAS ook maar eens posten, gezien ik zeer binnenkort de combi CPU/Moederbord/Geheugen wil upgraden.

Het huidige moederbord laat slechts 8 GB (DDR2) geheugen toe en de controllers worden nogal beperkt door de PCI-e bussen.

System specifications
Component	Value
Case	Chieftec CA-01B-B-SL
CPU	Intel Xeon X3220 Boxed
RAM	4x Kingston ValueRAM KVR667D2E5/1G
Motherboard	Intel Server Board S3000AH
Operating system	Ubuntu 12.10 (amd64)
Controller	Dell Perc 5/i Internal SAS Controller Card Dell Perc 6/ir Highpoint RocketRAID 640L
Hard drive	4x Western Digital Red WD30EFRX, 3TB 4x Samsung Spinpoint F1 HD753LJ, 750GB 2x [Western Digital Green WD30EZRX, 3TB Samsung 840 series Pro 128GB
RAID array configuration	4x Samsung 750 GB in RAID 5 (PERC 5/i) 4x WD RED 3 TB in RAID 5 (software, mdadm) 2x WD GREEN 3TB in LVM
Netto storage capacity	14,3 TB
Network	1 Gb WAN / 1 Gb LAN
UPS	APC Back-UPS RS 800VA 230V
Filesystem	XFS op LVM
Extra	Samsung 840 Pro is cache voor de WD Reds en Greens, 2 partities van 32 GB

De volgende punten loop ik een beetje op vast:

• De avg. troughput van de WD Red's is 190 MB/sec, dit zou beter moeten kunnen (zijn wel 6 Gb/s schijven volgens de specificatie, die op de onboard 3 Gb/s poorten zitten).
• De Highpoint Rocket 640L draait in PCI-e x1 (1.0) modus, en is bedoeld voor een PCI-e x4 (2.0). Ik haal belabberde snelheden per schijf, terwijl er maar twee aangesloten zitten. PCI-e x1 zou ruim voldoende bandbreedte moeten bieden voor minstens 160 MB/sec (avg. snelheid van de angesloten schijven is 80 MB/sec). Ik haal echter 45 MB/sec per schijf. Waar zou dat aan kunnen liggen?
• De WD Green's zitten nu in LVM, hier staan voornamelijk films en series op. Ik overweeg SnapRAID maar het idee van parity op 1 schijf vind ik een beetje apart. Het liefst heb ik RAID 5 waarvan 1x per dag de parity gegenereerd wordt, zodat het verder geen CPU resources wegvreet van andere taken. Heeft iemand iets soortgelijks voor elkaar gekregen?
• Ik zoek een Socket 1155 moederbord waar op z'n minst 3 PCI-e x8 kaaten op volledige snelheid kunnen draaien, het liefst waar ook minstens 4x SATA-600 poorten op aanwezig zijn. Zelf vond ik deze: pricewatch: Asrock P67 Extreme6. Gezien er geen onboard video-out op zit, vroeg ik me af in hoeverre ik deze headless kan gebruiken. Ik heb begrepen dat sommige van deze moederborden niet opstarten zonder grafische kaart. Verder zit dit moederbord net boven m'n budget.
• De Xeon X3220 levert op zich de performance die ik nodig heb, maar gaat niet werken op een S1155 moederbord. Ik overweeg de Core i5 3350P welke minder L2 cache. Bij welke server-specifieke taken ga ik dit merken als dit uberhaupt het geval is?

Voor m'n laatste vraag lijkt het me relevant om nog te melden dat hij voornamelijk dient als SMB/AFP-fileserver, een lichte MySQL-server draait en af en toe x264 moet transcoden (Plex Media Server).

[Verwijderd]

Cipher, dit is wellicht interessant voor je om te weten, aangezien het zfsguru betreft, en veel mensen hier een vergelijkbare setup gebruiken.

Op een esxi bak waarbij je een set IBM M1015's in passthrough hebt staan, adviseer jij om msi en msix op 0 te zetten zodat je de VM tenminste kunt booten. Op die manier kun je inderdaad de VM booten, maar je loopt tegen een ander probleem aan: Bij meerdere vCores of vCPU's krijg je interrupts, ongeacht van wat je allemaal probeert te disablen.

Nu heeft deze vent hieronder een heel subtiele, maar merkbaar beter werkend advies; alleen msix op 0 zetten.

http://christopher-techni...devices-from-esxi-to.html

Als je dalijk komt met een verhaal waarom het slecht is, wil ik dat rustig geloven. Ik weet namelijk niet waarom het werkt, alleen dát het werkt.

[Dennisik]

d.baars schreef op donderdag 30 mei 2013 @ 18:44:

De volgende punten loop ik een beetje op vast:
De avg. troughput van de WD Red's is 190 MB/sec, dit zou beter moeten kunnen (zijn wel 6 Gb/s schijven volgens de specificatie, die op de onboard 3 Gb/s poorten zitten).

De WD Green's zitten nu in LVM, hier staan voornamelijk films en series op. Ik overweeg SnapRAID maar het idee van parity op 1 schijf vind ik een beetje apart. Het liefst heb ik RAID 5 waarvan 1x per dag de parity gegenereerd wordt, zodat het verder geen CPU resources wegvreet van andere taken. Heeft iemand iets soortgelijks voor elkaar gekregen?

Die parity wegschrijven 1x per dag is zinloos, dat kan gewoon live. CPU power kost dat echt niet zoveel voor RAID5. Al helemaal niet als je aan een I5 zit, dan is CPU bottleneck wel het laatste waar je aan moet denken.

Betreft je snelheid 190MB/s is niet extreem slecht, heb je al geprobeerd te spelen met de mdadm settings? Dit heeft in mijn geval iets van 25% write winst opgeleverd, op een RAID6 array.
Zie: https://gathering.tweaker...message/40014282#40014282

[ Voor 14% gewijzigd door Dennisik op 30-05-2013 23:45 ]

[HyperBart]

Verwijderd schreef op donderdag 30 mei 2013 @ 22:40:
Cipher, dit is wellicht interessant voor je om te weten, aangezien het zfsguru betreft, en veel mensen hier een vergelijkbare setup gebruiken.

Op een esxi bak waarbij je een set IBM M1015's in passthrough hebt staan, adviseer jij om msi en msix op 0 te zetten zodat je de VM tenminste kunt booten. Op die manier kun je inderdaad de VM booten, maar je loopt tegen een ander probleem aan: Bij meerdere vCores of vCPU's krijg je interrupts, ongeacht van wat je allemaal probeert te disablen.

Nu heeft deze vent hieronder een heel subtiele, maar merkbaar beter werkend advies; alleen msix op 0 zetten.

http://christopher-techni...devices-from-esxi-to.html

Als je dalijk komt met een verhaal waarom het slecht is, wil ik dat rustig geloven. Ik weet namelijk niet waarom het werkt, alleen dát het werkt.

Wat MSI doet of voor wat het zorgt: dunnow. Ik heb daarin gewoon CiPHER gevolgd, maarre het kan hoor:

HyperBart schreef op vrijdag 17 mei 2013 @ 21:03:
[...]

Ik had interrupt storms, ik ben er ondertussen in geslaagd om een ZFSguru machine op ESXi 5.1u1 te draaien met 4 vCPU's...

De truc is als volgt: installeren met 1 vCPU, genoeg RAM geven, daarna naar 4 vCPU's gaan, daarna VMXNET3 en daarna de M1015. Draait nu prima hier...

Nu ben ik zelf aan het twijfelen of ik die MSI aan of uit gezet heb bij mijn laatste build, heb daar bij mijn weten niets meer aangepast manueel.

[ Voor 4% gewijzigd door HyperBart op 31-05-2013 09:33 ]

[FireDrunk]

Volgens mij staat MSI/MSI-X uit bij jou

[HyperBart]

Dacht ik ook al ja .

Voor wat dient dat?

[analog_]

wiki geeft wel wat aardige uitleg over wat en waarom.

[d.baars]

Dennisik schreef op donderdag 30 mei 2013 @ 23:43:
[...]


Die parity wegschrijven 1x per dag is zinloos, dat kan gewoon live. CPU power kost dat echt niet zoveel voor RAID5. Al helemaal niet als je aan een I5 zit, dan is CPU bottleneck wel het laatste waar je aan moet denken.

Betreft je snelheid 190MB/s is niet extreem slecht, heb je al geprobeerd te spelen met de mdadm settings? Dit heeft in mijn geval iets van 25% write winst opgeleverd, op een RAID6 array.
Zie: https://gathering.tweaker...message/40014282#40014282

Heb inderdaad al behoorlijk met de stripe cache size en readahead zitten spelen:

code:

(voor array)
/sys/block/$mddevice/md/stripe_cache_size = 16384
blockdev --setra 512 $mddevice

(voor disks)
/sys/block/$i/queue/read_ahead_kb = 512
/sys/block/$i/queue/nr_requests = 32
/sys/block/$i/queue/scheduler = cfq

[Verwijderd]

makerbeam ..

[FireDrunk]

Hey, lang niet gezien!

offtopic:
Je eigen webwinkel spammen is niet zo de bedoeling hier... Das reclame...

[Verwijderd]

ja ben weer aan het knutselen.. eigenlijk iets heel anders en toen dacht ik, daar zou je ook een leuk mini nasje mee kunnen maken

^{ik heb geen webwinkel}

[ Voor 17% gewijzigd door Verwijderd op 04-06-2013 12:43 ]

[Kavaa]

Dat ziet er echt super grappig uit!
Eigen case erom en je hebt je eigen nas met zoveel disken als je wil.

[Verwijderd]

ik zag dat ze ook plastic platen hebben die je er dan in kan schuiven.
dus je zou idd iets op maat kunnen maken zo met heel veel disks ..
(nou had ik me voor genomen om daar mee te gaan stoppen )

[Kavaa]

Uitbreiden kan altijd nog natuurlijk voor je het weet zit je met 10+ disken en dan nog maar een 2e unit er aan vast:D Kabels zijn dan lang genoeg omdat het het natuurlijk aan elke kant van de "Case" kunt plaatsen en dat het evengoed 1 geheel is.

[icegodd]

iets voor jullie 22 SATA-poorten ???

[webfreakz.nl]

http://wccftech.com/asroc...s-flagship-z87-extreme11/

[FireDrunk]

ZFS Build here we come

[dylan0806]

hallo allemaal ik wil een paar nieuwe schijven gaan kopen, op dit moment is het voor in mijn qnap nas maar later dit jaar wil ik ze gaan gebruiken in mijn zfs setup. Op dit moment heb ik erg goede ervaring met mijn seagate schijven. Ik zit nog te twijfelen tussen de seagate en de hitachi. Hebben jullie enige ervaring met deze schijven en weet iemand hoe deze werken onder zfs guru in een vm onder esxi?

[FireDrunk]

Ik heb de Seagates, die doen het prima onder ZFSGuru. Als je het goed doet (VT-d) dan heeft het gebruik ESXi geen effect op je schijven, en zouden ze dus prima in een VM moeten werken icm ZFSGuru.

offtopic:
Ik heb ook ESXi

[HyperBart]

Ik heb de Hitachi 3TB's en ben er tevreden van, naar mijn perceptie/gevoel zijn die Deskstar's een van de meest betrouwbare harde schijven die er bestaan... Ik draai ook met een ge-VT-d'ede kaart (M1015) en dat geeft geen enkel probleem .

[HyperBart]

icegodd schreef op dinsdag 04 juni 2013 @ 21:28:
[afbeelding]
[afbeelding]


iets voor jullie 22 SATA-poorten ???

In combinatie met:

http://www.45drives.com/

Ideaal

[soulrider]

ik zou die eerder combineren met 4 van de volgende:
http://www.alternate.be/L...uct/1021692/?tk=7&lk=4675

22 + 4x16 = 86 drives
86* 4TB = 344 TB
en als je de PCI-Ex1slots open maakt achteraan kunnen er nog eens 3x16 = 48 drives (en dus 192TB) bij

het eind resultaat zou 536 TB of een halve PT aan bruto opslag op 1 moederbord...

damn ik heb een sponsor nodig (en achteraf een babbeltje met de elektriciteitsboer ...)

[FDMK]

Fikt je moederbord af....

[FireDrunk]

Waarom? Als je moederbord 75W door elke PCIe poort kan rammen voor GPU's kan het dat ook wel voor SAS Controllers...

[onox]

Volgens mij kan dat moederbord ook nog 2 msata ssds aan

[FireDrunk]

Alleen jammer dat er nog geen mSATA SSD's zijn met supercaps.

[HyperBart]

Ik was net eens ff aan het kijken bij die 45 drives website.

Het probleem is, dat die gasten van BackBlaze eigenlijk stiekem SATA port multipliers gebruiken en dat dan ook tegelijk als "backplane" gebruiken om hun sata disks met behulp van zwaartekracht gewoon in te frotten.

Als je het eigenlijk een beetje deftig wilt doen, zou je die port multipliers moeten kunnen vervangen door gewone SATA backplanes die je per poort verbindt met een SATA kabeltje naar je moederbord...

Er bestaan wel wat dingen:
http://www.supermicro.com/manuals/other/SAS2-213EL.pdf

Maar om nu 70 à 80 pond neer te tellen voor een bordje wat gewoon een omzetting moet doen van SATA naar een combinatie SATA-power+SATA op een PCB'tje. Mwoaah, lijkt me wat duur

[soulrider]

kabelmanagement is dan ook van belang en als je 15 drives per rij hebt, en 3 rijen in totaal zoals in hun geval, dan heb je uiteindelijk veel kabels die door je case lopen namelijk 45 + power kabels ipv maar 9 + power.

of je zou NORCO achtige backplanes moeten gebruiken in de bodem van je case waar je dan je SFF8087-kabel in kunt pluggen, dan heb je ook minder dan 45 kabels doorheen je case... (maar wel dikkere) maar in dat geval komt je niet toe met 4u of je moet de pcb speciaal laten ontwikkelen wat de kosten dan weer omhoog brengt wegens niet off-the-shell ;-)

[Demo]

HyperBart schreef op woensdag 05 juni 2013 @ 10:41:
Ik was net eens ff aan het kijken bij die 45 drives website.

Het probleem is, dat die gasten van BackBlaze eigenlijk stiekem SATA port multipliers gebruiken en dat dan ook tegelijk als "backplane" gebruiken om hun sata disks met behulp van zwaartekracht gewoon in te frotten.

Als je het eigenlijk een beetje deftig wilt doen, zou je die port multipliers moeten kunnen vervangen door gewone SATA backplanes die je per poort verbindt met een SATA kabeltje naar je moederbord...

Vziw heeft Backblaze daar bewust voor gekozen, om het allemaal betaalbaar te houden. En als zo'n unit aan een 1 of 2 Gb uplink hangt, trek je die met deze config ook wel vol.. Dat ze port multipliers gebruiken, daar doen ze overigens helemaal niet stiekem over?

[IceTeaGX]

Supermicro is al een tijdje bezig met dit soort zaken.
72 schijven in 4U + PC. Wel enkel 2U low profile componenten bruikbaar.
http://www.supermicro.com...847/SC847DE16-R1K28LP.cfm

Kost natuurlijk ook wel een veelvoud van een backblaze pod.

[soulrider]

dat is de al langere gekende 36 schijven per kast oplossing maar ze rekken ze hem gewoon zodat er 2 schijven per lade in past ...met aangepaste lades en backplanes wat dus maatwerk is door/voor hen en dus maatprijs voor de koper :-)

Backblaze is echter zo goedkoop mogelijk met hardware die je als gewone burger ook kunt kopen
(naar die portmultipliers moet je wel even zoeken, maar ze zijn vindbaar in webwinkels)

die supermicro case kost als kast allen zonder overige hardware wellicht meer dan een gevulde storagepod ;-)

[OMX2000]

icegodd schreef op dinsdag 04 juni 2013 @ 21:28:
[afbeelding]
[afbeelding]


iets voor jullie 22 SATA-poorten ???

Voor welke doelgroep is dit? Lijkt me behoorlijk breed gepositioneerd. En gaat best een duur bord worden lijkt me zo.

[IceTeaGX]

De 72 bay servers van SM zijn op maat gemaakt met oog op andere SM hardware.
De 36 bay modellen kan je generische hardware in kwijt.

De prijs wil je inderdaad niet weten.
Chenbro heeft nu ook al even een dual sided oplossing. http://www.chenbro.eu/cor...oducts_detail.php?sku=169
Maar is niet zomaar los te krijgen, en de prijs wil je eveneens niet weten.

[FireDrunk]

Pak dan gewoon losse JBOD chassis' met een aantal externe SAS kabels... Lijkt me veel goedkoper?

[HyperBart]

Wat FD hierboven zegt is ook wel weer waar, naar de toekomst toe is het dan ook alleen maar makkelijker.

Aan de andere kant: het argument van de port multipliers vs je uplinks: ook waar, als je dit thuis zet als NAS loop je al heel snel tegen de bottleneck van je uplink aan.

En ze doen er idd niet stiekem over hoor. Maar het is gewoon even iets waar je op moet letten...

Aan de andere kant: het design is opensource, die 45drives.com fabriek maakt die storage pods, maar een andere fabriek dit laten maken, is dat gewoon een kwestie van het CAD design inladen in een pers/stamp/snij weetikveelhoezoeenmachineheet machine en dan er uit laten rollen, of is het toch net iets meer?

[heuveltje]

HyperBart schreef op woensdag 05 juni 2013 @ 11:39:

Aan de andere kant: het design is opensource, die 45drives.com fabriek maakt die storage pods, maar een andere fabriek dit laten maken, is dat gewoon een kwestie van het CAD design inladen in een pers/stamp/snij weetikveelhoezoeenmachineheet machine en dan er uit laten rollen, of is het toch net iets meer?

Het is idd niet meer dan dat.
zo op het oog een zetbank, iets van een frees of plasmasnijder, popnagelen, en lakken.
Maar let wel dat dat redelijk wat werk is Metaal kost niet zoveel, maar tijd is duur in een machinefrabriek, de arbeidsuren zullen redelijk de pan uitrijzen, zeker als je maar 1 exemplaar wilt.

[HyperBart]

heuveltje schreef op woensdag 05 juni 2013 @ 13:25:
[...]

Het is idd niet meer dan dat.
zo op het oog een zetbank, iets van een frees of plasmasnijder, popnagelen, en lakken.
Maar let wel dat dat redelijk wat werk is Metaal kost niet zoveel, maar tijd is duur in een machinefrabriek, de arbeidsuren zullen redelijk de pan uitrijzen, zeker als je maar 1 exemplaar wilt.

Die kan ik gratis regelen . Meer zelfs, ik ben aan het denken om ineens 5 te maken en ze dan voor de materiaalkosten + 150 à 200 EUR te verkopen.

[Verwijderd]

zou het niet mogelijk zijn iets universeels 3d te printen..
http://hackaday.com/2013/...ver-type-mounting-system/
http://vincentsanders.blo...hing-cleaning-it-out.html
http://samenkopen.net/action_product/146576/77330

[ Voor 30% gewijzigd door Verwijderd op 07-06-2013 11:19 ]

[nero355]

icegodd schreef op dinsdag 04 juni 2013 @ 21:28:
[afbeelding]
[afbeelding]


iets voor jullie 22 SATA-poorten ???

Niks aan eigenlijk : Ik heb de X79 Extreme11 met 6 SATA poorten + 8x SAS/SATA via een LSI SAS 2308 en ik vind het eigenlijk jammer dat mijn moederbord niet met dezelfde 16x SAS/SATA controller is uitgevoerd

There is no such thing as too much storage !!

[Phuncz]

Lijkt me wel dat het is, aangezien dat niets met de X79 chipset heeft te maken. Ofwel neem je een professionele oplossing, zoals de C2xx chips met een Xeon CPU en dan heb je ook direct ondersteuning voor ECC evenals remote management, ofwel ben je een power user en dan moet je je afvragen wat je probeert te bereiken. Zodra je naar meer dan 4 HDD's gaat voor opslag in je systeem, kan je toch beter gaan denken aan een NAS systeem. En meer dan 4 SSD's in (RAID) heeft natuurlijk geen nut.

Het lijkt me volstrekt even nuttig om een Geforce GTX 690 uit te rusten met een serial-port zodat je je systeem via telnet kan managen: het doelpubliek is zo klein dat je je kan afvragen wie je ermee bereikt.

[ Voor 17% gewijzigd door Phuncz op 08-06-2013 09:58 ]

[nero355]

Phuncz schreef op zaterdag 08 juni 2013 @ 09:56:
Zodra je naar meer dan 4 HDD's gaat voor opslag in je systeem, kan je toch beter gaan denken aan een NAS systeem. En meer dan 4 SSD's in (RAID) heeft natuurlijk geen nut.

Ja, maar dat maakt het niet minder leuk :


Zo zag mijn oude systeem eruit en als je dat eenmaal gewend bent en toch niet echt plek of behoefte hebt voor een 24/7 apparaat dan is het gewoon TE LEUK om niet te doen

Het lijkt me volstrekt even nuttig om een Geforce GTX 690 uit te rusten met een serial-port zodat je je systeem via telnet kan managen: het doelpubliek is zo klein dat je je kan afvragen wie je ermee bereikt.

ASUS had zoiets : Een tussenstukje die een extra overlay op je monitor weergeeft met statistieken over je kaart en zelfs je systeem geloof ik

[ykaenS]

Toon-VA schreef op donderdag 07 februari 2013 @ 19:52:
Ik heb hier ook een vraagje over.

Ik volg al een hele tijd dit topic en heb al eens een systeempje gepost, maar binnenkort komt het er echt van via een schoolproject dat er in Juni moet staan.

Wat zijn nu ze de grote's van de partities die je aanmaakt?

Want je spreekt hier wel over SSD1 en SSD2 met de mirror pool ZIL en L2ARC maar hoe groot maak je deze dan? (voor de aankoop van de SSD's)

FireDrunk schreef op donderdag 07 februari 2013 @ 20:16:
Dat ligt dus aan de grootte van je SSD's...

Bij 64GB zou ik 10GB mirrored rootpool doen, 10GB mirrored zil, en 20GB L2ARC op beide SSD's.
Bij 128GB het dubbele van alles.

256GB is overkill, maar als je geld teveel hebt, kan je natuurlijk alles nog een keer verdubbelen.

Wat zou je doen als je maar 1 SSD van 64Gb hebt voor de installatie van ZFSGuru, ZIL en L2ARC?

[FireDrunk]

Geen ZIL gebruiken, 10GB root, 30GB L2ARC.

[ykaenS]

FireDrunk schreef op zondag 09 juni 2013 @ 11:19:
Geen ZIL gebruiken, 10GB root, 30GB L2ARC.

En de resterende ± 24 GB?

Tevens probeer ik ZFSGuru te installeren vanaf een USB Stick, omdat er geen optische drive aanwezig is. Enig idee hoe ik dit het beste kan doen?

Ik ben nu bezig met Virtualbox om een bootable USB stick te maken, maar deze blijft de Livecd herstarten.

[ Voor 43% gewijzigd door ykaenS op 09-06-2013 11:37 ]

[FireDrunk]

Leeg laten, blijft je SSD lekker snel van.

Let even op dat je de LiveCD minimaal 2GB geheugen geeft, anders wil hij niet.

[Verwijderd]

VirtualBox kan niet van USB opstarten voor zover ik weet. Maar je kunt wel in VirtualBox een USB-stick maken door daar ZFSguru op te installeren, op dezelfde manier als je een normale hardeschijf ZFSguru op zou installeren. Dus formatteren, pool maken, installatie volgen. Dan je VM afsluiten en je USB-stick pas verwijderen zodra de VM ook echt is afgesloten, anders kan hij corrupt raken!

Dan je USB stick in je target systeem stoppen en deze kun je gebruiken om vervolgens een installatie uit te voeren. Let daarbij wel op dat je bij stap 3 van de installatie op Override moet drukken, om de beveiliging te omzeilen dat er maar één pool bootable mag zijn. Anders kun je niet meer van de USB stick opstarten als je de USB stick eerst unbootable maakt. Door op de override knop te drukken, kun je je pool selecteren ('tank') zonder de USB-stick unbootable te maken, en dat is wat je wilt in dit geval.

[ykaenS]

Verwijderd schreef op zondag 09 juni 2013 @ 12:11:
VirtualBox kan niet van USB opstarten voor zover ik weet. Maar je kunt wel in VirtualBox een USB-stick maken door daar ZFSguru op te installeren, op dezelfde manier als je een normale hardeschijf ZFSguru op zou installeren. Dus formatteren, pool maken, installatie volgen. Dan je VM afsluiten en je USB-stick pas verwijderen zodra de VM ook echt is afgesloten, anders kan hij corrupt raken!

Dan je USB stick in je target systeem stoppen en deze kun je gebruiken om vervolgens een installatie uit te voeren. Let daarbij wel op dat je bij stap 3 van de installatie op Override moet drukken, om de beveiliging te omzeilen dat er maar één pool bootable mag zijn. Anders kun je niet meer van de USB stick opstarten als je de USB stick eerst unbootable maakt. Door op de override knop te drukken, kun je je pool selecteren ('tank') zonder de USB-stick unbootable te maken, en dat is wat je wilt in dit geval.

Ik start VirtualBox ook niet van USB op, ik boot de LiveCD in virtualbox, zodat ik een USB stick kan maken met daarop ZSFGuru om hem daarna om te steken naar het systeem waar ik ZFSGuru op wil installeren.

Het probleem is echter dat de LiveCD in VirtualBox blijft herstarten, hoeveel geheugen ik hem ook geef.

[Polynidos]

Na al een tijd hier en in het ZFS topic mee gelezen te hebben besloten ook maar eens te posten. Al een hoop opgestoken van wat er hier gepost is, maar toch nog wat vragen.

We zijn op kantoor bezig om een nieuwe fileserver op te zetten waarop een behoorlijk aantal VMs op basis van XenServer komen te draaien. De huidige setup maakt gebruik van een FreeNAS en een OpenFiler server maar daar begint de rek qua performance wel uit te raken. De FreeNAS bak is opgebouwd uit bestaande hardware en meer om eens ZFS uit te proberen. Dat bevalt op zich goed, vandaar nu de stap naar een serieus systeem.

De server moet uiteindelijk de huidige twee fileservers gaan vervangen en er komen een aantal Windows VMs op te draaien (Exchange, TS en applicatieserver) en een groot aantal Linux VMs (webservers, SVN/Git, database servers).

Ik heb volgende idee: een flinke server (waarschijnlijk op basis van een barebone systeem zoals http://www.twp.nl/server-TWPSS1345802466) met ZFS erop. Eisen aan het systeem: Reliability (downtime niet acceptabel) en performance (het moet veel sneller dan de huidige setup). Kosten zijn minder van belang maar moeten uiteraard wel binnen de perken blijven. Verder zitten we aan de volgende hardware te denken:

#	Product	Prijs	Subtotaal
2	Intel Xeon E5-2620 Boxed	€ 368,03	€ 736,06
3	Western Digital RE 4, 4TB	€ 332,89	€ 998,67
2	Kingston ValueRAM KVR13R9D4K2/32I	€ 239,-	€ 478,-
1	LSI SAS 9211-8i (SAS9211-8I/SGL)	€ 213,99	€ 213,99
2	Intel 320 160GB	€ 226,10	€ 452,20
1	Intel 520 240GB	€ 208,89	€ 208,89
Bekijk collectie Importeer producten		Totaal	€ 3.087,81

Het idee is om een 3-way mirror te maken. Ik wil wegblijven bij de RAIDZ/RAIDZ2 vanwege performance en het makkelijk kunnen overzetten van een schijf in andere hardware mocht alles echt mis gaan. Het eerste idee was een RAID1 van twee schijven met een hot-spare, maar dan kunnen we de hotspare net zo goed gelijk inzetten als mirror. De Intel 320 SSDs worden waarschijnlijk ingezet als mirrored ZIL en de 520 als L2ARC, maar zie ook de vraag hieronder. De reden voor 160GB is dat we ook overwegen de 320s voor zowel ZIL als L2ARC te gebruiken. In eerste instantie wordt de server via twee samengevoegde 1Gbit ethernet links aan het netwerk gekoppeld maar het plan is om dit later naar fiber om te zetten.

We gaan testen met FreeNAS, NAS4Free en ZFSGuru. Waarbij mijn voorkeur uitgaat naar die laatste maar ik me wel afvraag of deze al geschikt is om in een productieomgeving te draaien. Het liefst wil ik wegblijven bij Nexenta vanwege de hoge kosten.

Met bovenstaande in het achterhoofd heb ik nog wel een aantal vragen, waarvoor ik jullie input op prijs zou stellen.

1. De SSD configuratie. Ik lees hier veel goede verhalen over de Intel 320 serie als ZIL. Vandaar dat deze in bovenstaande config is opgenomen. De 520 serie heeft echter een stuk betere prestaties op iops, dus die heeft mijn voorkeur voor een L2ARC. Is de 520 ook geschikt voor ZIL? De Intel 320 is inmiddels al wat ouder, zijn er inmiddels modernere alternatieven?
2. Wat is het voordeel van SAS schijven boven SATA schijven? Heb er wel wat over gelezen maar de performance verschillen lijken minimaal en het enige waar het echt uit lijkt te maken is wanneer je erg veel schijven aan je controller hebt hangen.
3. Hoe verhouden FreeNAS, NAS4Free en ZFSGuru zich wanneer je een dergelijk systeem in productie wil draaien?
4. Misschien meer een software vraag voor het ZFS topic, maar bestaat er een mogelijkheid om een failover setup te maken met ZFS, waarbij redundante hardware de taak van fileserver over kan nemen?

[analog_]

Kijk eens naar NexentaStor, kan je ook commerciele support op krijgen en doet puntje 4 (en is het meest volwassen van de ZFS Appliance OSen, in mijn ogen toch).

[ Voor 29% gewijzigd door analog_ op 10-06-2013 18:20 ]

[FireDrunk]

Je koopt een Dual Quad Core Xeon, en gaat je hele park op 3 diskjes parkeren?

Meen je dat serieus of zie ik iets over het hoofd?

Je vragen:

1) Klopt, je kan de nieuwe Seagate 600 Pro proberen, die is echt een paar keer zo snel als een Intel 320, en heeft ook SuperCaps, de betrouwbaarheid van deze SSD moet alleen nog wel bewezen worden, hij is net nieuw.
2) SAS heeft altijd TLER, heeft vaak dual port (redundante controllers), en heeft minder protocol overhead, en is dus efficienter als je via Expanders gaat werken. Het performance verschil tussen SAS en SATA schijven die op hetzelfde aantal toeren draaien is verwaarloosbaar. Maar SAS 10 en 15k schijven zijn qua IOPS stukken sneller.
3) FreeNAS is FreeBSD8 maar heeft veel support (ook professioneel) en is wat meer productiegeorienteerd., Nas4Free is FreeBSD9 maar meer community georienteerd, ZFSGuru is beta en niet productieklaar (in mijn ogen). Dit komt vooral omdat je niet makkelijk kan patchen, en qua security staat alles by default open.
4) Ja, google even op FreeBSD CARP (Common Adress Resolution Protocol) en HAST (High Available Storage Technology)

[Jormungandr]

Ik denk dat je toch een aantal dingen over het hoofd ziet.

1) betrouwbaar (downtime niet acceptabel)
-> Ga dan maar kijken naar op z'n minst dual PSU en bij voorkeur dual controller (geen DIY meer). Als op die ene bak de hele IT infrastructuur van de firma draait en er gaat een geheugenlatje stuk, dan heb je een hele slechte dag. Zorg op z'n minst dat je van alle componenten er zeker 2 op stock hebt (nog steeds een verre van ideale oplossing, maar bon). Op software vlak ga je dus best ook voor een pakket met echte support. ZFSguru is een leuk project dat ik van harte toejuich, maar ik zou het nog niet eens 10Km in de buurt van een productiesysteem laten komen.

2) performantie
-> Sorry, maar met 4 RE disks ga je het niet halen, zeker niet in triple mirror. Veel mensen maken de fout van de nadruk op capacity te leggen en niet op IO. Natuurlijk heb je met 4TB disks veel ruimte, maar nooit genoeg IO's om je VM's vlot te laten draaien. Reken eerst maar eens uit hoeveel IO's je nodig hebt voor je workload die je nu hebt, en begin dan disks op te tellen. Er is een reden waarom de grotere SAN/NAS systemen zoveel disks hebben. Je bent beter af met een groot aantal 1 of 2 TB disks. Op het moment dat je zowel naar je Database als je exchange als je GIT gaat schrijven, weet de disk niet meer waar hij het heeft. Denk ook aan scalability. Hoeveel data heb je binnen 1, 2, 3, 5 jaar?

TL;DR:
- Ga voor een High Availability setup op vlak van hardware
- Wees niet gierig, koop support voor je OS/appliance
- Kijk ook naar IO's en niet alleen naar de capaciteit van je raid group.

Mijn advies voor KMO's. Waag je niet aan DIY als het een bedrijfskritische machine is. Er gaat teveel fout om daar heden ten dage je job aan kwijt te spelen.

[ Voor 12% gewijzigd door Jormungandr op 11-06-2013 08:01 ]

[Polynidos]

Dank jullie wel voor de reacties zover. Wat misschien goed is om nog te vermelden is dat het systeem wordt gekocht met het oog op uitbreiding. Er wordt nu 4 TB storage in gedaan maar het systeem heeft 12 HD slots dus het idee is om daar op termijn nog meer schijven bij te zetten.

FireDrunk schreef op maandag 10 juni 2013 @ 18:34:
Je koopt een Dual Quad Core Xeon, en gaat je hele park op 3 diskjes parkeren?

Meen je dat serieus of zie ik iets over het hoofd?

Dual Xeon is voornamelijk omdat dit systeem veel geheugen ondersteunt. We stoppen er nu 64 GB in maar ik wil op termijn naar 128GB of nog wel meer.

Jormungandr schreef op dinsdag 11 juni 2013 @ 07:50:
Ik denk dat je toch een aantal dingen over het hoofd ziet.

1) betrouwbaar (downtime niet acceptabel)
-> Ga dan maar kijken naar op z'n minst dual PSU en bij voorkeur dual controller (geen DIY meer). Als op die ene bak de hele IT infrastructuur van de firma draait en er gaat een geheugenlatje stuk, dan heb je een hele slechte dag. Zorg op z'n minst dat je van alle componenten er zeker 2 op stock hebt (nog steeds een verre van ideale oplossing, maar bon)

Het systeem heeft inderdaad een dubbele PSU. Spares zijn uiteraard op voorraad. Wat betreft de controller heb je inderdaad een goed punt.

2) performantie
-> Sorry, maar met 4 RE disks ga je het niet halen, zeker niet in triple mirror. Veel mensen maken de fout van de nadruk op capacity te leggen en niet op IO. Natuurlijk heb je met 4TB disks veel ruimte, maar nooit genoeg IO's om je VM's vlot te laten draaien. Reken eerst maar eens uit hoeveel IO's je nodig hebt voor je workload die je nu hebt, en begin dan disks op te tellen. Er is een reden waarom de grotere SAN/NAS systemen zoveel disks hebben. Je bent beter af met een groot aantal 1 of 2 TB disks. Op het moment dat je zowel naar je Database als je exchange als je GIT gaat schrijven, weet de disk niet meer waar hij het heeft. Denk ook aan scalability. Hoeveel data heb je binnen 1, 2, 3, 5 jaar?

Het idee is dat de performance niet van de SATA disks komt maar uit de caching in geheugen en op de SSDs. Vandaar ook de optie om twee SSD als read cache te gebruiken. Die zouden een enorm hoeveelheid iops moeten kunnen doorvoeren. Desondanks vind ik je punt om te kijken naar kleinere disks een goede. Misschien moeten we wel twee RAID arrays met 2TB schijven maken ipv 1 met 4TB schijven.

In ieder geval bedankt voor je reactie, geeft weer stof tot nadenken!

[Verwijderd]

ykaenS schreef op zondag 09 juni 2013 @ 12:16:
[...]


Ik start VirtualBox ook niet van USB op, ik boot de LiveCD in virtualbox, zodat ik een USB stick kan maken met daarop ZSFGuru om hem daarna om te steken naar het systeem waar ik ZFSGuru op wil installeren.

Het probleem is echter dat de LiveCD in VirtualBox blijft herstarten, hoeveel geheugen ik hem ook geef.

Heb je de Virtual Machine aangemaakt als type 'FreeBSD (64-bit)' ? Als je enkel FreeBSD ziet, dan heb je niet de CPU extensies nodig om 64-bit guests te draaien. Vt-x / AMD-V enzo.

Zie ook de ZFSguru on VirtualBox guide: http://zfsguru.com/doc/virtualbox

[ Voor 5% gewijzigd door Verwijderd op 11-06-2013 13:23 ]

[MvL]

Zijn er hier nog mensen die aan redundante opslag doen onder Linux? Gebruik je software raid of hardware raid?

[FireDrunk]

Ik heb heel lang MD(ADM) gebruikt, en dat beviel prima. Ook hardware RAID kan prima werken, mits je je aan de TLER regels houdt. Snelheid scheelt niet veel. 'Vroeger' was het zo dat Software RAID een flinke belasting op je CPU was, tegenwoordig is het peanuts...

[ Voor 34% gewijzigd door FireDrunk op 11-06-2013 21:41 ]

[MvL]

Oké.

Ik wil redundantie bij de Linux distro die ik gebruik.

Ik twijfel of ik hardware raid of software raid zal gaan gebruiken. Ik kwam tot de ontdekking dat 24 ports hardware raid controllers wel heel erg duur zijn.

[FireDrunk]

Hahaha, dat klopt inderdaad... Maar 24poorts HBA's zijn ook niet goedkoop...

Vanwaar de interesse naar 24 schijven?

[MvL]

Voor belachelijk veel opslag.., oftewel mijn media bibliotheek.

Een hba met 24 poorten heb ik nog niet gevonden.

[FireDrunk]

Klopt, als snelheid niet super veel uitmaakt, kan je misschien beter naar een M1015 met een goede expander kijken. Intel heeft hele mooie expanders.

http://www.intel.com/cont...controller-res2sv240.html

Ook Chenbro heeft leuke:

http://www.chenbro.eu/corporatesite/products_line.php?pos=36

[MvL]

Bedankt voor de linkjes!

Waarschijnlijk zullen er wel meer vragen in mij opkomen. Dan meld ik mij weer. Zzz...

[analog_]

FireDrunk schreef op dinsdag 11 juni 2013 @ 22:35:
Klopt, als snelheid niet super veel uitmaakt, kan je misschien beter naar een M1015 met een goede expander kijken. Intel heeft hele mooie expanders.

http://www.intel.com/cont...controller-res2sv240.html

Ook Chenbro heeft leuke:

http://www.chenbro.eu/corporatesite/products_line.php?pos=36

Er was pas in het ZFS topic ook praat over die 40 port highpoint denk ik. Discussie was voor wie dat zinvol kon zijn, ik denk dat dat hier mogelijk het geval is. Was dacht ik nog geschikt voor software raid oplossingen dmv. lsi chipsets tralalala. Je kan ook naar 16 poorts lsi (of OEM HP/IBM) hbas zoeken, zijn wat zeldzamer.

[FireDrunk]

HighPoint is qua drivers weer een ramp, zelfs hun HBA's hebben smerige lob drivers (waarvan de source niet vrijgegeven is...) voor zover ik weet...

In theorie kan het vast werken, maar of je met een closed source driver wil zitten voor je storage...

----


Misschien leuk bericht voor de FreeNAS gebruikers:
In dit filmpje: YouTube: BSDCan 2013 Recap | TechSNAP 111 hoorde ik dat FreeNAS binnenkort met een FreeBSD 9 versie gaat komen.

Wat leuk is, is dat ze ondersteuning gaan bieden voor het maken van Jails op een desktop, welke je daarna kan 'publishen' naar je FreeNAS box

Dat klinkt wel heel tof! Het is geen echte virtualisatie, maar het komt zeker dicht in de buurt!
Als daar ook een format voor gaat komen, kunnen we redelijkerwijs verwachten dat de tools die veel mensen gebruiken (SabNZBd+, SickBeard, CouchPotato, TimeMachine zooi) allemaal ready to download komt, waar je alleen nog maar wat instelingen van hoeft te wijzigen, en daarna direct kan publishen!

[ Voor 61% gewijzigd door FireDrunk op 12-06-2013 09:37 ]

[analog_]

Xeon Haswell cijfers van servethehome.com. Zover ik weet de eerste?

Highpoint rocket 750 is degene waarover ik het had. Ik dacht dat hij $400 kostte maar voor $700 is het niet de moeite waard (ook niet in het windows-only-highpoint-fanboy-scenario).

16 poort LSI HBAs.

[ Voor 64% gewijzigd door analog_ op 12-06-2013 21:35 ]

[MvL]

Okay, zo Highpoint moet je dus niet gebruiken met Linux?

hmm, misschien is expander chassis wel wat...

[FireDrunk]

Die LSI kan je ook gewoon in nederland krijgen hoor.

pricewatch: LSI SAS 9201-16i

Twee van die, en je komt ook al een heel eind.

Externe JBOD chassis zijn ook niet goedkoop.

[HyperBart]

Hell no, die zijn zeker niet goedkoop .

Ik denk er nu nog soms aan om zoiets te bouwen, aangezien ik op termijn ooit 5 + 2 + (aantal nieuwe disks = minimaal 6) ga moeten kwijt geraken...

Maar ik vrees dat ik uiteindelijk gewoon voor een
http://www.supermicro.com...s/3U/836/SC836TQ-R500.cfm
of
http://www.fractal-design...roduct&category=9&prod=55 met een 2 x 5,25inch to 3 x 3,5 + 1 x 5,25 to 3,5 OF met http://www.newegg.com/Pro...aspx?Item=N82E16817121405
of
http://www.norcotek.com/i...goryid=1&modelno=rpc-4224

Het enige waar ik altijd mee twijfel is: Norco vs SuperMicro, die Norco's zijn naar wat ik gehoord heb nogal slecht afgewerkt en hebben scherpe randen... Nu ja, for what it's worth, ik ga waarschijnlijk die server niet zo vaak open doen, dus die scherpe randen zijn dan ook weer niet zo erg... SuperMicro is dan weer superdegelijk...

[MvL]

Het voordeel is natuurlijk wel van een LSI SAS 9201-16i dat één kanaal per hdd hebt en niks hoeft te delen. Hoeveel bandbreedte heb ik per kanaal? Even googlen...

Misschien moet ik dan een chassis met 16 hot swapable bays gebruiken en de sata aansluitingen op het moederbord naar een 5.25 to 2.5 enclosure brengen.

[MvL]

HyperBart schreef op woensdag 12 juni 2013 @ 22:25:
Hell no, die zijn zeker niet goedkoop .

Voor een NAS ben je ook zo 800-900 euro kwijt voor een 8 bay.

[HyperBart]

Edit post much?

Mja, maar dan ben je ineens ook wel gesettled... Nu gaat het alleen om de case plus connectiviteit naar buiten toe, dan denk je nog niet aan de core van de nas zelf, zut zoals mobo + cpu + geheugen + voeding enz.

[jacovn]

HyperBart schreef op woensdag 12 juni 2013 @ 22:25:
Het enige waar ik altijd mee twijfel is: Norco vs SuperMicro, die Norco's zijn naar wat ik gehoord heb nogal slecht afgewerkt en hebben scherpe randen... Nu ja, for what it's worth, ik ga waarschijnlijk die server niet zo vaak open doen, dus die scherpe randen zijn dan ook weer niet zo erg... SuperMicro is dan weer superdegelijk...

Slecht afgewerkt vind ik wel meevallen. Betrouwbaarheid is wat anders.
Ik heb 2x 4220, en 1 half dode backplane (cable errors op de hdd) en de andere was een SFF-8087 chassisdeel niet goed vastgesoldeerd (kapje zat compleet los)
Ik heb overigens gewoon 2 nieuwe gekregen van de importeur, dus de service is wel weer prima.

Wellicht kijken naar hun eigen lijn units ?

[Dennisik]

Zijn er meer mensen die een aantal weken terug de Toshiba 3TB HDD die zeer scherp geprijsd was besteld?

Die gene die de Toshiba 3TB HDD (PA4293E-1HN0) hebben besteld bij 4allshop al binnen?

[ Voor 38% gewijzigd door Dennisik op 14-06-2013 22:59 ]

[B2]

Welke case zouden jullie adviseren voor 12 3.5 disks en twee 2.5 disks? Moederbord is m-atx.
Heb nu een zelfbouw case, maar ik blijf problemen houden met disks die in faulted state gaan met zfs. Wil alle sff kabels, voeding e.d vervangen.

[Patatjemet]

Voor de mensen die een synology / qnap achtige behuizing zoeken voor een diy nas:



http://www.u-nas.com/xcar...ctid=17617&cat=249&page=1

Heerlijk voor een 8 disk raidz-2 (met 4 TB disks 24 TB usable) met mini itx board met 8 onboard (ASRock FM2A85X-ITX) of met een M1015.

[sloth]

Jammer dat er geen standaard ATX voeding in past, ziet er verder wel leuk uit
Zijn er al reviews van?

[Patatjemet]

Hier een build met deze case