:strip_exif()/u/70909/BlueKachina_60x60.gif?f=community)
Even niets...
Linux Windows kan wel, maar de Windows implementatie is niet zo heel goed, maar prima bruikbaar.
Op het werk hebben we zelfs een Windows NFS server
(goor he... 
)
Op het werk hebben we zelfs een Windows NFS server
(goor he... )
Even niets...
Ik ben me een beetje aan het oriënteren om een 4 tot 6-bay zelfbouw NAS te gaan maken en hoop dat jullie mij kunnen helpen met wat vragen.
De reden dat ik zelf een NAS wil bouwen is omdat ik de kant en klare NASsen die een beetje wat kunnen (Synology DS412+ of groter) te duur vind (500+ euro) en ik er maximaal 250 aan wil uitgeven.
De NAS komt in een gigabit netwerk te hangen en zal, naast als pure NAS te dienen ook mijn download-bakje worden (dus nzbget + sickbeard, etc) en zal dus ook moeten unpacken en parren.
Ik wil wel graag de afmetingen en het stroomverbruik binnen de perken houden, de minimale eisen zijn:
De reden dat ik zelf een NAS wil bouwen is omdat ik de kant en klare NASsen die een beetje wat kunnen (Synology DS412+ of groter) te duur vind (500+ euro) en ik er maximaal 250 aan wil uitgeven.
De NAS komt in een gigabit netwerk te hangen en zal, naast als pure NAS te dienen ook mijn download-bakje worden (dus nzbget + sickbeard, etc) en zal dus ook moeten unpacken en parren.
Ik wil wel graag de afmetingen en het stroomverbruik binnen de perken houden, de minimale eisen zijn:
- mini-itx
- minimaal 4x SATA
- minimaal 1x USB 3.0
- redelijke tot maximale performance over gigabit
- en uiteraard een zo laag mogelijke prijs
- In het geval van 4x SATA zou ik mn OS moeten booten en runnen van USB, heeft dit nog nadelen?
- Mini-ITX moederborden met > 4x SATA zijn er niet echt veel, de enige die ik heb kunnen vinden zijn de volgende ASUS moederborden:
- E35M1-I/E45M1-I serie (met een E-350/E-450 Zacate CPU)
- P8H77-I (socket 1155, dus met iets van een Celeron G530 of een Pentium G620 oid)
- Dit zijn helaas niet de meest zuinige moederborden, heeft iemand nog andere/zuinigere suggesties?
- Uitgaande van deze 2 moederborden, wat zouden de voor- en nadelen van de 1 of de ander zijn? Maakt de keuze voor een Zacate of een Sandy Bridge CPU überhaupt uit voor mijn doeleinden?
- Is het toch beter/handiger/voldoende om voor een tweedehands/vorige generatie kant en klare NAS te gaan?
:strip_icc():strip_exif()/u/180748/avatar%2520nieuw%252060x60.jpg?f=community){kind=avatar}
SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N
:strip_icc():strip_exif()/u/75828/sid.jpg?f=community)
Dat is mooi om te horen
OS weet ik nog niet, waarschijnlijk iets van FreeNAS/FreeBSD of gewoon lekker Linux (Arch in mijn geval), beide moeten wel vanaf USB te booten zijn lijkt me.
Ik zou evt een hardware RAID kaartje kunnen gebruiken, dan zijn de SATA connectors op het moederbord weer vrij om vanaf te booten. Denk alleen niet dat dat voor mijn gebruik veel oplevert kwa performance en het alleen maar de kosten en het verbruik verhoogt.
De specifieke moederborden die ik noemde zijn niet heel zuinig, dit is vaker zo bij ASUS moederborden, MSI en (in het geval van Intel-moederborden) Intel zijn inderdaad vaak een stuk zuiniger.
De intels hebben overigens max 4x SATA, maar vaak wel 1 of 2x e-sata.
Dat zou sowieso wel een oplossing kunnen zijn voor moederborden met 4x SATA om een vijfde/boot schijf aan te sluiten, de e-SATA weer naar binnenlussen (mits de e-SATA op een los "kanaal" zit).
De gebruikte LAN chipset op de AMD moederborden is zo te zien vaak een Realtek (de RTL8111E), maakt dit echt zo veel uit voor de performance in de praktijk? M.a.w. zijn die echt zo slecht?
Worst case zou ik dan als ik voor AMD kies er inderdaad nog een Intel Netwerkkaartje bij moeten prikken (+-20 euro).
Ik kwam nog de volgende moederborden tegen, allemaal met Intel NIC:
- Jetway NF99FL-525 met een Atom D525en 6x SATA
- Jetway NF9A-Q67, socket 1155, 6x SATA
- Jetway NC9B-HM67, socket 1155, 5x SATA (1x e-SATA)
- SuperMicro X7SPA-H, Atom D510+ICH9R, 6x SATA
- SuperMicro X7SPA-H-D525, Atom D525+ICH9R, 6x SATA
- SuperMicro C7Q67, socket 1155, 6x SATA, 2x USB3.0
- SuperMicro X9SCV-Q, socket G2 (Sandy Bridge mobile), 6x SATA
Aantal TB en exacte disk- en RAID-config ben ik nog niet helemaal uit, denk in eerste instantie 4x 3TB in Raid5 (dus effectief 9TB) of evt RAID6 (dus effectief 6TB).
Wat betreft CPU-load klinkt het goed
Die 10%-grens is dus echt de max die je ooit gehad hebt? Dat was dan waarschijnlijk ook bij unpacken/parren?
[ Voor 7% gewijzigd door aaahaaap op 02-04-2012 13:26 ]
:strip_exif()/u/29037/sousuke02a.gif?f=community)
Ik kan me herinneren dat het alsnog via samba gaat, omdat windows alleen het samba protocol gaat?:
Linux Windows kan wel, maar de Windows implementatie is niet zo heel goed, maar prima bruikbaar.
Op het werk hebben we zelfs een Windows NFS server
Die fluctuerende snelheid van samba is echt bagger. Net 86MB/s nu 14MB/s
Moet morgen 2TB overpompen, dat word nog leuk dan.
Zal volgende week ergens, wanneer ik tijd heb dat NFS is eens proberen.
Het klinkt iig wel erg goed, als ik zo de tests lees van verschillende mensen.
Anders FTP, dat zou ook nog wel goed kunnen.
Zo te zien gaat samba nu weer omhoog, het blijft iig een gaar protocol.
[ Voor 8% gewijzigd door Dennisik op 02-04-2012 20:50 ]
:strip_exif()/u/264081/crop56d6d27c03d80_cropped.gif?f=community)
vCenter heb je helemaal niet nodig met 1 host, dus die kan je schrappen. Er zijn bij ESXi5 geen dingen die je kan met vCenter die je op een single host niet kan (die in mijn ogen van belang zijn).
W2K8R2 doet het prima met 2GB geheugen in een share ESXi omgeving (Transparant Page sharing zorgt wel voor weinig geheugen gebruik). Dus dat is ook niet echt veel. ZFSguru is natuurlijk een lastige, en afhankelijk van de snelheid die je wil, kan je meer geheugen toevoegen, maar 8GB is in mijn ogen zat.
Dan zit je krap in de 16GB als je ook nog wat test VM's wil.
Het is dus even de afweging of je ECC RDIMM, UDIMM of zelfs helemaal geen ECC wil draaien, want dan heb je een heel andere setup nodig (Server bord vs Desktop bord). Als je er echt geld aan uit wil geven, bedank dan goed wat de eisen moeten zijn, en bedenk niet zomaar een mooi systeem, want dat kan iedereen
W2K8R2 doet het prima met 2GB geheugen in een share ESXi omgeving (Transparant Page sharing zorgt wel voor weinig geheugen gebruik). Dus dat is ook niet echt veel. ZFSguru is natuurlijk een lastige, en afhankelijk van de snelheid die je wil, kan je meer geheugen toevoegen, maar 8GB is in mijn ogen zat.
Dan zit je krap in de 16GB als je ook nog wat test VM's wil.
Het is dus even de afweging of je ECC RDIMM, UDIMM of zelfs helemaal geen ECC wil draaien, want dan heb je een heel andere setup nodig (Server bord vs Desktop bord). Als je er echt geld aan uit wil geven, bedank dan goed wat de eisen moeten zijn, en bedenk niet zomaar een mooi systeem, want dat kan iedereen
Even niets...
:strip_icc():strip_exif()/u/139376/27e.jpg?f=community)
vCenter is way overkill idd. Echter kan het in sommige situaties best ahndig zijn, b.v. met backuppen etc..
Wil je toch vCenter neem dan de Appliance.
Updaten van 1 host doe handmatig je via de CLi.
Bij virtualiseren niet besparen op geheugen! Minimaal 8GB (en dat is krap bij 2+ VMs). Je wil niet dat ESXi gaat swappen!
Wil je toch vCenter neem dan de Appliance.
Updaten van 1 host doe handmatig je via de CLi.
Bij virtualiseren niet besparen op geheugen! Minimaal 8GB (en dat is krap bij 2+ VMs). Je wil niet dat ESXi gaat swappen!
:
vCenter heb je helemaal niet nodig met 1 host, dus die kan je schrappen. Er zijn bij ESXi5 geen dingen die je kan met vCenter die je op een single host niet kan (die in mijn ogen van belang zijn).
W2K8R2 doet het prima met 2GB geheugen in een share ESXi omgeving (Transparant Page sharing zorgt wel voor weinig geheugen gebruik). Dus dat is ook niet echt veel. ZFSguru is natuurlijk een lastige, en afhankelijk van de snelheid die je wil, kan je meer geheugen toevoegen, maar 8GB is in mijn ogen zat.
Dan zit je krap in de 16GB als je ook nog wat test VM's wil.
Het is dus even de afweging of je ECC RDIMM, UDIMM of zelfs helemaal geen ECC wil draaien, want dan heb je een heel andere setup nodig (Server bord vs Desktop bord). Als je er echt geld aan uit wil geven, bedank dan goed wat de eisen moeten zijn, en bedenk niet zomaar een mooi systeem, want dat kan iedereen
They call her... c*ck juggeling Thunderc*nt!
Solaredge SE8K - 8830Wp - 15 x Jinko Solar N-type 420Wp - 2x Jinko Solar 405Wp - 4x Jinko Solar N-type 430 & Hoymiles HMS800 + 2x JASolar 375Wp
Maar een -S versie is weer niet zo nuttig, vandaar de 2500
Bang voor buck met VT-d is het hoogst
Bang voor buck met VT-d is het hoogst
Even niets...
bedoel je vanwege het aantal Ghz?:
Maar een -S versie is weer niet zo nuttig, vandaar de 2500
Bang voor buck met VT-d is het hoogst
Ik wilde performance maar ook zuinigheid combineren, vandaar voor mij de keus
[ Voor 13% gewijzigd door Meauses op 04-04-2012 20:39 ]
Solaredge SE8K - 8830Wp - 15 x Jinko Solar N-type 420Wp - 2x Jinko Solar 405Wp - 4x Jinko Solar N-type 430 & Hoymiles HMS800 + 2x JASolar 375Wp
Verwijderd
@dylan: socket 1366 is end-of-life; oude core i7 toch? de nieuwere zijn gewoon 1155 en die raakt binnenkort EOL als 1150 uitkomt zodra Haswell zijn intrede doet... mits ik het allemaal goed heb begrepen. 
Ik heb trouwens een gelekte PDF van de nieuwe SuperMicro bordjes, of staan deze inmiddels al op de site?
De performance-per-watt van CPUs is beter op een lagere kloksnelheid. Dus op 1GHz levert een chip misschien de beste performance per watt, terwijl je vanaf 2 - 3GHz steeds meer warmte/voltage nodig hebt voor bescheiden winsten. Het verschil tussen de ivy bridge 45W quadcore en 77W quadcore is een verschil van 2.5 naar 3.5. Dat is ook met alle threads belast; single threaded kom je bijna aan dezelfde cijfers.
Kortom, net zoals met auto's bereik je op een gegeven moment een punt waarbij het verhogen van de clock naar verhouding steeds meer energie gaat verbruiken. Als je software draait die langdurig op 100% draait, kan het nuttig zijn om een lagere TDP CPU te gebruiken.
Bedenk ook dat TDP niet zozeer om stroomverbruik gaat maar om thermische aspecten. Zo betekent 45W dat je hem passief kunt koelen en geen ventilator nodig hebt met een goede passieve koeloplossing. Lage TDP chips zou ik zeker niet marketing willen noemen. Eerder een afweging. Kleine behuizingen of superstille systemen willen graag een lage TDP processor.
Voor 24/7 fileservers is het veel minder interessant. Normaliter drop je naar idle en heb je alleen pieken in stroomverbruik wanneer je echt wat aan het doen bent. Daarbij komt dat een snellere CPU sneller klaar is en dus sneller naar idle mode gaat. Daarom kun je ook van task energy spreken: hoe lang je er ook over doet, hoeveel stroom kost het om X hoeveelheid werk te verrichten, zoals een film transcoden ofzo of met SABnzbd+ vanalles parren. Een hoge TDP chip kan eenzelfde task energy hebben.
Ik zelf kijk uit naar de Ivy Bridge 3770T met 45W, terwijl ik een 3770K neem voor desktop/gaming. Dit stelt mij in staat om een quadcore met 32GB te combineren met 0dB geluidsproductie, 15W idle power en gemonteerd onder mijn bureau vrijwel onzichtbaar. Pics komen vast nog wel eens. In feite zet ik mijn ZFS server en workstations allemaal onder mijn buro tegen het buroblad vast, met iets van 10-12 centimeter hoogte prima te doen. En 100% passief gekoeld en afgesloten. Geen stof, geen lawaai, niets.
Oh en kijk even hoe stoer die 3770T schaalt voor single-threaded workloads. Slechts 200MHz langzamer dan de 3770K: http://www.xbitlabs.com/i...bridge_specifications.png
Ik heb trouwens een gelekte PDF van de nieuwe SuperMicro bordjes, of staan deze inmiddels al op de site?
Als ik dat mag wat nuanceren:
De performance-per-watt van CPUs is beter op een lagere kloksnelheid. Dus op 1GHz levert een chip misschien de beste performance per watt, terwijl je vanaf 2 - 3GHz steeds meer warmte/voltage nodig hebt voor bescheiden winsten. Het verschil tussen de ivy bridge 45W quadcore en 77W quadcore is een verschil van 2.5 naar 3.5. Dat is ook met alle threads belast; single threaded kom je bijna aan dezelfde cijfers.
Kortom, net zoals met auto's bereik je op een gegeven moment een punt waarbij het verhogen van de clock naar verhouding steeds meer energie gaat verbruiken. Als je software draait die langdurig op 100% draait, kan het nuttig zijn om een lagere TDP CPU te gebruiken.
Bedenk ook dat TDP niet zozeer om stroomverbruik gaat maar om thermische aspecten. Zo betekent 45W dat je hem passief kunt koelen en geen ventilator nodig hebt met een goede passieve koeloplossing. Lage TDP chips zou ik zeker niet marketing willen noemen. Eerder een afweging. Kleine behuizingen of superstille systemen willen graag een lage TDP processor.
Voor 24/7 fileservers is het veel minder interessant. Normaliter drop je naar idle en heb je alleen pieken in stroomverbruik wanneer je echt wat aan het doen bent. Daarbij komt dat een snellere CPU sneller klaar is en dus sneller naar idle mode gaat. Daarom kun je ook van task energy spreken: hoe lang je er ook over doet, hoeveel stroom kost het om X hoeveelheid werk te verrichten, zoals een film transcoden ofzo of met SABnzbd+ vanalles parren. Een hoge TDP chip kan eenzelfde task energy hebben.
Ik zelf kijk uit naar de Ivy Bridge 3770T met 45W, terwijl ik een 3770K neem voor desktop/gaming. Dit stelt mij in staat om een quadcore met 32GB te combineren met 0dB geluidsproductie, 15W idle power en gemonteerd onder mijn bureau vrijwel onzichtbaar. Pics komen vast nog wel eens. In feite zet ik mijn ZFS server en workstations allemaal onder mijn buro tegen het buroblad vast, met iets van 10-12 centimeter hoogte prima te doen. En 100% passief gekoeld en afgesloten. Geen stof, geen lawaai, niets.
Oh en kijk even hoe stoer die 3770T schaalt voor single-threaded workloads. Slechts 200MHz langzamer dan de 3770K: http://www.xbitlabs.com/i...bridge_specifications.png
[ Voor 9% gewijzigd door Verwijderd op 04-04-2012 21:06 ]
45W passief kan wel, maar dan moet je wel wat airflow hebben. Onder een bureau gaat dat denk ik niet goed hoor
Even niets...
Dat geloof ik graag, de huidige cpu's zijn tegenwoordig niet meer van die grootverbruikers (op enkele na).
Maar deze kostte me minder dan een 2500 en het idee van een lager TDP geeft me toch het gevoel goed bezig te zijn voor de natuur (ook wat waard toch?
)
Solaredge SE8K - 8830Wp - 15 x Jinko Solar N-type 420Wp - 2x Jinko Solar 405Wp - 4x Jinko Solar N-type 430 & Hoymiles HMS800 + 2x JASolar 375Wp
Die 10% moet ik even corrigeren, hij is nu een Blu ray film aan het repareren in Sabnzbd en zo'n 150GB aan het kopieren via samba. En hij schommelt nu rond de 50% CPU usage, geheugen zo rond de 20 a 30%:
[...]
Aantal TB en exacte disk- en RAID-config ben ik nog niet helemaal uit, denk in eerste instantie 4x 3TB in Raid5 (dus effectief 9TB) of evt RAID6 (dus effectief 6TB).
Wat betreft CPU-load klinkt het goed
Die 10%-grens is dus echt de max die je ooit gehad hebt? Dat was dan waarschijnlijk ook bij unpacken/parren?
Maar dan nog doet deze CPU die slechts 4 tientjes het prima.
Bedenk me net dat ik een G530 heb draaien
Excuses, De G620 kwam mij bekend voor ik zat daar ook tussen te twijfelen. Enkel het verschil tussen de G620 en G530 was nihiel, klok snelheid ging over paar tiende. Terwijl het prijs verschil percentueel vrij groot was. Iets van 20% meer, vandaar de G530 gekozen.
Staan gewoon op de website::
[...]
Gimme gimme gimme
http://www.supermicro.nl/products/nfo/Xeon_X9_E5.cfm?pg=MB
Dus ik zou echo 1024 > /sys/block/sdb/queue/read_ahead_kb uit moeten zetten?
En zo ja hoe doe je dat eigenlijk
?
:strip_icc():strip_exif()/u/141265/soulrider.jpg?f=community)
:strip_exif()/u/396800/D-_3427da0a9c293b63f2a66dea2e642102.gif?f=community)
MSDN: Windows 8 SMB 2.2 File Sharing Performance
Stukje over Multiple TCP Sessions!
Eindelijk mogelijkheid om je 1 en 10Gb interfaces vol te duwen!
Stukje over Multiple TCP Sessions!
Eindelijk mogelijkheid om je 1 en 10Gb interfaces vol te duwen!
Even niets...
Zo, men array krijgt het wel knap lastig nu . Ik heb net de thuispc van men ouders onder de vleugels van men Avamar Virtual Edition gestoken en bij de initiële backup is gewoon browsen van de data array er niet meer bij.
Misschien toch maar eens kijken naar het opsplitsen van ESX datastore en userdata. Zijn er hier toevallig mensen die die practice toepassen?
. Ik heb net de thuispc van men ouders onder de vleugels van men Avamar Virtual Edition gestoken en bij de initiële backup is gewoon browsen van de data array er niet meer bij.Misschien toch maar eens kijken naar het opsplitsen van ESX datastore en userdata. Zijn er hier toevallig mensen die die practice toepassen?
Ik heb een testje gedaan met de verschillende stripe_cache_sizes en read ahead en dit waren mijn resultaten:
En sneller wilt die niet
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
| 512: 200MB/s 1024: 220MB/s 2048: 242MB/s 4096: 277MB/s 8192: 271MB/s 16384:265MB/s 32768:275MB/s Read Ahead: 1536: 258MB/s 2048: 267MB/s 4096: 269MB/s 8192: 268MB/s 16384: 268MB/s 32768: 265MB/s 65536: 279MB/s |
En sneller wilt die niet
:strip_exif()/u/8077/jerney.gif?f=community)
Unix doesn't prevent a user from doing stupid things, because that would necessarily prevent them from doing brilliant things.
while true ; do echo -n "bla" ; sleep 1 ; done
:strip_icc():strip_exif()/u/96747/gnu_linux_poster_60.jpg?f=community)
Interessant artikel!:
MSDN: Windows 8 SMB 2.2 File Sharing Performance
Stukje over Multiple TCP Sessions!
Eindelijk mogelijkheid om je 1 en 10Gb interfaces vol te duwen!
<hier stond onzin
>
[ Voor 15% gewijzigd door webfreakz.nl op 07-04-2012 02:27 ]
"You smell that, son? What sir? Napalm, I love the smell of napalm in the mornin!" || Children of Bodom fan!
Heb hem aangemeld bij Mycom.nl en is geaccepteerd kan hem dus RMA sturen, en krijg volgens mij dan een nieuwe.
Zie alleen dat hij er nu beter aan toe is:
Nu nog steeds RMA opsturen, ondanks dat de Read Error Rate nu niet gefaild is en hij nu 43 bad sectors heeft?
Ben nu iig een lang format aan het doen in Windows, dat zal wel even duren.
Ga hem btw gebruiken in Linux 11.10, op lange termijn ook in MDADM.
[ Voor 11% gewijzigd door Dennisik op 07-04-2012 11:40 ]
:strip_exif()/u/340453/crop67a669ce4f1f4_cropped.webp?f=community)
Hi
Zoek even in dit topic (óf Het grote ZFS topic )op posts van de gebruiker "CiPHER", hij heeft een keer _zeer_ uitgebreid uitgelegd over het hoe en wát omtrent het expanden van een bestaande ZFS pool (met FreeNAS).
[ Voor 3% gewijzigd door webfreakz.nl op 10-04-2012 20:30 ]
"You smell that, son? What sir? Napalm, I love the smell of napalm in the mornin!" || Children of Bodom fan!
:strip_icc():strip_exif()/u/43505/elvis_60.jpg?f=community)
A real man fears not mortality for it's death, he fears mortality for it's lack of life!
RatPack #814
FreeNAS en LVM? Dan zit je ook vast aan de 'oude' RAID engine van FreeNAS?
(hoe heette het ook alweer )
(hoe heette het ook alweer
)
Even niets...
Ja de foto is ruk maar de belichting in mijn kamer is ditto
RPC-230 en RPC-2208 vers uit de doos. De 2208 moet mijn NAS gaan herbergen die nu in een Fractal case staat. Ik hoop van harte dat mijn NAS erin past
. Het overbouwen zal pas voor dit weekend zijn want ik moet nog kabels trekken naar de zolder, de juiste SFF kabel kopen (vergeten bij te bestellen bij ri-vier) een 19" switch versieren en een PDU plaatsen.
Avamar vind het niet leuk om zomaar zonder datastore te zitten dus moet ik eerst mijn ESX clean afsluiten en dan aan de NAS beginnen eens alles klaar ligt.
offtopic:
Internal affairs. Ik vond 'em ook niet meer terug op de website en powerlink. Geen idee waarom hij eraf gehaald is.
Internal affairs
. Ik vond 'em ook niet meer terug op de website en powerlink. Geen idee waarom hij eraf gehaald is.:strip_icc():strip_exif()/u/3454/i486.jpg?f=community)
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Dat komt omdat een Expander niet werkt zonder controller. Als jij begint over een Expander, gaan wij ervan uit dat jij weet dat je daar een controller voor nodig hebt
Even niets...
Dan heb ik me dus (zoals ik al dacht) verkeerd uitgedrukt.:
Dat komt omdat een Expander niet werkt zonder controller. Als jij begint over een Expander, gaan wij ervan uit dat jij weet dat je daar een controller voor nodig hebt
Heb ik het dan juist als ik zeg dat ik enkel de M1015 kan aanschaffen, en daarmee 8 extra poorten krijg?
Als de techniek gaat falen is het natuurlijk nooit goed Mijn advies is ook alleen maar dat het een prima oplossing is an sich, ik zou sowieso voor meer controllers gaan, dat is en zuiniger, en sneller inderdaad.
P5K-E staat er volgens mij wel bekend om, om een tikkie kieskeurig te zijn...
Mijn advies is ook alleen maar dat het een prima oplossing is an sich, ik zou sowieso voor meer controllers gaan, dat is en zuiniger, en sneller inderdaad.P5K-E staat er volgens mij wel bekend om, om een tikkie kieskeurig te zijn...
Even niets...
:strip_icc():strip_exif()/u/55696/crop66942ced176a1_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/183558/DJ.jpg?f=community)
Solaredge SE8K - 8830Wp - 15 x Jinko Solar N-type 420Wp - 2x Jinko Solar 405Wp - 4x Jinko Solar N-type 430 & Hoymiles HMS800 + 2x JASolar 375Wp
Verwijderd
Een expander heeft vrijwel per definitie meer front-end bandbreedte dan back-end bandbreedte. Je kunt dus nooit dedicated I/O hebben per disk. Afgezien van de bandbreedte betekent een extra laag/chip waar alle I/O doorheen moet dat alle I/O een hogere latency krijgt, maar dat is nog het minste probleem van expanders.
Dat geldt zeker niet voor alle expanders; op HardOCP is de HP SAS expander het populairst, en daar zijn heel wat problemen mee gemeld. Zoals als je SATA/300 schijven hebt, dan werkt je expander ook op SATA/300 snelheid. Als er betere SAS expanders bestaan prima, maar deze belangrijke beperking mag wel vermeld worden voor iemand die op zoek gaat naar een expander.
Een van de vele nadelen bedoel je. De véél hogere aanschafprijs, lagere performance, hoger energieverbruik en probleemgevoelige techniek (lees even op HardOCP over alle expander problemen) maken dat expanders enorm veel nadelen kennen.
Bij ZFS in het bijzonder is de performancedegradatie enorm. Dat komt, zoals eerder uitgelegd, over het feit dat ZFS veel meer I/O requests stuurt dan bijvoorbeeld RAID5. Waar RAID5 blokken van 128K opvraagt per disk, zal ZFS zeker bij RAID-Z veel kleinere I/O sturen. De vertraging door gebruik van expanders neemt hiermee veel meer toe dan wanneer je normaal Linux RAID5 zou gebruiken, of FlexRAID, wat uitstekend geschikt is voor expanders en vrijwel geen performanceverlies kent. Bij ZFS is dat heel anders.
Ook komen er bugs aan het licht die alleen bij ZFS lijken voor te komen. Zo stuurt ZFS soms heel veel FLUSH BUFFER commando's, waardoor de HP SAS expander zou trippen. Dergelijke bugs zijn met normaal Linux software RAID niet aan het licht gekomen.
Op HardOCP anders aardig wat threads geweest waarbij ZFS-gebruikers die Expanders hadden, eigenlijk 1000MB/s+ moesten halen, maar door de expander een factor 10 lagere performance haalde, onder de 100MB/s.
Het vervelende van expanders is dat dit het grootste nadeel van RAID-Z blootlegt; alle I/O wordt verspreid over alle disks, wat niet bij RAID5 gebeurt! Daarom is RAID-Z meer zoals RAID3 wat dezelfde eigenschap heeft. Er bestaat geen read-modify-write. Dat betekent wel dat als schijf5 de I/O pas na 10ms klaar heeft en schijf1 al na 1ms, dat het geldt alsof alle schijven een 10ms latency hadden. Dit is bij RAID5 zeker niet het geval.
Met FIS-based switching (SATA port multipliers) zou het in principe even goed (of even slecht) als SAS expanders moeten werken.
Ging toch om dat ze daar hun stroom vandaan halen? Zoals je weet vreten Expanders heel wat stroom. Meer dan een Brazos server met 8GB RAM.
Vertel! Deel je inzichten waarom expanders volgens jou wél geschikt zijn. Misschien is het handig om hierbij configuraties als FlexRAID, Linux software RAID en ZFS apart te beoordelen. ZFS komt van alle drie natuurlijk het slechtste (of minst goede) uit de bus.
Met andere woorden: probeer mij eens te overtuigen waarom expanders nuttig zijn? Als ik even ongenaunceerd mag zijn: het zijn klotedingen! Geen enkele reden om aan te schaffen; alleen als je een verkeerde moederbordkeuze hebt gemaakt en geen nieuw moederbord wilt aanschaffen. Prove me wrong! Laat een situatie zien waarin Expanders nuttig en financiëel verantwoord zijn.
Duidelijk mag zijn dat ik vooralsnog absoluut niet overtuigd ben van het nut van expanders. Niet voor ZFS en ook niet voor andere opstellingen. Hoofdelement hierbij is de prijs; als je nou extra SAS/SATA poorten kunt creëren voor de helft van de prijs, maar zelfs dat is niet waar; het is gewoon f*cking duurder. Dus je geeft extra geld uit voor een langzamer, probleemgevoeliger en energieverslindender alternatief. Waarom?
Ik sta open voor goede argumenten.
Hoewel ik het helemaal met je eens ben, vraag ik me eerlijk gezegd af waarom je ZFS en MD zou willen scheiden? Ze lezen toch evenveel van een disk? Een full stripe is bij ZFS zelfs van een variabele grootte, en bij MD van een vaste grootte, daardoor zou MD er zelfs meer last van hebben als die IO('s) te traag aankomen.
Edit:
Net een vreemd probleempje. Na het bijplaatsen van een extra SSD (naast mij boot ssd) vond MD dat er een disk miste uit mijn RAID6 array, en gaf vrolijk aan dat deze dus degraded was.
Dit terwijl de SSD aan het einde van de rit erbij is gekomen (/dev/sdj).
Een cat /proc/partitions leerde mij dat gewoon alle disks online waren, en er dus geen enkele reden was om de disk niet te attachen (aangezien er nergens in de logging melding van een fout gemaakt werd).
mdadm /dev/md0 --add /dev/sda (de missende disk) en hij is vrolijk aan het rebuilden.
Ook nog maar even de minimale rebuild snelheid aangepast, aangezien 1000KB/s (de default) mij te langzaam is. Hij doet nu 55-65MB/s.
Vreemd verhaal meneer MD / CentOS
Lang leve een bitmap!
En klaar
Edit:
Net een vreemd probleempje. Na het bijplaatsen van een extra SSD (naast mij boot ssd) vond MD dat er een disk miste uit mijn RAID6 array, en gaf vrolijk aan dat deze dus degraded was.
Dit terwijl de SSD aan het einde van de rit erbij is gekomen (/dev/sdj).
Een cat /proc/partitions leerde mij dat gewoon alle disks online waren, en er dus geen enkele reden was om de disk niet te attachen (aangezien er nergens in de logging melding van een fout gemaakt werd).
mdadm /dev/md0 --add /dev/sda (de missende disk) en hij is vrolijk aan het rebuilden.
Ook nog maar even de minimale rebuild snelheid aangepast, aangezien 1000KB/s (de default) mij te langzaam is. Hij doet nu 55-65MB/s.
Vreemd verhaal meneer MD / CentOS
Every 2.0s: cat /proc/mdstat Sat Apr 14 16:52:23 2012
Personalities : [raid6] [raid5] [raid4]
md0 : active raid6 sda[5] sde[1] sdf[0] sdh[6] sdg[7] sdb[3] sdd[4] sdc[2]
11721080064 blocks super 1.2 level 6, 128k chunk, algorithm 2 [8/7] [UUUUU_UU]
[=============>.......] recovery = 65.8% (1285625524/1953513344) finish=213.2min speed=52204K/sec
bitmap: 8/15 pages [32KB], 65536KB chunk
unused devices: <none>
Lang leve een bitmap!
En klaar
[ Voor 76% gewijzigd door FireDrunk op 14-04-2012 17:03 ]
Even niets...
Sorry ik ga je post een beetje mixen ... en dit is niet om jou te overtuigen, er worden genoeg servers uitgeleverd met sasexpanders om te bewijzen dat het een stabiele oplossing is. Dat er geen rotte appels tussen zitten hoor je mij niet zeggen. Dat het goedkoper is hoor je mij ook niet zeggen en dat je geen goed moederbord moet kopen met genoeg pcie lanes is ook iets wat je mij niet hoort zeggen. Sterker nog men zegt dat ik daarin overdrijf
Dus nee de sata oplossing is absoluut een bottleneck terwijl een sas2 expander met de huidige hd snelheden dat niet hoeft te zijn
Dat is ook allemaal kommer en kwel?
Ik bedoel de thumper maar er zijn er nog meer als ik het mij goed herinner
De meeste das dozen zijn voorzien van een expander.
een voorbeeld buiten de genoemde oudere sun servers(laatst bij oracle op de site gekeken en ik zag ze niet meer staan) Ik had een supermicro voorbeeld willen geven maar hun website was wat traag.... inmiddels wat sneller ...
p.s. Op een bepaald moment begeef je je buiten de gebaande paden en dan word het duur, meer dan 16 sas2 lanes en 6 x sata3 betekend de buidel open trekken. Overigens een nette oplossing om 16 x 3,5" schijven weg te werken plus 4 x ssd cache plus 2 x OS ssd's zal ook niet goedkoop zijn.
En dan heb ik het nog niet eens over de prijzen van de schijven. En heb ik het ook nog niet over een expander gehad en moet je ook nog een aantal extra gbit poortjes aan het ding hangen of infinband of fiberchannel.
En dan mag je mij vertellen welk moederbord genoeg pcie lanes heeft om deftige connectie naar buiten plus meer dan 2 x 8 poorts sas2 controllers aan te sturen.
Een sas expander is zoals een oude telefooncentrale, en verbind een willekeurige controller lane aan een willekeurige schijf(of iets anders)
Dus nee de sata oplossing is absoluut een bottleneck terwijl een sas2 expander met de huidige hd snelheden dat niet hoeft te zijn
ga je nu alle expanders afkraken op de ervaring van een expander? Als de controller met de sata150 schijf praat is die lane van de sas2 controller inderdaad sata150 de rest van de expander en controller praten dan nog met sas2(mits de andere apparaten dat natuurlijk ondersteunen)
Heb je daar links van ik zoek net op expander bij hardocp forum en ik zie geen topic met problemen.
En jij denkt dat de verschillende sun bakken met meer dan 8 hd mogelijkheden geen expanders bevatten?
Dat is ook allemaal kommer en kwel?
Ik bedoel de thumper maar er zijn er nog meer als ik het mij goed herinner
En geef mij eens een goede reden om een pcie slot gebruiken om stroom vandaan te halen terwijl er een voeding of meerdere voedingen in een computer zitten met stekkers waar je prik uit kan halen. Overigens word er door sommige expanders inline informatie uitgewisseld naar de controller naar de pc of soms via een extra i2c verbinding.
Als je meer dan 16 sas2 poorten nodig hebt en dus waarschijnlijk ook een backplane nodig hebt en pc kast waar dat allemaal inpast zit je al heel gauw op iets met expander.[...]
Vertel! Deel je inzichten waarom expanders volgens jou wél geschikt zijn. Misschien is het handig om hierbij configuraties als FlexRAID, Linux software RAID en ZFS apart te beoordelen. ZFS komt van alle drie natuurlijk het slechtste (of minst goede) uit de bus.
Met andere woorden: probeer mij eens te overtuigen waarom expanders nuttig zijn? Als ik even ongenaunceerd mag zijn: het zijn klotedingen! Geen enkele reden om aan te schaffen; alleen als je een verkeerde moederbordkeuze hebt gemaakt en geen nieuw moederbord wilt aanschaffen. Prove me wrong! Laat een situatie zien waarin Expanders nuttig en financiëel verantwoord zijn.
Duidelijk mag zijn dat ik vooralsnog absoluut niet overtuigd ben van het nut van expanders. Niet voor ZFS en ook niet voor andere opstellingen. Hoofdelement hierbij is de prijs; als je nou extra SAS/SATA poorten kunt creëren voor de helft van de prijs, maar zelfs dat is niet waar; het is gewoon f*cking duurder. Dus je geeft extra geld uit voor een langzamer, probleemgevoeliger en energieverslindender alternatief. Waarom?
Ik sta open voor goede argumenten.
De meeste das dozen zijn voorzien van een expander.
een voorbeeld buiten de genoemde oudere sun servers(laatst bij oracle op de site gekeken en ik zag ze niet meer staan) Ik had een supermicro voorbeeld willen geven maar hun website was wat traag.... inmiddels wat sneller ...
p.s. Op een bepaald moment begeef je je buiten de gebaande paden en dan word het duur, meer dan 16 sas2 lanes en 6 x sata3 betekend de buidel open trekken. Overigens een nette oplossing om 16 x 3,5" schijven weg te werken plus 4 x ssd cache plus 2 x OS ssd's zal ook niet goedkoop zijn.
En dan heb ik het nog niet eens over de prijzen van de schijven. En heb ik het ook nog niet over een expander gehad en moet je ook nog een aantal extra gbit poortjes aan het ding hangen of infinband of fiberchannel.
En dan mag je mij vertellen welk moederbord genoeg pcie lanes heeft om deftige connectie naar buiten plus meer dan 2 x 8 poorts sas2 controllers aan te sturen.
In de EMC arrays worden ook expanders gebruikt en daar gaan meerdere shelfs met 15 disks elk over 1 SAS kabel en ik hoor niemand klagen dat zijn 15k FC disken te traag zijn.
Expanders hebben wel degelijk nut, maar ze moeten op de juiste manier/plaats toegepast worden.
Intussen kan ik mijn NAS niet overbouwen naar mijn nieuwe Norco omdat ik in mijn enthousiasme een SFF8087-SFF8087 kabel ben vergeten te bestellen. Probeer dat maar eens in de buurt te vinden voor een snelle pickup. Misschien toch maar eens een bestellingkje doen bij Alternate en de kabel erbij nemen.
Dat de Intel koeler in een 2U past was al bevestigd, maar een AM2 stock koeler wordt wel spannend. (misschien toch maar direct van de gelegenheid gebruik maken om mijn AM2 setup te vervangen door een zuinige pentium.)
Expanders hebben wel degelijk nut, maar ze moeten op de juiste manier/plaats toegepast worden.
Intussen kan ik mijn NAS niet overbouwen naar mijn nieuwe Norco omdat ik in mijn enthousiasme een SFF8087-SFF8087 kabel ben vergeten te bestellen. Probeer dat maar eens in de buurt te vinden voor een snelle pickup
. Misschien toch maar eens een bestellingkje doen bij Alternate en de kabel erbij nemen.Dat de Intel koeler in een 2U past was al bevestigd, maar een AM2 stock koeler wordt wel spannend
. (misschien toch maar direct van de gelegenheid gebruik maken om mijn AM2 setup te vervangen door een zuinige pentium.)
Ben bezig om een grote nas te bouwen, kom ik op deze nas terecht, duidelijk een backblaze aanpak met 72 schijven in 1 4u kast met ZFS /VM etc
Ik was ervan onder de indruk
http://www.sgi.com/products/storage/modular/server.html
Ik was ervan onder de indruk
http://www.sgi.com/products/storage/modular/server.html
Ik hoop dan dat het 4x 4 cores is anders.... ietsje teveel voor thuis,
Per TB opslag zal het wel meevallen toch?
Per TB opslag zal het wel meevallen toch?
"You smell that, son? What sir? Napalm, I love the smell of napalm in the mornin!" || Children of Bodom fan!