Het grote DIY RAID NAS topic deel 3

[victorb]

Lightstar ik heb nog wel 5x500gb 7200rpm speciale prijs voor je 1000 Euro!!

[FireDrunk]

@LightStar, best een zware voeding? Waarom heb je daarvoor gekozen?

[LightStar]

FireDrunk schreef op dinsdag 03 juli 2012 @ 15:21:
@LightStar, best een zware voeding? Waarom heb je daarvoor gekozen?

530w valt mee toch ? Waarom omdat ik er min 8 hdd's aanhang.

[Astennu]

LightStar schreef op dinsdag 03 juli 2012 @ 17:50:
[...]


530w valt mee toch ? Waarom omdat ik er min 8 hdd's aanhang.

Ik denk dat je aan 150 meer dan genoeg hebt. PSU's vinden het niet leuk om lage load te draaien dan kun je rond de 70% efficientie uit komen. Misschien is het interessant om naar een Pico PSU te kijken.

---

Zijn er hier mensen die ervaring hebben met een zefl bouw nas Raid 5 met de onboard ICH of SBx50 controllers? Ik weet dat het software is. En het relatief traag is tov hardware oplossingen. Maar het is wel betaalbaar.

Ik zit te denken aan een 5 disk 2 TB Raid5. Nadeel is dat 2 van mijn Seagate geen powers 4K disks blijken te zijn. Dus daar zit ik ook al met een verschil. Maar ik heb begrepen dat dit moet werken.

Daarnaast vraag ik me ook af of deze controllers vollume expand kennen. Ik gok van niet. Maar het lijkt me wel handig dan kun je met 4 beginnen en 6TB storrage later naar 5 gaan en dus 8TB.

Maar de prestaties van de SB850 lijken niet al te best. En in het verleden had ik niet veel succes met Raid 5 op de intel controller. Prestaties waren wel goed maar regelmatig viel een van de Western digitals uit de array en dan zat je met giga lange rebuild times. En daar heb ik dus geen zin in.

Ik ben nog aan het zoeken maar er zijn maar weinig mensen die zo veel disks via zo'n controller gebruiken.

interficiam schreef op zaterdag 30 juni 2012 @ 13:19:
Ik ben van plan om zelf een NAS te bouwen. Het moet niet de snelste zijn, maar ik zou toch graag ongeveer 60MB/s read halen. Ik ga er niet zo vaak naar schrijven, dus write snelheid is minder belangrijk.
Ook zou ik graag hebben dat hij zo zuinig en goedkoop mogelijk is.
Ik ga als besturingssysteem FreeNAS gebruiken met ZFS, aangezien dit gemakkelijk lijkt om te gebruiken.
Ik ga beginnen met 4 harde schijven, maar het moet uitbreidbaar zijn tot 6 schijven.

Ik heb het volgende systeem in gedachte:
Asus C60M1-I of Asus E35M1-I
4xSeagate Barracuda Green 5900.3 ST2000DL003, 2TB
Lian Li PC-Q08B
be quiet! Pure Power L7 300W
2xKingston ValueRAM KVR1333D3N9/4G

De Asus C60M1-I draait maar op 1GHz, maar is wel zuiniger en goedkoper. Ik weet niet of die processor sterk genoeg is. De Asus E35M1-I is met zijn 1,6GHz al sneller, maar natuurlijk ook geen snelheidsmonster aangezien het systeem zuinig moet blijven. Ik vond niet veel andere moederborden die betaalbaar zijn en 6 sata poorten hebben.

Hebben jullie suggesties over welk moederbord het beste zou zijn of nog andere opmerkingen bij deze hardware configuratie?

Deze setup had ik ook in gedachte maar dan met 5 disks. Heb je al onderzoek gedaan naar de performance van deze setup? CPU is snel genoeg maar de controller zou moeite hebben met Raid5. En daardoor zou je rond de 30-50MB/s write uit komen. Als dit wel sneller is richting de 100 zou het opzich meer dan snel genoeg zijn.

[ Voor 42% gewijzigd door Astennu op 04-07-2012 14:56 ]

[Verwijderd]

CPU is snel genoeg maar de controller zou moeite hebben met Raid5. En daardoor zou je rond de 30-50MB/s write uit komen.

Hoho, je moet wel even twee zaken gescheiden houden:
-> boot Windows, installeer onboard RAID drivers op de controller
-> boot non-Windows OS en gebruik software RAID

De controller is gewoon een SATA controller. Door gebruik van Windows-only drivers voeg je RAID functionaliteit toe. De controller zelf is en blijft een SATA controller. Er is dus niets mis met de controller; de controllers van AMD en Intel zijn de beste controllers die je maar kúnt krijgen. Dit omdat ze het dichtst bij de CPU zitten qua latencies. Een add-on controller zal altijd een extra PCI-express interface schakel hebben.

Met een Brazos systeem heb je 2GB/s bandbreedte op de 6x SATA/600 interfaces. Dus dat is het plafond wat je kunt bereiken. Ruim voldoende zelfs oor een 10 gigabit NIC, alhoewel ik in dergelijke situaties voor een krachtigere CPU zou gaan. Punt is dat de controller uitstekend is en van extreem hoge kwaliteit vergeleken met de rest (atom achtige cpu, weinig ram, weinig PCIe, etc).

In het geval van interficiam wil hij ZFS gebruiken dus dat gaat perfect met de onboard controller. In jouw geval weet ik het niet; je wilt Windows fakeRAID/driverRAID gaan draaien? Dat is een wereld van verschil natuurlijk.

[Jormungandr]

Astennu schreef op woensdag 04 juli 2012 @ 14:53:
[...]


Ik denk dat je aan 150 meer dan genoeg hebt. PSU's vinden het niet leuk om lage load te draaien dan kun je rond de 70% efficientie uit komen. Misschien is het interessant om naar een Pico PSU te kijken.

Misschien ook leuk: Je kan PicoPSU's ook linken net zoals elke normale voeding. Ik had daar reeds aan gedacht omdat mijn NAS op dit moment op een 460W 2u seasonic draait die werkelijk r*teluid is. Ik heb nog zo'n kabeltje van mijn CM Stacker om 2 voedingen op 1 bord te hangen. Dan kan je bv een 90W picoPSU gebruiken voor je CPU en een andere (zwaarder of lichter) enkel voor disks. Die dingen hebben een hoge efficiëntie dus da's ook mooi meegenomen.

[Verwijderd]

Dan kan je bv een 90W picoPSU gebruiken voor je CPU en een andere (zwaarder of lichter) enkel voor disks. Die dingen hebben een hoge efficiëntie dus da's ook mooi meegenomen.

De normale PicoPSU doet niets met +12V dus dit heeft geen zin. De +12V adapter is de bottleneck voor +12V. De PicoPSU neemt +12V en maakt daar +5V +3.3V en -5V en -12V van. De PicoPSU doet dus maar een klein deel. De 'bottleneck' voor vermogen is vooral de +12V adapter.

Wat je wel kunt doen is een ATX voeding nemen en gebruiken voor één PC en diezelfde voeding ook de +12V laten leveren voor meerdere PicoPSU adapters. Nadeel is wel dat één master PC dan altijd aan moet zijn, want als die afsluit gaat ook de +12V spanning van de PicoPSU adapters af.

[victorb]

Zou ben er eindelijk uit en heb het volgende besteld!

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 94,-	€ 94,-
1	Lian Li PC-Q25B	€ 103,50	€ 103,50
1	be quiet! Pure Power L8 430W	€ 49,45	€ 49,45
1	Corsair Vengeance CML8GX3M2A1600C9 Low Profile	€ 48,50	€ 48,50
Bekijk collectie Importeer producten		Totaal	€ 295,45

Ik ga er freenas opdraaien met in eerste instantie mijn 5x500gb disken. Die draaien nu in een q6600 systeem wat niet heel effecient is
De keuze voor deze voeding is omdat die modulair is. En de lian li kast lijkt mij helemaal top. Hotswap hd's zonder trays. Als je dan een kapotte hd heb kan je hem makkelijk vervangen zonder de hele kast te slopen en kabels los te moeten halen. Dus minder risico op nog meer ellende. Als de onboard realtek niet goed genoeg blijkt zoek ik wel een 2e hands intel server nic via v&a. Meteen heb ik 6 sata3 kabels erbij besteld met rechte aansluitingen.

Als de hd prijzen weer helemaal leuk zijn koop ik 4x3tb ofzo En in mijn workstation zit nu een ocz vertex2. Als ik die vervang door een snellere sata3 ssd, dan wil ik deze in de freenas machine stoppen als cache.

[Astennu]

Verwijderd schreef op woensdag 04 juli 2012 @ 15:11:
[...]

Hoho, je moet wel even twee zaken gescheiden houden:
-> boot Windows, installeer onboard RAID drivers op de controller
-> boot non-Windows OS en gebruik software RAID

De controller is gewoon een SATA controller. Door gebruik van Windows-only drivers voeg je RAID functionaliteit toe. De controller zelf is en blijft een SATA controller. Er is dus niets mis met de controller; de controllers van AMD en Intel zijn de beste controllers die je maar kúnt krijgen. Dit omdat ze het dichtst bij de CPU zitten qua latencies. Een add-on controller zal altijd een extra PCI-express interface schakel hebben.

Met een Brazos systeem heb je 2GB/s bandbreedte op de 6x SATA/600 interfaces. Dus dat is het plafond wat je kunt bereiken. Ruim voldoende zelfs oor een 10 gigabit NIC, alhoewel ik in dergelijke situaties voor een krachtigere CPU zou gaan. Punt is dat de controller uitstekend is en van extreem hoge kwaliteit vergeleken met de rest (atom achtige cpu, weinig ram, weinig PCIe, etc).

In het geval van interficiam wil hij ZFS gebruiken dus dat gaat perfect met de onboard controller. In jouw geval weet ik het niet; je wilt Windows fakeRAID/driverRAID gaan draaien? Dat is een wereld van verschil natuurlijk.

Ik ben zelf niet echt thuis in Linux/Aix. Dus ik wilde voor windows gaan. En als je AMD en Intel daar vergelijkt heeft intel veel betere Raid5 performance. Dus dat zou dan puur aan de drivers liggen?

Ik zou best wel een linux nas willen bouwen maar ik vrees dat ik daar de kennis simpelweg niet voor heb.

Jormungandr schreef op woensdag 04 juli 2012 @ 17:16:
[...]


Misschien ook leuk: Je kan PicoPSU's ook linken net zoals elke normale voeding. Ik had daar reeds aan gedacht omdat mijn NAS op dit moment op een 460W 2u seasonic draait die werkelijk r*teluid is. Ik heb nog zo'n kabeltje van mijn CM Stacker om 2 voedingen op 1 bord te hangen. Dan kan je bv een 90W picoPSU gebruiken voor je CPU en een andere (zwaarder of lichter) enkel voor disks. Die dingen hebben een hoge efficiëntie dus da's ook mooi meegenomen.

Ah ook wel een goed idee. Ik heb nu zelf een Pico 80 liggen. Zou net moeten kunnen. Al moet ik het wel even goed in de gaten houden. Mocht ik voor een i3 2100 setup willen gaan moet ik sowieso de 150XT hebben.

Verwijderd schreef op woensdag 04 juli 2012 @ 17:26:
[...]

De normale PicoPSU doet niets met +12V dus dit heeft geen zin. De +12V adapter is de bottleneck voor +12V. De PicoPSU neemt +12V en maakt daar +5V +3.3V en -5V en -12V van. De PicoPSU doet dus maar een klein deel. De 'bottleneck' voor vermogen is vooral de +12V adapter.

Wat je wel kunt doen is een ATX voeding nemen en gebruiken voor één PC en diezelfde voeding ook de +12V laten leveren voor meerdere PicoPSU adapters. Nadeel is wel dat één master PC dan altijd aan moet zijn, want als die afsluit gaat ook de +12V spanning van de PicoPSU adapters af.

Goed om te weten. Ik wil juist geen andere PC aan hebben staan.

[Verwijderd]

victorb schreef op donderdag 05 juli 2012 @ 06:09:
Zou ben er eindelijk uit en heb het volgende besteld!

Ziet er prima uit, toch voor 2x4GiB RAM gegaan? Enig nadeel is dat je nu niet meer naar 16 gigabit kunt uitbreiden; 8GiB is de max. Dat is gelijk de min voor prefetching en L2ARC. Maar voor een instap ZFS NAS is 8GiB wel oke hoor. Zelf zou ik liever kiezen voor 2x8GiB of 1x8GiB ipv 2x4GiB. Eén latje 1.5V verbruikt ongeveer evenveel als twee latjes 1.35V. Bovendien kun je dan nog naar 16GiB uitbreiden. Dit kun je nog overwegen in je afkoelperiode.

Meteen heb ik 6 sata3 kabels erbij besteld met rechte aansluitingen.

Heb je ook SATA power splitters erbij besteld, zodat je geen Molex plugs hoeft te gebruiken?

Astennu schreef op donderdag 05 juli 2012 @ 07:30:
[...]
Ik ben zelf niet echt thuis in Linux/Aix. Dus ik wilde voor windows gaan. En als je AMD en Intel daar vergelijkt heeft intel veel betere Raid5 performance. Dus dat zou dan puur aan de drivers liggen?

Het is belangrijk om te weten wat je precies gebruikt onder Windows OS met RAID drivers op je onboard controller. De controller zelf is en blijft een SATA controller. De drivers voegen RAID functionaliteit toe, en verschillen in performance liggen dus aan verschillen in de drivers. Net zoals ZFS andere performance geeft dan Linux software RAID, ook al zijn de HDDs en controller(s) hetzelfde.

Naast dat ik natuurlijk pro-ZFS ben, ben ik ook erg anti Windows qua storage; Windows biedt geen veilige opslagtechnieken. Je data onder Windows opslaan is gevaarlijk. Windows gaat uit van de situatie in 1990, waarbij hardeschijven of 100% werken, of 100% stuk zijn. Die situatie is verouderd, omdat gezonde schijven tijdens hun levensduur last krijgen van onleesbare sectoren. Microsoft is erg laat met ReFS. Dat filesystem zou nog wel geschikt zijn voor opslag op moderne hardeschijven.

Wil je echt een 'fakeRAID' array onder Windows draaien, dan zul je je veiligheid moeten halen uit backups. En het liefst is één van die backups beveiligd met checksums, dus ReFS, Btrfs of ZFS. Uiteraard geldt dit als de data belangrijk is. Voor data die je opnieuw kunt downloaden en genereren heb je dergelijke bescherming niet nodig. Maar dan heb je ook geen RAID nodig lijkt me.

Intel onboard RAID drivers (RST - Rapid Storage Technologies) bieden ook de feature Volume Write-Back Caching. Dit gebruikt je RAM geheugen als writeback buffer zoals een dure hardware controller ook eigen geheugen heeft voor write-back. Dit kan de performance in de praktijk merkbakar verhogen, doordat er eerst naar je RAM wordt geschreven ipv naar de RAID array. Nadeel is dat dit je betrouwbaarheid en bescherming tegen corruptie verder afbreekt, dus vooral geschikt voor situaties waar performance alles is en bescherming niet zo belangrijk.

Mijn waarschuwing is dan ook als volgt: gebruik je ouderwetse opslagtechnieken zoals onder Windows niet anders mogelijk is, dan dien je extra te vertrouwen op een volledige 1:1 backup die wél deze bescherming biedt. Bij voorkeur is de backup niet een Windows systeem. De backup mag ook niet hetzelfde systeem zijn, omdat het dan geen backup meer is. Een backup is een kopie van je data die geen hardware deelt met het origineel. Volledig apart dus.

Ik zou best wel een linux nas willen bouwen maar ik vrees dat ik daar de kennis simpelweg niet voor heb.

Want? Een web-interface bedienen kost je teveel tijd? Je wilt je er niet in verdiepen?

Denk je er niet gewoon veel te moeilijk over? Als iemand een interface als windows home server kan bedienen, kun je datzelfde ook met een web-interface. Natuurlijk, als je voor ZFS kiest ben je tijd kwijt om dat beest te begrijpen en naar je hand te zetten, meer tijd dan Windows. Maar misschien is die tijd het wel waard? Daar moet je zelf even over nadenken.

Wil je het eens proberen, download dan Virtualbox en probeer zowel FreeNAS als ZFSguru eens. Wie weet valt het erg mee?

Ah ook wel een goed idee. Ik heb nu zelf een Pico 80 liggen. Zou net moeten kunnen. Al moet ik het wel even goed in de gaten houden. Mocht ik voor een i3 2100 setup willen gaan moet ik sowieso de 150XT hebben.

Aangezien de PicoPSU zelf geen +12V doet, kun je prima 150 watt spinup cururent doen op een PicoPSU 80W maar wel met 150W +12V adapter. Dus ook al ga je ver over die 80W heen dat kan volgens mij prima zolang je voedingsblok genoeg +12V kan leveren en de dikte van de kabels voldoende is om geen warmte/brand te veroorzaken door zoveel stroom (ampère) door een klein draadje te laten lopen.

[Astennu]

Verwijderd schreef op donderdag 05 juli 2012 @ 13:58:
[...]Heel Verhaal

Ah heel duidelijk. Ik wil juist een NAS gaan maken voor veilige storrage. Nu heb ik alles in Raid 1.
Ik wil al me data relatief veilig hebben. Van hele belangrijke dingen maak ik op meerdere plaatsen backups maar van de rest wil ik dat niet doen daar is het te veel voor. Maar ik wil wel de kans op verlies zo klein mogelijk houden.

Ah ik zal het eens gaan downloaden. Ik dacht dat het echt commandline werk was en dat red ik gewoon niet. Heb hele basis AIX kennis dus dat is niet voldoende voor het echte commandline werk.

Maar als er gewoon een UI bij zit kom ik denk ik wel een eind. Ik neem aan dat dingen zoals Expand dan ook mogelijk zijn? Dus van 4 naar 5 disks uitbreiden en dus van 6 naar 8 TB gaan.

En eventueel disk voor disk naar een 5x 3TB vollume migreren? om op uit 12TB uit te komen?

Eind volgende week heb ik wel wat vrije tijd om een VM te maken en eens wat uit te proberen.

[ Voor 4% gewijzigd door Astennu op 05-07-2012 14:07 ]

[CurlyMo]

Astennu schreef op donderdag 05 juli 2012 @ 14:06:
[...]
Maar als er gewoon een UI bij zit kom ik denk ik wel een eind. Ik neem aan dat dingen zoals Expand dan ook mogelijk zijn? Dus van 4 naar 5 disks uitbreiden en dus van 6 naar 8 TB gaan.

En eventueel disk voor disk naar een 5x 3TB vollume migreren? om op uit 12TB uit te komen?

Kort gezegd:
MDADM - Ja
ZFS - Nee

De zoekfunctie biedt antwoord aangezien dit al erg vaak besproken is.

[Jormungandr]

Verwijderd schreef op woensdag 04 juli 2012 @ 17:26:
[...]

De normale PicoPSU doet niets met +12V dus dit heeft geen zin. De +12V adapter is de bottleneck voor +12V. De PicoPSU neemt +12V en maakt daar +5V +3.3V en -5V en -12V van. De PicoPSU doet dus maar een klein deel. De 'bottleneck' voor vermogen is vooral de +12V adapter.

Wat je wel kunt doen is een ATX voeding nemen en gebruiken voor één PC en diezelfde voeding ook de +12V laten leveren voor meerdere PicoPSU adapters. Nadeel is wel dat één master PC dan altijd aan moet zijn, want als die afsluit gaat ook de +12V spanning van de PicoPSU adapters af.

De adapter combineert enkel de 24P connectors, waardoor je niet moet jumperen. Je combineert dus eigenlijk gewoon een groen-zwart van de secundaire voeding met de hoofdvoeding. Uiteraard hebben beide gelinkte picoPSU's elk een eigen adapter die voor 12V zorgt.

EDIT: fotootje gevonden:

[ Voor 8% gewijzigd door Jormungandr op 05-07-2012 14:16 ]

[Verwijderd]

Maar als er gewoon een UI bij zit kom ik denk ik wel een eind. Ik neem aan dat dingen zoals Expand dan ook mogelijk zijn? Dus van 4 naar 5 disks uitbreiden en dus van 6 naar 8 TB gaan.

Je kunt alleen nieuwe arrays bijplaatsen, maar voordeel is wel dat je gebruik kunt maken van grotere disks, andere redundancy en andere hoeveelheid disks. Maar je kunt een bestaande 3-disk RAID-Z niet zomaar uitbreiden naar een 4-disk RAID-Z.

ZFS uitbreiden moet dus met meerdere schijven tegelijk. Dit is uitvoerig besproken in dit topic, je kunt eens zoeken op 'expand' of zoiets. Ik heb vast wel een paar keer een uitgebreide post gemaakt hierover, omdat het zo vaak terug komt.

Jormungandr schreef op donderdag 05 juli 2012 @ 14:15:
[...]
De adapter combineert enkel de 24P connectors, waardoor je niet moet jumperen. Je combineert dus eigenlijk gewoon een groen-zwart van de secundaire voeding met de hoofdvoeding. Uiteraard hebben beide gelinkte picoPSU's elk een eigen adapter die voor 12V zorgt.

Ik snap er niks meer van. Als je meerdere PicoPSU hebt, wil je een enkele +12V daarvoor gebruiken (efficienter, goedkoper). Als je toch al een ATX voeding hebt draaien kun je ook daar je +12V voor gebruiken, dan heb je dus helemaal geen extra +12V adapters.

Wat doet die adapter in jouw plaatje dan? Wat doe je met de 2e stekker waar maar 2 kabeltjes in zitten?

[victorb]

Verwijderd schreef op donderdag 05 juli 2012 @ 13:58:
[...]

Ziet er prima uit, toch voor 2x4GiB RAM gegaan? Enig nadeel is dat je nu niet meer naar 16 gigabit kunt uitbreiden; 8GiB is de max. Dat is gelijk de min voor prefetching en L2ARC. Maar voor een instap ZFS NAS is 8GiB wel oke hoor. Zelf zou ik liever kiezen voor 2x8GiB of 1x8GiB ipv 2x4GiB. Eén latje 1.5V verbruikt ongeveer evenveel als twee latjes 1.35V. Bovendien kun je dan nog naar 16GiB uitbreiden. Dit kun je nog overwegen in je afkoelperiode.


[...]

Heb je ook SATA power splitters erbij besteld, zodat je geen Molex plugs hoeft te gebruiken?

Helaas kan de asus E35M1-I maar max 8gb aan. Dus de keus van het geheugen was niet zo moeilijk . Aan de nas komen eigenlijk alleen mijn eigen machines te hangen. Dus heel erg druk zal die het ook niet krijgen.

In de kast zelf zit een 5bay hotswap rack met aan achterkant 3x molex. Dus daar agan de molex in en de rest van de sata kabels voor bijv ssd die onderin kast komt te liggen.

[Astennu]

Verwijderd schreef op donderdag 05 juli 2012 @ 14:21:
[...]

Je kunt alleen nieuwe arrays bijplaatsen, maar voordeel is wel dat je gebruik kunt maken van grotere disks, andere redundancy en andere hoeveelheid disks. Maar je kunt een bestaande 3-disk RAID-Z niet zomaar uitbreiden naar een 4-disk RAID-Z.

ZFS uitbreiden moet dus met meerdere schijven tegelijk. Dit is uitvoerig besproken in dit topic, je kunt eens zoeken op 'expand' of zoiets. Ik heb vast wel een paar keer een uitgebreide post gemaakt hierover, omdat het zo vaak terug komt.


[...]

Ik snap er niks meer van. Als je meerdere PicoPSU hebt, wil je een enkele +12V daarvoor gebruiken (efficienter, goedkoper). Als je toch al een ATX voeding hebt draaien kun je ook daar je +12V voor gebruiken, dan heb je dus helemaal geen extra +12V adapters.

Wat doet die adapter in jouw plaatje dan? Wat doe je met de 2e stekker waar maar 2 kabeltjes in zitten?

Ik zal ik eens gaan doen. Ik zal het ook eens vergelijken met bv een Synology 1510 of zo.

[Jormungandr]

Het idee is als volgt:

Je hebt een Brazos NAS met 4 disks die je op een picoPSU hangt. Je wil opeens naar lets say 16 disks. Je koopt een picoPSU van 150W bij. De eerste picoPSU komt op de linkse connector, de 150W komt op die met de 2 kabeltjes. de bovenste gaat dan in de 24P op het moederbord. Beide PSU's hebben elk hun adapter die naar het stopcontact gaan dus delen in feite niets buiten het poweron/off signaal van je systeem. (groen/zwart)

Dit werd indertijd gebruikt om bv een highpower rig met meerdere GPU's te draaien. Een voeding doet de cpu/mobo, de andere voeding de GPU's. Ze hebben elk hun eigen stroomkabel naar het net toe, maar starten en stoppen beiden samen als je de pc aan/uit zet.

Waarom dit hele gedoe: Als je bv zoals ik een 2U chassis of miniITx chassis hebt en niet meteen een zeer efficiente voeding in die maar hebt, kan je zo 2 picoPSUs "bundelen" om een rig te voeden waar 1 picoPSU te weinig is, maar de eerstvolgende ATX/2U/SFX/whatever voeding meteen teveel wattage biedt.

[Verwijderd]

Zeker interessant ja. Maar in een situatie waar je vooral veel +12V nodig hebt, zou ik liever één PicoPSU gebruiken en de +12V van één bron te laten komen, zoals een sterke ATX voeding die dan voor meerdere systemen gebruikt wordt.

Je bent door PicoPSU wel beperkt in de +3.3 en +5V, want jouw kabeltje geeft die niet door. Het is dus puur een makkelijke manier om met twee PicoPSUs meer dan 150W +12V vermogen te kunnen leveren.

Ik ben van plan een setup te maken waarbij ik één passieve ATX voeding van ~400W wil gebruiken voor het poweren van meerdere systemen, elk met een PicoPSU voeding. Behalve de master PC, want als die uitgaat gaat alles uit. Maar dat hoeft voor mij niet zo'n probleem te zijn. Dit zou erg zuinig kunnen zijn omdat de +12V erg efficient is, de 90%+ efficiency kun je bereiken op je ATX voeding omdat deze binnen de optimale load range zit, omdat er meerdere zuinige systemen aan hangen. Zou één systeem even piekspanning nodig hebben voor opspinnen van disks, dan gaat dat dus prima.

Maar elke setup heeft voor en nadelen. Zo is een setup waar alles aan één voeding hangt natuurlijk wel gevoeliger voor storingen; alles ligt plat als er iets met die voeding aan de hand is, een single point of failure. Maar in mijn specifieke geval zou dat toch wel zo zijn, dus leek me dat niet zo'n probleem. Bovendien rechtvaardigt dit de aanschaf van een kwaliteits passieve 400W voeding, die hopelijk heel wat jaartjes mee kan.

[FireDrunk]

Wat je misschien nog vergeet is dat je die systemen ook alemaal naast elkaar moet hebben staan.
Of wil je de 12V kabel verlengen? Want dan krijg je met die vermogens best veel verlies in de kabel...

[Verwijderd]

victorb schreef op donderdag 05 juli 2012 @ 14:24:
Helaas kan de asus E35M1-I maar max 8gb aan. Dus de keus van het geheugen was niet zo moeilijk .

Eerder stonden op de productpagina's dat Brazos tot 16GiB RAM ondersteunt, dus 2x 8GiB. Later is die informatie vervangen door max 8GB RAM.

Dat is vreemd, want 2x8GiB lijkt prima te werken met Brazos. Mijn eigen Adata XPG2 Gaming series 2x8GiB 1.35v werkten prima op mijn MSI Brazos bordje. Ik heb ook een NAS gebouwd voor iemand met die Asus E35M1-I. Nu weet ik niet meer zeker of mijn RAM ook op zijn bordje had uitgeprobeerd. Maar ik denk dat dat gewoon gaat werken.

Kortom, je kúnt nog overwegen de 2x4GiB modules te retourneren en een 1x8GiB module te nemen. Dat zou niet veel duurder moeten zijn (al moet je in elk geval 1x verzendkosten betalen). Je kunt het ook lekker zo laten en gewoon 8GiB max aanhouden. Als je veel L2ARC wilt gebruiken of andere bijzondere dingen is dat niet zo fijn, maar wil je een standaard NAS en je gaat toch niet verder uitbreiden, is 8GiB prima.

@FireDrunk: ze komen onder mijn buro dus dichtbij zat.

[revox862]

Net gekocht:

code:

smartctl 5.42 2011-10-20 r3458 [FreeBSD 9.0-RELEASE amd64] (local build)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Caviar Green (Adv. Format)
Device Model:     WDC WD20EARX-00PASB0
Serial Number:    WD-WMAZA9596643
LU WWN Device Id: 5 0014ee 25c5a2d01
Firmware Version: 51.0AB51
User Capacity:    2,000,398,934,016 bytes [2.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   8
ATA Standard is:  Exact ATA specification draft version not indicated
Local Time is:    Sat Jul  7 14:02:00 2012 UTC
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x80) Offline data collection activity
                    was never started.
                    Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                    without error or no self-test has ever 
                    been run.
Total time to complete Offline 
data collection:        (39600) seconds.
Offline data collection
capabilities:            (0x7b) SMART execute Offline immediate.
                    Auto Offline data collection on/off support.
                    Suspend Offline collection upon new
                    command.
                    Offline surface scan supported.
                    Self-test supported.
                    Conveyance Self-test supported.
                    Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                    power-saving mode.
                    Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                    General Purpose Logging supported.
Short self-test routine 
recommended polling time:    (   2) minutes.
Extended self-test routine
recommended polling time:    ( 255) minutes.
Conveyance self-test routine
recommended polling time:    (   5) minutes.
SCT capabilities:          (0x3035) SCT Status supported.
                    SCT Feature Control supported.
                    SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   100   253   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   201   169   021    Pre-fail  Always       -       4933
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       13
  5 Reallocated_Sector_Ct   0x0033   195   195   140    Pre-fail  Always       -       237
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       0
 10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       11
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       10
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       32
194 Temperature_Celsius     0x0022   115   114   000    Old_age   Always       -       35
196 Reallocated_Event_Count 0x0032   183   183   000    Old_age   Always       -       17
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   100   253   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]


SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

RMA?

[Verwijderd]

Voor een nieuwe schijf die nog geen 60 minuten gedraaid heeft al 237 passieve (omgewisselde) bad sectors is toch wel erg vreemd. Ik zou hem zelf inderdaad RMA'en, dit valt niet meer binnen wat normaal is. Als je nou na twee maanden je eerste bad sector hebt, oke dat is normaal. Maar dit niet.

[FireDrunk]

@CiPHER waarom zoveel bakken met zoveel PicoPSU's eigenlijk, en niet virtualiseren?

[Verwijderd]

Ik draai liever puur, en wil onafhankelijke systemen. Zoals ik ben met PC3 met de BIOS bezig, dus ik heb nog PC1 en PC2 als bruikbare desktops. Het is luxe natuurlijk, maar ik ontwikkel sowieso met twee schermen en liefst draai ik die op losse computersystemen. Ook qua CPU-kracht is dit belangrijk, omdat de software die ik draai sterk threaded is.

Verder vind ik het fijn om tussen het werk door wat tv of een internetstream te luisteren, dat doe ik dan ook op een aparte monitor. Punt is: ik wil kunnen doen zoals ik het wil, maar dan zo zuinig mogelijk. Natuurlijk kan ik ook één brazos systeem maken en daar alles op doen, maar dan zou ik enorm veel moeten inleveren qua gebruiksgemak en ontwikkelsnelheid. Daarbij komt dat ik als het om computers gaat enorm ongeduldig ben, als iets een seconde te lang duurt (bijvoorbeeld google openen) dan raad ik al geïrriteerd.

Dus ik hoop een opstelling te kunnen maken die zuinig en stil is, meerdere monitoren geeft met eigen CPU kracht. Het enige echte nadeel is dat ik met gigabit een bottleneck heb. Maar als ik bijvoorbeeld twee of drie met 10GBaseT NICs zou uitvoeren (zonder switch!) dan zou dat een mooie upgrade kunnen zijn die nog enigszins betaalbaar is.

Nu draai ik op twee normale desktops en losse servers. Straks wil ik alles onder mijn buro hebben ex de grote fileservers die normaliter uit staan. Ik gebruik nu een Brazos servertje als mini NAS. Dingen die ik altijd paraat wil hebben, en de SSD performance wordt niet beperkt door Brazos zo lijkt het. Al met al ben ik best tevreden. Alleen 10 gigabit networking is nog een punt. Die Intel X540 is nog steeds erg duur.

[victorb]

Verwijderd schreef op donderdag 05 juli 2012 @ 15:42:
[...]

Eerder stonden op de productpagina's dat Brazos tot 16GiB RAM ondersteunt, dus 2x 8GiB. Later is die informatie vervangen door max 8GB RAM.

knipperdeknip

Hmmmm de onderdelen zijn nog niet binnen! Dus kan het nog veranderen. Zijn er nog meer voorbeelden van werkende 16gb?

[Verwijderd]

Aangezien de geheugencontroller in de CPU zit, zouden alle Brazos en andere moderne AMD CPUs 8GiB modules moeten ondersteunen. Enig spelbreker hierin kan zijn de BIOS. Maar het zou mij erg verbazen als een normale DRAM module niet zou werken. Met normaal bedoel ik een module die zich aan de SPD houdt en niet van die overclockstickjes die geeneens op SPD-snelheden kunnen draaien.

De BIOS kijkt naar de SPD en neemt die waarden over (timings, frequency, voltage). Dus ik kan eigenlijk niets verzinnen waarom je Brazos niet met 16GiB RAM kunt combineren. Setjes van 2x8GiB met 1,35V zijn wel extreem duur; 2x8GiB op 1.5V is al stukken goedkoper.

Maar al blijf je voorlopig bij 8GiB RAM, dan nog is het leuker en zuiniger om één stickje te hebben dan dat je er twee hebt. Ik zou dus liever 1x8GiB DDR3/1333 1.5V hebben dan 2x4GiB DDR3/1333 op 1.35V. Volgens mijn eigen tests is één stickje op een hoger voltage ook zuiniger dan twee zuinige stickjes. Dus je kunt ook met 1x8GiB stick beginnen, die wel redelijk betaalbaar is:
pricewatch: Corsair CMV8GX3M1A1333C9

Dat gezegd, 16GiB in Brazos is een beetje luxe. Maar voor ZFS en zeker VMs wel erg leuk. Gezien de relatief lage prijs van geheugen op dit moment zou ik wel voor meer geheugen gaan. Klein beetje luxe zou ik mezelf wel gunnen.

[Jormungandr]

Zo, tijd om maar terug te gaan naar Arch Linux voor men thuisnas. Na mijn korte uitstap naar Ubuntu 12.04 (ESXi 5: NFS mount: Unable to connect to NFS server.) heb ik het wel gehad.

Intussen is het volgende in bestelling:

#	Product	Prijs	Subtotaal
1	Intel Celeron G530 Boxed	€ 36,30	€ 36,30
1	Kingston ValueRAM KVR1333D3N9K2/8G	€ 41,95	€ 41,95
1	MSI H77MA-G43	€ 78,44	€ 78,44
Bekijk collectie Importeer producten		Totaal	€ 156,69

Ik had effe getwijfeld tussen Brazos en Celeron maar ben dan maar voor dit gegaan. Met z'n 4 PCIe sloten is er ruimte voor uitbreiding. miltiNIC kaart, SAS kaart, FC kaart, you name it. De huidige AMD AM2 NAS draait zoals eerder vermeld aan 94 a 97 Watt en ik hoor hiermee het verbruik EN warmte wat in te dijken. De NAS staat tijdelijk in de garage en daar durft het al deze tijd van het jaar al eens warm worden .

Belachelijke vraag misschien, maar wat verbruikt zo'n draagbare ventilator? Alles moet naar de zolder verhuizen en daar is het zowiezo warmer dan in de garage.

[Borromini]

Meer dan een goede 120 mm fan .

[Mafketel]

Vaak worden die motertjes erg warm ondanks alle koellucht die er langsstroomt.
Efficient en zuinig zullen ze dus niet zijn.

[Jormungandr]

Voor zij die ook een HP Procurve 1810G-x willen/hebben, oppassen geblazen. De functie autoDOS op de laatste code P2.2 bevat een bug die alle NFS paketten dropt. AutoDOS uitzetten, switch hard resetten en done.

Einde van mijn NFS perikelen, hopelijk hoeft er nu niemand wekenlang te vloeken als 'ie hetzelfde probleem heeft.

[victorb]

[b][message=38547131,noline]CiPHER schreef
*knip*

http://wahana-online.com/?p=789
16gb support en een AMD A45 Fusion Controller Hub

http://www.asus.com/Mothe...rd/E35M1I/#specifications
8gb support en een AMD FCH A50

http://www.asrock.com/mb/...E350M1&cat=Specifications
16gb support AMD A50M Chipset

CiPHER kan je even opzoeken welk moederbord jij precies heb en met welke chipset?

Fijn die amd website ik kan nieteens een overview vinden van de A45 en de A50 chipset

*edit*
http://www.xbitlabs.com/a...ay/amd-e-350_3.html#sect0
Hier een link over de architectuur. Maar niks specefieks over memory controller

[ Voor 12% gewijzigd door victorb op 09-07-2012 00:10 ]

[Verwijderd]

Jormungandr schreef op zondag 08 juli 2012 @ 01:10:
Belachelijke vraag misschien, maar wat verbruikt zo'n draagbare ventilator? Alles moet naar de zolder verhuizen en daar is het zowiezo warmer dan in de garage.

Ik heb mij laten vertellen dat een gelijkstroom-ventilator (DC) véél efficiënter is dan een wisselspanning-ventilator (AC). Dus als je zuinigheid wil ga voor een grote fan met lage rpm, volgens mij geeft dat de beste efficiency (CFM airflow per watt vermogen).

victorb schreef op zondag 08 juli 2012 @ 23:55:
CiPHER kan je even opzoeken welk moederbord jij precies heb en met welke chipset?

Dit bordje gebruik ik zelf:
pricewatch: MSI E350IS-E45
http://www.msi.com/product/mb/E350IS-E45.html

Volgens de officiële specs maximaal 8GiB DDR3 (2x4GiB). Maar dat klopt dus niet, hij slikt namelijk ook gewoon 2x8GiB. Maar die staan of stonden niet op de qualified memory list, boeie. Het hoort te werken, omdat de CPU de geheugencontroller in zich heeft. Dus alleen BIOS fuckups kunnen het zaakje verstieren lijkt mij.

En ik zou zweren dat meerdere Brazos productpagina's (van de fabrikant) eerst 16GB memory supported zeiden, en dat dit later was aangepast naar 8GB. In elk geval, het zou wel gewoon moeten werken.

[victorb]

Ik heb afuture een email gestuurd of ze het geheugen in de order willen vervangen door een 16gb kitje

http://afuture.nl/productview.php?productID=350957

CiPHER als het niet gaat werken dan kom ik je

[Verwijderd]

Eindelijk de twee Intel NICs binnen, x540 T2 kaarten, 1 was er nog DOA maar inmiddels vervanging ontvangen, tijd voor de 1e tests!
Als korte samenvatting, RAID10 6 drives, 1 hotspare.
Windows 7 client, Ubuntu 12 lts server.
Samba shares.
Details zijn wel terug te vinden in vorige posts.

Ik ben er erg blij mee, nu nog wat verder uitbreiden naar meerdere workstations.

iperf -c 192.168.3.10 -w 512K  -l 512K
------------------------------------------------------------
Client connecting to 192.168.3.10, TCP port 5001
TCP window size:  256 KByte (WARNING: requested  512 KByte)
------------------------------------------------------------
[  3] local 192.168.3.254 port 37866 connected with 192.168.3.10 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  11.5 GBytes  9.89 Gbits/sec

Shares via 10gbe



Zelfde shares via 1gbe

[ Voor 6% gewijzigd door Verwijderd op 09-07-2012 15:36 ]

[Verwijderd]

AS SSD en CrystalDiskMark (max test size aub!) zou ook erg welkom zijn.

Wel extreem gaaf dat 10Gbps zo goed bij jou schaalt. Die Intel X540 is inderdaad gaaf, maar ik vond hem nog te duur. Als ik nou twee kaartjes voor 400-500 euro kan halen wordt het wel interessant. Maar switchen bestaan ook vrijwel niet, behalve die managed bladeswitches waar je 10 koppen voor mag neertellen.

[FireDrunk]

Heb je nog getuned aan de TCP instellingen?

[Verwijderd]

Oh en als je tijd hebt, kun je misschien ook FreeBSD 9-STABLE testen? Die zou met netmap tussen de 10 tot 20 keer lagere CPU overhead hebben en dus "kinderlijk eenvoudig" 10 gigabit network interfaces moeten kunnen voltrekken. Een 900MHz processor zou voldoende moeten zijn voor 10 gigabit. Voor geïnteresseerden de slide:
http://info.iet.unipi.it/...110815-sigcomm-poster.pdf

[FireDrunk]

Ik zie eigenlijk nog nergens een downloadable versie van NetMap?

[Verwijderd]

Is kernel-based, eerst geïmporteerd in 'HEAD' branch wat 10-CURRENT is, de actieve development branch. Daarna geport naar 9-STABLE, dus ook in mijn opkomende ZFSguru image.

Wat in 10.0 komt als die ooit gereleased wordt, zit dus ook al in 9.x releases of STABLE branch. Zo staat 9.1 voor augustus gepland, al weet ik dat FreeBSD releases regelmatig een maand of twee kunnen uitlopen. Wat nu 9-STABLE is gaat later dus 9.1 heten. Na die release (of eigenlijk de RELENG_9_1 branch wat vanaf de RC1 build geldt) gaat 9-STABLE weer een eigen leven leiden en toevoegingen komen dan in een volgende 9.2 release.

Zie ook release engineering overzicht: http://www.freebsd.org/releng/index.html

[ Voor 63% gewijzigd door Verwijderd op 09-07-2012 22:02 ]

[Verwijderd]

Het meeste uitzoekwerk was tijdens de setup met mdadm en ext4.
Nog meer met samba en uitzoeken hoe ik nu een 1Gbe kaart vol kon krijgen.

Voor de 10Gbe heb ik alleen de Intel driver gedownload (windows en linux) en MTU op 9000 gezet.

De CPU load voor non-samba (FTP/Iperf/scp) verkeer valt heel erg mee <10%, maar zodra je naar smb gaat of met 1Gbe of 10Gbe gaat de load heel erg hard omhoog >50%. Geen idee waar dat precies in zit en welke setting daar voor verantwoordelijk is. Lang naar gekeken maar opgegeven moment maar opgehouden om naar te kijken en geaccepteerd zoals het is.
Zou erg graag van smb af willen stappen niet alleen daarom maar ook gezeik met rechten en feit dat singlethreaded is en nog wat zaken.

FreeBSD heb ik nu geen tijd voor, midden in schrijven van proefschrift en doe dit er alleen bij voor iemand, draait nu ook direct in productie dus kan er niet veel aan doen. Over twee maanden heb ik het een stuk rustiger en kan ik alle tests draaien ook met meerdere NIC's tegelijk en meerdere workstations want "klant" is wel tevreden en durft het nu wel aan om nog een workstation aan te sluiten.

Crystalmark en SSD benchmark zal ik eind van de dag nog even naar kijken.
Ok kon het niet laten om even te proberen

AS SSD werkt niet? Alleen op "echte" HDD's en niet shares?
Crystalmark even gedraait en niet echt briljant resultaat.
Wellicht op windows een keer een ramdrive maken en zien hoe snel ik die vol kan drukken.
De load met Crystalmark wordt ook erg hoog met samba dus ik weet niet precies wat hij nu anders doet.
Vreemd vind ik ook dat read en write speed dicht bijelkaar liggen terwijl read op de raid vele malen hoger is.
Maar keer uitzoeken wat nu werkelijk het verschil is met ATTO en Crystalmark, wellicht klooien met tcp window size maar dat is dan weer hinderlijke met verschillende netwerkkaarten.
Voorlopig werkt het zoals het moet en ben ook blij dat de latencies niet hoog zijn.

[ Voor 25% gewijzigd door Verwijderd op 10-07-2012 11:37 ]

[Verwijderd]

Zijn geweldige scores hoor! Met name de random reads zijn erg indrukwekkend. Je komt in feite boven SSD snelheden uit, en dat over het netwerk! Ik vind het gaaf.

De random writes zijn wel aan de lage kant, en het is vreemd dat bij hogere queue depth de writes ineens afnemen. Wellicht valt er met settings nog wat te optimaliseren.

Ik moet wel zeggen: als je iperf test met een (te) grote window size en 9000 MTU dan hoeft dat niet de werkelijkheid te weerspiegelen. Want nu bij een applicatietest zoals CrystalDiskMark zal er vast g een 256K window size gebruikt worden. Windows zet hem vaak op 8K/16K volgens mij? Welke iPerf scores krijg je met default settings?

[FireDrunk]

Dit komt gewoon uit memory, het is onmogelijk om zo'n hoge random read te halen met een simpele RAID10 array. Ik zou wel eens een test met 25GiB willen zien...

[Verwijderd]

Het ging toch om de netwerkpijp? Logisch dat als je 10 gigabit op een floppydrive zet, dat de laatstgenoemde de bottleneck zou zijn. Bedenk ook dat RAM-access de meest veelvoorkomende toepassing zal zijn waarbij je een 10 gigabit lijn kunt voltrekken. In de praktijk zul je hier ook voordeel uit halen. Het probleem is dat één hardeschijf al voldoende was om gigabit dicht te trekken, dus van extra RAM performance merkten wij helemaal niets. Nu zie je daar wel meer verschillen tussen.

Hij kan nog wel de caches droppen, dan zou je uncached resultaat moeten krijgen. Maar dat moet je dan doen tijdens de benchmark; als je echt profi wilt benchmarken moet je andere tools gebruiken. Dit is gewoon een indicatie van random I/O performance over 10 gigabit NIC. Gebruik op Linux 'tmpfs' en je kunt disk I/O helemaal uitschakelen als factor. Dat lijkt mij interessanter omdat 10 gigabit dan kan laten zien waartoe het in staat is. En ja: natuurlijk moet de disk I/O het uiteindelijk ook kunnen bijhouden. Maar dat is niet zo heel spannend; de extra netwerkbandbreedte en lagere latency zijn wel supergaaf. 170MB/s aan 4K random reads over netwerk is gewoon stunning! Dat zijn 42.500 IOps; not bad at all!

Caches droppen gaat zo:
echo 3 > /proc/sys/vm/drop_caches

[Verwijderd]

Zal wel kijken welke benchmarks ik nog meer kan draaien.
Kan iperf nu even niet draaien maar herinner me dat alles default met MTU op 1500 etc het op 4.8Gb/s uitkwam en zodra MTU naar 9000 ging op 8 en dan met window size naar 9.8Gb/s
Ik snap niet helemaal hoe window size in windows 7 werkt maar ooit nog keertje uitzoeken.

Zou best kunnen dat er veel gecached wordt, maar dat maakt me niet zoveel uit. Het gaat "mij" meer om real world use en tot nu toe werkt het erg fijn in After Effects en grote projecten in Lightwave.
Ik wil best een keer zien of de 10Gbe compleet kan voltrekken maar wil dan wel tijd steken in fatsoenlijke benchmark. Wellicht met iozone oid of iets in die richting, en dan goed het verschil testen tussen samba / netwerk pipe / disk io. Dat kost alleen veel tijd, wat ik op dit moment niet heb.

lokaal op de raid array:

	Command line used: iozone -s 128G -i 0 -i 1 -i 2 -i 6 -i 7 -j 16 -r 4096k -+u -b /tmp/output_new.xls
	Output is in Kbytes/sec
	Time Resolution = 0.000001 seconds.
	Processor cache size set to 1024 Kbytes.
	Processor cache line size set to 32 bytes.
	File stride size set to 16 * record size.
                                                            random  random    bkwd   record   stride                                   
              KB  reclen   write rewrite    read    reread    read   write    read  rewrite     read   fwrite frewrite   fread  freread
       134217728    4096  419371  416324   943435   945583  227985  261597                           419795   416562  939944   940163

[ Voor 31% gewijzigd door Verwijderd op 10-07-2012 15:50 ]

[revox862]

Zucht. Wat nu weer?

code:

Jul 11 19:23:30 zfsguru kernel: mps0: mpssas_remove_complete on target 0x0007, IOCStatus= 0x0
Jul 11 19:23:30 zfsguru kernel: (da7:mps0:0:7:0): lost device - 7 outstanding
Jul 11 19:23:30 zfsguru kernel: (da7:mps0:0:7:0): oustanding 6
Jul 11 19:23:30 zfsguru kernel: (da7:mps0:0:7:0): oustanding 5
Jul 11 19:23:30 zfsguru kernel: (da7:mps0:0:7:0): oustanding 4
Jul 11 19:23:30 zfsguru kernel: (da7:mps0:0:7:0): oustanding 3
Jul 11 19:23:30 zfsguru kernel: (da7:mps0:0:7:0): oustanding 2
Jul 11 19:23:30 zfsguru kernel: (da7:mps0:0:7:0): oustanding 1
Jul 11 19:23:30 zfsguru kernel: (da7:mps0:0:7:0): oustanding 0
Jul 11 19:23:31 zfsguru kernel: (da7:mps0:0:7:0): removing device entry
Jul 11 19:23:40 zfsguru kernel: da7 at mps0 bus 0 scbus0 target 7 lun 0
Jul 11 19:23:40 zfsguru kernel: da7: <ATA WDC WD20EARX-00P AB51> Fixed Direct Access SCSI-6 device 
Jul 11 19:23:40 zfsguru kernel: da7: 600.000MB/s transfers
Jul 11 19:23:40 zfsguru kernel: da7: Command Queueing enabled
Jul 11 19:23:40 zfsguru kernel: da7: 1907729MB (3907029168 512 byte sectors: 255H 63S/T 243201C)

Kan dat resilveren ook sneller?

code:

  pool: tank
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
 scan: resilver in progress since Wed Jul 11 19:18:58 2012
    331G scanned out of 5.90T at 151M/s, 10h45m to go
    1.68G resilvered, 5.49% done
config:

        NAME                      STATE     READ WRITE CKSUM
        tank                      DEGRADED     0     0     0
          raidz2-0                DEGRADED     0     0     0
            gpt/disk1             ONLINE       0     0     0
            gpt/disk2             ONLINE       0     0     0
            gpt/disk3             ONLINE       0     0     0
            gpt/disk4             ONLINE       0     0     0
            gpt/disk5             ONLINE       0     0     0
            gpt/disk6             ONLINE       0     0     0
            gpt/disk7             ONLINE       0     0     0
            gpt/disk8             ONLINE       0     0     0
            gpt/disk9             ONLINE       0     0     0
            15956275902020118900  REMOVED      0     0     0  was /dev/gpt/disk10  (resilvering)

errors: No known data errors

[victorb]

De Asus E35M1-i is opeens niet meer leverbaar!!

http://afuture.nl/productview.php?productID=250121

Toen ik eind vorige week mijn systeempje bestelde waren er 60 op voorraad bij de leverancier. en 1 tot 3 dagen levertijd. Nou geen probleem zou je denken....... Alles in mijn order is aanwezig inclusief het andere geheugen, wat ik maandag heb besteld (dus der is een levering van leverancier geweest bij afuture) Alleen het moederbord is nu opeens niet leverbaar meer :(:(

Dit zuigt echt enorm had zo gehoopt om morgen het systeem te bouwen. En ik ben echt enthousiast geworden over de E35M1-I en had hele mooie build gepland om dit bord.

Straks maar even afuture emailen en kijken wat er aan de hand is. Anders moet ik nieuwe build gaan plannen. Want ik zie niet echt een alternatief voor de Asus E35M1-i (6x sata600 pci-e 4x en itx formaat) OF weten jullie nog een goed alternatief?

[webbier]

Ik weet niet hoeveel processorkracht je nodig denkt te hebben, maar voor een simpele fileserver zou je deze kunnen nemen, heeft ipv de E350 een C60 processor. Verder redelijk gelijk geloof ik.

pricewatch: Asus C60M1-I

[victorb]

Maar ook heel beperkt leverbaar

[GioStyle]

victorb schreef op woensdag 11 juli 2012 @ 20:37:
De Asus E35M1-i is opeens niet meer leverbaar!!

http://afuture.nl/productview.php?productID=250121

Toen ik eind vorige week mijn systeempje bestelde waren er 60 op voorraad bij de leverancier. en 1 tot 3 dagen levertijd. Nou geen probleem zou je denken....... Alles in mijn order is aanwezig inclusief het andere geheugen, wat ik maandag heb besteld (dus der is een levering van leverancier geweest bij afuture) Alleen het moederbord is nu opeens niet leverbaar meer :(:(

Dit zuigt echt enorm had zo gehoopt om morgen het systeem te bouwen. En ik ben echt enthousiast geworden over de E35M1-I en had hele mooie build gepland om dit bord.

Straks maar even afuture emailen en kijken wat er aan de hand is. Anders moet ik nieuwe build gaan plannen. Want ik zie niet echt een alternatief voor de Asus E35M1-i (6x sata600 pci-e 4x en itx formaat) OF weten jullie nog een goed alternatief?

Asus P8H77-I + G620 of G530? Kost je iets meer, maar dan heb je ook een stuk meer CPU-kracht.

[victorb]

GioStyle zou kunnen.

Toch ook maar even de niet mini itx opties bekijken.

#	Product	Prijs	Subtotaal
1	Asus F1A75-M	€ 67,20	€ 67,20
1	Fractal Design Arc Midi Tower	€ 77,60	€ 77,60
1	be quiet! Pure Power L8 430W	€ 49,45	€ 49,45
1	Corsair CMV16GX3M2A1333C9	€ 87,10	€ 87,10
1	AMD A4-3400 Boxed	€ 46,60	€ 46,60
Bekijk collectie Importeer producten		Totaal	€ 327,95

Dan kan ik hem bijv later nog beter uitbreiden net 2x pci-e 4x en 16x. En deze fractal kast heeft hd in een slide tray dus ook makkelijk eruit te halen. Ik kan ook voor een 3core 2.1ghz gaan voor 15 euro meer. En dit moederbord heeft 64gb mem support

Wat vinden jullie van deze setup?

[victorb]

Ok kan niet meer terug Heb het volgende besteld nu

#	Product	Prijs	Subtotaal
1	Asus F1A75-M	€ 67,20	€ 67,20
1	Fractal Design Arc Midi Tower	€ 75,84	€ 75,84
1	Corsair Gaming GS500	€ 51,90	€ 51,90
1	Corsair CMV16GX3M2A1333C9	€ 87,10	€ 87,10
1	AMD A6-3500 Boxed	€ 60,70	€ 60,70
Bekijk collectie Importeer producten		Totaal	€ 342,74

Geen itx build meer maar toch gewone kast met microatx bord. en in de kast kunnen 8x disk
Ik heb meteen erbij besteld:

En 2x sata splitters en 6x sats 600 kabels van 50cm

[CurlyMo]

victorb schreef op donderdag 12 juli 2012 @ 15:54:
Ik heb meteen erbij besteld:
[afbeelding]

Ik gebruik zelf 2 pricewatch: Sandisk Cruzer Fit 4GB Zwart aan de buitenkant van de kast. Deze zijn zo klein dat ik de meerwaarde van usb sticks intern niet meer zag.

[victorb]

dat kan natuurlijk ook maar vind dit wel leuke oplossing. Heb toch genoeg grote usb stick en geen mini usb sticks.

[victorb]

AAAAAAAAAAAAAAARRGGGHHHH

http://tweakers.net/pricewatch/285140/asus-e35m1-i.html

Nu is die opeens wel weer leverbaar ofzo. Heb ik net wat anders besteld.

[VorCha]

@victorb, ik wilde gaan vragen waar je die usb poort adapter besteld had, maar toen zag ik de url van de image, even nr zoeken en voila;
http://afuture.nl/productview.php?productID=171960

Ik kan het trouwens niet zo snel terugvinden in de pricewatch.

@CurclyMo Ik geef je gelijk, thuis zou ik die mini usb-sticks ook prima vinden. Er zijn echter een aantal andere locaties waarbij ik het liever intern zet.
Zo heb ik een 2tal systemen bij bedrijven staan waarbij ik liever heb dat de sticks onbereikbaar zijn. De systemen onbereikbaar maken is geen optie. (mkb en soho)
En ik loop met het idee rond van dit soort systemen gaan leveren, de vraag naar centrale en overzichtelijke storage begint toe te nemen.
Daarnaast heb ik nog een pizzadoos in een datacenter, met daarop ESXi. Op dit moment steekt het sticky er nog aan de achterkant uit, al heb ik het wel met een tiewrap vast gemaakt. Ik ben bezig met een nieuwe doos, alleen heb ik in een 1U niet zo veel ruimte in de hoogte.

[victorb]

Ze zijn beetje moeilijk et vinden op webshop sites. Maar salland heeft ook iets andere modellem. Maar voor een 1u server zou ik een usb poort aan een kabel pakken en die intern vasttiewrappen. Er zwerft vast nog wel achterplaatje met usb poorten rond

[VorCha]

@victorb, ik heb alvast een front usb poort van een oude desktop gevonden, maar die kabels zijn langer dan ik zou willen. Zo'n adapter lijkt mij de 'schoonste' oplossing.
Overigens ga ik in het datacenter een ESXi+FreeNAS oplossing in 1 maken. Waarbij ik een USB 3.0 disk aan FreeNAS wil gaan geven. Maar ik ben er nog niet uit. Misschien moet ik mijn idee maar eens beter op papier zetten en het tegen mijn mede-tweakers aan houden.

[soulrider]

@victorb: kan je die image aanpassen naar de productlink van hierboven? Door je link naar de https-versie krijg je nu continu een "certificaat niet ok"-waarschuwing....
Trouwens: slim gezien die adapter maar bij een webwinkel die zijn https-certificaat al niet goed in orde kan brengen, zal ik niet rap betalingsgegevens achterlaten (of zelfs maar bestellen)

[victorb]

soulrider schreef op zondag 15 juli 2012 @ 12:20:
@victorb: kan je die image aanpassen naar de productlink van hierboven? Door je link naar de https-versie krijg je nu continu een "certificaat niet ok"-waarschuwing....

Ik heb de link naar de niet https versie aangepast


http://www.salland.eu/pro...-adapter-usbmbadapt2.html Nog een variant bij salland gevonden

[uruviel359]

Inmiddels ben ik het gehannes met 4TB aan USB2.0 HDD's op mijn laptop (via een of ander goedkoop USB-hubje) wel een beetje zat en ben al een tijdje opzoek naar een goede NAS oplossing. Het artikeletje How I Store My 1′s and 0′s: ZFS + Bargain HP Microserver = JOY was erg lovend over de HP n40, vanwege zijn lage kosten en ECC support.

Maar het lijkt me eigenlijk ook wel erg leuk om zelf wat te bouwen en had dit bij elkaar geklikt:

#	Product	Prijs	Subtotaal
1	Asus C60M1-I	€ 77,41	€ 77,41
3	Samsung EcoGreen F4EG HD204UI, 2TB	€ 97,90	€ 293,70
1	Lian Li PC-Q25B	€ 102,90	€ 102,90
1	3Ware 3Ware Multi-lane SATA cable CBL-SFF8087OCF-05M	€ 15,82	€ 15,82
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 114,24	€ 114,24
1	Corsair Vengeance CML8GX3M2A1600C9 Low Profile	€ 46,95	€ 46,95
Bekijk collectie Importeer producten		Totaal	€ 651,02

Stil en zuinig zijn absoluut een must, verder zal hij voornamelijk voor multimediaopslag en over-the-air backups gebruikt worden. Het OS zal waarschijnlijk FreeBSD zijn (of misschien FreeNAS/ZFSGuru, met beide nog niet echt gewerkt) .

Mijn vraag is of, er veel voordeel zit in het hebben van een RAID kaart tov direct de HDD's aan het moederbord met RAID-Z? Mijn gevoel is dat ik de RAID kaart ook wel weg kan laten, sinds het ook een point-of-failure scheelt, maar mis dan natuurlijk wel een patsfactor ;-)

Verder mist dit mobo natuurlijk ECC (toegegeven in-memory corruption zal wel niet erg vaak voorkomen) maar een µATX opstelling met ECC is moeilijk te vinden en vooral erg prijzig. Of is hier een alternatief voor wat ik over het hoofd gezien heb?

Verder vroeg ik me af of met deze opstelling dedup (eventueel zelfs compressie) een erg grote performance hit zal zijn?

[webbier]

Als je niet van plan bent meer dan 6 schijven aan te sluiten zou ik lekker de onboard satapoorten gebruiken. Ik heb een soortgelijke setup, alleen met 5 samsung disks op de pricewatch: Asus E35M1-I. Geheel draait onder zfs-guru, alles prima. Transfers over het netwerk gaan met 60 MB/s ongeveer. Dedup en compressie gebruik ik zelf niet, maar heb wel begrepen dat die nogal cpu intensief zijn, dus ik denk dat je daar met je C60 een beetje in de knoop gaat komen.

[FireDrunk]

Ik vind het eerlijk gezegd vreemd dat je maar 60MB/s haalt met zo'n bordje. Ligt dat aan de NIC of aan Samba?
Haal je via NFS wel hogere snelheden?

[Verwijderd]

uruviel359 schreef op zondag 15 juli 2012 @ 13:58:
Stil en zuinig zijn absoluut een must

Nou dan heb je opzich al een geschikt moederbord, ook lekker goedkoop natuurlijk. Mocht die C60 na een tijd de traag blijken, dan kun je ook prima uitbreiden naar een Intel setup bijvoorbeeld, dat C60 bordje is vrij goedkoop en je kunt er altijd nog wel leuke dingen mee doen voor zaken die weinig CPU kracht vragen. C60 is opzich goed omdat het een dualcore is met lagere frequency; dat is in principe wat ZFS wilt. Dat wil zeggen: beter meer cores dan hoge frequency/UP performance.

C60 zal voor normale datadoorvoer wel prima zijn, maar dedup enzo wil je niet gaan gebruiken net zoals gzip compressie, uitzonderingen voor bijvoorbeeld log filesystem uitgesloten; het is ook weer niet alsof die C60 trager is dan je smartphone; nee.

Mijn vraag is of, er veel voordeel zit in het hebben van een RAID kaart tov direct de HDD's aan het moederbord met RAID-Z? Mijn gevoel is dat ik de RAID kaart ook wel weg kan laten, sinds het ook een point-of-failure scheelt, maar mis dan natuurlijk wel een patsfactor ;-)

Je chipset poorten zijn de best mogelijke poorten die je kunt hebben. Je zult nooit wat beters kunnen krijgen dan je chipset poorten; geen enkele controller kan de latency van de embedded chipset SATA verslaan. Dat komt omdat een controller een extra PCI-express bridge moet doorlopen, terwijl je chipset SATA vrijwel direct aan de CPU gekoppeld wordt (southbridge -> PCIe in CPU).

Het is geen RAID controller trouwens. Althans, vrijwel iedereen hier gebruikt IT-firmware om het een non-RAID controller te laten worden. Als je ZFS gaat gebruiken is dit zéér sterk aanbevolen!

Verder mist dit mobo natuurlijk ECC (toegegeven in-memory corruption zal wel niet erg vaak voorkomen) maar een µATX opstelling met ECC is moeilijk te vinden en vooral erg prijzig. Of is hier een alternatief voor wat ik over het hoofd gezien heb?

Gezien de absurde prijzen is ECC nu duidelijk weer een serverfeature; het kost natuurlijk maar 2% extra, maar omdat serversystemen zich juist op dit punt goed kunnen onderscheiden van desktop/consumentensystemen, zullen bedrijven actief in de serverindustrie hier natuurlijk een slaatje uit proberen te slaan. Zo natuurlijk Intel met hun politieke prijsbepaling (consumenten mógen geen ECC). AMD was hierin altijd een uitzondering; totdat alle nieuwe CPUs geen ECC ondersteuning meer hadden, in elk geval Llano, Trinity en Brazos/Zacate zouden geen ECC support hebben. Bulldozer weet ik even niet meer; misschien wel omdat die nog serverpotentie heeft. Maar van AMD hoef je tegenwoordig dus ook NIETS te verwachten als het om ECC support gaat. Ze zullen met opzet dat wij daar niet te gemakkelijk gebruik van kunnen maken; daarvoor zullen we diep in de buidel moeten tasten. Jammer.

Verder vroeg ik me af of met deze opstelling dedup (eventueel zelfs compressie) een erg grote performance hit zal zijn?

Dedup met een C60 en 8GiB RAM? Hah, grappig. En waar sluit je je SSD op aan als je all 6 de SATA in gebruik hebt? Die controller was niet nodig, of wel?

Wil je serieus antwoord, dan denk ik dat je je C60 plan moet laten varen, en voor een duurder Intel systeem moet gaan. Een quadcore met 32GiB RAM bijvoorbeeld. Dat is geschikt voor compressie, dedup en L2ARC.

Bedenk dat dedup en L2ARC extra RAM nodig hebben. 2x4GiB RAM zou ik sowieso niet doen, omdat je beter uitbent met 2x8GiB RAM. Het wordt alleen niet officiëel ondersteund voor Brazos, ofzoiets. Maar het zou wel gewoon moeten werken. Als je echt 2x4GiB wilt, neem dan de set van G.Skill Sniper SR2 die tot 1.25v kan gaan. 2x8GiB is moeilijk te vinden lager dan 1.5v, en extreem duur. De normale 2x8GiB 1.5V set is wel goed te doen. Dat lijkt mij je beste keus.

FireDrunk schreef op zondag 15 juli 2012 @ 15:18:
Ik vind het eerlijk gezegd vreemd dat je maar 60MB/s haalt met zo'n bordje. Ligt dat aan de NIC of aan Samba?
Haal je via NFS wel hogere snelheden?

Bij een normale netwerk-transfer naar een computer met hardeschijf, is die 60MB/s best klassiek voor een hardeschijf bottleneck. Zeker als er data op staat bij een schijf die 100MB/s max kan, is 60MB/s best gemiddeld voor ergens in het midden met nog een klein beetje I/O tussendoor soms. Dus dat zou eigenlijk prima kunnen. Met een SSD in de desktop is het wel vreemd, aangenomen dat de sequential write ervan hoger dan 100MB/s is.

[ Voor 8% gewijzigd door Verwijderd op 15-07-2012 15:26 ]

[webbier]

FireDrunk schreef op zondag 15 juli 2012 @ 15:18:
Ik vind het eerlijk gezegd vreemd dat je maar 60MB/s haalt met zo'n bordje. Ligt dat aan de NIC of aan Samba?
Haal je via NFS wel hogere snelheden?

Net even getest, via samba, als ik naar meerdere harde schijven in mijn desktop schrijf zit ik tussen de 85-90 MB/s. Heb verder niets getuned. Ik kan prima leven met deze snelheden

[victorb]

Zo eindelijk is die binnen mijn nieuwe filserver!

Triple core amd met 16gb geheugen
Der zit nu 5x500gb in Eerst komende tijd er nog wat mee klooien en dan de definitieve disken kopen. (En hopen dat ze nog iets goedkoper worden )

Denk dat ik van de week ZFSguru erop ga proberen

[ Voor 13% gewijzigd door victorb op 18-07-2012 00:15 ]

[Verwijderd]

Dat ziet er netjes uit victorb! Ik ben denk ik komend weekend klaar met de nieuwe ZFSguru image. Dus misschien valt dat mooi samen met je nieuwe installatie. Ik ben vandaag in elk geval al heel erg opgeschoten met een paar moeilijke bugs. Morgen nieuwe dag.

[Verwijderd]

Hoi,

Ik wel graag ook zo een DIY RAID NAS inmekkaar steken.

Het is zo dat ik graag een setup wil van een 10 tal HD van 4TB dus 1 voor de checkup en 9 voor storage.


maar graag zo ik ook wel een 8-tal hd die ik van uit mijn externe cases wil halen en meteen in een tower steken ==> deze gaan natuurlijk niet in raid config staan maar zou ik graag ook willen gebruiken, kwestie van maar 1 tower te hebben met al men harddrives.

Welke config raden jullie me aan.

Grootte van de tower maakt niets uit en verbruik ook niet meteen.

Het moet in totaal toch wel 15 tot 20 HD kunnen hosten eventueel BLR Writer, krachtige cpu voor het transcoden van men 1080p MKV's en setup van een mini server.

Sorry als dit de verkeerde plaats is om men vraag te stellen.

Mvg

ZeRoCooL

[redfoxert]

Verwijderd schreef op woensdag 18 juli 2012 @ 08:20:
Het moet in totaal toch wel 15 tot 20 HD kunnen hosten eventueel BLR Writer, krachtige cpu voor het transcoden van men 1080p MKV's en setup van een mini server.

Ik zou eerst eens beginnen met zoeken naar een kast waar je zoveel schijven in kwijt kunt. De rest komt daarna wel want dat is vrij generiek spul. Uiteraard zul je wel een of meerdere degelijke controllers moeten hebben om al die schijven ook aan te kunnen sturen.

Qua CPU/Geheugen: een Core i5 met 16GB geheugen is wel genoeg voor je wensen, eventueel een Core i7, maar ik ben Intel-biased

[Verwijderd]

redfoxert schreef op woensdag 18 juli 2012 @ 08:30:
[...]


Ik zou eerst eens beginnen met zoeken naar een kast waar je zoveel schijven in kwijt kunt. De rest komt daarna wel want dat is vrij generiek spul. Uiteraard zul je wel een of meerdere degelijke controllers moeten hebben om al die schijven ook aan te kunnen sturen.

Qua CPU/Geheugen: een Core i5 met 16GB geheugen is wel genoeg voor je wensen, eventueel een Core i7, maar ik ben Intel-biased

Hey,

Thx voor de quick reply,

ik had gedacht om zo iets aan te kopen en in de kelder te steken ==>

http://img693.imageshack....66/hpdl360g4rackfront.jpg

een serverrack te gebruiken.

ik ben ook wel intelbased ingericht ^^

Ik had persoonlijk gedacht voor een

- Intel Core I7
- 32GB max
- x aantal sata/raid controlers (aanbevelingen?)
- gigabit controler (aanbeveling?)
- 1 256gb SSD voor software te draaien
- gpu integrated on mainboard (geen grafische performanties nodig)
- moederbord ?

Wat kunnen jullie aanraden?

Mvg

ZeRoCooL

[Jormungandr]

Ivm de case: Norco RPC-2442. Daar kunnen 24 schijven in. Als dat niet voldoet, kan je nog uitbreiden met DS24 shelves waar nog eens 24 schijven in kunnen.

Mobo:
24 disken (uit gaande van het max) zijn 3 HBA's als je niet met een expander werkt. Zorg dus al voor een moederbord met 3 PCI-e 8x slots. Je komt dan al snel uit bij de Supermicro borden of highend gaming stuff.

CPU:
Als je naar Supermicro gaat is het ofwel i3 of Xeon.

SAS controller:
Probeer een paar IBM M1015 te scoren op ebay/marktplaats/whatever. Tried and tested IT controller die regelmatig ebay passeren voor weinig geld. Eventueel kan je ook eens kijken naar de nieuwste SAS kaarten van oa LSI, maar of die al goed beschikbaar zijn weet ik niet, idem voor de prijs.

Software:
Aangezien je al disks hebt neem ik aan dat je voor safety gaat en software raid gaat draaien? In dat geval is de combi M1015 en gewone disken toppie. Wil je echt hardware raid, dan moet de M1015 eruit en moet je een echte (dure) RAID controller kopen met bijhorende disks. De Western Digital RED serie zou een soort Green disk moeten zijn maar met TLER en approved voor 24/7.

[webfreakz.nl]

Ik zou sowieso een Xeon nemen voor ECC geheugen.

[Dazzleware]

Ik ben van plan om een nieuwe ESXi server aan te schaffen, ik heb hier nu ook al een ESXi bak staan, maar wil overgaan op iets professionelers.

Ik ga er 5+ productie machines opdraaien waaronder 2x Ubuntu 12.04 server, 1x Clearos, Netboot server en een Windows 2008R2 server.

Daarnaast wil ik er ook een uitgebreid test netwerk kunnen opzetten met 5-10 vm's met vershillende os', en verschillende performance eisen.

Hieronder een lijstje met wat ik heb samengesteld, harde schijven en supermicro controller heb ik al.

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 Boxed	€ 208,30	€ 208,30
1	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 138,-	€ 138,-
2	Western Digita Green WD15EARS, 1.5TB	€ 59,-	€ 118,-
6	Western Digital Green WD20EARS, 2TB	€ 120,84	€ 725,04
1	Norcotek RPC-4220	€ 437,92	€ 437,92
4	Supermicro SFF8087 to SFF8087 (CBL-0281L)	€ 15,47	€ 61,88
4	Kingston ValueRAM KVR1333D3E9S/4GEC	€ 32,07	€ 128,28
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 114,24	€ 114,24
1	Supermicro AOC-USAS-L8i	€ 145,30	€ 145,30
1	Cooler Master GX GX 550W v2	€ 61,45	€ 61,45
1	Supermicro X9SCM-F	€ 186,20	€ 186,20
Bekijk collectie Importeer producten		Totaal	€ 2.324,61

Graag zou ik willen weten wat jullie van deze setup vinden.

[NIK0]

Dazzleware schreef op vrijdag 20 juli 2012 @ 18:51:
Ik ben van plan om een nieuwe ESXi server aan te schaffen, ik heb hier nu ook al een ESXi bak staan, maar wil overgaan op iets professionelers.

Ik ga er 5+ productie machines opdraaien waaronder 2x Ubuntu 12.04 server, 1x Clearos, Netboot server en een Windows 2008R2 server.

Daarnaast wil ik er ook een uitgebreid test netwerk kunnen opzetten met 5-10 vm's met vershillende os', en verschillende performance eisen.

Hieronder een lijstje met wat ik heb samengesteld, harde schijven en supermicro controller heb ik al.

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 Boxed	€ 208,30	€ 208,30
1	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 138,-	€ 138,-
2	Western Digita Green WD15EARS, 1.5TB	€ 59,-	€ 118,-
6	Western Digital Green WD20EARS, 2TB	€ 120,84	€ 725,04
1	Norcotek RPC-4220	€ 437,92	€ 437,92
4	Supermicro SFF8087 to SFF8087 (CBL-0281L)	€ 15,47	€ 61,88
4	Kingston ValueRAM KVR1333D3E9S/4GEC	€ 32,07	€ 128,28
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 114,24	€ 114,24
1	Supermicro AOC-USAS-L8i	€ 145,30	€ 145,30
1	Cooler Master GX GX 550W v2	€ 61,45	€ 61,45
1	Supermicro X9SCM-F	€ 186,20	€ 186,20
Bekijk collectie Importeer producten		Totaal	€ 2.324,61

Graag zou ik willen weten wat jullie van deze setup vinden.

Speciale reden dat je kiest voor een Intel Xeon E3-1230 ipv een Core i5 of Core i7..?

Losse tweaker vraag: mag ik vragen wat je met die netboot server doet of gaat doen..? (thinclients/macs..? )

[Dazzleware]

reden voor Xeon is o.a. ECC. Netboot server is UDA, nu nog alleen geconfigureerd met een Ubuntu installer, maar straks ook hopelijk Openelec booten via pxe, en live os' booten

[victorb]

Hup doorwerken CiPHER ;-)

Ik heb vanavond HP NC364T nicjes gescoord

En daar mee wil ik graag spelen onder ZFSguru!

Ik heb nu alleen nog disken nodig. Nu zijn er eigenlijk 2 opties. Seagate Barracuda 3TB 7200RPM 2 jaar garantie of Western Digital Caviar Green 3TB 5400RPM 3 jaar garantie. Ik wil 6 disken in raidZ2 gaan draaien. Maar nu hoor ik over beide schijven mindere verhalen. De seagate is wel stuk sneller dan de WD. Hoe zijn jullie ervaringen met deze disken eigenlijk?

[FireDrunk]

Ik zou voor 5400rpm schijven gaan. Sequentieel scheelt het minder dan met random i/o en de bottleneck zit eerder in iets anders dan je schijven. Denk aan: netwerk, RAID-engine of zoiets.

[Jormungandr]

Aan IOPS zit je wel lager met 5400 dan met de 7200. Aan jou om uit te vogelen of dat aanvaardbaar is.

IOPS/Raid calculator:
http://www.wmarow.com/strcalc/

[Verwijderd]

Dat los je op met L2ARC, zeker voor thuis NAS is dat ruim voldoende. Betekent wel dat je een een SSD nodig hebt, liefst een goede (Crucial M4 128GB zou fantastisch zijn).

Besef ook dat de meeste gebruikers vooral grote bestanden opslaan met sequential I/O. Voor die paar games die ze misschien draaien en de metadata wil je die dan vanaf L2ARC kunnen draaien.

[ Voor 36% gewijzigd door Verwijderd op 22-07-2012 23:21 ]

[Durandal]

Ik ben wat spullen aan het uitzoeken voor mijn NAS en zoek nog twee antwoorden.

1) Ondanks de 8GB RAM limiet wat de handleiding vermeldt dacht ik ergens gelezen te hebben van iemand die een ASUS E45M1 Deluxe/Pro moederbordje draaide met 16GB.
Is er iemand die dat voor elkaar heeft gekregen, en zo ja welk type RAM?

2) Ik weet dat de IBM M1015 controller werkt op een Asus E45M1 Deluxe. Kan iemand ook zeggen of die werkt op een Pro?

[victorb]

Verwijderd schreef op zondag 22 juli 2012 @ 23:20:
Dat los je op met L2ARC, zeker voor thuis NAS is dat ruim voldoende. Betekent wel dat je een een SSD nodig hebt, liefst een goede (Crucial M4 128GB zou fantastisch zijn).

Dus 5400rpm disken met een ssd zal een betere algemene prestatie geven dan 7200rpm disken zonder ssd?

Ik heb nu in mijn machine een ocz vertex2 128gb sata2 zitten. Die zou ik als L2ARC kunnen inzetten. En dan 6x WD 3TB green. kom ik alleen 1 sata poort te kort. Om daar nou meteen een M1015 voor te kopen . wie weet een goedkoper altarnatief voor 1 a 2 sata poorten erbij? om de ssd aan te hangen met freenas of ZFSguru.

MIjn netwerk word 4x gbit tussen filserver en workstation, En dan in WS alleen ssd voor windows en linux. En dan alle data en home directory op de server (met een extra user op de ssd wel met homedir voor als de fileserver in onderhoud is.

[Verwijderd]

Durandal, ik denk dat vrijwel alle Brazos bordjes werken met 16GiB (2x8) zolang die maar een 'normale' SPD hebben ofwel normale timings met normaal voltage en geen 'overclock' geheugen. Maar dit is maar speculatie van mijn kant. Het werkt in elk geval 100% op mijn MSI Brazos bordje met Adata Gaming XPG2 (1.35v), die is erg duur en nauwelijks verkrijgbaar. Waarom weet ik niet, ik heb hem goedkoop kunnen krijgen.

victorb, L2ARC zal zeker veel meer boost kunnen geven dan 5400rpm versus 15000rpm disks. Je IOps zou bij laatstgenoemde optie maar met een factor 3 toenemen, terwijl bij L2ARC dit een factor 100 kan zijn. Hoe goed L2ARC werkt hangt af van hoe goed jouw 'gebruikspatroon' te voorspellen heeft, en hoeveel L2ARC er gebruikt kan worden. L2ARC gebruikt zelf ook RAM geheugen. Voor 1GB RAM kun je 20 tot 80GB L2ARC kwijt grofweg. Zie het als extra RAM cache, want NAND is veel goedkoper dan DRAM.

L2ARC werkt niet goed met synthetische benchmarks die random I/O doen. Je zult een voorspelbaar gebruikspatroon moeten hebben om L2ARC zijn macht te laten tonen. Want het is zeker een machtige feature! Je kunt je 'trage' 5400rpm disks in feite een miljoen rpm geven qua responstijd. Voor grote bestanden die sequentiëel worden aangesproken doet L2ARC niets.

En kleine controller kan zijn een Silicon Image SiI-3132 PCI-express 1.0 x1 (250MB/s maar doet 120MB/s max) met 2 SATA/300 poorten. Een Marvell AHCI controller kan ook, maar die zijn moeilijk te vinden.

[ Voor 7% gewijzigd door Verwijderd op 23-07-2012 00:40 ]

[Durandal]

Verwijderd schreef op maandag 23 juli 2012 @ 00:38:
Durandal, ik denk dat vrijwel alle Brazos bordjes werken met 16GiB (2x8) zolang die maar een 'normale' SPD hebben ofwel normale timings met normaal voltage en geen 'overclock' geheugen. Maar dit is maar speculatie van mijn kant. Het werkt in elk geval 100% op mijn MSI Brazos bordje met Adata Gaming XPG2 (1.35v), die is erg duur en nauwelijks verkrijgbaar. Waarom weet ik niet, ik heb hem goedkoop kunnen krijgen.

Dat AData geheugen is idd schreeuwend duur, als het nog te krijgen is. Is al wat ouder en overigens ergens geadverteerd als OC geheugen Timings zijn wel gewoon 9-9-9-24. Ik zal wel op een Kingston ValueRam model uit komen met 9-9-9 op 1.5V.

Welk MSI Brazos bordje heb je? Is die ook IBM M1015 compatible?
Misschien heb je al ergens een lijstje gepost. Kon het zo snel niet vinden.

[Verwijderd]

OC geheugen bedoel ik vooral die op 1.65V en hoger draaien, en soms een SPD hebben die je moederbord/BIOS/CPU-IMC of whatever niet slikt. Maar dat is zoals gezegd speculatief.

Ik heb dit bordje: pricewatch: MSI E350IS-E45
Kan hem niet aanraden, takkefan. Maar voor mijn doel prima. Is net wat zuiniger dan andere bordjes waarschijnlijk. In elk geval versus het ASUS E35M1-I bordje die net 2,5 watt meer verbruikte. Maar die heef tdan ook meer features.

Mijn bordje werkt met LSI 1068E controller (zeg maar de voorloper van de IBM M1015 met SAS2008 controller). Ik heb ook een silicon image controller getest met ASUS E35M1-I bordje en dat werkt ook prima. Maar bij sommige bordjes zouden er BIOS problemen zijn.

[victorb]

Ik heb er ng even verder over nagedacht. maar ik heb iig nu nog geen 12TB nodig 9TB zal voor komende jaren nog prima zijn. En met 6x sata600 op het moederbord kan ik beter 5x 3tb in raidz2 nemen met een samsung 128gb ssd als l2arc. Dan kan ik altijd nog over 2 jaar extra diskcontroller en meer disken plaatsen. Ik zal gisteren even op de newegg user review te kijken bij disken. En de WD 3tb green word niet heel erg gewaardeerd en sommige hd vreten zichzelf op door 5000x per dag de kop te parkeren wat maar 600000x kan voor dat die stuk gaat. Vanavond nog even verder googlen en dan de keuze maken tussen WD of seagate

[CurlyMo]

victorb schreef op maandag 23 juli 2012 @ 09:04:
Ik heb er ng even verder over nagedacht. maar ik heb iig nu nog geen 12TB nodig 9TB zal voor komende jaren nog prima zijn. En met 6x sata600 op het moederbord kan ik beter 5x 3tb in raidz2 nemen met een samsung 128gb ssd als l2arc. Dan kan ik altijd nog over 2 jaar extra diskcontroller en meer disken plaatsen. Ik zal gisteren even op de newegg user review te kijken bij disken. En de WD 3tb green word niet heel erg gewaardeerd en sommige hd vreten zichzelf op door 5000x per dag de kop te parkeren wat maar 600000x kan voor dat die stuk gaat. Vanavond nog even verder googlen en dan de keuze maken tussen WD of seagate

Via de tool wdidle3 kan je die headparking feature uitzetten of dusdanig laten vertragen dat dat het probleem vaak wel oplost. Maar het is inderdaad ook hier een bekende klacht van WD schijven.

[Jormungandr]

Ziezo, mijn NAS upgrade is alweer achter de rug. Exit AMD A64 X2 4000+, enter Celeron G530.

Zo draait de NAS op dit moment:

#	Product	Prijs	Subtotaal
1	Intel Celeron G530 Boxed	€ 37,45	€ 37,45
2	Intel Gigabit CT Desktop Adapter	€ 24,64	€ 49,28
4	Samsung Spinpoint F4 EG HD204UI, 2TB	€ 94,90	€ 379,60
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 114,24	€ 114,24
1	Intel 320 120GB	€ 173,-	€ 173,-
1	Corsair CMV8GX3M2A1333C9	€ 38,96	€ 38,96
1	MSI H77MA-G43	€ 78,44	€ 78,44
Bekijk collectie Importeer producten		Totaal	€ 870,97

Heb er meteen maar 2 Intel gigabit PCIe kaartjes bijgehaald om NFS en SMB wat te scheiden. Op zo'n momenten vervloek je jezelf dat je in je IP schema geen ruimte hebt gelaten voor extra NICs. Heb geen zin om printers en dergelijke te herconfigureren op alle pc's in huis .

De overstap naar de Celeron is wel goed voor het verbruik. Hij draait nu rond de 65W waar de AMD setup minstens 92W (meestal 96W) trok. Hier zitten ook nog eens 2 Gigabit kaartjes bij dus das ook nog een paar Wattjes erbij. Lager ga ik denk ik niet meer geraken door de Seasonic 460W 2U voeding. Efficientie gaat dan keuhard naar beneden.

[FireDrunk]

Watvoor kast zit er omheen?

[Jormungandr]

Alles zit in een Norco RPC-2208 case. Vandaar de 2u voeding.

[FireDrunk]

Kan daar geen 'gewone' SFX voeding in op zijn kant?

[Birdie_NL]

Jormungandr schreef op maandag 23 juli 2012 @ 17:57:
Alles zit in een Norco RPC-2208 case. Vandaar de 2u voeding.

Zou je wat foto's kunnen posten van je build. Ben ook wel benieuwd of er een standaard atx voeding in past.

[FireDrunk]

* FireDrunk is Gentoo zat en gaat weer ESXi installeren.

Ik kreeg ruk performance uit mijn array (veel te veel met de hand instellen, en 10Gb was ook nogal een ramp. De hardened-sources van Gentoo lieten niet echt toe om een fatsoenlijke ixgbe driver te compilen, en de oude leek vreemde kuren te vertonen tijdens hoge belasting met veel threads.
Dus nu maar weer eens naar Ubuntu (12.04 LTS) onder ESXi en kijken wat dat doet met de performance.

[LED-Maniak]

Hebben jullie er nou nooit last van dat je totaal geen idee hebt wat je moet aanschaffen? Ik zit hier al een uur of 2 door het topic te lezen maar het meeste dat ik tegen kom zijn behoorlijke(en dure) bakken.

Wat is een goed punt om te beginnen?

[FireDrunk]

Budget vaststellen. Features uitzoeken die je WIL, daarna features uitzoeken die je LEUK zou vinden.
Maak een groslijst van moederborden zonder op socket te kiezen die de features bezitten.

Kijk dan welke een beetje in de buurt van jou prijsrange zitten. Kijk welke de beste prijs/pret/feature verhouding heeft.

Zoek er een passende CPU en geheugen bij.

Shoppen...

[ Voor 12% gewijzigd door FireDrunk op 23-07-2012 20:48 ]

[victorb]

vaststellen wat je wil bereiken. Hoeveel storage wil je wat voor netwerk heb je. welke specifieke eisen heb je aan services en hardware. En vooral welk OS en wat zijn de specifieke eisen van het os. Bijv ZFS wil heel veel geheugen.

[LED-Maniak]

victorb schreef op maandag 23 juli 2012 @ 20:56:
vaststellen wat je wil bereiken. Hoeveel storage wil je wat voor netwerk heb je. welke specifieke eisen heb je aan services en hardware. En vooral welk OS en wat zijn de specifieke eisen van het os. Bijv ZFS wil heel veel geheugen.

Ik zat al naar systeem te kijken. Bevalt hij een beetje? Heb je het stroomverbruik al eens gemeten? Dat is voor mij toch wel belangrijk.

@firedrunk
Bedankt voor de tips. Ik denk dat ik op victorb zijn systeem ga breien, een basis om mee te beginnen is altijd fijn.

[ Voor 12% gewijzigd door LED-Maniak op 23-07-2012 21:21 ]

[victorb]

Ik heb geen verbruiks meter. En heb nog geen grote disken. Maar als basis bevalt het me tot nu toe goed. Ik heb nu een quad poort hp controller draaien in het pci-e 4x slot.

Ik ga zo denk een 128gb samsung ssd en 5x 3tb seagate bestellen. Dan kan ik hem gaan configureren voor de echte inzet

[Jormungandr]

brndst schreef op maandag 23 juli 2012 @ 19:04:
[...]

Zou je wat foto's kunnen posten van je build. Ben ook wel benieuwd of er een standaard atx voeding in past.

In de rpc230 heb ik een gewone atx voeding kunnen plaatsen maar dat past echt maar net. De 12mm fan zit ook nog eens ofwel tegen het deksel of bodem. Ideaal is het niet, maar mijn esx server is niet zon zware belasting dus qua hitte lukt dat wel.

De rpc2208 daarentegen is een andere zaak. Daar past geen atx voeding in door een soort rib tussen psu en mobo. Je hebt dus een max breedte en afaik komen atx en sfx daarvoor tekort. Er staan al wat fotos in detail hier in dit topic met aandacht voor het hele psu verhaal.

De psu keuze was mede de oorzaak van mijn daisy chained picopsu denkpiste.

[LED-Maniak]

Dan toch maar beginnen met samenstellen. Doel is een kleine en zuinige nas/htpc er van te kunnen maken. Volgens mij zou dit met het volgende moeten lukken:

#	Product	Prijs	Subtotaal
1	Asus E45M1-I DELUXE	€ 154,95	€ 154,95
3	Seagate Barracuda Green ST1500DL003, 1.5TB	€ 89,90	€ 269,70
1	Mini-box picoPSU 150-XT + 80W Adapter Power Kit	€ 63,15	€ 63,15
1	Samsung 830 series Desktop Upgrade Kit 64GB	€ 60,60	€ 60,60
1	G.Skill Sniper F3-12800CL9D-8GBSR2	€ 51,20	€ 51,20
Bekijk collectie Importeer producten		Totaal	€ 599,60

3 schijven is in principe voldoende voor een zfs opstelling toch?
Voeding lijkt me nog wel te klein. 3x hardeschijf operating = 18Watt(5.8Watt per stuk), moederboard verbruikt ook 18Watt(incl. CPU en GPU).

[Dadona]

Heb je die schijven nog liggen? Het grote verbruik zit in schijven. Ik veronderstel dat de drie in Raidz gaan draaien, neem dan 2x een 3TB WD30EZRX en je bent zo'n 20 Euro duurder uit, maar hebt wel een schijf minder. Voordelen: lager verbruik, mindere piekbelasting, ...

[Verwijderd]

Zo'n duur bordje hoeft écht niet hoor. Allemaal onnodige meuk wat het extra onzuinig maakt. En je hebt maar 5 SATA poorten. Dan beter de Asus E35M1-I of zelfs de C60 variant als je een simpele NAS wilt hebben zonder poespas. Wil je meer gaan doen, kijk dan eens naar een leuk AMD llano setup ofzo, dan heb je ook veel SATA/600 poorten. Bij Intel maar 2. Kan nog een overweging zijn.

En beter neem je de Samsung F4EG 2TB schijven. Zijn wel 4K schijven maar wel erg goed. Let op dat je niet de 'nep' Seagate versie neemt.

Als je je SSD voor meerdere zaken wilt gebruiken, moet je wel weten dat je een deel ongebruikt wilt laten. Van een 64GiB SSD wil je idealer maar 40GiB in gebruik hebben qua partities, en de rest lekker ongebruikt laten. Als dat niet gaat lukken kun je 128GiB overwegen. Weet dat Crucial M4 minder snel slijt dan Samsung 830, alhoewel Samsung 830 als voordeel heeft dat je minder aan overprovisioning hoeft te doen door agressieve garbage collection. Beide SSDs zijn ongeschikt voor SLOG feature, maar wel zeer geschikt voor boot en L2ARC en misschien opslaan van wat VM bestanden ofzo die je 100% op SSD wilt hebben.

Sniper geheugen raad ik af. Beter pak je 8GiB modules. Ik kan echter niet garanderen dat het op álle Brazos bordjes zal werken, maar ik denk eigenlijk van wel. Op mijn bordjes werkte dat in elk geval.

Verder: pak als het even kan SATA power splitters dus NIET met een Molex stekker. Bij voorkeur doe je alles met SATA power stekkers en gebruik je nergens die Molex stekker voor.