Wel mooie setup uiteraard... Tyan is trouwens wel in nederland te krijgen, serverdirect.eu levert het nog.
Even niets...
Verwijderd
wow..heftigFemme schreef op zondag 28 augustus 2011 @ 11:13:
Ik ga de volgende build doen:
vooral je ZIL raid 10 oplossing
Veel hardware had ik al. Ik koop alleen het mobo, de processor, het geheugen, een paar extra harde schijven en de fibre channel adapters nieuw. De fibre channel hba's komen van eBay en zijn gebruikt. Tevens ruim ik een hoop hardware op. De ssd's zaten in mijn Windows-workstation samen met vijf 300GB Western Digital Velociraptors die weggaan. De Mac Pro wordt diskless en alle storage komt in de server. Verder kan ik twee Areca raid-adapters de deur uitdoen die in mijn huidige server en de Windows-werkbak zitten.FireDrunk schreef op zondag 28 augustus 2011 @ 11:22:
Nee hoor, ik vind het overkill
Wel mooie setup uiteraard... Tyan is trouwens wel in nederland te krijgen, serverdirect.eu levert het nog.
De ZFS-boys (lees: CiPHER) zaten te pushen voor veel RAM voor ARC en L2ARC-referenties en write cache dus dat doe ik maar. Een 8GB stick kost nog maar 50 euro.
Een aparte ssd kopen voor de ZIL zou duur zijn en een verspilling van opslagcapaciteit (ik heb maar een kleintje nodig) terwijl ik geen redundancy zou hebben met een enkele ssd voor de ZIL en de schrijfprestaties ook niet geweldig zouden zijn. De Mtron's heb ik al en zijn vanwege hun grootte en het gebruik van slc-geheugen ideaal voor een ZIL. De Areca had ik ook al en zou ervoor moeten zorgen dat de ZIL een erg lage latency heeft en tegelijkertijd veilig is (vanwege BBU en raid 10).
Een probleem waar ik in de praktijk vaak tegenaan loop is dat Photoshop absurde hoeveelheid data naar de scratchfile schrijft zodra m'n ontworpen een uncompressed document size van 500MB overschrijden en ik iets simpels wil doen zoals een paar complexe layers verplaatsen (nudgen via cursortoetsen op het toetsenbord). Photoshop is hopeloos inefficient op dit gebied. In plaats van in de history state bij te houden hoeveel pixels je de layers hebt verplaatst maakt hij een kopie van de gehele inhoud van de layers (ook als daar niets aan verandert) naar het geheugen of, als het geheugen vol zit, de scratchfile. Dit natuurlijk allemaal uncompressed. Er zit volgens mij ook nog een bug in Photoshop die er soms voor zorgt dat de uncompressed document size explodeert. Afgelopen week was ik op mijn laptop met 8GB RAM aan het werk en liep de scratchfile binnen een paar minuten naar een omvang van 18GB. De combinatie heel veel RAM (24GB) in de Mac met een ZFS-server die eventueel compressie doet op een speciaal volume voor de Photoshop-scratchfile gaat hopelijk voor betere prestaties zorgen. De Photoshop-scratchfile kan achterlijk goed gecomprimeerd worden als je aan designs werkt voor webpagina's met bijvoorbeeld een achtergrond die een egale kleur heeft.
[ Voor 50% gewijzigd door Femme op 28-08-2011 12:44 ]
[ Voor 14% gewijzigd door Q op 28-08-2011 14:44 ]
De raid array is nu aan het opbouwen en dus is het afwachten geblazen.
Kan ik het opbouwen nu als nog stoppen en de assume clean optie gebruiken?
Edit: Oplossing al gevond, mdadm --stop en dan gewoon weer create. Gaat een stuk sneller
[ Voor 26% gewijzigd door johiem op 28-08-2011 17:22 ]
Als het systeem werkt plaats ik een foto in het showoff-topic.Staatslot schreef op zondag 28 augustus 2011 @ 13:20:
Ik kan me voorstellen dat jij lang hebt getwijfeld of je alles hier zo plaatsen of in het showoff topic, want man want een systeemSucces en hou ons op de hoogte tof om te lezen!
De QLogic QLE2464 haal je op eBay voor 275 dollar per stuk. Voor de Mac heb ik een Apple-adapter nodig omdat de QLE2464 geen ondersteuning heeft in Lion. Het zal nog wel even puzzelen worden om alles werkend te krijgen inclusief multipathing zodat ik de vier poorten met elk een bandbreedte van 400MB/s tegelijkertijd kan gebruiken. Lion heeft in ieder geval ondersteuning gekregen voor de multipath I/O-standaard die ook door Comstar in Solaris en afgeleiden daarvan wordt ondersteund. Comstar zorgt voor het beschikbaar maken van een zfs-volume als FC-target. Het is te hopen dat ik echt doorvoersnelheden van >400MB/s zal kunnen bereiken. Aangezien Oracle dezelfde software verkoopt in enterprise storage-oplossingen zou je denken dat dit wel mogelijk moet zijn.Q schreef op zondag 28 augustus 2011 @ 14:43:
De build zou al interessant zijn als deze niet de 10+ TB zou overschrijden. Vanwege de FC oplossing.
Comstar kan overigens ook sas-targets maken. Je zou een zfs-box dus via sas aan je systeem moeten kunnen hangen. Het nadeel van sas is dat het wat lastiger en duurder is om grote afstanden te overbruggen. Voor optische LC-kabels van 15 meter betaalde ik slechts 15 euro per stuk.
Ik heb vandaag toevallig even de 3x gigabit NICS mijn download en storage server aan elkaar geknoopt om te zien hoe Linux bonding schaalt: van 2x NICS = 230 MB/s naar 3x NICS = 330 MB/s. Niet geheel lineair, maar als je een server moederbord koopt en er een quad-port nic in stopt en die laat bonden moet je waarschijnlijk wel 400 MB/s over je netwerk halen. Maar dat is bij lange na niet de snelheid van FC die je, mits je geen Apple hardware gebruikt, veel goedkoper kan uitpakken dan een quad-port NIC.
Maar eigenlijk is het grote wachten op simpele Thunderbird PCIe kaartjes. Zal niet super goedkoop zijn, maar voor mijn doeleinden prima geschikt: snelle link tussen twee servers. Ik gok op 100 euro per kaartje en dat lijkt me al veel, en dan nog een paar tientjes voor de kabel. Nu geloof ik niet dat 1 TB link met de huidige hardware te statureren is, maar wie weet komen er dual-port TB kaartjes uit die te 'trunken/bonden' zijn.
Als je build klaar is zou het leuk zijn om het uiteindelijke resultaat in 1 mooie post te stoppen voor in het 10+ TB topic, dan kan meteen je entry geupdated worden
Als ik ooit opnieuw begin met nieuwe hardware zal ik zeker server moederborden aanschaffen, aangezien je daar tenminste veel PCIe sloten op hebt in 4x en 8x formaten, waar je dus FC kaarten etc in kunt stoppen.
Maar daar begin ik pas aan als er 4TB disks te koop zijn voor weinig en mijn storage echt vol loopt.
[ Voor 31% gewijzigd door Q op 29-08-2011 03:30 ]
Maar misschien dat ik nog iets mis...
InfiniBand is ook leuk, maar niet alle kaartjes ondersteunen Ethernet over InifiniBand, dat kan vaak pas bij de nieuwste drivers. Die Molinex (ofzo) die je veel op Ebay ziet ondersteunen dus niet allemaal Ethernet over Infiniband.
En mocht je (zoals ik) graag iets met meerdere servers doen, zit je bij InifiniBand vast aan een *absurd* dure switch
Even niets...
Maar ja. Waarom wil ik Thunderbold FC of Infiniband? Omdat ik twee servers heb die grote bestanden naar elkaar overpompen. En dan nog is het puur luxe.
Mensen met een gewone PC en een grote NAS thuis hebben er weinig aan, of je moet een speciale kabel tussen je computer en je NAS gaan leggen. Maar ik neem aan dat veel DIY NAS bouwers het ding ergens verstoppen zodat ze geen last hebben van lawaai. Dat is vaak te ver weg van het systeem om iets met TB, Infiniband te doen, FC misschien, maar dan ga je al met glas werken?
Voor ontsluiting van content naar je werk computer is voor de meeste mensen Gigabit ethernet wel snel genoeg. En als je iets op externe disk wil zetten pak je USB3 of e-SATA of FW800 als je dat hebt, rechtstreeks op de server.
[ Voor 35% gewijzigd door Q op 29-08-2011 10:24 ]
Als je een bootable fc-adapter hebt en drivers voor Windows 7 dan moet het booten geen probleem zijn lijkt me. Fibre channel is gewoon scsi met een ander transportprotocol en een andere fysieke interface, waarvan de optische variant goed geschikt en goedkoop is om grote afstanden te overbruggen.FireDrunk schreef op maandag 29 augustus 2011 @ 10:08:
Er vanaf booten is afhankelijk van de controller en het OS, ik zie Windows 7 nog niet van FC booten...
Maar misschien dat ik nog iets mis...
Dat geldt helaas voor alle netwerktechnologieën met snelheden van meer dan een gigabit. Het trunken van gigabitpoorten is nog het goedkoopst. Gebruikte 2Gb fibre channel switches zijn voor redelijke prijzen te krijgen maar 4Gb is nog erg duur. 10Gb ethernet is helemaal onbetaalbaar. Alleen point-to-point is redelijk betaalbaar.En mocht je (zoals ik) graag iets met meerdere servers doen, zit je bij InifiniBand vast aan een *absurd* dure switch
10Gb ethernet adapters beginnen bij ca. 550 dollar (nieuw). 4-ports 4Gb fibre channel heb je voor 275 dollar gebruikt.
http://www.ebay.com/itm/H...m4aae1b305f#ht_500wt_1203
Maar inderdaad, alle netwerk > 1Gbit is duur...
[ Voor 34% gewijzigd door FireDrunk op 29-08-2011 10:53 ]
Even niets...
Hopelijk komt FreeNAS 8.0.1 snel uit, want zie graag een update van Netatalk naar versie 2.2 ivm TimeMachine en Lion.
Mijn NAS versie 2.5:
| # | Product |
| 16 | Western Digital Caviar Green WD10EADS, 1TB |
| 1 | Sony NEC Optiarc AD-7673S Zwart |
| 1 | Chenbro RM31616M-G |
| 1 | LSI SAS 9201-16i |
| 1 | Intel Core i3 2100T |
| 1 | Seasonic SS-460H |
| 2 | Hynix HMT351U7BFR8C-H9T0 |
| 1 | Supermicro X9SCM-F |
| 4 | CBL-SFF8087SB-05M |
| 1 | 8GB USB stick voor FreeNAS 8.0 |
Rest van de setup:
| # | Product |
| 1 | HP Procurve V1810-24G Switch |
| 1 | APC Smart-UPS 2200VA USB & Serial RM 2U 230V |
| 1 | DIY 10u Rack |
... all gonna wonder how you ever thought you could live so large and leave so little for the rest of us...
Ik heb in eerste instantie alleen naar nieuwe 10GbE kaarten zitten kijken en die zaten qua prijs aan zo'n 550 dollar voor een single-port. Vanwege de gebrekkige OS X-ondersteuning was dat geen optie voor mij. De kaarten met een optische SFP-transceiver gebruiken dezelfde kabels als fibre channel.FireDrunk schreef op maandag 29 augustus 2011 @ 10:52:
Maar de 10GbE Adapters zijn ook voorzien van twee poorten, dus effectief ongeveer even duur...
http://www.ebay.com/itm/H...m4aae1b305f#ht_500wt_1203
Maar inderdaad, alle netwerk > 1Gbit is duur...
Voor een nas zou het wel wat kunnen zijn. Ik was op zoek naar de functionaliteit van een san (of eigenlijk heb ik gewoon direct attached storage nodig maar dan op afstand zodat ik geen last heb van het geluid en beperkt wordt door de uitbreidingsmogelijkheden van de Mac en ik wil de opslag consolideren op een apparaat dat ook voor nas speelt).
[ Voor 24% gewijzigd door Femme op 29-08-2011 12:06 ]
http://azerty.nl/producte...t-ethernet-2-poorten.html
Deze hebben wij in veel ESX hosts zitten.
Even niets...
MmmmmZware Unit schreef op maandag 29 augustus 2011 @ 12:05:
Heb een aantal nieuwe spullen besteld om mijn NAS een upgrade te geven. Een nieuw moederbord, CPU en geheugen. LSI controller wordt als het goed is vandaag afgeleverd. Over een aantal maanden worden de disken waarschijnlijk vervangen door Hitachi 5K3000 (2TB) of de 3TB opvolger als deze inmiddels aantrekkelijk is geworden kwa prijs / TB verhouding.
Hopelijk komt FreeNAS 8.0.1 snel uit, want zie graag een update van Netatalk naar versie 2.2 ivm TimeMachine en Lion.
Mijn NAS versie 2.5:
# Product 1 LSI SAS 9201-16i 2 Hynix HMT351U7BFR8C-H9T0 1 Supermicro X9SCM-F
Waarom bestel je eigenlijk twee Hynix modules ( € 110,- ). De Kingston DDR3-1333 ECC UDIM's zijn goedkoper (ca. € 70) en staan ook in de memory list van de X9SCM-F (leveringstijd ca. net zo lang ).
[ Voor 34% gewijzigd door Pantagruel op 29-08-2011 13:23 ]
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Had de kit nog niet gevonden. Hynix set was iets duurder ivm de losse modules van Kingston en een betere levertijd, dus vond die paar tientjes niet zo spannend.Pantagruel schreef op maandag 29 augustus 2011 @ 13:20:
[...]
Mmmmmlekkere controller.
Waarom bestel je eigenlijk twee Hynix modules ( € 110,- ). De Kingston DDR3-1333 ECC UDIM's zijn goedkoper (ca. € 70) en staan ook in de memory list van de X9SCM-F (leveringstijd ca. net zo lang ).
... all gonna wonder how you ever thought you could live so large and leave so little for the rest of us...
I just wanted to give everyone a heads up. Right now, Norco is in the process of waiting for a new back plane version. The current version (3.7) has issues. I am on the 3rd case from NewEgg for the 4224's. The second port in from the left on the back plane is close to 50/50 for working.
On the first case, 3 of the back planes were bad (all some port location). I thought that was weird then I got the second one. The second one had a bad back plane (same port location). I examined one of the bad back planes and noticed that the second port has a small cap or resistor that is barely attached to the board and soldered to the wrong contact point compared to the working ones.
The third case has a dead port as well. I contacted Norco and they are more than happy to replace the bad boards. They said they know of the issue FWIW and are waiting for the mfg of them to update the board version.
Even niets...
Inderdaad, had gisteren een email in de bus dat t moederbord en de Xeon vandaag dan wel morgen klaar liggen.Zware Unit schreef op maandag 29 augustus 2011 @ 15:14:
[...]
Had de kit nog niet gevonden. Hynix set was iets duurder ivm de losse modules van Kingston en een betere levertijd, dus vond die paar tientjes niet zo spannend.
De Kingston modules konden nog wel een week duren (wat nou 1 tot 5 dagen levertijd), die heb ik dus maar geannuleerd. Bij een andere webwinkel zouden ze op voorraad zijn, dus heb ik ze daar maar besteld.
Update-je: En inderdaad, als ik 'pech' heb, zijn de geheugen modules nog eerder in huis dan de Xeon en 't moederbord, de bevestiging in de bus dat 't vanavond met de koerier onder weg gaat.
[ Voor 13% gewijzigd door Pantagruel op 30-08-2011 12:48 ]
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
450MB per seconde met 16 x 1TB in ZFS RAIDz2. Prima prestatie.
De controller die ongeveer 350 kost werd meteen herkend in FreeBSD, dus is echt een aanrader indien je gebruik gaat maken van ZFS onder FreeBSD.
... all gonna wonder how you ever thought you could live so large and leave so little for the rest of us...
Even niets...
| # | Product | Prijs | Subtotaal |
| 3 | Samsung EcoGreen F4EG HD204UI, 2TB | € 56,96 | € 170,88 |
| 1 | Lian Li PC-Q08B | € 88,90 | € 88,90 |
| 1 | Intel Core i3 2100 | € 92,- | € 92,- |
| 1 | be quiet! Pure Power L7 300W | € 34,95 | € 34,95 |
| 1 | Kingston ValueRAM KVR1333D3D4R9S/8GI | € 83,99 | € 83,99 |
| 1 | Zotac H67ITX-C-E | € 101,90 | € 101,90 |
| Bekijk collectie Importeer producten | Totaal | € 572,62 | |
Ik heb om het aan te vullen nog een drietal 2 TB schijven liggen, wat dus totaal 6 x 2 TB schijven maakt.
Ik vraag me echter af wat voor voeding hiervoor geschikt is. Kan ik uit met een pico psu of is het beter om de veel genoemde be quiet L7 300 watt aan te schaffen. Ik heb wel iets gelezen dat de hd's uitgesteld opgespind kunnen worden waardoor het piek vermogen dus lager mag liggen?
The Unpredictable Striker!
Zodra ik mijn nieuwe moederbord, CPU en geheugen heb ingebouwd ga ik de setup tweaken. Echter naast het genot van het tweaken zie ik de toegevoegde waarde niet, aangezien ik de extra snelheid niet echt nodig heb. Gebruik maximaal 2x1Gbit (~200MB), dus huidige setup is al overkill. Heb in mijn huidige setup trouwens 8GB geheugen.Q schreef op dinsdag 30 augustus 2011 @ 23:29:
Is dat lezen of schrijven, indien lezen - lijkt me snel genoeg, maar niet zo snel?
... all gonna wonder how you ever thought you could live so large and leave so little for the rest of us...
Dè developers podcast in je moerstaal : CodeKlets Podcast
Als je pico-psu genoeg vermogen kan leveren +/- 120w of 150w dan moet dit zeker gaan lukken. Een pico van 90w zal misschien krap worden maar kan juist geconfigureerd ook nog wel. Ze kunnen prima +/- 10w pieken zolang je daarna maar zeker weet dat je binnen de grens blijft. Het is wel aan te raden om je 2100 te vervangen door een 2100T, dan weet je zeker dat je processor nooit boven de 35w gebruik uit komt,Lightah schreef op woensdag 31 augustus 2011 @ 08:58:
Voor een nieuw kleinschalig nas systeempje heb ik het volgende bij elkaar gezocht.
[...]
Ik vraag me echter af wat voor voeding hiervoor geschikt is. Kan ik uit met een pico psu of is het beter om de veel genoemde be quiet L7 300 watt aan te schaffen. Ik heb wel iets gelezen dat de hd's uitgesteld opgespind kunnen worden waardoor het piek vermogen dus lager mag liggen?
Sinds de 2 dagen regel reageer ik hier niet meer
Maar dan de vraag of het zoveel zuiniger is om een pico psu te gebruiken. Anders weegt het niet op tegen de aanschafprijs.CurlyMo schreef op woensdag 31 augustus 2011 @ 11:03:
[...]
Als je pico-psu genoeg vermogen kan leveren +/- 120w of 150w dan moet dit zeker gaan lukken. Een pico van 90w zal misschien krap worden maar kan juist geconfigureerd ook nog wel. Ze kunnen prima +/- 10w pieken zolang je daarna maar zeker weet dat je binnen de grens blijft. Het is wel aan te raden om je 2100 te vervangen door een 2100T, dan weet je zeker dat je processor nooit boven de 35w gebruik uit komt,
Over de 2100T had ik juist gelezen dat het bij idle niets scheelde. Dan zou ik denken dat ik liever soms wat extra power heb dan heb je ook minder lang belasting.
[ Voor 4% gewijzigd door Lightah op 07-03-2013 15:51 . Reden: privacy request ]
The Unpredictable Striker!
De extra kosten mbt meerverbruik tov de extra aanschafprijs van de PicoPSU haal je er namelijk niet op redelijke termijn (3 jaar) uit.
Wat je bedoeld heet staggered spin up, en er zijn AFAIK geen, tot slechts enkele consumer moederborden die dit ondersteunen, waarvan die van jou helaas niet bij de ondersteunde is.Lightah schreef op woensdag 31 augustus 2011 @ 08:58:
Ik heb wel iets gelezen dat de hd's uitgesteld opgespind kunnen worden waardoor het piek vermogen dus lager mag liggen?
[ Voor 47% gewijzigd door sloth op 31-08-2011 13:52 ]
In de volgende review zie ik dat wel terug:sloth schreef op woensdag 31 augustus 2011 @ 13:49:
Wat je bedoeld heet staggered spin up, en er zijn AFAIK geen, tot slechts enkele consumer moederborden die dit ondersteunen, waarvan die van jou helaas niet bij de ondersteunde is.
http://www.silentpcreview.com/article1194-page3.html
The Unpredictable Striker!
Als we puur alleen naar het verbruik kijken dan is dit een overweging die je zeker mee moet nemen. Voor mij was het feit dat een picopsu ook gelijk een passieve (en zeer kleine) psu is ook een belangrijke factor. Een passief gekoelde psu is over het algemeen dan weer een stuk duurder dan een pico.Lightah schreef op woensdag 31 augustus 2011 @ 13:29:
[...]
Maar dan de vraag of het zoveel zuiniger is om een pico psu te gebruiken. Anders weegt het niet op tegen de aanschafprijs.
Dat klopt, maar je blijft met het feit zitten dat je weinig speelruimte hebt in je vermogen. Op een of andere manier zul je dus moeten zorgen dat je nooit een grens overschrijdt in je verbruik. Als je zeker weet dat je 2100 niet boven een +/- 40 watt gaat uitkomen bij je boot dan is dat prima. Alleen is dat niet te garanderen. Met een 2100T wel. Dat is de reden dat iedereen ook de 2100 aanraad míts je een picopsu gebruikt.Over de 2100T had ik juist gelezen dat het bij idle niets scheelde. Dan zou ik denken dat ik liever soms wat extra power heb dan heb je ook minder lang belasting.
Sinds de 2 dagen regel reageer ik hier niet meer
Zonder enige optimalisaties.
1
2
3
4
| root@vFileserver:/home/jens# dd if=/dev/md0 of=/dev/null bs=1M count=50000 50000+0 records in 50000+0 records out 52428800000 bytes (52 GB) copied, 135.334 s, 387 MB/s |
Hier worden binnenkort 3 WD20EARS aan toegevoegd.
[ Voor 9% gewijzigd door BlackShadow op 01-09-2011 01:23 ]
Verwijderd
Overigens kun je beter via je filesystem testen, en niet ruw de /dev/md0 pakken. Uiteindelijk gaat het om de performance die je via je filesystem haalt.
dd if=/dev/zero of=/mountpoint/zero.file bs=1M count=50000
dd if=/mountpoint/zero.file of=/dev/null bs=1M
Thx. (/me = linux noob)Verwijderd schreef op donderdag 01 september 2011 @ 01:28:
En je schrijfsnelheid?
Overigens kun je beter via je filesystem testen, en niet ruw de /dev/md0 pakken. Uiteindelijk gaat het om de performance die je via je filesystem haalt.
dd if=/dev/zero of=/mountpoint/zero.file bs=1M count=50000
dd if=/mountpoint/zero.file of=/dev/null bs=1M
1
2
3
4
| root@vFileserver:/home/jens# dd if=/dev/zero of=/mnt/data/zero.file bs=1M count=50000 50000+0 records in 50000+0 records out 52428800000 bytes (52 GB) copied, 180.629 s, 290 MB/s |
1
2
3
4
| root@vFileserver:/home/jens# dd if=/mnt/data/zero.file of=/dev/null bs=1M count=50000 50000+0 records in 50000+0 records out 52428800000 bytes (52 GB) copied, 155.989 s, 336 MB/s |
Verwijderd
De tests hierboven zijn veel realistischer, en geven vaak wat lagere scores. Maar zoals gezegd: prima scores en dat onder ESXi! Kun je meer vertellen over je hardware setup? Moederbord, processor, controller, geheugen, etc? Je maakt gebruik van Vt-d?
- Moederbord: Tyan S5512WGM2NRVerwijderd schreef op donderdag 01 september 2011 @ 01:49:
290MB/s schrijven is nog steeds erg goed, zeker geen slechte scores! Merk ook op dat via je filesystem testen je mogelijkerwijs de langzamere gedeeltes gebruikt van je hardeschijven, zeker als je filesystem al gevuld is met bestaande data. Bij het testen van /dev/md0 test je direct op de ruwe array en test je dus altijd het snelste gedeelte.
De tests hierboven zijn veel realistischer, en geven vaak wat lagere scores. Maar zoals gezegd: prima scores en dat onder ESXi! Kun je meer vertellen over je hardware setup? Moederbord, processor, controller, geheugen, etc? Je maakt gebruik van Vt-d?
- Geheugen: 4 x Kingston 4GB 1333MHz DDR3 ECC
- Processor: Intel Xeon E3-1230
- Voeding: Corsair HX850W
- (huidige) Disks: 5 x Samsung F4EG (op de onboard SAS controller)
Die controller geef ik door (passthrough) aan de ubuntu guest die deze netjes in een RAID-5 array stopt en XFS geformatteerd. Alles van virtualisatie staat enabled in BIOS en lijkt te werken (oa 64bit ubuntu en windows guests die netjes mijn CPU herkennen)
Er staan inderdaad al wat bestanden op de array, maar dit slechts als test, ben vollop aan het testen en uitzoeken met een maagdelijk systeem waar alles nog kan (en mag mislopen).
Ik sta dus open voor meerdere testjes of configuraties mocht dit ook bijdragen aan het topic.
Waar ik nog geen duidelijkheid over gevonden heb ik het volgende:
1
2
3
| root@vFileserver:/home/jens# mdadm --examine /dev/md0 mdadm: metadata format 01.02 unknown, ignored. mdadm: No md superblock detected on /dev/md0. |
[ Voor 7% gewijzigd door BlackShadow op 01-09-2011 01:59 ]
Ik draai zelf Win7 x64 op dit bord, drivers van Marvell website zelf, maakt .3ad mogelijk.OMX2000 schreef op woensdag 31 augustus 2011 @ 10:21:
Zijn er ook Windows 7 gebruikers die boven de Gbit verbindingen naar hun NAS maken? Het is niet dat ik het heel erg nodig heb, maar ik vroeg me af op een beetje betaalbare manier je bijv. 2x 1Gbit verbinding naar een Linux based nas kunt maken.
pricewatch: Asus P6T Deluxe V2
vervolgens ook een managed Gbit switch en een NAS die ook .3ad doet natuurlijk
Geen idee wat jij betaalbaar noemt, maar met het goede moederbod en de goede drivers voor je Windows computer kom je al een heel eind.
Controller passthrough of RDM?BlackShadow schreef op donderdag 01 september 2011 @ 01:37:
[...]
Thx. (/me = linux noob)
code:
1 2 3 4 root@vFileserver:/home/jens# dd if=/dev/zero of=/mnt/data/zero.file bs=1M count=50000 50000+0 records in 50000+0 records out 52428800000 bytes (52 GB) copied, 180.629 s, 290 MB/s
code:
1 2 3 4 root@vFileserver:/home/jens# dd if=/mnt/data/zero.file of=/dev/null bs=1M count=50000 50000+0 records in 50000+0 records out 52428800000 bytes (52 GB) copied, 155.989 s, 336 MB/s
Even niets...
Passthrough
Mijn mailtje ontvangen? Misschien post ik die cijfers best nog eens in het ESXi topic?
Geen mailtje...BlackShadow schreef op donderdag 01 september 2011 @ 10:00:
Passthrough
Mijn mailtje ontvangen? Misschien post ik die cijfers best nog eens in het ESXi topic?
Met passthrough zou ik iets hogere snelheden verwachten, maar je moet misschien nog wat tunen
EDIT: In je mail zeg je RAID6, maar in het topic RAID5? Which is it?
Voor RAID6 is het prima namelijk...
[ Voor 13% gewijzigd door FireDrunk op 01-09-2011 10:26 ]
Even niets...
Ok, dat verklaart veel, maar de fout over de metadata blijft wel:Q schreef op donderdag 01 september 2011 @ 03:16:
--examine is voor devices niet voor het md device.
1
2
3
| root@vFileserver:/home/jens# mdadm --detail --scan mdadm: metadata format 01.02 unknown, ignored. ARRAY /dev/md0 level=raid5 num-devices=5 metadata=01.02 name=vFileserver:0 UUID=4c1aca9c:1041f1dd:cda70471:c66d7cc2 |
1
2
| root@vFileserver:/home/jens# mdadm --version mdadm - v2.6.7.1 - 15th October 2008 |
[ Voor 9% gewijzigd door BlackShadow op 01-09-2011 10:35 ]
Op het moment van het mailtje was het RAID6, nadien ben ik overgegaan op RAID-5 wegens enkele problemen met het md127 syndroom. Sinds ik Ubuntu LTS draai heb ik geen problemen meer.FireDrunk schreef op donderdag 01 september 2011 @ 10:09:
[...]
Geen mailtje...
Met passthrough zou ik iets hogere snelheden verwachten, maar je moet misschien nog wat tunen
EDIT: In je mail zeg je RAID6, maar in het topic RAID5? Which is it?
Voor RAID6 is het prima namelijk...
Ben er nog niet aan uit welke RAID config ik zou gaan gebruiken, ik heb nog veel uit te zoeken en te testen.
Nu connect er straks een htpc, werkstation en laptop aan mijn nas.
Omdat het weer over dubbele nic's gaat wil ik er 1 bij plaatsen.
Een Intel nic kost +/- 30 euro en dan zet ik round robin aan.
Heb het in een vm werkend maar ik heb wat praktische vragen:
- ik sluit gewoon de 2 netwerk kabels aan op een switch waar ook mijn htpc, werkstation en laptop aanhangen?
- hij gebruikt bij round robin gewoon altijd beide poorten dat zie ik terug komen in een vm, als ik nu stream met mijn htpc en iets copy vanaf mijn werkstation dan moet ik dus boven gbit uitkomen?
Even niets...
Ik heb in een VM Debian 6 met 2 nic's die ik met bonding op round robin heb gezet. Met een Fedora15 VM connect ik via NFS en stuur ik wat GB aan data en dit zie ik netjes over beide netwerk kaarten binnen komen.
Even niets...
Dus volgens mij moet het zo makkelijk gaan
Met iperf kan je altijd maximalen testen
Even niets...
Ga gewoon de gok wagen en een Intel nic meebestellen dat is het geld niet en als het niet werkt kan ik hem mooi inzetten, altijd beter dan de onboard Realtek.
Even niets...
Zal eens proberen wat daar uit komt.
Nieuwe results door de resources in de VM aan te passen, ook 8GB geheugen nu ipv 4GB:FireDrunk schreef op donderdag 01 september 2011 @ 10:09:
[...]
Geen mailtje...
Met passthrough zou ik iets hogere snelheden verwachten, maar je moet misschien nog wat tunen
EDIT: In je mail zeg je RAID6, maar in het topic RAID5? Which is it?
Voor RAID6 is het prima namelijk...
1
2
3
4
| root@vFileserver:/home/jens# dd if=/dev/zero of=/mnt/data/zero.file bs=1M count=50000 50000+0 records in 50000+0 records out 52428800000 bytes (52 GB) copied, 145.64 s, 360 MB/s |
1
2
3
4
| root@vFileserver:/home/jens# dd if=/mnt/data/zero.file of=/dev/null bs=1M count=50000 50000+0 records in 50000+0 records out 52428800000 bytes (52 GB) copied, 130.633 s, 401 MB/s |
Nu op zoek naar wat MDADM tweaks!
Edit:
Hmmmmz:
1
2
3
4
| total used free shared buffers cached Mem: 8004 7951 53 0 3 7731 -/+ buffers/cache: 216 7787 Swap: 729 0 729 |
[ Voor 13% gewijzigd door BlackShadow op 01-09-2011 23:50 ]
Even niets...
Net mee bezig geweest, maar vreemd genoeg haal ik slechtere lees resultaten:FireDrunk schreef op vrijdag 02 september 2011 @ 00:56:
Heb je het grote tuneraid script al geprobeerd?
1
2
3
4
| root@vFileserver:/# dd if=/dev/zero of=/mnt/data/zero.file bs=1M count=50000 50000+0 records in 50000+0 records out 52428800000 bytes (52 GB) copied, 128.276 s, 409 MB/s |
1
2
3
4
| root@vFileserver:/# dd if=/mnt/data/zero.file of=/dev/null bs=1M count=50000 50000+0 records in 50000+0 records out 52428800000 bytes (52 GB) copied, 152.41 s, 344 MB/s |
Edit:
Samba file transfer:
1
2
| 10.0.0.4 <-> 10.0.0.141 1.77M/s 114M/s 116M/s 10.0.0.4 445 TCP 10.0.0.141 1033 13.7M 931M 944M |
[ Voor 21% gewijzigd door BlackShadow op 02-09-2011 10:11 ]
Lezen met 409 is op zich wel redelijk met 5 schijven, het zou iets meer kunnen zijn.
Ik zit met 8 schijven in RAID6 op 650MB/s, dat is dus maar een fractie meer...
Even niets...
Ik wil 'm eigenlijk uitrusten met 1x 8 GB dat ik later makkelijk kan upgraden. Maar ik kan niet zoveel vinden of dit wel gaat werken.
Uit de QVL word ik niet echt veel wijzer.
Kan ook geen non-ecc van 8 GB vinden. Denk dat ik er maar 2x 4GB in stop.
[ Voor 23% gewijzigd door Lightah op 02-09-2011 17:09 ]
The Unpredictable Striker!
Voor zover ik weet (en ik ben zeker geen hardware expert) is dat nu precies het 'nadeel' van de consumenten-bordjes tov serverbordjes (Tyan, SuperMicro).Lightah schreef op vrijdag 02 september 2011 @ 16:52:
Iemand enig idee over de memory support van de Asus P8H67-I?
Ik wil 'm eigenlijk uitrusten met 1x 8 GB dat ik later makkelijk kan upgraden. Maar ik kan niet zoveel vinden of dit wel gaat werken.
Uit de QVL word ik niet echt veel wijzer.
Kan ook geen non-ecc van 8 GB vinden. Denk dat ik er maar 2x 4GB in stop.
Op een consumetenbord kom je niet verder dan 16GB RAM (4 x 4GB), waar je op een serverbordje tot 32 of zelfs 64GB kunt gaan.
pricewatch: Kingston ValueRAM KVR1333D3D4R9SK2/16G
pricewatch: Kingston KVR1066D3Q8R7SK2/16G
Wat is daar hmmzz aan?BlackShadow schreef op donderdag 01 september 2011 @ 23:45:
[...]
Edit:
Hmmmmz:
code:
1 2 3 4 total used free shared buffers cached Mem: 8004 7951 53 0 3 7731 -/+ buffers/cache: 216 7787 Swap: 729 0 729
12 × LG 330Wp (Enphase) | Daikin FTXM-N 3,5+2,0+2,0kW | Panasonic KIT-WC03J3E5 3kW
Na wat rond neuzen bij Hynix blijkt dat ze 8 GB ECC UDIM modules in ontwikkeling hebben. Op dit moment zijn ze in in t engineering sample stadium. Het zal me benieuwen wanneer en tegen welke prijs ze beschikbaar worden. Vooralsnog kom je op basis van de c202/204/206 chipset en de beschikbare 4GB modules maximaal op 16 GB uit.Sleepie schreef op vrijdag 02 september 2011 @ 20:58:
ECC/registered zijn die er wel, en nog best betaalbaar ook zelfs:
pricewatch: Kingston ValueRAM KVR1333D3D4R9SK2/16G
pricewatch: Kingston KVR1066D3Q8R7SK2/16G
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
En dat "beperkt" dan weer het volledig benutten van de de mogelijkheden van zo'n server class MOBO; maf eigenlijkPantagruel schreef op vrijdag 02 september 2011 @ 22:38:
[...]
Na wat rond neuzen bij Hynix blijkt dat ze 8 GB ECC UDIM modules in ontwikkeling hebben. Op dit moment zijn ze in in t engineering sample stadium. Het zal me benieuwen wanneer en tegen welke prijs ze beschikbaar worden. Vooralsnog kom je op basis van de c202/204/206 chipset en de beschikbare 4GB modules maximaal op 16 GB uit.
ECC is weer fabrikant afhankelijk, en meestal werkt het geheugen wel, alleen doet ECC het niet...
Even niets...
Voor ZFS wil je gewoon veel geheugen.
Ik heb nu 10 stuks 1.5 TB disks in RAIDZ2, 12TB effectief dus. Ik heb nu 16GB geheugen in mijn NAS server zitten hiervoor.
In de toekomst wil ik nog uitbreiden naar 1 vdevs van elk 10 disks, zo'n 24TB totaal dus. Een beetje afhankelijk van de geheugenprijzen upgrade ik dan misschien wel naar 24GB of 32 GB RAM.
Eerst heb ik lang zitten denken aan het alleen vervangen van het huidige moederbord (GA-MA74GM-S2 rev 2.0) omdat ik daar tegen de beperkte mogelijkheid tot het plaatsen van relatief duur DDR2 modules (2 banken) aanloop.
In een "nieuw" (inmiddels na de introductie van de FM1 socket ook al niet meer) AM3+ bord zou ik dan in theorie 16 GB kwijt kunnen (GA-880GMA-USB3, bijvoorbeeld) in combinatie met de nog prima voor mijn NAS geschikte Athlon 240e.
Een SAS HBA zou me dan de nog nodige extra SATA aansluitingen kunnen geven, maar helaas zie ik in dit topic (en het "aanpalende" ZFS topic) nog geen tevreden gebruikers van een AMD NAS variant icm met een LSI HBA waar ZFS op draait.
Vies van een beetje expirimenteren ben ik zeker niet, maar over mijn schouder kijkt ook mijn vrouw in de beurs mee (de wife factor ?)
Maar die c202/204/206 bordjes die ik tot nu toe gezien heb willen wel ECC, maar geen Registered geheugen...
Misschien schiet mijn ICT-kennis in deze wel te kort hoor (mijn professionele deskundigheid betreft de menselijke ICT als het ware, als psychiater zijnde) en wil het misschien wel gewoon gaan werken om Registered geheugen te plaatsen in zo'n bord, maar een ter zake deskundig advies in deze is beter.
Verwijderd
Gebruik je op dit moment al ZFS? Begrijp ik dan goed dat je nu al 5 disks in RAID-Z of RAID-Z2 gebruikt? Een van de (overigens weinige) beperkingen van ZFS is dat je een huidige RAID-Z1/2/3 niet kunt uitbreiden met een paar schijven; je moet dan een nieuwe vdev (mirror/raidz1/2/3) toevoegen aan je huidige pool. Het beste zou zijn als je je huidige 5 schijven kunt vrijmaken zodat je een 'verse' 10-disk RAID-Z2 pool kunt maken. Wellicht dat je dit ook zo bedoeld maar toch even voor de zekerheid feedback hierop.
Dat AMD bordje zal naar alle waarschijnlijkheid zo'n SAS adapter prima kunnen slikken. Eigenlijk alle AMD bordjes, alleen de voor NAS populaire AMD Brazos bordjes met E350 "Zacate" CPU hebben hier problemen mee, omdat de BIOS hiervan een EFI BIOS betreft en helaas hebben ze controllers niet/nauwelijks getest hierbij. Sommige Asus Brazos bordjes hebben wel een BIOS update gekregen waardoor een Intel SASUC8i of soortgelijke controller zou moeten werken, maar dat geldt niet voor alle Brazos bordjes. Echter, ik ben nog geen AMD bord met normale AMD chipset tegengekomen die mijn LSI SAS controllers niet slikken. Voor normale Intel chipsets/bordjes geldt denk ik hetzelfde.
Overigens vraag ik me wel af of dat bordje wat je aanhaalt wel zo interessant is. Erg low-power is het niet omdat je nog met ouderwetse chipset met IGP zit. Een Llano bordje zou veel logischer zijn dan heb je ook 6x 6Gbps SATA tot je beschikking wat leuk is voor SSDs. Bovendien ondersteunen die denk ik ook nieuwer geheugen zoals 8GiB UDIMM repen, al bestaan die nog maar mondjesmaat.
Ik zou echter ook Intel niet uitsluiten, die heeft ook leuke bordjes alleen is wel wat duurder. Zowel Intel als AMD kun je erg low-power mee gaan tegenwoordig, maar dan moet je wel het juiste spul hebben. Gigabyte geldt als een van de moederborden met een bovengemiddelde idle stroomverbruik, en kun je dus beter mijden als je een laag verbruik wilt hebben.
AMD Llano zou ik sterk in overweging nemen; erg goedkoop, erg zuinig in idle, moderne PCI-express 2.0 en SATA/600 connectiviteit en met quadcore ook genoeg power wanneer je dat nodig hebt. Je kunt kiezen tussen de 100W Llano's en de 65W exemplaren. Die laatste lijken interessant, maar eigenlijk alleen als je een kleine behuizing neemt of met PicoPSU wilt werken. Anders kun je evengoed de 100W variant nemen omdat het qua idle dus niets scheelt. Je hebt alleen meer power nodig bij volle belasting en dat is bij een NAS dus zeldzaam, echter kan wel degelijk fijn zijn omdat een NAS erg 'bursty' CPU verbruik heeft, in tegenstelling tot computers die rendering doen dan is TDP weer veel belangrijker en idle power vrijwel onbelangrijk.
Intel oplossingen zijn er ook; zuinige bordjes met Core i3 2100T (35W dualcore) of i5 2500T (45W quadcore) lijken mij erg interessant. Zijn ook flink sneller dan AMD, maar Intel chipsets kennen vaak meer beperkingen; zo heb je vaak geen 6x 6Gbps SATA en hebben veel zuinige bordjes ook veel minder SATA connectors. Wel heb je Intel gigabit adapter. De prijs van Intel is hoger en zou ik overwegen als je flinke encryptie of compressie/dedup gaat doen.
In jouw geval zou ik dus sterk een FM1 bord met Llano overwegen. De bordjes van MSI zijn doorgaans het meest zuinig. PicoPSU zit er met 10 desktopschijven ook niet in dus de normale 100W llano (3850) lijkt me het meest logisch. Idle kun je dan kaal aan 15W zitten, maar bij gebruik van een normale voeding zal dat eerder op 20-25W uitkomen. Met 10 schijven á 4W per stuk zit je dan in de buurt van 65W idle; nog steeds heel redelijk!
Registered geheugen moet je niet doen; UDIMM ofwel unbuffered moet je hebben dat is sneller, registered heb je vaak nodig als je meer geheugen wilt plaatsen wat met unbuffered niet mogelijk is. Moderne geheugencontrollers kunnen echter 8GiB UDIMMs. Met 4 reepjes zit je dan aan 32GiB! Dat heb je echt niet nodig voor jouw build; 8GiB is al prima en 16GiB zou helemaal top zijn. Ik zou voor dat laatste gaan, eventueel met low-power 1.25V geheugen zoals:
pricewatch: G.Skill Sniper F3-12800CL9D-8GBSR2
Kijk ook eens in mijn wenslijstjes voor verschillende NAS builds:
gallery: CiPHER
Llano doet overigens (helaas!) geen ECC voor zover ik weet. Wel een tegenvaller eigenlijk omdat de Athlon reeks dat wel deed en Llano in feite een Athlon X4+GPU is. Het grote voordeel van Llano is dat de GPU van chipset naar CPU verhuist en je dus in plaats van northbridge+southbridge nu alleen de southbridge overhoudt. Dat scheelt aardig wat in de idle power.
Ik heb momenteel nog geen ZFS systeem, maar ben, na me in de materie verdiept te hebben, wel erg gecharmeerd geraakt van de mogelijkheden en aan het uitzoeken welke combinatie van hardware het beste aansluit bij mijn wensen.
Ik heb momenteel een op WHSv1 gebaseerde NAS, omdat ik voordeel zag destijds in de mogelijkheid van Drive Extender (1 grote pool, alles 2x weggeschreven op verschillende schijven) en de mogelijkheid om later schijven bij te plaatsen (wat in de loop der tijd ook gedaan heb, ivm groeiende behoefte).
Een van de nadelen van Drive Exterder in WHSv1 is dat het natuurlijk een weinig efficiente manier is om met de beschikbare ruimte om te gaan (soort van RAID1 op fileniveau heb ik het wel zien noemen). Ook vinden er soms onverwachte schijfacties plaats (zal wel iets van controle ofzo zijn), wat dan resulteert in haperingen net als we beneden op de HTPC een film zitten kijken. Misschien dat Drive Extender daarom wel in WHSv2 is komen te vervallen; deze nieuwe variant biedt mij echter niet de mogelijkheden qua redundancy die ik zoek.
Dus ben ik me gaan orienteren naar de alternatieven, waar de verschillende topics erg handig in zijn gebleken.
Zo leek me een RAID5 aanvankelijk aantrekkelijk, maar daar viel de te verwachten schrijfsnelheid me toch wel tegen en ook de problemen die je tegen kunt komen bij het eventueel rebuilden van de array bij een totale omvang van 10x2TB schijven.
Ik heb nu dus (oa) 5x2TB Samsung F4; met 5 dezelfde erbij (maximale aantal in deze Zalman behuizing en voorlopig wel genoeg opslagmogelijkheden) wil ik een verse RAID-Z2 gaan opzetten.
In tegenstelling tot wat ik zoal tegenkom op de verschillende topics, hoeft mijn NAS helemaal niets meer te doen dan alleen zo betrouwbaar mogelijk en energiezuinig mijn verzameling films, TV-series, muziek etc te "huisvesten". Van de écht belangrijke data (familiefoto's en -video's) maak ik alsnog een externe backup die ik bij mijn ouders bewaar (les 1: een RAID = GEEN backup heb ik goed in mn oren geknoopt)
Vanuit kosten overwegingen hergebruik ik bij voorkeur datgene wat ik al in huis heb, dus vandaar mijn eerste gedachte om te gaan voor een AM3 bord, zodat ik de Athlon 240e zou kunnen inzetten, maar je geeft me weer voldoende nieuwe stof om over na te denken; die nieuwe bordjes en CPU's zien er interessant uit.(en zijn mischien ook wel zuiniger dan mijn huidige 240e in een 740G bord)
Echter; als 8GB voor een 10x2TB RAID-Z2 ZFS NAS (die verder dus niets hoeft te doen) volstaat, zou zelfs 2x4 GB DDR2 RAM (Mushkin heeft dergelijke reepjes, maar ze zijn zoals gezegd relatief duur: 4 GB - DIMM 240-pins - DDR2 - 800 MHz / PC2-6400 - CL6 - 1.8 V - niet-gebufferd, a 80 euro het reepje) en het plaatsen van een LSI SAS in het enige PCI Express x16 slot wat mijn huidige AM2 bord heeft ook nog gaan werken.
Ik ga binnenkort eens even de verschillende opties qua kosten tegen over elkaar zetten en laat tzt zeker weten wat het geworden is; vermoedelijk is de combinatie van een nieuw bord+energiezuinige CPU en wat goedkoper DDR3 geheugen dan toch waar ik op uit ga komen.
(OFF TOPIC: komt ivm de kosten de wife factor weer om de hoek; ICT hobby's lijken toch nog steeds een typisch mannending; zo op het oog kom ik in de verschillende topics ook maar bar weinig bijdragen van vrouwelijke tweakers tegen).
Verwijderd
Vanuit storageperspectief is Windows dan ook niet interessant, al was de originele WHS nog wel een leuke optie voor simpele storage en de compatibiliteit van DE 1.0 met NTFS was wel een grote plus. Maar uiteindelijk is het geen veilig opslagsysteem met huidige hardeschijven die 10^-14 BER hebben, wat kort gezegd inhoudt dat de schijf af en toe een sector niet kan lezen. NTFS heeft helemaal GEEN bescherming hiertegen en je krijgt direct gedonder ermee. RAID in Windows is vrijwel afwezig; dus dan moet je weer Hardware RAID gebruiken, wat weer problemen heeft met disks die geen TLER ondersteunen en zo kom je in een spiraal van beperkingen, gebrekkige techniek en ontoereikende software. Niet mijn idee van sexy storage!
ZFS is daarom zo interessant omdat je in één klap een heleboel problemen oplost en een echt veilig opslagsysteem krijgt wat - mits juist geconfigureerd - een formidabele bescherming biedt voor je bestanden en in één klap het probleem van silent corruption, bad sectors, BER en TLER oplost. Geen hardware RAID, geen battery backup, geen UPS, geen RAID schijven. Gewoon goedkope snelle consumentenschijven en een sloot RAM en misschien een SSD erbij en je hebt een storagesysteem wat dicht in de buurt komt van een echt enterprise storage systeem, alleen dan zonder redundante voeding en dat soort ongein.
Het grote probleem met ZFS is dat het nog niet zo wijdverspreid is en de oplossingen die er zijn, zijn niet altijd even gebruiksvriendelijk. FreeNAS is aardig maar kan ook nog flink verbeterd worden. ZFSguru is een project wat ik de laatste tijd met veel interesse volg, omdat het een goed fundament heeft en helder van opzet is. En als alles meezit mag ik binnenkort ook meeontwikkelen, waar ik min of meer al mee begonnen ben.
Wat voor jou de beste oplossing is moet je even uitproberen; Virtualbox en een uurtje wat kandidaten uitproberen is een goede voorbereiding op je nieuwe NAS. Als jij alleen bestanden wilt opslaan en delen via Samba ofwel Windows filesharing dan is het een vrij makkelijk verhaal. Dan voldoen bijna alle oplossingen qua mogelijkheden en gaat het vooral om wat je het fijnste vind werken qua configuratie en management.
Wat betreft een AM3 bord: ik zou dat niet doen. Blijf of met 2/4GB RAM met je huidige setup zodat je niets extra koopt behalve een PCI-express controller (Intel SASUC8i bijvoorbeeld; enig nadeel is dat die geen spindown doet op je schijven). Als je wel wat nieuws wilt kopen zou ik of voor een Intel 2100T met zuinig bord gaan of een Llano setup; dat laatste is erg goedkoop en low-power terwijl je een modern platform voor terug krijgt. Maar misschien voldoet je huidige hardware ook wel met misschien iets mindere performance. DDR2 geheugen zou ik niet meer in investeren hoe lang heb je daar nog wat aan? Het is peperduur en je koopt het dan alleen voor je huidige platform. Als je volgend jaar weer iets anders koopt gooi je je dure DDR2 dan eigenlijk weg. Ik zou niet in dingen investeren die niet toekomstvast zijn. Dan nog beter eventjes doen met wat je nu hebt en misschien iets langzamere performance accepteren. Met een beetje tunen kun je met 2GB RAM ook best nog draaien maar een snelheidsmonster zal het dan natuurlijk niet worden.
Je bent vooral afhankelijk van wat de chipset bakker, Intel in deze, in de chipset bakt aan ondersteuning mbt RAM. Wat dat betreft zijn de C202/204/206 'rare' chipsets. Ze ondersteunen Xeon's, dus je zou denken ECC regged geheugen, maar een Core i3 vreet de chipset ook (unregged unbuffered geheugen).FireDrunk schreef op zaterdag 03 september 2011 @ 00:33:
Juist een serverclass bord kan RDIMM aan.. UDIMM kan elk systeem aan..
ECC is weer fabrikant afhankelijk, en meestal werkt het geheugen wel, alleen doet ECC het niet...
Lijkt mij alsof Intel zich niet zeker was van het feit of het nu een enterprise class bordje moest worden of een entry level server bordje en een beetje 't beste van beide werelden heeft gekozen en jammer genoeg een ongelukkige keuze heeft gedaan voor ECC unregged.
8GiB Regged is inmiddels redelijk makkelijk te verkrijgen, maar dat is ook niet altijd het geval geweest.
Mocht je dus de ondersteunde 32 GiB non-regged UDIMM willen gebruiken zul je helaas geduld moeten hebben.
Als je nu een ZFS doos bij elkaar zoekt en je weet zeker dat je binnen een half jaar 32 disks 32 TiB aan storage hebt draaien dan kun je wellicht beter voor een 3420 gebaseerd bordje gaan en er meteen 32 GiB in steken. Maar als dat je plannen zijn dan neem ik aan dat je ook wel budget hebt gereserveerd voor wat ssd's voor je ZIL/L2ARC cache.
[ Voor 3% gewijzigd door Pantagruel op 03-09-2011 14:07 . Reden: ezelsbruggetje: "Hoeveel RAM voor m'n ZFS machine" Voor iedere 1 TiB aan opslag 1 GiB RAM en dan liefst nog 1GiB extra voor je OS. ]
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
(AMD of Intel maakt me dan niet zoveel uit, prijstechnisch gezien zal het dan wel een Llano gaan worden).
Is de Intel SASUC8i de enige HBA SAS controller die in een ZFS setup de schijven niet laat downspinnen ? of is het ingewikkelder dan dat en hangt het ook af van of ik bijvoorbeeld voor welke variant ik kies (FreeNAS/ZFSguru/OpenIndiana + napp it) ?; wel zo handig qua energieverbruik in de idle moudus waar mijn NAS voornamelijk in zal staan natuurlijk.
Qua management (GUI) spreken die 3 mij als hobby-ist en ICT-leek meer aan dan commandline varianten, vandaar.
Hoewel enig digitaal hoarding gedrag mij niet vreemd is, verwacht ik zo snel richting meer dan 10x2TB te hoeven gaan; zo veel films/series als Freak1 haal ik niet binnen...
Mijn nieuwe ZFS-NAS gaat het dus wel met 16GB geheugen redden vermoed ik, wat de keuzemogelijkheden verruimt. ZIL/L2ARC en SSD's heb ik volgens mij met wat mijn ZFS-NAS hoeft te doen ook helemaal niet nodig; als hij zonder haperingen full quality BluRay Rips (mkv remux) kan streamen via mijn bedrade netwerk naar mijn HTPC in de woonkamer, ben ik volmaakt tevreden.
Ondersteund het C20x chipset geen Regged? Dat is wel vreemd inderdaad... Dat had ik niet verwacht...Pantagruel schreef op zaterdag 03 september 2011 @ 13:56:
[...]
Je bent vooral afhankelijk van wat de chipset bakker, Intel in deze, in de chipset bakt aan ondersteuning mbt RAM. Wat dat betreft zijn de C202/204/206 'rare' chipsets. Ze ondersteunen Xeon's, dus je zou denken ECC regged geheugen, maar een Core i3 vreet de chipset ook (unregged unbuffered geheugen).
Lijkt mij alsof Intel zich niet zeker was van het feit of het nu een enterprise class bordje moest worden of een entry level server bordje en een beetje 't beste van beide werelden heeft gekozen en jammer genoeg een ongelukkige keuze heeft gedaan voor ECC unregged.
8GiB Regged is inmiddels redelijk makkelijk te verkrijgen, maar dat is ook niet altijd het geval geweest.
Mocht je dus de ondersteunde 32 GiB non-regged UDIMM willen gebruiken zul je helaas geduld moeten hebben.
Als je nu een ZFS doos bij elkaar zoekt en je weet zeker dat je binnen een half jaar 32 disks 32 TiB aan storage hebt draaien dan kun je wellicht beter voor een 3420 gebaseerd bordje gaan en er meteen 32 GiB in steken. Maar als dat je plannen zijn dan neem ik aan dat je ook wel budget hebt gereserveerd voor wat ssd's voor je ZIL/L2ARC cache.
Dan zou ik direct voor zoiets gaan...
http://www.supermicro.nl/...on6100/SR56x0/H8SGL-F.cfm
[ Voor 3% gewijzigd door FireDrunk op 03-09-2011 19:44 ]
Even niets...
Ik heb de spec sheet van intel omtrent de C20x er niet op nageslagen, maar de borden die Intel zelf bij elkaar soldeert op basis van de C204 doen enkel ECC en unbuffered, geen enkele hint richting regged eccFireDrunk schreef op zaterdag 03 september 2011 @ 19:40:
[...]
Ondersteund het C20x chipset geen Regged? Dat is wel vreemd inderdaad... Dat had ik niet verwacht...
Dan zou ik direct voor zoiets gaan...
http://www.supermicro.nl/...on6100/SR56x0/H8SGL-F.cfm
Inderdaad dat AMD bordje is wel de natte droom voor een ZFS junk. 128 GiB regged RAM en de prijs is verhouding tot de geliefde Intel bordjes goed te doen. 8GiB regged is betaalbaar, 16 GiB regged is een iets zuurdere appel.
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Het probleem is niet de chipset maar de processor, waar de geheugencontroller in zit. Om de Xeon E3-1200 te onderscheiden van de 5500 en E7 heeft Intel gemeend ondersteuning voor registered geheugen te moeten weglaten.Pantagruel schreef op zaterdag 03 september 2011 @ 13:56:
[...]
Je bent vooral afhankelijk van wat de chipset bakker, Intel in deze, in de chipset bakt aan ondersteuning mbt RAM. Wat dat betreft zijn de C202/204/206 'rare' chipsets. Ze ondersteunen Xeon's, dus je zou denken ECC regged geheugen, maar een Core i3 vreet de chipset ook (unregged unbuffered geheugen).
Voor RDIMM-ondersteuning ben je op dit moment beter uit bij AMD. Ik heb voor mijn zfs-machine gekozen voor de Tyan S8010WGM2NR vanwege de onboard LSI sas-6G-controller en het feit dat er een goedkopere Opteron 4170 HE in kan. Supermicro heeft geen C32-bord met onboard sas. Dat er zes in plaats van acht dimm-slots op zitten zoals bij de Supermicro H8SGL vind ik niet zo'n issue. Ik heb vier 8GB ecc registered-modules op de kop getikt voor 50 euro per stuk. Aan 32GB heb ik voorlopig wel voldoende en ik kan altijd nog upgraden naar 48GB.
Om een of andere reden kosten die sticks nu opeens 89 euro bij Azerty. Ik heb er vorige week zeven besteld (drie voor m'n Mac) en geleverd gekregen voor een prijs van € 50,51 per stuk
Zou jij wanneer de build klaar is wat ruwe verbruikscijfers kunnen plaatsen?
Ik ben erg benieuwd wat dat AMD platform idle verbruikt, in veel reviews worden de desktop cpu's en mobo's wel vergeleken maar echt concrete verbruikscijfers van de opteron HE cpu's zijn lastig te vinden.
Als het goed is kan mijn mobo ook overweg met de AMD Valencia die binnenkort op de markt moet komen en weer wat zuiniger zou moeten zijn.
Ik ga ook even met Wilbert en Dimitri overleggen of we wat redactionele aandacht aan zelfbouw nassen kunnen besteden nu ik toch hardware aan het verzamelen ben waarop we dat mooi kunnen testen
Klopt, voorheen was de Xeon nog afhankelijk van de chipset. De nieuwe Xeon is een Sandy bridge en als het dus niet in de chip gebakken zit dan heb je pech. (verklaard meteen waarom de spec sheet van de C20x zo weinig omtrent geheugen ondersteuning vermelde). Het was er even bij ingeschoten dat de Xeons inmisddels ook al Sandy Bridge waren geworden.Femme schreef op zaterdag 03 september 2011 @ 23:21:
[...]
Het probleem is niet de chipset maar de processor, waar de geheugencontroller in zit. Om de Xeon E3-1200 te onderscheiden van de 5500 en E7 heeft Intel gemeend ondersteuning voor registered geheugen te moeten weglaten.
...
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Tijd om mijn AMD 4400+ op pensioen te sturen en een Intel Pentium in huis te brengen.
Recentelijk nog gedaan en de procedure is eenvoudig.Jormungandr schreef op zondag 04 september 2011 @ 23:35:
Hier al mensen die hun MDADM array verhuisd hebben naar een nieuwe pc? Als ik het allemaal goed lees moet ik enkel de mdadm.conf backuppen en de md0 array opnieuw assemblen.
Tijd om mijn AMD 4400+ op pensioen te sturen en een Intel Pentium in huis te brengen.
- De hdd's op 't nieuwe moederbord aansluiten (de volgorde van de drives schijnt niet uit te maken, maar ik heb ze toch maar in dezelfde volgorde op de SATA connectors gestoken [drive-0 op SATA-0, etc])
- mdadm.conf overgezet.
- mdadm --assemble --scan --verbose /dev/md{nummertje} /dev/{disk1~x}, dit zorgt ervoor dat md0 aangemaakt wordt.
- Config aangepast zodat mdadm @ boottime start.
- Mountpoint aangemaakt.
- /etc/fstab aangepast voor automount @ boot.
- en een reboot ter test.
[ Voor 5% gewijzigd door Pantagruel op 05-09-2011 11:04 ]
Asrock Z77 Extreme6, Intel i7-3770K, Corsair H100i, 32 GB DDR-3, 256 GB Samsung SSD + 2 x 3TB SATA, GeForce GTX 660 Ti, Onboard NIC and sound, SyncMaster 24"&22" Wide, Samsung DVD fikkertje, Corsair 500R
Ik heb ook net m´n serverbord vervangen, het was simpelweg kabeltjes opnieuw aansluiten(in dit geval via HBA) en herstarten. In mijn mdadm.conf heb ik de schijven niet naar /dev/sd* gedefinieerd maar is het aantal schijven bekend en zijn van het type linux raid autodetect. Ik heb dan ook m'n array niet opnw hoeven samen te stellen met assemble.Jormungandr schreef op zondag 04 september 2011 @ 23:35:
Hier al mensen die hun MDADM array verhuisd hebben naar een nieuwe pc? Als ik het allemaal goed lees moet ik enkel de mdadm.conf backuppen en de md0 array opnieuw assemblen.
Tijd om mijn AMD 4400+ op pensioen te sturen en een Intel Pentium in huis te brengen.
Als je ook je OS opnw installeert zal je ws wel je mdadm.conf even moeten overschrijven met je oude.
[ Voor 4% gewijzigd door Loekie op 05-09-2011 12:46 ]
Alvast bedankt voor de info, het klinkt inderdaad gemakkelijker dan gedacht
Hoewel ik denk dat een platformverandering tussen AMD <-> Intel minder ingrijpend is dan bij Windows, gaat het alsnog een boeltje zijn met packages.
Is allemaal i686 en x86_64 ga ik vanuit...
Even niets...
Volgens mij niet. Hier is laatst de boot disk gesneuveld van ubuntu server. Nieuwe disk gekocht opnieuw geinstalleerd en md0 werd gelijk gevonden. Moest alleen weer een nieuw mountpoint etc aanmaken.Loekie schreef op maandag 05 september 2011 @ 12:43:
[...]
Als je ook je OS opnw installeert zal je ws wel je mdadm.conf even moeten overschrijven met je oude.
In me mdadm.conf hoef je alleen maar het UUID van je array te koppelen aan het nummer dat je graag wil (iets van /dev/md0 of /dev/md1). Verder hoef je niets te doen. MD scant van alle disks de eerste 512 bytes af op zoek naar metadata.
Even niets...
Ik kreeg de error dat 1 schijf niet groot genoeg zou zijn en inderdaad:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
| root@vFileserver:/home/jens# fdisk -l Disk /dev/sdg: 2000.4 GB, 2000394706432 bytes 255 heads, 63 sectors/track, 243200 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x27754652 Device Boot Start End Blocks Id System Disk /dev/sdh: 2000.4 GB, 2000398934016 bytes 255 heads, 63 sectors/track, 243201 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x26e6e606 Device Boot Start End Blocks Id System WARNING: GPT (GUID Partition Table) detected on '/dev/sdi'! The util fdisk doesn't support GPT. Use GNU Parted. Disk /dev/sdi: 2000.4 GB, 2000398934016 bytes 255 heads, 63 sectors/track, 243201 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x21e0cda8 Device Boot Start End Blocks Id System |
Het zijn 3 identieke WD20EARS schijven, is hieraan iets te doen?
Ik heb een systeem nodig dat:
- zo'n 20-30TB aan opslag nodig, in RAID6. (Of ev
- Ik wil zo'n 600MByte/s doorvoer hebben
- Gebruik voor opslag media (filmpjes e.d.), downloadserver, webserver (±250http-requests per seconde, ±100 mysql-request per seconde) maken van backup's van zo'n 15 pc's
pricewatch: Synology Disk Station DS3611xs
en daar later zoiets bij zetten: pricewatch: Synology DX1211 12-sleufs uitbreiding voor DS2411+ en DS3611xs
Zou het nuttig zijn
Of geeft dat niet genoeg "power" en moet ik zelf iets in elkaar zetten?
En als ik voor ZFS kies? Wat zijn dan exact de voordelen?
Enige oplossing is dus de array aanmaken met partities (die even groot zijn, dus niet 100%)
Ik lees namelijk veel tegenstrijdige berichten over partities/disks gebruik onder MDADM.
Wegens bepaalde berichten hier in het topic heb ik gekozen om schijven toe te voegen, maar loopt nu duidelijk tegen die beperkingen aan. Anderzijds las ik veel tutorials die wel partities gebruiken.
Zijn er redenen om niet voor partities te kiezen? Neem je dan best je partities in hetzelfde bestandssysteem als je array (XFS in mijn geval).
Als je die partities aan mdadm toevoegd hoef je er geen filesystem op te zetten. Eventueel kun je het partitie type nog aanpassen, type fd (raid autodetect) ipv 83 (linux).BlackShadow schreef op maandag 05 september 2011 @ 21:48:
Zijn er redenen om niet voor partities te kiezen? Neem je dan best je partities in hetzelfde bestandssysteem als je array (XFS in mijn geval).
Plaats voor extra koeling lijkt er niet echt te zijn..
Dat zijn wel extreem hoge temps ?! Ben je er zeker van dat die kloppen ?MrBarBarian schreef op maandag 05 september 2011 @ 22:23:
Iemand hier met een Sharkoon Rebel12 case? Hoe doen jullie het met de 6 interne plekken voor HD's? Ik merk dat ze erg warm (50 to 70 graden) worden..
Plaats voor extra koeling lijkt er niet echt te zijn..
Any intelligent fool can make things bigger, more complex, and more violent. It takes a touch of genius -- and a lot of courage -- to move in the opposite direction.
WTF, dat is freaky. Je mist gewoon 8257 sectors. Je kan deze schijf denk ik beter gewoon RMA'en, want in de specs van WD zelf staat dat een WD20EARS gewoon 3.907.029.168 sectors moet hebben. Jouw schijf schijnt er maar 3.907.020.911 te hebben. Geeft een andere disk info utility (Palimpsest oid) niet meer info? Vreemde SMART info misschien?BlackShadow schreef op maandag 05 september 2011 @ 21:29:
Zonet mijn 3 WD 2TB schijven proberen toe te voegen aan de bestaande array van 5 Samsung 2TB disks onder mdadm.
Ik kreeg de error dat 1 schijf niet groot genoeg zou zijn en inderdaad:
code:
1 2 Disk /dev/sdg: 2000.4 GB, 2000394706432 bytes ...
Het zijn 3 identieke WD20EARS schijven, is hieraan iets te doen?
als rebel 12-bezitter:MrBarBarian schreef op maandag 05 september 2011 @ 22:23:
Iemand hier met een Sharkoon Rebel12 case? Hoe doen jullie het met de 6 interne plekken voor HD's? Ik merk dat ze erg warm (50 to 70 graden) worden..
Plaats voor extra koeling lijkt er niet echt te zijn..
in de zijkanten zijn er gaten en plaatsen om 2x 80mm ventilatoren te plaatsen ter hoogte van die schijven.
als je de 6 plaatsen gebruikt is het ook nodig, vooral met een zware voeding net boven die schijven.
die ventilatoren mogen niet te dik zijn, want dan geraken ze niet tussen de 'kop' van de schijven, en de case-zijkant.
[ Voor 11% gewijzigd door soulrider op 06-09-2011 00:19 ]
In dit topic bespreken we de hardwarematige kant van het bouwen van een NAS. Vragen en discussies die betrekking hebben op de softwarematige kant, dien je elders te stellen. Zo is het ZFS topic de juiste plek voor vragen over ZFS maar ook over softwareplatformen zoals FreeNAS, NAS4Free, ZFSguru en andere softwareplatforms die met ZFS werken.