Storage showcase topic - 50+ TB storage systems

[Q]

GoT storage showcase topic (LETOP! WORDT NIET ONDERHOUDEN)

Waarschuwing Q heeft besloten om dit topic niet langer te onderhouden. Omdat er geen andere maintainer is, wordt de tabel met systemen niet meer bijgewerkt. Post gerust je systeem als je dat wilt, maar er wordt geen moeite meer gestoken in de lijst. Waarschuwing Welkom! Dit topic is een afsplitsing van de draad over DIY NAS builds. Het grote DIY RAID NAS topic deel 3 Dit topic is bedoeld om een overzicht te geven van zeer grote storage builds van GoT users. Deze builds komen niet heel veel voor en hebben andere vereisten dan de doorsnee home (storage) server of werkstation. Dat kan best interessant zijn voor wie gek is op storage. Dit is geen 'show je Apple computer' draad waarbij je alleen maar foto's mag posten. Discussies over grote storage systemen wordt juist aangemoedigd. Het is aan je eigen inzicht of jouw posts of vragen in dit topic thuis horen of ik het DIY NAS topic. In dit topic wordt een tabel bijgehouden over de users en hun betreffende builds. De ondergrens om in deze tabel te komen is een netto storage cappaciteit van je storage array van minimaal 50 TB in een enkel systeem. Een overzicht van alle criteria: Dedicated server systeem (niet in gebruik als werkstation / game systeem) dus NAS of Virtualisatie server. Een netto capaciteit van minimaal 50 TB. Deze storage moet in 1 systeem (chasis) zitten. Deze storage dient in een prive sfeer te functioneren (lees thuis), en eigendom van de poster. Toepassing van redundancy, het systeem moet falen van minimaal 1 storage disk kunnen overleven. Er moet een post zijn met informatie over het systeem. Vertel iets meer over je systeem en waarom je bepaalde keuzes hebt gemaakt. Let op: Je post gebruikt de tabel zoals onderaan deze topic start weergegeven. Dit maakt je topic veel leesbaarder. Je verteld uitgebreid over je build, niet slechts specs posten. Je behandeld die onderwerpen die jouw build speciaal en interessant maken. Als je geen verhaal hebt, hoor je mogelijk niet in deze lijst. Foto's van binnen en buitenkant zijn vanaf nu 'verplicht'. Pics or it didn't happen. Foto's moeten in het topic direct zichtbaar zijn, dus niet alleen maar links naar plaatjes. Indien je niet aan een van de criteria voldoet maar van mening bent dat je toch een hele interessante build hebt gemaakt, leg het gerust voor. De criteria die altijd blijft staan is dat het systeem van jezelf moet zijn en in de privé sfeer gebruikt moet worden. Opmerkingen Als je 5 x 10TB in RAID 6 draait heb je netto 30 TB capaciteit en haal je de ondergrens niet. Als je 5 x 10TB in JBOD draait heb je geen redundantie. Backup != redundantie. Maak een uitgebreide beschrijving van de hardware en hoe je het systeem hebt ingericht. Meer is beter. Deze builds moeten andere mensen inspireren die zelf ook iets willen maken. Alleen het aantal disks in de array(s) tellen mee. Boot / OS disks niet. Mocht iemand ooit een storage cluster bouwen met individuele systemen die niet de 50TB grens doorbreken, maar wel als cluster de grens doorbreekt: dan kom je toch in aanmerking om in de lijst opgenomen te worden. Dit zijn namelijk heel interessante builds die in de schijnwerpers mogen staan. Extra toevoeging: de ondergrens is nu 20 50 TB. Het kan zijn dat we in de toekomst die grens verder op gaan hogen. 50 TB is tegenwoordig met een disk of 6 in RAID 5 al te realiseren. Deze draad is met de intentie opgezet om bovengemiddeld grote storage platformen in de schijnwerpers te zetten, om er van te genieten en er wat van te leren. Wat nu boven gemiddeld is kan over een jaar gemiddeld zijn. Systemen kunnen dus uit de tabel vallen. Externe sites De inspiratie van deze thread komt van [H]ard Forum. Als je echt gigantische builds tot 100 TB+ wilt bewonderen, kijk dan hier eens. Het is echter niet de bedoeling om continue externe builds te bespreken, de GoT builds staan centraal. Echter, je mag natuurlijk wel linken naar externe voorbeelden als je iets wilt illustreren. Verder moet in dit topic even worden verwezen naar de BackBlaze storage pod versie 2.0 met 135 TB aan opslag. 2014: Nog een interessant forum over grote opslag (Linus Tech Tips forum)

Overview of GoT 20+ TB storage arrays
User	Netto capacity	RAID Level used	# of disks	Platform	Remarks
Goshimaplonker298	608 TB	JBOD	60	Linux	ESXi bak met Storage in Ubuntu Linux VM. 1 server met HGST 4U60 chassis (60 disks!) UPDATE
Hakker	162 TB	5x RaidZ2	40	ZFSGuru	Custom case met 1x IBM M1015 IT flashed, 2x HP SAS Expanders
cj1	148 TB	Geen	74	Linux	Custom case | 72! disks. UPDATE
Chocola	144 TB	RAIDZ2 (x3)	24	FreeNAS	20 Gb/s NIC
BartNL	140 TB	RAID 5/6	48	Windows 7 prof 64	Areca 1882iX-24 in Norco 4224 + 2x Chenbro SAS Expander in 2e Norco 4224 en Ri-Vier RV4324-03A -> 1x RAID6 + 6x RAID5
Freak1	120 TB	RAID 6	36	Synology	Met Areca 1280ML - Zie ook het nieuwste project. De 120 TB update Synology DS3611xs + 2 X DX1211
Switching Power	77 TB	Tiered storage space	12	Windows	Compacte U-NAS behuizing met Tiered storage space met een 1TB SSD laag en 76TB HDD laag op Windows Server 2019 Datacenter UPDATE
Q	78 TB	RAIDZ2	24	Linux	Met 3 x IBM1015 | Netto capaciteit is 74 TiB met 2x RAIDZ2 VDEVs (1x18 disk en 1x6 disk) UPDATE
Lampie1979	74 TB	RAID 6	24	Windows	Met Areca 1280ML, 2 x RAID6
thalantis	66 TB	RAID 5/6	28	Windows	Areca 1882ix-24 in Ri-vier kast RV4324-03A (Backup Server) UPDATE
Azerty	64 TB	RAIDZ2 (2x)	20	Linux	Netto +- 53.5 TiB na ZFS overhead), alle disks zijn met LUKS voorzien UPDATE
Geenwindows	53TB	geen	23	Unraid	Unraid Watercooled Threadripper Build UPDATE

---

Link naar builds kleiner dan 50 TB

---

Als jouw systeem in aanmerking komt om opgenomen te worden in deze tabel, lever dan zelf de juiste code aan. LET OP! Q HOUDT DE LIJST NIET MEER BIJ.

code:

[tr]
[td][url=<link naar post met systeem>] <je nickname>[/url][/td][td] <xx> TB[/td][td] <RAID level> [/td][td] <aantal disks>[/td][td]<os>[/td][td]Verwijzing naar wat highlights[/td]
[/tr]

Kijk even goed naar de bestaande lijst als voorbeeld. Lever deze code aan via een DM in 'code' tags.

code:

[code] hier de code van de tabel hierboven [/code]

De post zelf moet de info bevatten in deze tabel. Het is triviaal om de tabel over te nemen, quote deze post en copy de tabel code even in een text editor en vul hem in.


Tabel met systeem info

System specifications
Component	Value
Case
CPU
RAM
Motherboard
Operating system	Windows, Linux, etc.
Controller
Hard drive	Indien meerdere types meerdere regels opnemen
RAID array configuration	RAID 5 of RAID 6 of RAID 50 of meerdere RAID 5 in JBOD
Netto storage capacity
Network	Standaard gigabit of anders? (Trunking, Fibrechannel?)
UPS	Ja/Nee welke?
Filesystem	Filesystem wat je gebruikt voor de storage array
Idle power usage	Graag aangeven met of zonder spindown.
Extra

Zie mijn eigen systeem even als voorbeeld hoe de tabel kan worden ingevuld.

Verzoekje
Het zou de mensen met een record in de grote lijst sieren als ze een keer de moeite nemen om met terug werkende kracht de tabel bovenaan in hun post op te nemen. Zo zou de kwaliteit van het topic sterk kunnen toenemen.

Waarom hebben jullie in vredesnaam zoveel storage?

Voor opslag van porno, films, muziek, foto's, backup en voor virtualisatie.

Sommige populaire kasten hebben SAS expanders, hoe sluit je die aan?

Lees deze post eens: jacovn in "Storage showoff topic - 10+ TB storage systems"

[ Voor 255% gewijzigd door Q op 21-03-2021 17:04 ]

[FireDrunk]

Omdat mijn specs overal en nergens staan, maar even een 'repost'...

Be Quiet L7 300W
Tyan S5502 (met KVM-Over-IP )
Intel Xeon 3430 (quadcore 2.4 Ghz)
12GB ECC DDR3 1333Mhz (2*2 + 2*4)

1 x LSI 3068E-R RAID Controller (met daaraan:)
4 x WD EADS 1.5TB 5400RPM
4 x Seagate LP 1.5TB 5900RPM

4 x Samsung F4EG 2TB 5400RPM (onboard)

1 x Intel G2 80GB SSD


OS is ESXi 4.1u1.
Als guests heb ik:
1) Ubuntu Server 11.04 als Fileserver, die via VT-d de LSI controller krijgt met de WD en Seagate schijven eraan. Deze maakt daar een MDADM RAID6 volume van en shared dit over NFS.

2) FreeNAS (momenteel) met 4 x 2TB in ZFS RAIDZ via RDM (Raw Device Mapping)

3) Ubuntu Server 11.04 als Download VM, die over NFS mijn array mount. Hierop draaien Sabnzbdplus, Sickbeard en CouchPotato.

4) Wat test VM's, ik ben ook (een poging aan het doen om) een TV Server VM in te richten. Maar mijn VT-d setup werkt nog een beetje tegen momenteel.

[zzattack]

Leuk gedaan Q.

Voor het gemak dan ook maar even mijn specs:

System specifications
Component	Value
Case	Norco RPC-4220
CPU	2x Opteron 6128
RAM	32 GB, 8x4GB DDR3 EEC, Quad-channel
Motherboard	Asus KGPE-D16
Operating system	FreeBSD 8.2-STABLE
Controller	IBM ServeRaid M1015 (IT), Intel SASUC8i (IT), on-board controller (6)
Hard drive	20x HDS7K3000
Hard drive	Crucial m4 64GB - OS
Hard drive	OCZ Vertex 2 60GB - ZFS L2ARC
RAID array configuration	2x raidz2 of 10 disks
Netto storage capacity	32 TB
Network	2x onboard Intel Gigabit + 2x Intel Pro PCI-e voor 4gbit LACP
UPS	Nog niet
Idle power usage	Vooralsnog te bang om te kijken

[ Voor 65% gewijzigd door zzattack op 29-09-2011 17:36 ]

[lampie1979]

Ik heb ongeveer +/- 3 jaar met een desktop "home" server gedraaid, maar ben kort geleden overgegaan op een MKB setup ;-)

Het begon allemaal in eind 2005 en begin 2006.

Server 1: :LOCHNASSIE - 2005/2006 Server 1: P4 2,66GHz HT

2 Promise TX4 PCI kaartjes erin en Linux Software raid

5x300GB Maxtor Sata2



Deze vervolgens uitgebreid naar 8x 300GB

Prima servertje en voldeed uitstekend.

Men wil echter meer ruimte, dus breder orienteren en naar de toekomst kijken.

Server 2: NASSIEBAL - 2007

Stap 1 was een grotere betaalbare behuizing te vinden.

Mijn keuze was toen gevallen op de Chieftec Mesh CA-01SL-SL-B. In mijn optiek nog steeds een ideale "low-cost" servercase, Ik heb van deze case ruim 2 jaar VEEL plezier van gehad.





Ik zou geen tweaker zijn als de kast niet zou worden gemod!

De spinnenwebben verwijderd om de fans stiller te maken. Ook heb ik filter matjes gemonteerd tegen de stof inname.

Ook heb ik een 4 in 3 bay gemonteerd boven de voeding. Al met al resulterend in een case welke 20 hardeschijven kan huisvesten!



Server 1 vs. Server 2



Vervolgens al het oude materiaal overgeplaatst.



Vervolgens is na +/- 1 jaar de kast uitgebreidt met een zelfgefabriceerde aluminium 12 in 1 casing voor harde schijven, op de plaats waar toen de 4 in 3 zat (heb hier helaas geen foto van). Dit gaf de chieftec een totale capaciteit van 28 schijven! Ook heb ik toen direct een upgrade uitgeveord en een Asus P5e-ws3 bord aangeschaf en eveneens C2D 6300. Als slagroom op de taaart een ARECA 1280ML 24 poorts raid controller aangeschaft incl. 2 GB. Ook werden er 12 x 500 GB Samsung schijven aangeschaft om de 12 in 1 bay op te vullen.

Uiteindelijk is deze server uitgekomen op 10x 1 TB (Raid 6) en 12x 500GB (Raid 6) + 1x 120 GB boot (Raid 1).

Resulterend in 16 TB (13 GB aan bruikbare opslag capaciteit).

Begin 2009 was echt de druppel. Het werd nodig tijd om mijn computer park aan te pakken. Het was op zolder niet meer te doen qua warmte, om alles netjes te managen en de beschikbare ruimte. Ook had ik de nodige problemen met de NAS. Uitvallen van schijven beknelde kabels, gamele voeding. De setup was niet meer betrouwbaar en ik ergerde me groen en geel aan deze situatie.

Inmiddels was mijn serverpark "hobby" uitgegroeid tot extreme proporties. Hieronder staat een overzicht van begin 2009.

- Nas (Openfiler), C2D 6300, 2GB, 12x500GB, 10x 1TB (beide Raid6);
- Firewall / Multiwan (pfSense), Athlon 750MHz, 512 MB, 40GB;
- Gateway (clarkconnect), P4 1,7GHz, 1GB, 2x 120GB (Raid 1);
- Download server, P4 2,66GHz (@2,82 GHz), 2GB, 2x 1TB;
- HTPC, C2D Q6600, 2GB, 300GB;
- Werk PC, X2 4200+, 2GB, 2x 74GB Raptor (Raid 0);
- APC Smart UPS 3000
- Dell 2716, 16 Poort gigabit switch;
- Dell 2724, 24 Poort gigabit switch.

En dan laat ik maar het stroomverbruik achterwegen....

Al met al werd het tijd voor een drastische verandering.

---

Server 3 - Dreadnought & Razorback - 2009

Ik had de volgende 3 doelstellingen.

1. minder PC's, zelfde functionaliteit;
2. beter management, op de toekomst gericht;
3. verplaatsing van het computerpark van de zolder naar de garage (ruimte).

Dus aanpakken die handel!

Stap 1 orienteren mogelijkheden duurde ongeveer 2 maanden

Stap 2 spullen verzamelen duurde 4 maanden

Stap 3 bouwen en configureren 1 maand (2 weken van mijn vakantie aan opgeofferde)

Ook heb ik geleerd van mijn verleden en had ik besloten om de portomonnae te trekken en het proejct groots aan te pakken. Ik heb gekozen voor A-Merk producten van goede kwaliteit en staat van dienst.

Om doelstelling 1 en 2 te behalen:

Virtualisatie

De bovenstaande machines heb ik gevirtualiseerd op 1 server, (met uizondering van de NAS en Dell 2716 switch). Ik kan zo gemakkelijk het overzicht behouden en waar nodig nieuwe machiens installeren. Gezien de machine een C2Q Q9550 als kern heeft en 8GB werkgeheugen heb ik hier voldoende overcapaciteit.

Om doelstelling 3 te halen heb ik gekozen om de machines samen te voegen in 1 behuizing. Je komt dan automatisch uit op de industriele standaard van een 19 inch rack.

Uiteindelijk is de keus gevallen op als lichaam een 42U HP Serverrack te kiezen.



Ook heb ik een APC PDU aangeschaf om alle voedingsnoeren netjes te monteren.

Voor de virtualisaite van de bovenstaande machines heb ik met een machine samengesteld gericht op de toekomst. Het SuperMicro board is werkelijk fantastich. Ook levert SuperMicro SERVICE! Ik had eerst problemen met ESXi op dit board (VT-x, VMDirectPath). Na een mail richting SuperMicro een Beta BIOS ontvangen welke alle problemen heeft verholpen. En dit alles binnen 24 uur!

Server: Dreadnought

- Supermicro C2SBX;
- Intel C2Q 9550 (@stock);
- Arctic cooling Freezer 7 Pro;
- 8GB DDR3 ECC Kingston Valueram;
- 4GB USB Bootstick (ESXi 4.0);
- 250GB Samsung Sata2 (Datastore Virtual Machines);
- Corsair CMPSU-850HX, 850 Watt;
- Codegen 4u-600
- 1x Intel 1000 MT PCI-X 4x 1 GBit;
- 2x Intel 1000 PT PCI-e;
- 1x Intel 1000MT onboard;
- Scythe Flex fans;
- Operating system, VMware ESXi 4.0.

Hier een screenshot van de ESXi console



Gezien mijn problemen met de vorige NAS heb ik ook hier besloten om het professioneel aan te pakken.

De SAN is opnieuw opgebouwd met de volgende componenten:

SAN Razorback 32 TB Raid6:

Tabel met systeem info

System specifications
Component	Value
Case	Norco 4020 4U 20 bay servercase;
CPU	Intel C2D E8400, Arctic cooling Freezer 7 Pro
RAM	8 GB DDR2 ECC Kingston Valueram;
Motherboard	Asus Serverclass motherboard P5BV-C/4L
Operating system	Operating system, Windows Storage Server 2008 R2 Enterprise
Controller	Areca 1280 ML, 24 poorts Sata2 controller, 2GB DDR 2 ECC
Hard drive	Indien meerdere types meerdere regels opnemen
RAID array configuration	Array 0: Boot Array 2x300GB Maxtor Raid 1, Array 1: 12x1TB Western Digital RE3 (@ Raid6), Array 2: 7x3TB Hitachi 7K3000 (@ Raid6);
Netto storage capacity	32 TB
Network	Intel 1000VT PCI-e 4 x 1Gbit, Marvell Onboard 4 x 1 Gbit (Trunking)
UPS	Ja APC SmartUPS 3000
Filesystem	NTFS
Idle power usage	300 Watt, met Areca Spindown, All active 600 Watt
Extra	Corsair CMPSU-750TX, 750 Watt, Scythe Flex fans

De oplettende lezer heeft gezien dat de 1280ML een 24 poort controller is. Echter heeft de Norco behuizing maar plaats voor maximaal 20 schijven. Ik heb deze behuizing dan ook gemodificeerd met een extra interne rail (achter de 4 fans). Op deze rail heb ik 6 extra schijven gemonteerd. Totaal 42 KG, schoon aan de haak. Om deze aanvulling koel te houden heb ik eveneeens een extra 8cm in de linker PCI sloten gemonteerd.

Areca Webmanagement:



Ook heb ik even een bench voor jullie gedraaid, gelet wel dat de SAN hier in gebruik is (fileserving en download) en er dus kleine dipjes zijn waar te nemen

Array 1



Array 2



En een windows copy van array 1 naar array 2:



Om overbelasting op de locale LAN op te vangen heb ik deze aangesloten met 2 lijnen op 802.3e Dynamic Link aggregation. Het hart van de installatie vormt een Dell 6224 switch. Gezien de nogal complexe infrastructuur (5 Wan's en Local Wan) is een geavanceerde switch een musthave! Gezien mijn download server (en alle overige servers) op dreadnought draaien is bandbreedte wel gewenst. Hiervoor heb ik zes Gbit lijnen gebundeld d.m.v. MPIO (Dedicated Vlan met Dreadnought, bandbreedte in totaal 6Gbit). De NAS wordt aangeboden d.m.v. iSCSI aan Dreadnought.

Totaal trekt het geheel op bij vollast 600 Watt en idle rond de 450 Watt.

Backup server (mirror van Dreadnought)

Athlon64 X2 4200+
DFI Lanparty Nforce4
4GB Kingston
250GB Samsung

Om het onderhoud verder te vergemakkelijken heb ik alle 3 de kasten voorzien van Kingslide slidingrails. Zo kan ik gemakkelijk alle kasten uit de kast schuiven en zo onderhoud plegen, upgraden etc.. De UPS is voorzien van een sliding tray om dezelfde bovenstaande reden.

Ik kan nog wel een heel verhaal schijven over de voordelen van virtualisatie, infrastructuur en overige zaken, maar daar zitten wij niet op te wachten, aanschouw het resultaat:























De beloofde foto's:

Voorkant case



Overview case



Areca 1280ML



Verankerde constructie



Beugel constructie. In hoogte verstelbaar (ondersteuning van het extra gedeelte)



3e extra Scythe S-Flex slotfan



Aan de linkerkant de 2 Boot disks in Raid 1 en rechts 4 WD RE3's van Array 1.



Its a tight fit



Lichtshow





En als laatste twee videos:

Video 1

Video 2

Op dit moment dus 24 TB (20 TB bruikbare capaciiteit).

Volgende stap is de 1 TB's uit te faseren en over te gaan op 2 TB schijven.

Op naar de 48 TB. . . . . .

---

Dit is het resultaat als bij een N*RD zijn hobby uit de hand loopt..

---

[ Voor 6% gewijzigd door lampie1979 op 26-09-2011 01:32 ]

[DJ-Visto]

En nu nog pics van je updates er bij, Q leuk topic! (ik wil je wel helpen met de lijst up to date te houden )

[ Voor 37% gewijzigd door DJ-Visto op 08-05-2011 21:58 ]

[lamko]

M'n bek valt open, koelkasten :0

[Klojum]

Houd je nog stroom genoeg over voor de rest van het huis, Lampie?
God nondeju zeg... Ik zou (denk ik) vaak de verkeerde deur opentrekken om een pilsje te pakken.

[Contagion]

Net op de ondergrens, mijn server is dit jaar gegroeid en gemigreerd naar 10 TB. De specs zijn als volgt

- Moederbord Asus K8N4E Deluxe (gaat alweer paar jaartjes mee)
- CPU: Athlon 64 3000+ (idem.)
- RAM: 1 GB (idem.)
- Noname big tower kast met 2x 4 HDD rek er in gemonteerd
- Fortron 400W (?) PSU
- Onboard Gbit NIC
- 4x 1 TB Seagate ST31000340AS (aka 7200.11)
- 2x 2 TB Samsung HD203WI
- 2x 2 TB Samsung HD204UI
- 2x 320 GB WD3200JB (IDE, als startup en swap disks in linux-mirror)
- Stapeltje fans overal waar nodig tegenaan ge-duct-tapet.

Bord heeft 4x SATA van nForce 4 chipset maar ook nog on-board een SIL 3114 met 4x SATA, vandaar de aankoop in een tijd dat je niet makkelijk aan extra SATA poorten kon komen, laat staan voor een redelijke prijs. Ook zitten er nog 2 IDE aansluitingen op het bord, goed voor nog eens max. 4 legacy harddisks.

Het geheel heeft van tijd tot tijd allerlei Ubuntu versies gedraait met XFS als bestandssysteem maar draait nu Debian Squeeze met mdadm-raid0/1 en 'on top' ZFS RAIDZ1. Zo zijn de 1 TB Seagate schijven per twee samengebonden als stripe onder linux raid en dat levert dus 2 'md' disks op van 2 TB. Daarnaast zit er nog 4x 2 TB aan echte schijven in en kom je dus op 6x 2 TB in RAIDZ is dus 10 TB effectief.

De zaak draait nu via ZFS-Fuse en daarbij is de CPU de limiterende factor om geen hogere snelheden te halen (als ik de CPU lock op 1 GHz ipv zijn max. 2 GHz, dan valt de doorvoorsnelheid ook een stuk terug). Ruwe snelheden van het systeem zijn ongeveer 100 MB/sec lezen en 60 MB/sec schrijven, maar die snelheden liggen lager als het over NFS of Samba moet (zeker met Samba valt de snelheid helaas nog ver terug).

Vanmiddag heb ik geexperimenteerd met de inmiddels aanwezig zijnde PPA voor Ubuntu Natty van de native ZFS port. Daarbij kom ik met lezen rond de 200 MB/sec en schrijven stijgt naar 100 MB/sec. Ook hierbij raakt de processor 100% utilization. Het is zeker iets om in de toekomst verder naar te kijken, maar nu nog te instabiel want bij het testen liep de machine een aantal maal volledig vast terwijl het aantal context switches van de kernel daarbij naar extreme hoogten steeg en uiteindelijk de machine non-responsive werd. Voorlopig dus het beproefde ZFS-Fuse.

Oh en lampie1979:

[zzattack]

Super vet lampie1979, die HP koelkast is echt heel bruut! Ook erg netjes gedaan die extra rails in je norco trouwens.

[Sick Nick]

Er zijn genoeg bedrijven die het niet zo netjes voor elkaar hebben, voor thuisgebruik wel een _klein_ beetje overkill natuurlijk

[Q]

Zet ik mijn eigen NAS ook even in dit topic

UPDATE 2020: Dit systeem bestaat al een aantal jaar niet meer en is uitgefaseerd.

Het resultaat is een op Debian Linux gebaseerde NAS met 18 TB capaciteit. Gebaseerd op 20 disks. Read performance: 1.1 GB/s, Write performance: 425 MB/s.

System specifications
Component	Value
Case	Norco RPC-4020
CPU	Core 2 duo E7400 @ 2.8GHz
RAM	4 GB
Motherboard	Asus P5Q-EM DO
Operating system	Linux Debian Squeeze 64-bit
Controller	HighPoint RocketRAID 2340 (16) and on-board controller (6)
Hard drive	20 x Samsung Spinpoint F1, 1 TB(array)
Hard drive	2 x FUJITSU MHY2060BH (60 GB)
RAID array configuration	Boot: 2x 60 GB RAID 1 and 20 x 1 TB RAID 6 ( 18 TB storage )
Netto storage capacity	18 TB
Network	Intel Gigabit 3x PCIe waarvan 2x via bonding naar 2e server @ 220 MB/s
UPS	Back-UPS RS 1200 LCD using Apcupsd
Filesystem	XFS (can handle > 16 TB partitions.)
Idle power usage	~150 Watt
Extra	-

16 schijven op de HP controller. 4 schijven op het moederbord. De 16 schijven op de HP zitten in individuele jbods, zodat Linux 16 schijven ziet op de controller. RAID wordt door Linux afgehandeld. Daar worden de 16 + 4 schijven tot een array van 20 schijven aan elkaar geknoopt.

Voor boot heb ik dus twee 60 GB laptopschijfjes ingezet in RAID 1.

Onder Linux is XFS de enige optie voor grote arrays. EXT3 is traag en kost je sloten met capaciteit.

(*) Na een kernel upgrade naar Debian Squeeze deed de machine opeens 450 MB/s schrijven.



- Het enige waar ik nog op Nr. 1 sta is de sequentiële lees snelheid....
- 150 watt idle volgens mijn APC UPS is gezien het systeem een hele mooie waarde. Maar ik zet hem altijd uit en wek hem met WOL. Wake On Lan.
- In Juni 2011 viert dit systeem hopelijk zijn 2e verjaardag.



Met de 2e server links is het allemaal begonnen. Op een gegeven moment zat daar 4x 500GB + 6x 1 tB in en was hij vol. Toen kwam de rechter. De linker machine hoort niet in dit topic thuis en is voor de downloads. Heeft een RAID 5 van 2.5 TB met 6 disks.

Wat wel relevant is voor dit topic is de trunk tussen de twee machines: dual gigabit met bonding/trunking geeft ongeveer 200 MB/s van server naar NAS. Ik droom er van om in beide systemen een thunderbolt kaart te zetten.

[ Voor 64% gewijzigd door Q op 19-01-2020 23:25 ]

[Tc-Chub]

Wow, echt bruut als je dit allemaal ziet. Ik heb hier 4 tb in huis en dan denk je dat ik al veel heb! Die vergelijking met die koelkast is helemaal absurd haha.

Ik neem aan dat jullie allemaal glasvezel of fiberpower internet hebben om alles vol te hengelen?

[Femme]

Netto heb ik 12,1TB capaciteit.

4x Seagate Barracuda LP 1,5TB in raid 5
4x WD GreenPower 2TB WD20EARS in raid 5
4x WD Caviar RE2 500GB in raid 5
2x Hitachi Travelstar 7K200 100GB in raid 1

Dat allemaal aan een Areca ARC-1280 op een Point of View ION330 mobo. De opslagcapaciteit wordt voornamelijk gebruikt voor backups.

[FireDrunk]

Iemand die treesize screenshots durft te posten?

[zzattack]

Tc-Chub schreef op zondag 08 mei 2011 @ 23:26:
Ik neem aan dat jullie allemaal glasvezel of fiberpower internet hebben om alles vol te hengelen?

Jazeker.

FireDrunk schreef op maandag 09 mei 2011 @ 00:21:
Iemand die treesize screenshots durft te posten?

Absoluut niet

[DJ-Visto]

Femme schreef op maandag 09 mei 2011 @ 00:15:
Netto heb ik 12,1TB capaciteit.

4x Seagate Barracuda LP 1,5TB in raid 5
4x WD GreenPower 2TB WD20EARS in raid 5
4x WD Caviar RE2 500GB in raid 5
2x Hitachi Travelstar 7K200 100GB in raid 1

Dat allemaal aan een Areca ARC-1280 op een Point of View ION330 mobo. De opslagcapaciteit wordt voornamelijk gebruikt voor backups.

Toegevoegt, wat voor O.S draai je er op? En hier is het misschien wel relevant om ook te vragen hoeveel stroo m zo'n dingetje nou vreet

[ Voor 9% gewijzigd door DJ-Visto op 09-05-2011 07:33 ]

[Staatslot]

DJ-Visto schreef op maandag 09 mei 2011 @ 07:29:
[...]

Toegevoegt, wat voor O.S draai je er op? En hier is het misschien wel relevant om ook te vragen hoeveel stroo m zo'n dingetje nou vreet

En zo ben ik weer heel erg gecharmeerd van foto's (pics or it didn't happen )

[KorneelB]

zo, ook even mezelf melden hier :-)

t wordt wel tijd voor een nieuwe server voor me, moet die Norco kast bestellen en nieuwe mobo..
oeh, mijn kast in de OP! (te koop btw ;-) )

[ Voor 14% gewijzigd door KorneelB op 09-05-2011 10:21 ]

[FireDrunk]

freak1 schreef op maandag 09 mei 2011 @ 10:11:
zo, ook even mezelf melden hier :-)

t wordt wel tijd voor een nieuwe server voor me, moet die Norco kast bestellen en nieuwe mobo..
oeh, mijn kast in de OP! (te koop btw ;-) )

Kosta?

[KorneelB]

FireDrunk schreef op maandag 09 mei 2011 @ 10:31:
[...]


Kosta?

700 euro.
vind ik een nette prijs, dik jaar oud die kast, inclusief de redundante voeding etc.

[FireDrunk]

Holy... Laat maar zitten

[Lulukai]

Misschien is het ook handig om telkens te vermelden waarvoor je al die storage gebruikt/nodig hebt, want ik denk dat er velen met mij diezelfde vraag hebben bij het zien van deze monsterlijke setups

[Q]

Opslag van porno.

[Anoniem: 187449]

studie

[n0m0r3]

ik heb destijds ook een eigen NAS in elkaar geknutseld. niet veel bijzonders qua capaciteit maar wel in een custom behuizing. zie post hieronder.

[zelfbouw] NAS obv freeNAS

zit nu iets van 13TB in met een software RAID1.

snelheden gaan tot ongeveer 90MB/S wat volgens mij komt doordat mijn gigabit netwerkje wordt volgepropt.

[ Voor 28% gewijzigd door n0m0r3 op 09-05-2011 11:29 ]

[aegis]

onderstaande NAS gebouwd voor een vriend, bruto 16TB netto 12TB in raid 6 met MDAM op ubuntu 10.04.
zelf heb ik maar een NAS van 5TB

#	Product	Prijs	Subtotaal
1	NZXT Tempest Evo	€ 86,70	€ 86,70
1	Intel Xeon X3440	€ 180,80	€ 180,80
8	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 62,48	€ 499,84
1	Seasonic X-560	€ 103,82	€ 103,82
1	OCZ Vertex 2 SATA II 2.5" SSD 180GB	€ 237,-	€ 237,-
1	Kingston ValueRAM KVR1333D3E9SK3/6G	€ 56,94	€ 56,94
1	Supermicro X8SI6-F-O	€ 245,-	€ 245,-
Bekijk collectie Importeer producten		Totaal	€ 1.410,10

[FireDrunk]

aegis schreef op maandag 09 mei 2011 @ 11:31:
onderstaande NAS gebouwd voor een vriend, bruto 16TB netto 12TB in raid 6 met MDAM op ubuntu 10.04.
zelf heb ik maar een NAS van 5TB

#	Product	Prijs	Subtotaal
1	NZXT Tempest Evo	€ 86,70	€ 86,70
1	Intel Xeon X3440	€ 180,80	€ 180,80
8	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 62,48	€ 499,84
1	Seasonic X-560	€ 103,82	€ 103,82
1	OCZ Vertex 2 SATA II 2.5" SSD 180GB	€ 237,-	€ 237,-
1	Kingston ValueRAM KVR1333D3E9SK3/6G	€ 56,94	€ 56,94
1	Supermicro X8SI6-F-O	€ 245,-	€ 245,-
Bekijk collectie Importeer producten		Totaal	€ 1.410,10

Heb je VT-d aan de praat? En werken PCie x1/x8 1.0 kaarten bij hem?
Hmm, zou die vriend dat eens kunnen testen?

[Q]

n0m0r3675 schreef op maandag 09 mei 2011 @ 11:27:
ik heb destijds ook een eigen NAS in elkaar geknutseld. niet veel bijzonders qua capaciteit maar wel in een custom behuizing. zie post hieronder.

[zelfbouw] NAS obv freeNAS

zit nu iets van 13TB in met een software RAID1.

snelheden gaan tot ongeveer 90MB/S wat volgens mij komt doordat mijn gigabit netwerkje wordt volgepropt.

Als je even aangeeft hoe je precies je disks inzet, dus arrays, en hoje dus op die 13 TB komt, kom je ook in de startpost.

[zzattack]

freak1 schreef op maandag 09 mei 2011 @ 10:11:
moet die Norco kast bestellen

Ik heb toevallig vandaag de Nederlandse distributeur gesproken. Er is nog één 4224 op voorraad en ze gaan schijnbaar hard...

Q schreef op maandag 09 mei 2011 @ 10:56:
Opslag van porno.

Dat kun je verkappen onder 'series en movies'.

ruyckske schreef op maandag 09 mei 2011 @ 10:52:
Misschien is het ook handig om telkens te vermelden waarvoor je al die storage gebruikt/nodig hebt, want ik denk dat er velen met mij diezelfde vraag hebben bij het zien van deze monsterlijke setups

<< Series en movies.

[ Voor 48% gewijzigd door zzattack op 09-05-2011 12:59 ]

[Ultraman]

Anoniem: 187449 schreef op maandag 09 mei 2011 @ 11:12:
studie

Een maatje van vroeger kreeg met dit magische woord vanalles voor elkaar bij zijn ouders.
Waaronder een dikke RAM upgrade en een nieuwe 3D kaart.
We zaten beiden op het VWO destijds...

Hier vind op dit moment een migratie plaats van mijn tweede server naar een derde. Nog druk bezig de kast te modificeren. Helaas ga ik de 10TB niet raken, dus ik zal hem elders moeten showen. Maar die topics zijn er ook, zoals Show je Server in de HK.

[ Voor 29% gewijzigd door Ultraman op 09-05-2011 13:06 ]

[Fauna]

Interessant om te zien allemaal! Ik kijk eigenlijk bijna nooit in het DIY topic, maar hier komen de echte beesten voorbij. Dan vind ik dat ik niet achter mag blijven Het is een redelijk cost effective oplossing, dus geen fancy hotswap bays en dergelijke.

Te beginnen met de specs: (Inventaris)
Case: Huge-ass serverbehuizing (merk/model onbekend helaas)
Voeding: Tagan TurboJet TG900-U95 900W
Mobo: Asus P5BV (ICH7R, Dual Broadcom 5721 GBit)
CPU: Intel E8400
Mem: 2x2GB Kingston DDR2
Boot: Intel X25-E 32GB
Data1: Maxtor 6L250S0
Data2: Samsung HD103UJ
RAID-controller: Areca ARC-1160 (PCI-X, 1GB Cache, BBU)
RAID1: 6x Seagate ST31500341AS RAID5
RAID2: 10x Seagate ST31500341AS RAID5
OS: Windows Server 2008 Enterprise x64

Bruto Storage: 25,25TB
Netto Storage in Windows: 20,15TiB

Pics: (Fotoalbum)






Historie:
Zoals een aantal andere mensen op deze aardbol heb ik ook een hekel aan mappen vol met CD's/DVD's.
Het is begonnen met mijn eerste eigen bak en 30GB aan opslag. Omdat ik alle warez enzo bij de hand wou hebben, en later ook gamez en dergelijke, werd de ruimte al gauw te weinig. Daarom heb ik er een 40 gig schijfje erbij gezet, en rond die tijd ben ik ook begonnen met het hosten van een FTP-server op LAN's.
Van het een kwam het ander en er werd een Promise FastTrak SX4000 aangeschaft. In eerste instantie met 2 HD's, rap gevolgd door het tweede setje om een RAID-5 array te maken. In de tussentijd ook maar een gigabit NIC erin geduwd.
De behuizing werd langzamerhand te klein (Aopen HQ-08) en het gamen tijdens LAN's begon te lijden door het hoge dataverkeer/CPU gebruik.
Tijdens de HCC-beurs van 2003 had ik mijn nieuwe game-bak bijeen geschraapt, dus ik kon weer rustig gamen. Er kwamen nog 2 160GB schijven bij, maar toen werd het genoeg voor mijn Thunderbirdje (stond altijd op full load en een MB of 20 per seconde op LAN's).

Een maandje voor Campzone 2004 heb ik dus maar besloten om een wat grotere case aan te schaffen met bijbehorende hardware. 2e hands een mooie kast op de kop weten te tikken, met een redundant voeding en 11 5,25" houders voor mijn HD's (met koelribben, dus eventueel passief te koelen). Een serverbordje erbij om de PCI-bus niet de bottleneck te laten zijn (dat werd een MSI K7D Master-L met 2x MP2400+)

Wensen en technologie veranderen heel erg rap, dat heb ik wel gemerkt. Met een PCI 66MHz/64bit raid controller in het achterhoofd was het MSI bordje aangeschaft, maar dat was voor mij niet voldoende. Mede door slechte resultaten in storage benchmarks heb ik besloten om toch een fatsoenlijk serverbordje te kopen. Dit werd een Gigabyte GA-7A8DW, met PCI-X sloten.

In februari 2006 heb ik dan eindelijk de lang verwachte SATA RAID controller gekocht. De keuze is gevallen op een Areca 1160 PCI-X. Deze controller presteert erg goed in de diverse benches. Met de 16 SATA300 poorten dat dit ding heeft hoop ik een hele tijd vooruit te kunnen. Kwestie van een schijfje erbij prikken en de RAID array uitbreiden.

3 Maanden later, in mei 2006 dus, heb ik een nieuwe voeding voor de server aangeschaft. Van de oude redundant voeding had inmiddels één module het begeven. Met de 11 schijven die er toen inzaten incl. de andere hardware was de configuratie nou niet bepaald een toonbeeld van stabiliteit. De nieuwe voeding werd een SuperMicro PWS-0035. Het typenummer zal je wel niets zeggen, maar met 3 modules van 250W hoop ik toch een tijdje voort te kunnen.
Update november 2006: na 3 maanden gezeik met de verzekering na blikseminslag, heb ik eindelijk een nieuwe voeding. De SperMicro is vervangen door een Tagan 900W. Deze is helaas niet redundant, maar biedt wel meer dan genoeg sap voor mijn dorstige systeem.
Eveneens heb ik toen de case voor het eerst onder handen genomen.

Daarna ben ik langzaam begonnen met het bijprikken van schijven op de Areca. In april 2008 ben ik overgestapt naar het huidige mobo + cpu, en niet al te lang daarna heb ik alles afgevuld met 1,5TB Seagates. Sinds 2009 is er dan ook weinig veranderd aan de configuratie, voornamelijk vanwege geldgebrek. Een nieuwe Areca staat al lang op de nominatie ter aanvulling of vervanging van de huidige Areca. Onder zware omstandigheden lijkt de ARC-1160 toch tegen zijn grenzen aan te lopen. Niet heel gek als je je bedenkt als er ~20 concurrent users bezig zijn die 2Gbit lijntjes dicht trekken.

Geschiedenis van show je server (HK):

Fauna schreef op woensdag 16 januari 2008 @ 12:26:

Naam:	Faunaserver (aka Uddy)
Locatie:	Berghok op zolder
Behuizing:	Huge-ass serverbehuizing
Voeding:	Tagan TurboJet TG900-U95 900W
CPU:	Dual AMD Opteron 244 (1,8 GHz)
Mobo:	Gigabyte GA-7A8DW
Geheugen:	2x 512MB Kingston PC3200 ECC REG
Harddisks:	1x Maxtor 6L250S0 (DM10, 250GB, 7200rpm, SATA150, 16MB cache, ROHS) 1x Maxtor 6L300S0 (DM10, 300GB, 7200rpm, SATA150, 16MB cache, ROHS) 6x Seagate ST3750640AS (7200.10, 750GB, 7200rpm, SATA300, 16MB cache) 6x Seagate ST3750330AS (7200.11, 750GB, 7200rpm, SATA300, 32MB cache)
Controller:	Areca ARC1160 PCI-X + BBU
Netwerk:	Broadcom 5705 Gigabit Onboard
OS:	Windows Server 2003 Enterprise
Functies:	FTP-server (Gene6) IRC-bot + mircstats Downloads DC-hub

Fauna schreef op dinsdag 15 augustus 2006 @ 14:59:

Naam:	Faunaserver (aka Uddy)
Locatie:	Berghok op zolder
Behuizing:	Huge-ass serverbehuizing
Voeding:	SuperMicro PWS-0035 3x 250W redundant
CPU:	Dual AMD Opteron 244 (1,8 GHz)
Mobo:	Gigabyte GA-7A8DW
Geheugen:	2x 512MB Kingston PC3200 ECC REG
Harddisks:	Mobo: 1x Maxtor 6Y250P0 (DM+9, 250GB, 7200rpm, PATA133, 8MB cache) 1x Maxtor 6Y160P0 (DM+9, 160GB, 7200rpm, PATA133, 8MB cache) SX4000: 4x Maxtor 6Y160P0 (DM+9, 160GB, 7200rpm, PATA133, 8MB cache) ARC1160: 1x Maxtor 6Y200M0 (DM+9, 200GB, 7200rpm, SATA150, 8MB cache) 1x Maxtor 6B200M0 (DM10, 200GB, 7200rpm, SATA150, 8MB cache) 1x Maxtor 6L250S0 (DM10, 250GB, 7200rpm, SATA150, 16MB cache, ROHS) 1x Maxtor 6L300S0 (DM10, 300GB, 7200rpm, SATA150, 16MB cache, ROHS) 6x Maxtor 6V300F0 (DM10, 300GB, 7200rpm, SATA300, 16MB cache, ROHS)
Controller 1:	Promise FastTrak SX4000
Controller 2:	Areca ARC1160 PCI-X
Netwerk 1:	Broadcom 5705 Gigabit Onboard
Netwerk 2:	Tamarack TC902x Gigabit
OS:	Windows Server 2003 Enterprise
Functies:	FTP-server (Gene6) IRC-bot + mircstats Downloads DC-hub

Fauna schreef op donderdag 07 oktober 2004 @ 20:41:

Naam:	Faunaserver (aka Uddy)
Locatie:	Berghok op zolder
Behuizing:	Huge-ass serverbehuizing
Voeding:	2x300W redundant
CPU:	Dual AMD MP2400+
Mobo:	MSI K7D Master-L
Geheugen:	2x 512MB Kingston PC2700
Harddisks:	2x Maxtor Diamondmax 9 160GB 1x Maxtor DiamondMax 9 200GB 1x Maxtor DiamondMax 9 250GB 4x Maxtor DiamondMax 9 160GB RAID-5 op de raid-controller
Controller:	Promise FastTrak SX4000
Netwerk:	3Com 3C2000 Gbit
OS:	Windows Server 2003 Enterprise
Functies:	FTP-server (bulletproof FTP) IRC-bot + mircstats Downloads (ABC, Emule, FTP) DC-hub VNC, Seti webserver voor RDC en ABC DNS, WINS, DHCP ed op LAN's

[aval0ne]

En dit is mijn systeem:

HDD's: 13 x Samsung F3EG HD203WI 2TB + 1 extra als hotspare
RAID controller: Areca ARC-1280 (24x SATA300 RAID, XOR, 512MB, PCI-e x8)
RAID level: RAID 6, 1 array
Case: Antec Skeleton
HDD behuizing: 6x Cooler Master 4-in-3 Device Module, gewoon per 2 op mekaar gestapeld en verbonden met de areca controller in de Antec kast met 1m lange SATA kabels.
Voeding: Corsair AX750W 750W Modulair
Mobo: Gigabyte GA-EX58-UD3R
CPU: Intel Core i7 920
Mem: 3x Kingston ValueRAM KVR1333D3N9 2GB
Boot: OCZ Vertex 60GB
Download schijf: Intel X25M 80GB Postville

OS: Windows 7 x64

Bruto: 26TB
Netto: 22TB

Doel: verzamelen bewegend beeld en geluid. De server zal in een huis dat momenteel nog gebouwd wordt de XBMC HTPC van beeld voorzien en de bron vormen voor de muziekbibliotheek van het Sonos multi room audio systeem.

Achtergrond: ik ben gestart met 3 2TB schijven in RAID5 en ben dan beginnen expanden met telkens 1 schijf en vanaf 4 schijven draai ik RAID 6. Expandtijden niet meer echt werkbaar met dit aantal schijven (+60 uur), ik overweeg dan ook een 2de RAID array aan te maken.

[FireDrunk]

Mooie bak! Ik zie wel veel RAID controllers, terwijl ik veel Software RAID zou verwachten Grappig om te zien dat Hardware RAID veel meer leeft dan ik gedacht had.

[SgtElPotato]

Cool topic hier.

Ben zelf ook bezig met een 'professionele' NAS/Server.
HD's en alles is al aanwezig, maar een goede case heb ik nog niet gevonden. Ofja, er zijn er genoeg zoals de Chenbro RM31616 of die er op lijken, maar jammer dat ze zo duur zijn.
Q, waar heb jij je case vandaan als ik vragen mag? En wat kost zoiets. Wil niet echt 500-600 euro aan een case uitgeven. Heb er ook al over na zitten denken om zelf iets te gaan maken, wil het wel goed hebben, maar zoveel geld vind ik zonde om er aan uit te geven.

[KorneelB]

SgtElPotato schreef op maandag 09 mei 2011 @ 15:49:
Cool topic hier.

Ben zelf ook bezig met een 'professionele' NAS/Server.
HD's en alles is al aanwezig, maar een goede case heb ik nog niet gevonden. Ofja, er zijn er genoeg zoals de Chenbro RM31616 of die er op lijken, maar jammer dat ze zo duur zijn.
Q, waar heb jij je case vandaan als ik vragen mag? En wat kost zoiets. Wil niet echt 500-600 euro aan een case uitgeven. Heb er ook al over na zitten denken om zelf iets te gaan maken, wil het wel goed hebben, maar zoveel geld vind ik zonde om er aan uit te geven.

hoeveel disks wil je kwijt?
qua materiaal is de Norco wel erg leuk, maar ligt nog wat meer richting de zelfbouw markt. zit rond de 400 euro voor 24 hot swap bays.

wil je voor het wat stevigere werk gaan, dan is de SUperMicro een prima keus. heeft veel mooie dingen zoals hot swap bays, maar ook redundante hot swap voedingen en zit kwalitatief zeer goed in elkaar. daarbij red je het dan wel helaas niet voor een 500 a 600 euro.

dus de hamvraag, hoeveel schijven wil je kwijt, en hoe professioneel wil je gaan

[zzattack]

SgtElPotato schreef op maandag 09 mei 2011 @ 15:49:
Cool topic hier.

Ben zelf ook bezig met een 'professionele' NAS/Server.
HD's en alles is al aanwezig, maar een goede case heb ik nog niet gevonden. Ofja, er zijn er genoeg zoals de Chenbro RM31616 of die er op lijken, maar jammer dat ze zo duur zijn.
Q, waar heb jij je case vandaan als ik vragen mag? En wat kost zoiets. Wil niet echt 500-600 euro aan een case uitgeven. Heb er ook al over na zitten denken om zelf iets te gaan maken, wil het wel goed hebben, maar zoveel geld vind ik zonde om er aan uit te geven.

Q heeft de 4020 van norco. Er is een Nederlandse webshop (niet in de PW) die ze aanbiedt. Deze 4020 gaat voor ongeveer 350 geloof ik, maar ik denk dat de SAS-varianten (4220/4224) handiger zijn.

[DJ-Visto]

n0m0r3675 schreef op maandag 09 mei 2011 @ 11:27:
ik heb destijds ook een eigen NAS in elkaar geknutseld. niet veel bijzonders qua capaciteit maar wel in een custom behuizing. zie post hieronder.

[zelfbouw] NAS obv freeNAS

zit nu iets van 13TB in met een software RAID1.

snelheden gaan tot ongeveer 90MB/S wat volgens mij komt doordat mijn gigabit netwerkje wordt volgepropt.

Netto bruto? aantal Disks etc, iets meer info a.u.b

[ Voor 3% gewijzigd door DJ-Visto op 09-05-2011 16:27 ]

[DJ-Visto]

aegis schreef op maandag 09 mei 2011 @ 11:31:
onderstaande NAS gebouwd voor een vriend, bruto 16TB netto 12TB in raid 6 met MDAM op ubuntu 10.04.
zelf heb ik maar een NAS van 5TB

#	Product	Prijs	Subtotaal
1	NZXT Tempest Evo	€ 86,70	€ 86,70
1	Intel Xeon X3440	€ 180,80	€ 180,80
8	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 62,48	€ 499,84
1	Seasonic X-560	€ 103,82	€ 103,82
1	OCZ Vertex 2 SATA II 2.5" SSD 180GB	€ 237,-	€ 237,-
1	Kingston ValueRAM KVR1333D3E9SK3/6G	€ 56,94	€ 56,94
1	Supermicro X8SI6-F-O	€ 245,-	€ 245,-
Bekijk collectie Importeer producten		Totaal	€ 1.410,10

Sorry, ik kan niet iedereens vriend nas gaan posten

Fauna schreef op maandag 09 mei 2011 @ 13:08:
Heel geil allemaal enzo

Heb je nog wat info over je arrays? Je staat er igg in

[ Voor 94% gewijzigd door DJ-Visto op 09-05-2011 16:32 ]

[zzattack]

DJ-Visto schreef op maandag 09 mei 2011 @ 16:24:
Sorry, ik kan niet iedereens vriend nas gaan posten

Maar hij is uiteraard meer dan welkom om een post met foto's en wat extra info achter te laten

[DJ-Visto]

zzattack schreef op maandag 09 mei 2011 @ 16:52:
[...]

Maar hij is uiteraard meer dan welkom om een post met foto's en wat extra info achter te laten

Ja, maar als we dat gaan doen, dan kunnen zakelijk nassen er ook wel bij Liever dat de persoon in kwestie dan zelf post

[Anoniem: 187449]

zzattack schreef op maandag 09 mei 2011 @ 16:15:
[...]

Q heeft de 4020 van norco. Er is een Nederlandse webshop (niet in de PW) die ze aanbiedt. Deze 4020 gaat voor ongeveer 350 geloof ik, maar ik denk dat de SAS-varianten (4220/4224) handiger zijn.

NORCO kasten ..
_{eigenaar bedrijf is af en toe ook in dit topic te vinden}

[FireDrunk]

Vind het veel geld hoor... Voor dat geld kan je een hoop zelf maken. Redundante voedingen zijn leuk, maar we hebben het hier (meestal) niet over 24/7 uptime garantie systemen. Dus dan zet ik er liever een Be Quiet L7 in

[heuveltje]

freak1 schreef op maandag 09 mei 2011 @ 16:09:
[...]


hoeveel disks wil je kwijt?
qua materiaal is de Norco wel erg leuk, maar ligt nog wat meer richting de zelfbouw markt. zit rond de 400 euro voor 24 hot swap bays.

Tot een stuk of 16 disken zonder hotswap kun je veel goedkoper uitkomen dan zo'n norco
(al zijn die dingen wel gaaf )

Key zijn de coolermaster 4in3 modules die je voor een schamele 16E incl fan kunt oppiken
Kasten waar oa je aan kunt denken.

Coolermaster stacker
sharkoon Rebel 12
antec 1200
Chieftec Bigtower's
Thermaltake element


Met meer disken word het iets meer hobby-bobben

lampie1979 schreef op zondag 08 mei 2011 @ 21:31:

Mijn keuze was toen gevallen op de Chieftec Mesh CA-01SL-SL-B. In mijn optiek nog steeds een ideale "low-cost" servercase, Ik heb van deze case ruim 2 jaar VEEL plezier van gehad.

Grappig, had precies dezelfde case gekocht voor mijn server.
Alleen ik vond het juist een onding !.
Van de dwarszittende hd's worden de stroom en sata kabels geplet doordat het linkerpaneel er gewoon te dicht opzat. Haakse satakabels werkte ook al niet echt omdat die hd's te krap en recht onder elkaar zaten.
Eigenlijk was je gewoon verplicht om custom draadbomen te maken

En de 92mm fans voor die dingen maakten op volle toeren een pokke herrie, en op lagere snelheid begonnen er disken te koken
Dan zat de voeding nog onhandig in het midden en moesten er teveel kabels door een te kleine ruimte, en had je boven de voeding een halve kast loze ruimte waar je zonder zelf flink te casemodden niks mee kon

Al met al was ik blij toen ik het ding 2 maanden geleden kon vervangen door een stacker
Maar ervaringen verschillen blijkbaar
Mocht iemand ondanks dit verhaal iemand nog intresse hebben, ik hoef er niet veel voor te hebben


@beneden.
True, maar dan moet je al snel aan 80+ Euro gaan denken (en meestal zwaar luidruchtige fans)
Die 4in3's zijn juist briljant vanwege dat ze stil zijn en geen drol kosten, alleen een 12cm fan is vaak al net zo duur

[ Voor 51% gewijzigd door heuveltje op 09-05-2011 17:57 ]

[FireDrunk]

Er zijn zelfs 5-in-3 hotswap modules te vinden, hoewel deze iets duurder zijn.

[Anoniem: 187449]

FireDrunk schreef op maandag 09 mei 2011 @ 17:42:
Er zijn zelfs 5-in-3 hotswap modules te vinden, hoewel deze iets duurder zijn.

laat ik nou net overwegen er 1 aan te schaffen (ipv 1 coolermaster die idd heerlijk stil en goedkoop is, maar na een aantal diskwisselingen tijdens testen ben ik het al zat.. )

[ Voor 12% gewijzigd door Anoniem: 187449 op 09-05-2011 18:28 ]

[FireDrunk]

Ik heb ze wel eens goedkoper gezien, maar weet niet meer waar... Internationaal is soms echt goedkoper.
Dan koop je 1 zo'n ding voor 70-80 dollar plus 20 dollar verzendkosten...

[Anoniem: 187449]

FireDrunk schreef op maandag 09 mei 2011 @ 18:10:
Ik heb ze wel eens goedkoper gezien, maar weet niet meer waar... Internationaal is soms echt goedkoper.
Dan koop je 1 zo'n ding voor 70-80 dollar plus 20 dollar verzendkosten...

ja .. ik ga is verder zoeken.. blijft duur voor een stukkie plastic

[Fauna]

Geen idee of een Stacker (en soortgelijke kasten) eigenlijk breed genoeg zijn om mijn truukje uit te halen: De 5,25" bays demonteren en wat verder uit elkaar zetten, zodat je in het midden een nieuwe rail kan plaatsen. Zo verdubbel je de capaciteit. Kosten: wat aluminium profieltjes en popnagels. Een nadeel is wel het moeizame (de)monteren van schijven.

[Anoniem: 187449]

Fauna schreef op maandag 09 mei 2011 @ 18:30:
Geen idee of een Stacker (en soortgelijke kasten) eigenlijk breed genoeg zijn om mijn truukje uit te halen: De 5,25" bays demonteren en wat verder uit elkaar zetten, zodat je in het midden een nieuwe rail kan plaatsen. Zo verdubbel je de capaciteit. Kosten: wat aluminium profieltjes en popnagels. Een nadeel is wel het moeizame (de)monteren van schijven.
[afbeelding]

wtf

[Contagion]

Heeeeeeel veel opslagruimte maar dan wel al je HD materiaal op die CRT televisie kijken he

[Fauna]

Contagion schreef op maandag 09 mei 2011 @ 18:36:
Heeeeeeel veel opslagruimte maar dan wel al je HD materiaal op die CRT televisie kijken he

Ik denk dat de foto zo'n 5 jaar oud is. Toen stonden HD-DVD en Bluray nog in hun kinderschoenen Maar laten we het on-topic houden.

[SgtElPotato]

freak1 schreef op maandag 09 mei 2011 @ 16:09:
[...]


hoeveel disks wil je kwijt?
qua materiaal is de Norco wel erg leuk, maar ligt nog wat meer richting de zelfbouw markt. zit rond de 400 euro voor 24 hot swap bays.

wil je voor het wat stevigere werk gaan, dan is de SUperMicro een prima keus. heeft veel mooie dingen zoals hot swap bays, maar ook redundante hot swap voedingen en zit kwalitatief zeer goed in elkaar. daarbij red je het dan wel helaas niet voor een 500 a 600 euro.

dus de hamvraag, hoeveel schijven wil je kwijt, en hoe professioneel wil je gaan

Ik heb nu 10x 2TB. Maar dat word in de toekomst echt wel meer, het is dat ik nu geen case heb.
Zoiets als Fauna laat zien is ideaal. Alleen wat voor kast kan je daar het beste voor gebruiken.

Hoe professioneel: ik krijg volgende week een 24x sata PCI-e insteekkaart. Er word een server vervangen bij ons op het werk, en kon die meenemen. Dat is een goede basis vond ik zelf. Kaart ondersteund elke RAID. Type e.d. weet ik zo nog niet. Krijg ik over 2 weken te zien.

Ik ben zelf ook nog flink aan het orienteren op de software. Maar moet toch eerst die kaart afwachten, kijken waar er drivers voor zijn. Alhoewel ik daar denk ik niet bang voor hoef te zijn.

[Phoenix1337]

#	Product	Prijs	Subtotaal
10	Samsung EcoGreen F4EG HD204UI, 2TB	€ 60,-	€ 600,-
6	Western Digital Caviar Green WD20EADS, 2TB	€ 136,85	€ 821,10
1	Sony Optiarc AD-7240S Zwart	€ 29,14	€ 29,14
1	Nexus Edge	€ 115,-	€ 115,-
2	Intel RAID Controller SASUC8I	€ 126,24	€ 252,48
1	AMD Athlon II X4 605e	€ 112,35	€ 112,35
1	Cooler Master Real Power M520	€ 69,90	€ 69,90
1	Intel Postville X25-V SSDSA2MP040G2R5 40GB	€ 89,99	€ 89,99
2	Kingston ValueRAM KVR1333D3N9K2/4G	€ 35,50	€ 35,50
1	Gainward GT210 512MB	€ 0,-	€ 0,-
1	Gigabyte GA-890FXA-UD7	€ 180,89	€ 180,89
Bekijk collectie Importeer producten		Totaal	€ 2.395,35

Dit is mijn systeem Draait ubuntu 10.10 op momenteel. Binnenkort een upgrade naar 11.04. Schijven zijn in RAID6 gezet met behulp van mdadm. 16 schijven leveren dus bruto 32TB en netto 28TB

[ Voor 3% gewijzigd door Phoenix1337 op 09-05-2011 20:08 ]

[Q]

SgtElPotato schreef op maandag 09 mei 2011 @ 19:15:
[...]


Ik heb nu 10x 2TB. Maar dat word in de toekomst echt wel meer, het is dat ik nu geen case heb.
Zoiets als Fauna laat zien is ideaal. Alleen wat voor kast kan je daar het beste voor gebruiken.

Hoe professioneel: ik krijg volgende week een 24x sata PCI-e insteekkaart. Er word een server vervangen bij ons op het werk, en kon die meenemen. Dat is een goede basis vond ik zelf. Kaart ondersteund elke RAID. Type e.d. weet ik zo nog niet. Krijg ik over 2 weken te zien.

Ik ben zelf ook nog flink aan het orienteren op de software. Maar moet toch eerst die kaart afwachten, kijken waar er drivers voor zijn. Alhoewel ik daar denk ik niet bang voor hoef te zijn.

Als je nu al 20x 2TB hebt, kun je wat meer info posten? Dan zetten we je ook in de lijst

Kijk naar de Norco 4220 of 4224. Betere airflow en kabel management dan 4020. De 4020 is meer voor 'legacy' hardware waarbij je nog met 20 kabels moet klooien. De nieuwe kasten hebben gewoon sas backplanes waar je die speciale kabels uit je controller rechtstreeks op kunt inpluggen.

Ik was uiteindelijk met douane en verzendkosten 400+ euro kwijt voor de oude 4020, maar anderen hier zouden meer moeten kunnen vertellen over wat een 4224 doet. Ik zou nu zeker voor de 4224 gaan.

@DJ-Visto: goed werk met het bijwerken van de tabel.

[ Voor 23% gewijzigd door Q op 09-05-2011 20:29 ]

[DJJ]

#	Product	Prijs	Subtotaal
5	Samsung EcoGreen F4EG HD204UI, 2TB	€ 60,-	€ 300,-
11	Western Digital Caviar Green WD20EADS, 2TB	€ 136,85	€ 1.505,35
1	Sony Optiarc AD-7260S Zwart	€ 17,99	€ 17,99
1	Nexus Edge	€ 115,-	€ 115,-
1	Scythe Shuriken Rev. B	€ 21,94	€ 21,94
1	Areca ARC-1680ix-16	€ 662,32	€ 662,32
1	AMD Athlon II X2 240E Boxed	€ 48,90	€ 48,90
1	Cooler Master Real Power M520	€ 69,90	€ 69,90
1	Intel Postville X25-V SSDSA2MP040G2K5 40GB	€ 77,35	€ 77,35
1	Kingston ValueRAM KVR1333D3N9K2/4G	€ 35,50	€ 35,50
1	Gigabyte GA-MA785GT-UD3H	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 2.854,25

Mijn systeem. Heeft veel weg van het systeem van Phoenix1337. We hebben voordat we begonnen met ons systeem veel dingen gewijzigd.
Array draait RAID6 op Windows Server 2008 R2 @ 28TB effectief.

[heuveltje]

[Q]

Had Heuveltje ook niet een aso build of verzin ik dat nou?

[DJ-Visto]

Die van phoenix1337 en DJJ weer toegevoegd, we zitten al op meer dan >250TB met alles bij elkaar!

En pics zijn welkom, makt het alleen maar leuker!

Haha Q, sorry ik was sneller..!

@Q ok. En op de zelfde aantal tbs ordere op nickname?

@Q Ja dat is idd lastig, maar dat is ook zo herstelt, gelukkig

@Q mooi, dat is ook weer geregeld, zet je DM ff aan dat is handiger tussen ons 4en communiceren.

[ Voor 73% gewijzigd door DJ-Visto op 09-05-2011 20:38 ]

[Q]

@DJ-Visto, wil je de OS kolom zo leeg mogelijk houden, dus 'Windows' en 'Linux' en 'FreeBSD'. Details kunnen in commentaar, thnx!

Ik merk dat als we gelijktijdig editen we niet worden gewaarschuwd.

@DJ-Visto: ja, bij zelfde TB sorteer op alfabet nick. Op naar de GoT petabyte.

@DJ-Visto: DM = aan. - > sortering, minder disk bij zelfde capaciteit 'wint'.

[ Voor 49% gewijzigd door Q op 09-05-2011 21:24 ]

[Aapenootjes]

Ik had al wat fotos in het Air Cooled Gallery topic gepost. Maar hier nogmaals dan

Als eerste de specs:

#	Product	Prijs	Subtotaal
1	Highpoint RocketRAID 3560	€ 798,80	€ 798,80
1	Intel PRO/1000 PT Dual Port Server Adapter (2x1000Mbps, PCI-e 4x)	€ 131,80	€ 131,80
12	Samsung Spinpoint F1 HD103UJ, 1TB	€ 48,90	€ 586,80
4	Samsung Spinpoint F3 HD103SJ, 1TB	€ 42,50	€ 170,-
1	Cooler Master CM Stacker CM Stacker ATX / BTX	€ 0,-	€ 0,-
4	Cooler Master SPB-3T4-E1 4 in 3 Device Module (4x 3.5" in 3x 5.25")	€ 0,-	€ 0,-
1	Prolimatech Megahalems CPU Cooler	€ 49,99	€ 49,99
1	Nexus Real Silent D12SL-12 BW, 120mm	€ 4,40	€ 4,40
1	OCZ Platinum Enhanced Bandwidth OCZ2P800EB4GK	€ 0,-	€ 0,-
1	Asus M4A785D-M PRO	€ 81,81	€ 81,81
1	Tagan TG480-U22, 480W (ATX, PCI-e)	€ 0,-	€ 0,-
1	AMD Phenom II X3 705E	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 1.823,60

Als OS draai ik Windows Server 2008 R2.

Er zit ook nog een oude 80GB sata schijf die ooit als Bootschijf diende. Bij de volgende uitbreiding gaat die er wel weer uit...

In totaal zitten er nu 17 schijven in mijn server en heb ik nog plek om er 8 bij te plaatsen. 16 van deze schijven zijn 1TB modellen waarvan er 15 in RAID 6 zitten op de Highpoint RocketRaid 3560. Dit resulteert in een netto opslag van 11,8TiB.

Tot voor kort zag mijn server er zo uit:

*klikbaar*

Dat vond ik niet zo heel mooi en ugh, wat een kabels Bovendien kon ik er zo geen schijven meer bijplaatsen.

Hierna heb ik een aantal aanpassingen gedaan, ik heb zelf een drietal HD brackets gefabriceerd van een aantal Scythe Harddisk Stabilizers. De binnenkant van de kast heb ik zwart gespoten en ik heb de 4 in 3 modules omgedraaid. Dat ziet er niet alleen beter uit, voor die aanpassing werden enkele schijven meer dan 50 graden.

Zoals het er nu dus uit ziet:

*klikbaar*


*klikbaar*

Zoals je ziet moet ik de ATX stroomkabel wel nog even wat netter wegwerken. Van de andere kant wil ik de voeding eigenlijk ook nog vervangen.

Met het zijpaneel:

*klikbaar*

Het zijpaneel moet ik misschien nog een beetje bijwerken. Het window heb ik ongeveer een jaar geleden zelf gedremeld en verder nog niet nabewerkt met een vijl of schuurpapier. (en het zijpaneel is niet helemaal schoon...)

Helaas ben ik helemaal vergeten foto´s te maken van de voorkant

Wat voor mij een groot pluspunt van dit systeem is dat het behoorlijk stil is. Althans, als de schijven in standby staan. Slapen is in ieder geval geen probleem er bij

[Mavamaarten]

Sjow, dat is netjes gedaan man ! Wat zijn je nieuwe temps ?

[Aapenootjes]

De schijven zitten nu tussen de 27 en de 40 graden, prima dus.
En bedankt trouwens

[ Voor 16% gewijzigd door Aapenootjes op 09-05-2011 21:20 ]

[heuveltje]

Q schreef op maandag 09 mei 2011 @ 20:30:
Had Heuveltje ook niet een aso build of verzin ik dat nou?

In vergelijking met de "normale" nas wel, maar in vergelijking met dit lijstje valt aso wel mee
Wou nog nieuwe foto's trekken, maar camera is zoek


Mijn hobbybob project :

Obelix.
Al vanaf 1999 ge-evolueerd van een klein bakje met 20GB tot de huidige versie




Hardware :
PSU Corsair 750W (single rail onder het motto nu is het zeker goed)
Asus m2n-vm met een AMD X2 5600 en 2GB Ram.
8 poorts Intel SASUC8I controller (pcie)

Dit alles in een coolermaster stacker met 3 4in3 modules.
Gevuld met :
1 x 250 GB Seagate
1 X 750 GB Samsung f1
2 X 1 TB Samsung f1
5 X 1.5 TB Seagate en WD
2 X 2 TB Hitachi
1 X 2 TB Samsung Green.

Totaal 15.5 TB.
(op de green na allemaal 7200 RPM)

Software :
Dit alles draait onder windows 2003 Server.
Na verschillende met raid controllers en levels te hebben ge-experimenteed, tot de conclusie gekomen dat ze geen van allen aan mijn wensen voldeden. (makkelijk uitbreidbaar, geen mogelijkheid door een array faal alles kwijt te raken). Grootste probleem is dat ik af en toe 1 schijf wil toevoegen/vervangen van net welke grootte op dat moment prijstechnisch interesant is.

Uiteindelijk Via flexraid toch een soort van raid4 geimplementeerd, waarbij de schijven gewoon als losse ntfs schijven benaderbaar blijven, alleen 1 schijf van 2tb word opgeofferd voor pariteit, Waardoor ik dus netto 14TB overhoud

En dat ziet er dan zo uit op je pc:


Negeer schijf k. Dat is een verzameling van de verschillende media schijven om zo als 1 share aan mijn mediaspeler gevoerd te kunnen worden

Heb nog een 2 TB HD in bestelling staan, die op de plaats van de bootdisk komt (100GB voor boot enz, rest data)
Helaas zit het nu redelijk vol zowel kwa baaien als controller poorten
Dus even kijken hoe we het met CZ gaan uitbreiden

[ Voor 15% gewijzigd door heuveltje op 09-05-2011 22:12 . Reden: wow daar gaat iets fout in de resize :) ]

[DJ-Visto]

Mooie build heb je daar, wat voor RAID draai er nou op? Igg je staat er bij zoals ik denk dat het goed is

[Aapenootjes]

Hij zegt zelf een soort van RAID 4. Dat is vergelijkbaar met RAID 5 behalve dat dan de parity op een aparte schijf staat. Dat verklaart ook waarom het allicht mogelijk is om de schijven individueel te benaderen.

[DJ-Visto]

Daar lijkt het inderdaad op, igg hij is toegevoegd weet nog niet hoe ik hem er in zet

[SgtElPotato]

Q schreef op maandag 09 mei 2011 @ 20:25:
[...]


Als je nu al 20x 2TB hebt, kun je wat meer info posten? Dan zetten we je ook in de lijst

Kijk naar de Norco 4220 of 4224. Betere airflow en kabel management dan 4020. De 4020 is meer voor 'legacy' hardware waarbij je nog met 20 kabels moet klooien. De nieuwe kasten hebben gewoon sas backplanes waar je die speciale kabels uit je controller rechtstreeks op kunt inpluggen.

Ik was uiteindelijk met douane en verzendkosten 400+ euro kwijt voor de oude 4020, maar anderen hier zouden meer moeten kunnen vertellen over wat een 4224 doet. Ik zou nu zeker voor de 4224 gaan.

@DJ-Visto: goed werk met het bijwerken van de tabel.

Ja ik heb het hier liggen. Dus om me nu al toe te voegen aan de lijst lijkt me een beetje voorbarig. Maar zal wel eens kijken of ik daar iets mee kan, en misschien kan ik er wel voor een leuk prijsje ergens eentje op de kop tikken.

[heuveltje]

DJ-Visto schreef op maandag 09 mei 2011 @ 21:55:
Daar lijkt het inderdaad op, igg hij is toegevoegd weet nog niet hoe ik hem er in zet

Ik moet ook altijd moeilijk doen
Is een beetje moeilijk naar normale raidlevels te vertalen, maar lijkt mijninsziens het meest op raid 4.
Ik heb 9 Data schijven en 1 losse Parriteits schijf, waarmee ik in geval van nood 1 uitvallende schijf kan recoveren. Dus ik stem tegen de "no raid" clasificering

Alleen om het verhaal nog wat ingewikkelder te maken werkt flexraid niet op disk-niveau maar op folder niveau.
Vandaar ook dat alle schijven los benaderbaar zijn mocht het array falen (door bv 2 kapotte disks).
En het array vergroten, is niet meer dan een hd erbij zetten en de data van de oude naar de nieuwe schijf kopieren

[ Voor 6% gewijzigd door heuveltje op 09-05-2011 22:12 ]

[FireDrunk]

Maar als je nieuwe data aan een folder toevoegt word je pariteit wel gelijk berekend?

[Q]

FlexRAID werkt niet real-time naar mijn weten. Die laat je toch dagelijks de parity bijwerken?

[heuveltje]

FireDrunk schreef op maandag 09 mei 2011 @ 22:19:
Maar als je nieuwe data aan een folder toevoegt word je pariteit wel gelijk berekend?

Nope, snapshot based
Dus ik moet het ofwel handmatig doen na een upload sessie. (aka druk op update knopje)
Of wachten op het scriptje wat donderdagnacht eerst random 5% van mijn files controleerd op pariteits-fouten, en vervolgens alle schijven weer synchroniseert.
(ik heb voor dat verifieren gekozen omdat ik ooit in raid5 een disk heb gehad die langzaam data vernaggelde. Maar ik daar pas achterkwam toen de controller vervolgens het array niet meer kon rebuilden toen een andere schijf wegviel)

Waarbij ik wel moet opmerken dat data toevoegen aan folders de bestaande pariteit niet aanpast, ik zou dus nog steeds alles kunnen recoveren op die toegevoegde bestande na.

Er is nu wel een beta gaande waarbij dit allemaal realtime gebeurt (zoals raid5).
Maar dat voegt eigenlijk niets toe aan hoe ik me server nu gebruik

[sig69]

heuveltje schreef op maandag 09 mei 2011 @ 21:28:
[...]
...
Helaas zit het nu redelijk vol zowel kwa baaien als controller poorten
Dus even kijken hoe we het met CZ gaan uitbreiden

Volgens mij kan er nog een 4 in 3 bay bij? Ik heb er ook 4 in zitten.

[heuveltje]

sig69 schreef op maandag 09 mei 2011 @ 22:46:
[...]

Volgens mij kan er nog een 4 in 3 bay bij? Ik heb er ook 4 in zitten.

Kan..
Maar dan moet ik dat paneeltje met usb headers en de powerbuttons/leds eruitgooien.
En die zijn stiekem best handig

Heb nog 2 5.25 baaien over tussen dat paneel en de 4in3's
Ben nog aan het bedenken hoe ik die het makkelijks kan omtoveren incl. koeling daarvoor.
zoiets lijkt daarvoor het meest logisch,
maar is wel wat prijzig, en ik vermoedook vrij rumoerig met zijn 8cm fan die nauwelijks ruimte heeft om tussendoor te blazen.
(mijn server is echt opmerkelijk stil )

Zoek eigenlijk iets simpels waar ik 2 schijven en een stille fan in kan monteren
Aan de ander kant heeft apenootjes oplossing ook zeker wel wat !!


Heb nog wel 2 van liggen,
Maar dat wil ik mijn oren niet meer aandoen

[ Voor 18% gewijzigd door heuveltje op 09-05-2011 23:02 ]

[Jormungandr]

Ben wel eens benieuwd hoe Aapenootjes de sata en power dan weggewerkt heeft in die reverse 4in3 modules.

[flippy]

zag dit topic langskomen op de frontpage. gezien de vereisten mag ik kennelijk hier ook een post maken...


ik begin maar even met de specs van het systeem:

#	Product	Prijs	Subtotaal
1	Areca ARC-1261ML SFF-8087	€ 679,73	€ 679,73
1	Intel PRO/1000 PT Dual Port Server Adapter (2x1000Mbps, PCI-e 4x)	€ 131,80	€ 131,80
10	Hitachi Deskstar 7K2000, 2TB	€ 90,91	€ 909,10
1	HP ZR24w	€ 354,89	€ 354,89
1	Lian Li PC-A77B	€ 0,-	€ 0,-
1	Logitech Z-5500 Digital	€ 248,-	€ 248,-
1	Eheim 1048 (Pomp)	€ 44,90	€ 44,90
1	HW Labs Black Ice GT Stealth 360 Xflow	€ 53,49	€ 53,49
1	Intel Core i7 920	€ 188,-	€ 188,-
1	Enermax Revolution85+ 950W	€ 189,-	€ 189,-
1	OCZ Gold DDR3 PC3-12800 Low-Voltage Triple Channel	€ 85,66	€ 85,66
2	MSI N260GTX Twin Frozr OC	€ 0,-	€ 0,-
1	Asus P6T7 WS SuperComputer	€ 338,65	€ 338,65
Bekijk collectie Importeer producten		Totaal	€ 3.223,22

nu ik trouwens het lijstje zo bekijk is dit toch stiekem een best dure hobby geworden

dit systeem is zoals men waarschijnlijk al ziet gewoon mijn "dagelijks" systeem waar ik gewoon alles op doe. dus geen losse fileserver of NAS dus. qua opslag is het best simpel geregeld: 1 losse SSD van 80gb voor windows en consorten en een 16tb D:\ schijf voor alle opslag. er zit dus ook geen cdspeler meer in dit systeem omdat ik toch alles via deamon tools of vergelijkbaar draai wat een cd nodig heeft. de meeste games die ik speel zijn of gekraaft dat ze geen cd nodig hebben of draaien via steam.

de areca zelf draait de 10 hitachi's in raid 6 die 16TB geeft aan windows en daar 14.6TB effectief van overlaat. pogingen om de array te maxen zijn zinloos tot zover gebleven gezien een 4gbit trunk de array niet volluit kon laten gaan.


maar praatjes maken nog geen plaatjes:










let wel, de foto's heb ik poosje geleden gemaakt voordat ik alle cable management en de nodige "optimalisaties" heb doorgevoerd na een kleine herinrichting en wisseling van mijn oude highpoint controller met 1TB schijven naar 2TB en de toendertijd nieuwe areca. enige terughoudenheid jegens het gebrek aan netheid wordt op prijs gesteld.

de fan die tegen de kaarten staat te blazen is om de passief gekoelde areca wat koelte toe te wuiven, een stuk stillere oplossing dat dat gejank van een normale fan die erop hoort (en ook nog eens best duur is).
inmiddels ie de areca ook al vergezeld van een 2e videokaart en zijn er een paar schijven bijgekomen sinds de foto's zijn gemaakt.

nog een extra foto van de dataverhuizing met behulp van een ander systeem tijdens een lanparty:

[ Voor 5% gewijzigd door flippy op 10-05-2011 00:23 ]

[DJ-Visto]

Zo, alles is weer toegevoegd als ik je heb gemist even laten weten!

Mooie systemen zitten hier tussen, wel leuk dat er steeds meer mensen met een toch vrij dikke NAS hier komen.

[Aapenootjes]

Jormungandr schreef op maandag 09 mei 2011 @ 23:19:
Ben wel eens benieuwd hoe Aapenootjes de sata en power dan weggewerkt heeft in die reverse 4in3 modules.

Als ik er morgen tijd en zin in heb zal ik de frontjes er af halen een een foto maken (best een rot werkje ). Het komt er op neer dat de aansluitingen van de harde schijven gewoon aan de voorkant van de kast zitten. Voor de sata power heb ik zelf een aantal kabels op maat gemaakt. Er blijft niet veel speelruimte over, maar net genoeg

Het front panel met usb aansluitingen en de aan/uit en reset schakelaars heb ik trouwens ook weg gehaald. Ik heb daarvoor in de plaats een pci cover voorzien van een switch waarmee ik de server aan en uit kan zetten. Zo vind ik het mooier, bovendien gebruik ik de aan en uit knop toch niet vaak en USB gebruik ik al helemaal bijna nooit met mijn server.

Overigens, het viel me net op dat de netto capaciteit in de tabel in de OP in TB ipv TiB gaat. Dan moet het bij mij 13TB zijn ipv de 12 die er nu staat (heb netto 11,8TiB )

[Anoniem: 187449]

morgenmiddag heb ik een camera hier en er ligt nog een losse coolermaster 4 in 3.. dan hoef je je server niet te mollen, want demonteren is idd lastig.

[Q]

Niet dat ik dit mij kan veroorloven, maar bedenk dit.

Voor een bedrag van 1.380,00 kun je 40 TB kopen via 20 x 2 TB 5400 RPM schijven van 70 per stuk. In 1 grote RAID 6 wordt dat netto 36 TB.

Voor 1400 euro dus netto 36 TB capaciteit.

Dat is toch geen geld?

Je kunt voor 150 euro per stuk ook met 20 schijven aan de 54 TB komen netto, maar dat kost je dus relatief veel meer: 2.980,00.

Met een 24 poorts controller + kast kun je kossten effectief naar 24 x 2 TB 5400 RPM = 44 TB voor een bedrag van ongeveer 1700 euro.

Leuke overpeinzingen.

[zzattack]

Met een 24 poorts controller zit je helaas al wel weer op de helft van je totaalplaatje. En een leuke kast ervoor is ook nog geen makkie.

[Q]

Ik ben nog van het type dat dus dan liever voor een server moederboard zou gaan waarin je 3 x een 8 poort controller van 120 euro kan stoppen en dan met software raid iets aan elkaar knoopt. Zo'n server board is wat duurder, maar je bespaart weer zoveel op de controller + benefit van ecc geheugen etc.

[zzattack]

Hier nog zo iemand. Actually, ik geloof dat wij beiden 20 disks aansturen met o.a. een rr2340
Zeker met ZFS is het leuk dat je geen dure controller nodig hebt.

[Q]

Ik zou ooit in mijn hoofd kunnen halen om mijn 2320 en 2340 in 1 systeem te stoppen, dan kom je aan 24 poorten + wat er nog op een moeder bord zit (6?). Dan zou je 30 schijven aan kunnen, maar die moeten dan wel in de kast passen. Zie maar 6 extra schijven weg te werken.

Maar dat is geneuzel.

Gemeen van mijn kant, maar volgens mij ben ik nog altijd de enige in dit topic die met zijn array meer dan 1 GB/s aan lees doorvoersnelheid weet te halen. Al die hardware controllers laten het gewoon afweten op dat vlak. Niet dat het echt boeit, want die snelheid, daar heb ik niets aan. Maar toch....
Eerlijk is eerlijk: vaak is random io boeiender.

En nog belangrijker: voor thuis is het netwerk de limiterende factor.

[ Voor 45% gewijzigd door Q op 11-05-2011 00:46 ]

[zzattack]

Ik geloof dat ik laatst een modified (norco?) kast voorbij zag komen waar tussen de backplane en de fans nog een aantal schijven gepropt waren. Niet echt optimaal, maar het zal vast kunnen

[Aapenootjes]

Met de kennis die ik nu heb zou ik mijn server systeem allicht ook anders inrichten. Echt verstand van ZFS had ik toen nog niet. Maar goed, het werkt voor mij nu op zich wel prima. Een server moederbord zou inderdaad mooi zijn geweest maar dat liet het budget op dat moment helaas niet toe.

Trouwens, in hoeverre is het mogelijk om een ZFS array te verplaatsen naar een ander systeem? Ik hoef alleen de controller om te prikken en drivers te installeren. Uiteraard heb ik weer het nadeel dat ik een groot probleem heb als mijn controller het zou begeven.

Overigens, ik ga wellicht wat offtopic zo en hoort dit meer in het DIY RAID NAS topic thuis. Misschien een idee om hieromtrent wat duidelijk regels te maken voor dit topic?

[ Voor 13% gewijzigd door Aapenootjes op 11-05-2011 01:06 ]

[zzattack]

Dit zou ik in het ZFS topic plaatsen maar we kunnen er kort over zijn: pool verplaatsen, controller vervangen, het maakt allemaal niet uit. Edit: alleen een hogere versie pool importen op een OS dat nog op een lagere versie zit (bijv. solaris pool importen in freebsd) gaat niet werken uiteraard.

[ Voor 36% gewijzigd door zzattack op 11-05-2011 01:15 ]

[KorneelB]

Q schreef op woensdag 11 mei 2011 @ 00:43:
Ik zou ooit in mijn hoofd kunnen halen om mijn 2320 en 2340 in 1 systeem te stoppen, dan kom je aan 24 poorten + wat er nog op een moeder bord zit (6?). Dan zou je 30 schijven aan kunnen, maar die moeten dan wel in de kast passen. Zie maar 6 extra schijven weg te werken.

Maar dat is geneuzel.

Gemeen van mijn kant, maar volgens mij ben ik nog altijd de enige in dit topic die met zijn array meer dan 1 GB/s aan lees doorvoersnelheid weet te halen. Al die hardware controllers laten het gewoon afweten op dat vlak. Niet dat het echt boeit, want die snelheid, daar heb ik niets aan. Maar toch....
Eerlijk is eerlijk: vaak is random io boeiender.

En nog belangrijker: voor thuis is het netwerk de limiterende factor.

Xcuse me?

Heb je het over bit of byte?
Heb een 4 poorts gbit controller toegevoeg voor filesharing en die trek ik met gemak vol, terwijl er ook vrolijk een 12 tal vms hun ding doen...

[FireDrunk]

Hoe trek jij een '4 poorts gigabit adapter' vol met vm's? VMware ondersteund alleen LACP en 8021.AQ en geen EtherChannel... Dus singlepoint verbindingen zijn nog steeds 1Gbit

Dus tenzij ze bij Xen (geen idee wat je draait) daar iets op gevonden hebben...

[ Voor 18% gewijzigd door FireDrunk op 11-05-2011 08:33 ]

[Q]

Koel, jij hebt een trunk met een intelligente switch?

Haal jij dan ook 4gbs met 1 tcp verbinding?

[The Lord]

FireDrunk schreef op woensdag 11 mei 2011 @ 08:33:
Hoe trek jij een '4 poorts gigabit adapter' vol met vm's? VMware ondersteund alleen LACP en 8021.AQ en geen EtherChannel... Dus singlepoint verbindingen zijn nog steeds 1Gbit

Dus tenzij ze bij Xen (geen idee wat je draait) daar iets op gevonden hebben...

Freak draait Hyper-V. Met de juiste NIC kan je dan inderdaad in 1 sessie de geagregeerde bandbreedte in beide richtingen gebruiken.

[FireDrunk]

Uhm, hoe werkt dat dan? Want dan bestaat er nog zoiest als sender and recieving MAC... Als je beide kaarten geforceerd hetzelfde MAC geeft gaat je switch over de flos

[The Lord]

FireDrunk schreef op woensdag 11 mei 2011 @ 12:04:
Uhm, hoe werkt dat dan? Want dan bestaat er nog zoiest als sender and recieving MAC... Als je beide kaarten geforceerd hetzelfde MAC geeft gaat je switch over de flos

Uit mijn hoofd van lang geleden (*ben geen netwerker disclaimer*)

• Dit kan met met PAGP / FEC / GEC / ISL. Cisco proprietary, maar (werd?) ondersteund door bijvoorbeeld Intel.
• LACP met 803.2AD kan 1 kant op per TCP sessie maar 1 kanaal gebruiken. De andere kant kan 'load-balanced' geagregeerde bandbreedte gebruiken.

[AjDuLion]

hmm als ik dit topic zo weer opentrek dan vraag ik me af of het wel een verstandig iets is om mijn stacker weer te verkopen

[flippy]

even een open deurtje: maar hoe wil je de andere kant meer als 112mb/s laten verwerken? voor dom filecopyen loopt dat wel los maar enigsinds verwerken zit daar niet bij. ik heb zelf ook 4gbit op mijn systeem zitten en het zou erg leuk zijn om die lijn vol te kunnen trekken naar de andere kant, echter moet je aan de andere kant al een serieuze raid hebben staan om het aan te kunnen.
op diverse lanparty's gebruik ik wel 2 a 4 gbit om de hordes met mensen aan te kunnen die van me willen downloaden en dan gaat het systeem al keurig uit zichzelf de data verdelen over de verschillende lijnen, en dan is het eigelijk best lastig om 2~4gbit verzadigd te krijgen.

als er natuurlijk een manier is om op een enkel systeem meer als 1gbit te kunnen halen hoor ik die graag, echter is dat voor 90% van de gevallen gewoon overkill.

[FireDrunk]

Het kan wel, maar dan moeten je switches het ondersteunen. Plus werkt het niet in VMware. EtherChannel is niet supported in vmware. Ik heb het zelf ook wel eens werkend gehad tussen 2 dual-port Intel nics met gewoon 2 kabels naar elkaar.. In windows kan je dan prima Teaming aanzetten. Dan heb je gewoon een echte 2Gb verbinding in Windows.

Ik heb hier op het werk al wat 4Gb en 8Gb glaskaartjes zien liggen Dat is ook wel leuk om een mooie point-to-point verbinding naar je server te hebben

[MadMike261]

Note: het volgende is theoretisch, heb er geen ervaring mee of het onderzocht

Het is ook een mogelijkheid om zo'n kaart direct aan de vm te geven met VT-D.
En op die manier zou je op 1 vm wel zoiets moeten kunnen bouwen.

Alleen heb je dan wel natuurlijk een extra nic nodig om met de virtualisatie bak te verbinden.

[vex4vex]

Vergeef me als ik te off-topic post...
Ik heb nu zo'n kleine 10TB aan HD ruimte in mn 'gebruikers' PC. Ik wil echter een NAS hebben waarin dit komt maar dan bij voorkeur niet in een compleet systeem zoals ik in deze posts vaak terug zie.
Ik zou dit graag in een wat energie-vriendelijk systeem planten en meteen uitbreiden naar 12-16TB. Hoe zou dit in te richten zijn zonder:
- 500W voeding in een compleet systeem (wat net zo goed als een gebruikers-pc kan dienen)
- honderden euro's uit te geven aan dure pci-e kaarten om maar meer dan 6 HD's aan te kunnen sluiten.
Alle tips worden gewaardeerd! (.. wil natuurlijk ook in de tabel komen op de eerste pagina )

[zzattack]

Wat bedoel je precies? Niet in een compleet systeem? Wat is er niet compleet aan een energie vriendelijk systeem?
Met software RAID of ZFS op een goedkope SATA (non-RAID) controller hoef je geen dure pci-e kaarten te kopen.

[vex4vex]

@zzattack
een compleet systeem als in dat het net zo goed op de studeerkamer kan staan qua specs.
Maybe zie ik het verkeerd maar volgens mij hoeft een systeem bedoeld voor opslag geen shuriken cooler te hebben en een moederbord met allemaal extra features.

De specs die ik zoek zijn dus op te sommen als:
- 6-12 SATA HD aansluitmogelijkheden
- Gigabit netwerkaansluiting
- raid 5, 6 of 10 (weet niet wat het meest praktisch en makkelijkst uitbreidbaar is)
- software die het mogelijk maakt om met nieuwsgroepen te downloaden en het beheer van de schijven oven het netwerk ondersteund
- weinig ruimte en lage energiekosten

[Aapenootjes]

FireDrunk schreef op woensdag 11 mei 2011 @ 13:15:
Het kan wel, maar dan moeten je switches het ondersteunen. Plus werkt het niet in VMware. EtherChannel is niet supported in vmware. Ik heb het zelf ook wel eens werkend gehad tussen 2 dual-port Intel nics met gewoon 2 kabels naar elkaar.. In windows kan je dan prima Teaming aanzetten. Dan heb je gewoon een echte 2Gb verbinding in Windows.

Ik heb hier op het werk al wat 4Gb en 8Gb glaskaartjes zien liggen Dat is ook wel leuk om een mooie point-to-point verbinding naar je server te hebben

Zelf heb ik ook 2 dual port intel nics, daar kan ik wel een 2Gbit verbinding mee op zetten en zo ziet windows het ook. Echter heb je dan volgens mij dan ook nog minimaal 2 TCP sessies nodig om 2Gbit te halen. Het is mij in ieder geval zo niet gelukt om over de 1Gbit te gaan.

Zijn die 4Gb en 8Gb glaskaartjes geen HBA/iSCSI adapters? Ook leuk spul trouwens