Storage showcase topic - 50+ TB storage systems

[Verwijderd]

350W idle? Kom ik aan met mijn 14W dualcore 8GiB RAM server; dat zijn dus precies 25 van mijn NAS servers? Ik weet dat de Q6600 enzo niet erg zuinig zijn, maar ik vraag me af hoe je aan zo'n hoog verbruik kunt komen? Waar gaat al die stroom naartoe; je config laat eigenlijk niet toe dat er zoveel stroom wordt verbruikt. Hoe heb je het verbruik gemeten?

[alexke1988]

Verwijderd schreef op donderdag 22 maart 2012 @ 16:18:
350W idle? Kom ik aan met mijn 14W dualcore 8GiB RAM server; dat zijn dus precies 25 van mijn NAS servers? Ik weet dat de Q6600 enzo niet erg zuinig zijn, maar ik vraag me af hoe je aan zo'n hoog verbruik kunt komen? Waar gaat al die stroom naartoe; je config laat eigenlijk niet toe dat er zoveel stroom wordt verbruikt. Hoe heb je het verbruik gemeten?

Profile stekkerplug dingetje , ik zal het straks thuis nog eens nameten
edit: 230 watt was het dus idle !

Ik ga wel binnenkort de Q6600 vervangen door een i3 2130 en een p67 moederbordje...

[ Voor 6% gewijzigd door alexke1988 op 22-03-2012 16:29 ]

[Verwijderd]

p67 is ook niet zo geschikt, want dan heb je nog een losse videokaart nodig. Tenzij je de server ook als workstation gebruikt? H61, H67, Z68, Z77 zijn geschikt voor CPUs met integrated video (IGP).

Ik wil ook opmerken dat je non-TLER disks in combinatie met hardware RAID gebruikt, wat bij bad sectors problemen kan geven, afhankelijk van je controller. Ik raad je dus sterk aan om backups te maken, in elk geval van je meest belangrijke bestanden.

[ Voor 8% gewijzigd door Verwijderd op 22-03-2012 16:33 ]

[alexke1988]

Verwijderd schreef op donderdag 22 maart 2012 @ 16:31:
p67 is ook niet zo geschikt, want dan heb je nog een losse videokaart nodig. Tenzij je de server ook als workstation gebruikt? H61, H67, Z68, Z77 zijn geschikt voor CPUs met integrated video (IGP).

Ik wil ook opmerken dat je non-TLER disks in combinatie met hardware RAID gebruikt, wat bij bad sectors problemen kan geven, afhankelijk van je controller. Ik raad je dus sterk aan om backups te maken, in elk geval van je meest belangrijke bestanden.

goed dat je het zegt van die chipsets , ik vergis me er altijd in...

Ik weet het van de TLER , heb al mijn PERC5i raid 5 ontmanteld omdat deze zeer trage disk reads begon te geven...

[Q]

alexke1988 schreef op donderdag 22 maart 2012 @ 16:27:
[...]


Profile stekkerplug dingetje , ik zal het straks thuis nog eens nameten
edit: 230 watt was het dus idle !

Ik ga wel binnenkort de Q6600 vervangen door een i3 2130 en een p67 moederbordje...

[video]

Zo'n 10 euro watt meter van de Aldi geeft aan dat mijn storage monstertje 230 idle gebruikt.

Maar mijn APC geeft aan maar voor 140 watt belast te worden...

[flippy]

mogelijke vergelijking is de mijne:


intel 920 op een asus supercomputer met 12gb ram en 2 videokaarten (260 gtx) en cpu en videokaarten zijn watergekoeld, 1 dual port intel NIC, losse geluidskaart en 1x 16 poorts 1261ML van areca met 13 hitachi's 7k2000 eraan. en nog een oud intel postvilletje voor windows

dit hele setje inc 24" monitor verstookt een slordige 290w tijdens idle. 350 als er wat gedaan moet worden en hij hikt tegen de 800w aan als er cysis gedraait word.

dit is gemeten met de energiemeter 3000 (ofzo) van de conrad, die algemeen word aangewezen als een zeer noukeurige.

[ Voor 10% gewijzigd door flippy op 26-03-2012 00:35 ]

[NIK0]

@Heuveltje, @AnyoneElseWhoIsInterested

Had nog beloofd dat ik wat info over m'n setup zou geven.

Wat ik idd doe is ik maak GEEN driveletters aan maar ik mount m'n disken in Windows:
Ik heb een directory C:\mount en daarin mount ik disk1, disk2 disk3 etc
Op elke disk maar ik dezelfde directory structuur aan met dit scriptje:

@echo off
cd\
SET /p disk=Enter the diskname on which to create the directory structure:
cd mount\%disk%
echo Create directory structure on %disk% ?
pause
mkdir _comedy
mkdir _docu
mkdir mp3
mkdir _movies
mkdir _series
cd _movies
for /f "tokens=* delims=$" %%i in ('type c:\scripts\movies\alfabet.txt') do mkdir %%i
for /f "tokens=* delims=$" %%i in ('type c:\scripts\movies\alfabet.txt') do echo. >%%i\%%i.txt
cd ..
Echo Done..!
(in alfabet.txt staan onder elkaar 0 t/m z)
Daarnaast heb ik een directory c:\media met dezelfde directory structuur.
Deze media directory share je op je netwerk.

Nu komt de truc:
Ik heb een scheduled task lopen die eerst per letter onder _movies een lijstje maakt van alle directories. Deze .txt wordt vervolgens gebruikt om links te maken naar deze directories zodat je ze kan zien vanuit de c:\media folder. (je moet wel een strakke foldernaming convention hebben maar dat is ieder voor zich. Ik gebruik hiervoor het tooltje: therenamer)

De schedulded task doet dit:
"echo disk1|movieindexer.bat" (ik maak voor elke disk een aparte task aan)

movieindexer script:
set scriptdir=C:\scripts\movies\scheduled
:createall
SET /p disk=Enter the source diskname:
echo Going to create links for all movies on %disk%
pause.exe
echo %disk%|%scriptdir%\2_make_txt_files.bat
echo %disk%|%scriptdir%\3_make_links.bat

2_make_txt_files.bat script
@echo off
cd\
set sourcedisk=c:\mount\%disk%\_movies
echo creating txt index files for movies on %sourcedisk%
call :make_links_txt 0
call :make_links_txt a
call :make_links_txt b
call :make_links_txt c
call :make_links_txt d
call :make_links_txt e
call :make_links_txt f
call :make_links_txt g
call :make_links_txt h
call :make_links_txt i
call :make_links_txt j
call :make_links_txt k
call :make_links_txt l
call :make_links_txt m
call :make_links_txt n
call :make_links_txt o
call :make_links_txt p
call :make_links_txt q
call :make_links_txt r
call :make_links_txt s
call :make_links_txt t
call :make_links_txt u
call :make_links_txt v
call :make_links_txt w
call :make_links_txt x
call :make_links_txt y
call :make_links_txt z

:make_links_txt
del /q %sourcedisk%\%1\%1.txt
dir /b %sourcedisk%\%1 >> %1.txt
move %1.txt %sourcedisk%\%1\. >nul


3_make_links.bat script
@echo off
cd\
cd media\_movies
set sourcedisk=c:\mount\%disk%\_movies
set movielist=c:\media\_movies
echo creating links for movies on %sourcedisk%
call :make_links 0
call :make_links a
call :make_links b
call :make_links c
call :make_links d
call :make_links e
call :make_links f
call :make_links g
call :make_links h
call :make_links i
call :make_links j
call :make_links k
call :make_links l
call :make_links m
call :make_links n
call :make_links o
call :make_links p
call :make_links q
call :make_links r
call :make_links s
call :make_links t
call :make_links u
call :make_links v
call :make_links w
call :make_links x
call :make_links y
call :make_links z

:make_links
cd %movielist%\%1
for /f "tokens=* delims=$" %%i in (%sourcedisk%\%1\%1.txt) DO MKLINK /J /D "%%i" "%sourcedisk%\%1\%%i">nul
cd ..

Als het goed is, zie je dit bijv in een mapje staan:


Op deze wijze heb je een schaalbare oplossing en géén pooling nodig.

[ Voor 2% gewijzigd door NIK0 op 10-04-2012 11:15 . Reden: zag dat ik NL en EN door mekaar had gebruikt in m'n scripts ]

[iRReeL]

Ook nog ff een update van mijn kant:

mijn entry in de lijst kan inmiddels verwijderd worden. Intussen verschillende andere setups gehad en nu dacht ik dat ik eigenlijk klaar was , maar dus niet. De server moet wegens omstandigheden terug naar de woonkamer dus moet weer 'n stuk stiller zijn.

Ik heb momenteel een Rebel12 (thanks HyperBart) en die half-ass aangepast dat er nu 2 hotswap bays inzitten voor 10 disks en nog 's 2 van die goedkope Norco's voor 10 disks. Verder nog 6 disks intern en nog 2 2,5" disks die erbij hangen.

Ik ben van mijn oudere S1366 overgestapt naar (zie signature) en op het moment 3 M1015 (IT) kaarten. 10x 2TB EARS, 10x 1.TB F1 en nog 2 2TB EARS en 4 2TB EADS en ff tijdelijk een vertex2 120GB voor het OS en VM's en nog een 120GB 2.5" die gemirrored is met de vertex (maar die staat nu offline om de SSD snelheid te behouden). Volgens mij verbruikt dan 'n 200-230watt (tijdens boot). OS is FreeBSD / ZFSguru.

Ik wil van de hotswaps af want ik gebruik het niet echt en ze maken iets meer herrie met de 9cm fans. Dan wil ik 15 disks in de Rebel12 aanhouden m.b.v. die goedkope Norco 5-in-3 (met stillere fan). Eigenlijk wil ik ook 1 M1015 kwijt dus wellicht 1 pool van 10 disks en dan nog 4 2TB z1 voor OS en VM's.

Ik hoop dat ik in mijn 2e systeem (ASUS M4A79XTD EVO X2 250, 6GB ECC) weg kom met een Asus U3S6 sata-600 kaartje zodat ik totaal 11 poorten heb. SB750 zou geen probleem moeten zijn maar het mobo heeft ook een Marvell 88SE6121 SATA controller , weet niet of dat lekker gaat werken. Het iig mooi zijn als ik de M1015 kan uitsparen want deze machine is archief etc dus staat weinig aan.

Als ik mijn zaakjes weer op orde heb zal ik de tabel invullen en foto's toevoegen (ziet er verschikkelijk rommelig uit nu )

[NIK0]

iRReeL schreef op woensdag 11 april 2012 @ 18:03:

Ik ben van mijn oudere S1366 overgestapt naar (zie signature) en op het moment 3 M1015 (IT) kaarten.

Mocht je tijdens je re-design nog afwillen van 1 van die M1015 voor een schappelijke prijs, PM me dan maar wellicht heb ik die in de toekomst nog nodig

[iRReeL]

iRReeL schreef op woensdag 11 april 2012 @ 18:03:
Ik wil van de hotswaps af want ik gebruik het niet echt en ze maken iets meer herrie met de 9cm fans. Dan wil ik 15 disks in de Rebel12 aanhouden m.b.v. die goedkope Norco 5-in-3 (met stillere fan). Eigenlijk wil ik ook 1 M1015 kwijt dus wellicht 1 pool van 10 disks en dan nog 4 2TB z1 voor OS en VM's.

Ik hoop dat ik in mijn 2e systeem (ASUS M4A79XTD EVO X2 250, 6GB ECC) weg kom met een Asus U3S6 sata-600 kaartje zodat ik totaal 11 poorten heb. SB750 zou geen probleem moeten zijn maar het mobo heeft ook een Marvell 88SE6121 SATA controller , weet niet of dat lekker gaat werken. Het iig mooi zijn als ik de M1015 kan uitsparen want deze machine is archief etc dus staat weinig aan.

Ik heb alles kunnen installeren op het 2e systeem echter de U3S6 heeft slechts 2 sata poorten dus heb ook nog een ide-sata converter moeten gebruiken om 11 disks te kunnen aansluiten. Ik had nog ff FreeNAS getest via USB stick maar ik gebruik zfs v28 dus dat werkte niet Scrub ging met 428Mb/s dus dat voldoet voor 1 GB verbinding.

De Rebel12 is ook behoorlijk stil dus het werkt verder zoals verwacht. Echter ik hou voorlopig 2 M1015 kaarten aan. De 3e M1015 kaart is te koop maar iemand had al eerder interesse getoont dus daar wacht ik nog op.

[DJ-Promo]

Ik heb zelf een Rebel9 maar die kast gaat met wat disken wel snel resoneren.
Als je een high end nas bouwt zou ik toch voor een duurdere kast gaan. Mijn P182 van Antec heeft daar bijvoorbeeld 0% last van.

[timofp]

Hierbij presenteer ik ook mijn (Home) Server.

Inleiding
Vorig jaar heb ik een Synology NAS gekocht, een DS211J. Deze werkte stabiel, de gebruiksvriendelijkheid was groot (het beheer via DSM). Echter had deze NAS ook enkele nadelen. Zo was deze niet bepaald snel (file transfers van 30MB/sec bij single acces). Verder was er weinig aan te customizen en voor mij het grootste nadeel was de beperkte uitbreidbaarheid van storage. Natuurlijk zijn eer ook kan en klare NAS devices van o.a. Synology te koop welke wel sneller zijn en tot 10tallen TB's opslag ruimte kunnen gaan. Hiervoor ben je dan echter zonder HDD's ook al snel 1000 euro of weer kwijt.

Hardware
Daarom ben ik aan de slag gegaan om mijn eigen server te bouwen. De server is afgelopen maand gebouwd en bestaat gedeeltelijk uit nieuwe hardware (RAM, case, 6 Western Digital HDD's, voeding, gfx) en deels uit hardware welke uit mijn workstation kwam. Op deze manier kon mijn workstation ook een upgrade krijgen zonder dat ik de nog niet zo oude hardware ervan moest weg doen.

Tabel met systeem info

System specifications
Component	Value
Case	Fractal Design Define XL Black (Full Tower)
CPU	Intel Core i5 760 2.8ghz Quadcore
RAM	8GB Kingston Value Ram (2x4GB) DDR3-1066
Motherboard	MSI P55A-GD65
Operating system	Microsoft Windows Home Server 2011
Controller	3 onboard controllers, Intel, Marvell, JMicron
Hard drive	Kingston SSDNow V+100 96GB, OS Disk
Hard drive	1x Samsung Spinpoint F1 1TB + 1x Hitachi 1TB 2.5inch RAID1, Data Array
Hard drive	6x WD30EZRX 3TB, Media Disks
RAID array configuration	Raid 1 voor Data
Netto storage capacity	19TB
Network	Standaard gigabit
UPS	Nee
Filesystem	NTFS
Idle power usage	44 watt met spindown
Extra

Toelichtingen
Ik heb voor een grote case gekozen om zo all uitbreidingsmogelijkheden open te houden. de case heeft standaard 10 plaatsen voor 3.5inch HDD's en in de 4 5.25inch plaatsen kan ik zelf nog meerdere Harde schijven plaatsen in de toekomst.

Het moederbord heeft reeds 9x interne SATA aansluitingen en 1x esata (welke ik terug naar binnen door trek). Hierdoor heb ik voorlopig nog geen extra SATA/RAID kaart moeten inbouwen.

de SSD is aangesloten op de Jmicron controller, de 2 1TB HDD's zijn aangesloten op de Marvell Controller in RAID1 en de 6x WD 3TB HDD's zijn aangesloten op de Intel controller, zonder RAID. Door dit laatste heb ik enkel bescherming op de 2 Samsung schijven waar data opstaat. (documenten, muziek, afbeeldingen, software,...). Ik heb bewust gekozen om de 6 WD schijven welke enkel voor opslag van DVD's en Bluray's zullen dienen niet in RAID te zetten om verschillende redenen

• indien deze in RAID staan zouden alle schijven opspinnen terwijl er nu maar 1 schijf opspint, namelijk degene waarvan er een streaming vraag is door bv. de HTPC. Dit zorgt voor minder geluid en voor een besparing van energie kosten.
• redunantie is totaal niet nodig voor de bestanden welke er op staan, indien een schijf uitvalt kan ik nog steeds films en series van de andere schijven kijken en indien nodig gewoon de des betreffende bluray of dvd uit de kast nemen.
• RAID zou voor minder netto opslag zorgen, deze server heeft me nu al 1500 euro gekost, dus dat had ik er niet over, zeker niet gezien ik er voor mijn gebruik niets bij win en enkel maar bij verlies (zie voorgaande puntjes).

Software
Ik gebruik Windows Home Server 2011 als OS, dit voornamelijk omdat ik niet vertrouwd ben met linux en ik reeds een volledige Windows omgeving in huis heb. Daarbij is het OS ook zeer goedkoop (49 euro). Hoewel ik als student MS Server 2008 ook gratis kan gebruiken is dit niet echt een lange termijn visie en vind ik de extra mogelijkheden (zoals plugins, zie verder) van WHS 2011 aantrekkelijk.

Een van deze plugins welke ik gebruik is Stablebit Drivepool. Hierdoor worden de 6 3TB schijven opgenomen in een HDD pool waardoor deze door het OS gezien worden als een 18TB drive. Dit wilde ik zeker hebben. Een beetje zoals JBOD, echter met enkele voordelen tegenover JBOD. Zo is het niet afhankelijk van een hardware SATA controller welke kan falen. Verder spinnen niet alle HDD's op indien er data van 1 HDD nodig is (bestanden worden ook opgeslaan op 1 HDD en niet gestriped). Een verder voordeel is dat indien 1 harde schijf crasht de data op de andere schijven gewoon veilig is itt JBOD. Ideaal voor mijn doel dus.

Functies van de server

• Centrale opslag en synchronisatie naar alle pc's van afbeeldingen, documenten, muziek
• Centrale opslag van software installatie bestanden en diverse data
• dagelijkse backup van alle clients in huis (5)
• remote acces voor bestanden en computers via de WHS 2011
• Webserver (Joomla en Webdav voor bestanden)
• occasioneel Game server (ArmA II)
• WSUS server voor thuisnetwerk
• Belangrijkste doel, Streaming server voor HTPC en andere computers (geen transcoding nodig, maar wel mogelijk)

Foto's
Buitenkant


Overzicht Binnenkant


Moederbord


Media Disks

Data disks en SSD

[Perkouw]

Op de foto's zie ik een geheugen reepje en geen ssd ?
Verder wel een heel erg net verbruik al zeg ik het zelf, 44 watt idle vind ik toch wel knap met die hardware.

[ Voor 49% gewijzigd door Perkouw op 20-04-2012 14:49 ]

[timofp]

Perkouw schreef op vrijdag 20 april 2012 @ 14:46:
Op de foto's zie ik een geheugen reepje en geen ssd ?
Verder wel een heel erg net verbruik al zeg ik het zelf, 44 watt idle vind ik toch wel knap met die hardware.

De SSD zit samen met de 2.5inch 1TB HDD in een 2x2.5inch in 3.5inch bracket. en deze bracket zit dan in een 5.25inch bay. Als je goed kijkt zie je ook 2 sata (en power kabels) naar die lokatie lopen.

Idd er zit nog maar 1 geheugen reepje in, het andere wordt morgen geleverd. Ik was initieel van plan om 4GB geheugen te gebruiken, maar dit bleek toch wel te weinig te zijn als er een sql server op de achtergrond draait.

[Jormungandr]

Leuke build. Spijtig genoeg niet compliant met criteria 5, but then again.

[thalantis]

thalantis schreef op vrijdag 06 januari 2012 @ 09:20:
bij mij ligt build 2 ook aardig op zijn gat doordat ik nog steeds wacht op de schijven die ik besteld heb

maar hier alvast wat foto's zijn in de avond gemaakt dus wat bagger kwaliteit

[afbeelding]
[afbeelding]

eronder staat mijn lian li cube

even een update vanaf mijn kant, disken zijn eindelijk binnen en gister was de init van de schijven na 18 uur klaar.
schijven zijn 20 x 3TB hitachi geworden, staan in raid-6 (2tb waren niet leverbaar)
en 4x 2TB hitachi en staan in raid 1+ 0

heb alleen een vraag over de koeling, heb het idee dat de areca 1880ix24 te warm word, de website van de kaart reageert dan niet meer, heb nu de 4U norco open staan.
iemand een tip hoe ik nog meer kan koelen heb nu 3
3x noctua fans 120MM intern en 2x noctua fans 80mm aan de achterkant.
ik had zelf het idee om in de bovenplaat een of twee fans aan te brengen.

[FireDrunk]

Zit er iets voor de kaart, waardoor er niet direct lucht langs de Areca stroomt? Ik zou verwachten dat zo'n kaart met een redelijke airflow wel koel blijft en dat er geen geforceerde koeling nodig is.

[thalantis]

zoals je misschien op de 1e foto kan zien blaast er 1 noctua direct naar de raid kaart en netwerk en video kaart.

cpu temp is 65 graden met kast open

[FireDrunk]

De fan op je Corsair H100 zit verkeerd om volgens mij, je creëert zo volgens mij overdruk

[ Voor 24% gewijzigd door FireDrunk op 24-04-2012 13:37 ]

[thalantis]

fan van de voeding ben ik niet aangeweest
en die corsair h100 zit in mijn lian li cube

[ Voor 37% gewijzigd door thalantis op 24-04-2012 15:44 ]

[Jormungandr]

Bij rackmounts is het nog meer de bedoeling om lucht door de case te trekken ipv langs allerlei bochten te werken. Een desktop heeft tegenwoordig op alle plaatsen en hoekel wel gaatjes voor fans. Een rackmount is simpel: koud langs voor erin en warm eruit langs de poep. Hoe hoger de rackmountable hoe minder "strak" de luchtstroom gaat.

[flippy]

je moet echt een fan pal boven de areca zetten als hij passief gekoeld word. bet een paar tiewraps en een 12cm op 7v heb je genoeg luchtverplaatsing over het koelblok van de areca. je moet echt directe airflow hebben van een fan anders word hij gewoon te heet.

[FireDrunk]

Doe dan eens een foto, want ik kan geen overview vinden van je huidige kast...

[thalantis]

foto zit in mijn post en mijn quote zie afbeelding 1

[flippy]

deze dus




boven/naast de insteekkaarten zit nog een roostertje, hang met een paar tiewraps nog een 12cm daartegenaan zodat die direct over de kaarten blaast.

[FireDrunk]

Die fan rechts op de foto, welke kant blaast die op?

[thalantis]

Die 3 noctua fans blazen vanaf de schijven naar de achterkant.

Heb nu een 120mm fan op de raid kaart liggen en dat gaat goed, die loopt prima nu.
Alleen met de kast dicht word er toch nog iets te warm op het moederbord denk ik want als ik data ga overzetten dan loopt windows vast, met de bovenplaat eraf niet.
Ik kan dan nog wel bij de web pagina van de raidkaart

misschien toch wat fans in de boven plaat om de warme lucht er daar ook uit te laten blazen.

[ Voor 3% gewijzigd door thalantis op 25-04-2012 08:46 ]

[FireDrunk]

Ik vind het bizar dat je zoveel koeling nodig hebt. Ik heb met 8 disks en 2 quad-core Xeon's maar 3 fans in mijn server. Er zit ook een SAS Controller en een 10Gb netwerkkaart in. Alles is rond de 30-40c.

[thalantis]

schijven worden 50 graden dus ga maar na, omgevings temperatuur is ook wat hoger omdat het spul op zolder staat

[FireDrunk]

Schijven van 50c lijkt me sowieso een no-go... >40c is out of the question (vind ik), zelfs voor 10k schijven.

[thalantis]

in mijn andere server zitten de schijven zo rond de 40 graden maar in de norco4224 zitten 24schijven nogal dicht bij elkaar.

ik zie wat plaatjes online die de fans in het midden en die aan de achterkant de andere kant hebben opblazen zodat de warme temperatuur van de hardeschijven niet de kast word ingeblazen, een idee?

[ Voor 44% gewijzigd door thalantis op 25-04-2012 09:26 ]

[Brains]

@Thalantis
Heb jij de norco zelf aangepast voor 3x 12cm fans? Bij de specs zie ik namelijk "4 x 80mm middle fans wall" staan en ik meen me te herinneren dat Femme ook postte dat hij het tussenschot had aangepast.

Nu ben ik er al een tijdje "uit", maar mijn 2TB Hitachi schijven stonden bekend om warmer te worden dan 2TB schijven bij bijvoorbeeld Samsung of Western Digital. De oorzaak daarvan was dacht ik dat de Hitachi schijven een platter meer hadden.

Met de kast open zuigen de fans natuurlijk ook geen lucht langs de hardeschijven, maar wordt de lucht aangezogen door opening tussen de fan-wall en de backplane.

[ Voor 15% gewijzigd door Brains op 25-04-2012 10:50 ]

[thalantis]

ja ik heb een met 3x 120mm fan fanwall.

ik heb nu de airflow van voor naar achter maar zie op internet ook andersom de airflow.

[Jormungandr]

Airflow "moet" van voor naar achter bij 19". Grootste boosdoener: open case. De luchtstroom kan alle kanten uit.
Case toe doen en de fans een pitje hoger laten lopen (indien mogelijk). Er zullen nog wel mensen met een Norco+Noctua combo zijn dus ik betwijfel dat de fans het niet trekken. Wat zijn de specs van de Noctua's tov de default fans?

[thalantis]

die erin zaten weet ik niet, zal vanavond even kijken, zal straks even de tip van een A4-tje op de drivebays doen om te zien of die blijft zitten

de noctua's zijn
Noctua NF-P12-1300 3x ( Luchtstroom 54,3 cfm )
Noctua NF-R8-1800 2x ( Luchtstroom: 15,3-31,2 cfm )

[thalantis]

tussen de middag thuis snel de kast weer dicht gedaan, de kast wat naar voren geschoven, temperatuur beter van de schijven, zo rond de 43 graden met full load.
server liep alleen na een half uur vast, verdenk dus iets op het moederbord.

[jadjong]

Bedrijven die wel nadenken over koeling gebruiken vaak luchtkanalen binnen een behuizing. Neem nou onderstaande HP:

De luchtstroom van de fans achter de diskbays wordt door een plastic trechter op de CPU's gericht. Slecht een klein beetje van de lucht mag er om heen om de DIMM's te koelen. Achter de CPU zit in dit geval gelijk de PCIe risers, de kaarten worden ook gelijk gekoeld met de 2e hands lucht van CPU's.


In jouw geval blazen de fans in het midden netjes de lucht door de gehele behuizing. Maar doordat zowel de voeding als de twee 80mm fans op dezelfde plek lucht wegzuigen zitten de PCIe kaarten een beetje in een dood hoekje. Wat je kan doen is met een stuk karton een scheiding maken in de kast. Dan komt de lucht van de meest rechter fan via de CPU bij de voeding en de 80mm fans. De lucht van de andere twee fans moet dan wel via de PCIe kaarten door de roosters naar buiten.

Als dat werkt kan je iets mooiers van pvc bakken.

[flippy]

een pci-slot-fan gebruiken is ook een optie, dan zuig je de lucht van het koelblok van de areca af en direct naar buiten. je hebt immers onder de kaart een gigantische dode plek qua luchtverplaatsing.

[thalantis]

ja ik ga maar eens zo'n pci slot koeler bestellen

[tHe_BiNk]

De optimale temperatuur van hardeschijven is ongeveer 30 a 35 graden. Te koud is ook niet goed. Zie de "Google" study. LINK

[Q]

Nu gaat het wel goed?
Excuus voor de overlast. @iMars, mag jouw afbeelding weg? Mijn prive mail wordt daarin disclosed.


Titan Slot Fan. Dun (1 slot) en dik (2 sloten). Die helpen bij mij om de lucht echt door de kast te trekken.

De dunne zit naast mijn RAID kaart om die te koelen. De kaart is zelf passief gekoeld met een heatsink.

[ Voor 78% gewijzigd door Q op 29-04-2012 18:31 ]

[Rutix]

Q schreef op donderdag 26 april 2012 @ 20:36:

Titan Slot Fan. Dun (1 slot) en dik (2 sloten). Die helpen bij mij om de lucht echt door de kast te trekken.

De dunne zit naast mijn RAID kaart om die te koelen. De kaart is zelf passief gekoeld met een heatsink.

Je afbeelding is erg kapot. Krijg de hele tijd een login popup voor die ziggo homedrive. Super irritant

[thalantis]

ik heb ook een titan slot fan besteld, als het goed is vandaag binnen

[thalantis]

hij bedoelt in ieder geval dit plaatje
http://members.multiweb.nl/nan1/img/titanslotfan.jpg

[Verwijderd]

Ik hoop alleen wel dat Q even de foutieve link weghaalt, dit is toch wel enigzins irritant.

[Raven]

Had daar al een TR voor ingediend, maar vraag me eigenlijk af waarom daar het steeds langer duurt tot TR's behandeld worden (áls ze al behandeld worden)... Als de rest nu ook een TR indiend trekt dat misschien aandacht van de mods die de link weg kunnen halen

[ Voor 14% gewijzigd door Raven op 27-04-2012 17:52 ]

[_Dune_]

Raven schreef op vrijdag 27 april 2012 @ 17:48:
Had daar al een TR voor ingediend, maar vraag me eigenlijk af waarom daar het steeds langer duurt tot TR's behandeld worden (áls ze al behandeld worden)... Als de rest nu ook een TR indiend trekt dat misschien aandacht van de mods die de link weg kunnen halen

Sorry dit modje had het vandaag erg druk, maar het is aangepast.

[Verwijderd]

Dank U!

[Raven]

_Dune_ schreef op vrijdag 27 april 2012 @ 18:50:
[...]


Sorry dit modje had het vandaag erg druk, maar het is aangepast.

De melding is weg, thanks
Dat het soms druk is okee, maar de TR die ik voor deze (ander topic en subforum) had ingediend heeft gewoon weken ongelezen gestaan en bij andere TR's gingen er soms meerdere dagen overheen voor ze zelfs maar gelezen werden, vandaar mijn reactie

[ Voor 4% gewijzigd door Raven op 27-04-2012 19:34 ]

[Q]

-

[ Voor 133% gewijzigd door Q op 29-04-2012 18:31 ]

[Raven]

Dit keer geen loginpopup maar wél een plaatje

[ Voor 6% gewijzigd door Raven op 28-04-2012 10:29 ]

[thalantis]

inmiddels zit de titan ttc-3 erin, heb ik 3 fans in de bovenkant van de kast zodat die "frisse" lucht naar binnen blazen, zal binnenkort alle specs even posten met wat mooie foto's

alle data is gebackuped vanaf mijn andere server, denk je mooi adaptive load balancing dat gaat het twee keer zo snel, maar helaas pindakaas dat wou niet.

[Q]

thalantis schreef op dinsdag 01 mei 2012 @ 14:32:
inmiddels zit de titan ttc-3 erin, heb ik 3 fans in de bovenkant van de kast zodat die "frisse" lucht naar binnen blazen, zal binnenkort alle specs even posten met wat mooie foto's

alle data is gebackuped vanaf mijn andere server, denk je mooi adaptive load balancing dat gaat het twee keer zo snel, maar helaas pindakaas dat wou niet.

Linux Bonding + Round Robing zou zeker 150% moeten geven.

[FireDrunk]

Adaptive Load Balancing is alleen maar 1-to-Many sneller. Linux bonding is de enige aggegratie methode die met 1-op-1 verbindingen sneller is.

[thalantis]

ja dat las ik al in een ander topic
FatalError in "Netwerk-teaming van 2 PCs over switch"

[Speedwolf]

thalantis schreef op dinsdag 01 mei 2012 @ 14:32:
inmiddels zit de titan ttc-3 erin, heb ik 3 fans in de bovenkant van de kast zodat die "frisse" lucht naar binnen blazen, zal binnenkort alle specs even posten met wat mooie foto's

alle data is gebackuped vanaf mijn andere server, denk je mooi adaptive load balancing dat gaat het twee keer zo snel, maar helaas pindakaas dat wou niet.

al tijd gehad voor fotos en wat specs
ben benieuwd hehe

[Kavaa]

Heeft iemand hier ervaring met het opslaan van al zijn data in een VMWARE omgeving.
Denk aan VMWARE ESXi met daarin bijvoorbeeld server 2008 voor storage en eventueel raid.

Ik hoor graag van jullie.

Ben namelijk een beetje huiverig voor het bestandssysteem omdat ik NTFS gewend ben en als er dus een schijf uit me server 2008 haperde of ik data nodig had dan kon ik hem er zo uittrekken en aan een andere pc hangen en bij data eraf halen.

Maar dit kan dan niet met een VMWARE formatted disk omdat windows die niet ziet...

[FireDrunk]

Check even:
Zuinige ESXi Server
Het grote ZFS topic
Het grote DIY RAID NAS topic deel 3
Nieuwe Zuinige Server (discussie)

Word wel vaker over gepraat.

[Kavaa]

Klopt maar hier zie ik meer over het virtualiseren en niet over het veilig stellen en het indelen van je bestanden in een ESXi systeem zeg maar.
Dat er een server 2008 draait op een ESXi die als nas speelt snap ik maar mijn doelstelling zou zijn om het NTFS systeem of wat dan ook op een of andere manier te behouden.

[FireDrunk]

Dat kan via RDM, je kan een disk via RDM direct aan een Windows 2008 VM geven en daar NTFS op gebruiken.
Mocht de server uitvallen kan je de disk gewoon aan een ander systeem hangen en de NTFS partities lezen.

[Q]

Voor wie het boeit:

Multipath TCP

http://nrg.cs.ucl.ac.uk/mptcp/

Als dat in de kernel zit dan kun je eindelijk op een schaalbare manier makkelijk meerdere netwerk interfaces bundelen tot een geaggregeerde link die transparant is voor je software stack.

Dus geen gedoe met bonding meer.

Gewoon een quad poort gigabit nic in je server en je hebt 4 Gbit bandbreedte met je andere (multipath enabled) servers.

Punt is wel dat tegen de tijd dat dit in de mainstream Linux kernel zit, 10 Gbit netwerk kaarten waarschijnlijk ofwel betaalbaar ofwel zelfs on-board zitten van server mobo's.

Als ik (theoretisch) 1+ GB/s tussen servers kan verstouwen boeit multipath tcp me niets meer.

[ Voor 7% gewijzigd door Q op 05-07-2012 19:49 ]

[tHe_BiNk]

@Q en weet je toevallig ook hoe dat zit met Windows 7?

[Nextron]

djkavaa schreef op woensdag 16 mei 2012 @ 10:10:
Heeft iemand hier ervaring met het opslaan van al zijn data in een VMWARE omgeving.
Denk aan VMWARE ESXi met daarin bijvoorbeeld server 2008 voor storage en eventueel raid.

Ik maar via Windows 2008 gebruik van flexraid, voorheen gratis maar nu betaald. Alle schijven blijven dan individueel benaderbaar en je hebt wel pariteit. De laatste gratis versie werkt wel als je de klok een jaartje terug zet... en weinig geeft om de modificatietijden vermeld bij alle bestanden

[Q]

tHe_BiNk schreef op donderdag 05 juli 2012 @ 20:10:
@Q en weet je toevallig ook hoe dat zit met Windows 7?

Nope.

[Q]

Nextron schreef op donderdag 05 juli 2012 @ 20:36:
[...]
Ik maar via Windows 2008 gebruik van flexraid, voorheen gratis maar nu betaald. Alle schijven blijven dan individueel benaderbaar en je hebt wel pariteit. De laatste gratis versie werkt wel als je de klok een jaartje terug zet... en weinig geeft om de modificatietijden vermeld bij alle bestanden

Waarom zou je niet die paar tientjes voor die software betalen als je daarmee een hardware raid controller van honderden euro uitspaart?

[gertvdijk]

Q schreef op donderdag 05 juli 2012 @ 19:41:
Voor wie het boeit:

Multipath TCP

http://nrg.cs.ucl.ac.uk/mptcp/

Volgens mij is die pagina al een hele tijd niet meer geüpdate. Bedoel je niet bijv. http://mptcp.info.ucl.ac.be/ misschien?

[Verwijderd]

djkavaa schreef op woensdag 16 mei 2012 @ 10:10:
Heeft iemand hier ervaring met het opslaan van al zijn data in een VMWARE omgeving.
Denk aan VMWARE ESXi met daarin bijvoorbeeld server 2008 voor storage en eventueel raid.

Ik hoor graag van jullie.

Ben namelijk een beetje huiverig voor het bestandssysteem omdat ik NTFS gewend ben en als er dus een schijf uit me server 2008 haperde of ik data nodig had dan kon ik hem er zo uittrekken en aan een andere pc hangen en bij data eraf halen.

Maar dit kan dan niet met een VMWARE formatted disk omdat windows die niet ziet...

NFS, kun je aan vmware hangen met systemen en op tig andere OS soorten ook gewoon uitlezen.
maar dan kom je al meer in geval gecentraliseerde storage op een nas.

[Q]

gertvdijk schreef op donderdag 05 juli 2012 @ 22:00:
[...]

Volgens mij is die pagina al een hele tijd niet meer geüpdate. Bedoel je niet bijv. http://mptcp.info.ucl.ac.be/ misschien?

Ja

[-Venom-]

Misschien een simpele vraag maar geld dit ook als 1 behuizing?



De onderste behuizing is een losse server, de middelste en het bovenste deel is 1 server (bovenste deel heb ik zelf gemaakt)

[victorb]

this thread is worthless without specs

Ziet er best strak uit

Indien je niet aan een van de criteria voldoet maar van mening bent dat je toch een hele interessante build hebt gemaakt, leg het gerust voor. De criteria die altijd blijft staan is dat het systeem van jezelf moet zijn en in de privé sfeer gebruikt moet worden.

Gezien je "rack" en je gordijenen op de foto zal hetw el thuis zijn

Maakt het allemaal veel herrie of is het stil?

[Q]

Hoe steekt deze setup in elkaar?

[GioStyle]

So nice and clean.

Vertel er eens meer over.

[-Venom-]

De server is inderdaad voor thuisgebruik, hij staat in mijn 'pc kamer'
Maakt niet zo heel veel lawaai ik heb alle fan's op 5 volt draaien, op 12 volt dan hoor je hem 3 huizen verder nog blazen(dat vind vrouwlief niet zo prettig)

Verder bestaat hij uit de volgende onderdelen:
Asus M2N-SLI Deluxe moederbord (was een Asus M2N32 ws pro workstation maar die heb ik 2 versleten helaas)
Amd X2 4850e (45 Watt versie)
4x 1GB Hyper x Kingston geheugen
8400GS nvidia passief videokaartje
Promise TX2 300 pci kaart
3Ware 9500S raid controller
1 x een port Multiplier aangesloten op de E-Sata aansluiting achterop het moederbord.
600 Watt I-Green voeding van coolermaster.

3 x 1500gb
10 x 1000gb
2 x 2000gb
1 x 750 gb
1 x 500 gb
1 x 250 gb

Alles bij elkaar geteld ruim 18TB

De schijven zijn van verschillende merken ik pak meestal wel de 'eco' versie om toch een beetje aan de energiekosten te denken.
De server gebruikt met schijven in spindown rond de 100 watt.

Draait allemaal op WHS 2011 (voorheen 2003 maar die blijft niet stabiel met zoveel schijven)

Backups worden gemaakt door de ingebouwde backupmogelijkheid van WHS eens in de maand wissel in een HDD en plaats die weer op een externe locatie zo heb ik de echt belangrijke dingen altijd veilig.

Verder nog wat meer foto's:

[Birdie_NL]

@Venom, wat voor behuizing heb je alles in zitten? Lijkt wel een 6 of 8u model rack behuizing.

[Verwijderd]

-Venom- schreef op zondag 15 juli 2012 @ 09:44:
Misschien een simpele vraag maar geld dit ook als 1 behuizing?

[afbeelding]

De onderste behuizing is een losse server, de middelste en het bovenste deel is 1 server (bovenste deel heb ik zelf gemaakt)

Kijk nou eens..... deze kerel heeft deze kastjes toen netjes opgehaald bij mij thuis, en zie nu hoe het geworden is!!! Mooi voor elkaar,

[victorb]

Wat een toffe setup!

Wat zit er allemaal onderin de grote kast?

[-Venom-]

Kast geen idee wat voor merk het is, ik zou zeggen vraag het mrxdream ik heb ze inderdaad van hem overgenomen (toen waren ze nog wit)

Onderin de kast zit de voeding en fan's voor koele lucht en niet te vergeten nog meer harde schijven!

[rookie no. 1]

Die plaatjes zijn voor tweakers toch wel pr0n-alike

Mooie bak vol met schijven! Wat voor RAID-config draai je en nog geen problemen gehad met die Green-series van WD?

[Speedwolf]

ziet er zeer mooi uit.

Gebruik je Green versies van WD of Seagate of door elkaar?

[-Venom-]

Ik gebruik geen raid ik heb daar slechte ervaringen mee, ik heb whs zo ingesteld dat belangrijke data op 2 schijven dagelijks gebackupt word en nog een aparte 3de schijf offsite (die wissel ik maandelijks)

Ik gebruik inderdaad de green series van seagate en wd door elkaar, er zitten ook enkele samsung 7200rpm schijven in daar heb ik persoonlijk mindere ervaringen mee (al een paar rma moeten doen).
Om mijn schijven in de gaten te houden heb ik Hard disk sentinel daarmee houd ik de gezondheid en de temperatuur in de gaten, daarmee weet in ook dat de temperatuur van de schijven netjes tussen de 30 en 40 graden blijft.

Verder wordt de server gebruikt om van alle pc's in huis dagelijks backup's te maken (dit werkt echt geweldig)
en vooral voor de opslag van films series tekenfilms enz. ideaal met een paar mediacenter pc's in huis.

Al met al eigenlijk een compleet uit de hand gelopen hobby

[Q]

Wat is dat onderste component? De onderste kast?

Ik denk dat met name die bovenste behuizing interessant is voor tweakers. Geen idee wat dat is?
De essentie is dat je wat lange sata kabels doortrekt vanuit je server naar een extern disk chasis.

Wat 'slechte ervaringen' betreft met RAID, dat snap ik niet zo goed. Feit is nu dat je Russische roulette speelt met een deel van je data. Ik heb in 3 jaar tijd nog geen disk verloren. Maar het is een kwestie van tijd.

Weet je nog wat op de schijf stond als een schijf stuk gaat?

Ik vind deze build wel speciaal genoeg om hem in de lijst op te nemen. Als je bereid bent om je post in te richten conform de richtlijnen gaat hij er in. Maak er dan ook even een duidelijk verhaal van hoe hij is opgebouwd. Dat maakt het leuk. Leg bijv keuzes uit. Neem dan ook even de moeite om uit te zoeken wat voor kasten dit zijn. Want dat zijn de speciale onderdelen van deze server. Ziet er strak uit.

[ Voor 27% gewijzigd door Q op 16-07-2012 21:41 ]

[heuveltje]

Q schreef op maandag 16 juli 2012 @ 21:38:

Ik denk dat met name die bovenste behuizing interessant is voor tweakers. Geen idee wat dat is?
De essentie is dat je wat lange sata kabels doortrekt vanuit je server naar een extern disk chasis.

Zo op het oog is het niet echt een chassis
gewoon 5 "3in2 hotswap modules" in een metalen raam/box geplaatst
Met wat fans erachter gemonteerd.
sata en voeding word gewoon doorgelust naar de pc eronder.

Wel een nette oplossing op die manier

En ik snap zijn aversie tegen raid wel
te veel kans op defecte arrays, en gebonden aan gelijke groote disken

[ Voor 24% gewijzigd door heuveltje op 16-07-2012 22:10 ]

[NIK0]

Vette setup -Venom- , aversie tegen RAID snap ik ook vandaar mijn move naar Flexraid..! (heb geen aandelen maar wat goed is, is goed !)

[ Voor 3% gewijzigd door NIK0 op 17-07-2012 08:45 ]

[heuveltje]

NIK0 schreef op dinsdag 17 juli 2012 @ 08:44:
Vette setup -Venom- , aversie tegen RAID snap ik ook vandaar mijn move naar Flexraid..! (heb geen aandelen maar wat goed is, is goed !)

Mwah ik deel zijn afwijking tegen raid.

Maar van flexraid ben ik toch wat terug gekomen, ondanks dat ik ervoor betaald heb
Ik krijg aan de lopende band foute die volgens de dev aan mijn controller moeten liggen, maar het enige programma die er problemen mee heeft is flexraid zelf. Combineer dat met een trage lompe UI en nog veel erger : De ui zegt dat alles gelukt is, en als je dan zelf de logfiles door gaat splitten blijkt alles mislukt te zijn...


Maar ik heb onlangs snapraid ontdekt
http://snapraid.sourceforge.net/
Precies hetzelfde raid functionaliteit als flexraid.
Alleen dan alles geperst in een 300kb executable. geen installatie nodig, geen lompe gui.
Gewoon 1 tekst file als config, en bediening via 5 commando's in een cli, en het werkt als een trein !

[FireDrunk]

Dat ziet er goed uit Heuveltje! En nog gratis ook
Dat is op zich leuk om samen met ESXi icm VMFS te gebruiken

[ Voor 38% gewijzigd door FireDrunk op 17-07-2012 10:02 ]

[NIK0]

heuveltje schreef op dinsdag 17 juli 2012 @ 09:44:
[...]

Mwah ik deel zijn afwijking tegen raid.

Maar van flexraid ben ik toch wat terug gekomen, ondanks dat ik ervoor betaald heb
Ik krijg aan de lopende band foute die volgens de dev aan mijn controller moeten liggen, maar het enige programma die er problemen mee heeft is flexraid zelf. Combineer dat met een trage lompe UI en nog veel erger : De ui zegt dat alles gelukt is, en als je dan zelf de logfiles door gaat splitten blijkt alles mislukt te zijn...


Maar ik heb onlangs snapraid ontdekt
http://snapraid.sourceforge.net/
Precies hetzelfde raid functionaliteit als flexraid.
Alleen dan alles geperst in een 300kb executable. geen installatie nodig, geen lompe gui.
Gewoon 1 tekst file als config, en bediening via 5 commando's in een cli, en het werkt als een trein !

goeie tip...thanks heuveltje...!

[-Venom-]

Ik zal 1 dezer dagen eventjes alles netjes aanleveren, zal dan ook eventjes kijken of ik ergens een merk kan vinden op de behuizing.
De bovenste 'behuizing' heb ik inderdaad zelf gemaakt, bestaat uit een HDF frame en een metalen voorkant waarin 5 3in2 chieftec modules zitten.
De keuze voor zelfbouw was snel gemaakt aangezien ik alle behuizingen waar zoveel schijven in kunnen veels te duur vind
Alles is matzwart gespoten vanbinnen en vanbuiten.
Het meubel waar alles inzit is trouwens ook zelf gemaakt.

De onderste behuizing op de foto is een testbak... zit een oud moederbordje in en wat oude hardware om af en toe mee te knutselen.

Flexraid heb ik ook in overweging genomen maar dan kan ik met whs beter voor drivebender of een soortgelijk programma kiezen, en echt onvervangbare data heb ik op meerdere harde schijven staan (niet alleen op de server)

[Q]

Heb altijd op meerdere systemen RAID gedraaid, nooit problemen mee gehad. Ik vraag me altijd af hoe mensen er problemen mee kunnen hebben. Het enige bekende issue is dat sommige disks niet compatibel zijn met hardware RAID controllers. Tja. Ieder zijn keuze.

[gertvdijk]

Q schreef op dinsdag 17 juli 2012 @ 22:05:
Heb altijd op meerdere systemen RAID gedraaid, nooit problemen mee gehad. Ik vraag me altijd af hoe mensen er problemen mee kunnen hebben. Het enige bekende issue is dat sommige disks niet compatibel zijn met hardware RAID controllers. Tja. Ieder zijn keuze.

Tja, met software RAID (Linux mdadm) heb ik laatst 1 issue gehad. Kwam meer door mezelf, ik vertrouwde iets teveel op backwards compatibiliteit van een array gemaakt met zeer recente kernel+tools en die in een wat verouderd systeem proberen te laten draaien (Ubuntu 10.04). Dat ging toch wel een beetje stuk. RAID partitie was nog maar 0 bytes volgens het systeem en assembly lukte 25% van de keren. Verder met forward compatiblity nooit enig issue gehad.

Hardware RAID vind ik altijd één groot drama. Allereerst heb je het driver issue - je OS moet het allemaal maar goed snappen want anders heb je baggerprestaties of je kan niet eens bij je SMART data van je disken. Ook als je wel goede drivers hebt (HP Smart Array), gewoon in-Linux kernel heb je wel eens plots enorme kakprestaties door bugs. Dan heb je nog die BBU die plots van falen, niet meer wil flushen en je niet zonder dataverlies dat ding vervangen krijgt...
Als je denkt dat je dan alles hebt gehad... had ik laatst een 12-disk RAID10 array in een HP Smart Array P400 die pertinent bleef beweren dat de disk Healthy was in de management software (hpacucli), terwijl het lampje uit was op de fysieke voorkant en de disk er later ook nog uitgehaald was. Nee, de disk was echt online en healthy.
Dan verlies ik echt het vertrouwen en ben ik als sysadmin liever zo'n systeem kwijt dan rijk.

[Verwijderd]

Q schreef op dinsdag 17 juli 2012 @ 22:05:
Heb altijd op meerdere systemen RAID gedraaid, nooit problemen mee gehad. Ik vraag me altijd af hoe mensen er problemen mee kunnen hebben. Het enige bekende issue is dat sommige disks niet compatibel zijn met hardware RAID controllers. Tja. Ieder zijn keuze.

kuch:

Q schreef op zaterdag 25 juni 2011 @ 10:27:

[...]

Vandaag is van het lichte systeem de RAID 5 array met 2.5 TB storage gecrashed. Er was al 1 disk uitgevallen, maar die was weer gerebuild naar mijn weten. Ik had wat lopen rommelen. Ergens in de ochtend is een 2e disk uitgevallen terwijl de array nog niet rebuild was.

Alle data dus weg. Maar niet heus, want ik had net de week er voor alles overgezet, dus niets aan de hand. Maar dat is meer mazzel dan wijsheid.

[...]

Ok, RAID 6 had dat kunnen voorkomen, zoals je daar schreef. Maar dit soort dingen zijn nu exact waarom ik nog steeds geen RAID aandurf op een 10+ TB 'hobby' systeem, waarbij een volledige backup vrijwel ondoenlijk geworden. Hoe klein de kans ook is, áls er wat goed mis gaat, al dan niet door een user-error, ben je wel ineens ál je data kwijt. Dat is voor mij een groter horror-scenario dan de hogere kans op het verlies van één schijf (binnen de levensduur). Hoewel je anders wél het voordeel hebt, dat je meteen weer 10-20+ TB aan lege schijfruimte hebt

Ik heb inmiddels zo'n 20 schijven met waardeloze en minder waardeloze data die ik desondanks niet kwijt wil, waarvan de meeste momenteel opgeborgen in een (gewone) kast Ik volg al een paar jaar de (trage) ontwikkeling van snapshot-RAID oplossingen, en vraag me af waarom daar doorgaans zo weinig aandacht voor is (relatief weinig gebruikers en -iig tot voorkort- relatief weinig keus). Juist voor een media-server (wat in de hobbysfeer de meeste systemen waarschijnlijk zijn) lijkt me dat toch zeer interessant. Aangezien voor die systemen single-disk datatransfer wel voldoende is, en de data toch behoorlijk statisch, zou ik dan de voorkeur geven aan de volledige flexibiliteit en efficiëntie van een snapshot-RAID oplossing: Als ik een liedje wil beluisteren hoeven er wmb geen 20 disks te draaien

Heuveltje, bedankt voor de tip van Snapraid, het lijkt erop dat dat precies is wat ik zoek. Flexraid was ook mijn eerste keus, maar om de één of andere reden voel ik me er toch niet zo prettig bij. Wellicht inderdaad die trage lompe UI, en misschien ook het gevoel dat het toch allemaal niet zo robuust is (maar ik moet het eerlijk gezegd nog eens beter testen). Maar een voordeel van Flexraid is wel weer de storage-pooling. Moeilijk

[Q]

Verwijderd schreef op woensdag 18 juli 2012 @ 07:10:

kuch:

Dat is precies het punt wat ik wilde maken. Dat soort dingen gebeuren alleen als je loopt te kloten. Ik was toen aan het kloten.

Ok, RAID 6 had dat kunnen voorkomen, zoals je daar schreef. Maar dit soort dingen zijn nu exact waarom ik nog steeds geen RAID aandurf op een 10+ TB 'hobby' systeem, waarbij een volledige backup vrijwel ondoenlijk geworden. Hoe klein de kans ook is, áls er wat goed mis gaat, al dan niet door een user-error, ben je wel ineens ál je data kwijt.
Ik heb inmiddels zo'n 20 schijven met waardeloze en minder waardeloze data die ik desondanks niet kwijt wil, waarvan de meeste momenteel opgeborgen in een (gewone) kast ;

Als die data op schijven staat die in een kast liggen dan is die data zo waardeloos dat je die data net zogoed niet kan bewaren. Waarschijnlijk ben je van de helft van de data vergeten dat je die nog had.

Het is waar dat met 1 defecte disk je maar een stukje van de data kwijt bent. Maar als je niet eens weet wat je dan kwijt bent, wat heb je daar dan aan? Daar zou ik paranoïde van worden.

Als thuis gebruiker kun je geen backups maken van zoveel data. Doe ik ook niet. Maar ik ga wel bewust om met het storage monster. De setup zoals die draait is eerst uitvoerig getest. Geen getweak of ge hobby aan die bak. Wel eens gehad dat een schijf 'verdween'. Reboot, weer toevoegen en weer door. No sweat met RAID 6.

Van data die ik echt niet kwijt wil heb ik een backup op een andere machine en vervolgens ook nog extern. Dat staat er los van. De risico's van RAID zijn niet zo groot maar je moet gewoon niet lopen kloten. Met zoveel disks zonder RAID weet je gewoon 100% zeker dat als je maar lang genoeg wacht dat je delen van data toch kwijt gaat raken.

[thalantis]

Mijn Backup Server

System specifications
Component	Value
Case	norcotek rpc-4224
CPU	Intel Q9550s @ stock
RAM	4 x 2GB OCZ Reaper HPC OCZ2RPR800C42G
Motherboard	Asus p5n-t deluxe
Operating system	Windows Server 2008 r2
Controller	Areca 1880ix-24
Hard drive	20 x 3TB Hitachi
Hard drive	4 x 2TB Hitachi
SSD	OCZ Agility 3 SATA II 2.5" SSD 60GB
RAID array configuration	Boot: 1x 60 GB SSD and 20 x 3 TB RAID 6 and 4 x 2 TB RAID 10 ( 68 TB storage )
Netto storage capacity	61 TB
Network	Intel PRO/1000 PT dual server adapter
Filesystem	NTFS
Idle power usage	~250 Watt
Fans	Noctua
Cpu Cooling	scythe low higth cpu koeling
Voeding	Corsair ATX 850W 24P
Videokaart	Ati Radeon x300 pcie

Ik gebruik de server als backup van mijn andere server, dit doe ik met synbackse voor het synchroniseren.
aangezien ik een backup wou van de uit de hand gelopen hobby, heb ik deze server gebouwd

Server draait Windows 2008 r2 sp1, de 20x schijven staan in raid 6.
de 4x schijven staan in raid 10

fanwall van de norco heb de andere versie er bij besteld, zitten nu 3x 120MM noctua in.
server gebruikt meer stroom omdat ik de 7200rpm schijven van Hitachi heb, maar aangezien het een back-up server is staat hij niet vaak aan.

[Q]

Heel vet. Als ik ooit een nieuwe setup bouw lijkt me deze kast kandidaat nummer 1.

Hoeveel totale storage heb je nu? 46+61 = 106 TB?

[ Voor 24% gewijzigd door Q op 18-07-2012 22:33 ]

[Verwijderd]

Q schreef op woensdag 18 juli 2012 @ 20:25:
[...]


Dat is precies het punt wat ik wilde maken. Dat soort dingen gebeuren alleen als je loopt te kloten. Ik was toen aan het kloten.

Daarom schreef ik ook met opzet 'hobbysysteem'
Van belangrijke data heb ik uiteraard een backup, maar op mijn privésystemen loop ik doorlopend te experimenteren (kloten zo je wenst). Bovendien wordt er op hobbysystemen vaak gebruikt gemaakt van (zie bv. ESXi) unsupported (maar wel werkende) hardware of -combinaties, of wordt voor 24/7 draaiende hobbyservers gebruikt gemaakt van hardware die daar eigenlijk niet voor bedoeld, maar wel een stuk goedkoper is. Juist door het hobbyaspect kun je verschillende besturingssystemen, bestandssytemen etc. testen, omdat je als Tweaker altijd denkt dat het beter kan. Ik kan niet voor anderen spreken, maar ik vermoed dat het voor de meeste Tweakers in dit topic niet anders is. Waarschijnlijk deed jij dat toen ook, gezien je schreef: 'Maar dat is meer mazzel dan wijsheid.'
Op een (dedicated) systeem met geschikte hardware, die zonder er verder aan te prutsen z'n taak doet, zou RAID uiteraard geen probleem moeten zijn.

Als die data op schijven staat die in een kast liggen dan is die data zo waardeloos dat je die data net zogoed niet kan bewaren. Waarschijnlijk ben je van de helft van de data vergeten dat je die nog had.

Daarom schreef ik ook met opzet 'momenteel'
Ik heb zo'n Quickport waar ik regelmatig een schijf in stop, als ik de data nodig heb. Maar het is natuurlijk de bedoeling om er uiteindelijk een keurige fileserver van te maken, vandaar ook mijn interesse in (snapshot) RAID (hoewel Flexraid zelfs met losse schijven zou moeten werken).

Het is waar dat met 1 defecte disk je maar een stukje van de data kwijt bent. Maar als je niet eens weet wat je dan kwijt bent, wat heb je daar dan aan? Daar zou ik paranoïde van worden.

Simpel

Als thuis gebruiker kun je geen backups maken van zoveel data. Doe ik ook niet. Maar ik ga wel bewust om met het storage monster. De setup zoals die draait is eerst uitvoerig getest. Geen getweak of ge hobby aan die bak. Wel eens gehad dat een schijf 'verdween'. Reboot, weer toevoegen en weer door. No sweat met RAID 6.

Van data die ik echt niet kwijt wil heb ik een backup op een andere machine en vervolgens ook nog extern. Dat staat er los van. De risico's van RAID zijn niet zo groot maar je moet gewoon niet lopen kloten. Met zoveel disks zonder RAID weet je gewoon 100% zeker dat als je maar lang genoeg wacht dat je delen van data toch kwijt gaat raken.

Als je schijven nooit (tussentijds) vervangt, en wacht tot ze vanzelf stuk gaan uiteindelijk wel ja. Maar ik schreef ook niet dat de risico's van RAID erg groot zouden zijn, alleen dat áls het eens misgaat, de schade maximaal is voor alles zonder backup. Vandaar in deze situaties mijn voorkeur voor snapshot-RAID.

[Tsurany]

Verwijderd schreef op woensdag 18 juli 2012 @ 07:10:
Ik heb inmiddels zo'n 20 schijven met waardeloze en minder waardeloze data die ik desondanks niet kwijt wil, waarvan de meeste momenteel opgeborgen in een (gewone) kast Ik volg al een paar jaar de (trage) ontwikkeling van snapshot-RAID oplossingen, en vraag me af waarom daar doorgaans zo weinig aandacht voor is (relatief weinig gebruikers en -iig tot voorkort- relatief weinig keus). Juist voor een media-server (wat in de hobbysfeer de meeste systemen waarschijnlijk zijn) lijkt me dat toch zeer interessant. Aangezien voor die systemen single-disk datatransfer wel voldoende is, en de data toch behoorlijk statisch, zou ik dan de voorkeur geven aan de volledige flexibiliteit en efficiëntie van een snapshot-RAID oplossing: Als ik een liedje wil beluisteren hoeven er wmb geen 20 disks te draaien

Inderdaad, same here. Ik wil wel de redundantie van RAID maar ik wil niet dat twee schijven dan direct betekent dat al mijn data nutteloos is. Ook wil ik schrijven kunnen mixen en matchen en wil ik gewoon telkens een schijf kunnen bij prikken als dat nodig is. Ik wil geen dure controllers en heb geen hoge snelheid nodig.

Heuveltje, bedankt voor de tip van Snapraid, het lijkt erop dat dat precies is wat ik zoek. Flexraid was ook mijn eerste keus, maar om de één of andere reden voel ik me er toch niet zo prettig bij. Wellicht inderdaad die trage lompe UI, en misschien ook het gevoel dat het toch allemaal niet zo robuust is (maar ik moet het eerlijk gezegd nog eens beter testen). Maar een voordeel van Flexraid is wel weer de storage-pooling. Moeilijk

Ik draai zelf Flexraid en dat draait tot op heden prima. Wat je ook kan doen is de storage pooling van Flexraid nemen met Snapraid als RAID systeem.

[thalantis]

Q schreef op woensdag 18 juli 2012 @ 22:32:
Heel vet. Als ik ooit een nieuwe setup bouw lijkt me deze kast kandidaat nummer 1.

Hoeveel totale storage heb je nu? 46+61 = 106 TB?

ja ik kan dus een volledige backup maken van mijn productie server

[Q]

Verwijderd schreef op woensdag 18 juli 2012 @ 23:09:
Waarschijnlijk deed jij dat toen ook, gezien je schreef: 'Maar dat is meer mazzel dan wijsheid.'
Op een (dedicated) systeem met geschikte hardware, die zonder er verder aan te prutsen z'n taak doet, zou RAID uiteraard geen probleem moeten zijn.

Ik nam een risico (prutsen met hardware) wat ik nooit zou nemen met mijn 'productie nas'. Dat is het verschil.
Je data sla je op op een systeem waarmee je niet kloot. Je hebt dus apparte systemen (virtueel?) om mee te kloten. Kost extra geld. Maar dan is RAID geen serieus risico, in tegendeel. Dan staat je data redundant opgeslagen en dus veiliger dan losse disks. Bovendien is alle data online beschikbaar. Eigen keuze.

Tsurany schreef op woensdag 18 juli 2012 @ 23:38:
[...]

Inderdaad, same here. Ik wil wel de redundantie van RAID maar ik wil niet dat twee schijven dan direct betekent dat al mijn data nutteloos is. Ook wil ik schrijven kunnen mixen en matchen en wil ik gewoon telkens een schijf kunnen bij prikken als dat nodig is. Ik wil geen dure controllers en heb geen hoge snelheid nodig.

RAID 6 kan het verlies van 2 disks hebben.

Met (Linux Software) RAID kun je prima disks naar behoefte bij prikken. Ook van verschillende groottes als je het slim aanpakt met LVM.

Maar mocht je op Windows draaien dan ben je op dit vlak 'fucked' of netjes: gelimiteerd.

[ Voor 62% gewijzigd door Q op 19-07-2012 20:33 ]

[Verwijderd]

Q schreef op donderdag 19 juli 2012 @ 20:18:
[...]
Ik nam een risico (prutsen met hardware) wat ik nooit zou nemen met mijn 'productie nas'. Dat is het verschil.
Je data sla je op op een systeem waarmee je niet kloot. Je hebt dus apparte systemen (virtueel?) om mee te kloten. Kost extra geld. Maar dan is RAID geen serieus risico, in tegendeel. Dan staat je data redundant opgeslagen en dus veiliger dan losse disks. Bovendien is alle data online beschikbaar. Eigen keuze.

Laat ik het zo zeggen: Hoe klein de kans ook is, het risico op een horrorscenario ten gevolge van excessief dataverlies bij een failure van RAID neemt toe naarmate het aantal disks in je array groter is. Boven de 10 disks wordt *voor mij* in een specifieke *thuissituatie* het *gecombineerde* risico onaanvaardbaar. Niet omdat RAID niet betrouwbaar zou zijn, maar omdat de schade te groot wordt als het mis gaat. Dan wordt het een risico-afweging (wegens gebrek aan backup): Hoeveel risico wil je lopen, en hoeveel schade wil je (maximaal) accepteren.

Met RAID 6 mogen 2 disks 'kapot'. Één daarvan is al kapot op het moment dat RAID daadwerkelijk in actie moet komen. Dus bij het rebuilden mag er nog maximaal één schijf kapot, voordat het horrorscenario intreedt. Die kans is waarschijnlijk gering, maar niet ondenkbaar. Bij het rebuilden is er (soms urenlang) continue veel diskactiviteit. Wellicht heb je pech en gaan er net 2 disks stuk in die uren, wellicht heb je nét een ongelukkige batch harddisks gekocht, hoe klein de kans ook is, het komt voor. En die kans moet je wel afwegen tegen de hoeveelheid schade die er gaat ontstaan, áls het gebeurt. Met -in mijn geval- 20+ TB acht ik die schade enorm en wil ik dat risico (hoe klein wellicht ook) niet lopen. Natuurlijk kan je RAID-levels combineren om het risico nog meer te verkleinen, maar dan heb je naar verhouding meer parity-disks nodig, terwijl ik in een *thuissituatie* juist streef naar zoveel mogelijk efficiëntie. Anders zet ik wel 2 servers neer in RAID 10

Dat losse disks niet veilig zijn snap ik, daarom schreef ik al dat ik de voorkeur geef aan snapshot-RAID, juist om de situatie die jij al aanhaalde te vermijden, zonder (of in ieder geval met aanmerkelijk minder) risico om alles kwijt te raken. Want hoe klein die kans bij RAID ook is, het is altijd groter dan bij snapshot-RAID

En nogmaals, ik doel op een thuissituatie, met een (media)server die te groot is om te backuppen, waarbij snelheid van ondergeschikt belang is, maar (bv.) zuinigheid/gemak des te meer. In zo'n situatie wil ik geen 20 disks die continue draaien, maar wel o.a. het gemak om m'n server niet iedere keer uit te hoeven zetten om stroom te besparen. Inderdaad eigen keuze Maar wanneer het gaat om bv. productie(systemen), m'n workstation of een (data)file/applicatie/virtualisatieserver (met de gebruikelijke regelmatige backup) is het natuurlijk een heel ander verhaal en geniet RAID doorgaans de voorkeur.

[Q]

Verwijderd schreef op donderdag 19 juli 2012 @ 22:43:
[...]

Je schat de risico's ten aanzien van RAID6 veel te groot in. De kans dat je door de bliksem wordt getroffen is groter dan dat je RAID6 array naar de klote gaat.

Naar mate je met meer disks werkt is de kans op uitval groter en moet je ook met flex raid gaan overwegen om uitval van meer dan 1 schijf op te vangen. Natuurlijk ben je met 2 defecte disks 'slechts' 2 disks kwijt en niet alles, maar dat is nog steeds een hele hoop data. 1 disk kun je redden, maar de 2e ben je kwijt. Als ik de werking van flexraid goed begrijp. de kans op uitval van 2 disks voor een RAID array of losse disks zie ik als gelijk. Volgens mij ben je met flexraid dan data kwijt, tenzij je dus meer parity inzet.

Maar dan ga je evenveel parity inzetten als RAID6.

Je hebt het over een 'thuis' situatie, maar laten we eerlijk zijn. Als je 20+ disks hebt liggen is het wel een beetje uit de hand gelopen. Dan maken die paar extra disks 'parity' ook niet meer zoveel uit. Wel 20+ disks hebben maar dan opeens zuinig gaan doen? Dat is een beetje als een dikke Porsche kopen en dan klagen over de (onderhouds)kosten.

Je moet nu met catalogus software werken (ook gedaan in de tijd van iomega zipdrives) om niet te vergeten welke data je hebt en waar het staat. Vervolgens een disk aansluiten. Begrijpelijk dat je daar vanaf wilt.

Dus je wilt ze on-line real-time beschikbaar maken. Dus ga je een file server optzetten. Als je op Windows only zit dan ontkom je niet aan dure hardware voor RAID6 etc. Dan is de enige serieuze optie nog Flexraid, mits je extra parity kunt toevoegen. zodat je RAID6-like protectie hebt met die 20+ disks.

Of een goed excuus om, als het om een thuis situatie gaat en je op de centen wilt letten, Ubuntu er op te flikkeren en met een commando of 5 een schaalbare RAID6 setup te bouwen. Die je dan ofwel via iSCSI of via SMB exporteert.

Vergeet je trouwens niet om dan ook een UPS te kopen?

Anyway, Alleen Thalantis doet het goed(*), die koopt gewoon een hele extra machine. Een droom. Want ik heb het mee gemaakt, dat de voeding in mijn 18 TB NAS letterlijk stond te roken. Toen toch maar elcheapo voeding vervangen door kwaliteit van Corsair. Maar dat is dus een risico als je alles in een fs gaat stoppen.

Maar ik accepteer dat risico voor het gemak om alle data bij de hand te hebben. Als ik dat gemak niet zou hebben dan kan ik net zogoed geen storage hebben. Gehannes met quickports (heb er ook 1) en catalogi zou ik echt niet trekken. Het gemak van 1 grote 18TB bak aan storage is priceless. Storage is iets waar je nooit meer over hoeft na te denken. Het is er. Altijd.

En standaard staat het uit. Met WOL staat hij in 2 minuten aan.

(*) Bijna, want eigenlijk moet die 2e machine op een andere fysieke lokatie staan 1+ km van machine 1. Vereist dus ook 2e locatie met 1 gigabit internet / huurlijn + goed klimaat (hint datacenter).

[ Voor 20% gewijzigd door Q op 20-07-2012 00:07 ]

[Q]

Gefeliciteerd NAS!

Met je 3e levensjaar!



Met nul defecte disks.

code:

Personalities : [raid1] [raid6] [raid5] [raid4] 
md5 : active raid6 sds[0] sdv[19] sdu[18] sdr[17] sdq[16] sdp[15] sdo[14] sdn[13] sdm[12] sdl[11] sdk[10] sdj[9] sdi[8] sdh[7] sdg[6] sdf[5] sde[4] sdd[3] sdc[2] sdt[1]
      17580292992 blocks level 6, 64k chunk, algorithm 2 [20/20] [UUUUUUUUUUUUUUUUUUUU]
      bitmap: 0/8 pages [0KB], 65536KB chunk

Super grafische real-time temperatuur monitoring die overeenkomt met fysieke locatie.



Met een nutteloze maar coole schrijfsnelheid van 440 megabytes per seconde.

code:

Bunny:~# dd if=/dev/zero of=/storage/test.bin bs=1M count=20000
20000+0 records in
20000+0 records out
20971520000 bytes (21 GB) copied, 47.5958 s, 441 MB/s

En een nog nuttelozere en nog coolere leessnelheid van 1+ gigabyte per seconde.

code:

Bunny:~# dd if=/storage/test.bin of=/dev/null bs=1M
20000+0 records in
20000+0 records out
20971520000 bytes (21 GB) copied, 18.574 s, 1.1 GB/s

op naar de volgende 3 jaar. En ooit nog eens een nieuwe build.

[ Voor 41% gewijzigd door Q op 20-07-2012 00:21 ]