Storage showcase topic - 50+ TB storage systems

[Q]

Pantagruel schreef op donderdag 06 september 2012 @ 12:09:
[...]

Zonder budget beperkingen en compatibiliteit echt gecheckt te hebben:

Nu nog een strakke behuizing en wat andere benodigde prullaria (kabeltjes, etc.) en dan kom je toch wel aan een slappe €30.000 , da's een flinke auto .

Beoogde setup 4x RAID-Z2 array van 10 stuks 4TiB (effectief ca. 128 TiB) over de 2 LSI controllers en de onboard SAS controller, 128 GiB SSD als OS drive en 2x 256 GiB SSD als ZIL/LARC. Jammer genoeg kom je met dit bordje niet aan de gouden regel mbt ZFS geheugen wensen ' voor ieder TiB opslag, 1GiB RAM', wil je dit echt zul je voor een Quad Xeon bordje moeten gaan.

Dat moet makkelijk voor max 15K kunnen. 30K is veel te overdreven. 1 CPU is genoeg. 16GB RAM voor thuis is ook wel ok. Het is geen 1K multi-user mission critical file server. ZIL/LARC is dus eigenlijk niet eens nodig. Het blijft een bak voor content opslag. In mijn geval toegankelijk via 1 gigabit NFS voor mijn Mac.

That's it. Zelfde principe als de backblaze pod. Heel veel storage, niet veel performance. Maar dat hoeft ook niet.

[Dadona]

Ach, het gaat al 'fout' bij de keuze van de harde schijven. De sweetspot zit bij (2-)3TB. Voor ~7500 euro kun je dan evenveel bruto opslagruimte krijgen, het je er alleen wel meer dan 50 nodig. Misschien kun je dan ook wel een HDD gratis krijgen.

[Pantagruel]

VorCha schreef op donderdag 06 september 2012 @ 13:29:
[...]


Is dat niet deels op te heffen door gebruik te maken van fusionkaarten zoals

1

OCZ RevoDrive 3 X2 PCI-Express SSD 240GB

€ 393,-

Nope, Die RevoDrive is in weze een SSD in t PCIe slot, geen RAM geheugen.

[Q]

Dadona schreef op donderdag 06 september 2012 @ 13:56:
Ach, het gaat al 'fout' bij de keuze van de harde schijven. De sweetspot zit bij (2-)3TB. Voor ~7500 euro kun je dan evenveel bruto opslagruimte krijgen, het je er alleen wel meer dan 50 nodig. Misschien kun je dan ook wel een HDD gratis krijgen.

Hmm. minimaal 43 schijven van 3 TB en dan heb je er nog zeker 4 nodig voor parity (2 grote RAID6 arrays). Ga je wel naar de 50 schijven toe als je 3 grote RAID 6 arrays wilt maken van ongeveer 16 schijven per stuk.

50 drives aansluiten wordt wel heel erg veel, dat zou een uitdaging worden. Met 4 TB disks heb je met 4 parity disks er 32+4 = 36 nodig. Een hele array minder. Minder disks is minder kans op uitval. Over energie en ruimte ga ik niet zeiken dat boeit minder op deze schaal. Maar dan zou ik toch voor de 4 TB gaan. Hoe minder schijven hoe beter. Dan maar 1K extra.

Dit alles puur theoretisch he?

[Mr_gadget]

Pantagruel schreef op donderdag 06 september 2012 @ 12:09:
[...]

Jammer genoeg kom je met dit bordje niet aan de gouden regel mbt ZFS geheugen wensen ' voor ieder TiB opslag, 1GiB RAM', wil je dit echt zul je voor een Quad Xeon bordje moeten gaan.

Die schijnt toch niet helemaal op te gaan, zeker in een thuis situatie met niet heel veel gebruikers. Dus ik betwijfel of zoveel geheugen nodig is, denk dat je met 12 Gb ook goed zit.
Maar we gaan erg offtopic hier.

[Dadona]

Q schreef op donderdag 06 september 2012 @ 14:03:
[...]


Hmm. minimaal 43 schijven van 3 TB en dan heb je er nog zeker 4 nodig voor parity (2 grote RAID6 arrays). Ga je wel naar de 50 schijven toe als je 3 grote RAID 6 arrays wilt maken van ongeveer 16 schijven per stuk.

50 drives aansluiten wordt wel heel erg veel, dat zou een uitdaging worden. Met 4 TB disks heb je met 4 parity disks er 32+4 = 36 nodig. Een hele array minder. Minder disks is minder kans op uitval. Over energie en ruimte ga ik niet zeiken dat boeit minder op deze schaal. Maar dan zou ik toch voor de 4 TB gaan. Hoe minder schijven hoe beter. Dan maar 1K extra.

Dit alles puur theoretisch he?

1K extra? Met het bruto verhaaltje (netto ga ik even niet op in, hangt teveel af van of je 4, 5, .. 'parity' schijven neemt) zit je bijna op 10K extra.

@Pantagruel, ...en het is leuk voor later, om te weten wat je vroeger moest betalen voor iets dat je 'nu' op een stickje van een paar centimeter kunt bewaren.

#	Product	Prijs	Subtotaal
40	Hitachi Ultrastar 7K4000, 4TB	€ 424,-	€ 16.960
54	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 136,-	€ 7.344,-
Bekijk collectie Importeer producten		Totaal	€ 24.304

[ Voor 43% gewijzigd door Dadona op 06-09-2012 14:09 ]

[Pantagruel]

Q schreef op donderdag 06 september 2012 @ 14:03:
[...]


Hmm. minimaal 43 schijven van 3 TB en dan heb je er nog zeker 4 nodig voor parity (2 grote RAID6 arrays). Ga je wel naar de 50 schijven toe als je 3 grote RAID 6 arrays wilt maken van ongeveer 16 schijven per stuk.

50 drives aansluiten wordt wel heel erg veel, dat zou een uitdaging worden. Met 4 TB disks heb je met 4 parity disks er 32+4 = 36 nodig. Een hele array minder. Minder disks is minder kans op uitval. Over energie en ruimte ga ik niet zeiken dat boeit minder op deze schaal. Maar dan zou ik toch voor de 4 TB gaan. Hoe minder schijven hoe beter. Dan maar 1K extra.

Dit alles puur theoretisch he?

Yep, maar altijd leuk om je aan het idee te verlekkeren

[VorCha]

Pantagruel schreef op donderdag 06 september 2012 @ 13:57:
[...]
Nope, Die RevoDrive is in weze een SSD in t PCIe slot, geen RAM geheugen.

Toch denk ik van wel, zie Seperate Cache Devices. Waarom heeft ZFS veel memory nodig, voor de ARC. Als die vol is, dan een L2ARC zoals bv. een SSD disk, waarbij een PCIe kaart niet ten koste gaat van een SATA/SAS aansluiting.

In januari heb ik een test gezien waarbij de performance van een oracle database ongecached op local sata disk, gecached in RAM en ongecached op een FusionIO kaart werd uitgevoerd. Ik kan de data niet reproduceren, maar bij een bepaalde query/handeling waren de tijden respectievelijk 16, 10.4 en 11 seconden. Het verschil was dus vrijwel nihil, en er was ook nog een theorie dat 2 Fusion kaarten in raid 0 opstelling het DDR3 geheugen zouden kunnen outperformen.

Maar goed, ik kan er helemaal naast zitten en ZFS volledig verkeerd begrijpen.

[Q]

Dadona schreef op donderdag 06 september 2012 @ 14:05:
[...]
1K extra? Met het bruto verhaaltje (netto ga ik even niet op in, hangt teveel af van of je 4, 5, .. 'parity' schijven neemt) zit je bijna op 10K extra.

Ik kom op een verschil van 2.5K - 3K extra ~140 voor 3 TB disks met 43 stuks (netto) en 32 x 4 TB @ 265 euro. Is te overleven.

Ik zou nl deze schijf pakken

pricewatch: Hitachi Deskstar 7K4000, 4TB

He? Ik editte mijn post?!

[Dadona]

Dat klopt, maar ik had het ook alleen over de setup van Pantagruel. Pantagruel kan blijkbaar goed shoppen. Als je met zulke bedragen gaat gooien dan is het misschien wel te verantwoorden.

Overigens, terugkomende op dat Backblaze idee. Het aardige daarin vind ik vooral dat ze de filosofie dat ze alles zo goedkoop en klein mogelijk houden en zodoende het chasis met inhoud als een 'swappable' iets maken. Gaat er iets fout: hdd, moederbord, ... dan wisselen ze het hele ding. Op kleinere schaal (ik kom niet in de datacentra van grote bedrijven) lopen velen te klooien met schijven en die allemaal in RAID te hangen. En dat liefst zo efficiënt en mooi mogelijk. Dit terwijl je dan eigenlijk alleen maar beschermt tegen issues met een HDD en niet iets anders dat over de nek gaat (en misschien zelfs iets in de val meeneemt).

[Pantagruel]

.

[ Voor 100% gewijzigd door Pantagruel op 06-09-2012 14:45 ]

[Pantagruel]

.

[ Voor 99% gewijzigd door Pantagruel op 06-09-2012 14:45 ]

[Pantagruel]

Dadona schreef op donderdag 06 september 2012 @ 14:05:
[...]

@Pantagruel, ...en het is leuk voor later, om te weten wat je vroeger moest betalen voor iets dat je 'nu' op een stickje van een paar centimeter kunt bewaren.

Klopt, de aanschafprijs blijft min of meer gelijk terwijl de opslag capaciteit van de disk toeneemt, kan me vagelijk herinneren dat mijn 1 Gib HDD destijds (1998) zo'n €100 moest kosten.

Dadona schreef op donderdag 06 september 2012 @ 14:18:
Dat klopt, maar ik had het ook alleen over de setup van Pantagruel. Pantagruel kan blijkbaar goed shoppen. Als je met zulke bedragen gaat gooien dan is het misschien wel te verantwoorden.

Dank U, dank U

Overigens, terugkomende op dat Backblaze idee. Het aardige daarin vind ik vooral dat ze de filosofie dat ze alles zo goedkoop en klein mogelijk houden en zodoende het chasis met inhoud als een 'swappable' iets maken. Gaat er iets fout: hdd, moederbord, ... dan wisselen ze het hele ding. Op kleinere schaal (ik kom niet in de datacentra van grote bedrijven) lopen velen te klooien met schijven en die allemaal in RAID te hangen. En dat liefst zo efficiënt en mooi mogelijk. Dit terwijl je dan eigenlijk alleen maar beschermt tegen issues met een HDD en niet iets anders dat over de nek gaat (en misschien zelfs iets in de val meeneemt).

Voor de thuis situatie is zo'n 'over the top' oplossing niet betaalbaar en zul je inderdaad eerder op een goed gekozen handvol doorsnee hardware in combinatie met wat expanders uitkomen. De BackBlaze oplossing is inderdaad zeer elegant, vooral door geen hot-swap bays te gebruiken maar de drives in de expander te laten zakken bespaar je flink. Desondanks trek je een rotte schijf er toch snel even uit.

VorCha schreef op donderdag 06 september 2012 @ 14:10:
[...]

Toch denk ik van wel, zie Seperate Cache Devices. Waarom heeft ZFS veel memory nodig, voor de ARC. Als die vol is, dan een L2ARC zoals bv. een SSD disk, waarbij een PCIe kaart niet ten koste gaat van een SATA/SAS aansluiting.

In januari heb ik een test gezien waarbij de performance van een oracle database ongecached op local sata disk, gecached in RAM en ongecached op een FusionIO kaart werd uitgevoerd. Ik kan de data niet reproduceren, maar bij een bepaalde query/handeling waren de tijden respectievelijk 16, 10.4 en 11 seconden. Het verschil was dus vrijwel nihil, en er was ook nog een theorie dat 2 Fusion kaarten in raid 0 opstelling het DDR3 geheugen zouden kunnen outperformen.

Maar goed, ik kan er helemaal naast zitten en ZFS volledig verkeerd begrijpen.

Aha, wellicht een kleine denk kronkel/mis begrijpen. Wellicht dat het zo werkt dat als je minder RAM in t moederbord steekt, je eerder het gebruik van een caching device af kunt dwingen. Links- of rechts om klinkt t wel lekker zo'n RevoDisk erbij als cache.
8 SATA aansluitingen op t genoemde moederbord is niet overmatig veel (6x SATA-300 en 2x SATA-600), maar je OS schijfje op een SATA-300 en de caching op de 2x SATA-600 lijkt me voldoende te zijn.

[ Voor 39% gewijzigd door Pantagruel op 06-09-2012 14:46 ]

[Q]

Dadona schreef op donderdag 06 september 2012 @ 14:18:
Dat klopt, maar ik had het ook alleen over de setup van Pantagruel. Pantagruel kan blijkbaar goed shoppen. Als je met zulke bedragen gaat gooien dan is het misschien wel te verantwoorden.

Overigens, terugkomende op dat Backblaze idee. Het aardige daarin vind ik vooral dat ze de filosofie dat ze alles zo goedkoop en klein mogelijk houden en zodoende het chasis met inhoud als een 'swappable' iets maken. Gaat er iets fout: hdd, moederbord, ... dan wisselen ze het hele ding. Op kleinere schaal (ik kom niet in de datacentra van grote bedrijven) lopen velen te klooien met schijven en die allemaal in RAID te hangen. En dat liefst zo efficiënt en mooi mogelijk. Dit terwijl je dan eigenlijk alleen maar beschermt tegen issues met een HDD en niet iets anders dat over de nek gaat (en misschien zelfs iets in de val meeneemt).

Dat is een punt. Als je veiligheid wil moet je eigenlijk alsnog die 30K neertellen en 2x 128 GB bouwen in twee verschillende machines. Ook moederborden, voedingen (een oude voeding van mijn 18 TB NAS stond letterlijk te smeulen) controllers fikken uit. En nemen worst-case alles met zich mee. Het liefste zet je nummer 2 op een andere fysieke locatie neer. Liefst heb je een tuin met separate schuur zodat bij brand nog iets daar hebt liggen .

[Q]

Holy shit.
Holy fucking shit.

1080p op 120" is een goede reden om BluRay te hoarden.

[tHe_BiNk]

Het is natuurlijk belangrijk om je data verschillende levels van belangrijkheid te geven.

Geripte films van DVD of BR zijn natuurlijk niet al te belangrijk. Echter mijn werk documenten en foto's worden in 'realtime' (Gdrive) offsite gebackuped. De films verdienen eigenlijk geen backup. Zelf heb ik van mijn online films offline backups. Gewoon op losse oude harddisks. Andere documenten hebben offline backups zowel onsite als offsite. Dus persoonlijk hanteer ik 4 levels.

1. RAID5 + Realtime offsite online backup (GDrive) + onsite offline backup (eens per kwartaal) + offsite offline backup (eens per jaar)
2. RAID5 + onsite offline backup + offsite offline backup
3. RAID5 + onsite offline backup
4. RAID5

Voorbeelden:
1. Werkdocumenten en prive foto's.
2. Muziek (MP3), portable Windows apps, savegames, home movies.
3. Video, films.
4. Tijdelijke bestanden, Steam.

Wij gebruiken Google apps dus e-mail, contact, agenda, bookmarks, kleine docs en apps zitten al in de cloud. Hierdoor hoef ik in ieder geval niet 2 storage servers te bouwen, omdat de meeste data niet belangrijk genoeg is om op 2 servers tegelijkertijd te staan. 100GB cloud storage voor de belangrijkste documenten is voldoende. De 10TB aan films hoeven natuurlijk niet in de cloud, dat kost een vermogen.

[ Voor 28% gewijzigd door tHe_BiNk op 07-09-2012 01:18 ]

[Verwijderd]

Pantagruel schreef op donderdag 06 september 2012 @ 14:38:
[...]
Aha, wellicht een kleine denk kronkel/mis begrijpen. Wellicht dat het zo werkt dat als je minder RAM in t moederbord steekt, je eerder het gebruik van een caching device af kunt dwingen. Links- of rechts om klinkt t wel lekker zo'n RevoDisk erbij als cache.

De LSI MegaRAID kaarten hebben tegenwoordig zelfs een ingebouwde SSD optie. Heet CacheCascade o.i.d. Enigzins vergelijkbaar met die Intel SSD Cache oplossing, maar dan geintegreerd in je RAID controller.

Ik denk dat het voor veel situaties effectiever is dan een enorme berg RAM in je computer te steken.

[FireDrunk]

Ik denk dat het voor veel situaties effectiever is dan een enorme berg RAM in je computer te steken.

Effectiever? of goedkoper? Want RAM is nog steeds een orde-van-grootte sneller dan een SSD?

[Pantagruel]

FireDrunk schreef op vrijdag 07 september 2012 @ 10:42:
[...]


Effectiever? of goedkoper? Want RAM is nog steeds een orde-van-grootte sneller dan een SSD?

Met een scheef oog gericht op de Intel PCIe 910 series SSD, kom je qua doorvoersnelheid niet eens zo slecht uit.
Ondanks dat de 'vanaf' aanschafprijs best wel auwtsch! is (400 GB zo'n$1929 en 800 GB zo'n $3859) is de prijs per GB wel beter (ca. €5/GB) dan die van ECC REG DDR3 (uitgaande van een 16 GB reepje van Kingston ca. €170/stk, ca. €10/GB).

Voor de duidelijkheid, thuis heb ik een max. doorvoersnelheid van 10 Gbit over IB, die trek ik vanaf een RAM disk (DDR2) volledig dicht. Dit zou met een RAID-0 setje SSD's (Samsung 830/Vertex 4's) net te behappen zijn m.b.t. snelheid en budget.

[ Voor 19% gewijzigd door Pantagruel op 07-09-2012 15:58 ]

[DDX]

Alleen kan je die intel 910 niet gebruiken voor CacheCade aangezien dat alleen werkt als je de ssd via de sas/sata kabels aansluit op de controller.

CacheCade is bij lsi (CacheCade versie 2) read en write cache (wel raid1 draaien als je hem als write cache inzet)
Dell bied het ook aan bij hun servers, maar dan enkel als read cache. (CacheCade versie 1)

[FireDrunk]

Bij ZFS heb je dat niet nodig... En voor linux zijn er volgens mij ook wel softwarematige alternatieven.

[DDX]

Alleen de vraag of je die software matige oplossingen op een productie server wilt gebruiken.
De CacheCade toevoeging van LSI is iig nuttige toevoeging als je gewoon hardware raid controller wilt.

[FireDrunk]

Die CacheCade meuk is net zo goed software, alleen draait het in je controller en niet in je OS...

Lekker belangrijk...

[Pantagruel]

FireDrunk schreef op vrijdag 07 september 2012 @ 16:06:
Die CacheCade meuk is net zo goed software, alleen draait het in je controller en niet in je OS...

Lekker belangrijk...

En voor de CacheCade software geldt dat deze ook eerst moet leren welke data 'hot' is:

uit de spec's

MegaRAID CacheCade Pro 2.0 Software -Dynamic Read and Write caching of hot spot data for significant reduction in I/O latency -Accelerates I/O performance of existing HDD arrays using SSDs as high-performance cache -Optimized for real-world workloads of transaction-intensive applications

[DDX]

FireDrunk schreef op vrijdag 07 september 2012 @ 16:06:
Die CacheCade meuk is net zo goed software, alleen draait het in je controller en niet in je OS...

Lekker belangrijk...

Tja voor jou misschien niet maar als ik een Dell server koop met redhat of windows erop is CacheCade gewoon 100% supported.
En ZFS (wat al niet in redhat zit) of een andere software oplossing mag je zelf alles uitzoeken.

[Pantagruel]

DDX schreef op vrijdag 07 september 2012 @ 16:33:
[...]


Tja voor jou misschien niet maar als ik een Dell server koop met redhat of windows erop is CacheCade gewoon 100% supported.
En ZFS (wat al niet in redhat zit) of een andere software oplossing mag je zelf alles uitzoeken.

NexentaStor, levert voor de zakelijke omgeving gewoon support hoor, net zoals RH voor haar profi producten doet.

[ppl]

FireDrunk schreef op vrijdag 07 september 2012 @ 16:06:
Die CacheCade meuk is net zo goed software, alleen draait het in je controller en niet in je OS...

Lekker belangrijk...

Heel erg aangezien dit dan OS onafhankelijk werkt. Als je naar ZFS wil betekent dat je een OS moet hebben dat iets in de lijn van FreeBSD of 1 van de vele OpenSolaris afgeleiden is. Dat moet je ook maar net kunnen beheren. Er zijn er genoeg die dat niet kunnen omdat ze niet bekend zijn met de UNIX wereld. Voor hun is het Windows wat de klok slaat en dan is zo'n caching optie in de RAID controller ineens een heel stuk aantrekkelijker. Kijk eens in de topicstart naar het lijstje met configs en tel eens hoeveel mensen daar een ZFS setup hebben en hoeveel iets met Windows of iets anders doen dat geen ZFS ondersteund...

[Q]

Ik draai nu op mijn download server ZFSonLinux, een kernel module en dat is echt super. Performed ok en werkt zonder gedoe direct.

Ik weet nog niet hoe betrouwbaar/stabiel dit is maar ik zou het serieus overwegen als NAS oplossing.

code:

root@server:~# zpool status -v && zpool iostat -v
  pool: zpool
 state: ONLINE
 scan: scrub repaired 0 in 1h12m with 0 errors on Fri Sep  7 07:15:25 2012
config:

    NAME        STATE     READ WRITE CKSUM
    zpool       ONLINE       0     0     0
      raidz1-0  ONLINE       0     0     0
        sdf     ONLINE       0     0     0
        sdg     ONLINE       0     0     0
        sdh     ONLINE       0     0     0
        sdi     ONLINE       0     0     0
      raidz1-1  ONLINE       0     0     0
        sdc     ONLINE       0     0     0
        sdd     ONLINE       0     0     0
        sde     ONLINE       0     0     0
        sdj     ONLINE       0     0     0
        sdk     ONLINE       0     0     0
        sdl     ONLINE       0     0     0

errors: No known data errors
               capacity     operations    bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
zpool       2.52T  7.45T      0      0    549  1.23K
  raidz1    2.29T  4.96T      0      0    264    419
    sdf         -      -      0      0  1.02K    313
    sdg         -      -      0      0  1.03K    313
    sdh         -      -      0      0  1.02K    297
    sdi         -      -      0      0  1.07K    281
  raidz1     232G  2.49T      0      0    285    839
    sdc         -      -      0      0    952    218
    sdd         -      -      0      0    976    210
    sde         -      -      0      0    943    224
    sdj         -      -      0      0    932    215
    sdk         -      -      0      0    946    214
    sdl         -      -      0      0    926    210
----------  -----  -----  -----  -----  -----  -----

Performance is echter niet heel indrukwekkend maar gigabit gaat zeker dicht. Op deze array haal ik 440MB/s lezen over 10 schijven.

[ Voor 81% gewijzigd door Q op 07-09-2012 21:46 ]

[FireDrunk]

Q, je zou voor de grap even in het Grote ZFS topic moeten bladeren voor performance tips.
Je moet namelijk met een aantal zaken rekening houden. 4K sectoren, aantal drives in een array, en het mixen van bepaalde redundancy levels.

[Q]

FireDrunk schreef op zaterdag 08 september 2012 @ 00:52:
Q, je zou voor de grap even in het Grote ZFS topic moeten bladeren voor performance tips.
Je moet namelijk met een aantal zaken rekening houden. 4K sectoren, aantal drives in een array, en het mixen van bepaalde redundancy levels.

Yup, heb al rekening gehouden met een aantal zaken. Maar het is qua snelheid prima bruikbaar. Ik lever gerust wat snelheid in, in ruil voor een volwassen bestandssysteem met checksums.

De grote vraag is echter: wat is de toekomst van ZFS on Linux. Er wordt nu door een partij aan door ontwikkeld, maar wat als we 3 jaar verder zijn.

[Pantagruel]

Q schreef op zaterdag 08 september 2012 @ 09:21:
[...]


Yup, heb al rekening gehouden met een aantal zaken. Maar het is qua snelheid prima bruikbaar. Ik lever gerust wat snelheid in, in ruil voor een volwassen bestandssysteem met checksums.

De grote vraag is echter: wat is de toekomst van ZFS on Linux. Er wordt nu door een partij aan door ontwikkeld, maar wat als we 3 jaar verder zijn.

Kleine quote van de ZFS on Linux site:

This ZFS on Linux port was produced at the Lawrence Livermore National Laboratory (LLNL) under Contract No. DE-AC52-07NA27344 (Contract 44) between the U.S. Department of Energy (DOE) and Lawrence Livermore National Security, LLC (LLNS) for the operation of LLNL. It has been approved for release under LLNL-CODE-403049.

Het is natuurlijk een aanname, maar ik denk niet dat DOE de port aan het LLNL zou hebben aanbesteedt als het niet de bedoeling zou zijn om voor langere tijd ZFS te kunnen gebruiken en te onderhouden onder Linux.
Als je echt meer houvast wilt hebben dan zul je de contract papieren door moeten spitten, het vermelde contract en de papieren er rondom zijn online te vinden.

[BartNL]

Q schreef op zaterdag 08 september 2012 @ 09:21:
[...]De grote vraag is echter: wat is de toekomst van ZFS on Linux. Er wordt nu door een partij aan door ontwikkeld, maar wat als we 3 jaar verder zijn.

wat maakt dat uit? Diezelfde vraag kun je bijna voor alle filesystemen en hardware oplossing stellen. Volgens mij is het simpel kiezen wat nu voor jou het beste werkt en over drie jaar zien wat er dan is. Filesysteem dat nu goed werkt doet dat over drie jaar ook nog.

[Tp21]

Q schreef op vrijdag 07 september 2012 @ 21:29:
...

Let er wel op dat ZFSonLinux vooralsnog geen ACL's ondersteund, mocht je hier gebruik van willen maken.

[Verwijderd]

Q schreef op donderdag 06 september 2012 @ 02:19:
Q is toch eens gaan spelen met ZFS onder Ubuntu op zijn download bak.
met 4x 2TB 7200 RPM haal ik 500+ MB/s schrijven en 300 MB/s lezen. Niet super, maar ok zat.

Heb je dat wel goed getest, want als je 8GB test ofzo gaat een deel tegen RAM-snelheid en is je meting dus fout. Probeer eens:
dd if=/dev/zero of=/tank/zerofile.000 bs=1M count=64k
(waarbij tank je poolnaam is en deze compressie en dedup heeft uitgeschakeld).

VorCha schreef op donderdag 06 september 2012 @ 13:29:
Is dat niet deels op te heffen door gebruik te maken van fusionkaarten zoals

1

OCZ RevoDrive 3 X2 PCI-Express SSD 240GB

€ 393,-

Wat heeft die Sandforce via LSI te maken met FusionIO? Enige overeenkomst die ze delen is dat er een PCI-express interface op zit. Maar je wilt echt geen Revodrive hoor, of een andere Sandforce schijf. Wat je dan nog veel liever wilt is een IBM M1015 HBA met een paar kleine SSDs en 2GB/s snelheden halen voor een paar honderd euro; dat is gaaf niet zo'n onbetrouwbaar sandforce geval via PCIexpress daar kan ik niet warm van worden. Native PCIe SSDs zijn er nog niet; die komen zodra SATA Express zijn intrede doet. Dan worden SSDs direct aan PCI-express gekoppeld en heb je dus een NAND <--> PCI-express bridge die direct op de CPU gekoppeld kan worden.

[FireDrunk]

FusionIO is een native block device op PCIe. Geen sata emulatie meer.

[Verwijderd]

Akkoord maar dat geldt zeker niet voor de RevoDrive. De RevoDrive 1 en 2 hebben een Silicon Image 'FakeRAID' controller met Windows-only drivers. De RevoDrive 3 heeft een iets deftigere LSI SAS controller. Maar beide dus een ouderwetse SATA RAID implementatie en niet native PCIe. Dus ik zou het geen 'fusionkaart' willen noemen.

Ik dacht trouwens dat FusionIO ook een softwareblob heeft die op de host draait? Interessant in dat verband is ook dat FreeBSD een project heeft waarbij een software NAND controller wordt gebruikt die native NAND kan aanspreken en zelf dus de write remapping en wear leveling implementaties kan doen. Maar dat gaat helaas niet werken met een standaard SSD. Dus voor die native toekomst moeten we nog wachten tot SATA Express. Ik hoop ook vooral dat Intel dan weer een controller gaat maken. En Marvell verwacht ik ook dat die snel met een SATA Express controller zal komen.

[ Voor 4% gewijzigd door Verwijderd op 08-09-2012 15:40 ]

[FireDrunk]

Eerlijk gezegd verwacht ik meer van LSI. Daar zit het grote geld...
Overigens heb ik een RevoDrive x3 gekocht voor mijn desktop. Ik kan wel wat dingen voor je testen als je wil.

[ Voor 45% gewijzigd door FireDrunk op 08-09-2012 17:11 ]

[Q]

Verwijderd schreef op zaterdag 08 september 2012 @ 13:08:
[...]

Heb je dat wel goed getest, want als je 8GB test ofzo gaat een deel tegen RAM-snelheid en is je meting dus fout. Probeer eens:
dd if=/dev/zero of=/tank/zerofile.000 bs=1M count=64k
(waarbij tank je poolnaam is en deze compressie en dedup heeft uitgeschakeld).

Machine heeft 4 Gb Ram. Heb volgens mij goed getest.

code:

root@server:~# dd if=/dev/zero of=/storage/test.bs count=500000000 bs=1M count=20000
20000+0 records in
20000+0 records out
root@server:~# dd if=/storage/test.bs of=/dev/null bs=1M
20000+0 records in
20000+0 records out
20971520000 bytes (21 GB) copied, 45.8726 s, 457 MB/s
root@server:~# zpool list
NAME    SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
zpool  9.97T  2.55T  7.42T    25%  1.00x  ONLINE  -
root@server:~# zpool status -v
  pool: zpool
 state: ONLINE
 scan: scrub repaired 0 in 1h12m with 0 errors on Fri Sep  7 07:15:25 2012
config:

    NAME        STATE     READ WRITE CKSUM
    zpool       ONLINE       0     0     0
      raidz1-0  ONLINE       0     0     0
        sdf     ONLINE       0     0     0
        sdg     ONLINE       0     0     0
        sdh     ONLINE       0     0     0
        sdi     ONLINE       0     0     0
      raidz1-1  ONLINE       0     0     0
        sdc     ONLINE       0     0     0
        sdd     ONLINE       0     0     0
        sde     ONLINE       0     0     0
        sdj     ONLINE       0     0     0
        sdk     ONLINE       0     0     0
        sdl     ONLINE       0     0     0

errors: No known data errors

[pipo de C]

Nog even over silent data corruption... dit is natuurlijk realiteit bij 10+ TB arrays en ik snap dat ZFS hier een oplossing voor is met het self healing mechanisme en dat HW raid dat gewoon niet goed doet, althans dat kan ik nergens erg duidelijk vinden... maar ....

Als ik op de areca site ga kijken is er zoiets als een feature disk scrubbing bij de 1680 en 1880/1882 controllers. In de manual van de 1882 op (pagina 72) staat het volgende:

CHECK VOLUME SET

Use this option to verify the correctness of the redundant data in a volume set. For example, in a system with a dedicated parity disk drive, a volume set check entails computing the parity of the data disk drives and comparing those results to the contents of the dedicated parity disk drive.

Wat is nou precies het verschil tussen ZFS en specifiek deze Areca kaart mbt silent corruption (uitgaande van RAID6 op HW vs RAID-Z2 op ZFS)?

Het concept van ZFS is erg mooi maar ik draai liever een Windows OS voor m'n NAS. (en, nee, het is *echt* niet nodig me proberen te overtuigen toch voor ZFS te gaan - m'n vraag gaat over data integrity).

[Q]

Met RAID 5, hoe weet de controller of de data of het checksum corrupt is? Volgens mij kan een controller alleen corruptie detecteren maar wat kan de controller doen? Alarm slaan?

ZFS kan met checksums bepalen wat er mis is en de parity gebruiken voor reconstructie.

Ik ben extreem nieuw met ZFS maar dat is wat ik er van begrijp.

Maar als je toch Windows gaat draaien is dit allemaal niet relevant.

[Verwijderd]

Q schreef op zondag 09 september 2012 @ 05:00:
Machine heeft 4 Gb Ram. Heb volgens mij goed getest.

Oke, maar je zei dat je eerst 4 disks gebruikte. Maar ik zie in je output 10 disks verdeeld over twee keer een RAID-Z vdev. Dan snap ik wel dat je die snelheid haalt, maar met 4 disks vind ik die snelheid veel te hoog.

pipo de C schreef op zondag 09 september 2012 @ 12:05:
Nog even over silent data corruption... dit is natuurlijk realiteit bij 10+ TB arrays en ik snap dat ZFS hier een oplossing voor is met het self healing mechanisme en dat HW raid dat gewoon niet goed doet, althans dat kan ik nergens erg duidelijk vinden... maar ....
(..)
Wat is nou precies het verschil tussen ZFS en specifiek deze Areca kaart mbt silent corruption (uitgaande van RAID6 op HW vs RAID-Z2 op ZFS)?

Het is ook realiteit met een enkele disk hoor, maar je komt het natuurlijk sneller tegen met een grote collectie schijven met hoge datadichtheid.

Alle hardware RAID weet niets over corruptie. Het enige wat het weet is of de data overeenkomt met de parity data. Daarvoor moet het wel apart zo'n background scan uitvoeren wat ongeveer hetzelfde is als een rebuild. In zo'n geval kan hardware RAID zien wanneer parity en data niet overeenkomen. Voor zover ik weet zal hardware RAID altijd de parity corrigeren aan de data. Dus als de data corrupt is geworden en de parity is goed, dan vernietigt de controller de juiste parity data door corrupte parity data te schrijven aan de hand van de corrupte data blok.

Maar zelfs error detectie heb je niet met hardware RAID, want zo'n scan is iets aparts en tijdens normaal gebruik doe je dat dus niet. ZFS is heel anders omdat het bij elke leesactie ook de checksum controleert. Dankzij de 'End-to-End data integrity' zorgt ZFS ervoor dat de applicaties nooit corrupte data te zien krijgen, wat natuurlijk voor grote problemen kan zorgen als bijvoorbeeld je iSCSI image corrupte data levert aan NTFS aan de andere zijde. Helaas geldt dit alleen voor disk corruptie niet voor corruptie veroorzaakt door RAM bitflips.

Het concept van ZFS is erg mooi maar ik draai liever een Windows OS voor m'n NAS. (en, nee, het is *echt* niet nodig me proberen te overtuigen toch voor ZFS te gaan - m'n vraag gaat over data integrity).

Neem dan ook iets wat veilig is; moet het persé Windows zijn? Als jij mijn verhaal kunt begrijpen, kun je ook een kant en klare NAS distributie bedienen is mijn gedachte hierbij. Dus waarom die angst? Als je betrouwbare opslag wilt, ligt ZFS voor je klaar als een schat die ontdekt moet worden. Binnen 5 minuten heb je van een standaard PC een NAS gemaakt waar je met Windows bij kunt komen en er bestanden op kunt zetten. Dat is wat je wilt, toch? Waar struikel je dan precies over?

[pipo de C]

Het is ook realiteit met een enkele disk hoor, maar je komt het natuurlijk sneller tegen met een grote collectie schijven met hoge datadichtheid.

Dat bedoelde ik ook maar de kansen dat je er problemen van gaat ondervinden veranderen naarmate je array groter wordt. Afijn, dat weet de gemiddelde tweaker wel.

Alle hardware RAID weet niets over corruptie. Het enige wat het weet is of de data overeenkomt met de parity data. Daarvoor moet het wel apart zo'n background scan uitvoeren wat ongeveer hetzelfde is als een rebuild. In zo'n geval kan hardware RAID zien wanneer parity en data niet overeenkomen. Voor zover ik weet zal hardware RAID altijd de parity corrigeren aan de data. Dus als de data corrupt is geworden en de parity is goed, dan vernietigt de controller de juiste parity data door corrupte parity data te schrijven aan de hand van de corrupte data blok.

Met een RAID6 array zou dit toch niet mogen voorkomen? Ofwel de data is corrupt, ofwel de parity op beide disks is corrupt en dan ook nog eens op identieke manier, wiskundig lijkt me dat vrijwel onmogelijk. Deze informatie zou een HW controller toch kunnen gebruiken bij een restore? Ik had dit in m'n vorige post even duidelijker moeten vermelden. Met RAID5 snap ik dat corrupte data (zonder checksum) en met alleen parity nooit geverifieerd kan worden.

Maar zelfs error detectie heb je niet met hardware RAID, want zo'n scan is iets aparts en tijdens normaal gebruik doe je dat dus niet. ZFS is heel anders omdat het bij elke leesactie ook de checksum controleert. Dankzij de 'End-to-End data integrity' zorgt ZFS ervoor dat de applicaties nooit corrupte data te zien krijgen, wat natuurlijk voor grote problemen kan zorgen als bijvoorbeeld je iSCSI image corrupte data levert aan NTFS aan de andere zijde. Helaas geldt dit alleen voor disk corruptie niet voor corruptie veroorzaakt door RAM bitflips.

Realtime vs periodic integriteitschecks snap ik, daarin wint ZFS gewoon, ik heb ook geen commentaar op ZFS zelf. Het gaat er mij om dat ik op de lange termijn m'n data beveilig tegen failures (RAID is geen backup - dat snap ik). Als thuisgebruiker heb ik geen probleem een wekelijkse scan uit te voeren. Dat is met Areca te schedulen, Areca raadt ook aan dit wekelijks te doen overigens, staat ook gewoon in de manual.

Neem dan ook iets wat veilig is; moet het persé Windows zijn? Als jij mijn verhaal kunt begrijpen, kun je ook een kant en klare NAS distributie bedienen is mijn gedachte hierbij. Dus waarom die angst? Als je betrouwbare opslag wilt, ligt ZFS voor je klaar als een schat die ontdekt moet worden. Binnen 5 minuten heb je van een standaard PC een NAS gemaakt waar je met Windows bij kunt komen en er bestanden op kunt zetten. Dat is wat je wilt, toch? Waar struikel je dan precies over?

Ik snap de principes allemaal en 15 jaar geleden zou ik ZFS gekozen hebben als ik destijds de keus had maar op dit moment kies ik liever voor een eenvoudige (en grote 20+ TB) setup die nog wel flexibel (dus geen kant en klaar NAS van Qnap/Synology etc) waarbij ik ook nog een vendor support heb mocht er iets mis gaan. In mijn geval zou ik ook nog eens een virtual setup draaien en Windows op een aparte SSD zetten, iets wat ook hier regelmatig voorbij komt.

Ik zal ZFS best aan de gang krijgen en misschien zelfs nog wel snel ook maar dan.. stel er gaat iets mis (met alle respect voor de fora zoals tweakers) maar dan wil ik niet aangewezen zijn op een forum.

[FireDrunk]

Een HW raid controller kan niet zien dat de parity kapot is. Je bent dus nooit tegen bitrot beveiligd op dezelfde manier als dat ZFS daar tegen beveiligd is.

[pipo de C]

Met dubbele parity moet dat toch te doen zijn?

[FireDrunk]

In theorie ja (met veel moeite), in de praktijk nee.
Er zijn (voor zover ik weet) geen RAID systemen die on-the-fly iets met checksums doen.
Enige manier van data controle is dus door middel van integrity checks. En die lezen de data in en valideren of de parity gelijk is aan de nieuwe parity die even berekend word. Als op dat moment de pariteit niet klopt, word de pariteit opnieuw weggeschreven. Waarom doen ze dit? Omdat als de pariteit gelooft word tijdens een rebuild je dus corrupte data krijgt.

Andersom werkt het vaak niet, als je pariteit corrupt is, en je data nog goed, maar er valt een disk uit, word de data dus verkeerd gerebuild omdat de pariteit corrupt is.

Controle op de 'geldigheid' van de pariteit heb ik nog nooit gezien (buiten ZFS en btrfs). Als dat wel zo is bij de nieuwe Areca series, ben ik aangenaam verrast

[HyperBart]

Hmmm , * HyperBart is happy . Iets sneller dan verwacht (had het budget nog niet "vlot" beschikbaar) heb ik mijn uitbreiding naar meer diskspace nu al gemaakt...

Ik ben er in geslaagd om 5 x 3TB drives op de kop te tikken (yes, FireDrunk, ik heb de gok toch maar gewaagd voor dat geld ) voor een "schappelijke prijs" (=goede prijs, maar nog steeds veel geld) van 565 EUR.

Betreft volgend modelletje: pricewatch: Hitachi Deskstar 7K3000, 3TB

En die komen in mijn N40L... RAM moet bij volgend budget nog wel uitgebreid worden, maar tijdelijk kan ik wat lenen van mijn ESXi die voorlopig nog ruim bemeten zit qua echt "nodige RAM"...

Mijn QNAP met 4 x 2TB gaat dus dienst doen als secondary storage (backup medium) en op termijn zal mijn ESXi-server op basis van een SuperMicro bordje fungeren als ESXi met gevirtualiseerde storage/NAS
In een verdere toekomst plaats ik waarschijnlijk een bijkomende M1015 (bovenop diegene die er nu al inzit) om connectiviteit te bieden aan de 5 x 3TB en de 4 x 2TB die nu nog in mijn N40L en QNAP zitten. Een extra voeding zal zich dan ook aandringen om de 10 tot 12 SATA devices van prik te voorzien...

Doordat ik mijn storage virtualiseer heb ik nog steeds de flexibiliteit om functionaliteiten aan mijn thuisomgeving toe te voegen (DC, PPTP VPN-machine en een Sabnzbd+/CouchPotato/Sickbeard-machine). Dan heb ik echt mijn "core-omgeving" die ik altijd draaiend wil hebben. VirtualBox op ZFSguru doe ik eigenlijk liever niet, voelt altijd zo sluggish aan...

Foto's volgen nog, de diskjes zijn volgende week onderweg...

[HyperBart]

Even een aparte post, omdat die ongerelateerd is aan de vorige, maar om verder in te pikken op het 128TB verhaal van hierboven: ik heb me wat ingelezen in SAS expanders, en ik had graag volgend verhaaltje geverifieerd gehad:


Een M1015 bevat 2 SAS2 poorten.
Een SAS2-poort heeft een bandbreedte van 2.4GB/s .
Via een SAS2 to SATA kabel, ben je dus eigenlijk die SAS2-poort zwaar aan het underutilizen, right?

Dus één SAS2 poort kan dus eigenlijk ongeveer 20 x 7.2K SATA-disks voorzien van connectiviteit?

[Nielson]

In principe heeft 'ie gewoon 8 x 6 Gbps SAS/SATA kanalen, die uitgevoerd worden via 2 x SFF 8087 (4-kanaals) connectors.

[ Voor 17% gewijzigd door Nielson op 10-09-2012 18:54 ]

[thof]

Inderdaad, Nielson heeft gelijk. Je gebruikt dan gewoon de max van de poorten ondanks dat je ze converteerd naar SATA. Dat wordt wel anders wanneer je er en expander op aansluit.

Voorbeeld met een HP Sas expander (8 SAS connectors).
1 SAS-poort van de controller naar 1 SAS-poort van de expander.
7 SAS-poorten blijven dan over op de expander.
Deze 7 SAS-poorten delen dan de bandbreedte van een enkele SAS-poort. Oftewel 1/7 van de snelheid per poort. Als je elke poort zou converteren naar SATA én ze allemaal voorziet van schijven, dan blijft er slechts ~85MB over van de 600 per SATA-poort.

Sommige SAS-expanders ondersteunen duallink, waarmee de verbinding tussen de controller en de expanders met twee kabels wordt aangesloten. Dit levert het volgende plaatje op:
6 SAS-poorten beschikbaar op de expander.
Deze 6 SAS-poorten hebben gezamenlijk 8x600MB bandbreedte beschikbaar. Als je dit dan weer verrekent naar enkele SATA-poorten, komt dat uit op 200MB per poort. Kan dus net snel genoeg zijn voor een hardeschijf, maar niet voor een SSD.

Conclusie: SAS expanders kunnen bruikbaar zijn, mits niet te veel devices tenzij performance van ondergeschikt belangzijn. Tevens kun je voor de prijs van de HP sas expander ongeveer 3 controllers komen, welke gezamenlijk veel meer performance leveren. Kost wel meer PCI-e sloten.

[BartNL]

thof schreef op maandag 10 september 2012 @ 19:35:
Conclusie: SAS expanders

stel dat je hardware raid wilt (windows) dan heeft de expander wel als voordeel dat je een enkel volume kunt maken. Voor thuisgebruik zal de performance via expanders minder een probleem zijn. Bij 10+TB systemen thuis zal het opslag van media zijn en je hebt dan meestal al andere bottlenecks, bijvoorbeeld netwerk, die meer beperkend zijn.

[HyperBart]

thof schreef op maandag 10 september 2012 @ 19:35:
Inderdaad, Nielson heeft gelijk. Je gebruikt dan gewoon de max van de poorten ondanks dat je ze converteerd naar SATA. Dat wordt wel anders wanneer je er en expander op aansluit.

Voorbeeld met een HP Sas expander (8 SAS connectors).
1 SAS-poort van de controller naar 1 SAS-poort van de expander.
7 SAS-poorten blijven dan over op de expander.
Deze 7 SAS-poorten delen dan de bandbreedte van een enkele SAS-poort. Oftewel 1/7 van de snelheid per poort. Als je elke poort zou converteren naar SATA én ze allemaal voorziet van schijven, dan blijft er slechts ~85MB over van de 600 per SATA-poort.

Is het nu te laat aan het worden voor mij, of is er toch iets mis met de berekening:

Een SAS poort op de M1015 levert 2,4GB/s (4 kanalen van 6Gbps = 24Gbps). Als je die aan een SAS expander van 8 poorten hangt heb je toch 2.4GB/s / 7 = 342MB/s ?

[jadjong]

HyperBart schreef op maandag 10 september 2012 @ 23:38:
[...]


Is het nu te laat aan het worden voor mij, of is er toch iets mis met de berekening:

Een SAS poort op de M1015 levert 2,4GB/s (4 kanalen van 6Gbps = 24Gbps). Als je die aan een SAS expander van 8 poorten hangt heb je toch 2.4GB/s / 7 = 342MB/s ?

Klopt. De poort uit jouw verhaal is een SFF8087 die je weer kan splitsen naar 4x sata. 342/4=......~85

[Mr_gadget]

Ik zie al meer dan twee pagina's geen 10+ TB systemen meer
Misschien verder in het ZFS topic?

[Q]

Dit topic is ook bedoeld voor conversatie / discussie, niet alleen builds.

[soulrider]

algemene discussie kan wellicht wel beter in het algemene diy-topic (of het zfs-topic)
Daar is dat ook altijd handig, anders moet je straks overal je informatie gaan zoeken...

[Audiodude]

Ok... Hier is mijn "mooiste" server. Een server in de meterkast. Kon er geen kast voor vinden en heb mijn eigen kast maar gebouwd. :-)

Lang geleden begon het als hieronder. Hij kon zelfs dicht. Ik draaide hierop een lamp stack om mijn websites to hosten. Toendertijd was het een klein systeem met low power benodigdheden. P3-850Mhz met 1x 80GB drive en een 320GB storage drive.



Maar TV en hobbie breidde zichzelf uit. Ik wou een DLNA server en SAMBA server die mijn TVs(3x) en mijn computers(8x) en telefoons etc ook kon bedienen. Ik begon ook mijn muziek CDs en mijn films van DVD en Bluray om te zetten op HDD zodat ik nooit fysiek mijn verzameling hoefde aan te raken. Een klus die me een jaar heeft gekost. Ik plakte er een aantal extra drives aan en in de loop van de tijd hebben er 3 moederbord veranderingen plaatsgevonden met idem proc en hdd uitbreidingen. Ook is er een betere controller M1015 IT bijgekomen en zijn alle HDDs vervangen door 2TB drives van Samsung. Maar door alle uitbreidingen paste het niet meer en ik ben er nooit aan toe gekomen om een nieuwe betere kast te bouwen. Dat gaat over een maand of zo plaatsvinden. (Als ik weer geld heb voor een kast)

Case	DIY in hout
Mainboard	Asus P8H67-M EVO
Geheugen	8GB DDR3
Processor	Intel i5-2500
OS Drive	Vertex 4
Raid Controller	IBM M1015 SAS IT Firmware
Storage	8x 2TB Samsung HD204UI drives
OS	Ubuntu KVM server 1204
Raid Level	Raid 6
PSU	BeQuiet Straight Power 480Watt
Power Idle	200Watt = 2 servers + Modem en Router
Gebruik	VM1 - Ubuntu 1204 - LAMP & Subsonic VM2 - Ubuntu 1204 - MiniDLNA & SAMBA VM3 - Windows 2008R2 - RPC-RDC

Bruto 16TB Netto 12TB


De foto heeft nog steeds een raptop hdd maar die begaf het na de brand.. (mijn dak stond in de brand door bliksem inslag) Ik heb nog 3 andere "home" servers, (18TB, 10TB en 14TB) als ik tijd vind upload ik die ook wel hier. Je kunt ze ook uitgebreider bekijken op audiodude.nl als je niet wilt wachten (of ik het vergeet).

Even een update. Na veel wikken en wegen toch maar weer voor een houten server gegaan.

Hier de nieuwe build :

[ Voor 59% gewijzigd door Audiodude op 01-12-2012 12:46 . Reden: aanpassing aan TS eisen.. ]

[GioStyle]

En de server gaat aan door middel van een schroevendraaier?

[brederodekater]

OMFG

Ik kan mijzelf voorstellen dat je best wat moeite moet doen om het nog zo, relatief netjes, in de meterkast te krijgen.. maar.. waarom??

[victorb]

Wat een build niet helemaal mijn stijl

[Q]

Antoniya001 schreef op vrijdag 14 september 2012 @ 22:43:
Ok... Hier is mijn "mooiste" server.

*knip*

[ Voor 68% gewijzigd door Verwijderd op 16-09-2012 11:47 ]

[Audiodude]

Volgende maand of zo komt deze 2e server erbij in de meterkast en ik heb nu dus een betere kast gevonden waarvan ik er gelukkig wel 2 in die kleine ruimte krijg. Deze server zal worden gebruikt als een failover voor een van mijn andere servers die op een andere locatie staat. En om op locatie bestanden te kunnen bewerken die op de server staan. (Remote Desktop)

18TB server op hele kleine ruimte. 25x41x32cm (ruimte is altijd koud dus is geen issue)







Effe snel specs :

Mainboard	Asus P8Z77-M PRO
Geheugen	16GB DDR3
Processor	Intel i5-3570 (3rd gen)
OS Drive	Vertex 4 (OS)
Raid Controller	Dell H700 (9260-8i) met BBU
Raid Level	Raid 6
Storage	6x Seagate 3TB ST3000DM001
Case	Lian Li PC-V354B
Power Idle	90 Watt
OS	Windows server 2008R2 Enterprise
Software	File services - DFSR Namespace and Replication Hyper-V - User remote desktop Windows 7 VM -> Geluid en text en picture bewerking.

Meer plaatjes op mijn blog : http://www.audiodude.nl/?p=858

[ Voor 78% gewijzigd door Audiodude op 01-12-2012 12:48 . Reden: aanpassing aan TS eisen.. ]

[LightStar]

Kijk dat wordt al een stuk beter....

[Audiodude]

Post Deleted

[ Voor 186% gewijzigd door Audiodude op 16-09-2012 23:44 . Reden: aanpassing aan TS eisen.. ]

[Q]

Ik denk dat het aardiger is dat je van de 'nette' systemen die aan de criteria voldoen een nette post maakt conform de eisen. Anders wordt het alleen maar een versnippering van info waar niemand wat aan heeft.

[VorCha]

Sorry dat ik het zeg Q, maar wat ben jij een hork. In geen van de gestelde build criteria van dit topic staat dat de vormgeving van de bouw aan een bepaalde standaard moet voldoen. Uitgezonderd dat het in 1 'chasis' is gebouwd.
De post kan misschien wel wat netter, dat wordt ook gevraagd in de TS. Jouw toon wat mij betreft ook.

[Audiodude]

Ik zal vandaag de posts aanpassen. Ik had in eerste instantie alleen de laatste paar posts gelezen over dat er al 2 paginas geen systemen meer waren gepost en dacht: "Voila hier is er eentje." Ik had de TS beter moeten lezen. Excuus.

[Q]

Geen punt.

BTW. Ik klaag een beetje over Antoniya001 zijn meterkast computer, maar mijn eigen lack torentje is niet super netjes.

Maar als ik nou mijn download server in een 19" case monteer en dan zoiets zou neerzetten:



Op marktplaats iets van 279. Is wel heel netjes. Een full-height 19" rack zou ook wel passen en dan hoef ik geen nieuwe cases te kopen maar dat zou wel erg ziek worden.

Maar aan de andere kant, ik hou wel een beetje van ziek.

[ Voor 19% gewijzigd door Q op 16-09-2012 09:54 ]

[FireDrunk]

Vaak maar half diep, das een beetje nadeel...

[brederodekater]

Hebben jullie al de nieuwe Lian Li kasten op de frontpage gezien? Link

Het ziet er naar uit dat deze nieuwe kasten een betere airflow hebben dan mijn huidige V2100, dus deze gaat hoogst waarschijnlijk direct de container in zodra de nieuwe modellen beschikbaar zijn

[Birdie_NL]

FireDrunk schreef op zondag 16 september 2012 @ 10:15:
Vaak maar half diep, das een beetje nadeel...

Het model dat Q aangeeft heeft een diepte van 1000mm. Dus een Norco behuizing van 670mm diep zou moeten passen. Zo'n HP rack heeft wel wat

[Audiodude]

Mijn grootste probleem is ruimte. Ik heb een 2 kamer appartment en geen ruimte voor een 19" rack. Meeste van die grote kasten zijn lawaaimakers en daar hou ik ook niet van. Ruimte in de meterkast is erg beperkt en kasten die enige ventilatie hebben en passen binnen zo'n kleine ruimte en ruimte hebben voor minimaal 10 drives zijn erg dun gezaaid. Gelukkig is mijn meterkast altijd onder de 20 graden, zelfs als het buiten 35 is.

Hopelijk zijn de posts hierboven nu beter.

[ Voor 5% gewijzigd door Audiodude op 16-09-2012 11:53 ]

[Convoy]

zal hierbij ook maar even mijn trouwe fileservertje met jullie delen

Mainboard: Supermicro PDSME
PSU: Cooler Master Silent Pro Gold 1200W
Processor: Intel(R) Pentium(R) D CPU 3.00GHz
Memory: 4GB DDR2
Raid Controllers: 2x Supermicro 8-Port SATA Card - (AOC-SAT2-MV8)
Storage:
Raid Level Raid 1
2x WDC WD740GD-00FL 75GB
Raid Level Raid 5
8x Hitachi HDS72101 1TB
8x SAMSUNG HD103UJ 1TB
OS: Linux version 2.6.28.9 (root@debian) (gcc version 4.3.3 (Debian 4.3.3-8) )

[lampie1979]

Q schreef op zondag 16 september 2012 @ 09:52:
Geen punt.

BTW. Ik klaag een beetje over Antoniya001 zijn meterkast computer, maar mijn eigen lack torentje is niet super netjes.

Maar als ik nou mijn download server in een 19" case monteer en dan zoiets zou neerzetten:

[afbeelding]

Op marktplaats iets van 279. Is wel heel netjes. Een full-height 19" rack zou ook wel passen en dan hoef ik geen nieuwe cases te kopen maar dat zou wel erg ziek worden.

Maar aan de andere kant, ik hou wel een beetje van ziek.

Zoek er ook zo een. Die op MP zijn helaas uitverkocht (heb deze al gemaild).

[brederodekater]

freekweb schreef op zondag 16 september 2012 @ 13:19:
zal hierbij ook maar even mijn trouwe fileservertje met jullie delen

Mainboard: Supermicro PDSME
PSU: Cooler Master Silent Pro Gold 1200W
Processor: Intel(R) Pentium(R) D CPU 3.00GHz
Memory: 4GB DDR2
Raid Controllers: 2x Supermicro 8-Port SATA Card - (AOC-SAT2-MV8)
Storage:
Raid Level Raid 1
2x WDC WD740GD-00FL 75GB
Raid Level Raid 5
8x Hitachi HDS72101 1TB
8x SAMSUNG HD103UJ 1TB
OS: Linux version 2.6.28.9 (root@debian) (gcc version 4.3.3 (Debian 4.3.3-8) )

Jeetje, een 1200Watt voeding. Is dat niet een beetje overkill? Wat voor een kast zit er trouwens om heen?

Foto's?

[marcop23]

freekweb schreef op zondag 16 september 2012 @ 13:19:
zal hierbij ook maar even mijn trouwe fileservertje met jullie delen

Mainboard: Supermicro PDSME
PSU: Cooler Master Silent Pro Gold 1200W
Processor: Intel(R) Pentium(R) D CPU 3.00GHz
Memory: 4GB DDR2
Raid Controllers: 2x Supermicro 8-Port SATA Card - (AOC-SAT2-MV8)
Storage:
Raid Level Raid 1
2x WDC WD740GD-00FL 75GB
Raid Level Raid 5
8x Hitachi HDS72101 1TB
8x SAMSUNG HD103UJ 1TB
OS: Linux version 2.6.28.9 (root@debian) (gcc version 4.3.3 (Debian 4.3.3-8) )

Zal wel een leuke stroomslurper zijn, zo met een Pentium 4 en 18 HDD's

Wat ik me wel afvraag:
Je hebt 18 HDD's. Zie zullen bij het opspinnen zo'n 360W trekken. Dan heb je nog de rest van je systeem, die ook niet meer dan 200W zal doen. Ik kom op 560W. Waarom dan zo'n super-overkill voeding?

En wat ik me ook nog afvraag:
Waarom die oude Linux kernel (Debian Stable doet nu 2.6.32-5 geloof ik) en de Debian Etch? Je kan toch wel even upgraden naar de nieuwste Debian (met 1 command gedaan)? Of heb je een uptime van 1000+ dagen

[thof]

lampie1979 schreef op zondag 16 september 2012 @ 13:20:
[...]


Zoek er ook zo een. Die op MP zijn helaas uitverkocht (heb deze al gemaild).

Mmm, jammer had mij best wel wat geleken die kast! Ze hebben hem meerdere malen op MP staan en niet op de website. Achja, dan maar niet en zoeken naar een mooi geprijst alternatief.

[Dadona]

Vooropgesteld, dit soort dingen zijn voor mij eigenlijk totaal nieuw...dus probeer er een klein beetje rekening mee te houden.

Deze zal dan al verkocht zijn neem ik aan
Maar die lagere prijzen, zijn dan voor een rackbehuizing zonder dit soort dingen:

Tenminste, dat neem ik aan. Dat zou anders wel extreem goedkoop zijn. (Azerty heeft deze en daar kost het ding een kleine duizend euro.)

Zonder dan zit de prijs vooral in het hoge gewicht dat zo'n rackmount aankan of hebben dit soort dingen nog meer leuke dingen? Ik wil niet zeggen dat een Lackrack een volwaardig alternatief is (for starters, die pootjes...), maar het principe vraag ik mij wel af. Als het ding daadwerkelijk leeg is, dan is het toch 'gewoon' een 'doos' met gaas?

[ Voor 3% gewijzigd door Dadona op 16-09-2012 15:41 ]

[analog_]

offtopic:
nvm

[ Voor 97% gewijzigd door analog_ op 16-09-2012 15:46 ]

[Convoy]

brederodekater schreef op zondag 16 september 2012 @ 13:28:
[...]


Jeetje, een 1200Watt voeding. Is dat niet een beetje overkill? Wat voor een kast zit er trouwens om heen?

Foto's?

ja PSU is idd een overkill i know, maar heb deze PSU over kunnen nemen voor een schappelijk prijsje waarvoor ik em niet heb kunnen laten liggen Vorige PSU was een 700W die vorige maand is overleden... Alles zit trouwens in een Chieftec CA-01B Mesh BigTower.

OS kan idd wel een update gebruiken ja

[ Voor 5% gewijzigd door Convoy op 16-09-2012 15:47 ]

[thalantis]

brederodekater schreef op zondag 16 september 2012 @ 10:46:
Hebben jullie al de nieuwe Lian Li kasten op de frontpage gezien? Link

Het ziet er naar uit dat deze nieuwe kasten een betere airflow hebben dan mijn huidige V2100, dus deze gaat hoogst waarschijnlijk direct de container in zodra de nieuwe modellen beschikbaar zijn

dacht dat je eerst deze bedoelde
http://nl.hardware.info/n...zing-ziet-het-levenslicht

[FireDrunk]

Habba habba..... die is cool

[victorb]

Tof alleen nu nog een microatx versie ervan en minder diep en minder hoog maar wel kubis

[Verwijderd]

Dadona schreef op zondag 16 september 2012 @ 15:39:
Vooropgesteld, dit soort dingen zijn voor mij eigenlijk totaal nieuw...dus probeer er een klein beetje rekening mee te houden.

Deze zal dan al verkocht zijn neem ik aan
Maar die lagere prijzen, zijn dan voor een rackbehuizing zonder dit soort dingen:
Tenminste, dat neem ik aan. Dat zou anders wel extreem goedkoop zijn. (Azerty heeft deze en daar kost het ding een kleine duizend euro.)

Zonder dan zit de prijs vooral in het hoge gewicht dat zo'n rackmount aankan of hebben dit soort dingen nog meer leuke dingen? Ik wil niet zeggen dat een Lackrack een volwaardig alternatief is (for starters, die pootjes...), maar het principe vraag ik mij wel af. Als het ding daadwerkelijk leeg is, dan is het toch 'gewoon' een 'doos' met gaas?

Die 189 euro van serverhome.nl is an sich nog niet zo'n slechte prijs, maar ook weer niet bijzonder. Die HP S10614 rackjes gaan op marktplaats regelmatig voor zo'n 150 euro van de hand, en zelf heb ik voor 120 euro eentje kunnen bemachtingen. Maar als je een niet al te groot rack wilt, dan is die S10614 inderdaad een heel erg prettig rackje: hij past of nét onder je bureau, óf hij is even hoog als je bureau.

Dat ze nieuw duizend euro kosten vind ik zelf ook wat overdreven, maar gelukkig dat zo'n rack toch niet slijt en tweedehands toch een normale prijs heeft.

[FireDrunk]

Waar ik vooral mee zit is de diepte... ALS ik een fatsoenlijk 19" rack koop wil ik er wel alle servers in kwijt kunnen... Om maar een voorbeeldje te noemen, dan moet er ook een HP DL380G7 in kunnen.

[HyperBart]

Bwoah, met zo een rack'je zou ik toch ook wel kunnen leven . Past perfect een van de 4XXX series van Norco in...

[Mr_gadget]

Maar is 19 inch voor thuisgebruik wel handig (afgezien van dat het geil uitziet)? Racks zijn duur, 19 spul wat er in moet is duur en het is vaak erg lawaaiig omdat er kleine fannetjes inzitten..

[DDX]

Voor thuis zijn dit soort racks wel leuk (maar helaas erg duur) :
http://www.apc.com/products/family/index.cfm?id=468

[HyperBart]

Ik denk voor de thuisbouwer dat een Lack tafeltje vaak al meer dan genoeg is...

Hang die van voor vast met vijsjes en hang aan de pootjes telkens hoekprofiel'tjes waar de server op rust en klaar is Kees

[FireDrunk]

Ik wil wieltjes

* FireDrunk had wieltjes op zijn serverkast, maar er is er een afgebroken

[EnerQi]

FireDrunk schreef op maandag 17 september 2012 @ 12:47:
Ik wil wieltjes

* FireDrunk had wieltjes op zijn serverkast, maar er is er een afgebroken

Dan neem je toch gewoon een rolplankje?
Bijvoorbeeld: http://www.koopjespakker.nl/index.php?needle=rolplank
Of gewoon naar de gamma gaan en daar 4 wieltjes en een plank kopen

[FireDrunk]

Kan, maar dat is niet leuk

[HyperBart]

Ook wel leuk: 2 Lack tafeltjes kopen, van beide het tafelblad en maar van ééntje de 4 poten gebruiken: mooi vierkant kastje waar alles in past, zet er nog wat wieltjes onder en het is klaar...

Ik vind mijn Hol tafeltje anders ook wel niet slecht :

https://dl.dropbox.com/u/829511/IMG_0708.JPG

Mama UPS, grote broer HP N40L en kleine broer QNAP TS 439 Pro II

[brederodekater]

Zodra ik met 19" spul ga beginnen dan val ik door de mand bij m'n vrouw. Daarom hou ik het op een grote kast, welke nog enigszins op een normale computer lijkt, zoals de nieuwe Lian Li PC-A75X

[Q]

Kreeg via DM een aanbieding voor een rack. Voor wie er echt serieus over is: zoek even in de V&A daar is een HP rackje te vinden. Ergens denk ik er over na maar het is ook wel wat om neer te zetten. Moet rails mount kit kopen voor server + plankjes voor de rest. Komt misschien wel een keer, maar nu niet.

[tHe_BiNk]

Laten we even eerlijk blijven. Voor een echte tweaker zal elke kast altijd te klein zijn. Tweaker =/= professioneel.

[Hakker]

tHe_BiNk schreef op vrijdag 21 september 2012 @ 21:45:
Laten we even eerlijk blijven. Voor een echte tweaker zal elke kast altijd te klein zijn. Tweaker =/= professioneel.

[afbeelding]

Daarom heb ik mijn eigen kast gewoon gemaakt

[Dadona]

tHe_BiNk schreef op vrijdag 21 september 2012 @ 21:45:
Laten we even eerlijk blijven. Voor een echte tweaker zal elke kast altijd te klein zijn. Tweaker =/= professioneel.

[afbeelding]

En aan het einde van de avond pak je een bezem en veeg je de zooi bijeen?

[Verwijderd]

Voor diegene wat zich afvragen of zo'n 19"rackje wel handig is, het zijn prima bureaubladextensions:

[ Voor 4% gewijzigd door Verwijderd op 22-09-2012 13:35 ]

[BartNL]

Verwijderd schreef op zaterdag 22 september 2012 @ 13:33:
Voor diegene wat zich afvragen of zo'n 19"rackje wel handig is, het zijn prima bureaubladextensions:

duur bureaublad wanneer je het, zoals op de foto, niet als 19"rack gebruikt

[Verwijderd]

Valt wel mee, een tijdje terug voor 120 euro op de kop kunnen tikken. En hij wordt wel degelijk als 19" rack gebruikt, alleen zit de ups helemaal bovenin, en is hij dus niet zichtbaar op deze foto.

[ Voor 12% gewijzigd door Verwijderd op 22-09-2012 13:44 ]