De CSL/OT-kroeg

[BartNL]

RobHaz schreef op zaterdag 23 augustus 2014 @ 16:57:
[...]...ik doe vooral veel kluisjes in en rondom huis. en krijg daar geld voor.

beetje rare manier van opschrijven dat een in inbreker bent

[Berkeley]

BartNL schreef op zaterdag 23 augustus 2014 @ 20:27:
[...]

beetje rare manier van opschrijven dat een in inbreker bent

haha, heb het ff bewerkt.

[OsiriS.nl]

Zijn hier ervaringsdeskundigen m.b.t. vmware virtual san? Ben wel benieuwd naar jullie ervaringen en eventuele tips en tricks/best practices?

[ Voor 8% gewijzigd door OsiriS.nl op 26-08-2014 19:39 ]

[Goshimaplonker298]

Best practices kan je bij VMWare downloaden. Ze hebben een paar mooie PDF's waar je veel info uit kan halen. Check ook de VMWare blog das laatste paar maanden bijna niets anders dan vSan en NSX

Ervaringen zijn goed. De SSD caching zorgt er voor dat het lekker rap is ook in een minimum 3 node opstelling. Voor veel bedrijven zal het een leuk alternatief zijn voor een SAN. Standaard heeft het 16 node support en met een kleine tweak 32 nodes.
Kan je een aardige hoeveelheid storage voor bijelkaar sprokkelen.

Als je zelf wilt klooien. Het is redelijk eenvoudig om je eigen opstelling te bouwen. Zelfs met maar 1 fysieke ESX server. Met nested ESX maak je meerdere virtuele ESX servers en kan je een hele speeltuin bouwen.
Google is your friend voor de How To. Als je een echte SSD gebruikt. Kan je nog leuke performance halen.

Ben zelf wat aan het spelen met Open vstorage met een CEPH backend. Kan je een vsan bouwen met opensource components. Open vstorage is een soort van storage router. Daar kan je zelf kiezen wat voor storage je er achter hangt.

[ Voor 12% gewijzigd door Goshimaplonker298 op 27-08-2014 01:12 ]

[Q]

Erg leuk, ik was zelf me ook al aan het inlezen op Ceph. Maar je moet nog iets tussen Ceph en VMware plaatsen want VMware praat geen Ceph. Die Openvstorage doet alleen NFS, geen iSCSI begrijp ik.

Maar je kunt ook gewoon twee machines een of meerdere virtuele IPs geven en deze machines de ceph block storage via iscsi laten exporteren?

[ Voor 26% gewijzigd door Q op 27-08-2014 02:47 ]

[Goshimaplonker298]

Q schreef op woensdag 27 augustus 2014 @ 02:46:
Erg leuk, ik was zelf me ook al aan het inlezen op Ceph. Maar je moet nog iets tussen Ceph en VMware plaatsen want VMware praat geen Ceph. Die Openvstorage doet alleen NFS, geen iSCSI begrijp ik.

Openvstorage doet idd NFS via een vmkernel port lokaal op de ESX host zelf. Het draai in een VM op elke ESX host. Met een distributed database voor locking en zo. Je kan CEPH bijvoorbeeld als object based storage er achter hangen. Openvstorage doet de rest als storage router.
In dit geval gaat je storage traffic Ceph naar de Openvstorage router welke dan via de vmkernel port lokaal NFS praat. soort van local host effect voor het NFS traffic gedeelte.
Dus VMotion naar een andere host werkt heel goed. HA en Distributed resource scheduler werken. Is leuk spul.

Q schreef op woensdag 27 augustus 2014 @ 02:46:
Maar je kunt ook gewoon twee machines een of meerdere virtuele IPs geven en deze machines de ceph block storage via iscsi laten exporteren?

Wat CEPH en iSCSI betreft.
Ceph is bezig met iSCSI support. Op het moment is er iets beschikbaar via tgt. Dan kan je direct van je OSD node een iSCSI export maken. Heb hier nog niet in detail naar gekeken.
Nadeel is dat je voor vmware persistent locking nodig hebt of VAAI.
- tgt heeft hier zijn limitaties.
- SCST doet persistent reservations maar voor zover ik weet geen VAAI.
- LIO heeft support voor persistent reservations en VAAI
belangrijkste hiervan is ATS (Atomic Set and Test) dat is het locking mechanisme wat VMFS v5 gebruikt ipv SCSI reservations.
Het is wel handig als dit in je implementatie zit. (ivm multi initiator scenarios met meerdere ESX hosts die naar de zelfde lun kijken. Zo wordt de locking afgehandeld voor de VM's. Welke server is "eigenaar" van welke vmdk.
Een RBD mounten op een machine en deze dan via iSCSI exporteren voor gebruik met VMWare dat werkt idd.

Vanuit Ceph wordt aan een volledige iSCSI implementatie gewerkt. Dit staat op de roadmap. Evenals Hyper-v en VMWare clients voor CEPH. Alleen het wanneer is ff de vraag.

[ Voor 4% gewijzigd door Goshimaplonker298 op 27-08-2014 05:39 . Reden: Na brander CEPH roadmap ]

[Q]

Goshimaplonker298 schreef op woensdag 27 augustus 2014 @ 05:35:
[...]


Openvstorage doet idd NFS via een vmkernel port lokaal op de ESX host zelf. Het draai in een VM op elke ESX host. Met een distributed database voor locking en zo. Je kan CEPH bijvoorbeeld als object based storage er achter hangen. Openvstorage doet de rest als storage router.
In dit geval gaat je storage traffic Ceph naar de Openvstorage router welke dan via de vmkernel port lokaal NFS praat. soort van local host effect voor het NFS traffic gedeelte.
Dus VMotion naar een andere host werkt heel goed. HA en Distributed resource scheduler werken. Is leuk spul.

Ik knapte een klein beetje af op NFS maar dat NFS is alleen 'localhost' wat je schrijft. Dus echt 'over de lijn' is alleen maar ceph protocol. Evengoed toch interessant.

Wat CEPH en iSCSI betreft.
Ceph is bezig met iSCSI support. Op het moment is er iets beschikbaar via tgt. Dan kan je direct van je OSD node een iSCSI export maken. Heb hier nog niet in detail naar gekeken.
Nadeel is dat je voor vmware persistent locking nodig hebt of VAAI.
- tgt heeft hier zijn limitaties.
- SCST doet persistent reservations maar voor zover ik weet geen VAAI.
- LIO heeft support voor persistent reservations en VAAI
belangrijkste hiervan is ATS (Atomic Set and Test) dat is het locking mechanisme wat VMFS v5 gebruikt ipv SCSI reservations.

Dit gaat een beetje voorbij mijn kennis, maar wel grappig dat je VAAI noemt want VAAI is eigenlijk wel een must en die standaard open source (IETD) iscsi zooi doet dat niet en dat schijnt qua performance niet zo handig te zijn.

Het is wel handig als dit in je implementatie zit. (ivm multi initiator scenarios met meerdere ESX hosts die naar de zelfde lun kijken. Zo wordt de locking afgehandeld voor de VM's. Welke server is "eigenaar" van welke vmdk.
Een RBD mounten op een machine en deze dan via iSCSI exporteren voor gebruik met VMWare dat werkt idd.

Hmm, dat is al leuk, maar je wilt natuurlijk gewoon je datastore op een iSCSI lun draaien en daar lekker mee spelen.

Vanuit Ceph wordt aan een volledige iSCSI implementatie gewerkt. Dit staat op de roadmap. Evenals Hyper-v en VMWare clients voor CEPH. Alleen het wanneer is ff de vraag.

Dat wist ik niet en dat zou echt gaaf zijn.

Je ziet toch dat de grotere jongens geen SANs gebruiken. Allemaal comodity hardware met wat disks die ieder een stukje storage aanbieden. Iedere node is gewoon een bouwsteen van CPU, RAM en storage.

Nu zou ik de CEPH nodes gescheiden houden van andere taken. Maar een paar HP servers met ieder een stuk of 24 disks zou een heel leuk stukje storage kunnen bieden.

Mag ik vragen: hoe gaat CEPH met SSDs om, kunnen nodes die dingen als cache gebruiken?

[Goshimaplonker298]

Q schreef op woensdag 27 augustus 2014 @ 17:14:
[...]


Ik knapte een klein beetje af op NFS maar dat NFS is alleen 'localhost' wat je schrijft. Dus echt 'over de lijn' is alleen maar ceph protocol. Evengoed toch interessant.


[...]


Dit gaat een beetje voorbij mijn kennis, maar wel grappig dat je VAAI noemt want VAAI is eigenlijk wel een must en die standaard open source (IETD) iscsi zooi doet dat niet en dat schijnt qua performance niet zo handig te zijn.


[...]


Hmm, dat is al leuk, maar je wilt natuurlijk gewoon je datastore op een iSCSI lun draaien en daar lekker mee spelen.

In princiepe is VAAI opgebouwd uit zaken die allemaal in de T10 standaard zitten. Opensource moet dus geen probleem zijn. LIO ondersteunt het gewoon.

Q schreef op woensdag 27 augustus 2014 @ 17:14:
[...]

Dat wist ik niet en dat zou echt gaaf zijn.

Je ziet toch dat de grotere jongens geen SANs gebruiken. Allemaal comodity hardware met wat disks die ieder een stukje storage aanbieden. Iedere node is gewoon een bouwsteen van CPU, RAM en storage.

Nu zou ik de CEPH nodes gescheiden houden van andere taken. Maar een paar HP servers met ieder een stuk of 24 disks zou een heel leuk stukje storage kunnen bieden.

Mag ik vragen: hoe gaat CEPH met SSDs om, kunnen nodes die dingen als cache gebruiken?

Als je genoeg CEPH nodes hebt om je failure domain klein te houden is 24 disks per node leuk. Als je maar een paar nodes hebt gaat het pijn doen als je er een kwijt raakt.

Wat SSD's betreft CEPH kan SSD's gebruiken als:
- Storage dus ipv een HDD voor je OSD gebruik je een SSD
- Als journaling drives voor je HDD. De supported Filesystems voor CEPH zijn journaling. Door deze journal op een ander snel device te plaatsen, zoals een ssd. Zorg je voor een stukje acceleratie.
- Als cache laag. Je kan in CEPH een cache pool definieeren. Deze kan je dan voor een pool met normale disks zetten. Als Read of read/Write cache.

Dat laatste werkt heel goed met Erasure Coded Pools.

[Q]

Bedankt voor de toelichting, dat van die cache pools is super interessant. Zolang all SSD storage nog wat prijzig is lijkt me die cache pools uitstekend.

Inderdaad kun je misschien beter meerdere kleinere nodes hebben omdat anders het uitvallen van een node zoveel impact heeft.

Toch heeft een SAN voor veel bedrijven nog wel meerwaarde in veel gevallen. Ik denk dat straks maar weinig mensen echt goede kennis hebben van CEPH en de shit ook kunnen fixen als het stuk gaat. Je kunt geld besparen door met commodity hardware te werken, maar je maakt weer kosten doordat je CEPH expertise moet hebben.

Zeker voor de kleinere omgevingen is de vraag of een klein CEPH cluster echt kosten efficient is met al het werk wat er in zit.

[ Voor 11% gewijzigd door Q op 27-08-2014 17:45 ]

[Q]

Dit is toch wel erg fijn.

nieuws: Seagate komt met eerste 8TB-harddisk

Ik ben alleen zo benieuwd of deze hogere data densities ook impact heeft op de lange termijn betrouwbaarheid van die dingen.

[FireDrunk]

Ik vind het nog steeds jammer dat die dingen <200MB/s doen en toch wel erg traag blijven in verhouding tot SSD's. Ik snap dat ze geen 100.000 IOPS doen, maar 1000 IOPS ofzo zou al heel leuk zijn.

Ik heb nu 4 schijven, en met 8TB schijven, zou ik haast terug kunnen naar 2 of 3 schijven. Dan is een klein beetje performance toch wel cruciaal...

(Hoewel al mijn VM's tegenwoordig op een SSD-Only ZFS Pool staan... )

[mux]

Minder data en alles op een 1TB SSD proppen. Done.

[FireDrunk]

Minder data *PROEST*...

[Goshimaplonker298]

FireDrunk schreef op donderdag 28 augustus 2014 @ 12:44:
Ik vind het nog steeds jammer dat die dingen <200MB/s doen en toch wel erg traag blijven in verhouding tot SSD's. Ik snap dat ze geen 100.000 IOPS doen, maar 1000 IOPS ofzo zou al heel leuk zijn.

Ik heb nu 4 schijven, en met 8TB schijven, zou ik haast terug kunnen naar 2 of 3 schijven. Dan is een klein beetje performance toch wel cruciaal...

(Hoewel al mijn VM's tegenwoordig op een SSD-Only ZFS Pool staan... )

1000 IOPS dat wordt dan een schijf die rond de 75000 RPM doet. Dus dat zie ik nog niet zo snel gebeuren.
Er zijn wat onderzoeken die beweren dat de prijs van flash geheugen binnen een paar jaar (2018/2019) op het niveau komt dat SSD's goedkoper worden dan disks. Of dat echt zo gaat zijn moet nog blijken.

[FireDrunk]

Ik kan het alleen maar toejuichen, als ze dan gelijk NVMe standaard maken ipv Enterprise...

Ik wil gewoon 16 * PCIe 3.0 (of dan misschien 4.0) lanes naar mijn Flash! En anders niet!

[Q]

FireDrunk schreef op donderdag 28 augustus 2014 @ 13:00:
Minder data *PROEST*...

Mux is wel schattig af en toe

Met SSDs ben ik voor de langere termijn nog steeds een beetje bevreesd over de levensduur dus ik denk dat we nog lang mogen genieten van ronddraaiend roest.

[mux]

Ik ben totaal niet bevreesd om de levensduur als in aantal P/E cycles met zulke grote drives, maar vooral in retentietijd. Die loopt ieder jaar behoorlijk hard terug; waar we vroeger gegarandeerd 100 jaar retentie kregen is de laagste garantie (Samsung TLC) nu 24 jaar mean, 8 jaar guaranteed... brr

[FireDrunk]

Als je zoiets gebruikt icm ZFS en regelmatig scrubt, is er toch niet zo'n ramp?

Als je echt flinke 'decay' ziet, word het tijd om je shit te vervangen

[mux]

Maar de grap is dus juist dat de schijf niet stuk is als je decay ziet, de bitjes vallen gewoon langzaam om. Zelfs bij een schijf die perfect in orde is. Granted, het duurt wel even voordat je serieuze gaten in je bestanden hebt, maar het is orde-grootten sneller dan op PMR schijven.

[Q]

Ik ben maar een simpele ziel, met retentietijd bedoel je hoe lang de bitjes vers blijven als het zeg 10 jaar op de plank ligt? Hoe is die voor ronddraaiend roest dan?

Als de bitjes langzaam om vallen dan zie je toch checksum errors bij regelmatige scrubs als FireDrunk aangeeft?

[mux]

Ja, retentietijd is planktijd. Het is niet zo boeiend in een server die constant aanstaat en kan scrubben, maar wel voor langetermijn-retentie als we eenmaal SSDs gebruiken voor al onze bulk-dataopslag.

[ Voor 17% gewijzigd door mux op 28-08-2014 15:48 ]

[Q]

Maar was het verhaal niet dat HD's ook niet langer dan 10+ jaar mee gaan, dat tape 20+ jaar mee gaat en dat ssd's dus dan vergelijkbaar zijn met HD's? Ik kan niet zo snel cijfers vinden.

Stel dat data maar 8 jaar goed blijft op een SSD worst-case, is dat echt een issue, en in welke context, voor thuis of op het werk?

[ Voor 26% gewijzigd door Q op 28-08-2014 20:11 ]

[Pantagruel]

Q schreef op donderdag 28 augustus 2014 @ 20:08:
Maar was het verhaal niet dat HD's ook niet langer dan 10+ jaar mee gaan, dat tape 20+ jaar mee gaat en dat ssd's dus dan vergelijkbaar zijn met HD's? Ik kan niet zo snel cijfers vinden.

Stel dat data maar 8 jaar goed blijft op een SSD worst-case, is dat echt een issue, en in welke context, voor thuis of op het werk?

Tja da's inderdaad de vraag, wellicht voor thuis. Mbt de werk situatie kom je wellicht eerder aan t max. aantal writes dat een ssd trekt (gokje).

Ik kan eigenlijk enkel vanuit de eigen situatie redeneren en dat komt er op neer dat iedere capaciteitsuitbreiding of verandering van aansluiting een kopieer actie met zich meebracht richting het nieuwe 'formaat'. Op dit moment zijn de ssd's te krap maar toch vooral te duur om als back-up medium te voldoen.
Harde schijven zijn voldoende robuust en hanteerbaar gebleken als backup medium dat ik voor thuis geen tapes meer wil hebben.

[Berkeley]

Ha! Weekend! Eindelijk!

[-Venom-]

Nu nog goed weer ik ben die regen zooooooooo moe de bbq moet nog eens aan want mijn vriezer ligt nog vol

[Berkeley]

Heb je geen afdakje ofzo? ik in de regenen kan de BBQ aan!

[-Venom-]

Jazeker heb ik die... Maar ik heb dan ook een klagende vrouw die het te koud vind

[Berkeley]

Je kan ook binneneten he!

[FireDrunk]

Soms zijn er van die dagen...

[Berkeley]

FireDrunk schreef op maandag 01 september 2014 @ 10:43:
[afbeelding]

Soms zijn er van die dagen...

Maandag he..

[Goshimaplonker298]

FireDrunk schreef op maandag 01 september 2014 @ 10:43:
[afbeelding]

Soms zijn er van die dagen...

Tijd voor of meer memory ( gaat niet op die borden die je in jouw setup hebt) of je kan DRS proberen.

[FireDrunk]

DRS staat al aan, ik moet mijn vCenter VM gewoon gaan korten... Dat ding heeft guest used 200MB, host used 8GB... Heb al wat minder nuttige VM's verwijderd... Ik had een VCOPS vApp gemaakt, maar nog niet naar gekeken, dus maar verwijderd... Scheelt alweer 12GB vRAM ofzo

[ Voor 41% gewijzigd door FireDrunk op 01-09-2014 17:20 ]

[Nindustries]

Om maar een goede intrede in de kroeg te maken; mijn twee Intelligent Memory 16GBB ECC UDIMMS besteld voor mijn Avoton. Oh boy..

[FireDrunk]

Echt?? Cool! Wat heb je betaald?

[Nindustries]

FireDrunk schreef op dinsdag 02 september 2014 @ 08:41:
Echt?? Cool! Wat heb je betaald?

I know right
Zou neerkomen op een 279 + btw each. Ik moet wel bij de hoofdzetel van de verdeler (sona.de) aankloppen, aangezien niemand ze in voorraad heeft.

[FireDrunk]

Holy shit, das duur... Dat is ruim 2x zo duur (per GB) als 8GB DIMM's? Of mis ik iets?

[Nindustries]

True, maar aangezien ik uiteindelijk alles op dit bord ga doen (FreeNAS + jails + virtualBox), kan ik het geheugen wel gebruiken en komt het goedkoper uit dan twee aparte machines. Spijtig voor de homelab, maar achja.. misschien later

[ Voor 13% gewijzigd door Nindustries op 02-09-2014 08:48 ]

[Goshimaplonker298]

Net een paar servers gevuld met 64GB Dimms. 1TB mem voor een server.
Je wilt niet weten wat dat kost.

Nindustries schreef op dinsdag 02 september 2014 @ 08:38:
Om maar een goede intrede in de kroeg te maken; mijn twee Intelligent Memory 16GBB ECC UDIMMS besteld voor mijn Avoton. Oh boy..

Heb je een Avoton bord met SO Dimms besteld vanwege mini-ITX formaat? Zijn ook wat borden met standaard Dimm sloten maar dan is het mobo net een slag groter.

[Q]

Goshimaplonker298 schreef op dinsdag 02 september 2014 @ 20:06:
Net een paar servers gevuld met 64GB Dimms. 1TB mem voor een server.
Je wilt niet weten wat dat kost.

Figure of speech I know, maar eigenlijk ja dat wil ik wel weten, mag ik gokken? 16 bankjes kosten geen idee ik gok 600 (zag zo snel geen prijzen) is 9600 euro ex btw?.

Wat een luxe dat je met dat soort groot speelgoed mag spelen, waarvoor wordt de machine gebruikt, virtualisatie, database of rekencluster node, anders?

[ Voor 26% gewijzigd door Q op 02-09-2014 23:00 ]

[Goshimaplonker298]

Q schreef op dinsdag 02 september 2014 @ 22:55:
[...]


Figure of speech I know, maar eigenlijk ja dat wil ik wel weten, mag ik gokken? 16 bankjes kosten geen idee ik gok 600 (zag zo snel geen prijzen) is 9600 euro ex btw?.

Wat een luxe dat je met dat soort groot speelgoed mag spelen, waarvoor wordt de machine gebruikt, virtualisatie, database of rekencluster node, anders?

Per 64GB DIMM is het €798,- ex btw (€12768,- per node)
Virtualisatie van memory intensive meuk. Loopt eerder uit mem dan uit CPU.
Maar is onder de streep goedkoper dan 2 nodes met 512GB mem.

Ben daarom een berekening aan het maken of een dual E7 systeem met 32 DIMM's misschien een oplossing is voor de toekomst. Kan 2TB geheugen kwijt. Supermicro heeft daar een leuk model voor. Is nu in een speciale promo actie. Dus goedkoper... Mooie is dat er ook nvme SSD's in met een SFF-8639 connector (4xPCI-E) in een standaard 2.5" hotswap bay ingaan.
De E7 CPU's zijn alleen aardig aan de prijs in vergelijk tot de E5 serie.
Hebben wel weer een boel meer cache wat met dit soort workloads merkbaar kan helpen.
Heb in ESX voor dit soort nodes al een aantal tweaks aanstaan zodat het goed gaat* met NUMA, thread en processor affinity en zo.
(* goed gaat in relatie tot deze workload, standaard tuning van ESX is best goed)

[ Voor 12% gewijzigd door Goshimaplonker298 op 03-09-2014 00:02 ]

[Q]

Prijs is dus iets hoger dan gedacht maar 1 fucking TB geheugen voor 12K, dat kostte volgens mij een paar jaar geleden nog 120K als je al zoveel in een systeem kwijt kon.

Maar als je node met 1 TB aan geheugen er uit klapt is de impact ook best pittig, dat maakt mij altijd huiverig voor grote dikke virtualisatie bakken, liever iets meer machines zodat 1 x uitval minder impact heeft, of speelt dat niet zo in deze use-case?

[Goshimaplonker298]

Q schreef op woensdag 03 september 2014 @ 00:04:
Prijs is dus iets hoger dan gedacht maar 1 fucking TB geheugen voor 12K, dat kostte volgens mij een paar jaar geleden nog 120K als je al zoveel in een systeem kwijt kon.

Maar als je node met 1 TB aan geheugen er uit klapt is de impact ook best pittig, dat maakt mij altijd huiverig voor grote dikke virtualisatie bakken, liever iets meer machines zodat 1 x uitval minder impact heeft, of speelt dat niet zo in deze use-case?

Het gaat om je failure domain. Dus wat gebeurt er als die node, die switch, dat rack... enz enz uitvalt.
Als het goed is hou je daar in je design rekening mee. In dit geval is er rekening mee gehouden in het design en uitvoer.
Zo'n node zit daarom ook niet tot zijn nok aan toe vol. Er is een limiet op de utilization die een node in normaal bedrijf mag hebben. Als er dan een node gaat hebben de andere nodes capaciteit om een uitval kunnen opvangen. In dit geval meer dan een omdat men de wens heeft uitgesproken dat maintenance de omgeving niet onder N+1 mag brengen qua redundancy. Met groei wordt dat later bijgesteld naar N+2.
(meer nodes = meer kans op uitval)

[ Voor 3% gewijzigd door Goshimaplonker298 op 03-09-2014 01:34 ]

[Q]

Ok, helder, je hebt dus meer dan 2 nodes staan neem ik aan. Ik bedoel: als je 2 nodes hebt en 1 valt uit, dan moeten alle uitgevallen vm's worden geboot op de 2e node, wat allemaal op die ene node moet gebeuren. Als die load van failover over meerdere nodes wordt gedistribueerd ben je sneller weer up, lijkt me.

[FireDrunk]

Wat voor workkloads hebben we het over? OLTP? Data warehousing?

[Nindustries]

Goshimaplonker298 schreef op dinsdag 02 september 2014 @ 20:06:
Heb je een Avoton bord met SO Dimms besteld vanwege mini-ITX formaat? Zijn ook wat borden met standaard Dimm sloten maar dan is het mobo net een slag groter.

Neinn, de AsRock C2750D4I. Een slag groter? Gewoon ook mITX hoor

[Q]

15 minutes of fame op hacker news:

https://news.ycombinator.com/item?id=8249052

Kwam er pas 3 dagen later achter toen ik de stats van mijn blog zag. 15K users in 3 dagen tijd.

[ Voor 39% gewijzigd door Q op 03-09-2014 14:29 ]

[Goshimaplonker298]

Q schreef op woensdag 03 september 2014 @ 10:25:
Ok, helder, je hebt dus meer dan 2 nodes staan neem ik aan. Ik bedoel: als je 2 nodes hebt en 1 valt uit, dan moeten alle uitgevallen vm's worden geboot op de 2e node, wat allemaal op die ene node moet gebeuren. Als die load van failover over meerdere nodes wordt gedistribueerd ben je sneller weer up, lijkt me.

Yeah we hebben het over meer dan 2 nodes

FireDrunk schreef op woensdag 03 september 2014 @ 10:49:
Wat voor workkloads hebben we het over? OLTP? Data warehousing?

Workloads zijn divers. Databeesten, Data Warehouse en nog wat andere dingen. Heb niet in alles inzicht. Maar meestal zijn er DBA jongens en meisjes bij betrokken.

Nindustries schreef op woensdag 03 september 2014 @ 12:08:
[...]

Neinn, de AsRock C2750D4I. Een slag groter? Gewoon ook mITX hoor

Zat met mijn hoofd ff helemaal in Supermicro land
Dan nog de vraag waarom niet 4x8GB? Of wil je later uitbreiden naar 64GB?

[Extera]

Goshimaplonker298 schreef op dinsdag 02 september 2014 @ 20:06:
Net een paar servers gevuld met 64GB Dimms. 1TB mem voor een server.
Je wilt niet weten wat dat kost.

Ik heb nog blauwe duimen van het upgraden van 40 Cisco B200 M3 blades naar 256 GB
10 TB aan memory door m'n handen laten gaan

[FireDrunk]

Handschoenen aan!

[Nindustries]

Goshimaplonker298 schreef op woensdag 03 september 2014 @ 22:25:
Zat met mijn hoofd ff helemaal in Supermicro land
Dan nog de vraag waarom niet 4x8GB? Of wil je later uitbreiden naar 64GB?

Doet dienst als een all-in-one met FreeNAS & (php)Virtualbox. Dus geheugen nodig voor ZFS, jails en VMs. En ik koop liever nu al 16GB DIMMs voor als ik later grotere schijven erinsteek. (12 bays)
En ook, gewoon omdat het kan. Heb ik zoveel geheugen echt nodig voor ZFS? Achnee.

Extera schreef op woensdag 03 september 2014 @ 22:25:
Ik heb nog blauwe duimen van het upgraden van 40 Cisco B200 M3 blades naar 256 GB
10 TB aan memory door m'n handen laten gaan

En damn, blades. De natte droom voor elke homelabber

[ Voor 0% gewijzigd door Nindustries op 04-09-2014 08:26 . Reden: Typo ]

[Goshimaplonker298]

FireDrunk schreef op donderdag 04 september 2014 @ 08:10:
Handschoenen aan!

En vergeet je antistatische polsbandje niet

[FireDrunk]

Blades?? Die verbruiken echt jankend veel stroom.. :x

Mij niet gezien...

[-Venom-]

Ligt eraan.... als je die stroom niet zelf hoeft te betalen anders

[Goshimaplonker298]

Blades gebruiken veel stroom.
Maar wat voor thuis belangrijker is, ze maken veel lawaai en zijn vaak niet stil te krijgen.

Krijg die dingen vaak zat aangeboden. Maar weinig zin om met oordoppen in te moeten slapen.

[Nindustries]

Daarmee dat het bij een natte droom blijft

[Q]

Blades zijn voor NAS bouwers juist helemaal niet interessant zou ik zeggen. Je wilt juist:



72 drive chassis spul.

Edit: maar als je voldoende computer nerd bent is een doos met tientallen CPU's and TB's of RAM heel sexy natuurlijk.

[ Voor 22% gewijzigd door Q op 05-09-2014 09:49 ]

[Goshimaplonker298]

Q schreef op vrijdag 05 september 2014 @ 08:29:
Blades zijn voor NAS bouwers juist helemaal niet interessant zou ik zeggen. Je wilt juist:

[afbeelding]

72 drive chassis spul.

Edit: maar als je voldoende computer nerd bent is een doos met tientallen CPU's and TB's of RAM heel sexy natuurlijk.

Yeah zijn leuke kasten.
Alleen is hij redelijk duur. Richtprijs voor de barebone is iets in de €5750 range
Je hebt ook een 90 bay Jbod versie.
Klein nadeel van dat chassis is dat de hotswap trays 2 disks bevatten. Als je deze tray trekt gaan er 2 disks offline. Op zich niet zo'n groot probleem kan je in je design rekening mee houden.

[ Voor 11% gewijzigd door Goshimaplonker298 op 05-09-2014 12:33 ]

[Berkeley]

Als blades je natte droom zijn.. Hoop ik dat je ook graag een kenrcentrale in je achtertuin wil!

[u_nix_we_all]

Q schreef op vrijdag 05 september 2014 @ 08:29:
Blades zijn voor NAS bouwers juist helemaal niet interessant zou ik zeggen. Je wilt juist:

[afbeelding]

72 drive chassis spul.

Edit: maar als je voldoende computer nerd bent is een doos met tientallen CPU's and TB's of RAM heel sexy natuurlijk.

Nadeel van die chassis is dat de drives per 2 uit het systeem moeten als je er 1 wilt vervangen. En dat je chassis (power distribution board bijv.) nogal een grote SPOF wordt. In de meeste gevallen ben je beter af met de "gewone" 36-bay 4U units
Of die met 72x 2,5" en die dan volproppen met SSD's

[Berkeley]

u_nix_we_all schreef op vrijdag 05 september 2014 @ 14:13:
[...]

Nadeel van die chassis is dat de drives per 2 uit het systeem moeten als je er 1 wilt vervangen. En dat je chassis (power distribution board bijv.) nogal een grote SPOF wordt. In de meeste gevallen ben je beter af met de "gewone" 36-bay 4U units
Of die met 72x 2,5" en die dan volproppen met SSD's

Hmm.. 72xdie 1Tb ssdtjes.

[Q]

Er zijn nu al een tijdje 2 TB 2.5" drives dus 72 x 2 TB geeft al 144 TB raw capacity.

Ben ik niet vies van. Maar ~15K aan 2.5" is niet zo kosten efficient. Voor 15K koop ik 100 x 4 TB = 400 TB en dat is dan toch beter, ware het niet dat je dan weer chassis + jbod moet hebben, wat die optie in absolute zin weer duurder maakt, worden jullie al gek van me?

Ik ben toe aan weekend.

[Berkeley]

Q schreef op vrijdag 05 september 2014 @ 16:45:
Er zijn nu al een tijdje 2 TB 2.5" drives dus 72 x 2 TB geeft al 144 TB raw capacity.

Ben ik niet vies van. Maar ~15K aan 2.5" is niet zo kosten efficient. Voor 15K koop ik 100 x 4 TB = 400 TB en dat is dan toch beter, ware het niet dat je dan weer chassis + jbod moet hebben, wat die optie in absolute zin weer duurder maakt, worden jullie al gek van me?

Ik ben toe aan weekend.

Hmm.. Als ik het niet zelf hoef te betalen doe me dan toch maar die SSD's hoor.

[HyperBart]

Goshimaplonker298 schreef op donderdag 04 september 2014 @ 18:41:
Blades gebruiken veel stroom.
Maar wat voor thuis belangrijker is, ze maken veel lawaai en zijn vaak niet stil te krijgen.

Krijg die dingen vaak zat aangeboden. Maar weinig zin om met oordoppen in te moeten slapen.

Joh bel dan maar even

[Goshimaplonker298]

RobHaz schreef op vrijdag 05 september 2014 @ 16:51:
[...]


Hmm.. Als ik het niet zelf hoef te betalen doe me dan toch maar die SSD's hoor.

Haha, je kan ook gewoon 2TB ssd's kopen in disk formfactor. Zijn wel enterprise modellen en in de richting van €2000 stuk. Maar als je toch bezig bent

HyperBart schreef op vrijdag 05 september 2014 @ 22:07:
[...]

Joh bel dan maar even

Haha sure, laatst nog een paar vrachtwagen ladingen met blades richting de recycling zien gaan. Volgende keer zal ik aan je denken. Sjouwen doe je wel zelf. Mijn rug zal je danken

[Q]

10 TB schijven, wow. Wel nog zo'n helium enterprise ding, maar toch.

nieuws: HGST kondigt 10TB-hdd en pci-e-ssd voor datacenters aan

[Extera]

Even geduld nog dus, dan zijn ze ook voor ons interessant

Een 2e chassis is helemaal niet nodig straks

[HyperBart]

Iemand bekend met de SFF8088 SAS card van Dell, type UCS-70 ?

Ik heb er hier zo eentje liggen, tesamen met wat SF8088 kabels (eentje van om en bij een metertje en eentje van 30cm) en wou ze graag in V&A gooien maar weet niet wat voor type LSI er onder zit...

[Goshimaplonker298]

HyperBart schreef op zaterdag 13 september 2014 @ 23:52:
Iemand bekend met de SFF8088 SAS card van Dell, type UCS-70 ?

Ik heb er hier zo eentje liggen, tesamen met wat SF8088 kabels (eentje van om en bij een metertje en eentje van 30cm) en wou ze graag in V&A gooien maar weet niet wat voor type LSI er onder zit...

Das de externe variant van de DELL H200, is een LSI 9210 achtige kaart met een 2008 chip. Heb er zelf ook eentje in mijn systeem zitten.
Je kan hem met een oude sas2flash tool goed op lsi firmware zetten. (zelf ook gedaan)

[Q]

https://www.backblaze.com...ty-update-september-2014/

[ Voor 25% gewijzigd door Q op 23-09-2014 19:50 ]

[FireDrunk]

Seagate is dus weer op de goede weg

[Anoniem: 15758]

Mja, ik blijf toch redelijk sceptisch over dit soort onderzoeken. Het gevaar is namelijk dat consumenten zeggen: oh ik neem Hitachi want dat zijn de meest betrouwbare schijven. Terwijl een dergelijke uitspraak onwetenschappelijk is gezien de beperkte scope van het BackBlaze-onderzoek.

De grafiekjes zien er mooi uit. Maar je kunt ook zien dat er behoorlijk wat variatie zit tussen de vorige uitkomsten van begin dit jaar. Metname de 3TB schijven van Seagate en WD verschillen grofweg 50% met de vorige meting. Dat zijn wel heel drastische wijzigingen. Nu denk ik inderdaad wel dat de kwaliteit van de schijven die uit de fabriek rollen sterk kan verschillen gedurende de tijd, maar toch denk ik dat dit niet de enige verklaring is. Er zullen vast andere factoren zijn, zoals de beperkte en selectieve hoeveelheid samples die BackBlaze test. Als BackBlaze een badge schijven binnenkrijgt en die test, is dat meer een test van die betreffende badge, dan van de hele serie. Het beste zou natuurlijk zijn dat je schijven over de hele wereld willekeurig koopt en daar een groot onderzoek naar maakt.

Daarnaast is het zo dat deze schijven in een serveromgeving worden gebruikt en getest. Niet een consumentenomgeving waar de factoren heel anders liggen. Temperatuurvariatie, luchtvochtigheid, vibraties, duty cycle, fluctuaties van de genoemde factoren, you name it! In datacentra worden de schijven veelal 24/7 in een zeer stabiele omgeving gebruikt. Consumenten gebruiken hun hardeschijven op een totaal andere manier. Hierdoor zou het heel goed kunnen dat je ook heel andere resultaten krijgt als je een dergelijke test doet bij consumentengebruik versus gebruik van de schijven in datacentra.

Kortom, het is leuk om te zien, maar alleen op basis van dit, durf ik geen uitspraken te doen als 'Hitachi is het meest betrouwbaar' of 'WD is beter dan Seagate'.

[FireDrunk]

Ik vind een testcase van 34.000+ schijven toch best aardig...

[dcm360]

Schijven hebben ze inderdaad wel voldoende om voor hun zelf goede statistieken te kunnen maken. Dat neemt nog niet weg dat het grootste deel van de wereld de neiging heeft om harddisks 'liggend' te gebruiken, terwijl de disks van BackBlaze staan met de sata/power naar beneden. Het zou best kunnen dat HDD's van Seagate dit minder fijn vinden dan HDD's van andere merken.

[Anoniem: 15758]

Dat is maar één van de vele factoren. Punt is dat het onderzoek van BackBlaze op tal van punten geen goede referentie is voor hoe consumenten hun hardeschijven gebruiken. Ik noemde een aantal factoren, maar je kunt het zo gek niet bedenken welke factoren allemaal van invloed kunnen zijn. Het is onwetenschappelijk om de resultaten van een dergelijk onderzoek te koppelen aan een situatie waarbij hele andere factoren van toepassing zijn; het wetenschappelijke principe van ceteris paribus.

[Goshimaplonker298]

Ze Interwebs Het internet heeft er weer iets bij om te mis interpreteren en the quoten.

Lees hun riedel het rapport van Blackblaze maar eens door en doe dan een google search naar commentaar. Er zijn diverse, in de storage wereld bekende, mensen die goed inhoudelijk commentaar gegeven hebben op het voorgenoemde Blackblaze rapport. Zit interessant lees materiaal tussen.
Voorbeeld: (Slaat de spijker ook nog niet helemaal op de kop omdat de blackblaze utilization scheme van de drivers redelijk goed beschreven is in de blog, maar zeker het lezen waard)
http://www.enterprisestor...not-to-do-research-1.html

[ Voor 66% gewijzigd door Goshimaplonker298 op 24-09-2014 03:25 . Reden: Verwarring ]

[Anoniem: 15758]

http://zeinterwebs.tumblr.com/

Kun je anders aangeven waar je precies op doelt?

[Q]

Ik vraag me voornamelijk af of de hoge uitval van Seagate komt omdat de oudste drives van Seagate zijn. Dan is het nogal logisch dat ze zo'n grote uitval hebben.

[dcm360]

Vandaag in mijn server de tijdelijke videokaart (een HD5850) eens vervangen door een wat zuiniger exemplaar (een HD5450). Blijkbaar scheelt dat 40 tot 50 watt in idle, wat toch wel iets meer is dan dat ik had verwacht. Blijkbaar zijn virtualisatie-OSen niet heel erg goed in het uitschakelen van ongebruikte hardware. Volgende stap wordt een efficientere voeding, als ik de oude server daadwerkelijk ga vervangen. Er zit nu een 500W bronze voeding in, en daarmee denk ik dat die wel een aardig deel van de resterende 65W gebruikt.

[Nindustries]

Argh.. begin problemen te krijgen met de Marvell controller en FreeNAS... (denk ik toch)
Plotse SMART errors, drive drops, 2400 sectors pending op een schijf, schrijven niet meer gaan op een andere schijf (RMA) en shitty pool performance. Enigste dat ik nog niet geprobeert heb is andere kabels. Hot plugging dat niet werkt is nu ook niet bepaald motiverend voor diagnose.

Ligt misschien niet allemaal aan de controller en is toevallig, maar werkt toch demotiverend..
Gisteren schijf aan Intel controller gehangen, normale performance. Schijf aan Marvell gehangen; 50 MB/s read/write.. moet nog juist kabels checken.

http://forums.tweaktown.c...performance-horrible.html
https://forums.freenas.or...nge-smart-behavior.24039/

sigh.

[_Arthur]

Nindustries schreef op donderdag 16 oktober 2014 @ 10:07:
Argh.. begin problemen te krijgen met de Marvell controller en FreeNAS... (denk ik toch)
Plotse SMART errors, drive drops, 2400 sectors pending op een schijf, schrijven niet meer gaan op een andere schijf (RMA) en shitty pool performance. Enigste dat ik nog niet geprobeert heb is andere kabels. Hot plugging dat niet werkt is nu ook niet bepaald motiverend voor diagnose.

Ligt misschien niet allemaal aan de controller en is toevallig, maar werkt toch demotiverend..
Gisteren schijf aan Intel controller gehangen, normale performance. Schijf aan Marvell gehangen; 50 MB/s read/write.. moet nog juist kabels checken.

http://forums.tweaktown.c...performance-horrible.html
https://forums.freenas.or...nge-smart-behavior.24039/

sigh.

Zie mijn reactie: _Arthur in "Het grote DIY RAID NAS topic deel 3"

Die beide marvell controllers op de C2750D4I moet je gewoon links laten liggen. Dikke prut. Niets dan ellende mee gehad tijdens het testen zoals je kan lezen. Het draait nu al een hele tijd (zonder raid en alleen de intel sata poorten in gebruik) naar tevredenheid verder.

Heb je meer dan die 6 intel poorten nodig: M1015 halen.

[Nindustries]

_Arthur schreef op donderdag 16 oktober 2014 @ 10:14:
[...]


Zie mijn reactie: _Arthur in "Het grote DIY RAID NAS topic deel 3"

Die beide marvell controllers op de C2750D4I moet je gewoon links laten liggen. Dikke prut. Niets dan ellende mee gehad tijdens het testen zoals je kan lezen. Het draait nu al een hele tijd (zonder raid en alleen de intel sata poorten in gebruik) naar tevredenheid verder.

Niet echt een optie, steekt al een Intel nic in het PCIe slotje en heb 12 schijven
Fokfokfokfokfokfokfok

Het raarste is dat alles perfect heeft gewerkt tot een week geleden.

[ Voor 5% gewijzigd door Nindustries op 16-10-2014 10:16 ]

[FireDrunk]

Volgens mij is het technisch vrij onmogelijk voor een gare controller om voor reallocated sectors te zorgen...

Ik zeg niet dat die Marvell controllers niet de boosdoener zijn, maar schijven kan niet kapot van slechte controllers...

[Nindustries]

FireDrunk schreef op donderdag 16 oktober 2014 @ 10:22:
Volgens mij is het technisch vrij onmogelijk voor een gare controller om voor reallocated sectors te zorgen...

Ik zeg niet dat die Marvell controllers niet de boosdoener zijn, maar schijven kan niet kapot van slechte controllers...

Denk ik ook, maar ik ben gewoon een beetje het noorden kwijt. (Zoveel kapot in zo een korte tijd)

[_Arthur]

Nindustries schreef op donderdag 16 oktober 2014 @ 10:15:
Niet echt een optie, steekt al een Intel nic in het PCIe slotje en heb 12 schijven

En je hebt die extra netwerk poorten 'echt nodig'?

[Nindustries]

_Arthur schreef op donderdag 16 oktober 2014 @ 10:26:
[...]

En je hebt die extra netwerk poorten 'echt nodig'?

Wou datastore voor VMs (iSCSI MPIO over 2 poorten), 2TB mirrored 'werk directory' (users, spotweb, downloads, backups) + Media (9 schijven) over 2 poorten (LACP) sturen.
Dusja, wou wel wat ruimte hebben.

Enige optie is C2750D4I verkopen en gaan voor een BSD-compatibel bordje met een celeron en een M1015 zekers.
(Ik wil geen AiO)

Edit: kaartje is 80 euro, stel ik krijg nog 240 voor de C2750D4I. Dat is 160 voor een moederbord+cpu dat in FN ondersteund wordt..

[ Voor 23% gewijzigd door Nindustries op 16-10-2014 11:22 ]

[_Arthur]

Nindustries schreef op donderdag 16 oktober 2014 @ 10:28:
Dusja, wou wel wat ruimte hebben.

En daar heb je meer dan 2Gbit/s gemiddeld (fullduplex) voor benodigd?
Wat is/was de huidige belasting over je netwerk voordat je problemen kreeg?

[Nindustries]

_Arthur schreef op donderdag 16 oktober 2014 @ 11:00:
[...]

En daar heb je meer dan 2Gbit/s gemiddeld (fullduplex) voor benodigd?
Wat is/was de huidige belasting over je netwerk voordat je problemen kreeg?

Misschien niet, maar wou toch wel wat ruimte hebben naar mijn toekomstig cluster.
Atm nog geen virtualisatieservers, dus enkel nog maar 1 poort aangesloten.
Het is het principe; ik wil een aparte ZFS server met diskencryptie waar alles opgeslagen is.
Hier komen dan apart virtualisatieservers die enkel een usb stickje nodig hebben.

Of in het laatste geval een XPenology eropzwieren voor file-based iSCSI, goodbye ZFS.

Edit: Wat gebruiken jullie als SAN?

[ Voor 22% gewijzigd door Nindustries op 16-10-2014 14:47 ]

[Extera]

Wat bedoel je met SAN? Die term is nogal breed
Ik doe iSCSI over 10Gb Ethernet met 2 CX4 kaartjes. Via een file extend op FreeNAS.

[FireDrunk]

* FireDrunk gebruikt iSCSI op 4*256GB SSD's in RAID0 over 4* 1Gb

[Nindustries]

Extera schreef op donderdag 16 oktober 2014 @ 15:49:
Wat bedoel je met SAN? Die term is nogal breed
Ik doe iSCSI over 10Gb Ethernet met 2 CX4 kaartjes. Via een file extend op FreeNAS.

Waarmee realiseren jullie je SAN *

Kleine update: Ik ga dan maar de C2750D4I verkopen en in de plaats een Supermicro X10SL7-F kopen voor een AiO. Ik veronderstel dat ik die SAS2 poorten kan doorgeven in ESXi alsook breakout'en* dmv SAS->SATA kabels? 8 SAS2 ports -> ... SATA ports? (zoiets)
6Gb/s gedeeld door 4 -> 187.5 MB/s. Genoeg voor een enkele mediaschijf per SATA poort dus!
Geeft me zelfs meer uitbreidbaarheid als de C2750D4I!

* outbreaken? breakout'en?

[ Voor 47% gewijzigd door Nindustries op 17-10-2014 08:58 . Reden: Edited voor duidelijkheid ]

[FireDrunk]

Huh? Hoe reken jij? 6Gb is per poort? Niet voor de hele controller?

Op die X10SL7-F, zijn de SAS2 poorten gewoon fysiek SATA aansluitingen, dus je hebt geen speciale kabels nodig.

[_Arthur]

Ik persoonlijk zou eerst een M1015 van ebay halen. Als je hier rond de 75/85euro max voor betaald, kan je die later alsnog doorverkopen zonder veel verlies (genoeg vraag naar op Tweakers doorgaans), als blijkt dat de M1015 ism de 2750D4I toch niet 'de juiste keuze' was.

En wat moet je met 187.5MB/s voor je 'media schijf'? Bekijk je 25 HD streams tegelijkertijd oid?

[Nindustries]

FireDrunk schreef op vrijdag 17 oktober 2014 @ 08:46:
Huh? Hoe reken jij? 6Gb is per poort? Niet voor de hele controller?

Op die X10SL7-F, zijn de SAS2 poorten gewoon fysiek SATA aansluitingen, dus je hebt geen speciale kabels nodig.

Alright, alright blijkbaar reken ik dus niet zo goed op een vrijdagochtend.

Ik dacht dat deze SAS2 poorten konden gesplitst worden dmv breakout cables, dus 4 SATA schijven per poort. (6Gb/s per poort) Gaat dit niet, of bedoel je dat SAS2 backwards-compatible is?

I iz confus.

[_Arthur]

Als je gewoon het plaatje van het bordje bekijkt, zie je dat er 8 stuks SAS2 poorten op zitten. Dus helemaal geen breakout kabels nodig.



* _Arthur geeft Nindustries een kopie koffie om wakker te worden.

[ Voor 26% gewijzigd door _Arthur op 17-10-2014 09:07 ]

[Nindustries]

_Arthur schreef op vrijdag 17 oktober 2014 @ 09:04:
Als je gewoon het plaatje van het bordje bekijkt, zie je dat er 8 stuks SAS2 poorten op zitten. Dus helemaal geen breakout kabels nodig.

[afbeelding]

* _Arthur geeft Nindustries een kopie koffie [afbeelding] om wakker te worden.

Ahh.. had het al bekeken maar dacht dat SAS er gewoon beetje op leek.
Geen 32 drives op deze controller dus. (4 SATA per poort, 4 * 8 = 32. Right?? )

Dat zijn dus al 'maar' 8 schijven die ik zoiezo kan doorgeven, ik veronderstel dat de andere niet kan splitsen?
(SATA6 poorten voor ESXi, SATA3 ook voor VM)

* Nindustries heeft 11 schijven om door te geven naar de VM.

[ Voor 5% gewijzigd door Nindustries op 17-10-2014 09:34 ]

[_Arthur]

Eerst had je 'nog' maar 12 schijven en nu al 32.... wel duidelijk blijven he anders snappen wij het ook niet meer

Die LSI2308 kan tot 1000 devices aan: dus ja, die SAS2 poorten kan je breakout-en. Wel even de juiste kabel er bij zoeken.

[Nindustries]

_Arthur schreef op vrijdag 17 oktober 2014 @ 09:36:
Eerst had je 'nog' maar 12 schijven en nu al 32.... wel duidelijk blijven he anders snappen wij het ook niet meer

Die LSI2308 kan tot 1000 devices aan: dus ja, die SAS2 poorten kan je breakout-en. Wel even de juiste kabel er bij zoeken.

Ik had het over de mogelijkheden he
Ik zoek wel even de kabel. Op IRC zei er iemand dat dit niet ging?

* Nindustries dacht dat er van de SAS2 poorten reverse-breakout moest gedaan worden naar een expander, waarna er dan terug breakout cables moeten aangesloten worden.

Gaat niet apparently.

Opgelost. Ik ga alle onboard controllers doorgeven en een cheap hba'tje kopen voor de datastore.
Ik customize de iso wel, kleine moeite.

Edit: Zijn er SuperMicro X10 eigenaars hier dat dit kunnen bevestigen? Bedankt!

BTW) Iemand een quad port nic ruilen tegen twee dual nics?

[ Voor 46% gewijzigd door Nindustries op 24-10-2014 08:25 ]

[Bigs]

Goshimaplonker298 schreef op woensdag 27 augustus 2014 @ 01:06:
Ben zelf wat aan het spelen met Open vstorage met een CEPH backend. Kan je een vsan bouwen met opensource components. Open vstorage is een soort van storage router. Daar kan je zelf kiezen wat voor storage je er achter hangt.

Beetje een oude koe dit, maar ik ben benieuwd of je nog ervaringen hebt die je kunt telen mbt deze combinatie. Het klinkt wel interessant maar het opzetten van een testomgeving heeft nogal wat voeten in de aarde Presteert het een beetje en is het stabiel? Het feit dat het de S3 interface naar Ceph gebruikt maakt me een beetje argwanend.. zou het niet veel sneller zijn om direct met RADOS te verbinden?

Ik zou zelf het liefst een iSCSI oplossing gebruiken tussen Ceph en VMWare, maar er is nog niet echt een kant en klare oplossing met zaken als MPIO.. laat staan iets wat door VMWare wordt ondersteund (as in professionele support).

[ Voor 8% gewijzigd door Bigs op 29-10-2014 21:10 ]

[Nindustries]

Vandaag komen mijn twee Elite 110'tjes aan, oh boy!
De vriendin heeft al toegestemd met het bouwen van een Lack Rackje

Mijn plan:
3 lack rack tafeltjes kopen; tweeverdieps rack bouwen. (3 plateaus met 2 keer poten ertussen. Misschien dat derde paar poten gebruiken voor langs de zijkant vanonder?)
Vanonder de UPS samen met de Elites zetten, moet nog juist meten of dit uitkomt.. anders er maar vanboven opzetten.
Bovenste verdiep mijn storage server 'opleggen' met daarboven de switch en patch panel. Ik heb zelfs nog massa's plaats over!
En dan als laatste rack rails (zoals de Raxxess rails, weet iemand waar ik deze in de winkel kan vinden in Belgie?) tegen de tafel schroeven als versteviging en voor alles vast te vijzen. En geen casters vergeten onder te zetten!

'dis gon be guud.

Edit: Nope. 19 inch is 17.7 inch bruikbare ruimte onderin en 2x Elite 110's is 20.6 inch. Ach, ik kan de Elite's natuurlijk ook gewoon achter de poten zetten!

[ Voor 8% gewijzigd door Nindustries op 06-11-2014 09:48 . Reden: Rekenwerk enzo ]

[FireDrunk]

3 hoog LACK? Dat is wel instabiel... Lack is leuk hoor, maar het blijven tafeltjes van 5 euro. Je moet ze goed aan elkaar vastmaken, en de poten zijn *niet* massief, dus zomaar even schroeven is er niet bij...

* FireDrunk heeft een 'LACK-rack' van 2 tafeltjes naast elkaar op een grote multiplex plaat met 4 wielen er onder... Ik heb in de lackracks mijn switch gemonteerd, en er licht wat (oud) rackspul in, en erbovenop staan mijn 4 cluster hostjes.

Achterafgezien is het niet zo fijn als ik had gehoopt, het hele ding is een beetje log...