De CSL/OT-kroeg

[Verwijderd]

# spindown drive 'da0' with 100 second idle time
spindown -d da0 -i 100

Zie ook:
man spindown

Of de drive ook gaat downspinnen dien je zelf te controleren door de schijf te voelen/horen. Eventueel is er een smartctl commando om dit te controleren, maar het beste kun je het voelen/horen/meten.

[init6]

Heeft iemand een tip voor een tower / xU behuizing waar ten minste 10 tot 20 disks in kunnen en de koeling gedaan word dmv grotere fans (120mm+)?

[FireDrunk]

https://ri-vier.eu/rivier...3a-p-329.html?cPath=1_3_6

16 schijven, en volgens mij 12CM fans... Ze hebben daar ook een heel aantal kasten met meer schijven, maar die zijn bijna allemaal met 8CM fans.

Als je goede 8CM fans koopt, zou het geheel ook stil moeten zijn, dus ik zie het probleem niet zo.

[Phyt_]

Verwijderd schreef op zondag 08 juni 2014 @ 18:13:
# spindown drive 'da0' with 100 second idle time
spindown -d da0 -i 100

Zie ook:
man spindown

Of de drive ook gaat downspinnen dien je zelf te controleren door de schijf te voelen/horen. Eventueel is er een smartctl commando om dit te controleren, maar het beste kun je het voelen/horen/meten.

Thanks Cipher, heb het werkend. Blijft dit bij een reboot ook behouden deze settings?
Heb nog niet veel ervaring met FreeBSD.
spindown -b -i 300 -t 600 -d da1 -t 600 -d da2 -t 600 -d da3 -t 600 -d da4 -t 600 -d da5

[ Voor 3% gewijzigd door Phyt_ op 09-06-2014 02:35 ]

[BartNL]

FireDrunk schreef op maandag 09 juni 2014 @ 00:58:
https://ri-vier.eu/rivier...3a-p-329.html?cPath=1_3_6

16 schijven, en volgens mij 12CM fans... Ze hebben daar ook een heel aantal kasten met meer schijven, maar die zijn bijna allemaal met 8CM fans.

Als je goede 8CM fans koopt, zou het geheel ook stil moeten zijn, dus ik zie het probleem niet zo.

de 4U kasten van Ri-Vier hebben 120mm fans. Zijn van dikke type (25mm) en zijn op 12V luidruchtig. Voor stille kast zijn ze terug te regelen d.m.v. een fancontroller of te vervangen.

[Bolletje]

25 mm is standaard dikte, tenminste wat ik normaliter tegenkom. 38 mm zijn die dikke (server)fans, welke soms ook op 230V werken. 15 mm is dan weer dun.

Je kan er ook voor kiezen om de fans aan te sluiten op een zelfgemaakte fancontroller en dan plak je de NTC rechtstreeks op de harde schijven. Zo heb ik dat bij een paar servers gedaan, omdat de processorkoeling dan een eigen luchtweg heeft (en in de BIOS dus instellen dat de ventilators daar een bepaalde grenswaarde moeten aanhouden dus weinig zin heeft).

[ Voor 54% gewijzigd door Bolletje op 09-06-2014 12:26 ]

[init6]

FireDrunk schreef op maandag 09 juni 2014 @ 00:58:
https://ri-vier.eu/rivier...3a-p-329.html?cPath=1_3_6

16 schijven, en volgens mij 12CM fans... Ze hebben daar ook een heel aantal kasten met meer schijven, maar die zijn bijna allemaal met 8CM fans.

Als je goede 8CM fans koopt, zou het geheel ook stil moeten zijn, dus ik zie het probleem niet zo.

Het doel is een systeem voor in de trapkast naast de woonkamer, het jankende geluid wat ik soms op mijn werk hoor hou ik liever daar waar het hoort: Een datacenter.

Momenteel ben ik een eigen testlab cluster omgeving aan het uitbreiden van betaalbare commodity hardware gewoon voor thuis. Het enige wat ik weet is dat grote fans stiller zijn (doorgaans) dan kleine fans. Vandaar.

[Bolletje]

init6 schreef op maandag 09 juni 2014 @ 12:25:
[...]


Het doel is een systeem voor in de trapkast naast de woonkamer, het jankende geluid wat ik soms op mijn werk hoor hou ik liever daar waar het hoort: Een datacenter.

Momenteel ben ik een eigen testlab cluster omgeving aan het uitbreiden van betaalbare commodity hardware gewoon voor thuis. Het enige wat ik weet is dat grote fans stiller zijn (doorgaans) dan kleine fans. Vandaar.

In de regel ja, maar hoeft natuurlijk niet; je kan veel bereiken met een goede luchtstroom. Dan kunnen 80 mm fans ook voldoende zijn.

[FireDrunk]

Jankende fans is 9999/10000 keer 40MM fans van 1U kasten. Grotere fans maken bijna nooit een echt jankend geluid. Ze kunnen zeker ook hard blazen, en kabaal maken, maar die standaard HP taferelen zul je niet zo snel tegenkomen bij 80MM fans.

Koop 4 80MM Noctua's en je zal een lange tijd lol hebben van een stille behuizing...

[BartNL]

init6 schreef op maandag 09 juni 2014 @ 12:25:
[...]Het doel is een systeem voor in de trapkast naast de woonkamer,

bij mij staat het systeem vergelijkbaar opgesteld (op zolder boven slaapkamer) en is eenmaal opgestart onhoorbaar. Is een systeem met 2x Norco en 1x Ri-Vier kast.
De Ri-Vier kast is bij opstarten het meest hoorbaar maar de ventilatoren kunnen worden terugregeld via moederbord of losse controller. Zelf gebruik ik een mCubed T-Balancer miniNG omdat er geen moederbord in mijn Ri-Vier kast zit (alleen storage). Na opstart en terugregelen zijn de fans stiller dan de 12 schijven in deze kast.

[Extera]

Hmz, die mCubed T-Balancer miniNG is wel een goede tip misschien... Ik vind de 24 slot ri-vier kast net iets te veel geluid maken naar mijn zin.

Over jankende FANs gesproken... ik heb de FANs van een HP 2900 switch vervangen laatst... (omgesoldeerd) wat een herrieschopper! Was best een spannend klusje

[ Voor 5% gewijzigd door Extera op 09-06-2014 21:10 ]

[Q]

Het lukt me nu om de JSON output van FIO in een Django database te importeren. Volgende stap is om daar een interface omheen te maken. Het doel is om met de interface makkelijk tabelletjes en grafiekjes te genereren op basis van data die je selecteert.

Ik heb nog een lange weg te gaan want ik ken amper Python.

[DXaroth]

Q schreef op dinsdag 10 juni 2014 @ 07:27:
Het lukt me nu om de JSON output van FIO in een Django database te importeren. Volgende stap is om daar een interface omheen te maken. Het doel is om met de interface makkelijk tabelletjes en grafiekjes te genereren op basis van data die je selecteert.

Ik heb nog een lange weg te gaan want ik ken amper Python.

Probeer niet het wiel opnieuw uit te vinden; met paketten als graphite en statsd kan je bijvoorbeeld gewoon daarheen je data dumpen, die zetten het dan om in een RRD-achtige database, waarna je er heel simpel grafieken uit kan sjorren...

added bonus, knoop er collectd aan vast en je hebt gelijk grafieken van best veel stats van je server, via 1 interface te benaderen.

[Q]

Bedankt voor de tip, maar volgens mij sluit dit niet aan bij mijn wens.

Ik wil met FIO specifieke (handmatige) benchmarks runnen op bepaalde storage configuraties waarna ik de resultaten in de tool importeer en grafiekjes van doorsneden kan maken.

[Dadona]

Goed, het heeft even geduurd maar, daar issie!

The road to success is always under construction.
Arnold Palmer

Het teruglopen van het energiegebruik van computers en het oplopen van het vermogen van mooiere voedingen maakt dat er een steeds grotere kloof. Een mooie voeding kun je hier zien als een voeding met een beetje passend vermogen, passief gekoelde voeding, een voeding met een hoge efficiëntie, een voeding met hoge kwaliteit componenten en/of een voeding die modulair is. Zeker de combinatie maakt dat je al snel in het 400W segment terecht komt. Het alternatief, een PicoPSU, is leuk, maar met wat meer schijven al snel ook niet meer interessant. Nog los van dat de bouwkwaliteit toch minder is.
Even voor de beeldvorming. Een veel gebruikte optie is de pricewatch: Seasonic G-Serie 360Watt . Nog altijd niet modulair. Kwalitatief zit de pricewatch: Seasonic G-Serie 450Watt dan wat beter. Modulair, betere componenten. Maar ja, hoger vermogen en een hogere prijs.

Nu is deze trent niet iets van het laatste jaar. Maar eindelijk is het zover dat ik er wat aan kon doen. Met veel hulp van mux. Al jaren liep ik met het idee om dan maar meerdere computers op één voeding te draaien. En om meerdere redenen was dat toch problematisch/onhandig. Maar eindelijk was het moment daar! En de kandidaat was mijn server met gevirtualiseerde nas (vt-d, esxi, zfs, ecc, ..).

Zo zien jullie computers er toch ook uit??

Het hele verhaal achter de combinatie en de uiteindelijke splitsing laat ik achterwege. Maar voor nu volstaat dat ik te maken heb met een Xeon 1220 (voor de server) en vijftal 3.5" schijven (voor de nas). Beide kanten van het verhaal zijn eigenlijk niet handig voor op een PicoPSU. Ze zorgen voor een te hoog piekvermogen. Maar tel het bij elkaar op en een normale (als in niet Qtec achtige voeding) vraagt zich af wie daar kriebelt...
Nu is de weg naar succes er één met wat hobbeltjes. De bovenstaande foto ziet er iets anders uit, dan de foto een kleine twee weken geleden. Er waren wat problemen, bij het inschakelen van de server viel de nas uit. Daar bleken een aantal redenen voor te zijn, maar sinds gisteravond zijn die verholpen. Nu kunnen de nas en de server onafhankelijk van elkaar in en uitgeschakeld worden.

Goed, de details.

Allereerst was vast al opgevallen dat er daadwerkelijk twee computers in één behuizing zitten. Met wat kleine 3d printsels van mux, wat gaatjes en helaas ook de soms wat angstaanjagende geluiden is het ITX bord nu in de kast gemonteerd. Het ITX bord is de nas.
Om het netwerk op een veilige manier te kunnen gebruiken (als in, een ongelukje met een netwerkkabel trekt niet meteen het moederbord van de plek, maakt een short met andere ellende tot gevolg) is er een bracket gemaakt met twee netwerkkabels. Die kabels gaan intern naar de nas. Aan de achterkant van de behuizing kan ik nu gewoon op een 'normale', relatief veilige manier mijn netwerkkabels aansluiten.
Maar het ware meesterwerk ligt rechts. De switch. Vanaf de voeding komen een ATX en een P4 kabel en die gaan links in de switch. Ernaast zitten de ATX connectoren en (erachter) de P4 connectoren voor de NAS en server. Verder zittern er nog wat debugging tools bij. Tools die erg nuttig bleken voor het erm... debuggen.
Het grootste probleem was nog wel dat, hoewel de voeding qua piekvermogen het allemaal makkelijk aankan, de 12V lijn net iets teveel inzakt als de server erbij komt. Andersom is het geen punt. Om die reden zitten er bij de P4 connector op de NAS, op de 12V lijn, twee condensatoren die net genoeg zijn om de 12V dip op te vangen. De NAS blijft nu wel aan bij inschakeling van de server.

Goed, nu is dit nog niet helemaal het einde van het verhaal. Zoals te zien is, is kabel management nog echt een drama. Dat heeft ermee te maken dat ik ga proberen om de voeding te vervangen. Onderin ligt een Seasonic X-560. Het alternatief is al enige tijd in huis, de Seasonic Platinum 400W. Helaas gaat dat vandaag niet meer gebeuren. En of het werkt, tja, dat is de vraag.

[HyperBart]

[Patatjemet]

Gaaf! Heb je wat info over de uiteindelijke besparing (aan stroom)?

[Dadona]

Momenteel heb ik nog geen metingen kunnen verrichten, de energie meter moet even een week opname maken van iets anders.

Daar komt bij dat ik vanaf een all-in-one (server met gevirtualiseerde nas) oplossing kom. Ik ga naar twee systemen, waarbij ik voorkom dat ik een 'extra' voeding in moet zetten. Voor mij is dan in dit geval het doel om zo dicht bij de all-in-one oplossing kom qua verbruik of er iets onder. Daarvoor moet je nog weten dat in die all-in-one ook een m1015 zat. De controller gaf ik door aan de gevirtualiseerde nas. Nu hoop ik tegen minimaal extra verbruik de m1015 te vervangen door de nas en hierbij de nas op Ubuntu te zetten. Later volgt de laatste stap waarbij ook de server naar Ubuntu gaat met KVM. Vanaf dat moment zou ik qua verbruik mogelijk iets onder de all-in-one kunnen zitten.

Nu snap ik wel je vraag. Maar in plaats van wat ik ermee zou bereiken kun je het eigenlijk zelf gewoon nagaan. Wat je met deze actie totaal voorkomt is de inefficiëntie van één van de twee voedingen. En daarnaast breng je de efficiëntie van de andere voeding, door een hogere belasting, naar alle waarschijnlijkheid omhoog.
Stel bijvoorbeeld dat twee computers elk 20W DC gebruiken. Met een voeding die op dat moment 80% efficiënt is zie je een verbruik van 25W AC per computer. Gooi je de twee computers aan één voeding dan voorkom je inefficiëntie van één voeding (5W winst daar). En daarnaast zal de 'andere' voeding een hogere belasting krijgen (40W DC). Met die belasting zal naar alle waarschijnlijkheid al iets efficiënter zijn.
De slagen om de arm hebben ermee te maken dat de belasting van de voeding niet op grofweg meer dan 50% uitkomt. Anders zul je met menig voeding een lagere efficiëntie krijgen. Dan krijg je dus een inefficiëntere voeding, maar nog altijd spaar je de inefficientie van de tweede uit.

Nu is de hele actie ingegeven door het feit dat menig computer (vooral storage servers) juist een overdreven lompe voeding hebben. Ik zie veelal waarden van rond de 20W idle. Gooi er een lading aan schijven bij en we zitten nog altijd op 50-60W. Kijk je naar de ATX voedingen, dan zie je dat het start rond de 300W. Dus je zit nog altijd op slechts 33-40% belasting zit als je twee van die monsters hebt (wat al niet echt waarschijnlijk is). Kijk je naar de curve dan zie je dus dat door combinatie van die twee systemen op één voeding je de efficiëntie van die voeding omhoog brengt en daarnaast spaar je de inefficiëntie van de tweede uit (nog los van aanschaf).

Tot slot. Nee dit is niet hele, totale verhaal. Er zullen ook nog verliezen zitten door extra kabels enz. Maar dat zijn niet de schokkende waarden. Misschien dat de winst in efficiëntie wegvalt. Maar je blijft de inefficiëntie van de andere voeding voorkomen.

[ Voor 9% gewijzigd door Dadona op 14-06-2014 11:14 ]

[FireDrunk]

En (misschien wel) het grootste voordeel, je hoeft geen tweede dure 80 Plus Gold voeding te kopen

[Dadona]

Wie zegt dat de switch met kabels goedkoop was? Ik heb geen ribben meer over.

[Q]

Toch een leuk project, een hobby mag wat kosten.

[Dadona]

Oh zeker. Als ik het puur naar de meeste economische beslissing had moeten gaan dan had ik gewoon mijn oude bakje moeten behouden. Niet moeten gaan klooien met het opzoeken, uitzoeken en samenstellen van efficiënte opstellingen. En ik had al helemaal niet ook nog eens zoveel uur moeten steken in het tunen en bespreken. Maar hopelijk komt er uit dit project ook iets moois waar anderen wat aan hebben. Maar het is nog vroeg.

De eerste waarden zijn daar: 30W idle met alleen de nas aan en de schijven in spindown (enkel een Crucial m4 nog) met de server uit. De server heeft wel ipmi aanstaan, dus daar komt ook nog een paar Watt aan meerverbruik vandaan. Als de (4x4TB WD Red en 1x3TB WD Red) schijven aanstaan dan zit dat ergens rond de 47.xW in idle. De taak is nu om de Xeon erbij te krijgen voor iets van 20W idle en dan zit ik ongeveer op het niveau van de all-in-one setup.

[Extera]

Leuk project Dadona!
Heb je die switch ergens aangeschaft of zelf gemaakt? (Ziet er pro uit). Ben benieuwd naar de details!

Ik heb zojuist mijn schijven + IBM 1015 uit mijn ESX server gehaald en in hun nieuwe huis gemonteerd.
(Ri-vier 24 bay, intel G2020, 24GB mem, 10GB CX4)

Het importeren van de encrypted pool ging even fout, ik had eerst een oude key (geli file) te pakken. Gelukkig de juiste nog gevonden.

Ik ben nu wat tests aan het draaien, maar de G2020 vind denk ik de encryptie niet leuk, mijn esx bak (Xeon 1230v2) deed dat in hardware, maar de G2020 schiet direct naar 100% als ik benchmarks draai vanaf een VM (NFS / iSCSI).

De tests naar een andere pool welke niet encrypted is gaan veel sneller, zonder een hoge CPU load. Die pool is echter weer langzamer, ik wil die 10Gb wel eens vol zien worden getrokken

[FireDrunk]

Extera schreef op maandag 16 juni 2014 @ 00:40:
Leuk project Dadona!
Heb je die switch ergens aangeschaft of zelf gemaakt? (Ziet er pro uit). Ben benieuwd naar de details!

Is gemaakt door onze zuinigheidsfreak

On another note:

2 van mijn 4*4TB Seagate HDD.15 schijven geven Current Pending Sectors... Nou was ik daar eerst niet zo bang voor omdat het er maar 1 op de ene en 8 op de andere waren (en ik toch ZFS draai ). Toen ik het voor het eerst zag, heb ik gelijk een scrub gedraait, en die vond niets.

Recentelijk is op de ene schijf het aantal CPS van 1 naar 4 gegaan. Weer een scrub gedraaid, en er is 72K data gerepareerd. Allemaal prima, nog niets aan de hand zou je zeggen, maar: De CPS blijven pending, en gaan niet naar Reallocated...

Afgelopen weekend zag ik dat het aantal CPS naar 8 op beide schijven is gegaan... Nou dacht ik eerst dat de CPS misschien in lege ruimte zouden zitten, en dat daarom een scrub niet zou helpen om deze naar Reallocated Sectors te krijgen, dus daarom heb ik door middel van een nieuw ZFS Filesystem en daar met DD een file van 1.7T geschreven zodat de pool 100% vol zat.

Daarna nog een scrub gedraait en de file weer verwijderd. Dit leverde nog steeds geen Reallocated sectors op...

Iemand een idee? Omdat het 2 van de 4 schijven zijn in RAIDZ1 kan ik niet beide schijven tegelijk opsturen.

Beste actie nu is natuurlijk, koop twee nieuwe schijven, doe een ZFS replace, en stuur de oude op.

Maar ja, twee schijven kopen is ook weer 200-250 euro

[ Voor 69% gewijzigd door FireDrunk op 16-06-2014 09:06 ]

[mux]

Dit zijn de switches (deze batch gaat richting FireDrunk):



Het is een project dat al lang in de steigers stond maar mede door gunstige timing van Dadona's project nu eindelijk een keer is gebouwd. Ik heb vijf prototypes; ééntje zit in Dadona's server en deze drie gaan veldgetest worden door FD. Het is nog eerste-generatie hardware, dus ze zijn niet bugloos en er zijn ook nog een aantal features die eigenlijk nog missen. Voorlopig blijft het project dus nog een beetje 'under the radar' totdat alles helemaal werkt en alle functionaliteit erin zit die je van zo'n soort product verwacht.

Ook is de huidige versie nog best prijzig; €20-25 puur aan onderdelen (in kleine aantallen), dus 'verkoopprijs' zou nu minstens op 60 euro liggen in deze vorm; dat is meer dan een goede kwaliteit voeding

[EnerQi]

mux schreef op maandag 16 juni 2014 @ 12:20:
Dit zijn de switches (deze batch gaat richting FireDrunk):

[afbeelding]

Het is een project dat al lang in de steigers stond maar mede door gunstige timing van Dadona's project nu eindelijk een keer is gebouwd. Ik heb vijf prototypes; ééntje zit in Dadona's server en deze drie gaan veldgetest worden door FD. Het is nog eerste-generatie hardware, dus ze zijn niet bugloos en er zijn ook nog een aantal features die eigenlijk nog missen. Voorlopig blijft het project dus nog een beetje 'under the radar' totdat alles helemaal werkt en alle functionaliteit erin zit die je van zo'n soort product verwacht.

Ook is de huidige versie nog best prijzig; €20-25 puur aan onderdelen (in kleine aantallen), dus 'verkoopprijs' zou nu minstens op 60 euro liggen in deze vorm; dat is meer dan een goede kwaliteit voeding

Leuke dingen maar wat ik me afvraag waarom het een switch is? Ik zou juist meer een doorlussing verwachten, maw van 1 aansluiting naar 2 aansluitingen. Is dat dan zoveel duurder? Ik zie bijvoorbeeld veel chipjes etc terwijl ik meer een kabel (verloopstuk) zou verwachten.

[FireDrunk]

De aangesloten machines moeten onafhankelijk van elkaar kunnen blijven werken. Dat is nou juist de grap, er is geen master of slave, de 'child' poorten zijn gelijkwaardig.

[EnerQi]

FireDrunk schreef op maandag 16 juni 2014 @ 14:03:
De aangesloten machines moeten onafhankelijk van elkaar kunnen blijven werken. Dat is nou juist de grap, er is geen master of slave, de 'child' poorten zijn gelijkwaardig.

Met een simpele kabel van 1 naar 2 aanslutingen gaan, heb je dat toch niet? Of kan de iets voeding niet (waardoor er dus electronica tussen moet)?

Ik kijk gewoon naar een simpele satapower aansluiting van 1 naar 2. Waarom kan dat niet met de oplossing van Dadona/Mux?

[ Voor 12% gewijzigd door EnerQi op 16-06-2014 14:46 ]

[FireDrunk]

Hoe zorg je er voor dat 1 van de twee daadwerkelijk geen voeding meer krijgt als de andere PC nog aan staat?

Normaal gesproken zit er een 'schakeldraad' in de ATX stekker... Het moederbord zet dit draad op 1 om aan te geven dat het stroom nodig heeft. Hierdoor gaat de voeding aan en word de P4 stekker van stroom voorzien.

Als 1 van de twee pc's aan staat, en dit schakeldraad aan zet, zou dat betekenen dat de andere P4 stekker ook ineens gevoed word...

Niet echt handig

[mux]

Erger nog, een aantal moederborden start gewoon 'gedeeltelijk' op als je er stroom op zet zonder dat het een aan-signaal heeft gegeven. Of ze starten helemaal op, zodat je geen optie hebt om één computer uit te zetten.

Daarnaast hebben deze bordjes de optie om computers op afstand aan te zetten zónder WoL (oftewel, je kunt een computer helemaal uitzetten zonder sluipverbruik) en meerdere switches kunnen achter elkaar gecascade worden waardoor je (n+1) computers op n switches kunt aansluiten.

Deel van deze functionaliteit is nog niet helemaal uitgewerkt of suboptimaal gebleken, dus in de volgende versie wordt dat gefikst. Maar dat biedt wel hele interessante besparingsmogelijkheden bij meerdere fysieke computers.

[FireDrunk]

Mijn test case is dan ook een ESXi cluster waar 4 machines gevoed worden door 1 360 / 450W voeding (ben er nog niet uit welke) door 3 bordjes te gebruiken.

In theorie zit je met 4 losse bordjes aan 4*~70% efficiëntie, waar je op ~88% efficiëntie zit als je ze samen op 1 voeding hangt.

Tel uit je winst

[Q]

Eigenlijk is dit een soort gelijke aanpak met een datacenter dat op gelijkstroom draait.

Eigenlijk wil je dus 1 krachtige voeding in 1U het liefst. En dan met niet-bestaande componenten de rest van de apparatuur daar op aansluiten.

De andere componenten hebben dan in plaats van een PSU een printje met aansluitingen voor MB + SATA etc. Die je dan in een soort vertikale distributie kabel met stekkers op bepaalde afstanden kunt prikken?

Of is dat juist weer niet efficient omdat zo'n lange distributie kabel voor weerstand/verlies zorgt?

[FireDrunk]

Probleem is meer dat je dan een hoog vermogen door lange kabels moet stoppen... Vooral de P4 kabel vind dat niet leuk op hoge vermogens.

[mux]

Ja, dit is exact dat concept. De kabels zijn niet zo'n probleem; als je het echt over hele serverracks hebt gooi je er gewoon bus bars in plaats van kabels in voor het heftige werk. Is alsnog eenvoudiger, efficiënter en goedkoper dan meer kleine voedingen.

Het enige verschil hier is dat ik heb gekozen voor 'standaard' ATX-stekkers in plaats van iets beters. Een 24-pin ATX-stekker is nogal een zootje met hoopjes effectief nauwelijks gebruikte kabels en een paar overbelaste veelgebruikte kabels. Idealiter zou ik andere connectoren gebruiken (en dan gelijk ook >2 downstream computers kunnen aansluiten) maar dat was voor het eerste prototype misschien wel iets téveel experimentatie.

[EnerQi]

FireDrunk schreef op maandag 16 juni 2014 @ 14:52:
Normaal gesproken zit er een 'schakeldraad' in de ATX stekker... Het moederbord zet dit draad op 1 om aan te geven dat het stroom nodig heeft. Hierdoor gaat de voeding aan en word de P4 stekker van stroom voorzien.

En dit stukje tekst is dus het gat in mijn kennis .

[Extera]

gaaf project hoor! Zeker als je van plan bent om met een cluster te gaan draaien, elke watt is meegenomen!

[FireDrunk]

Word nog wel een uitdaging om een ATX voeding op een plank te monteren samen met die bordjes en netjes de kabels de kast in te laten lopen...

[Extera]

Even een domme vraag misschien, maar zfs snapshots kan je veilig verwijderen toch? Dit doet niets met de data?

[BartNL]

mux schreef op maandag 16 juni 2014 @ 15:39:
Het enige verschil hier is dat ik heb gekozen voor 'standaard' ATX-stekkers in plaats van iets beters. Een 24-pin ATX-stekker is nogal een zootje met hoopjes effectief nauwelijks gebruikte kabels en een paar overbelaste veelgebruikte kabels. Idealiter zou ik andere connectoren gebruiken (en dan gelijk ook >2 downstream computers kunnen aansluiten) maar dat was voor het eerste prototype misschien wel iets téveel experimentatie.

je zou beter de PSU kant als opzet kant kunnen nemen omdat daar veel aders gecombineerd worden aangesloten. Zie bijvoorbeeld . Dat scheelt een hoop aansluitingen en schakelingen. Vraag me met de je huidige setup af hoeveel vermogen je daar door heen krijgt?

[Extera]

Er zit een max aan de 24p stekker, daarom zit op sommige SLI / CFx borden een extra 4-pin molex om de stroom door de 24p stekker naar de PCI-e sloten te ontlasten.

Bij sommige bitcoin / litecoin miners zijn de 24p aansluitingen nog wel eens gaan fikken

Nu zullen 4 systeempjes minder trekken dan een systeem met 6 GPU's (75 watt per PCI-E slot)... maar het is wel iets om in gedachten te houden denk ik.

[FireDrunk]

Zo'n stekker moet officieel een hoop kunnen hebben...

Uit de ATX spec:

18 AWG is suggested for all wires except for the +3.3 V sense return wire, pin 13 (22 AWG).
For 300 W configurations, 16 AWG is recommended for all +12 VDC, +5 VDC, +3.3 VDC, and
COM.

Dat betekend dus een maximale load van 300W door de stekker... Best een hoop

Het cluster gaat bestaan uit 4 i3-4430's op Biostar ITX bordjes.
Idle load al iets van 15-20W DC zijn, dus ik verwacht dat ik met 4 van die bordjes op 60-80W zit DC.
Dat maakt iets van 90-100W AC voor 4 systemen

[ Voor 23% gewijzigd door FireDrunk op 16-06-2014 20:25 ]

[Extera]

komop! dat cluster kan groter!

[FireDrunk]

Nah. 4 systemen is genoeg

On another note:

Wat denken mensen van SSHD's (Harddisks met een ingebouwde SSD) als ZFS pool voor VM's?
Zou dat werken of denkt men juist van niet? (omdat er veel CoW gebeurt, zou je denken dat er misschien nutteloze data in de cache beland, en de algoritmen van de SSD op de verkeerde manier data cachen die helemaal niet gecached hoeft te worden...

Wat denken jullie? 10 * 500GB SSHD's (met 8GB cache) of 4 * Crucial MX100 256GB?

[mux]

BartNL schreef op maandag 16 juni 2014 @ 19:58:
[...]

je zou beter de PSU kant als opzet kant kunnen nemen omdat daar veel aders gecombineerd worden aangesloten. Zie bijvoorbeeld [afbeelding]. Dat scheelt een hoop aansluitingen en schakelingen. Vraag me met de je huidige setup af hoeveel vermogen je daar door heen krijgt?

Ik ga mezelf slaan dat ik dit nu zeg (want zoals een aantal andere projecten van mij gaat dit natuurrlijk pas over een jaar uitkomen ofzo), maar ja, hier ben ik al mee bezig. Het probleem hiermee is dat het regeltechnisch niet bepaald gemakkelijk is om in een voeding te gaan modden, laat staan om een hele nieuwe voeding met dit specifieke doel te ontwerpen. Maar ja, ik ben het helemaal met je eens: dit is een veel elegantere oplossing. En de besparingen - zowel financieel als elektrisch - zijn dan nog een stuk knapper.

Echter, het blijkt dat er al genoeg haken en ogen zitten aan het huidige ATX switchboard, en eerst is het zaak om daar eens in een redelijk veilige setting mee te experimenteren. Stapje voor stapje komen we vooruit.

De huidige ATX-switch is trouwens bemeten op 360W (continu).

[Q]

Leuk hoor, ik steek weer wat dingen op.

[Q]

Is -Venom- klaar met bestralen?

[-Venom-]

Nope , nog 3 x... aanstaande woensdag is de laatste keer godzijdank ! daarna wordt het herstellen.. vooral weer energie krijgen had het niet verwacht maar dat bestralen vreet heel je lichaam weg moe moe en nog eens moe ik lijk wel 80

[HyperBart]

Blij te horen. Heb je last van brandwonden/plekken?

[Q]

De laatste loodjes gelukkig. Precies het zelfde verhaal als bij m'n moeder: wordt er erg moe van, maar de energie komt wel weer terug.

Ik zoek eigenlijk een knappe temperatuur gestuurde 'fan controller' voor 4-pins fans'.

Mijn moederbord heeft te weinig aansluitingen, iemand nog tips?

Ik heb een 19" kast en de 2 exhaust fans wil ik op deze manier aan sturen, op basis van de temperatuur in de kast. Als het nog op usb aangesloten en bediend kan worden helemaal luxe, maar hoeft niet.

[ Voor 58% gewijzigd door Q op 21-06-2014 18:16 ]

[-Venom-]

Tot de 10de keer vielen de brandplekken wel mee, nu is het echt rood! en trekt het maarjah nog even doorbijten
Ik hoop dat de energie snel terugkomt... ik ben geen type dat stilzit... altijd bezig en dat dat nu niet kan is vrij frustrerend maarjah het koppie wil wel maar het lichaam laat het afweten ik heb nog nooit zoveel tv gekeken

[Q]

Zolang je maar geen licht gaat geven in het donker! Met 26 TB aan storage moet je - indien er niets op tv is - ook nog wel ff vooruit kunnen

Succes met de laatste bestralingen.

[-Venom-]

Dank je nog even bestralen en daarna 2 maanden wachten totdat er nieuwe scan's gemaakt worden met hopelijk goed nieuws daarna dan ga ik stralen van geluk (tenminste daar ga ik vanuit)

Inmiddels is het al 36TB server is inmiddels totaal vernieuwd (dat kan allemaal zittend ) maar met TV bedoel ik inderdaad vanaf de server want laten we eerlijk zijn wat er op de TV zelf te zien is daar wordt je niet vrolijk van

[HyperBart]

Series, series, series! Sick Beard is wat dat betreft echt ZALIG.

[Extera]

Sterkte met de laatste loodjes en het herstel venom!

[Q]

Ha 36 TB, dan is je post in het showoff 20TB topic niet up-to-date Dus als je eens een keer je ok voelt en zin/tijd hebt

[Q]

Nieuw tooltje gemaakt om te bepalen weke drive in welk enclosure slot zit. Gebaseerd op LSI controller (IBM M1015)

https://github.com/louwrentius/lsidrivemap



Output:

code:

root@nano:/usr/src# ./lsidrivemap temp

| 28 | 32 | 35 |    |
| 30 | 31 | 37 | 36 |
| 29 |    | 38 | 37 |
| 29 | 31 | 37 | 35 |
| 28 | 36 | 36 |    |
|    |    | 33 |    |

root@nano:/usr/src# ./lsidrivemap disk

| sdn | sdo | sdp |     |
| sdq | sdr | sdt | sds |
| sde |     | sdl | sdi |
| sdf | sdg | sdj | sdk |
| sda | sdb | sdc |     |
|     |     | sdd |     |

Gebruikt de 'megacli' tool van LSI.

[ Voor 7% gewijzigd door Q op 22-06-2014 21:46 ]

[jacovn]

Mooi, dan moet ik maar eens testen.

[HyperBart]

Q schreef op zondag 22 juni 2014 @ 15:01:
Nieuw tooltje gemaakt om te bepalen weke drive in welk enclosure slot zit. Gebaseerd op LSI controller (IBM M1015)

https://github.com/louwrentius/lsidrivemap

[afbeelding]

Output:

code:

root@nano:/usr/src# ./lsidrivemap temp

| 28 | 32 | 35 |    |
| 30 | 31 | 37 | 36 |
| 29 |    | 38 | 37 |
| 29 | 31 | 37 | 35 |
| 28 | 36 | 36 |    |
|    |    | 33 |    |

root@nano:/usr/src# ./lsidrivemap disk

| sdn | sdo | sdp |     |
| sdq | sdr | sdt | sds |
| sde |     | sdl | sdi |
| sdf | sdg | sdj | sdk |
| sda | sdb | sdc |     |
|     |     | sdd |     |

Gebruikt de 'megacli' tool van LSI.

Welke kast was dat ook alweer Q?

[Q]

Deze:

https://ri-vier.eu/rivier...6a-p-352.html?cPath=1_3_7

Prijs is tegenwoordig erg goedkoop. Kast prima, had zelf issues met de drive bay leds die licht niet goed doorgaven. Heeft 'hij' vervangende onderdelen voor nagezonden.

[ Voor 89% gewijzigd door Q op 24-06-2014 11:45 ]

[-Venom-]

Pak het bier/wijn/breezer/whatever mijn bestalingen zitten erop!!!!!!!!!! even een rustperiode om bij te komen

@ Q dat heeft mijn kast ook, sommige bay's missen het groene lampje... is dat een quickfix? of moet ik daarvoor mijn halve kast slopen?
Ik ga nu meteen braaf mijn post in het showoff topic even bijwerken

[Q]

Super, gefeliciteerd. Sterkte met herstel.

Van iedere getroffen bay moest ik het plastic lichtpijpje vervangen. Daarvoor moet je van iedere bay even de voorkant losschroeven, dus was bij mij wel een klus. Bij mijn kast zijn de leds overigens blauw, dus jij het een andere rivier?

[ Voor 15% gewijzigd door Q op 25-06-2014 17:47 ]

[-Venom-]

Norco kom ik net achter lijken ook zoveel op elkaar, maar dan blijven die paar ledjes maar uit (ook al kan ik me aan zoiets erg irriteren )

[HyperBart]

-Venom- schreef op woensdag 25 juni 2014 @ 16:21:
Pak het bier/wijn/breezer/whatever mijn bestalingen zitten erop!!!!!!!!!! even een rustperiode om bij te komen

@ Q dat heeft mijn kast ook, sommige bay's missen het groene lampje... is dat een quickfix? of moet ik daarvoor mijn halve kast slopen?
Ik ga nu meteen braaf mijn post in het showoff topic even bijwerken

Daar drinken we op! Hoe wordt nu bepaald g het aanslaat/geneest? Heb je ook zo een bepaalde 'marker' die omlaag moet?

[-Venom-]

Over 2 maanden weer bloedprikken, daarna weer een CT scan waarop hopelijk niets meer te zien is!! daarna is het pas echt feest! maar ik ga van het goede uit

[FireDrunk]

Aaaaaah, ik word gek

Ik kan niet kiezen wat ik nou wil... Ik zit al een hele tijd een cluster samen te stellen om mijn test/geprul op te doen omdat mijn 'oude' cluster te langzaam is, maar kan maar niet beslissen wat ik moet doen.

Wat denken jullie:

4 systemen (i3, 16GB RAM, dual of quad port NICje, geen lokale storage), los bakje met G1610 er in en 4 SSD's om voor het geheel als centrale SAN/NAS te fungeren.

OF

1 dikke E5 met 64GB (of meer) RAM. Eventueel lokale storage, of ook een los bakje, en een 1 op 1 quad gigabit verbinding met een los bakje met 4 SSD's.

Qua prijs scheelt het amper....
Tuurlijk is de vraag dan, een losse machine kan niet hetzelfde als een cluster, maar goed, wat precies niet...

Dingen die ik wil oefenen/leren/mee wil spelen:

VMware:
vCenter Operations
vCenter Orchestrator
Horizon View

Microsoft:
Active Directory (Inc forests enzo, dus meerdere VM's)
DPM
Exchange
SharePoint
SCCM / SCOM

We praten hier dus niet over maar 5 VM's ofzo, maar eerder over 20-30 stuks...

Wat denken jullie?

[ Voor 5% gewijzigd door FireDrunk op 26-06-2014 10:58 ]

[Dadona]

Tip: neem de E5.
Jouw mini cluster is wellicht voor al die VMs te langzaam. Maar voor het cluster speel werk op zich prima.
De E5 heb je altijd gewoon plezier van. Je kunt daar zonder gezeur zware VMs op kwijt. Dan moet je nog overwegen of je van de E5 een server of een server+nas maakt. Hierbij gaat het er dan om of je van je huidige server een NAS maakt.

[ Voor 38% gewijzigd door Dadona op 26-06-2014 12:08 ]

[FireDrunk]

#	Product	Prijs	Subtotaal
1	Intel Xeon E5-1620 v2 Tray	€ 263,08	€ 263,08
1	Supermicro X9SRL-F	€ 249,01	€ 249,01
1	Kingston ValueRAM KVR13LR9D4K4/64	€ 569,50	€ 569,50
1	Seasonic G-Serie 360Watt	€ 47,95	€ 47,95
4	Crucial MX100 512GB	€ 173,-	€ 692,-
Bekijk collectie Importeer producten		Totaal	€ 1.821,54

Dan moet het zoiets worden...

[Pantagruel]

-Venom- schreef op woensdag 25 juni 2014 @ 16:21:
Pak het bier/wijn/breezer/whatever mijn bestalingen zitten erop!!!!!!!!!! even een rustperiode om bij te komen

@ Q dat heeft mijn kast ook, sommige bay's missen het groene lampje... is dat een quickfix? of moet ik daarvoor mijn halve kast slopen?
Ik ga nu meteen braaf mijn post in het showoff topic even bijwerken

Nice en nu hopen dat t ook weg blijft

[Berkeley]

* Berkeley trekt een blikje cola open. \o/

[-Venom-]

Daar gaan we vanuit ik zie er alleen momenteel uit of ik ruzie met iemand gemaakt heb met mijn rode cirkel rond mijn oog knalrood is het geworden

@ FireDrunk
Als ik dat bedrag hier noem voor nieuwe hardware dan flipt mijn vrouw

[Berkeley]

@-Venom- beterschap trouwens! Hopen dat het weg blijft!

Is het hier 18+ trouwens? ..

[FireDrunk]

Is mijn geld...

[Pantagruel]

RobHaz schreef op donderdag 26 juni 2014 @ 16:45:
@-Venom- beterschap trouwens! Hopen dat het weg blijft!

Is het hier 18+ trouwens? ..

Tja drank he

[Berkeley]

Ok, dan hou ik het wel bij kindercola!

[init6]

FireDrunk schreef op donderdag 26 juni 2014 @ 10:57:
Aaaaaah, ik word gek

Ik kan niet kiezen wat ik nou wil... Ik zit al een hele tijd een cluster samen te stellen om mijn test/geprul op te doen omdat mijn 'oude' cluster te langzaam is, maar kan maar niet beslissen wat ik moet doen.

Wat denken jullie:

4 systemen (i3, 16GB RAM, dual of quad port NICje, geen lokale storage), los bakje met G1610 er in en 4 SSD's om voor het geheel als centrale SAN/NAS te fungeren.

OF

1 dikke E5 met 64GB (of meer) RAM. Eventueel lokale storage, of ook een los bakje, en een 1 op 1 quad gigabit verbinding met een los bakje met 4 SSD's.

Qua prijs scheelt het amper....
Tuurlijk is de vraag dan, een losse machine kan niet hetzelfde als een cluster, maar goed, wat precies niet...

Dingen die ik wil oefenen/leren/mee wil spelen:

VMware:
vCenter Operations
vCenter Orchestrator
Horizon View

Microsoft:
Active Directory (Inc forests enzo, dus meerdere VM's)
DPM
Exchange
SharePoint
SCCM / SCOM

We praten hier dus niet over maar 5 VM's ofzo, maar eerder over 20-30 stuks...

Wat denken jullie?

Destijds heb ik zelf een eigen test lab opgezet met het volgende idee:

- Het moet goedkoop uit te breiden zijn
- Het moet uit kunnen fikken zonder consequenties
- Build to fail. Als iets uitfikt dan moet ik het binnen een dag weer draaiend kunnen hebben op de andere node
- Twee verschillende nodes, een 'heavy' compute voor databases, video portaal etc. En een light node ondersteund door Raspberry Pi's met daarop de nameservers, dhcp, ter ondersteuning.

Inmiddels heb ik 2 compute nodes:
- 1 node heeft een Xeon 1230v2 cpu, 16G ram, 1 ssd van 256G, goedkoopste mainboard, goedkoopste kast. Elke node heeft 2x een 1G ethernet kaart, elke is aangesloten op een 1Gbit router en een 1Gbit ethernet switch
1 node heeft een Celeron processor, 16G ram, 1 ssd van 120G, goedkoopste mainboard, goedkoopste desktop kast omdat grote fans daarin als standaard bijgeleverd werden.

Elke node is voorzien om 8 vm's te draaien.

Deze compute nodes draaien op een NFS Synology bak (nu nog), waar alle vm images op staan. Hierdoor kan ik als 1 node uitfikt direct over naar de andere. Op dit moment is mijn synology en mijn router de grootste Spof's. Als briljante idee had ik om iSCSI targets aan te maken en daar images neer te gooien als snelle storage, maar helaas is mijn NFS sneller.

Momenteel zit ik in hetzelfde parket: Ga ik voor een dikke storage bak of pak ik een aantal nodes. Ik was aan het kijken naar een rivier bak met 20x 4T disks aangesloten op een hba dmv een mini-sas naar sata kabel.

Maar inmiddels overweeg ik om net zoals bij mijn virtualisatie bak ook voor een clustered filesystem oplossing te gaan, ik ben erg geintereseerd in clustered oplossingen en denk erover om een parallel of clustered filesystem op ZFS oplossing te bouwen. Dit moet gaan komen op 4 tot 6 consumenten machines met elk 4x 4T disks. Enige waar ik mij zorgen over maak is energie verbruik.

Voordelen welke ik zie in clustered oplossing is:
Makkelijk uit te breiden in kleine stappen
Consumenten hardware is geschikt waardoor het potentieel goedkoper is.
Fikt er iets uit? Jammer, maar niet een directe wereld ramp
Het is f-ing awesome!

Enige advies wat ik je kan geven is:
Doe datgene wat het beste aan jouw wensen kan komen, inventariseer deze eerst en bouw daarop je plannen.

Tuurlijk is de vraag dan, een losse machine kan niet hetzelfde als een cluster, maar goed, wat precies niet...

Oops overheen gelezen. denk dat de voordelen welke ik beschrijf bovenaan staan enigsinds de vraag beantwoorden?

[ Voor 3% gewijzigd door init6 op 26-06-2014 21:59 ]

[FireDrunk]

Mijn persoonlijke vergelijking en eisenlijst is echt pagina's lang... (Vraag maar aan Dadona, onze Skypelog is al 2 bijbelboeken lang )

Het lastige is, ik wil graag een systeem waar ik een poos mee toe kan, wat performt als het nodig is, wat redelijk stabiel is, wat niet te veel kost (maar het hoeft echt niet het goedkoopste van het goedkoopste), wat niet al te veel verbruikt en zo zijn er nog veel meer eisen...

Ik wil als basis 4 SSD's als centrale storage gebruiken, maar ik wil ooit ook eens met VMware vSAN aan de slag. Momenteel werkt dat officieel nog niet met AHCI, dus is het toch eigenlijk niet te doen.

Maar ja, het werkt wel... Daarom had ik eerst het idee om 4 relatief simpele nodes te bouwen.
Grootste nadeel is weer, 4 behuizingen, 4 voedingen, 4 flinke netwerkkaarten en dus een flinke hap in je switchpoorten.

1 stevige host heeft weer als nadeel, niet oefenen met clustering, meer CPU contention, hogere utilization van de NIC's (omdat er meer Storage verkeer over de NIC's moet).

En zo voorts...

[Q]

Moet je echt met 4 machines testen? Zou drie niet genoeg zijn om alle scenario's te kunnen doorlopen?
De 4e is dan het budget voor je iSCSI? SAN (zelfbouw Linux/BSD ZFS oid doosje).

Het is wel een leuk project, omdat meerderen hierzo wel thuis wat willen hobbyen met VMware + clustering shizzle met vergelijkbare wensen.

[ Voor 39% gewijzigd door Q op 26-06-2014 22:44 ]

[Pantagruel]

RobHaz schreef op donderdag 26 juni 2014 @ 20:01:
Ok, dan hou ik het wel bij kindercola!

Jaja, met een 'tik' er achter vlgs de emoticon . Ik ga me niet heiliger voor doen dan ik ben en zeg gewoon proost!

[FireDrunk]

@Q, VMware vSAN moet minimaal met 3 machines, een 4e is sterk aan te raden. Dat is het lastige van het geheel

[Berkeley]

Q schreef op zondag 22 juni 2014 @ 15:01:
Nieuw tooltje gemaakt om te bepalen weke drive in welk enclosure slot zit. Gebaseerd op LSI controller (IBM M1015)

https://github.com/louwrentius/lsidrivemap

[afbeelding]

Output:

code:

root@nano:/usr/src# ./lsidrivemap temp

| 28 | 32 | 35 |    |
| 30 | 31 | 37 | 36 |
| 29 |    | 38 | 37 |
| 29 | 31 | 37 | 35 |
| 28 | 36 | 36 |    |
|    |    | 33 |    |

root@nano:/usr/src# ./lsidrivemap disk

| sdn | sdo | sdp |     |
| sdq | sdr | sdt | sds |
| sde |     | sdl | sdi |
| sdf | sdg | sdj | sdk |
| sda | sdb | sdc |     |
|     |     | sdd |     |

Gebruikt de 'megacli' tool van LSI.

Kan je niet gewoon een label machine nemen, en ook (soft) labels aan de disks geven?

[Q]

bullshit

Ik zocht een excuus om met python te spelen.

[ Voor 144% gewijzigd door Q op 27-06-2014 14:35 ]

[BartNL]

lekker actief geweest met vervangen van een Norco SAT naar SATA backplane. Afgelopen donderdag binnen paar minuten 3 disks uit arrays gevallen. Alle drie op dezelfde backplane. Eerst nog alle stekkers nagelopen maar uiteindelijk toch maar nieuwe backplane besteld. Soldeerwerk op de Norco's blijft blijkbaar een risico. Nu drie raid-5 sets aan het rebuilden...

[ Voor 9% gewijzigd door BartNL op 28-06-2014 22:39 ]

[Q]

Hmm. Dat vind ik toch niet normaal, dat die stomme backplanes stuk kunnen gaan. Hoor ik vaker over die Norco's.

Ri-vier maakt nu zelf eigen kasten waarvan ik er nu 1tje heb (leverde vroeger norco). Daarnaast zag ik ook nog x-case.co.uk. Iemand daar nog ervaring mee?

[BartNL]

de backplanes van de Ri-Vier kasten zien er degelijker uit en dan met name soldeerwerk (is bij Norco het probleem). Met Ri-Vier kast nog geen probleem gehad. Heb zelf de indruk dat hij eigen kasten is gaan verkopen i.v.m. de problemen met de Norco backplanes. Sinds ik Norco kasten gebruik deel ik mij arrays qua redundantie altijd zo in dat een defecte backplane niet fataal is.

[Q]

Dat is wel een goed idee, ik wil straks 2 x RAID6 gaan draaien maar dan doe ik dat conform jouw idee dat iedere array slechts 2 drives per backplane heeft. Defecte backplane = verlies van redundancy, maar de data is er dan nog tenminste.

Komt dat scriptje van hierboven ook mooi van pas om te bepalen welke disks waar zitten.

[ Voor 16% gewijzigd door Q op 29-06-2014 12:47 ]

[Neopatch]

Q schreef op zondag 29 juni 2014 @ 00:44:
Ri-vier maakt nu zelf eigen kasten waarvan ik er nu 1tje heb (leverde vroeger norco). Daarnaast zag ik ook nog x-case.co.uk. Iemand daar nog ervaring mee?

Toevallig heb ik de X-Case RM 424. Hij bevalt prima en is van degelijke kwaliteit. De backplanes werken ook prima en zijn van goede kwaliteit. Heb de kast zelf nu ruim een half jaar draaiend. Ik zie overigens dat ze nu alleen de RM 424s versie nog in het assortiment hebben welke een stukje ondieper is dan de gewone versie. Misschien is er een nieuwe versie opkomst van de RM 424.

Het komt erop neer dat de kast te vergelijken is met de RVS4-06A. Rebranded van de populaire RPC-4224 case maar dan beter.

[Q]

Die X-cases vind ik zelf qua fans wat beter afgewerkt. Het zijn hot-swappable fans op een bord dat in feite een 1-4/5 splitter is voor de 4-pin PWM naar het moerderbord. Hotswap fans geef ik overigens niet om, maar het geeft wel aan hoeveel effort er is gestopt in de case.

Dat doe ik nu met een losse kabel, ook bij ri-vier vandaan. Werkt ook prima, maar is wat minder mooi.

Overigens: de ri-vier case is met PWM en de grote 120mm fans echt fluisterstil. Ik sta er van te kijken. Ik ga nog wel wat disk en CPU tests doen om te kijken wat de boel doet onder load.

[ Voor 14% gewijzigd door Q op 29-06-2014 12:55 ]

[Neopatch]

Q schreef op zondag 29 juni 2014 @ 12:51:
Die X-cases vind ik zelf qua fans wat beter afgewerkt. Het zijn hot-swappable fans op een bord dat in feite een 1-4/5 splitter is voor de 4-pin PWM naar het moerderbord. Hotswap fans geef ik overigens niet om, maar het geeft wel aan hoeveel effort er is gestopt in de case.

Ik denk dat jij nu doelt op de PRO versie van die kast (RM 424 PRO). Die heeft inderdaad hotswap fans. Dat is bij de normale versie (RM 424) niet het geval.

[BartNL]

Q schreef op zondag 29 juni 2014 @ 11:37:
Defecte backplane = verlies van redundancy, maar de data is er dan nog tenminste.

is wat ik ook doe. Van de drie raid-5 sets van 20TB die door de defecte backplane degraded raakten is de rebuild ondertussen probleemloos verlopen,

Time	Device	Event Type	Elapse Time	Errors
2014-06-29 09:07:46	R5-6x4TB#13	Complete Rebuild	010:15:07
2014-06-29 08:59:33	R5-6x4TB#11	Complete Rebuild	010:07:41
2014-06-29 05:10:51	R5-6x4TB#10	Complete Rebuild	007:39:05

wie had dat in 2007 voor mogelijk gehouden...

[ Voor 4% gewijzigd door BartNL op 29-06-2014 13:28 ]

[Q]

Tja, gezeik over URE is bij mij als een rode lap voor een stier.

Ik kon niet echt een mooie kant-en-klare oplossing vinden om de chassis fan speed aan te passen aan de temperatuur van de diskdrives. Of nog beter: hij moet de disk met de hoogste temperatuur vinden en daar de fansnelheid op aanpassen.

Waarschijnlijk heb ik gewoon niet goed gezocht en wilde ik weer met python spelen.

Wat brakke python code:

https://github.com/louwrentius/storagefancontrol

[Berkeley]

(weet niet of dit hier mag hoor..)
Vind het te onbelangrijk om er een topic over te openen, maar ben toch benieuwd naar wat jullie ervan vinden:
Een firewall, virtualiseren, of speciale hardware er voor aanschaffen.
Met of zonder ZFS?
FreeBSD(oid.), of een speciaal 'firewall OS'?

Misschien dat je het doorhebt, maar ik zit er aan te denken om een router/firewall te maken op FreeBSD basis, maar graag jullie mening ooK?

[Q]

Dat is een vraag voor een topic, waarbij je je eigen huiswerk laat zien: wat zijn volgens jou de voor/nadelen met wat je wilt bereiken

[FireDrunk]

Zijn er hier mensen die ervaring hebben met het stapelen van ITX kastjes?
Ik zit te denken aan 4 * Corsair Obsidian 250D, 4 * SilverStone ML03B of 4 * CM Elite 110, Allemaal zouden ze stapelbaar moeten zijn (waar de Corsair alleen iets groter is).

Iemand ervaring?

[Dadona]

Genoeg ervaring. De bovenste behuizingen moet je na de behuizing eronder op de plek zetten. Dat werkt doorgaans het best. Ze blijven niet in de lucht zweven.
Voor de rest, qua gewicht zou het goed moeten komen. De 250D zou ik zonder meer minder vertrouwen in een toren. De pootjes zitten ver naar de zijkant, zijn smal en relatief hoog. Het gevolg is dat de behuizingen erboven opeens op een diagonaal vlak staan.

[Extera]

RobHaz schreef op woensdag 02 juli 2014 @ 10:01:
(weet niet of dit hier mag hoor..)
Vind het te onbelangrijk om er een topic over te openen, maar ben toch benieuwd naar wat jullie ervan vinden:
Een firewall, virtualiseren, of speciale hardware er voor aanschaffen.
Met of zonder ZFS?
FreeBSD(oid.), of een speciaal 'firewall OS'?

Misschien dat je het doorhebt, maar ik zit er aan te denken om een router/firewall te maken op FreeBSD basis, maar graag jullie mening ooK?

Ik draai Pfsense virtueel.
Dit bevalt prima, ik haal de volle 200Mbit. Ook qua features helemaal top.

nadeel is wel dat je je verbinding kwijt bent als je aan de esx server bezig bent voor onderhoud.
(Dit heb ik nu opgelost door er een hardware router voor te plaatsen als DMZ router).

[Berkeley]

Extera schreef op donderdag 03 juli 2014 @ 22:12:
[...]


Ik draai Pfsense virtueel.
Dit bevalt prima, ik haal de volle 200Mbit. Ook qua features helemaal top.

nadeel is wel dat je je verbinding kwijt bent als je aan de esx server bezig bent voor onderhoud.
(Dit heb ik nu opgelost door er een hardware router voor te plaatsen als DMZ router).

Gaaf om te horen! Hoeveel resources worden er eigs gebruikt?

[Q]

@Firedrunk, nog aan het puzzelen met je 4-host esxi cluster?

Ik zit zelf ook een beetje te kijken.

- Het moet allemaal hardware zijn die door ESXi ondersteund wordt
- Minimaal 2 van de 4 zou een 'goedkope' xeon moeten zijn de andere 2 mogen pentiums zijn, of i3?
- Minimaal 16 gb ram per host?
- 1 fysieke storage disk om vsan mee te testen per machine?
- zou je vsan ook kunnen faken met iscsi? of zal VMware door hebben dat het geen das is?
- dual nic?
- Goedkoop mogelijk moederbord?
- ECC geheugen? Liever niet voor test hardware waar prijs meetelt
- 1u chassis zijn goedkoop maar geen optie = lawaai
- 2u = groot, neemt 8u ruimte in

4x HP Microserver Gen8 zou perfect zijn maar ze schijnen soms lawaai te maken.
- Vervang je - indien de performance nodig is - van twee stuks de CPU door een xeon 220v2.
- Kan max 16 GB aan met ECC

Gekke optie: 2e hands 2U HP server

http://www.serverhome.nl/...l380-g6.html?options=cart

- Kun je voor ~400 inc BTW - geen harde schijven een 16 GB quadcore hebben op ~2.6ghz.
- Nadeel: ruimte gebruik & gewicht & mogelijk risico op tyfus lawaai.

Het liefste wil je gewoon goedkope consumenten hardware kopen, maar de vraag is of het werkt met ESXi.

[ Voor 4% gewijzigd door Q op 05-07-2014 15:45 ]

[FireDrunk]

- Mwoh, community supported is voor mij ook goed (zoals Realtek NIC's)
- Mijn OCD tikker gaat dan af... liever alles gelijk
- Hier wel ja
- vSAN eist 1 SSD (voor caching) + 1 SSD of HDD (voor daadwerkelijke opslag)
- nope, vSAN kijkt door welke driver de disk geclamed is, als dit geen Direct Attached storage is, wil vSAN de disk niet.
- Heb dual port Intel Pro 1000's klaarliggen (4 stuks)
- Tja, dual onboard NIC is wel leuk (Onboard Realtek's voor LAN, en Intel's voor iSCSI)
- ECC is duur, en overdreven voor een testclustertje.
- Tenzij je de fans zelf vervangt... Ik heb hier nog 2 * 1U Chenbro kastjes liggen met alternatieve 40MM fans en die zijn wonderbaarlijk stil. Je moet er geen Xeon in stoppen natuurlijk
- Jup, vooral de diepte van 19" heb je vaak niet nodig, daarom ben ik maar naar gewone kasten aan het kijken. Zoals de Cooler Master Elite 110 (cheap, en toch voldoende groot voor een node).

Over je laatste optie: Stroomverbruik... Het cluster moet eigenlijk altijd aan staan, ik heb geen zin om te kloten met WOL als ik op mijn werk even een vrij momentje heb om iets te testen. Ik wil gewoon meteen gaan.

Maar dat is meer een luxe probleem... Bovendien starten die HP bakken echt tergend traag op...

[Q]

Wat voor moederbord heb je nu op het oog voor je nodes (itx)?

[FireDrunk]

pricewatch: Biostar Hi-Fi B85N 3D Ver. 5.x

Stroomverbruik van het bordje op zich is prima, alleen werkt ASPM / PC6 niet helemaal goed, waardoor het bordje onder Linux en Windows 8 niet super zuinig is.

Laat dat voor ESXi nou net geen probleem zijn, dat doet sowieso geen PC6

[ Voor 48% gewijzigd door FireDrunk op 05-07-2014 16:12 ]