Hardware management voor non-pro compute machines

[d-snp]

Op mijn werk hebben we een klein compute clustertje, opgebouwd uit consumenten hardware om kosten te besparen. Dit werkt redelijk goed, maar zo nu en dan crasht een machine of start ie random opnieuw op. De Dell machines van de andere afdeling hebben zo'n nice hardware management systeem waarmee je op een virtuele console kan inloggen, of reboots en dergelijke kan issueen. Zover ik weet zijn dat moederbord features die wij dus niet hebben.

Is er een externe oplossing waarmee ik onze consumenten hardware op afstand kan monitoren/rebooten/bedienen? Ik zit half te overwegen een raspberry pi met wat relais de reset knopjes van de machines te laten bedienen.

Op het moment zijn het 3 machines, maar op de korte termijn zou dat misschien kunnen groeien tot 10 of meer. AMD 3900X op een MSI PRESTIGE X570 CREATION moederbordje. De systemen zijn samengesteld op hoge single core performance, het moederbord om de onboard support voor snelle SSD's en 10gbit ethernet.

[Archie_T]

Een PDU met remote management? Of (goedkoper) Klik Aan Kik Uit achtig spul om de spanningstoevoer te besturen?

[ Voor 5% gewijzigd door Archie_T op 11-10-2019 01:42 ]

[jvanhambelgium]

Dan had je beter iets genomen met de IPMI (standard) ondersteuning. Zoek daar es wat op.
Er zijn wel wat mainboards te vinden met een goede IPMI interface/ondersteuning, maar niet zo direct in het MSI consumentenspul wat je gebruikt.
Moest je Intel gebruiken was er vPro/AMT dat dit soort doel heeft.


HP Integrated Lights-Out, HP's implementation of IPMI

Dell DRAC, Dell's implementation of IPMI

IBM Remote Supervisor Adapter, IBM's out-of-band management products, including IPMI implementations

MegaRAC, AMI's out-of-band management product and OEM IPMI firmware used in e.g. ASUS, Tyan, Intel and Supermicro motherboards

Avocent MergePoint Embedded Management Software, an OEM IPMI firmware used in e.g. DELL and Gigabyte motherboards

Wikipedia: Intelligent Platform Management Interface
Wikipedia: Intel vPro

[d-snp]

Ah, thanks voor de lading Google queries

Alles wijst naar dit specifieke moederbord:

https://www.asrockrack.co...el=X470D4U#Specifications

Er lijkt niet veel anders op de markt te zijn voor AM4.

[PeterPan]

Voor remote management zou je een KVM switch van bijvoorbeeld Avocent kunnen gebruiken. Hierop sluit je van elke PC de (VGA) monitor poort en een USB voor muis/keyboard aan en deze kun je dan via 1 beeldscherm/keyboard/muis en via een web browser bedienen.
T.b.v. het hard rebooten, dit kan voor zover ik weet niet met de Avocent. Hiervoor zou je dan zoals hierboven aangegeven een PDU moeten gebruiken die je ook via een web browser kan bedienen.

[downtime]

d-snp schreef op vrijdag 11 oktober 2019 @ 00:49:

Op het moment zijn het 3 machines, maar op de korte termijn zou dat misschien kunnen groeien tot 10 of meer. AMD 3900X op een MSI PRESTIGE X570 CREATION moederbordje. De systemen zijn samengesteld op hoge single core performance, het moederbord om de onboard support voor snelle SSD's en 10gbit ethernet.

Als je zoveel groei verwacht zou ik toch eens serieus over een professionele oplossing gaan nadenken. Je bent nu een wiel aan het uitvinden wat toko's als HP en Dell, en een boel anderen, allang voor jou uitgevonden hebben.

[d-snp]

Ja, ik wil het zeker professioneler aan gaan pakken, maar toko's als HP en Dell verkopen geen 3900X, en al helemaal geen systemen voor <4000 euro per stuk. We hebben nu 3 van deze nodes voor minder dan wat 1 Dell Xeon machine zou kosten die 10% slechter zou presteren. Natuurlijk, als we 10% van de tijd down gaan door random shit compenseert dat voor de lagere performance, maar dan blijft het issue dat het 3x zo duur is.

Of heb ik niet goed geresearched en maakt Dell iets van <5000 euro met een i9 en een RTX 2080? Volgens mij is dat laatste ook niet mogelijk omdat ze van nvidia geen consumentenkaarten in servers mogen stoppen toch?

[downtime]

d-snp schreef op vrijdag 11 oktober 2019 @ 14:15:

Of heb ik niet goed geresearched en maakt Dell iets van <5000 euro met een i9 en een RTX 2080? Volgens mij is dat laatste ook niet mogelijk omdat ze van nvidia geen consumentenkaarten in servers mogen stoppen toch?

Die RTX 2080 had je nog niet genoemd. Dat compliceert de zaak.

Gewoon uit nieuwsgierigheid: Wat doe je op die systemen? Voor wat voor "compute" toepassingen heb je maximale singlecore performance én een high-end videokaart nodig?

[d-snp]

Fotogrammetrische verwerking. We krijgen ~2000 hoge resolutie (40-100MP) foto's van een (vastgoed) object. Daar maken we dan een 3D model van waarop inspecteurs metingen kunnen verrichten en gebreken kunnen vaststellen.

De fotogrammetrie is een pijplijn van verschillende algoritmes, een aantal daarvan zijn paralleliseerbaar, een aantal kunnen op de GPU, maar een aantal zijn single core. Helaas zegt Amdahl's law dat die laatste snel dominant gaat zijn, en dus is single core performance voor ons belangrijk.

We hebben deze machines nu bijna 2 weken, en 2 ervan lopen om de paar dagen vast, eentje loopt steady door. Ze zijn alledrie significant veel sneller dan de Core i9 desktop waar we het eerst op deden, dus het experiment is al gedeeltelijk een succes.

Ik heb een paar leads die ik volg over de vastlopers, het zou de temperatuur kunnen zijn, de CPU's lopen uren lang op dik in de 80 graden. Ik heb er al noctua koelers op gezet, maar dat hielp niet echt, ben nu aan het kijken of waterkoeling beter werkt. Andere lead die ik zag is dat de MSI moederborden iets geks met de voltages doen dat instabiliteit kan veroorzaken, daar heb ik niet veel kaas van gegeten dus daar moet ik me even op inlezen.

Geloof me, ik zou erg graag willen dat ik dit op een mooie partij als Dell of HP zou kunnen afschuiven. Zit er voorlopig even niet in, maar als we onze pipeline op orde hebben, dan gaan we hard orders verwerken en dan vliegen de bankbiljetjes hopelijk ook onze deuren binnen en kunnen we een en ander aan capabele partijen uit handen geven.

[jvanhambelgium]

Die MSI borden bevatten zoveel toeters en bellen dat ik me afvraag of dat allemaal wel aan de stabiliteit zal bijdragen..veel knopjes om af te regelen, voltages om mee te prullen, etc.., clocking profiles etc,etc

[unezra]

d-snp schreef op vrijdag 11 oktober 2019 @ 12:27:
Ah, thanks voor de lading Google queries

Alles wijst naar dit specifieke moederbord:

https://www.asrockrack.co...el=X470D4U#Specifications

Er lijkt niet veel anders op de markt te zijn voor AM4.

En stiekem is dat een HEEL leuk bord.
Bekijk wel goed de review die er bij staat, het heeft een paar onhebbelijkheden.

Maar los van dat, ik heb met dat board mijn nieuwe thuisserver met Ryzen 5 3600 gebouwd en ben er erg tevreden over. Zelfs de stock cooler past. Net. (De geheugenmodules zitten er strak onder.)

---

EDIT:
Overigens kun je met een remote beheerbare PDU en een KVM switch ook heel ver komen. Die dingen zijn nieuw niet te betalen maar 2e hands kun je geluk hebben. Ik heb al eens een 16 poorts Raritan KVM switch gevonden voor €100 inclusief kabels.

Remote powerswitchen kan dat ding niet maar je prikt verder wel je VGA, toetsenbord en muis er in, ding heeft dubbel ethernet, dubbele voeding, etc.

Je moet een beetje geluk hebben, maar het kan prima.

[ Voor 26% gewijzigd door unezra op 11-10-2019 15:34 ]

[_Arthur]

Je kan eens op Alixpress rondneuzen, krijg je zoiets (180e inc verzenden)
https://nl.aliexpress.com...1602_2,searchweb201603_52

[unezra]

_Arthur schreef op zaterdag 12 oktober 2019 @ 09:38:
Je kan eens op Alixpress rondneuzen, krijg je zoiets (180e inc verzenden)
https://nl.aliexpress.com...1602_2,searchweb201603_52

Da's HDMI en het heeft geen verwisselbare kabels.
Als TS aan de slag gaat met dat AsRock board of any server board, is de kans groot dat 'ie juist VGA nodig heeft.

Ik zou eerder kijken naar zoiets:
https://www.ebay.com/itm/...5fef18:g:dG4AAOSw4NZbmSr1
Raritan Dominion KX216 16 Port KVM Switch

Dat is enterprise-grade en met wat zoeken waarschijnlijk wel te vinden voor een redelijk bedrag. (Nee, die van mij is niet te koop.)

[overhyped]

En dit gewoon on demand op spot instances van AWS draaien? Geen hardware geneuzeld kosten en baten direct lineair aan elkaar gekoppeld en altijd beschikbaar.

[d-snp]

Dat hebben we inderdaad gedaan. De cloud machines zijn aan de trage kant, en experimenteren is lastig. Het proces gaat nog niet volledig automatisch, en een operator moet vaak nog in Windows instellingen en aanpassingen doen. Het lijkt er voor nu op dat deze machines zichzelf na 3 maanden al terug verdiend hebben.

Hopelijk hebben we over niet al teveel tijd een volledig automatisch proces, en wordt het wat gemakkelijker om te beslissen het weer volledig in de cloud te doen.