Refurbished servermateriaal. Is dat eologisch verantwoord?

[bucovaina89]

Een vraag in het kader van het klimaat:

Ik werk als SysAdmin voor een bedrijf dat relatief veel compute resources nodig heeft, simulaties van elektronische circuits. Om maar een ruw beeld te schetsen dat we het niet hebben over 10 Word documenten en 15 Excels gelijktijdig open hebben staan: Simulaties die een dag draaien en 100% CPU innemen op 4 of 8 cores en >64GB RAM nodig hebben is dagelijkse kost. Er zijn ook - weliswaar veel minder - simulaties die langer dan een week draaien. Aan de andere kant zijn er ook kortere runs die ver onder het uur blijven. Deze laatst vermelde zijn veel talrijker in aantal. Een typische server/blade heeft bij ons 16/24 cores en 192GB/265GB RAM.

Nu kopen we al een paar jaar refurbished servers (HPe Bladesystem Gen8, nu Gen9). Laten we een kat een kat noemen: De hoofdmotivator: door de lage aanschafprijs van refurbished servermateriaal, ligt de "bang for buck" vele malen hoger dan een brand spanking new Proliant Gen11.

Een reeds bestaande server moet niet meer geproduceerd worden en de benodigde CO2 die daarvoor nodig was hangt al in de atmosfeer. Maar de performance per watt zijn ze - afgaande op de marketingmachines van AMD/Intel/HPe - inferieur t.o.v. een laatste nieuwe Gen11. Nog een contra: omdat de aanschafprijs zo laag is, kunnen we ons gerust veel meer machines veroorloven die veel meer RAM en CPU hebben dan we anders gekocht hadden. Al die machines draaien ook 24/7. Ook komt daar nog een psychologisch aspect bij vanuit onze ingenieurs. Weten we uit ervaring: geef een ingenieur 4 cores en 16GB RAM: zit vol. Geef 8 cores en 128GB RAM: zit ook vol in no-time. Geef hem/haar 256 cores en 16TB RAM: #clicknoice (Michael Rosen GIF goes here).

Maar nu vroeg ik me af:
Ik geraak er nu zelf niet uit. Doe ik nu het juiste om intern proberen te pushen richting refurbished te kopen? Maak ik denkfouten? Ik vergeet ongetwijfeld ook van alles. Ik heb trouwens geen zicht op waar onze elektriciteit vandaan komt. We hebben in ieder geval geen zonnepanelen.

Alle (constructieve) inzicht-verbredende kijk op de zaak is welkom

[thunder7]

Ik neem aan dat je op basis van prijs, energieverbruik en onderhoud inmiddels genoeg ervaring hebt om gewoon een spreadsheet te maken en te kijken of het voordelig is?

[Panzer_V]

Als je zo fluctueert in je behoefte (CPU/ RAM etc.) kan je dan niet beter de Cloud in? Betaal voor wat je gebruikt. En je hoeft geen servers met overhead up and running te houden.

[ehtweak]

Wat @Panzer_V zegt: bij dit soort fluctuerend resource verbruik zou je het toch beter in cloud/services kunnen zoeken?

Je betaalt wat je gebruikt en resources zijn vaak oneindig schaalbaar (als je maar betaalt).

Of er moet een bedrijfspolicy zijn c.q. andere bezwaren om dit soort dingen buiten de deur te (laten) processen...

[bucovaina89]

@ehtweak Er zijn inderdaad policies hier die het voor ons moeilijk maken om clouddiensten in gebruik te nemen (moederbedrijf). Zelf staan we er ook niet om te springen om onze workloads (Intellectual Property) op iemand anders' computer te gaan laten draaien. Maar wel een punt idd.

@thunder7 : energieverbruik heb ik niet van nieuwere servers. Ik leer net dat er "power advisor" van HPe bestaat. Misschien moet ik daar eens naar kijken.

[_Apache_]

Je hoeft niet perse naar de cloud om toch te kunnen fluctueren met je cpu power.

Er zijn ook genoeg bedrijven die on premis servers gebruiken. Die hebben servers uit staan als ze echt niet gebruikt worden, en worden ingeschakeld als dat nodig is. Zolang je maar de juiste orchestration laag hebt.

Dan komen ze beschikbaar in een node-pool in kubernetes (containers). Vervolgens hoeven ze maar replicaset te schalen en word de compute power ingezet (hetzelfde geld voro disk / ram en netwerk capaciteit).

Ik denk juist dat het wel ecologisch is om voor refurb te gaan. Als het voor jou geen probleem om een lagere betrouwbaarheid te hebben. Neem aan dat je hier geen support meer op hebt?

[Voor 15% gewijzigd door _Apache_ op 30-01-2023 12:56]

[Rolfie]

Een belangrijke vraag is natuurlijk wat voor een instructies gebruik deze berekeningen?
Kan je offloaden naar GPU?
Werken de nieuwe CPU's met efficient instructie sets?
Wat zou het betekenen als de workload sneller berekend zou worden? Zou zit veel (tijd) winst opleveren voor het bedrijf/afdeling?

Je kunt natuurlijk eens 1 helle snelle laatste generatie server komen, en dit daarna eens benchmarken icm je oude hardware.
En is dit daarna de meer prijs waard?

Als je nu 10K extra zou uitgeven, maar men wint 4-8 uur tijd met een berekening? Hoeveel geld/tijd zou de afdeling dan besparen?
Als dit bijvoorbeeld een doorloop dag zou besparen? De ervaring leert dat dit veel meer oplevert dan met oude hardware te besparen?

We hadden hier ook business case. Oude Solidworks workstations nog steeds gebruiken, of voor 2000 per ontwikkelaar een nieuw kopen, waarbij alles veel sneller zou gaan en ze een paar uur wachten zou besparen per dag..... 4 weken later stonden er 7 nieuwe workstations.

[Roozzz]

Je kan het toch gewoon (laten) uitrekenen? Met een lca kan je vrij eenvoudig de milieu impact van verschillende opties inzichtelijk maken per 'gemeenschappelijke eenheid'. Bijvoorbeeld per simulatie oid.

Daarbij kijk je naar de effecten over de hele levenscyclus van productie, gebruik, evt revisie en disposal.

Collega's van mij doen dit voor ongeveer alles. Deze puzzel klinkt niet bijster ingewikkeld... Paar duizend euro en je kunt dit afgewogen meenemen in het investeringsbesluit.

[Voor 8% gewijzigd door Roozzz op 30-01-2023 13:03]

[BCC]

ehtweak schreef op maandag 30 januari 2023 @ 10:23:
Wat @Panzer_V zegt: bij dit soort fluctuerend resource verbruik zou je het toch beter in cloud/services kunnen zoeken?

Je betaalt wat je gebruikt en resources zijn vaak oneindig schaalbaar (als je maar betaalt).

Of er moet een bedrijfspolicy zijn c.q. andere bezwaren om dit soort dingen buiten de deur te (laten) processen...

Mijn ervaring is dat dat vaak veel duurder is om volledig cloud tr doen - wat ik veel zie is een aantal eigen Kubernetes nodes en als het nodig is wordt er een cloud instance bijgeplakt. Als dat structureel blijkt wordt de locale pool uitgebreid.

[_Apache_]

BCC schreef op maandag 30 januari 2023 @ 13:07:
[...]

Mijn ervaring is dat dat vaak veel duurder is om volledig cloud tr doen - wat ik veel zie is een aantal eigen Kubernetes nodes en als het nodig is wordt er een cloud instance bijgeplakt. Als dat structureel blijkt wordt de locale pool uitgebreid.

Dit. Public cloud is zeker niet goedkoper. Tenzij je echt voordelen weet in te zetten, dus meer serverless architectuur. Services gebruiken die echt alleen bieden wat jij nodig hebt (en geen overhead).

Want als jij een server huurt (infrastructure as a service) betaal jij voor cpu, memory, disk en netwerk. Terwijl ze echt niet allemaal 100% inzet. Als jij een service afneemt die beter gebalanceerd is (high cpu, low memory bijv) zijn die gegarandeerd goedkoper.
Daarnaast zijn er genoeg services waarbij je resources kunt delen, en dan gaat de besparing opeens hard

[Voor 25% gewijzigd door _Apache_ op 30-01-2023 13:13]

[chaoscontrol]

Als je nodes nu een dag of week moeten rekenen en je bedenkt dat een G8 antieke CPUs heeft welke een x aantal keer langzamer zijn dan een recente cpu, weet ik niet of je wel goedkoper uit bent met refurbished. Alleen met aanschaf denk ik.

[Blasterxp]

Volgens mij moet je de load scheiden.
1. werkplek, nooit full load, want dan is alles hinderlijk traag
2. werkserver, altijd full load, want taken moet zo snel mogelijk af.

Dus als je vanuit je werkplek een taak bij de werkserver in het bakje legt; duurt het ff (que, doorlooptijd,etc) en daarna krijg je je resultaat terug.
Zo'n werkserver, applicatieserver kan prima 9600 taken per dag verzetten, en ja iedereen zit erop te wachten, maar iedereen kan ook door met wat anders.
Daarom is werkverzetten in de gui/interface van de gebruiker niet slim.

Met jouw huidige oplossing is iedereen een eigen i7 of i9 beter; men gebruikt dan alle power in hun werkplek - maar ik snap dat je daar niet voor kiest.

[WEBGAMING]

Betrouwbaarheid, stroomverbruik, eventuele ondersteuning mocht er iets gebeuren.

Als je een dag werk kwijt bent omdat de server een keer uitvalt, is het gewoon beter om wat meer te investeren. En als je berekeningen 2x zo snel kan doen, kan je in principe 2x zo veel werk uitvoeren, is natuurlijk ook een heel logische investering.

Nieuwere servers verbruiken veel minder, met de prijzen van tegenwoordig ook heel belangrijk.

Het enige voordeel van 2e hands is een lagere aanschafprijs. Als er zo op kritieke hardware bespaard moet worden, gaat er al iets mis in de bedrijfsvoering imo.

[Voor 8% gewijzigd door WEBGAMING op 30-01-2023 13:52]

[thunder7]

Nieuwere servers verbruiken veel minder, met de prijzen van tegenwoordig ook heel belangrijk.

De trend bij nieuwe CPU's voor desktops is dat ze meer gaan gebruiken, als ik in

review: AMD Ryzen 9 7950X en Ryzen 7 7700X - Is Zen 4 pijlsnel of bloedheet?

het aantal watt per fps lees, staat de nieuwste 7950X helemaal onderaan.
Of nieuwe servers dan in tegenstelling tot desktops wel veel minder gebruiken, zou ik niet zo durven stellen.

[Aikon]

Dit is een zeer relevant artikel hierover:

Hoeveel energie kost digitale technologie?

Kortweg kan je stellen dat de hoeveelheid energie die elektronica gaat verbruiken in z'n levensduur, ook al ingebed zit. Of anders gezegd, een citaat uit het artikel: "De ingebedde energie van de geheugenmodule overtreft het energieverbruik van een laptop gedurende de verwachte levensduur van drie jaar"

Nieuwe apparatuur kopen puur omdat ze (iets) zuiniger zijn is dus niet goed voor het milieu.

Helaas is het kostenplaatje vaak wel in het voordeel van nieuwe apparatuur. Er wordt hier vanalles bij gehaald - al dan niet terecht - onderhoud, betrouwbaarheid etc., maar de vraag gaat volgens mij puur over het klimaataspect, en ja, in dat geval doe je het juiste @bucovaina89

Daarnaast worden de besparing qua energie ook altijd bijzonder overdreven, of zijn alleen voor zeer specifieke gevallen van toepassing

[WEBGAMING]

thunder7 schreef op maandag 30 januari 2023 @ 13:33:
[...]


De trend bij nieuwe CPU's voor desktops is dat ze meer gaan gebruiken, als ik in

review: AMD Ryzen 9 7950X en Ryzen 7 7700X - Is Zen 4 pijlsnel of bloedheet?

het aantal watt per fps lees, staat de nieuwste 7950X helemaal onderaan.
Of nieuwe servers dan in tegenstelling tot desktops wel veel minder gebruiken, zou ik niet zo durven stellen.

Het scheelt 6W vergeleken met de 12900K (alleen cpu selecteren)

Je hebt het hier over processoren die helemaal op hun uiterste lopen, om in de top mee te doen.

Bij gemiddelde processoren is de performance per watt gewoon constant aan het stijgen.

Ik weet ook niet wie die grafiek verzonnen heeft, maar dat vind ik wel een heel... Bijzondere. Stroomverbruik in game is natuurlijk veel meer afhankelijk van de gpu. En een processor word meestal ook niet echt zwaar belast in games, en een game is ook geen constante belasting.
Ik zou niet weten hoe je daar echt betrouwbare cijfers voor zou moeten krijgen.

En zoals iemand anders al zei, als een server 2x zo snel is, en 1500W ipv 1000W verbruikt, is de snellere nog zuiniger, omdat je berekeningen sneller klaar zijn.

[Sissors]

Vanaf de andere kant als TS (andere werkgever ook):

Rolfie schreef op maandag 30 januari 2023 @ 13:01:
Een belangrijke vraag is natuurlijk wat voor een instructies gebruik deze berekeningen?
Kan je offloaden naar GPU?

Nop. Logischerwijs denk ik nog steeds dat in theorie het zou moeten kunnen, maar is nog niemand gelukt.

Wat zou het betekenen als de workload sneller berekend zou worden? Zou zit veel (tijd) winst opleveren voor het bedrijf/afdeling?

Blasterxp schreef op maandag 30 januari 2023 @ 13:26:
Zo'n werkserver, applicatieserver kan prima 9600 taken per dag verzetten, en ja iedereen zit erop te wachten, maar iedereen kan ook door met wat anders.

Ja, maar nee. Natuurlijk kan je soms tijdens simulaties wel andere dingen doen. Maar niet altijd, en je iteraties worden veel langzamer als je gewoon steeds moet wachten tot een simulatie klaar is.


Overigens wat wel relevant is, hoeveel zijn moderne server CPUs sneller per core? (Als in, serieuze vraag, ik weet het niet). Want de simulatie software is niet heel goed multithreaded (4 cores loopt hij prima op, maar 32 cores biedt meestal niet tot nauwelijks voordeel meer). Wat je met meer cores doet is meer simulaties in parallel draaien, maar zolang je een architectuur hebt waarbij je naar een willekeurige compute server een simulatie kan sturen, maar het voor de gebruiker iig weinig uit of je 1 server hebt met 128 cores, of 4 servers hebt met 32 cores.

[Voor 22% gewijzigd door Sissors op 30-01-2023 13:53]

[Frame164]

bucovaina89 schreef op maandag 30 januari 2023 @ 12:51:


@thunder7 : energieverbruik heb ik niet van nieuwere servers. Ik leer net dat er "power advisor" van HPe bestaat. Misschien moet ik daar eens naar kijken.

Ik heb het pas uitgezocht maar verwacht geen wonderen van nieuwere servers qua energieverbruik.

[Frame164]

WEBGAMING schreef op maandag 30 januari 2023 @ 13:30:
En als je berekeningen 2x zo snel kan doen, kan je in principe 2x zo veel werk uitvoeren, is natuurlijk ook een heel logische investering.

Dan zijn hele gevaarlijke aannames voor een business case. Dat hangt helemaal van de aard van het werk af. Als een berekening bijvoorbeeld 1 uur kost, maar het verwerken van de output (door mensen) kost 8 uur, dan is de snelheidswinst geen factor van betekenis.

[synoniem]

Als je een beeld wilt krijgen van de footprint van je servers kan je eens kijken naar deze LCA berekening van Dell of deze CO2 berekening van HPE.

Persoonlijk vermoed ik dat het lagere energiegebruik van de nieuwere generaties niet opweegt tegen de maakkosten t.o.v. hergebruik.

[fopjurist]

bucovaina89 schreef op maandag 30 januari 2023 @ 09:25:
Weten we uit ervaring: geef een ingenieur 4 cores en 16GB RAM: zit vol. Geef 8 cores en 128GB RAM: zit ook vol in no-time. Geef hem/haar 256 cores en 16TB RAM: #clicknoice (Michael Rosen GIF goes here).

Hier valt mogelijk veel te halen. Ik kom regelmatig programma's tegen van ingenieurs die met een paar uurtjes knutselen 10x zo snel draaien. In een extreem geval ging het om een programma dat in de cloud al meer dan een ton aan kosten had veroorzaakt.

Aikon schreef op maandag 30 januari 2023 @ 13:33:
Dit is een zeer relevant artikel hierover:

Hoeveel energie kost digitale technologie?

Kortweg kan je stellen dat de hoeveelheid energie die elektronica gaat verbruiken in z'n levensduur, ook al ingebed zit. Of anders gezegd, een citaat uit het artikel: "De ingebedde energie van de geheugenmodule overtreft het energieverbruik van een laptop gedurende de verwachte levensduur van drie jaar"

Dit citaat gaat specifiek over consumentenelektronica die niet 24/7 wordt gebruikt, en kijkt bovendien alleen naar het energieverbruik en niet naar andere belastende factoren. Er staat:

In het geval van een computer heb je echter 12 kilogram brandstof nodig voor de productie van één kilogram product. Rekening houdend met een gemiddelde levensduur van 3 jaar betekent dit dat het totale energieverbruik van een computer gedomineerd wordt door de productie (83 procent of 7.329 megajoule) en niet door het gebruik (17 procent).

Ze rekenen hier kennelijk met een gebruik van 1501 MJ over drie jaar, ofwel een gemiddeld gebruik van 16 W. Zo'n laag gemiddelde haal je wel als je een pc maar een paar uur per dag gebruikt, maar een server die vol wordt belast verbruikt aanzienlijk meer. Met dit simpele argument kom je er dus niet, je moet echt kijken naar het energieverbruik dat je bespaart door het gebruik van nieuwere hardware en dat af te wegen tegen de impact op het milieu van de productie van die nieuwe hardware. Ik schat in dat je met tien jaar oude hardware makkelijk een factor 2 trager bent en dat vervangen zinvol is.Met drie jaar oude componenten durf ik die schatting niet meer te maken.

[Sissors]

fopjurist schreef op maandag 30 januari 2023 @ 18:20:
[...]

Hier valt mogelijk veel te halen. Ik kom regelmatig programma's tegen van ingenieurs die met een paar uurtjes knutselen 10x zo snel draaien. In een extreem geval ging het om een programma dat in de cloud al meer dan een ton aan kosten had veroorzaakt.

Dat is het in dit geval echter niet, dit zijn simulatoren die gewoon ingekocht worden. Natuurlijk kunnen ze kijken of er geen snellere zijn, maar dan hebben we het niet over licenties die een paar honderd, of duizend, euro erbij kosten.

[Zenix]

Stroomkosten, inclusief koeling. Maar ook ondersteuning en firmware updates. Die updates zijn ook belangrijk voor de beveiliging. Tenslotte heb je meer werk, omdat je ook meer servers moet onderhouden.

Waarschijnlijk kan je al je servers vervangen met een paar Epyc servers met 128 cores. Die een stuk minder verbruiken, sneller zijn, betrouwbaarder en veiliger.

[Voor 3% gewijzigd door Zenix op 04-02-2023 13:59]

[bucovaina89]

Zenix schreef op zaterdag 4 februari 2023 @ 13:56:
Waarschijnlijk kan je al je servers vervangen met een paar Epyc servers met 128 cores. Die een stuk minder verbruiken, sneller zijn, betrouwbaarder en veiliger.

Helaas niet. Door de ontiegelijk hoge licentiekost die per core is, zijn we alleen iets met de snelst gekclockte cores. Veel cores met lagere kloksnelheid is miner interessant.

[Zenix]

bucovaina89 schreef op zaterdag 4 februari 2023 @ 14:24:
[...]


Helaas niet. Door de ontiegelijk hoge licentiekost die per core is, zijn we alleen iets met de snelst gekclockte cores. Veel cores met lagere kloksnelheid is miner interessant.

Daarvoor zijn ook varianten, die minimaal 2x sneller zijn per core dan je nu hebt. Dus heb je ook minder licentiekosten. Zoals je aangeeft zijn licentiekosten het meeste, dus die hardware kosten zijn het probleem niet.

Een Supermicro is vaak goedkoper dan Dell en HPE en maken ook goed spul.

[Voor 6% gewijzigd door Zenix op 04-02-2023 16:39]

[superduper]

Wat ik gek vind: je zegt je af te vragen wat het beste is voor klimaat. Koopt daarom refurbished, maar omdat het zo goedkoop is koop je extra veel... Dan ben je toch stiekem met je eigen economie bezig...

Dan vraag ik me nog af hoe het zit met energie en compute efficiencies van de oudere bakken. Misschien ben je met een morder unit sneller klaar met rekenen.

Dan nog alle koeling; misschien toch beter in cloud

[bucovaina89]

@superduper : wat is een morder unit?

[superduper]

bucovaina89 schreef op zaterdag 4 februari 2023 @ 20:41:
@superduper : wat is een morder unit?

lol, typo voor moderne

[bucovaina89]

Ik vermoedde zoiets. Autocorrect maakte er een moeder unit van 😅

[init6]

Heb een tijd in de HPC wereld rondgelopen en daar was performance per watt een belangrijke reden om hardware te vervangen. En dan hebben we het over een periode waarin energie prijzen zakelijk via het datacenter ingekocht konden worden voor een paar cent per kWh. 16-32 ampère uit een rack trekt dan telt dat toch op.

Maar qua CO2 footprint moet je gewoon gaan rekenen. Koop je als bedrijf lokaal duurzaam opgewekte energie in? Of werkt de energie boer met certificaten en doet deze aan greenwashing? Dell had op hun paginas volgens mij iets terug te vinden wat een server doet qua productie aan CO2.

Weet niet hoe ver je wil gaan en mag qua hobbyen, maar:

Je kan iig altijd even kijken naar de powermodes van een machine en deze optimaliseren.
CPU frequency tuning kan helpen.
Je kan kijken of er componenten enabled zijn en deze disablen, heb je Drac nodig?
Bepaalde hardware toch vervangen (spinning disks voor SSD kan enorm schelen)
Ander belangrijk punt is: optimaal gebruik maken van resources. In HPC stonden er servers 24uur per dag onder full load. In bedrijfsleven werd ik al blij verrast als er een peak van 20% behaald werd. Meestal kan je dit dmv virtualisatie/containerisatie verbeteren of dmv verbeteren van de code.

Ow en vergeet de omgeving niet. Staat het in een datacenter prima, maar staat het in de kelder: haal dan eens in kwartaal het stof met druklucht uit de ventilatoren. Scheelt behoorlijk qua verbruik als je CPU fan constant aan het blazen is omdat er een stofnest in zit.

[Voor 9% gewijzigd door init6 op 11-02-2023 09:36]