Nieuw workstation voor Ansys Mechanical, wat zou beter zijn?

[Pim0377]

Mijn vraag

Voor werk zijn wij op zoek naar een vervanging van de huidige Ansys workstations. Dit wordt momenteel op 3 verschillende locaties met 3 verschillende machines uit verschillende tijdperken gebruikt, echter willen wij naar 1 centrale oplossing waar ieder van die 3 locaties simultaan op kan inloggen en berekeningen kan doen middels Ansys Mechanical.

Relevante software en hardware die ik gebruik

Momenteel 3 workstations, ieder met Windows 10 Pro / Business en Ansys Mechanical. Opgeteld zijn het in totaal 68 cores, per station minimaal 192GB ram en SSD work drives en storage.
Een krachtige dedicated GPU is niet nodig, gezien Mechanical CPU cores gebruikt en een flinke boost krijgt van AVX512, dus qua CPU keuze is het aan AMD kant Epyc Genoa en aan Intel kant......ja, kan er wel een aantal opnoemen, maar als je dat tegenover Genoa zet, kan je eigenlijk alleen Sapphire Rapids kiezen lijkt mij.
We zijn ons ervan bewust dat voor zo'n machine Windows 10 geen optie meer is eigenlijk, maar Ansys ondersteunt ook windows server, dus het OS is geen limitatie in deze.

Wat ik al gevonden of geprobeerd heb

Na veel zoeken, komt het er eigenlijk op neer dat er een keuze is tussen Intel en AMD. We willen, met upgrade mogelijkheid in het achterhoofd, minimaal hetzelfde aantal cores en hoeveelheid ram, workdrives en storage mag ook geen limitatie zijn.

Het bedachte Intel systeem:

2 x Intel Sapphire Rapids Xeon Platinum 8468 48core/96 threads cpus (2.1Ghz base, 3.8Ghz MAX turbo)
768GB DDR5 4800MT/s using full 8 channel bandwidth
3 x 2TB PCIe gen5 x4 NVME "work drives"
3 x 4TB PCIe gen5 x4 NVME "storage drives"

het bedachte AMD systeem:

2 x AMD Epyc Genoa 9574F 48 cores / 96 threads cpus (3.6Ghz base, 4.1Ghz MAX turbo)
768GB DDR5 4800MT/s using full 12 channel bandwidth
3 x 2TB PCIe gen5 x4 NVME "work drives"
3 x 4TB PCIe gen5 x4 NVME "storage drives"

Nou weten we dat Ansys Mechanical heel veel profijt heeft bij de volgende zaken:

1: Snelle cores
2: veel memory bandwidth
3: zeer snelle SSDs

We hebben een aantal bedrijven benaderd en verschillende offertes gekregen en tot mijn verrassing was Intel daadwerkelijk de goedkopere optie, zelfs als daar 1TB aan ram ipv 768GB werd geconfigureerd.

Mijn ultieme vraag is dus eigenlijk, zijn er mensen hier bekend met Ansys en de nieuwste cpu generaties die een objectief oordeel kunnen vellen hierover. Op papier lijkt AMD de duidelijk winnaar met 2 x beter dan Intel en 1 keer gelijk aan qua specs, maar ja, dat is theorie, heeft iemand dit al in de praktijk mogen meemaken hier?

[ Voor 3% gewijzigd door Pim0377 op 15-10-2023 21:39 ]

[Mr_gadget]

Hoeveel licenties heb je beschikbaar? Licenties gaan vaak per core. En ga je remote desktop gebruiken of scheduler zoals Ansys RSM of iets anders?

[P5ycho]

Kan Ansys zelf geen goede platformsuggestie doen? Bij zulke tools mag je ook wat ondersteuning verwachten in de hardware keuze.

[Nutral]

Voor hoeveel cores heb je een licentie en welke workload probeer je toe te passen?

[thunder7]

Ansys heeft ook een community, zie ik: https://community.ansys.com/ Wellicht kun je meeliften op ervaringen van andere gebruikers?

Ik zou me bovendien ook best voor kunnen stellen dat je bij een workstation van deze omvang/prijs afspraken kunt maken over uitproberen voor kopen, mits je het geheel bij een echte leverancier koopt, en niet via de pricewatch zelf onderdelen koopt natuurlijk.

[ Voor 50% gewijzigd door thunder7 op 16-10-2023 10:55 ]

[Pim0377]

Mr_gadget schreef op maandag 16 oktober 2023 @ 09:39:
Hoeveel licenties heb je beschikbaar? Licenties gaan vaak per core. En ga je remote desktop gebruiken of scheduler zoals Ansys RSM of iets anders?

het aantal licenties momenteel beschikbaar is minder dan wat de nieuwe machine nodig gaat hebben, maar daarover hebben we binnenkort een meeting met Ansys om niet later voor verrassingen te komen staan.
We gaan het op basis van remote desktop doen en zijn ervan op de hoogte dat we een aantal windows server licenties zullen moeten aanschaffen, gezien dat per 16 cores gaat naar het schijnt, maar licenties voor Remote Desktop hebben we al, dus die hoeven we niet opnieuw aan te schaffen.

Kan Ansys zelf geen goede platformsuggestie doen? Bij zulke tools mag je ook wat ondersteuning verwachten in de hardware keuze.

Dat hebben we dus ook gevraagd aan ze, we hebben ze de configuraties doorgestuurd en aangegeven wat we er op wilden draaien. Zij gaven toen aan dat zij geen hardware specialisten waren, maar wel konden aangeven waar de zaken die wij wilden gaan draaien het meeste profijt bij zouden hebben. Naast de 3 genoemde zaken gaven ze ook aan hoeveelheid geheugen, maar dat zit in onze machine wel goed volgens berekeningen. De persoon van Ansys gaf wel aan dat als hij de specs naast elkaar legde van de 2 machines en naar de zaken keek waar Mechanical het meeste baat bij heeft, zei hij dat zijn gevoel zei dat het AMD systeem de snellere zou zijn, maar het is nogal een flinke aankoop, dus die baseer ik liever niet op alleen maar een gevoel, ook al heb ik wel datzelfde gevoel.

De zaken die de collega's aangaven er momenteel op te draaien zijn:

numerical analysis (3 for FEA using Ansys Mechanical and 1 for CFD using Fluent)
Linear and non-linear static structural analysis
Steady-state and transient thermal Analysis
Pre-stress eigenvalue buckling and non-linear buckling analysis
Modal and response spectrum analysis
Fluent, Fluent Meshing, ICEM, ANSYS Meshing, SpaceClaim and sometimes CFX

We hebben ook geinformeerd of de gebruikers GPU based calculations doen, maar allen gaven aan momenteel alleen CPU cores te gebruiken en ze niet verwachten dat dat in de nabije toekomst gaat veranderen.

Ansys heeft ook een community, zie ik: https://community.ansys.com/ Wellicht kun je meeliften op ervaringen van andere gebruikers?

Ik zou me bovendien ook best voor kunnen stellen dat je bij een workstation van deze omvang/prijs afspraken kunt maken over uitproberen voor kopen, mits je het geheel bij een echte leverancier koopt,

Ik ben inderdaad ook al aan het zoeken geweest op dat forum, maar is een beetje lastig voor mij. Ik weet aardig wat van hardware en de limitaties van zaken, maar wat Ansys betreft zal ik echt op de meningen van anderen moeten afgaan, want daar heb ik gewoon niet genoeg kennis van, afgezien van bekende zaken als dat Mechanical een flinke boost krijgt van AVX512 instructies, dus aan AMD kant was dan Genoa wel een vereiste, omdat dat de eerste AMD EPYC is die het ondersteunt en baat heeft bij snelle cores etc, zoals in rijtje hierboven genoemd.

Die tip wat betreft uitproberen ga ik zeker wel even voorleggen aan mijn manager, dat is wel een goeie en we zijn met partners van Dell en HP aan het kijken naar een geschikte machine en mogelijk kunnen zij ons daar wel in tegemoet komen.

Dank allen voor het meedenken zover, ik ga er morgen weer verder mee en zal jullie zeker wel op de hoogte houden van vorderingen en eventuele nieuwe vragen en wat uiteindelijk het besluit wordt.

[Pim0377]

Nou, na veel wikken en wegen en toch nog support krijgen vanuit Ansys hoek mbt de ideale configuratie, hebben we besloten voor de AMD setup te gaan, met wat aanpassingen.

Met het oog op futureproofing hebben we toch gekozen voor 2 x de 64core Epyc 9554P cpus en qua geheugen doen we niet 24 x 32GB voor 768GB totaal, maar 12 x 64GB.
We weten dat daardoor de beschikbare bandbreedte gehalveerd wordt, aangezien er maar 6 kanalen per cpu worden gebruikt ipv alle 12, maar hoe dan ook is het nog steeds een flinke upgrade qua bandbreedte en totale grootte van wat we nu hebben en als we willen uitbreiden is dat goedkoper dan 24 x 32GB moeten vervangen met 24 x 64GB.

Ook hebben we, om niet voor verrassingen te komen te staan, de GPU ready kit laten toevoegen aan de machine, dus de PSU is uptospec en de fysieke aansluitingen qua PCIe en PSU zijn dus ingebouwd, mochten we op een later punt toch ook GPU calculations gaan doen.

het vooraf proberen is helaas geen optie gebleken, want ondanks dat het een machine van Dell is, is het geen "off the shelve" die ze even kunnen pakken. Vanwege bepaalde wensen van onze kant, is het meer een "build to order" als je het zo kan noemen.

In ieder geval allen bedankt voor het meedenken.

[ Voor 15% gewijzigd door Pim0377 op 17-11-2023 21:18 ]