Waarom gebruikt men GPU's voor AI/Mining etc?

[WillEatPancakes]

Simpel gesteld is mijn vraag eigenlijk heel simpel : Waarom gebruikt men overal nog GPU's voor AI/Mining etc?

Ik snap dat een GPU goede componenten hiervoor heeft en het rekenkundig beter is dan een CPU.
Echter is dat leuk in de begintijd, maar als ik ondertussen zie hoe de markt voor GPU's onder druk staat vanwege het massale opkopen links en rechts.
Dan lijkt me toch ook wel dat er een grote markt is voor het invoeren van een nieuwe kaart die simpelweg geen GPU meer is en enkel voor AI/mining inzetbaar is.

Het lijkt me toch niet dat op een hedendaagse GPU het hele specifieke GPU-gedeelte slechts een 10 dollar toevoeging is op een AI-kaart...

Er moet toch een zekere winst te behalen zijn door het GPU-gedeelte eraf te halen.

Alleen wordt dit nergens echt gedaan, terwijl als ik dan weer lees nieuws: Meta onthult AI-supercomputer met 16.000 Nvidia A100-gpu's dan heb ik toch zoiets van, wat een verspilling zit er alleen al in dat ontwerp.

[DataGhost]

Volgens mij zijn GPUs nog steeds goedkoper, dat is al een. Tenminste, mining-specifieke kaarten zou ik als fabrikant duurder maken en bovendien proberen mining op normale GPUs te verhinderen, maar dat laatste lukt niet altijd. Alleen als je een mining-kaart koopt is 'ie vrijwel direct waardeloos op de tweedehands markt, wat moet je nou met een tweedehands of outdated mining-kaart waar je verder niks anders mee kan dan minen/AI? Die markt is relatief maar heel klein, terwijl GPUs veel langer waardevast blijven omdat je er tenminste nog mee kan gamen. Zeker in deze tijden van schaarste. Dat is wat ik denk in ieder geval.

Ik zie er verder overigens niet veel aan veranderen als GPUs niet meer voor mining bruikbaar zijn maar slechts de dedicated miningkaarten. Er zit namelijk nog steeds dezelfde chip op en als daar het tekort vandaan komt lost een verschuiving in die verhouding niks op. Voor fabrikanten is het niet per se aantrekkelijk om te zorgen voor een heel royaal GPU-aanbod want dan gaan de prijzen omlaag. Beide grote jongens hebben leveringsproblemen dus daarom kunnen ze ook beiden vragen wat ze willen.

[sapphire]

Er moet toch een zekere winst te behalen zijn door het GPU-gedeelte eraf te halen.

Het GPU gedeelte van een GPU halen

Even voor de beeldvorming een GPU is niets meer dan dan een CPU maar dan anders. Beide zijn chips die berekeningen uitvoeren op een bepaalde manier (instructies). Een GPU is extreem sterk in enorm veel berekeningen parallel aan elkaar uitvoeren + zit op een kaart met een eigen geheugen voorraad zodat de GPU daar snel toegang tot heeft.

Een mining algoritme is ontworpen om op zulke chips te draaien (lijkt me) waarschijnlijk omdat het een toegankelijke, efficiënte en kosten efficiënte ingang tot een berg rekenkracht bied.

Soms is het mogelijk om specifieke ASICS te ontwerpen met als enige doel om een bepaalde coin te minen maar zoals @DataGhost al aangeeft alles wat specifiek ontworpen is om coins te minen is waardeloos zodra er iets beter is, de manier waarom het minen gebeurd veranderd of die coin instort, ect. heb je een berg schroot.
Mine je op GPU's dan kun je die altijd nog wel verkopen en aangezien de kaarten zich vaak al lang terug verdient hebben is dat gewoon extra wist voor de eigenaar

Met AI en andere supercomputerrekentaken, dit zijn vaak berekeningen die zich erg goed alten schalen naar meerdere threads of wel parallelliseren. Waar zijn GPU architecturen blijkbaar erg goed in...paralelliseren...
Dus een aangepast ontwerp van een GPU zoals die A100 netjes op insteekkaarten ontworpen voor mainfraimes, aan elkaar te koppelen ect. is ideaal voor een supercomputer die gewoon een sh*tload aan berekeningen wil uitvoeren.
Aangezien die markt niet op een eurootje of dollar kijkt, het lange termijn contracten zijn (onderhoud, uitbreiding,) en misschien een stukje prestige is deze markt voor een nVidia natuurlijk super interessant en loont het gewoon keihard om daar een deel van de productiecapaciteit aan te besteden ten nadelen van gamers.

Onderaan de streep draait het gewoon alleen om geld en eventueel gemak

[AGee]

De grote toegevoegde waarde van een GPU voor dit soort rekentaken is inderdaad in het begin geweest dat ze zoveel goedkoper zijn en een veel betere architectuur hebben voor de specifieke berekeningen die vaak voorkomen in dit soort taken. Maar inmiddels is er ook een hele infrastructuur omheen gebouwd om het developers en researchers zo makkelijk mogelijk te maken om van de GPU gebruik te maken.

In den beginne was het nog echt pionieren om je software op een GPU te laten draaien, tegenwoordig is het niet meer dan gebruik maken van wat kant-en-klare toolboxjes (even plat gezegd). En die infrastructuur heb je niet opeens gekopieerd als je iets nieuws in de markt gaat zetten. Dus als je iets nieuws in de markt zet, moeten daar significante voordelen voor zijn (geld bv). En ik vraag me af of er zoveel marge te vinden valt tov de huidige GPU's om significant goedkoper te zijn. Ook gelet op het feit dat GPU's vooral zo duur zijn door het wereldwijde chiptekort en niet door 'die andere dingen die een GPU een GPU maken' zoals jij het zo mooi verwoord