GPU met als doel AI Image Generation (Stable Diffusion)

[Boost9898]

Hi Tweakers,

In verband met mijn afstudeerproject op het gebied van AI Image Generation ben ik opzoek naar een betrouwbare manier om Stable Diffusion lokaal te gebruiken. Momenteel doe ik dit via notebooks in Google Colab, maar dat voelt toch wat sketchy in traag.

Nu ben ik van plan om een GPU aan te schaffen, waarschijnlijk een Nvidia RTX 3080/4070 Ti in verband met de snelheid en de hoeveelheid VRAM met oog op de toekomst en het zelf trainen van modellen.

Het systeem waarin ik het wil gebruiken zal een MacBook M1 Pro zijn in combinatie met nog een aan te schaffen Thunderbolt dock.

Waar ik benieuwd naar ben of er hier tweakers zijn die vergelijkbaar werk doen/een vergelijke bare set-up hebben. Zijn er belangrijke dingen om vooraf rekening mee te houden?

[Umbrah]

Oef... nVidia en een Mac... niet altijd de beste situatie. Zeker niet als je bedenkt dat de PCIe bandbreedte óók nog eens beperkt is. Zijn er uberhaupt moderne CUDA libraries te vinden? De laatste Matlab documentatie suggereert dat dit een no-go is.

Als je perse op een mac wilt werken, is een Linux of Windows remote-PC niet eenvoudiger? Dit zie je vaker bij datascience-achtige toepassingen, waar men persé op een mac wil werken. Het ding is niks meer dan een veredelde chromebook met een SSH of andere (jupyter/sparkl/rstudio/posit) prompt naar een echte compute/AI bak.

Het enige waar je denk ik wat succes mee hebt als Apple Native je plan is, is hooguit wat FireGL-gebaseerde hardware vanuit de logica van de Xeon mac pro's. Best snel verouderd naar huidige GPU-compute maatstaven en bovendien geen Cuda, maar goed...

[Dennism]

Volgens mij heeft Apple al zo'n beetje 10 jaar al geen officiele Nvidia support meer en onofficieel wordt volgens mij ook steeds moeilijker, en dat in combinatie met een Intel cpu. Volgens mij supporten de M1 Mac's helemaal geen Externe GPU's via thunderbolt.

Ik denk dat het advies van @Umbrah dan ook best verstandig is, zorg voor een workstation, dat je al dan niet remote kan gebruiken.

Edit: Lijkt er inderdaad op dat dit Intel only is, en als je officiële support wil, zit je aan AMD kaarten vast.

https://support.apple.com/en-us/HT208544

[Voor 16% gewijzigd door Dennism op 09-02-2023 13:19]

[Boost9898]

@Umbrah @Dennism
Bedankt voor jullie kennis en informatie. Ik was er al bang voor.

Dan ga ik uitzoeken of het mogelijk is om bij mijn werkgever een mooie GPU in mijn systeem te krijgen. Momenteel kan ik al vanuit overal bij mijn werksysteem via Remote Desktop, dus een GPU erin en het zou 'opgelost' moeten zijn.

Een alternatief zou zijn om in mijn bestaande systeem thuis zelf een GPU te stoppen, maar dat is een oud beestje met een i7 5820K (6 core), 24 GB DDR4, M.2 SSD etc. Het voldoet nog prima en ik verwacht niet dat er bottlenecks ontstaan, maar het voelt een beetje uit verhouding om daar een RTX 4070 Ti in te steken.