Videokaart aanschaffen voor AI / LLM: nodig of niet

[Geert_J]

Mijn vraag

Ik wil gaan experimenteren met AI/LLM modellen. Optie is om een private GPT aan te leggen of om e.e.a. via cloud te doen. Ik heb strikt genomen geen private GPT nodig (ga vooral openbare data zoals wetenschappelijke artikelen gebruiken) dus privacy is niet de overweging om een private GPT te installeren.

Ik zag dat voor LLM toepassingen een RTX 3090 een optie is (tweedehands) als je de meer geavanceerde modellen wilt gebruiken. Mijn vraag is of ik - als ik voor een online oplossing kies voor het gebruik van een LLM (bijv via OpenAI) - strikt genomen een GPU nodig heb. Blijft immers een investering zo'n kaart (naast het stroomgebruik van een 3090).

Wat is jullie beeld daarbij?

gr
Geert

[RobIII]

Waarom zou je een GPU nodig hebben om een online dienst af te nemen?

Verder: Die vragen die er staan wanneer je een nieuw topic opent staan er niet voor niets:

Mijn vraag
...

Relevante software en hardware die ik gebruik
...

Wat ik al gevonden of geprobeerd heb
...

Ik zou graag zien dat je je topicstart even aanvult met die informatie. En neem meteen even onze Quickstart door als je toch bezig bent

[NLxAROSA]

Ik draai LLMs lokaal voor mijn werk en dat gaat prima op Apple Silicon, zelfs zonder Metal/GPU acceleratie. Op Windows met AMD/Intel gaat het een stuk langzamer (wel werkbaar in mijn context).

Ligt wel aan wat je gaat draaien: kleinere modellen zijn sneller maar hebben hogere quantisatie dus minder nauwkeurig. Voor de grote, nauwkeurige modellen heb je vooral veel en snel RAM nodig.

Met een GPU met tensorcores gaat het allemaal nog sneller uiteraard. Maar als je wat wil experimenteren of thuis een chatbot op je administratie wil zetten oid dan hoef je niet gelijk grof geld uit te geven.

[ Voor 21% gewijzigd door NLxAROSA op 28-01-2024 16:33 ]