Thuis server voor Llama 3.3 70b en foto opslag

[FlowTech]

Wat wil je doen met je nieuwe systeem?
Ik wil een LLM hosten, specifiek Llama 3.3 voor een chatbot die ik draai voor mijn bedrijf. Daarnaast wil ik graag ook foto/media opslag opzetten voor de apparaten in mijn huis. Ik ben van plan dit te doen via Hex OS.

Wat mag het systeem gaan kosten?
Ik ben bereid uit te geven wat nodig is maar wil graag weten wat de meest kost effectieve manier zou zijn om dit draaiende te zetten.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
i5 12600k
32gb DDR5
3080
750watt PSU

Deze componenten heb ik allemaal nog over van een systeem wat niet meer gebruikt word.

Wat denk je allemaal nodig te hebben?
Ik zou voornamelijk hulp met het uitzoeken voor wat voor GPU ik er nog bij nodig zou hebben om Llama 3.3 goed te kunnen draaien.

[martyw]

Veel VRAM is nodig, volgens deze thread is de RTX 3090 de beste keuze, en dan bij voorkeur twee. Zo'n kaart kan 350 Watt trekken, een wat zwaardere voeding dan je nu hebt is nodig voor een duo, of je moet ze dan undervolten. Welke voeding heb je nu? Als je voor twee stuks gaat heb je ook een moederbord met PCIe slots nodig die wat verder uit elkaar liggen, zoals de ASUS ProArt Z790-CREATOR WIFI