GPU voor DIY-Nas

[Skyllaer]

Dag allen,

Ik heb ondertussen al enkel jaren een DIY-NAS met trueNAS op , (BHKD-N100) met een m2 sata expansion en enkele HDD's/SDD's (in een 19" nas case) in raid 5 staan (als de HDD prijzen ooit weer omlaag gaan wil ik er raid 6 van maken)

de reden dat ik voor dit MB/processor ben gegaan is de power draw, dat het iets langer kan duren om bestanden weg te schrijven neem ik dan wel voor lief.

Nu zoek ik hiervoor eigenlijk een beetje een GPUtje puur voor een klein LLM model te willen testen/draaien puur voor HA (betere assistant/eventueel telegram acties onderscheppen en omzetten naar ha acties)/meallie en ik het dan zo lokaal kan houden ipv chatGPT/claude/openai/grok/... (hoeft geen voice gesprek te kunnen voeren / begrijpen. puur wat text to soort-actie/reactie ish)

Ik ben niet opzoek naar een 5090 oid, maar eerder iets wat relatief ok is en geen gigantische power draw heeft (tweedekansje kan/mag ook ofc) echter heb ik niet echt een idee wat dan aan te raden is? 1060/2060/2070/ti versies?

quesi merk heb ik geen enkele voorkeur

[ Voor 4% gewijzigd door Skyllaer op 11-11-2026 11:55 ]

[Cyphax]

Past een full-size kaart? Hoeveel geheugen moet ie hebben? Voor servers zijn Quadro-kaarten nog weleens interessant. Ik heb in mijn server bijvoorbeeld een Quadro T600 met 4GB RAM voor transcoding en hele kleine modelletjes. Die is klein dus die past, een full-size kaart zou niet passen.

[Gizz]

Drie dingen zijn bepalend: de rekenkracht, hoeveelheid geheugen en geheugenbandbreedte zijn bepalend. Met een 1060 met 6GB beperk je jezelf wel heel erg qua model en ruimte voor context. Als het even kan, zorg dan voor minimaal 12 GB.

Nu zoek ik hiervoor eigenlijk een beetje een GPUtje puur voor een klein LLM model te willen testen/draaien puur voor HA (betere assistant/eventueel telegram acties onderscheppen en omzetten naar ha acties)/meallie en ik het dan zo lokaal kan houden ipv chatGPT/claude/openai/grok/... (hoeft geen voice gesprek te kunnen voeren / begrijpen. puur wat text to soort-actie/reactie ish)

Een gesprek voeren is niet eens per se zwaar. Sowieso maakt het niet uit of dat via tekst gaat of voice: het stukje STT en TTS staat los van je LLM.

Het is juist het stukje van een betere assistent zijn in HA wat de boel vertraagd: elke keer dat je een vraag stelt of commando geeft waarvoor het LLM aan de slag gaat met HA worden álle entities die je hebt ontsloten richting je assistent ingeladen als context. Dat moest eerst helemaal verwerkt worden worden voordat überhaupt het model begint met tekst genereren.

Als ik op mijn server in ollama als model llama3.2:3 in mijn ram laadt (geen dedicated GPU) en vragen stel krijg ik direct antwoord, er is immers geen context. Koppel ik datzelfde model aan de assistent in Home Assistant en vraag ik "Maak het gezelliger in de huiskamer", dan blijft het letterlijk 3 minuten stil omdat eerst alle entities en hun huidige status als context verwerkt worden

Samengevat: met een model een gesprekje voeren is relatief eenvoudig. Je LLM een opdracht laten uitvoeren in HA is zwaar en is gebaat bij veel rekenkracht voor de pre-fill fase (verwerken van je vraag en alle bijbehorende context).

Heb je daarnaast weinig geheugen, dan is de kwaliteit van de output laag doordat je modellen erg beperkt zijn. Je hebt weinig aan een snelle reactie als vervolgens het antwoord van ondermaatste kwaliteit is.

In dit recente filmpje van t.net worden de stappen goed uitgelegd:

Overigens kun je nu al testen of je een klein model bruikbaar vindt. Het zal veel langzamer gaan dan met een GPU, maar de kwaliteit van de output is hetzelfde. Je kunt nu al een paar kleine modellen testen, die inclusief context binnen 6GB passen, om te bepalen of je maar 6GB genoeg videogeheugen vindt.

[ Voor 20% gewijzigd door Gizz op 11-11-2026 14:25 ]

[GarBaGe]

Wat @Gizz ook al zei... geheugen hoeveelheid (VRAM) en geheugen bandbreedte zijn best bepalend voor wat je kan draaien.
Een 2e hands RTX3090 met 24GB kan een heleboel modellen draaien....
Maar misschien is een 5070 12GB al genoeg?
Of een 5060Ti 16GB.

Ik zat zelf te kijken voor een dedicated Nvidia kaart in mijn NAS voor Immich.
Maar die modellen zijn 6-7GB max, dus dan is een RTX5050 8GB al genoeg.
En zo'n kleine kaart kan je mogelijk ook in half-height krijgen, indien je behuizing geen fullsize kaarten toestaat.

[GarBaGe]

Skyllaer schreef op woensdag 11 november 2026 @ 11:54:
...
1060?
...

Een GTX-kaart, zoals de 1060, heeft geen Tensor cores en kan dus geen LLM modellen draaien.