Ervaringen met zelf gehoste AI assistenten

[Felicia]

CSB schreef op zaterdag 5 september 2026 @ 18:54:
[...]

Ik draai Qwen 3.6 35B A3B op mijn 12 GB RTX4070S i.c.m. Hermes. Is goed te doen met 32GB DDR5 hoor, zolang je niet hoger gaat dan Q8 en 128k context. Het is echter wel het maximale wat ik kan bereiken waarschijnlijk. Tenzij er een significante softwarematige upgrade gaat plaatsvinden, want hardware upgraden zit er voorlopig gewoon niet in.

Ik ben benieuwd wat je performance dan is, kan me niet voorstellen dat decode meer dan 20 tp/sec is?

[hybride]

CSB schreef op zaterdag 5 september 2026 @ 18:54:
[...]

Ik draai Qwen 3.6 35B A3B op mijn 12 GB RTX4070S i.c.m. Hermes. Is goed te doen met 32GB DDR5 hoor, zolang je niet hoger gaat dan Q8 en 128k context. Het is echter wel het maximale wat ik kan bereiken waarschijnlijk. Tenzij er een significante softwarematige upgrade gaat plaatsvinden, want hardware upgraden zit er voorlopig gewoon niet in.

Interessant! Welke build gebruik je precies? Niet alle builds van een model draaien goed met Hermes heb ik gemerkt. Je krijgt soms vraagtekens ????????? Als output.