Het is een MoE model zo te zien met 2,5B parameters actief. Dus een heel groot deel hoeft niet in het vram.
Idealiter wel omdat Vram -> Vram veel sneller is dan Ram -> Vram. Met uitzondering van cache draait deze bij mij volledig in Vram .DeNachtwacht schreef op zaterdag 24 oktober 2026 @ 18:14:
Het is een MoE model zo te zien met 2,5B parameters actief. Dus een heel groot deel hoeft niet in het vram.
Ik draag een rok, wat is jouw excuus?
Deze video is vrij informatief over wat Flint is, het team erachter, en de architectuur. Het grote voordeel schijnt de snelheid/kwaliteit verhouding te zijn: ik denk dat dit mn interessant is in een goed ingericht harness waar het model bij een foutje wordt bijgestuurd.
De NVFP4 versie zou 200+ tokens/s decode moeten halen op mijn RTX5090 (out-of-the-box, en we zien dat de backend vaak nog geoptimaliseerd kan worden), maar de video vermeldt dat vooral op de Mac dit al goed moet performen (zie laatste 2 hoofdstukken in de video).
De NVFP4 versie zou 200+ tokens/s decode moeten halen op mijn RTX5090 (out-of-the-box, en we zien dat de backend vaak nog geoptimaliseerd kan worden), maar de video vermeldt dat vooral op de Mac dit al goed moet performen (zie laatste 2 hoofdstukken in de video).
offtopic:
ik ben nu nog bezig Qwen3.8-flash-next te optimaliseren, dus dit komt op de (veel te lange) TO-DO lijst
ik ben nu nog bezig Qwen3.8-flash-next te optimaliseren, dus dit komt op de (veel te lange) TO-DO lijst
Met jouw interesse in Mistral, heb je al gekeken naar Kolibri-1? Een mix van 32GB V en veel Dram is ideaal daarvoor. Hoge (mixed) precisie en toch 262k KV cache mogelijk.Felicia schreef op zaterdag 24 oktober 2026 @ 17:48:
Voor degene die op zoek/aan het wachten waren naar een Qwen 3.8 35b model, wellicht is dit model interessant: http://huggingface.co/RecursiveSI/flint
Het schijnt dat deze voor code in de buurt van Qwen 3.8 27b komt en dat is waar ik 'm zou willen inzetten. Wat mij vooral opvalt is dat de Q4_K_XL ondanks de 40b parameters en 24,6GB toch met max context in met 32GB Vram past. Ik merk wel dat dit model wat moeite heeft met CRLF in bestanden maar dat kan goed mijn systeem zijn (Windows i.c.m. Git Bash en Mistral Vibe extension in VS Code).
Jup maar ik heb issues met de SYCL versie die niet door Kolibri aangeboden wordt, de Vulkan versie is onbruikbaar doordat prompt processing en token generatie keihard inkakt naar mate de context groeit. Ook caching lijkt niet helemaal lekker te gaan.max3D schreef op zaterdag 24 oktober 2026 @ 22:07:
[...]
Met jouw interesse in Mistral, heb je al gekeken naar Kolibri-1? Een mix van 32GB V en veel Dram is ideaal daarvoor. Hoge (mixed) precisie en toch 262k KV cache mogelijk.
Ik draag een rok, wat is jouw excuus?
Weer Strata update; nu kan je ook DeepSeek V4.1-Flash (Q2) draaien - 290GB download
en dan misschien 10 tk/s - maar het kan wel met 1 gpu en wat system mem. geen 10k mac meer nodig om dezelfde slechte cijfers te behalen
Whoop, die gaat aan!CT schreef op zondag 25 oktober 2026 @ 08:14:
Weer Strata update; nu kan je ook DeepSeek V4.1-Flash (Q2) draaien - 290GB downloaden dan misschien 10 tk/s - maar het kan wel met 1 gpu en wat system mem. geen 10k mac meer nodig om dezelfde slechte cijfers te behalen
wel gaaf. zijn er al ervaringen met de wat sterkere gpu's? Op zich kan het nog best interessant zijn als 30-40 tokens bijvoorbeeld op ene 5090 nog mogelijk zou zijn.CT schreef op zondag 25 oktober 2026 @ 08:14:
Weer Strata update; nu kan je ook DeepSeek V4.1-Flash (Q2) draaien - 290GB downloaden dan misschien 10 tk/s - maar het kan wel met 1 gpu en wat system mem. geen 10k mac meer nodig om dezelfde slechte cijfers te behalen
Ik denk dat je een beetje achterloopt wat betreft inference op de M5CT schreef op zondag 25 oktober 2026 @ 08:14:
Weer Strata update; nu kan je ook DeepSeek V4.1-Flash (Q2) draaien - 290GB downloaden dan misschien 10 tk/s - maar het kan wel met 1 gpu en wat system mem. geen 10k mac meer nodig om dezelfde slechte cijfers te behalen
De laatste tijd zijn er heel veel M5-geoptimaliseerde Metal-based engines bij gekomen. Ik ben zelf met oMLX begonnen en gebruik dat voor vrijwel alles, maar gebruik voor technisch werk MTPLX met Qwen 3.8 Flash Next. Op een M5 Max 128GB levert dat in de praktijk tussen de 60 en 70 tok/s met prefill tussen 1300 en 1500 tk/s.
Voor Qwen 3.8 Flash Next kun je inmiddels kiezen uit o.a. oMLX, (antirez) DS4, Splash, Splish en MTPLX. Er worden voor DeepSeek V4.1 Q2 op een M5 Ultra 256GB inmiddels praktijksnelheden van >50 tk/s gemeld met een prefill van 1800 tk/s. Dat is toch wel van een andere orde dan een kruipende 10 tk/s
Wat DeepSeek betreft; ik heb goeie ervaringen met DeepSeek V4 Flash 0731 2.4bit Mixed op mijn M5 Max met 128GB. Op een Ultra 256GB kun je dat model lossless draaien.
CUDA-based software voor Nvidia GPU's is behoorlijke uitontwikkeld, maar de M5 heeft een aanzienlijk verbeterde architectuur. In plaats van MLX-based software zie je zoals gezegd steeds meer M5-optimized engines die meer uit de hardware halen, en er is nog steeds headroom. Naast in de basis efficientere inference zijn ook dingen zoals MTP en DFlash((2) belangrijke zaken die performance verbeteren.
Dit is geenszins een uitnodiging tot een PC vs Mac of NVidia vs Apple Silicon strijd, maar laten we wel bij de feiten blijven. Je betaalt een klap geld bij Apple, helemaal eens, maar je krijgt er wel wat voor terug.
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
@Exirion dank voor het delen, heb jij ook ervaring met het verschil tussen 3.8 Flash Next en Deepseek V4.1 Flash in kwaliteit? Ik lees namelijk dat Flash Next nog steeds best competatief of zelfs beter is dan 4.1 flash (https://www.reddit.com/r/...gb_is_better_than_26_bpw/)
Wordt langzaam wel steeds mooier, ik lees her en der dat op 1 5090 rond de 30-40 tokens/s mogelijk zou moeten zijn. Wel fors langzamer dan Strata, maar als de kwaliteit echt stukken beter is, is dat natuurlijk alsnog wel interessant. Het is nog net acceptabel met dat soort snelheden als je er echt flinke kwaliteitsverbetering door krijgt wat mij betreft.
Wordt langzaam wel steeds mooier, ik lees her en der dat op 1 5090 rond de 30-40 tokens/s mogelijk zou moeten zijn. Wel fors langzamer dan Strata, maar als de kwaliteit echt stukken beter is, is dat natuurlijk alsnog wel interessant. Het is nog net acceptabel met dat soort snelheden als je er echt flinke kwaliteitsverbetering door krijgt wat mij betreft.
[ Voor 16% gewijzigd door DeNachtwacht op 25-10-2026 15:30 ]
Nja klinkt toch mooi, ligt wel erg aan je usecase uiteraard, lastig om paar M5 GPU's los te peuteren en in een rack te hangen met Linux integratie etc.
Maar als je puur op je desk zoekt naar een LLM vervanger dan zit een M5 Max 128GB op de prijs van een 5090 nu :-) Als je daar dezelfde snelheid (zo te lezen nu in @Exirion 's comment betere prefills) met Deepseek en Qwen Flash (vermoedelijk Q4 ?) kom je echt wel een enorm eind en krijg je nu wel waar voor je geld.
Maar bijv. Strata straalt ook wel op het gebied van 'obselete' hardware, scoor op marktplaats wat 'troep' en je kunt je nu ook scharen onder de localeLLM hobbisten, en daar ben ik wel blij mee, ik was erg bang dat alles langzaam alleen nog voor de 'oudere' (baan+werkgever+geld) of bedrijven ging worden en het lastig wordt voor nieuwe kids of minder bedeelde erin te duiken als ze dat willen.
Maar als je puur op je desk zoekt naar een LLM vervanger dan zit een M5 Max 128GB op de prijs van een 5090 nu :-) Als je daar dezelfde snelheid (zo te lezen nu in @Exirion 's comment betere prefills) met Deepseek en Qwen Flash (vermoedelijk Q4 ?) kom je echt wel een enorm eind en krijg je nu wel waar voor je geld.
Maar bijv. Strata straalt ook wel op het gebied van 'obselete' hardware, scoor op marktplaats wat 'troep' en je kunt je nu ook scharen onder de localeLLM hobbisten, en daar ben ik wel blij mee, ik was erg bang dat alles langzaam alleen nog voor de 'oudere' (baan+werkgever+geld) of bedrijven ging worden en het lastig wordt voor nieuwe kids of minder bedeelde erin te duiken als ze dat willen.
Ik heb er zelf nog geen ervaring mee en lees er wisselende verhalen over. Sowieso jammer dat het zo veel groter is dan z'n voorganger, al is een aanzienlijk deel daarvan de engram data. Bij Qwen 3.8 FN is dat trouwens ook zo. Misschien dat DS4.1 wat tegenvalt als je het afzet tegen de totale grootte van het model. Ik heb DS4 en Q3.8FN naast elkaar gebruikt en tot op zekere hoogte vullen ze elkaar aan. Toch gebruik ik de laatste tijd vooral Q3.8FN en zie uit naar Q4 dat in de komende weken zou moeten uitkomenDeNachtwacht schreef op zondag 25 oktober 2026 @ 15:28:
@Exirion dank voor het delen, heb jij ook ervaring met het verschil tussen 3.8 Flash Next en Deepseek V4.1 Flash in kwaliteit? Ik lees namelijk dat Flash Next nog steeds best competatief of zelfs beter is dan 4.1 flash
Ja, je kunt ook configuraties variëren voor de contexten waarin je modellen gebruikt. Een snel model afgewisseld met een wat langzamer draaiend model voor beter denkwerk. Sommige mensen gebruiker online frontier modellen voor research en architectuur e.d., en lokale modellen voor implementeerwerk. Zo'n schifting kun je lokaal uiteraard ook hanteren.Wordt langzaam wel steeds mooier, ik lees her en der dat op 1 5090 rond de 30-40 tokens/s mogelijk zou moeten zijn. Wel fors langzamer dan Strata, maar als de kwaliteit echt stukken beter is, is dat natuurlijk alsnog wel interessant. Het is nog net acceptabel met dat soort snelheden als je er echt flinke kwaliteitsverbetering door krijgt wat mij betreft.
Binnenkort hoop ik na lang wachten een M5 Ultra 256GB te hebben en ga DeepSeek V4.1 zeker proberen, en ook GLM 5.3 waar veel goeds over te lezen is. Q3.8FN, DS4.x, en GLM 5.3 zijn momenteel toch wel de leidende open weight modellen voor software engineering. Kan over een maand weer anders zijn, want de ontwikkelingen volgen elkaar snel op.
Misschien dat ik de M5 machines ga combineren. Je kunt twee Macs via Thunderbolt 5 connecten en je hebt een bloedsnel low latency cluster (RDMA) voor inference. Je kunt dan via software zoals Exo systemen combineren om grote modellen te draaien. Leuk om mee te tweaken
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
Overigens ben ik helemaal verknocht geraakt aan Pi Agent. Aanvankelijk deed ik alles met Cline in VS Code en ben daarna op Zoo Coder overgestapt. Nog stammend uit de tijd van Turbo Pascal en Turbo C onder MS-DOS vind ik de revival van TUIs de laatste jaren echt geweldig
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
Ja, in die zin is het een zegen voor een grote groep gebruikers. De opkomst van AI is zo enorm snel en massaal dat het helaas enorme gevolgen heeft voor hardwareprijzen. Een jaar geleden nog 2200 euro voor een RTX5090; inmiddels mag je 9000 euro aftikken. Een Asus GX10 had je een paar weken terug voor 4.5K, inmiddels is dat 6.5K. Dat maakt local AI voorlopig een erg dure hobby. De vooruitzichten voor volgend jaar zijn niet zo rooskleurig. De prijs van inference hardware zou nog wel eens tientallen procenten kunnen stijgen of zelfs verdubbelen.CT schreef op zondag 25 oktober 2026 @ 17:10:
Strata straalt ook wel op het gebied van 'obselete' hardware, scoor op marktplaats wat 'troep' en je kunt je nu ook scharen onder de localeLLM hobbisten, en daar ben ik wel blij mee, ik was erg bang dat alles langzaam alleen nog voor de 'oudere' (baan+werkgever+geld) of bedrijven ging worden en het lastig wordt voor nieuwe kids of minder bedeelde erin te duiken als ze dat willen.
Deze week moet Apple met een prijs voor de M5 Ultra 512GB komen. Gezien recente stijgingen zou een prijs onder de 20000 me verbazen...
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
Misschien leuk voor mensen met een RTX2000 serie kaart : https://github.com/nlzy/turing-unlock
Heb het voor elkaar gekregen https://github.com/nlzy/turing-unlock/issues/5
Het was wel even aanklooien maar draai nu dus unlocked.
Script zou moeten werken, is een compilatie van alles dat ik gedaan heb/moest doen om het werkend te krijgen. Ubuntu 26.04, getest met cude-samples met eigen scriptje : https://pastebin.com/wg0ZmvvS (zal aanpassingen nodig hebben zoals /home/user/).
TEST: FP16 Tensor Core GEMM Execution
Initializing...
GPU Device 0: "Turing" with compute capability 7.5
M: 4096 (16 x 256)
N: 4096 (16 x 256)
K: 4096 (16 x 256)
Preparing data for GPU...
Required shared memory size: 64 Kb
Computing... using high performance kernel compute_gemm
Time: 4.808896 ms
TFLOPS: 28.58
GPU Device 0: "Turing" with compute capability 7.5
M: 4096 (16 x 256)
N: 4096 (16 x 256)
K: 4096 (16 x 256)
Preparing data for GPU...
Required shared memory size: 64 Kb
Computing... using high performance kernel compute_gemm_imma
Time: 2.596160 ms
TOPS: 52.94
GPU Device 0: "Turing" with compute capability 7.5
MatrixA(1280,1280), MatrixB(1280,1280)
Running kernel = 0 - AsyncCopyMultiStageLargeChunk
Computing result using CUDA Kernel...
done
Performance= 1158.41 GFlop/s, Time= 3.621 msec, Size= 4194304000 Ops, WorkgroupSize= 256 threads/block
Checking computed result for correctness: Result = PASS
python -c ' import torch, time
device = torch.device("cuda")
print(f"Testing Unlocked Device: {torch.cuda.get_device_name(0)}")
N = 8192 A = torch.randn(N, N, dtype=torch.float16, device=device)
B = torch.randn(N, N, dtype=torch.float16, device=device)
for _ in range(5): torch.matmul(A,
torch.cuda.synchronize()
start = time.time()
for _ in range(20): torch.matmul(A,
torch.cuda.synchronize()
tflops = (2 (N * 3)) / (((time.time() - start) / 20) * 1e12)
print(f"\nTensors Unlocked Speed: {tflops:.2f} TFLOPS")
'
Testing Unlocked Device: NVIDIA GeForce RTX 2080
Tensors Unlocked Speed: 68.40 TFLOPS
Heb het voor elkaar gekregen https://github.com/nlzy/turing-unlock/issues/5
Het was wel even aanklooien maar draai nu dus unlocked.
Script zou moeten werken, is een compilatie van alles dat ik gedaan heb/moest doen om het werkend te krijgen. Ubuntu 26.04, getest met cude-samples met eigen scriptje : https://pastebin.com/wg0ZmvvS (zal aanpassingen nodig hebben zoals /home/user/).
TEST: FP16 Tensor Core GEMM Execution
Initializing...
GPU Device 0: "Turing" with compute capability 7.5
M: 4096 (16 x 256)
N: 4096 (16 x 256)
K: 4096 (16 x 256)
Preparing data for GPU...
Required shared memory size: 64 Kb
Computing... using high performance kernel compute_gemm
Time: 4.808896 ms
TFLOPS: 28.58
TEST: INT8 Integer Tensor Core (IMMA) Execution
Initializing...GPU Device 0: "Turing" with compute capability 7.5
M: 4096 (16 x 256)
N: 4096 (16 x 256)
K: 4096 (16 x 256)
Preparing data for GPU...
Required shared memory size: 64 Kb
Computing... using high performance kernel compute_gemm_imma
Time: 2.596160 ms
TOPS: 52.94
TEST: Asynchronous Memory Pipeline Performance
[globalToShmemAsyncCopy] - Starting...GPU Device 0: "Turing" with compute capability 7.5
MatrixA(1280,1280), MatrixB(1280,1280)
Running kernel = 0 - AsyncCopyMultiStageLargeChunk
Computing result using CUDA Kernel...
done
Performance= 1158.41 GFlop/s, Time= 3.621 msec, Size= 4194304000 Ops, WorkgroupSize= 256 threads/block
Checking computed result for correctness: Result = PASS
python -c ' import torch, time
device = torch.device("cuda")
print(f"Testing Unlocked Device: {torch.cuda.get_device_name(0)}")
N = 8192 A = torch.randn(N, N, dtype=torch.float16, device=device)
B = torch.randn(N, N, dtype=torch.float16, device=device)
for _ in range(5): torch.matmul(A,
torch.cuda.synchronize()
start = time.time()
for _ in range(20): torch.matmul(A,
torch.cuda.synchronize()
tflops = (2 (N * 3)) / (((time.time() - start) / 20) * 1e12)
print(f"\nTensors Unlocked Speed: {tflops:.2f} TFLOPS")
'
Testing Unlocked Device: NVIDIA GeForce RTX 2080
Tensors Unlocked Speed: 68.40 TFLOPS
[ Voor 15% gewijzigd door prutser001 op 27-10-2026 11:34 ]
Asus Z390 Maximus IX Hero, Intel 9900K, RTX3080, 64GB DDR4 3000, 2TB NVME, Samsung 850Evo 1TB, 4 x 14TB Toshiba, Be Quiet SB 801, Samsung 34"
Krap vier maanden later heb ik het workstation echt voor helemaal niets gebruikt, dat is toch zonde. Ik heb d'r dus op de V&A gezet, in de hoop dat er iemand is die er wel iets aan heeft.Liegebeest schreef op donderdag 9 juli 2026 @ 18:58:
Ik ga er dan toch aan geloven: naast veel theoretische studies rondom AI compliance, en een hands-on cursus over AI security heb ik nu toch een eigen sandbox nodig.
Heeft o.a. ook te maken met mijn carrière-wissel; ik ga de IT uit.
Liege, liege, liegebeest!
@DeNachtwacht Bedoel je 30-40 tokens/s voor Flash-Next of voor Deepseek? Voor Flash-Next haal ik 100 tokens/s gemiddeld - kwaliteit is merkbaar beter dan 27b.DeNachtwacht schreef op zondag 25 oktober 2026 @ 15:28:
@Exirion dank voor het delen, heb jij ook ervaring met het verschil tussen 3.8 Flash Next en Deepseek V4.1 Flash in kwaliteit? Ik lees namelijk dat Flash Next nog steeds best competatief of zelfs beter is dan 4.1 flash (https://www.reddit.com/r/...gb_is_better_than_26_bpw/)
Wordt langzaam wel steeds mooier, ik lees her en der dat op 1 5090 rond de 30-40 tokens/s mogelijk zou moeten zijn. Wel fors langzamer dan Strata, maar als de kwaliteit echt stukken beter is, is dat natuurlijk alsnog wel interessant. Het is nog net acceptabel met dat soort snelheden als je er echt flinke kwaliteitsverbetering door krijgt wat mij betreft.
@vargo ik bedoel dan deepseek. Ik draai flash next op Q4_X_S met 100-120 tokens/s met een rtx 5090.
@DeNachtwacht ook op linux? Ik ben van kernel 6.7.x naar 7.0.0 gegaan, maar onder 7 liep ik tegen allerlei problemen aan (die pas in 7.3 opgelost zouden moeten zijn maar dat is te bleeding edge). Ik red het net niet om alle agents in mijn 96GB RAM te krijgen (tenminste, als ik ook een Gnome shell opstart): ik denk dat ik hier performance laat liggen, plus een power cap op de RTX5090. Context cache van max 262K voor 1 client, of 524K voor de hele pool (max 8 concurrent). Ik draai Infernix met NVFP4 welke ivm Strata sneller zou moeten zijn.
Ik draai hem onder windows 11 icm Visual Studio Code. Maar heb jij concurrent agents draaien dan? Bij mijn weten is dat niet mogelijk met Flash Next, ik kreeg in visual studio daar wat foutmeldingen mee, en hoewel ik het verder niet getest heb zag ik ook ergens op Reddit voorbij komen dat dat de max zou zijn.
Ja mijn max-concurrency staat op 8, maar om eerlijk te zijn kan ik dat beter terugschroeven naar 4. Ik zal binnenkort weer eens opnieuw benchmarken (1 - 8 clients vs 8k/32k/128k/256k) maar schat dat in de praktijk rond de 3 a 4 concurrent clients de performance in elkaar zakt.
(edit: ninfer/infernix support het, dus de beperking zit niet op het model maar wellicht wel bij Strata?)
Maar ik gebruik het wel: ik draai meerdere Pi instances (5 op dit moment), waarbij iedere instance ook nog subagents kan "spawnen". Die staan niet allemaal tegelijk te werken, maar ik kan wel op ieder moment een bericht naar de agent sturen (via mijn matrix server) en hem aan het werk zetten.
(edit: ninfer/infernix support het, dus de beperking zit niet op het model maar wellicht wel bij Strata?)
Maar ik gebruik het wel: ik draai meerdere Pi instances (5 op dit moment), waarbij iedere instance ook nog subagents kan "spawnen". Die staan niet allemaal tegelijk te werken, maar ik kan wel op ieder moment een bericht naar de agent sturen (via mijn matrix server) en hem aan het werk zetten.
[ Voor 8% gewijzigd door vargo op 26-10-2026 21:10 ]
Ik werk als onderzoeker aan het evalueren van SLMs (small language models) voor use cases zoals nederlandse data rapportering voor gevoelige data die niet offsite mag gaan. Hardware specs zijn dan eerder edge hardware Orin NX / AGX of een minipc met RTX4060 8gb VRAM en 32gb ram (zo heeft mijn werk er nog een aantal liggen toen die nog betaalbaar waren).
Uit mijn eigen ervaring heb ik al gemerkt dat llama.cpp vaak niet bijster goed geoptimaliseerd is, zeker niet voor unified memory, dus ben ik met Claude en nsight profiling aan de slag gegaan om vanaf de edge-llm engine van nvidia https://github.com/NVIDIA/TensorRT-Edge-LLM (die vooral ontwikkelt en geevalueerd is met Nvidia Thors) verder uit te bouwen voor de hardware die ik voorhanden heb en ik moet eerlijk toegeven dat dat aardig lukt.
Oorspronkelijk was ik begonnen met Gemma 4 E4B en Gemma 12B te optimaliseren, dat was voorheen het best scorende model op mijn test suite, en veel sneller dan llama.cpp, maar dan dacht ik, waarom geen grotere modellen gebruiken als die qua performantie even snel presteren als dat Gemma 4 deed op llama.cpp.
Qwen3.6 35B MoE heb ik aan de praat gekregen met een 128k prompt context zonder CPU offloading van MoE (https://github.com/drakarah/faster-edge-llm-poc/tree/dgpu-qwen36). Pas nadien heb ik Strata en Polystrata (https://github.com/VecSzn/PolyStrata) gevonden die verschillende optimalisaties toegepast hebben en zo met CPU offloading wat in de buurt komt met de prefill tok/s en decode tok/s, dus ik vermoed dat er nog wel wat performantie uit te persen is.
Het verbaast mij enigszinds dat 128k context überhaupt mogelijk was op een 8GB vram kaart en na een aantal testen in pi.dev is het nog werkbaar om agentic taken te laten doen, of dingen te coden. Niet te vergelijken met Claude natuurlijk, maar het feit dat dit gewoon werkt op "goedkope" hardware (RTX4060 zie ik nog voor ~300€ op 2e hands) had ik nooit verwacht.
Online zie ik de focus veel verschuiven naar 12 of 16gb vram kaarten en laten 8gb eerder liggen dus ik ging er vanuit dat dat ook vrij onrealistisch ging zijn, maar dat bleek dus ongegrond.
In de voorbije weken dat ik met Claude zitten brainstormen heb (ik heb gelukkig wel wat ervaring met optimalizeren om die efficient aan te sturen) heb ik enorm veel bijgeleerd over de interne werking van LLMs, de interne werking van CUDA kernels, SASS assembly instructies en wat de bottlenecks allemaal kunnen zijn op low level of zelfs bare metal hardware niveau, en soms zijn het echt domme simpele dingen (en waarschijnlijk hardware specifieke dingen) die een significant verschil kunnen maken. Als kernels niet op elkaar afgestemt zijn (en kernels worden dynamisch geselecteerd op basis van de hardware) krijg je al snel inefficienties: onnodige type casts instructies, local memory bank contention, etc. en dat loopt toch aardig op. (Poly)strata focust zich op high level technieken die een groot verschil maken (zoals veelgebruikte MoE in vram houden) maar laten het echte kernel optimalisatie tot op de SASS assembly instructies werk aan zich voorbij gaan en da's wel jammer.
Volgens mij is er nog wel wat performantie uit te persen en met Claude als CUDA expert is het gemakkelijker dan ooit om verschillende hypotheses af te toetsen en casually een volledige nieuwe CUDA kernel in elkaar te flansen die wel afgestemt is om de quantisatie van de gewichten van het model en zo truken van de foor met instructies toepassen. Doet mij heel erg denken aan superoptimalisatie (Wikipedia: Superoptimalisatie).
Het is een enorm boeiend veld om in te werken en ik kan niet wachten wat er in de toekomst nog uit de bus komt.
Uit mijn eigen ervaring heb ik al gemerkt dat llama.cpp vaak niet bijster goed geoptimaliseerd is, zeker niet voor unified memory, dus ben ik met Claude en nsight profiling aan de slag gegaan om vanaf de edge-llm engine van nvidia https://github.com/NVIDIA/TensorRT-Edge-LLM (die vooral ontwikkelt en geevalueerd is met Nvidia Thors) verder uit te bouwen voor de hardware die ik voorhanden heb en ik moet eerlijk toegeven dat dat aardig lukt.
Oorspronkelijk was ik begonnen met Gemma 4 E4B en Gemma 12B te optimaliseren, dat was voorheen het best scorende model op mijn test suite, en veel sneller dan llama.cpp, maar dan dacht ik, waarom geen grotere modellen gebruiken als die qua performantie even snel presteren als dat Gemma 4 deed op llama.cpp.
Qwen3.6 35B MoE heb ik aan de praat gekregen met een 128k prompt context zonder CPU offloading van MoE (https://github.com/drakarah/faster-edge-llm-poc/tree/dgpu-qwen36). Pas nadien heb ik Strata en Polystrata (https://github.com/VecSzn/PolyStrata) gevonden die verschillende optimalisaties toegepast hebben en zo met CPU offloading wat in de buurt komt met de prefill tok/s en decode tok/s, dus ik vermoed dat er nog wel wat performantie uit te persen is.
Het verbaast mij enigszinds dat 128k context überhaupt mogelijk was op een 8GB vram kaart en na een aantal testen in pi.dev is het nog werkbaar om agentic taken te laten doen, of dingen te coden. Niet te vergelijken met Claude natuurlijk, maar het feit dat dit gewoon werkt op "goedkope" hardware (RTX4060 zie ik nog voor ~300€ op 2e hands) had ik nooit verwacht.
Online zie ik de focus veel verschuiven naar 12 of 16gb vram kaarten en laten 8gb eerder liggen dus ik ging er vanuit dat dat ook vrij onrealistisch ging zijn, maar dat bleek dus ongegrond.
In de voorbije weken dat ik met Claude zitten brainstormen heb (ik heb gelukkig wel wat ervaring met optimalizeren om die efficient aan te sturen) heb ik enorm veel bijgeleerd over de interne werking van LLMs, de interne werking van CUDA kernels, SASS assembly instructies en wat de bottlenecks allemaal kunnen zijn op low level of zelfs bare metal hardware niveau, en soms zijn het echt domme simpele dingen (en waarschijnlijk hardware specifieke dingen) die een significant verschil kunnen maken. Als kernels niet op elkaar afgestemt zijn (en kernels worden dynamisch geselecteerd op basis van de hardware) krijg je al snel inefficienties: onnodige type casts instructies, local memory bank contention, etc. en dat loopt toch aardig op. (Poly)strata focust zich op high level technieken die een groot verschil maken (zoals veelgebruikte MoE in vram houden) maar laten het echte kernel optimalisatie tot op de SASS assembly instructies werk aan zich voorbij gaan en da's wel jammer.
Volgens mij is er nog wel wat performantie uit te persen en met Claude als CUDA expert is het gemakkelijker dan ooit om verschillende hypotheses af te toetsen en casually een volledige nieuwe CUDA kernel in elkaar te flansen die wel afgestemt is om de quantisatie van de gewichten van het model en zo truken van de foor met instructies toepassen. Doet mij heel erg denken aan superoptimalisatie (Wikipedia: Superoptimalisatie).
Het is een enorm boeiend veld om in te werken en ik kan niet wachten wat er in de toekomst nog uit de bus komt.
@drake7707 dank voor het delen, als ik je zo lees heb je er aardig verstand van... misschien juist ook eens wat kennis delen met de makers van strata? Wellicht kunnen zij ook e.e.a. weer implementeren. Ze bieden nu ook al optimalisatie van Strata voor jouw specifieke systeem aan bij het opstarten, wellicht kun je ze nog wat helpen dit een stap verder te doen (hoewel ik me wel afvraag of het mogelijk gaat zijn dat Strata zonder beschikbare AI lokaal voor elke pc een geoptimaliseerde cuda kernel gaat samenstellen?)
Sowieso is het fijn als dat team lekker groot wordt met bijdragers, dat vergroot de kans alleen maar dat het echt een serieuze, goed ondersteunde opensource tool blijft.
Sowieso is het fijn als dat team lekker groot wordt met bijdragers, dat vergroot de kans alleen maar dat het echt een serieuze, goed ondersteunde opensource tool blijft.
[ Voor 15% gewijzigd door DeNachtwacht op 27-10-2026 10:27 ]
Twee weken geleden kende ik er bijster weinig van dus ik werk mezelf nog steeds in de materie. Hoeveel keer dat ik een antwoord van Claude aan chatgpt geef met de vraag "leg mij dit eens uit" kan ik al niet meer op één hand tellen.DeNachtwacht schreef op dinsdag 27 oktober 2026 @ 10:25:
@drake7707 dank voor het delen, als ik je zo lees heb je er aardig verstand van... misschien juist ook eens wat kennis delen met de makers van strata? Wellicht kunnen zij ook e.e.a. weer implementeren. Ze bieden nu ook al optimalisatie van Strata voor jouw specifieke systeem aan bij het opstarten, wellicht kun je ze nog wat helpen dit een stap verder te doen (hoewel ik me wel afvraag of het mogelijk gaat zijn dat Strata zonder beschikbare AI lokaal voor elke pc een geoptimaliseerde cuda kernel gaat samenstellen?)
Sowieso is het fijn als dat team lekker groot wordt met bijdragers, dat vergroot de kans alleen maar dat het echt een serieuze, goed ondersteunde opensource tool blijft.
Bij Polystrata had ik al een issue geopend https://github.com/VecSzn/PolyStrata/issues/81, maar ik wacht op mijn weekly token reset
Eén van de dingen dus was extra plugins voorzien die de autotuner kon gaan uittesten die nog niet voorzien waren in edge-llm voor orin/rtx4060 hardware. Of dat ook kan overgezet worden naar hoe Strata met kernels werkt moet ik nog uitzoeken.
Ik dacht oorspronkelijk dat de performantie changes op de AGX Orin met unified memory niet overdraagbaar waren naar de RTX4060, maar dat bleek uiteindelijk wel te zijn. Het orin platform heeft andere bottlenecks, meer compute bottlenecks en ook vaak de issuer die instructies niet snel genoeg kon streamen (als ik het goed begrijp), en dan hielp reduceren van instructie count wel significant (door bvb. onnodige casts weg te werken). Het orin platform (sm_87) heeft ook geen support voor FP8, dus door alles om te zetten naar INT8 in de pipeline (behalve dan op de plaatsen waar de reductie in precisie leidt tot kwaliteitsverlies) werkt alles veel sneller. En die INT8 wijziging heeft ook veel effect op de RTX4060, die wel ondersteuning heeft voor FP8, maar de INT8 tensor processing is qua TOPS bleek sneller.
Uit een rooftop analyze op de RTX4060 bleek:
| instruction | accumulate | TFLOPS / TOPS | vs FP16-acc |
|---|---|---|---|
| FP16 x FP16 (m16n8k16) | FP16 | 60.4 | 1x |
| FP16 x FP16 | FP32 | 30.2 | 0.5x |
| INT8 x INT8 (m16n8k32) | INT32 | 120.8 | 2x |
| FP8 E4M3 x E4M3 (m16n8k32) | FP32 | 60.4 | 1x |
| FP8 E4M3 x E4M3 | FP16 | 120.8 | 2x |
Om Claude te quoten uit de ondertussen 5000+ lijnen METRICS.md:
Ja dat was in het begin ook vaak chinees voor mij.Matches 24 SMs x 2.46 GHz x 1 024 FLOP/SM/clk for the full-rate paths and half of that for FP32 accumulate. Findings: (1) answers "is INT8 faster than FP8 on the 4060": yes unless FP8 accumulates in FP16: FP8 with the usual FP32 accumulate runs at only 60 TFLOPS (GeForce halves it), the same as FP16 with FP16 accumulate; INT8 gets 2x at exact INT32 accumulation, which is why the Orin-era INT8 kernels carry over. (2) the prefill INT4 GEMM (55 TFLOPS, R5t) is at 91% of the 60.4 FP16-acc peak: the FP16 path has no headroom; the INT8 peak is 2x higher. A W4A8 GEMM (INT4 weights widened to INT8 in registers, per-token INT8 activations, INT32 accumulate with the group-128 scale applied per group, as in QServe/Marlin-W4A8) could reach ~100 of 120 TOPS = ~1.8x on the GEMM share of prefill (65-70% at 8k): ~1.4x prefill overall. Cost: activation quantisation passes (fuse into the preceding norm), quality risk from outlier activations (down_proj inputs), a new CuTe DSL/CUDA kernel. (3) the FP16 accumulate we already use (R5n) is a precision compromise of the same family (hard tests -1..-2 within noise); INT8 x INT4 accumulates exactly, the loss is in the activation rounding only.
En ja, de algemene optimalisatietechnieken blijven natuurlijk geldig: doe geen onnodig werk (bvb matrix multiplications op het ongevuld stuk context), maximaliseer parallelisatie met zo weinig mogelijk contention (semafoor spinwaits), hergebruik zoveel mogelijk (prefill caching, context reuse), reduceer VRAM gebruik door kwantisatie zodat meer experts in VRAM passen en niet langs de trage RAM weg moeten passeren, chunked prompt processing zodat niet de volledige prompt in VRAM moet passen en vooral voor grote context sizes het überhaupt mogelijk maakt om in 8GB VRAM te werken. Veel doet Strata wel al, al meer dan llama.cpp doet, maar nog niet alles denk ik.
Ik heb een poging gedaan om alle changes te documenteren met aparte feature branches https://github.com/drakarah/faster-edge-llm-poc/tree/dgpu-qwen36#changes dus dat gaat hopelijk wel helpen om individuele features te cherry picken naar Strata als dat nuttig blijft.
Interesting stuff.
Inmiddels mijn setup/configuratie Greatsword in "Ervaringen met zelf gehoste AI assistenten" nog wat verder uitgebouwd en er ook wat mooie functionele dashboard widgets voor gemaakt.
Ik heb Hermes nu als agent, die is gekoppeld via Discord en fungeert nu dus als bot. Buitenshuis kan ik nu dus ook makkelijk opdrachten geven die op de Mac moeten worden uitgevoerd. Ook de integratie voor lokale afbeelding generatie is afgerond middels Comfy.
Het is nog niet perfect maar gaat in ieder geval de goede kant op
Ben nu bezig met Obsidian leren om Hermes straks zo selectief toegang te geven tot bepaalde kennisbanken, een soort van Second Brain concept dus.
Ik heb Hermes nu als agent, die is gekoppeld via Discord en fungeert nu dus als bot. Buitenshuis kan ik nu dus ook makkelijk opdrachten geven die op de Mac moeten worden uitgevoerd. Ook de integratie voor lokale afbeelding generatie is afgerond middels Comfy.
Het is nog niet perfect maar gaat in ieder geval de goede kant op
hermes is best goed in het allen relevante dingen in context zetten. ik heb 3 vaults 1 voor homelab, 1 voor school en 1 voor werk. hermes weet eigenlijk altijd waar de informatie staat doordat hij altijd de skill blijft updaten dus misschien is het selectief toegang geven niet nodig. maar misschien is jou doel iets andersGreatsword schreef op dinsdag 27 oktober 2026 @ 11:28:
Inmiddels mijn setup/configuratie Greatsword in "Ervaringen met zelf gehoste AI assistenten" nog wat verder uitgebouwd en er ook wat mooie functionele dashboard widgets voor gemaakt.
Ik heb Hermes nu als agent, die is gekoppeld via Discord en fungeert nu dus als bot. Buitenshuis kan ik nu dus ook makkelijk opdrachten geven die op de Mac moeten worden uitgevoerd. Ook de integratie voor lokale afbeelding generatie is afgerond middels Comfy.
Het is nog niet perfect maar gaat in ieder geval de goede kant opBen nu bezig met Obsidian leren om Hermes straks zo selectief toegang te geven tot bepaalde kennisbanken, een soort van Second Brain concept dus.
[Afbeelding]
Meet je het kwaliteitsverlies ook en zo ja hoe; of is het theoretische observatie?Het orin platform (sm_87) heeft ook geen support voor FP8, dus door alles om te zetten naar INT8 in de pipeline (behalve dan op de plaatsen waar de reductie in precisie leidt tot kwaliteitsverlies) werkt alles veel sneller. En die INT8 wijziging heeft ook veel effect op de RTX4060, die wel ondersteuning heeft voor FP8, maar de INT8 tensor processing is qua TOPS bleek sneller.
Ik gebruik HumanEval (164 vraagstukken) om snel na te gaan of een nieuwe build slechter presteert. Er zit wel wat variatie in tussen runs, maar als ineens een model met 5 of meer achteruit gaat zit er kwaliteitsverlies op, soms door een bug, soms structureel door precisieverlies en soms omdat een model iets langdradiger wordt en niet binnen de token limiet aan een juist antwoord komt (terwijl een hogere token limiet wel een juist antwoord produceerde). Natuurlijk maar 1 kleine benchmark en hoe zich dat vertaalt in de praktijk is natuurlijk pas in langdurig gebruik merkbaar, maar het geeft wel een indicatie om snel problemen op te sporen of parameters tijdens tuning te valideren.max3D schreef op dinsdag 27 oktober 2026 @ 13:27:
[...]
[...]
Meet je het kwaliteitsverlies ook en zo ja hoe; of is het theoretische observatie?
Dank. Ik ben aan het overstappen naar AA-LCR want veel moderner en nog geen benchmark saturation, maar ik sta altijd open voor betere suggesties. In mijn geval ook nog grote context als deel v/d benchmark om dezelfde reden als jij aangeeft.drake7707 schreef op dinsdag 27 oktober 2026 @ 13:43:
[...]
Ik gebruik HumanEval (164 vraagstukken) om snel na te gaan of een nieuwe build slechter presteert. Er zit wel wat variatie in tussen runs, maar als ineens een model met 5 of meer achteruit gaat zit er kwaliteitsverlies op, soms door een bug, soms structureel door precisieverlies en soms omdat een model iets langdradiger wordt en niet binnen de token limiet aan een juist antwoord komt (terwijl een hogere token limiet wel een juist antwoord produceerde). Natuurlijk maar 1 kleine benchmark en hoe zich dat vertaalt in de praktijk is natuurlijk pas in langdurig gebruik merkbaar, maar het geeft wel een indicatie om snel problemen op te sporen of parameters tijdens tuning te valideren.
Wat ik gemerkt heb is dat benchmarks (natuurlijk) maar een klein deel van het verhaal zijn. Of een model goed werkt voor je use-case is nogal subjectief.
Zo is mijn ervaring met Qwen3.8 Flash Next voor agentic coding erg goed, maar laat hem vooral geen commentaar of tekst in de UI doen, want dat is echt onbegrijpelijk (ja, temperature, etc). En MTP is vet voor de benchmark, maar niet voor kwaliteit.
Neem je Gemma4 (dense of MoE), dan merk je dat die significant beter tekst produceert. Maar code is lastig.
Er zit echt behoorlijk wat kennis en kunde om tot een kwalitatief goede oplossing te komen. En tot nu toe is dat een mix van modellen, voor mij althans.
Zo is mijn ervaring met Qwen3.8 Flash Next voor agentic coding erg goed, maar laat hem vooral geen commentaar of tekst in de UI doen, want dat is echt onbegrijpelijk (ja, temperature, etc). En MTP is vet voor de benchmark, maar niet voor kwaliteit.
Neem je Gemma4 (dense of MoE), dan merk je dat die significant beter tekst produceert. Maar code is lastig.
Er zit echt behoorlijk wat kennis en kunde om tot een kwalitatief goede oplossing te komen. En tot nu toe is dat een mix van modellen, voor mij althans.
Gemma 4 is een pareltje. Inmiddels een halfjaar oud maar blinkt in z'n soort nog steeds uit. Erg goed als general purpose model voor niet-technische doeleinden. Ook goed in Nederlands.gibraltar schreef op dinsdag 27 oktober 2026 @ 19:14:
Neem je Gemma4 (dense of MoE), dan merk je dat die significant beter tekst produceert. Maar code is lastig.
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
Ja ik heb Gemma 4 12b draaien, werkt heel goed als klein model erbij, bijv. chat titels genereren, steering zoals in Pi en past op m'n GTX1080Ti in VRAM.
Simpele logica ik vandaag of morgen mijn EV ga opladen..
- Scrape "https://teletekst-data.nos.nl/json/703"
- Vraag aan Gemma4 - met aanvullende prompt - of het nu of morgen laden word.
- Reactie.. vandaag laden, morgenmiddag is er regen verwacht..
En wat gebeurt er als het weer verandert en hij telkens morgen zegt?
Ik draai hem nu 3-4 per dag.. want in de ochtend staat er nog geen bericht van morgen.rakydei schreef op woensdag 28 oktober 2026 @ 10:22:
En wat gebeurt er als het weer verandert en hij telkens morgen zegt?
Uiteindelijk moet hij op bepaalde dagen opgeladen zijn, dus op een gegeven moment is er geen keuze-mogelijkheid meer.
Leuk maar hier zijn toch al legio niet AI oplossingen voor?_Apache_ schreef op dinsdag 27 oktober 2026 @ 19:45:
Simpele logica ik vandaag of morgen mijn EV ga opladen..
- Scrape "https://teletekst-data.nos.nl/json/703"
- Vraag aan Gemma4 - met aanvullende prompt - of het nu of morgen laden word.
- Reactie.. vandaag laden, morgenmiddag is er regen verwacht..
Sure, maar selfhosted was er ik er nog niet mee aan de slag geweest.Beekforel schreef op woensdag 28 oktober 2026 @ 10:36:
[...]
Leuk maar hier zijn toch al legio niet AI oplossingen voor?
Ik raad nog eens wat aan. Artificial Analysis Intelligence Index v5 verwijderde zonder uitleg nou juist deze test. De enige die complexe multi-document analyes scoorde met een 100k context....max3D schreef op dinsdag 27 oktober 2026 @ 14:09:
[...]
Dank. Ik ben aan het overstappen naar AA-LCR want veel moderner en nog geen benchmark saturation, maar ik sta altijd open voor betere suggesties. In mijn geval ook nog grote context als deel v/d benchmark om dezelfde reden als jij aangeeft.
Zojuist is de prijs van de M5 Ultra 512GB online gekomen: € 26.779,00 met 4TB storage.
Ik hou het voorlopig wel bij m'n bestelde 256GB...
Ik hou het voorlopig wel bij m'n bestelde 256GB...
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
Jij hebt niet zo zo'n 27k op je spaarrekening staan?Exirion schreef op woensdag 28 oktober 2026 @ 18:34:
Zojuist is de prijs van de M5 Ultra 512GB online gekomen: € 26.779,00 met 4TB storage.
Ik hou het voorlopig wel bij m'n bestelde 256GB...
Ik draag een rok, wat is jouw excuus?
Budget is gelukkig het probleem niet, maar je moet het maar willen gevenFelicia schreef op woensdag 28 oktober 2026 @ 18:43:
Jij hebt niet zo zo'n 27k op je spaarrekening staan?
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
Ik zie dat ie bij mij "maar" 25.129,- is 🤣
Ik draag een rok, wat is jouw excuus?
Als je met 512GB een beetje gaat spelen met modellen dan is een 1TB SSD echt te krap. Ik heb nu een M5 Max 128GB met 4TB, en die was ook zo vol.Felicia schreef op woensdag 28 oktober 2026 @ 18:58:
Ik zie dat ie bij mij "maar" 25.129,- is 🤣
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
Ik heb ook 2TB maar 1 schijf voor modellen en wat Git projecten.Exirion schreef op woensdag 28 oktober 2026 @ 19:00:
[...]
Als je met 512GB een beetje gaat spelen met modellen dan is een 1TB SSD echt te krap. Ik heb nu een M5 Max 128GB met 4TB, en die was ook zo vol.
Ik draag een rok, wat is jouw excuus?
512gb ram is ook maar €17.000 meerprijs ten opzichte van de "magere" 96gb die standaard meegeleverd wordt.
Koopje.
Koopje.
Holy moly, 25k is wel iets wat zichzelf vrijwel uit de consumentenmarkt prijst. Ik houd het voorlopig wel bij mijn RTX 5090, die intussen ook al 3x zoveel waard is geworden als toen ik hem kocht 
Voor dat geld ga ik veel liever voor een hybride oplossing met een kleiner lokaal model en 25 euro per maand voor een API key bij Openrouter.ai en 22 euro per maand voor een Claude Pro abo. Goed voor ruim 40 jaar aan toegang tot AI modellen.
Voor dat geld ga ik veel liever voor een hybride oplossing met een kleiner lokaal model en 25 euro per maand voor een API key bij Openrouter.ai en 22 euro per maand voor een Claude Pro abo. Goed voor ruim 40 jaar aan toegang tot AI modellen.
Mja, laten we eerlijk zijn 512GB ram heeft niets maar dan ook niets te maken met consumentenspul. Voor € 6.649,00 heb je een mac M5 ultra met 96gb unified ram, ook dat is al een behoorlijk forse upgrade in AI mogelijkheden voor velen hier. En jouw pro abonnementje van €25 is met coderen echt zo weg hoor...
[ Voor 12% gewijzigd door DeNachtwacht op 28-10-2026 22:25 ]
Ja de instap M5 Ultra is nog wel het overwegen waard. Maar met 25 EUR op Openrouter kom je echt heel ver hoor als je de Chinese modellen gebruikt voor coding. Het mooie is dat je via hun auto of Jev router het ook mooi kunt combineren met je lokale model als je bijvoorbeeld gespecialiseerde modellen nodig hebt voor audio, afbeeldingen of video. Je verteld je lokale Qwen model gewoon "hier is mijn API key en gebruik dit als ik andere output dan text nog heb", werkt perfect.DeNachtwacht schreef op woensdag 28 oktober 2026 @ 22:22:
Mja, laten we eerlijk zijn 512GB ram heeft niets maar dan ook niets te maken met consumentenspul. Voor € 6.649,00 heb je een mac M5 ultra met 96gb unified ram, ook dat is al een behoorlijk forse upgrade in AI mogelijkheden voor velen hier. En jouw pro abonnementje van €25 is met coderen echt zo weg hoor...
Hybride is voor mij op dit moment het beste van beide werelden. In elk geval totdat de geheugenprijzen weer een beetje normaliseren.
Klopt, en her en der zie je dat bijvoorbeeld DeepSeek V4.1 voor bijna niks wordt aangeboden. Maar dat is de bekende drugsdealer-strategie: voor weinig totdat mensen niet meer zonder kunnen. Die prijzen moeten rap gaan stijgen om investeringen en operationele kosten terug te verdienen.kazuka schreef op donderdag 29 oktober 2026 @ 03:21:
Maar met 25 EUR op Openrouter kom je echt heel ver hoor als je de Chinese modellen gebruikt voor coding.
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
@DeNachtwacht
Nieuwe versie van PolyStrata is uit https://github.com/VecSzn/PolyStrata/releases/tag/v0.1.45-poly.6 met mijn wijziging:
Nieuwe versie van PolyStrata is uit https://github.com/VecSzn/PolyStrata/releases/tag/v0.1.45-poly.6 met mijn wijziging:
+20% decode is een mooie snelheidswinst voor weinig tot geen kwaliteitsverlies, opt in aangezien het geen exacte output is en enkel voor qwen35moe of gelijkaardige modellen (qwen3.6 35B etc.).
pfff strata heeft ook weer een fork?
sinds een maandje werkt de aikitoria/open-gpu-kernel-modules niet meer lekker samen met llama.cpp - vandaag weer geprobeert maar llama blijft crashen en ik kom er niet uit met chatgpt/google etc. maar strata werkt gewoon prima er mee..
heb nu ook Zagitta/gpu-unlock erbij gezet.. merk zo op gevoel niet enorm veel winst in snelheid en niet echt tijd dit te benchmarken verder :-)
zit nu met qwen flash iq_3 op 80-120tk/s - ga nu ook is Q4 proberen, en deze fork(?)
heb qwen-27b (ook omdat llama zo moeilijk doet) al tijdje niet meer gebruikt.
sinds een maandje werkt de aikitoria/open-gpu-kernel-modules niet meer lekker samen met llama.cpp - vandaag weer geprobeert maar llama blijft crashen en ik kom er niet uit met chatgpt/google etc. maar strata werkt gewoon prima er mee..
heb nu ook Zagitta/gpu-unlock erbij gezet.. merk zo op gevoel niet enorm veel winst in snelheid en niet echt tijd dit te benchmarken verder :-)
zit nu met qwen flash iq_3 op 80-120tk/s - ga nu ook is Q4 proberen, en deze fork(?)
heb qwen-27b (ook omdat llama zo moeilijk doet) al tijdje niet meer gebruikt.
Wat ik zelf het afgelopen jaar met allerlei van die tools heb gezien is simpelweg niet te snel afhaken van de grote jongens op basis van 1 clickbait bericht met “extra snel!!” beloftes op Reddit. Strata zelf kwam ik letterlijk op dag 1 tegen dat het daar gepubliceerd werd, dus het kan echt wel nuttig zijn om Reddit in de gaten te houden. Maar strata had dus na een paar uur al meer dan 1000 stars, dan weet je al dat dat de moeite is. Maar elke willekeurige fork die echt sneller is, met 100-200 stars na 4 weken… nee bedankt.CT schreef op donderdag 29 oktober 2026 @ 10:55:
pfff strata heeft ook weer een fork?
sinds een maandje werkt de aikitoria/open-gpu-kernel-modules niet meer lekker samen met llama.cpp - vandaag weer geprobeert maar llama blijft crashen en ik kom er niet uit met chatgpt/google etc. maar strata werkt gewoon prima er mee..
heb nu ook Zagitta/gpu-unlock erbij gezet.. merk zo op gevoel niet enorm veel winst in snelheid en niet echt tijd dit te benchmarken verder :-)
zit nu met qwen flash iq_3 op 80-120tk/s - ga nu ook is Q4 proberen, en deze fork(?)
heb qwen-27b (ook omdat llama zo moeilijk doet) al tijdje niet meer gebruikt.
Iedereen vibecodet snel verbeteringen in elkaar, en zeker kan er ook wat nuttigs tussen zijn, maar ik ga liever voor projecten met een flinke basis aan bijdragers. Op de langere termijn is de kans veel groter dat dat serieuze software wordt.
In navolging van een cursus die eerder dit jaar was (Agentic AI fundamentals for cyber security professionals) heb ik op m'n workstation eens gewisseld naar OpenCode. Met de recente updates aan Fedora en aan de ROCM toolkits van Donato loopt dat best lekker! Toch zo'n 90 tokens per seconde, met Qwen3-coder-30B-A3B op Q4KM.
Hoewel ik twijfel of die 90t/s klopt... eens zien hoe ik een nette benchmark draai
EDIT:
Ah, OpenCode geeft de statistieken zelf. Bij een query als "In security-data/linux_auth_logs/auth.log*, list every Accepted login with its source IP. Which IPs also appear in failed-password events, and which look like a normal administrator?" haalde de kaart 65t/s. Vind ik lang niet gek; het deed niet onder voor wat ik ze in de cursus met NIM Nemotron zag doen.
En met "Audit security-data/vulnerable_app.py for security vulnerabilities. List each with its CWE, exact line, evidence, and a one-line remediation." zo'n 34t/s met resultaten bijna in lijn met die van de lab-instructies. 12 ipv ~15 CWE's. Al met al best bruikbare resultaten ook.
Hoewel ik twijfel of die 90t/s klopt... eens zien hoe ik een nette benchmark draai
EDIT:
Ah, OpenCode geeft de statistieken zelf. Bij een query als "In security-data/linux_auth_logs/auth.log*, list every Accepted login with its source IP. Which IPs also appear in failed-password events, and which look like a normal administrator?" haalde de kaart 65t/s. Vind ik lang niet gek; het deed niet onder voor wat ik ze in de cursus met NIM Nemotron zag doen.
En met "Audit security-data/vulnerable_app.py for security vulnerabilities. List each with its CWE, exact line, evidence, and a one-line remediation." zo'n 34t/s met resultaten bijna in lijn met die van de lab-instructies. 12 ipv ~15 CWE's. Al met al best bruikbare resultaten ook.
[ Voor 52% gewijzigd door Liegebeest op 29-10-2026 19:44 ]
Liege, liege, liegebeest!
Ik heb OpenCode ook overwogen en bekeken, maar ben snel naar Pi overgestapt. OpenCode schijnt meer dan Pi op cloudmodellen gericht zijn en is minder bescheiden in context footprint. Ik vond sowieso Pi meteen fijner werken, maar dat is persoonlijk. Voor lokale modellen denk ik dat je met Pi betere performance kunt hebben.
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
Ik kan ze eens met elkaar gaan vergelijken... Ik doe voor de rest nog helemaal niets professioneel met GenAI (en was het ook niet van plan), dus ik volg vooralsnog de voetsporen van m'n docenten... Victor Rentea's cursus focust op Claude Code, Daren en Brian kozen weer voor OpenCode.
Liege, liege, liegebeest!
Ik vond Pi net te bare-bones. Het is heel fijn als je goed weet hoe je skills etc moet maken, maar om te beginnen zou ik eerder oh-my-pi of hermes aanraden.
misschien goed om te vermelden dat Pi een package catalogue heeft waar je extensies kan downloaden. Je hoeft het wiel dus niet zelf uit te vinden.Zsub schreef op donderdag 29 oktober 2026 @ 19:51:
Ik vond Pi net te bare-bones. Het is heel fijn als je goed weet hoe je skills etc moet maken, maar om te beginnen zou ik eerder oh-my-pi of hermes aanraden.
Jeetje zeg, wat een verschil tussen Qwen3-Coder en Qwen3.8. De eerste was snel en slordig, de tweede zwetst je een uur de oren van je kop.
Maar toegegeven, Qwen3.8 geeft wel een minder-slordig antwoord.
Liege, liege, liegebeest!
Ik had het moeten bewaren maar deepseek maakt winst op ons api gebruik van flash, zelfs aanbieders in europa kunnen rond dezelde kosten geld ermee verdienen. Dit komt doordat het een moe is met zeer lage KV cache kosten. In datacenter termen kost het geen drol om te hosten.Exirion schreef op donderdag 29 oktober 2026 @ 03:54:
[...]
Klopt, en her en der zie je dat bijvoorbeeld DeepSeek V4.1 voor bijna niks wordt aangeboden. Maar dat is de bekende drugsdealer-strategie: voor weinig totdat mensen niet meer zonder kunnen. Die prijzen moeten rap gaan stijgen om investeringen en operationele kosten terug te verdienen.
of direct verbinden met z.ai's flash X model (naar mijn idee kan die serieus wat heavy lifting doen) en de cache laag houden door nieuwe sessie te starten vanaf bepaalde grens (350M token cache up of down bijv.).DeNachtwacht schreef op woensdag 28 oktober 2026 @ 22:22:
[...] En jouw pro abonnementje van €25 is met coderen echt zo weg hoor...
voor de hobby'ist met RTX videokaart is het nog een idee om de gpu chuncks te voeren zodat het beperktere vram van consumenten setup toch benut kan worden voor grotere taken.
d:)b :henk d:)b
Misschien nog een tip voor mensen die in Strata met Qwen 3.8 Flash Next bezig zijn op een DDR4 machine: uitvoering: Integral IN4T32GNGRTX
Deze is nu vrij goed geprijsd om nog de upgrade naar 128GB te kunnen doen. Je kan er officieel 2 per persoon bestellen... dus ik had toevallig een vriend die er ook 2 wilde
.
Ten eerste is het goed geheugen gebleken, ik heb het vrij direct op 36x100 dus DDR4-3600 gezet in het bios zonder problemen en ik zit nu in de 3e run van 4 in memtest met nog 0 fouten. De CAS latency ging automatisch naar 25 dus dat is bij de opstart van de run een kleine vertrager, maar...
het levert echt wat op. Ten opzichte van Q4_XL die op mijn RTX 5090 op 40 tokens/s draaide met 64 gb ram (en 256K context+vision aan) kan ik nu ineens Q6_XL draaien met dezelfde settings. Op 3200 snelheid zit ik op 60 tokens/s, en op 3600 begint hij door de lagere cache iets lager, maar bij grotere opdrachten waar je met programmeertalen natuurlijk snel zit loopt dat al snel uit naar 65 tokens/s.
Echt wel bizar wat zo'n ram upgrade kan betekenen (en ik had iemand die me 2 jaar geleden had gezegd dat ik nu 128GB ram in mijn systeem ging kopen voor gek verklaard
). Met het eigen 4x16GB ram verkopen is het nog best een betaalbare upgrade.
Deze is nu vrij goed geprijsd om nog de upgrade naar 128GB te kunnen doen. Je kan er officieel 2 per persoon bestellen... dus ik had toevallig een vriend die er ook 2 wilde
Ten eerste is het goed geheugen gebleken, ik heb het vrij direct op 36x100 dus DDR4-3600 gezet in het bios zonder problemen en ik zit nu in de 3e run van 4 in memtest met nog 0 fouten. De CAS latency ging automatisch naar 25 dus dat is bij de opstart van de run een kleine vertrager, maar...
het levert echt wat op. Ten opzichte van Q4_XL die op mijn RTX 5090 op 40 tokens/s draaide met 64 gb ram (en 256K context+vision aan) kan ik nu ineens Q6_XL draaien met dezelfde settings. Op 3200 snelheid zit ik op 60 tokens/s, en op 3600 begint hij door de lagere cache iets lager, maar bij grotere opdrachten waar je met programmeertalen natuurlijk snel zit loopt dat al snel uit naar 65 tokens/s.
Echt wel bizar wat zo'n ram upgrade kan betekenen (en ik had iemand die me 2 jaar geleden had gezegd dat ik nu 128GB ram in mijn systeem ging kopen voor gek verklaard
interressante build. Hoeveel heeft de GPU impact op de tokens/s met strata ? Werkt strata alleen voor MoE modellen en vindt je het persoonlijk een goed moment om in te stappen in de lokale AI markt ? Ik vind persoonlijk de prijzen absurd hoog voor wat het oplevert maar het is ook super leuk om lokaal te sleutelen.Tweakert1990 schreef op zaterdag 31 oktober 2026 @ 10:55:
Misschien nog een tip voor mensen die in Strata met Qwen 3.8 Flash Next bezig zijn op een DDR4 machine: uitvoering: Integral IN4T32GNGRTX
Deze is nu vrij goed geprijsd om nog de upgrade naar 128GB te kunnen doen. Je kan er officieel 2 per persoon bestellen... dus ik had toevallig een vriend die er ook 2 wilde.
Ten eerste is het goed geheugen gebleken, ik heb het vrij direct op 36x100 dus DDR4-3600 gezet in het bios zonder problemen en ik zit nu in de 3e run van 4 in memtest met nog 0 fouten. De CAS latency ging automatisch naar 25 dus dat is bij de opstart van de run een kleine vertrager, maar...
het levert echt wat op. Ten opzichte van Q4_XL die op mijn RTX 5090 op 40 tokens/s draaide met 64 gb ram (en 256K context+vision aan) kan ik nu ineens Q6_XL draaien met dezelfde settings. Op 3200 snelheid zit ik op 60 tokens/s, en op 3600 begint hij door de lagere cache iets lager, maar bij grotere opdrachten waar je met programmeertalen natuurlijk snel zit loopt dat al snel uit naar 65 tokens/s.
Echt wel bizar wat zo'n ram upgrade kan betekenen (en ik had iemand die me 2 jaar geleden had gezegd dat ik nu 128GB ram in mijn systeem ging kopen voor gek verklaard). Met het eigen 4x16GB ram verkopen is het nog best een betaalbare upgrade.
Iedereen moet voor zichzelf de afweging maken of het het geld waard is, maar voorlopig weet je 1 ding zeker: goedkoper gaat het niet worden. Een RTX5090 bijvoorbeeld is in exact een jaar tijd 4 keer zo duur geworden. Een DGX Spark of Asus GX10 is in zeer korte tijd 1.5 keer zo duur geworden.RemonValen schreef op zaterdag 31 oktober 2026 @ 14:59:
Ik vind persoonlijk de prijzen absurd hoog voor wat het oplevert maar het is ook super leuk om lokaal te sleutelen.
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
klopt al sluit ik niet uit dat volgend jaar daar verandering in komt: er zijn nieuwe chips in ontwikkelijk die een stuk goedkopere inferentie mogelijk maken (denk aan LPU's, TPU's uit EU/China).Exirion schreef op zaterdag 31 oktober 2026 @ 15:05:
[...]
Iedereen moet voor zichzelf de afweging maken of het het geld waard is, maar voorlopig weet je 1 ding zeker: goedkoper gaat het niet worden. Een RTX5090 bijvoorbeeld is in exact een jaar tijd 4 keer zo duur geworden. Een DGX Spark of Asus GX10 is in zeer korte tijd 1.5 keer zo duur geworden.
Wat zou je zelf aanraden voor een budget tussen de 2-4k ? Mijn workload is vooral development gericht. Een Qwen 3.8-27B zal waarschijnlijk voldoende zijn voor sub-agent workloads ?
De hardware waar jij het over hebt is vooralsnog niet bedoeld voor consumenten. Dat is voor data centers. Kan nog wel jaren duren voordat bedrijven brood zien in dergelijke platformen voor thuis.RemonValen schreef op zaterdag 31 oktober 2026 @ 15:16:
klopt al sluit ik niet uit dat volgend jaar daar verandering in komt: er zijn nieuwe chips in ontwikkelijk die een stuk goedkopere inferentie mogelijk maken (denk aan LPU's, TPU's uit EU/China).
Qwen 3.8 27B wordt veel gebruikt, al ben ik meer fan van Flash Next. Met jouw budget is Qwen 3.8 27B wel de realistiche keuze. Je kunt eens rondkijken voor een tweedehands RTX3090. Dan heb je 24GB met een behoorlijke bandbreedte.Wat zou je zelf aanraden voor een budget tussen de 2-4k ? Mijn workload is vooral development gericht. Een Qwen 3.8-27B zal waarschijnlijk voldoende zijn voor sub-agent workloads ?
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
Of je koopt een Intel Arc Pro B70 en je hebt 32GB Vram met minder bandbreedteExirion schreef op zaterdag 31 oktober 2026 @ 15:25:
Qwen 3.8 27B wordt veel gebruikt, al ben ik meer fan van Flash Next. Met jouw budget is Qwen 3.8 27B wel de realistiche keuze. Je kunt eens rondkijken voor een tweedehands RTX3090. Dan heb je 24GB met een behoorlijke bandbreedte.
En tragere token generatie, maar meer Vram is wel meer context en dat scheelt ook wat
Ik draag een rok, wat is jouw excuus?
https://www.bosgamepc.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395 is momenteel echt een relatief heel goede deal nog voor 128GB. Deze werd in een ander topic door eimand genoemd, momenteel begint in de tweakers pricewatch een Ryzen AI 395+ systeem met 128GB bij 4600 euro, dus als je er echt mee aan de slag wil is dit wel een behoorlijk interessante.RemonValen schreef op zaterdag 31 oktober 2026 @ 15:16:
[...]
klopt al sluit ik niet uit dat volgend jaar daar verandering in komt: er zijn nieuwe chips in ontwikkelijk die een stuk goedkopere inferentie mogelijk maken (denk aan LPU's, TPU's uit EU/China).
Wat zou je zelf aanraden voor een budget tussen de 2-4k ? Mijn workload is vooral development gericht. Een Qwen 3.8-27B zal waarschijnlijk voldoende zijn voor sub-agent workloads ?
GPU invloed is groot, met mijn systeem is dat ram niet zozeer de snelheid, maar vooral de GPU. Wat dan weer wel zo is, is als je er 128GB in doet ipv 64, de SSD bij grote MoE modellen als Qwen 3.8 FN niet meer nodig is wat de snelheid ook fors verhoogt (zie dus het snelheidsverschil dat ik hierboven post).
Met goede deals kan het nu soms nog best interessant zijn, daarom postte ik deze dus ook. 800 eu voor 128GB DDR4 is wel duur, maar op z'n goedkoops was het ooit 250-300 euro, en momentele gaat veel al richting 1400-1500 en voor 128GB DDR5 zit je al snel aan boven de 2000 euro. Dus het is echt snel de laatste redelijk betaalbare deals pakken, ook omdat toevallig vorige week ergens op tweakers ook weer de onderliggende trend zichtbaar was: Hynix veewacht geen dalende prijzen tot 2030.
Maargoed, ik denk wel dat het handig is die discussie iets meer richting het "ontwikkelingen rondom AI" topic te doen want voor je het weet kom je daar in een (interessante) discussie die wat verder van dit topic afdwaalt.
Mjah, de prefill is dan veel trager. Maar goed, met een beperkt budget moet het uit de lengte of breedte komen. Is een kwestie van waar je prioriteiten liggen. Als je zo'n setup gerust een paar uur wil laten doorstampen, is snelheid minder kritisch dan wanneer je de hele tijd interactief bezig bent.Felicia schreef op zaterdag 31 oktober 2026 @ 15:41:
Of je koopt een Intel Arc Pro B70 en je hebt 32GB Vram met minder bandbreedte
En tragere token generatie, maar meer Vram is wel meer context en dat scheelt ook wat
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
Zou een RTX6000 24GB wat zijn? https://creoserver.com/refurbished-server-parts/grafische-kaart/nvidia-grafische-kaart/nvidia-quadro-rtx-6000-24gb-11491Felicia schreef op zaterdag 31 oktober 2026 @ 15:41:
[...]
Of je koopt een Intel Arc Pro B70 en je hebt 32GB Vram met minder bandbreedte
En tragere token generatie, maar meer Vram is wel meer context en dat scheelt ook wat
Als je het budget wat oprekt is dit ook interessant: https://minisforumpc.eu/p...isforum-ms-s1-max-mini-pcTweakert1990 schreef op zaterdag 31 oktober 2026 @ 16:07:
https://www.bosgamepc.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395 is momenteel echt een relatief heel goede deal nog voor 128GB. Deze werd in een ander topic door eimand genoemd, momenteel begint in de tweakers pricewatch een Ryzen AI 395+ systeem met 128GB bij 4600 euro, dus als je er echt mee aan de slag wil is dit wel een behoorlijk interessante.
https://www.reddit.com/r/..._for_qwen_38flashnext_on/
[ Voor 6% gewijzigd door Exirion op 31-10-2026 16:23 ]
"Logica brengt je van A naar B, verbeelding brengt je overal." - Albert Einstein
Ik heb eens wat reverse engineering werk laten doen door Cyber-Tiel (qwen3.6 A35B variant) met Pi harness en REA mcp in een gesandboxte docker container.
Dat lukt eigenlijk wel aardig met 256k prompt context, nooit gedacht dat dat ging werken op mijn 8GB RTX4060. Snelheid daalt natuurlijk wel aangezien minder experts in VRAM passen als de KV cache groter wordt, maar het blijft enorm bruikbaar. 90tok/s ~ 40tok/s.
Mijn engine heeft een /stats dashboard zodat ik het verloop beter kan zien doorheen het agentic werk, dat geeft een veel beter inzicht dan één nummer gemeten met één prompt.
De aldi android app heeft ie kunnen reverse engineeren in pakweg 10min YouTube: Reverse engineering Aldi apk with local LLM based on Cybertiel
(Bovenstaande stats zijn van het reverse engineeren van een C-link programmer zodat ik de OpenBeken firmware kan flashen zonder een blue pill programmer, dat was beduidend lastiger dan een android apk)
Dat lukt eigenlijk wel aardig met 256k prompt context, nooit gedacht dat dat ging werken op mijn 8GB RTX4060. Snelheid daalt natuurlijk wel aangezien minder experts in VRAM passen als de KV cache groter wordt, maar het blijft enorm bruikbaar. 90tok/s ~ 40tok/s.
Mijn engine heeft een /stats dashboard zodat ik het verloop beter kan zien doorheen het agentic werk, dat geeft een veel beter inzicht dan één nummer gemeten met één prompt.
De aldi android app heeft ie kunnen reverse engineeren in pakweg 10min YouTube: Reverse engineering Aldi apk with local LLM based on Cybertiel
(Bovenstaande stats zijn van het reverse engineeren van een C-link programmer zodat ik de OpenBeken firmware kan flashen zonder een blue pill programmer, dat was beduidend lastiger dan een android apk)
Geen idee eerlijk gezegd, ik weet niet hoe de Quadro zich verhouden tot de gewone RTX kaarten. Google's AI zegt dat het niet beter is dan de 3090. Omdat het Turing architecture is mis je ook bepaalde optimalisaties die wel in de 3090 zitten.
:strip_exif()/f/image/1P6KZLvcAjMub7NYvFxa48IX.png?f=user_large)
Al moet ik wel zeggen dat er een RTX 5000 met 24GB (in een laptop) voor mij besteld gaat worden @werk
Ik draag een rok, wat is jouw excuus?
Ik zou niet iets kopen dat niet minimaal Ampere is als het om RTX gaat, kan wel, maar als je deze vraag al stelt was je denk ik niet van plan eerst eeuwig te tweaken en patches te zoeken voor je uberhaupt aan de slag kan met vermoedelijk niet meteen de nieuwste modellen
deze kaarten hebben mijn voorkeur maar ze kosten simpelweg te veel voor wat ze leveren: ze zijn in een 3-tal maanden met 50% gestegen. De Arc Pro B70 kost inmiddels 2000-2400 euro. Persoonlijk vind ik dat teveel voor wat het biedt. Een tweede hands 3900 RTX is aantrekkelijker of..Felicia schreef op zaterdag 31 oktober 2026 @ 15:41:
[...]
Of je koopt een Intel Arc Pro B70 en je hebt 32GB Vram met minder bandbreedte
En tragere token generatie, maar meer Vram is wel meer context en dat scheelt ook wat
Wellicht een RAID optie met 2x 5060 RTX 16GB of 2x RX 9600XT 16GB +- 1200 .. met 128-GB RAM voor een STRATA build https://stratallm.org/
[ Voor 11% gewijzigd door RemonValen op 31-10-2026 21:53 ]
https://www.megekko.nl/pr...v95tT85jupebQ8SBoF6IU2UGrRemonValen schreef op zaterdag 31 oktober 2026 @ 21:49:
[...]
deze kaarten hebben mijn voorkeur maar ze kosten simpelweg te veel voor wat ze leveren: ze zijn in een 3-tal maanden met 50% gestegen. De Arc Pro B70 kost inmiddels 2000-2400 euro. Persoonlijk vind ik dat teveel voor wat het biedt. Een tweede hands 3900 RTX is aantrekkelijker of..
Wellicht een RAID optie met 2x 5060 RTX 16GB of 2x RX 9600XT 16GB +- 1200 .. met 128-GB RAM voor een STRATA build https://stratallm.org/
1.599,-
Ik draag een rok, wat is jouw excuus?
Ik denk dat je voor die kaart wel wat moet weten, er zit geen fan op. Passief 275 watt koelen lijkt mij lastig zonder externe fans met hoge statische druk -> lees takke herrie
True, dat zag ik later pas. Aan de andere kant, ik heb mijn kaart nog nooit de 200W zien aantikken (in Intels tooling). Daarna heb ik de GPU op max 42% gezet, doet wat met preprocessing maar niet zoveel als je zou verwachten en nou tikt ie niet eens de 100W aan. Scheelt heel veel in de herrie met een blower GPUR3m3d7 schreef op zondag 1 november 2026 @ 08:55:
[...]
Ik denk dat je voor die kaart wel wat moet weten, er zit geen fan op. Passief 275 watt koelen lijkt mij lastig zonder externe fans met hoge statische druk -> lees takke herrie
Ik draag een rok, wat is jouw excuus?
lol en ik overweeg nog steeds een MI210... Dat zal ook niet heel stil zijnR3m3d7 schreef op zondag 1 november 2026 @ 08:55:
[...]
Ik denk dat je voor die kaart wel wat moet weten, er zit geen fan op. Passief 275 watt koelen lijkt mij lastig zonder externe fans met hoge statische druk -> lees takke herrie
Heb nu trouwens ook wat moois gemaakt. Op mijn inference box draait een idle-daemon die kijkt naar wanneer de laatste request klaar is en dan een 5 min. timer start. Als er niemand via SSH of op de console ingelogd is en een keep-awake bestandje niet bestaat suspend de machine zich. VRAM wordt naar disk gepersist. Dan gebruikt hij nog 5W in plaats van 80W. LiteLLM heeft een pre-response hook die zodra dat model nodig is iedere 5 seconden een Wake-on-LAN packet stuurt totdat het model reageert. PC wordt wakker, pakt het request op en de timer start zodra dat klaar is.
Inmiddels begint het model na zo'n 15 seconden nadat de request binnenkwam bij LiteLLM te streamen, wat ruim binnen de soort van 'denk-fase' van Qwen past. Dit alles met strata, ben er zeer happy mee!
Inmiddels begint het model na zo'n 15 seconden nadat de request binnenkwam bij LiteLLM te streamen, wat ruim binnen de soort van 'denk-fase' van Qwen past. Dit alles met strata, ben er zeer happy mee!
ik moet eerlijk zeggen dat ik dit niet wist, bedankt voor de tip. Jammer dat het verschil 500 euro is, dat maakt de keuze niet makkelijker..R3m3d7 schreef op zondag 1 november 2026 @ 08:55:
[...]
Ik denk dat je voor die kaart wel wat moet weten, er zit geen fan op. Passief 275 watt koelen lijkt mij lastig zonder externe fans met hoge statische druk -> lees takke herrie
welke AI-modellen draai je er mee en ben je tevreden met je aankoop ? Vindt het stiekem een prachtige kaart , gaat vooral heel leuk worden met STRATA en 64/128 GB RamFelicia schreef op zondag 1 november 2026 @ 09:14:
[...]
True, dat zag ik later pas. Aan de andere kant, ik heb mijn kaart nog nooit de 200W zien aantikken (in Intels tooling). Daarna heb ik de GPU op max 42% gezet, doet wat met preprocessing maar niet zoveel als je zou verwachten en nou tikt ie niet eens de 100W aan. Scheelt heel veel in de herrie met een blower GPU
Dit zijn de zaken die thuis een LLM draaien een stuk aantrekkelijker kan maken want stroom is nou eenmaal een aardig deel van de kosten. Kan je hier wat meer over delen, heb je een prompt gebruikt om dit te bouwen of is dit handwerk?Zsub schreef op zondag 1 november 2026 @ 09:30:
Heb nu trouwens ook wat moois gemaakt. Op mijn inference box draait een idle-daemon die kijkt naar wanneer de laatste request klaar is en dan een 5 min. timer start. Als er niemand via SSH of op de console ingelogd is en een keep-awake bestandje niet bestaat suspend de machine zich. VRAM wordt naar disk gepersist. Dan gebruikt hij nog 5W in plaats van 80W. LiteLLM heeft een pre-response hook die zodra dat model nodig is iedere 5 seconden een Wake-on-LAN packet stuurt totdat het model reageert. PC wordt wakker, pakt het request op en de timer start zodra dat klaar is.
Inmiddels begint het model na zo'n 15 seconden nadat de request binnenkwam bij LiteLLM te streamen, wat ruim binnen de soort van 'denk-fase' van Qwen past. Dit alles met strata, ben er zeer happy mee!
Een prompt en niet eens volledig uit een zelf-gehoste AIR3m3d7 schreef op zondag 1 november 2026 @ 20:31:
[...]
Dit zijn de zaken die thuis een LLM draaien een stuk aantrekkelijker kan maken want stroom is nou eenmaal een aardig deel van de kosten. Kan je hier wat meer over delen, heb je een prompt gebruikt om dit te bouwen of is dit handwerk?
als je al caddy gebruikt kan je ook bijv caddy-wol gebruiken (staat nog op mn todo
maar mn bak staat sinds kort met strata nonstop te stampen, gaat rustig nachtje door en loopt niet in de knel, ben er erg over te spreken)
Voornamelijk Qwen 3.6 35b en op dit moment ook regelmatig Flint 40b. Ik speel ook met Nemotron 3.5 Bolt 74b maar ben er nog niet over uit of die voldoende betere kwaliteit heeft t.o.v. de lagere snelheid.RemonValen schreef op zondag 1 november 2026 @ 19:20:
[...]
welke AI-modellen draai je er mee en ben je tevreden met je aankoop ?
Vanwege de Intel kaart draai ik met llama.cpp SYCL uitvoering. Met Qwen draai ik zo'n 1800t/sec pre-processing en ~80t/sec genererend. Die cijfers zwakken wel af naar mate de context groeit maar lang niet zoveel als met Vulkan.
Strata heeft i.c.m. Windows alleen nog maar Vulkan ondersteuning, nog geen SYCL en dan blijft er niet veel meer over qua performance als je richting de 25k tokens gaat.Vindt het stiekem een prachtige kaart , gaat vooral heel leuk worden met STRATA en 64/128 GB Ram
Ik draag een rok, wat is jouw excuus?
Maak je veel gebruik van je lokale optie of prefereer je cloud-API's voor development ?Felicia schreef op maandag 2 november 2026 @ 16:22:
[...]
Voornamelijk Qwen 3.6 35b en op dit moment ook regelmatig Flint 40b. Ik speel ook met Nemotron 3.5 Bolt 74b maar ben er nog niet over uit of die voldoende betere kwaliteit heeft t.o.v. de lagere snelheid.
Ook benieuwd of je Qwen 3.8 27B aan de praat krijgt en hoe die vergelijkt met Qwen 3.6.
Maatje van me raad 3x 5060 RTX 16 GB (48) aan in combi met een server board met 128/256 GB ram, in anticipatie voor Qwen 4. BTW check out Infernix, mogelijk sneller alternatief voor STRATA
https://www.reddit.com/r/Qwen_AI/comments/1x1c9rd/introducing_infernix_much_faster_than_strata_on_a/
Ik heb wat meer kunnen spelen met Strata op mijn RTX3090 met 96GB systeem RAM.
Ik draai dan Qwen 3.8 Flash Next met Unsloth IQ4.
Dat pakt grofweg al mijn VRAM en al mijn systeem geheugen, maar vrijwel niets op SSD.
De snelheid varieert wat tussen 50-60 tokens/sec
En voor mijn taak om een C++ open source project om te zetten naar Rust levert ie kwalitatief best goede prestaties.
Ik gebruik OpenCode als agent er bovenop met een context van 32ktokens, maar dit kan nog niets groter worden.
Heel soms lijkt OpenCode de weg kwijt te raken.
Dit model is in kwaliteit een stuk beter dan "Qwen 3.8 27B", die ik hiervoor draaide via Ollama.
Als ik een lichter model draai, zoals IQ3_S, dan gaat de snelheid omhoog naar 80-90 tokens/sec en krijg je echt een goed interactief model.
Ik draai dan Qwen 3.8 Flash Next met Unsloth IQ4.
Dat pakt grofweg al mijn VRAM en al mijn systeem geheugen, maar vrijwel niets op SSD.
De snelheid varieert wat tussen 50-60 tokens/sec
En voor mijn taak om een C++ open source project om te zetten naar Rust levert ie kwalitatief best goede prestaties.
Ik gebruik OpenCode als agent er bovenop met een context van 32ktokens, maar dit kan nog niets groter worden.
Heel soms lijkt OpenCode de weg kwijt te raken.
Dit model is in kwaliteit een stuk beter dan "Qwen 3.8 27B", die ik hiervoor draaide via Ollama.
Als ik een lichter model draai, zoals IQ3_S, dan gaat de snelheid omhoog naar 80-90 tokens/sec en krijg je echt een goed interactief model.
Ryzen9 5900X; 16GB DDR4-3200 ; RTX-4080S ; 7TB SSD
Qwen 3.6 en 3.8 27b werken prima maar ik vind ze te traag om lekker mee te werken. Circa 400t/sec preproc en 25t/sec generend. Mogelijk dat dat met Strata beter is maar daar is dus nog geen SYCL versie voor Windows vanRemonValen schreef op maandag 2 november 2026 @ 20:35:
[...]
Maak je veel gebruik van je lokale optie of prefereer je cloud-API's voor development ?
Ook benieuwd of je Qwen 3.8 27B aan de praat krijgt en hoe die vergelijkt met Qwen 3.6.
Ik draag een rok, wat is jouw excuus?
Ja dat vind ik eigenlijk ook wel. Het duurt nog steeds wel een minuut voor de meest simpele vragen beantwoord worden. Voor automatische dingen niet zo erg, maar voor AI assistent om zelf mee te babbelen, vind ik het te lang. En ik zie dat eigenlijk niet echt minder worden. Daarvoor moet hardware echt veel sneller en goedkoper worden.Felicia schreef op dinsdag 3 november 2026 @ 17:04:
[...]
Qwen 3.6 en 3.8 27b werken prima maar ik vind ze te traag om lekker mee te werken. Circa 400t/sec preproc en 25t/sec generend. Mogelijk dat dat met Strata beter is maar daar is dus nog geen SYCL versie voor Windows van
@Martinspire met strata valt dat dus echt mee hoor. Ik hanteer altijd 50 tokens/s als werkbaar, 100 tokens/s is echt lekker comfortabel. Met qwen flash-next haal je bij heel veel GPU's met minimaal 12GB/s (naast 64gb ram, dat is wel nodig) die 50 echt prima, zeker met een model als Flash-Next-Coder voor programmeertaken bijvoorbeeld.
Vandaag voor het eerst strata geprobeerd op mijn epyc 7443, 512gb ram, rtx 3090. Qwen flash next Q4 ongeveer 120 t/s en deepseek 4.1 Q8 ongeveer 16 t/s.
Dik 2 keer zo snel als ik eerder haalde met llama.cpp!
Dik 2 keer zo snel als ik eerder haalde met llama.cpp!
Bij deze deel ik even twee testresultaten van Strata met Qwen3.8-Flash-Next IQ3_S · 128K. Mogelijk helpt het iemand bij zijn/haar keuze.
Enige verschil tussen de twee tests is de gebruikte RAM kit. Begonnen met 2x24GB DDR5 CUDIMM @9067, en vervolgens geswapped met 2x48GB DDR5 UDIMM @6800
Overige specs van belang: Intel 265k, RTX3090, RTX A4000 (Ampere). De iGPU doet in deze niet mee.
Geen swap meer naar disk/paginabestand én voldoende ruimte in systeem-RAM versnelt het proces behoorlijk. Al valt de penalty mij eigenlijk nog best mee.
@DeNachtwacht Bedankt voor de tip. Nu Unsloth UD-IQ4_XS-v31 aan het downloaden. 
En hier het resultaat met "Qwen3.8-Flash-Next (Unsloth) UD-IQ4_XS-v31 · unsloth-ud-iq4_xs-v31 · 128K"
Enige verschil tussen de twee tests is de gebruikte RAM kit. Begonnen met 2x24GB DDR5 CUDIMM @9067, en vervolgens geswapped met 2x48GB DDR5 UDIMM @6800
Overige specs van belang: Intel 265k, RTX3090, RTX A4000 (Ampere). De iGPU doet in deze niet mee.
Geen swap meer naar disk/paginabestand én voldoende ruimte in systeem-RAM versnelt het proces behoorlijk. Al valt de penalty mij eigenlijk nog best mee.
![]() | ![]() |
En hier het resultaat met "Qwen3.8-Flash-Next (Unsloth) UD-IQ4_XS-v31 · unsloth-ud-iq4_xs-v31 · 128K"
![]() |
[ Voor 18% gewijzigd door JorneB op 07-11-2026 20:39 ]
@JorneB mooie vergelijking om het verschil tussen SSD offloading en ram te zien. Tip; zoals je ook ziet in je stats heb je nog best wat ruimte om naar Q4_X_S of X_L te gaan. Zeker die eerste zal echt nog wel prima draaien en is wel substantieel beter dan IQ3_S.
@DeNachtwacht hoe beoordeel je of je ruimte hebt om over te gaan naar Q4_X_S of X_L?
Ik ben zelf redelijk nieuw met Strata, heb 2x een 3090 met wat ram erbij, dat gaat voor nu goed. Gebruik de Q3_X_S, en heb rond de 110 tokens/s.
Is de belangrijkste indicatie dat je voldoende ruimte in VRAM/RAM hebt ? Ik probeer het in te zetten voor agentic taken, dus wil genoeg context window hebben.
Ik ben zelf redelijk nieuw met Strata, heb 2x een 3090 met wat ram erbij, dat gaat voor nu goed. Gebruik de Q3_X_S, en heb rond de 110 tokens/s.
Is de belangrijkste indicatie dat je voldoende ruimte in VRAM/RAM hebt ? Ik probeer het in te zetten voor agentic taken, dus wil genoeg context window hebben.
@TechTom Je laadt het model in inclusief de gewenste context dus bijv. 256K. Daarna is het dan simpelweg met wat test prompts (ik laat hem altijd een essay van 10.000 woorden over iets onzinnigs schrijven) kijken of er niks wordt geoffload naar de SSD. In de documentatie staat trouwens ook het totale benodigde Ram+vram per kwantisatie. En dan is het kijken of de grootse kwantisatie die in je vram&ram past inclusief context snel genoeg is. Ik gebruik voor de grote opdrachten die ik ‘s nachts draai bijvoorbeeld Q6 omdat die tussen de 45-60 hangt, maar tijdens kleinere taken is Q4XL overdag een stuk fijner want die levert 100 tokens/s op. Dat stukje snelheidswinst is puur omdat er met een kleiner model ook relatief een groter deel in je vram draait (volgens mij). Dus het loont ook zeker om niet alléén te kijken of het in je ram&vram past.
Verschillende mensen zijn hier al een tijd met lokale AI's bezig. Ik (als lurker, voorlopig in de ijskast) vroeg me af hoe de performance van de modellen door de tijd zich heeft ontwikkeld?
Wie du mir, so ich dir.
Waanzinnig. Diverse opties zoals MPT zorgen ervoor dat grote modellen echt bruikbaar worden. Je laptop uit 2017 gaat nog steeds geen top-ervaring opleveren maar je hoeft echt geen 10k uit te geven voor iets redelijks.eheijnen schreef op zondag 8 november 2026 @ 06:19:
Verschillende mensen zijn hier al een tijd met lokale AI's bezig. Ik (als lurker, voorlopig in de ijskast) vroeg me af hoe de performance van de modellen door de tijd zich heeft ontwikkeld?
Ja de vooruitgang van lokale modellen is eigenlijk bizar! Voor mijn gevoel kan je op consumer hardware nu modellen draaien die 9 - 12 maanden terug bij de grote AI providers als topmodel werden aangeboden. Wat ik interessant vind is dat voor ieder hardware platform er nu wordt gewerkt aan optimalisatie om het maximale aan performance eruit te persen. Een betere runtime backend voor specifieke (soms verouderde) hardware, geoptimaliseerde modellen in allerlei varianten, tooling in de vorm van een harness met de juiste aansturen... De groep "local AI" gebruikers is eigenlijk de curve aan het maximaliseren tussen AI performance and compute capaciteit.
Je vraag maakte me nieuwsgierig, dus ik vroeg me af of de cijfers mijn claim van "9-12 maanden" ook ondersteunen.
Conclusie: de cijfers laten inderdaad zien dat je met stevige hardware slechts enkele maanden achter loopt. En dan heb ik het nog niet over mensen met pro-sumer hardware die ook DeepSeek V4.1 Flash / GLM 5.3 kunnen draaien.
Je vraag maakte me nieuwsgierig, dus ik vroeg me af of de cijfers mijn claim van "9-12 maanden" ook ondersteunen.
- Qwen3.8-Flash-Next was officially released by Alibaba's Qwen team on August 26, 2026 (with initial previews surfacing around August 24, 2026). [1, 2, 3]
- Release dates 6-12 maanden ervoor; ik denk dat Anthropic op dat moment koploper was:
Claude Sonnet 4.5 September 29, 2025 Sonnet model for agents, coding, and computer use. Claude Opus 4.1 August 5, 2025 Opus 4 upgrade for coding precision and agentic tasks. Claude Opus 4.6 February 5, 2026 Opus upgrade with stronger planning, code review, debugging, long-running agent reliability, and 1M context in beta. - Dan de benchmarks tov Opus 4.6 (quote Gemini, en oorspronkelijk bron):
Plaatje van Opencode's cijfers:Key Benchmarks & Comparison
- Coding & Software Engineering:
- SWE-Bench Pro / Code Generation: Qwen3.8-Flash-Next scores around 62.5% compared to Claude Opus versions (~53.4% to 64.3% depending on the specific Claude Opus variant baseline).
- Instruction Following & Competitive Coding: Qwen3.8-Flash-Next registers 81.3% in instruction following and 91.9% in competitive coding, frequently edging out or matching legacy Opus benchmark marks. [1, 2]
- Scientific & Complex Reasoning (GPQA Diamond):
- Context Window & Architecture:
- Qwen3.8-Flash-Next: Supports up to 262,144 tokens, uses an open-weight MoE architecture with N-gram/PLE components, and can be run locally via Unsloth Desktop or llama.cpp.
- Claude Opus 4.1: Features a 200,000-token context window as a closed, cloud-proprietary model via API/Anthropic services. [1, 2, 3]
Conclusie: de cijfers laten inderdaad zien dat je met stevige hardware slechts enkele maanden achter loopt. En dan heb ik het nog niet over mensen met pro-sumer hardware die ook DeepSeek V4.1 Flash / GLM 5.3 kunnen draaien.
Ja, wat je daarbij wel in acht moet nemen is dat quantization, wat nodig is voor de wat beperktere consumentenhardware de modellen gevoeld een stuk dommer kan maken. Ik draai qwe3.8-flash-next bijvoorbeeld op IQ2_XS en dat voelt niet zoals op die radar/spider graph
[ Voor 23% gewijzigd door Zsub op 08-11-2026 11:09 ]
/f/image/EpTAgObHiTDzkBNopgUgNWOl.png?f=fotoalbum_tile)
/f/image/E1qCw91JSKbonCZzZgL7STmr.png?f=fotoalbum_tile)
/f/image/ubrrQYokVdM6j418Sj29jrvE.png?f=fotoalbum_tile)