Lokale AI-modellen draaien: Apple vs. Nvidia vs. AMD

[djwice]

Artikel: video: Lokale AI-modellen draaien: Apple vs. Nvidia vs. AMD
Auteur: @LukevanDrie

Test met vllm / sglang en merlerde requests tegelijk en met nvfp4 op Blackwell hardware.

En op de RTX Spark draai onder WSL.

En met dense modellen gebruik ook de speculative assistent modellen DFlash2 bijvoorbeeld.

Voor DGX Spark zie https://github.com/eugr/spark-vllm-docker

en voor testen meerdere requests te gelijk:

https://github.com/eugr/llama-benchy


Je zult zien dat Qwen3.8 Flash Next ongeveer 90 t/s haalt en zelfs ruim 350 t/s met multi concurrency op een RTX Spark WSL / DGX Spark.

Dus juist veel sneller is dan de cloud modellen.

[ Voor 17% gewijzigd door djwice op 06-11-2026 19:48 ]

[djwice]

Voor Apple hardware kijk naar mlx, mxfp4, mxfp8 quants.

[djwice]

Verder heel heldere en goed opgezette video, duidelijk uitleg. Knap werk heren! Chapeau !

[djwice]

We zien voor chat gebruik dat Gemma 4 nvfp4 gecombineerd met de assistent (= klein speculatief model dat meerdere tokens in een single pass voorspelt) door veel Nederlandse gebruikers als goed en snel wordt gezien.

We zien dat gebruikers Claude Sonnet en oude Opus 4.8 niet meer gebruiken als ze Qwen 3.8 Flash Next hebben. En ook business users zweren bij dit model.

We zien dat rijke gebruikers met 4 Sparks en een MikroTik switch en twee [QFSP-DD naar 2x QSPF56] kabels alles laten vallen voor DeepSeek v4.1 Flash 1017. ~ €30.000 systeem, 8 tot 16 agents tegelijk.

DeepSeek kan ook op 3 DGX Spark machines als de n-gram op NVMe draait en drie QSFP56 (of QSFP112) kabels worden gebruikt, maar dat is 2x zo traag en kost nog steeds €21.200. Dan is €8.400 extra voor dubbele snelheid een overweging.

[ Voor 31% gewijzigd door djwice op 06-11-2026 20:16 ]

[Tomas Hochstenbach]

@djwice

Dank voor je complimenten! Al gaan die voor de toffe animaties zeker ook deels naar onze video-editors

Ik denk dat je posts een uitstekend voorbeeld zijn van waarom we dat allemaal niet hebben gedaan, want dan krijg je dus inderdaad per apparaat een totaal andere setup van backend, tools en zelfs het exacte gebruikte model. In die zin is dit ook meer een zo eerlijk mogelijke vergelijking tussen de systemen, dan een showcase van het absolute maximum van elk systeem.

Als de hoofdvraag zou zijn: hoe haal je het maximale uit een DGX Spark, of hoe haal je het maximale uit een Mac Studio, dan zou je het idd zo moeten aanpakken als jij omschrijft.

[djwice]

Ik het vervolg zou ik wel aanraden op Blackwell de nvfp4 te testen, anders test je eigenlijk een model voor de Hopper architectuur of ouder.

En vllm / sglang en meerdere requests tegelijk, juist omdat Apple sneller lijkt, totdat je een grotere context en meerdere requests af vuurt.

En ook in dit geval: je conclusie dat het trager is en minder goed als Cloud modellen klopt niet. De geteste Qwen 3.8 Flash Next als goed ingericht is dus veel sneller juist en verslaat Claude Sonent en Haïku in kwaliteit.

De repo die ik gaf is van een medewerker van NVIDIA die gespecialiseerd is in de Spark hardware.

Juist gezien de reacties onder het artikel is het denk ik nuttig aan nvfp4 aandacht te besteden, zelfs gebruikers die frequent zelf AI draaien op Blackwell kennen het blijkbaar nog niet of weten het verschil niet.

Het zelfde kan gelden voor mensen met Apple hardware dat ze niet een Quant uit de mlx community kiezen, omdat ze het verschil niet weten of niet weten van het bestaan.

YouTube: M5 Ultra vs 2 DGX Sparks… The Number You're Not Looking At dit kanaal heeft goede detail videos. Niet nvfp4 nog overigens. Wel veel informatie hoe je goed kunt testen en vergelijken incl. valkuilen waarin hij eerder zelf ook liep etc.

[ Voor 13% gewijzigd door djwice op 07-11-2026 01:33 ]

[djwice]

Een video over Strata : YouTube: RTX 5090 + Strata – Can Local AI REALLY Beat Opus 4.6?

Wat Qwen 3.8 Flash Next onderandere kan: YouTube: Qwen3.8 Flash Next Is INSANE – Testing the PREVIEW of Qwen 4!

[djwice]

Wat DeepSeek v4.1 Flash 1017 kan: YouTube: DeepSeek's New AI Is An Absolute Monster

Ook een heel informatief kanaal trouwens met goed gevalideerde informatie. Negeer als ie over Lambda spreekt aan het einde van de video, dat is zijn sponsor.

Iets gaafs dat ik recent dankzij zijn tip ben gaan doen is nieuwe AI research paper pakken en AI het simpelweg laten reproduceren: je krijgt dan dus de software om de doen wat de onderzoekers deden. Extreem gaaf. Direct toepasbaar op je eigen projecten. Dat kan dus ook met andere research papers, niet alleen met die over AI.