Twee Mac Studio's met M5 Ultra kunnen Meta's Muse…

[djwice]

Artikel: nieuws: Twee Mac Studio's met M5 Ultra kunnen Meta's Muse Spark Open-model dr...
Auteur: @AverageNL

Hoi Daan,
Waar leidt je uit af dat het model geoptimaliseerd is voor Apple hardware? NVFP4 staat voor Nvidia:
https://developer.nvidia....-low-precision-inference/

The NVFP4 checkpoint stores the parameters in 4-bit precision with negligible loss in accuracy, specifically for NVIDIA Blackwell GPUs.

https://huggingface.co/blog/meta-muse-spark-open

Je kunt nvfp4 omzetten naar mxfp4 voor Apple of verkleinen met verlies naar integers (Q8) of 2-bits (Q2_K) bijvoorbeeld:

llama.cpp team ships different quantized versions.
We have tested Q2_K, Q4_K_S and Q_8 [quants] on Apple Silicon chips.

Llama.cpp kan maar 1 gebruikers prompt (of agent) tegelijk verwerken op Apple Silicon.

De testen zijn naar mijn verwachting gedaan op.NVIDIA Blackwell B300 in sglang inplaats van llama.cpp. Hardware van ~ €650.000,- die inderdaad 50.000 tokens per seconde / 600 per gebruiker haald.

Dat zal anders zijn op de Apple hardware, zeker voor grote prompts kun je dan eerste vele tientallen seconden wachten tot de eerste token komt.

[ Voor 31% gewijzigd door djwice op 16-10-2026 13:55 ]

[AverageNL]

Thanks @djwice! Meta zelf zegt dat dit model specifiek is geoptimaliseerd voor Apple-hardware. Zie deze blogpost

Hij zal op grote datacenter-gpu's als de GB300 vanzelfsprekend sneller draaien dan op een paar Mac Studio's. Ik vermoed dat Meta bedoelt dat 'ie specifiek voor lokaal gebruik is gestroomlijnd voor Apple Silicon (puur in vergelijking met andere lokale toepassingen dan natuurlijk)

Er is inderdaad ook een aparte NVFP4-versie voor Nvidia-hardware, dat zal ik nog toevoegen aan het artikel!

[djwice]

Dank je!@AverageNL ! Die had ik nog niet gevonden 🤗

[djwice]

Optie van 512 GB geheugen voor M5 Ultra verkrijgbaar vanaf eind oktober

Dus nog even wachten (en sparen...) tot het hier te gebruiken is.