Artikel: review: Mac mini (M6) en Mac Studio (M5 Ultra) - Nieuwste hardware voor vertrouwde Macs
Auteur: @Tomas Hochstenbach
Ik had mijn relaas al als comment onder het artikel gezet, maar misschien is dit een beter plek. Allereerst, hulde voor het doen van een benchmark van een 120b, daar koop je zo'n M5 Ultra met 256GB tenslotte voor. Ik begrijp alleen de gekozen modellen niet. Een GLM5.3-flash of Qwen3.8-flash-next lijkt me veel logischer? Er is waarschijnlijk niemand die GPT-OSS 120B gaat draaien, want waarom zou je? En waarom de benchmark op Qwen3.5? Qwen3.8 is een stuk relevanter. Dus tenzij je geïnteresseerd bent in retro-modellen is de keuze wat opmerkelijk.
Verder was ik benieuwd wat de MoE-modellen doen in de benchmark, zeker ten opzichte van een videokaart. Bij een MoE-model is een geïntegreerd systeem namelijk veel minder in het nadeel dan bij de dense-modellen die jullie nu hebben gebruikt.
Los daarvan, waarom wordt de quantization niet genoemd? Die moet gebruikt zijn, want het volledige model van Qwen3.5 is 56GB en past dus niet op de meeste systemen waarop de benchmark gedaan is. Juist voor Mac is het relevant om te noemen, want als je de niet-MLX versie pakt dan krijg je significant minder goede prestaties die niet representatief zijn, en als je verschillende quatizations door elkaar zou gebruiken dan ben je helemaal appels met peren aan het vergelijken.
Kortom: kunnen jullie voortaan relevante en moderne modellen gebruiken, de softwarestack noemen (waarop heb je het getest, ook dat kan enorme verschillen met zich meebrengen) en welke quantization is gebruikt? Anders zeggen de benchmarks zo weinig.
Auteur: @Tomas Hochstenbach
Ik had mijn relaas al als comment onder het artikel gezet, maar misschien is dit een beter plek. Allereerst, hulde voor het doen van een benchmark van een 120b, daar koop je zo'n M5 Ultra met 256GB tenslotte voor. Ik begrijp alleen de gekozen modellen niet. Een GLM5.3-flash of Qwen3.8-flash-next lijkt me veel logischer? Er is waarschijnlijk niemand die GPT-OSS 120B gaat draaien, want waarom zou je? En waarom de benchmark op Qwen3.5? Qwen3.8 is een stuk relevanter. Dus tenzij je geïnteresseerd bent in retro-modellen is de keuze wat opmerkelijk.
Verder was ik benieuwd wat de MoE-modellen doen in de benchmark, zeker ten opzichte van een videokaart. Bij een MoE-model is een geïntegreerd systeem namelijk veel minder in het nadeel dan bij de dense-modellen die jullie nu hebben gebruikt.
Los daarvan, waarom wordt de quantization niet genoemd? Die moet gebruikt zijn, want het volledige model van Qwen3.5 is 56GB en past dus niet op de meeste systemen waarop de benchmark gedaan is. Juist voor Mac is het relevant om te noemen, want als je de niet-MLX versie pakt dan krijg je significant minder goede prestaties die niet representatief zijn, en als je verschillende quatizations door elkaar zou gebruiken dan ben je helemaal appels met peren aan het vergelijken.
Kortom: kunnen jullie voortaan relevante en moderne modellen gebruiken, de softwarestack noemen (waarop heb je het getest, ook dat kan enorme verschillen met zich meebrengen) en welke quantization is gebruikt? Anders zeggen de benchmarks zo weinig.
[ Voor 16% gewijzigd door kipppertje op 25-09-2026 15:35 ]
Maar het had ook zo gekunt
:strip_icc():strip_exif()/u/287731/crop6270fa65746ea_cropped.jpg?f=community)