Laptop voor draaien van lokale AI taalmodellen

[damylen]

Wat zou jullie advies zijn voor een laptop die volledig standalone taalmodellen kan draaien? Het liefst 15B of meer. Tot op zekere hoogte is budget of OS keuze niet relevant. Mag een MacBook pro zijn of een Windows laptop. Zolang deze in staat is iets van Ollama of LMStudio te draaien, een recente GPU en over genoeg geheugen beschikt en leverbaar is.

Wat zijn jullie ervaringen en suggesties?

[ResuCigam]

Om een LLM met 15B parameters in 16 bit te draaien heb je ongeveer 36 GB GPU geheugen nodig... Ik denk niet dat er veel notebooks op de markt zijn met zoveel GPU geheugen.

[BombaAriba]

Als je naar benchmarks kijkt van notebooks zie je vooral dat Macs goed presteren qua tokens/sec door de opzet van CPU/GPU/memory op 1. Of je zou naar een gaming laptop kunnen kijken maar ik weet niet of je een zakelijke lijn laptop wilt ivm bijv. garantie. Je zou ook een vorig jaar Macbook Pro kunnen kopen met best wat bang for buck. Maar ligt er ook een beetje aan wat je budget is.