Hi Tweakers 👋
Voor mijn studie ben ik een open-source benchmarktool aan het bouwen die échte energie-metingen doet voor lokale LLM’s (dus geen “schattingen” of cloud-cijfers): Wh + CO₂ per run, op basis van hardware sensors.
👉 Repo + instructies: knip
👉 Live leaderboard: knip
Waarom dit?
LLM’s worden overal gebruikt, maar per prompt/run energieverbruik is meestal onzichtbaar. Ik wil dit transparanter maken met reproduceerbare tests en echte metingen en daarvoor heb ik diverse hardware nodig.
Waar ik hulp bij zoek
Ik zoek Tweakers die (1) even een benchmark willen draaien en (2) hun JSON-resultaat willen delen via een PR.
Super welkom:
Linux + NVIDIA GPU (NVML)
Linux + AMD GPU (ROCm)
Linux CPU met RAPL
macOS (Apple Silicon/Intel via powermetrics – wel sudo nodig)
Let op: Windows werkt nu vooral “Docker-only” en geeft nog geen echte energy data terug (drivers/sensors). Als je Windows-dev bent en mee wilt denken aan support: ook top.
Voor mijn studie ben ik een open-source benchmarktool aan het bouwen die échte energie-metingen doet voor lokale LLM’s (dus geen “schattingen” of cloud-cijfers): Wh + CO₂ per run, op basis van hardware sensors.
👉 Repo + instructies: knip
👉 Live leaderboard: knip
Waarom dit?
LLM’s worden overal gebruikt, maar per prompt/run energieverbruik is meestal onzichtbaar. Ik wil dit transparanter maken met reproduceerbare tests en echte metingen en daarvoor heb ik diverse hardware nodig.
Waar ik hulp bij zoek
Ik zoek Tweakers die (1) even een benchmark willen draaien en (2) hun JSON-resultaat willen delen via een PR.
Super welkom:
Linux + NVIDIA GPU (NVML)
Linux + AMD GPU (ROCm)
Linux CPU met RAPL
macOS (Apple Silicon/Intel via powermetrics – wel sudo nodig)
Let op: Windows werkt nu vooral “Docker-only” en geeft nog geen echte energy data terug (drivers/sensors). Als je Windows-dev bent en mee wilt denken aan support: ook top.
[ Voor 5% gewijzigd door ZieMaar! op 16-12-2025 07:31 ]
:strip_exif()/u/127195/Naamloos-1.gif?f=community)
Dit topic is gesloten.