Ervaringen met CrowdGPT?

[DeNachtwacht]

Weer eens een twist, ik kwam deze tegen:
https://www.crowdgpt.net/#home

De code is openbaar op github: https://github.com/Vxtzq/CrowdGPT

Eerste versie is een maandje geleden online gekomen: https://huggingface.co/Vxtzq/Crowd-v1/tree/main

Ik vroeg me af wat de gedachtes hier over dit project zijn en/of er mensen zijn die mee hebben gedaan. In de basis is het idee briljant natuurlijk, net zoals ooit Folding@Home en/of bittorrent / limewire. Het lijkt echter na een klein maandje ook al wel weer een klein beetje dood te bloeden, op zich zonde. Er zijn nu wereldwijd 9 GPU's bezig, dat is natuurlijk niet bepaald een basis om Sol 6.1 uit de markt te duwen

Op zich ziet het er degelijk uit wat mij betreft, maar ik vroeg me af of er misschien toch nadelen zijn (naast natuurlijk je eigen stroomrekening). Maar ergens ziet het er toch best uit als een mooi idee om de DutchPowerCows weer eens echt iets nuttigs te laten doen?

Wat zijn jullie gedachtes?

[ Voor 6% gewijzigd door DeNachtwacht op 29-10-2026 19:18 ]

[F_J_K]

De TS mag beginnen met diens mening In de topicstart zeggen wat het doet is ook wel zo handig. Waarom denk je dat dit een goed idee is? Wat doet het eigenlijk? Vergeleken met de grote jongens en met de self hosted modellen?

Zo lijkt het meer op spam

ik pas de topictitel wat aan. Of het een mooi initiatief is moet nog blijken en het is niet het enige initiatief ooit dus beter om een meer informatieve titel te nemen.

[DeNachtwacht]

Haha, ja snap ik zo was die zeker niet bedoeld. Dan even wat toelichting:

Ik kwam deze tegen op reddit en hoewel het nog niet echt is aangeslagen vind ik het idee wel goed. Net zoals je met folding@home met je eigen pc kan meehelpen aan ziektes helpen genezen, door de ongebruikte rekenkracht via een tooltje te 'doneren' aan de wetenschap en je pc dus mee rekent aan grote wetenschappelijke projecten, is hier het idee dus dat je via dit tooltje een klein stukje data krijgt en met je GPU een klein beetje meehelpt aan trainen van een taalmodel. Dus in plaats van grote serverparken vol GPU's om een AI model te trainen, alle ongebruikte pc's van consumenten en/of instellingen gebruiken om een "crowd-sourced" taalmodel te maken. Voor en met elkaar dus. En uiteindelijk dus een echt goed, opensource en openweight taalmodel dat gratis te downloaden en gebruiken is voor iedereen (en dus ongetwijfeld ook weer interessant is om online te hosten en als server weer vrij goedkoop aan te bieden, want het heeft immers geen licentiekosten).

Het ziet er wat mij betreft best als een interessant idee uit, ik vraag me alleen af of, als heel veel mensen mee zouden doen, de scope groot genoeg zou worden om een echt serieus taalmodel te trainen. Ik was dus benieuwd naar de gedachtes van medetweakers hierover. Dit weekend wil ik ook gaan spelen met dat taalmodel wat je dus al kan downloaden, en wellicht ook die tool eens installeren om mee te doen om te zien hoe het gaat.

[ Voor 10% gewijzigd door DeNachtwacht op 29-10-2026 22:38 ]

[Wilke]

Grappig. Maar ja, 4 GPU's actief als ik er nu op klik. Dus tja. Dat is niet precies een hyperscaler zullen we maar zeggen.

Het lastige is dat al dit soort "distributed" projecten een paar problemen hebben: 1) zinnig distribueren over zeer verschillende nodes, met wijd uiteenlopende bandbreedte, latencies, capaciteiten (beschikbaar geheugen bv.), en robuustheid/random failures. Zinnig distibueren is namelijk al een gecompliceerd probleem op zich (nog steeds!), zelfs zonder alle hiervoor genoemde extra obstakels; en 2) in de jaren '90 was het nog zo, dat een computer bij benadering evenveel stroom gebruikte bij 0% als 100% CPU. Nu zit daar bij veel systemen een factor ~10 in - tot en met aan het stopcontact (niet alleen de CPU of GPU zelf).

Het maakt nogal uit of mijn computer als ik die aan laat staan dan per dag 50 cent aan stroom verbruikt (80W continu), of 5 euro (800W continu; beide met stroomprijs ~€0,25). Dat laatste is op jaarbasis namelijk al een behoorlijk prijzige hobby.

[ Voor 25% gewijzigd door Wilke op 29-10-2026 23:00 ]