inleiding
De laatste paar jaar heeft AI een definitieve indruk achtergelaten als het om taken gaat waar veel informatie moet worden verwerkt. Enquêtes laten zien dat AI veelvuldig gebruikt wordt bij taken als het het schrijven van code. Veel van deze diensten zijn echter gebaseerd op de cloud, en dat vindt niet iedereen even prettig. Daarom zijn er ook AI runners die op je eigen hardware kunnen draaien. Voorbeelden hiervan zijn o.a.: Ollama vLLM en LM Studio, hoewel het laatste meer een voorbeeld is van een desktopapplicatie, terwijl de eerste twee meer voorbeelden zijn van dingen die je ook als server kan gebruiken.Modellen
Natuurlijk zijn er meerdere soorten modellen. De meeste vrij beschikbare modellen. Bekende repo's voor modellen zijn o.a.:Er zijn een aantal verschillende soorten toepassingen voor een model, en niet alle modellen kunnen alle soorten taken even goed uitvoeren.Vision modellen zijn bijvoorbeeld goed in het verwerken van plaatjes. Coding modellen zijn relatief sterk in het opstellen en/of verwerken van code. Multi-expert modellen zijn een combinatie van modellen met elk een specifieke focus. En een instruct model is heel goed in het opvolgen van aanwijzingen. (dit is in de meeste gevallen overigens meer een kwestie van parameters dan van expliciete training)
Chat modellen zijn direct te gebruiken, maar soms wil je de assistentie van een ander model.
Embedding modellen zijn bijvoorbeeld specifiek gemaakt om media te formatteren voor LLM-gebruik.
Een apply model maakt het mogelijk om bijvoorbeeld een stuk tekst in te voegen in een bestaande tekst zonder alles over te schrijven.
Front-ends
Om een LLM op een beetje gebruiksvriendelijke manier te ontsluiten kan je een front-end gebruiken. Een paar bekende zijn:Open WebUI, een Docker container die een web-based front-end serveert met een chatinterface. Deze kan zowel met externe als met locale LLM servers babbelen.
Page Assist, een plugin die je kan instellen om met een eigen Ollama instantie te verbinden.
AnythingLLM, een web-based front-end.
Naast chatten met een LLM zijn er ook toepassingen die gebruik kunnen maken van LLM's over het netwerk. Een vanb de meest bekende opties is het ondersteuenen van programmeerwerkzaamheden d.m.v. LLM's. Voor je IDE zijn er ook plug-ins:
Nuttige informatie:
Overwegingen bij het kiezen van hardwareopzetWelke modelrunner?
ollama GitHub
[ Voor 94% gewijzigd door ocf81 op 15-04-2025 17:38 . Reden: alle AI assistenten i.p.v. alleen code assisitenten ]
© ocf81 1981-infinity
Live the dream! | Politiek Incorrecte Klootzak uitgerust met The Drive to Survive
Bestrijd de plaag die woke heet! | <X> as a Service --> making you a poor & dependent slave