Winterproject: eerste linux pc, eerste LLM lokaal draaien

[Mantus]

Ik ga deze winter aan een nieuw eigen project te gaan beginnen en het leek mij leuk om dit te delen hier en misschien dat iemand die dit leest mee wilt denken of misschien het gewoon leuk vindt om te volgen.

Mijn doel:
- Linux gaan gebruiken ipv windows om overduidelijke redenen
- Alles van Google afschalen, eigen cloud, proton services gaan gebruiken
- AI kunnen gebruiken zonder zorgen over privacy
- Een eigen streaming service kunnen draaien
- Smart home maken
- Volledig afgeschermd
- Heel veel leren over nieuwe software
- Persoonlijke assistent maken
- Idealiter het meeste beschikbaar op mijn telefoon, streamen, AI en assistent

Ik ben zelf 39 jaar en functioneel SAP consultant. Programmeren is voor mij redelijk nieuw maar ik voel toch de behoefte om eens iets verder te kijken dan SAP consultancy en tevens een nieuwe hobbie starten. Python leren, meer te weten komen over AI en een stuk meer focus leggen op privacy en meer in eigen handen hebben.

Op dit moment helpt chatgpt mij om mee te denken en structuur aan te brengen. En verder ga ik mij de komende tijd veel verdiepen in Linux, heel veel verschillende services en ik wil eigenlijk naast mij werk ook een python-cursus gaan volgen.

Ik heb me aardig ingelezen in wat er nodig is om een eigen AI te laten draaien en heb inmiddels een pc besteld met de volgende hardware:

SUS ProArt X870E
AMD Ryzen 9 9950X3D
NVIDIA RTX 5090
64 GB DDR5 RAM
Fractal Design North XL behuizing

Samen met Chatgpt zijn we dit de volgende lijst van services gekomen die ik wil gaan gebruiken:

1. Docker & Docker Compose - containers
2. Tailscale
3. Jellyfin
4. Navidrome
5. Home Assistant (Container)
6. Whisper (lokaal spraak naar tekst)
7. Piper of XTTS (tekst naar spraak)
8. Ollama (lokale AI-modellen)
9. OpenWebUI (AI-interface)
10. Radicale of Nextcloud (agenda & contacten)
11. Backup-tool (BorgBackup of Restic)

Dit wordt voor mij een heleboel nieuwe dingen gaan leren en ik ben heel benieuwd wat het resultaat wordt.

Als dit gewaardeerd wordt, kan ik hier updates posten. En tips zijn altijd welkom!

[djmuggs]

Altijd mooi als iemand iets nieuws wilt leren.
Linux is tegenwoordig niet meer zo spannend als 30 jaar geleden, dus veel te vinden via zoekmachines en intussen AI(Geavnaceerde zoekmachine).

Denk dat Ubuntu meest eenvoudige start is voor het beginnen met Linux, veel antwoorden van AI en zoekmachines gaan vaak van APT uit als packagemanager.
Ook kwa software configuratie vaak de standaard Ubuntu(Debian) paden.

Na installatie van Ubuntu is een goede plek om verder te gaan https://www.omgubuntu.co....-25-04-post-install-tasks
Je zou daarna bv een VM kunnen draaien binnen je Ubuntu omgeving om bv met een Debian server installatie te spelen zonder meteen je Ubuntu omgeving om zeep te helpen.

En vanaf hier verder de vervolgstappen te doen.
Ook op dit forum genoeg te vinden over de software die je wilt gaan gebruiken.

Ik zou Ansible ook op je lijstje zetten als iets om te leren, dan kan je installaties van oa Containers automatiseren.
Dit scheelt je dan veel tijd om steeds alles weer met de hand te moeten doen als er iets mis gaat tijdens het leren van Linux en Applicaties die je wilt gaan gebruiken.
Ook misschien iets met GIT gaan doen voor versie beheer van je code
Dus iets als een lokale GitLab omgeving draaien, al is dit wel een heel uitgebriede oplossing voor Git.
Forgejo is een wat lichtere Git omgeving.

Veel plezier met je Linux reis.

[ Voor 21% gewijzigd door djmuggs op 20-09-2025 21:53 ]

[Mantus]

djmuggs schreef op zaterdag 20 september 2025 @ 21:39:
Altijd mooi als iemand iets nieuws wilt leren.
Linux is tegenwoordig niet meer zo spannend als 30 jaar geleden, dus veel te vinden via zoekmachines en intussen AI(Geavnaceerde zoekmachine).

Denk dat Ubuntu meest eenvoudige start is voor het beginnen met Linux, veel antwoorden van AI en zoekmachines gaan vaak van APT uit als packagemanager.
Ook kwa software configuratie vaak de standaard Ubuntu(Debian) paden.

Na installatie van Ubuntu is een goede plek om verder te gaan https://www.omgubuntu.co....-25-04-post-install-tasks
Je zou daarna bv een VM kunnen draaien binnen je Ubuntu omgeving om bv met een Debian server installatie te spelen zonder meteen je Ubuntu omgeving om zeep te helpen.

En vanaf hier verder de vervolgstappen te doen.
Ook op dit forum genoeg te vinden over de software die je wilt gaan gebruiken.

Ik zou Ansible ook op je lijstje zetten als iets om te leren, dan kan je installaties van oa Containers automatiseren.
Dit scheelt je dan veel tijd om steeds alles weer met de hand te moeten doen als er iets mis gaat tijdens het leren van Linux en Applicaties die je wilt gaan gebruiken.
Ook misschien iets met GIT gaan doen voor versie beheer van je code
Dus iets als een lokale GitLab omgeving draaien, al is dit wel een heel uitgebriede oplossing voor Git.
Forgejo is een wat lichtere Git omgeving.

Veel plezier met je Linux reis.

Ah thanks! Voor de positieve reactive en de tips!
Ik heb een paar maanden geleden eens geprobeerd om een nieuwe app te maken met behulp van Chatgpt. Vrienden van mij die programmeurs zijn waarschuwden me al wel een beetje, misschien ook door mij aanpak. Ik denk dat het codering op zich niet verkeerd ging, maar structuur houden met Chatgpt was vrij moeilijk. Als beginnend technisch it’er spelen kwam ik er wel achter dat je vaak ook veel meer moet configureren, tools installeren, zaken handmatig synchroon en compatible houden dan dat je puur met coderen bent. Inmiddels wel het een en anders van GIT geleerd.

Ik vind het idee van een VM gebruiken eigenlijk wel een heel goed idee. Omdat het toch een meer geintegreerde omgeving gaat worden hopelijk, is stabiliteit en ook apart dingen kunnen testen we echt handig. Ook al heb ik dus nog geen idee hoe Linux uitdagingen er uit zien.

Ik zet Ansible en Forgejo op mijn lijstje om

[Ramon]

Allemaal leuke en interessante doelen maar bij het zien van dit lijstje vraag ik me wel af of je niet teveel hooi op de vork neemt? Tenzij je een winter sabbatical neemt ofzo? Ik zou misschien focussen op een selectie van de helft van de doelen die je noemt. Linux gebruiken kan je vandaag al mee beginnen en is denk ik een belangrijk startpunt voor je reis.

Let er ook op dat die hardware die je hebt besteld een gigantisch stroomverbruik heeft en je die wellicht niet 24/7 aan wil hebben staan en het misschien dus verstandig is om ernaast nog een zuinige server aan te schaffen voor de diensten die je wel 24/7 bereikbaar wilt hebben. Zie daarvoor Het grote zuinige server topic - deel 3.

En niet om je AI feestje te verpesten maar vergeet niet dat LLM's niets meer zijn dan tekstvoorspellings-engines en dat ze niet weten wat ze zeggen en dus fouten kunnen en zullen maken in hun antwoorden. Als je het dan gebruikt zonder zelf op z'n minst een beetje te weten van het onderwerp is het erg lastig om die fouten eruit te pikken omdat antwoorden zo stellig gebracht worden. Ik raad dus aan om gewoon de handleiding te lezen voordat je met iets nieuws aan de slag gaat en niet te vertrouwen op een LLM. (daarom vraag ik me ook af waarom je een klein fortuin zou uitgeven om lokaal een AI te draaien, maargoed dat is een ander verhaal)

[Zwelgje]

Ramon schreef op zondag 21 september 2025 @ 07:57:
Allemaal leuke en interessante doelen maar bij het zien van dit lijstje vraag ik me wel af of je niet teveel hooi op de vork neemt? Tenzij je een winter sabbatical neemt ofzo? Ik zou misschien focussen op een selectie van de helft van de doelen die je noemt. Linux gebruiken kan je vandaag al mee beginnen en is denk ik een belangrijk startpunt voor je reis.

Let er ook op dat die hardware die je hebt besteld een gigantisch stroomverbruik heeft en je die wellicht niet 24/7 aan wil hebben staan en het misschien dus verstandig is om ernaast nog een zuinige server aan te schaffen voor de diensten die je wel 24/7 bereikbaar wilt hebben. Zie daarvoor Het grote zuinige server topic - deel 3.

En niet om je AI feestje te verpesten maar vergeet niet dat LLM's niets meer zijn dan tekstvoorspellings-engines en dat ze niet weten wat ze zeggen en dus fouten kunnen en zullen maken in hun antwoorden. Als je het dan gebruikt zonder zelf op z'n minst een beetje te weten van het onderwerp is het erg lastig om die fouten eruit te pikken omdat antwoorden zo stellig gebracht worden. Ik raadt dus aan om gewoon de handleiding te lezen voordat je met iets nieuws aan de slag gaat en niet te vertrouwen op een LLM. (daarom vraag ik me ook af waarom je een klein fortuin zou uitgeven om lokaal een AI te draaien, maargoed dat is een ander verhaal)

exact! wat je wilt is hapklare en duidelijk haalbare doelen stellen. als je teveel zaken tegelijkertijd wilt doen in toch al materie wat nieuw voor je is dan loopt je de kans dat je gedemotiveerd raakt omdat zaken toch lastiger blijken te zijn.

ik zou gewoon 'blokken' maken van zaken die je wilt doen en dan per milestone deze aftikken. krijg je ook een beter gevoel van als je één onderdeel onder de knie hebt gekregen en verder kan met het volgende.

[Vishari Beduk]

Helemaal eens met @Ramon dat je er beter een zuinig server naast kan zetten. Het stroom verbruik van de 5090 is gigantisch, bij mij zag ik de aanschaf heel duidelijk terug in de maandelijkse energie rekening.
En extra nadeel is de combinatie van Linux met een 5090; probleem is dat de consumenten kaarten afgesteld staan op maximale prestaties. En je hebt afterburner nodig om de parameters terug te kunnen draaien zonder prestatie verlies. Maar een afterburner equivalent bestaat er niet echt onder Linux of worden al jaren niet meer onderhouden.
https://www.msi.com/Landing/afterburner/graphics-cards

[Mantus]

@Vishari Beduk @Zwelgje @Ramon

Dank voor het meedenken! Hier zitten heel erg bruikbare tips bij.

Voor wat betreft het stroom verbruik kan ik gelukkig zeggen dat ik recent in een huis ben gaan wonen waar de panelen zo ongeveer 2x zoveel stroom opwekken als dat ik gebruik dus er is overschot. En ik zat zelf ook aan afterburner te denken, maar heb niet eerder bedacht dat deze niet onder linux beschikbaar zijn. Hier ga ik even induiken.

Ik snap dat het totaal als een onwaarschijnlijk grote berg werk klinkt maar ik kan dit soort dingen gelukkig in blokken doen en een ding tegelijk pakken. Gelukkig game ik ook en staat de pc verder niet te verstoffen en kan ik tevens deze kosten zakelijk aftrekken. Dit scheelt enorm!

Qua tijd heb ik het komende half jaar slechts 3 dagen werk gezien een opdracht die afloopt. Hierdoor heb ik voor de komende 6 maanden zeker twee volle dagen per week extra tijd om hier aan te besteden.

Maar onwijs bedankt voor deze input, terechte zaken.