Winterproject: eerste linux pc, eerste LLM lokaal draaien

[Mantus]

Ik ga deze winter aan een nieuw eigen project te gaan beginnen en het leek mij leuk om dit te delen hier en misschien dat iemand die dit leest mee wilt denken of misschien het gewoon leuk vindt om te volgen.

Mijn doel:
- Linux gaan gebruiken ipv windows om overduidelijke redenen
- Alles van Google afschalen, eigen cloud, proton services gaan gebruiken
- AI kunnen gebruiken zonder zorgen over privacy
- Een eigen streaming service kunnen draaien
- Smart home maken
- Volledig afgeschermd
- Heel veel leren over nieuwe software
- Persoonlijke assistent maken
- Idealiter het meeste beschikbaar op mijn telefoon, streamen, AI en assistent

Ik ben zelf 39 jaar en functioneel SAP consultant. Programmeren is voor mij redelijk nieuw maar ik voel toch de behoefte om eens iets verder te kijken dan SAP consultancy en tevens een nieuwe hobbie starten. Python leren, meer te weten komen over AI en een stuk meer focus leggen op privacy en meer in eigen handen hebben.

Op dit moment helpt chatgpt mij om mee te denken en structuur aan te brengen. En verder ga ik mij de komende tijd veel verdiepen in Linux, heel veel verschillende services en ik wil eigenlijk naast mij werk ook een python-cursus gaan volgen.

Ik heb me aardig ingelezen in wat er nodig is om een eigen AI te laten draaien en heb inmiddels een pc besteld met de volgende hardware:

SUS ProArt X870E
AMD Ryzen 9 9950X3D
NVIDIA RTX 5090
64 GB DDR5 RAM
Fractal Design North XL behuizing

Samen met Chatgpt zijn we dit de volgende lijst van services gekomen die ik wil gaan gebruiken:

1. Docker & Docker Compose - containers
2. Tailscale
3. Jellyfin
4. Navidrome
5. Home Assistant (Container)
6. Whisper (lokaal spraak naar tekst)
7. Piper of XTTS (tekst naar spraak)
8. Ollama (lokale AI-modellen)
9. OpenWebUI (AI-interface)
10. Radicale of Nextcloud (agenda & contacten)
11. Backup-tool (BorgBackup of Restic)

Dit wordt voor mij een heleboel nieuwe dingen gaan leren en ik ben heel benieuwd wat het resultaat wordt.

Als dit gewaardeerd wordt, kan ik hier updates posten. En tips zijn altijd welkom!

[djmuggs]

Altijd mooi als iemand iets nieuws wilt leren.
Linux is tegenwoordig niet meer zo spannend als 30 jaar geleden, dus veel te vinden via zoekmachines en intussen AI(Geavnaceerde zoekmachine).

Denk dat Ubuntu meest eenvoudige start is voor het beginnen met Linux, veel antwoorden van AI en zoekmachines gaan vaak van APT uit als packagemanager.
Ook kwa software configuratie vaak de standaard Ubuntu(Debian) paden.

Na installatie van Ubuntu is een goede plek om verder te gaan https://www.omgubuntu.co....-25-04-post-install-tasks
Je zou daarna bv een VM kunnen draaien binnen je Ubuntu omgeving om bv met een Debian server installatie te spelen zonder meteen je Ubuntu omgeving om zeep te helpen.

En vanaf hier verder de vervolgstappen te doen.
Ook op dit forum genoeg te vinden over de software die je wilt gaan gebruiken.

Ik zou Ansible ook op je lijstje zetten als iets om te leren, dan kan je installaties van oa Containers automatiseren.
Dit scheelt je dan veel tijd om steeds alles weer met de hand te moeten doen als er iets mis gaat tijdens het leren van Linux en Applicaties die je wilt gaan gebruiken.
Ook misschien iets met GIT gaan doen voor versie beheer van je code
Dus iets als een lokale GitLab omgeving draaien, al is dit wel een heel uitgebriede oplossing voor Git.
Forgejo is een wat lichtere Git omgeving.

Veel plezier met je Linux reis.

[ Voor 21% gewijzigd door djmuggs op 20-09-2025 21:53 ]

[Mantus]

djmuggs schreef op zaterdag 20 september 2025 @ 21:39:
Altijd mooi als iemand iets nieuws wilt leren.
Linux is tegenwoordig niet meer zo spannend als 30 jaar geleden, dus veel te vinden via zoekmachines en intussen AI(Geavnaceerde zoekmachine).

Denk dat Ubuntu meest eenvoudige start is voor het beginnen met Linux, veel antwoorden van AI en zoekmachines gaan vaak van APT uit als packagemanager.
Ook kwa software configuratie vaak de standaard Ubuntu(Debian) paden.

Na installatie van Ubuntu is een goede plek om verder te gaan https://www.omgubuntu.co....-25-04-post-install-tasks
Je zou daarna bv een VM kunnen draaien binnen je Ubuntu omgeving om bv met een Debian server installatie te spelen zonder meteen je Ubuntu omgeving om zeep te helpen.

En vanaf hier verder de vervolgstappen te doen.
Ook op dit forum genoeg te vinden over de software die je wilt gaan gebruiken.

Ik zou Ansible ook op je lijstje zetten als iets om te leren, dan kan je installaties van oa Containers automatiseren.
Dit scheelt je dan veel tijd om steeds alles weer met de hand te moeten doen als er iets mis gaat tijdens het leren van Linux en Applicaties die je wilt gaan gebruiken.
Ook misschien iets met GIT gaan doen voor versie beheer van je code
Dus iets als een lokale GitLab omgeving draaien, al is dit wel een heel uitgebriede oplossing voor Git.
Forgejo is een wat lichtere Git omgeving.

Veel plezier met je Linux reis.

Ah thanks! Voor de positieve reactive en de tips!
Ik heb een paar maanden geleden eens geprobeerd om een nieuwe app te maken met behulp van Chatgpt. Vrienden van mij die programmeurs zijn waarschuwden me al wel een beetje, misschien ook door mij aanpak. Ik denk dat het codering op zich niet verkeerd ging, maar structuur houden met Chatgpt was vrij moeilijk. Als beginnend technisch it’er spelen kwam ik er wel achter dat je vaak ook veel meer moet configureren, tools installeren, zaken handmatig synchroon en compatible houden dan dat je puur met coderen bent. Inmiddels wel het een en anders van GIT geleerd.

Ik vind het idee van een VM gebruiken eigenlijk wel een heel goed idee. Omdat het toch een meer geintegreerde omgeving gaat worden hopelijk, is stabiliteit en ook apart dingen kunnen testen we echt handig. Ook al heb ik dus nog geen idee hoe Linux uitdagingen er uit zien.

Ik zet Ansible en Forgejo op mijn lijstje om

[Ramon]

Allemaal leuke en interessante doelen maar bij het zien van dit lijstje vraag ik me wel af of je niet teveel hooi op de vork neemt? Tenzij je een winter sabbatical neemt ofzo? Ik zou misschien focussen op een selectie van de helft van de doelen die je noemt. Linux gebruiken kan je vandaag al mee beginnen en is denk ik een belangrijk startpunt voor je reis.

Let er ook op dat die hardware die je hebt besteld een gigantisch stroomverbruik heeft en je die wellicht niet 24/7 aan wil hebben staan en het misschien dus verstandig is om ernaast nog een zuinige server aan te schaffen voor de diensten die je wel 24/7 bereikbaar wilt hebben. Zie daarvoor Het grote zuinige server topic - deel 3.

En niet om je AI feestje te verpesten maar vergeet niet dat LLM's niets meer zijn dan tekstvoorspellings-engines en dat ze niet weten wat ze zeggen en dus fouten kunnen en zullen maken in hun antwoorden. Als je het dan gebruikt zonder zelf op z'n minst een beetje te weten van het onderwerp is het erg lastig om die fouten eruit te pikken omdat antwoorden zo stellig gebracht worden. Ik raad dus aan om gewoon de handleiding te lezen voordat je met iets nieuws aan de slag gaat en niet te vertrouwen op een LLM. (daarom vraag ik me ook af waarom je een klein fortuin zou uitgeven om lokaal een AI te draaien, maargoed dat is een ander verhaal)

[Zwelgje]

Ramon schreef op zondag 21 september 2025 @ 07:57:
Allemaal leuke en interessante doelen maar bij het zien van dit lijstje vraag ik me wel af of je niet teveel hooi op de vork neemt? Tenzij je een winter sabbatical neemt ofzo? Ik zou misschien focussen op een selectie van de helft van de doelen die je noemt. Linux gebruiken kan je vandaag al mee beginnen en is denk ik een belangrijk startpunt voor je reis.

Let er ook op dat die hardware die je hebt besteld een gigantisch stroomverbruik heeft en je die wellicht niet 24/7 aan wil hebben staan en het misschien dus verstandig is om ernaast nog een zuinige server aan te schaffen voor de diensten die je wel 24/7 bereikbaar wilt hebben. Zie daarvoor Het grote zuinige server topic - deel 3.

En niet om je AI feestje te verpesten maar vergeet niet dat LLM's niets meer zijn dan tekstvoorspellings-engines en dat ze niet weten wat ze zeggen en dus fouten kunnen en zullen maken in hun antwoorden. Als je het dan gebruikt zonder zelf op z'n minst een beetje te weten van het onderwerp is het erg lastig om die fouten eruit te pikken omdat antwoorden zo stellig gebracht worden. Ik raadt dus aan om gewoon de handleiding te lezen voordat je met iets nieuws aan de slag gaat en niet te vertrouwen op een LLM. (daarom vraag ik me ook af waarom je een klein fortuin zou uitgeven om lokaal een AI te draaien, maargoed dat is een ander verhaal)

exact! wat je wilt is hapklare en duidelijk haalbare doelen stellen. als je teveel zaken tegelijkertijd wilt doen in toch al materie wat nieuw voor je is dan loopt je de kans dat je gedemotiveerd raakt omdat zaken toch lastiger blijken te zijn.

ik zou gewoon 'blokken' maken van zaken die je wilt doen en dan per milestone deze aftikken. krijg je ook een beter gevoel van als je één onderdeel onder de knie hebt gekregen en verder kan met het volgende.

[Vishari Beduk]

Helemaal eens met @Ramon dat je er beter een zuinig server naast kan zetten. Het stroom verbruik van de 5090 is gigantisch, bij mij zag ik de aanschaf heel duidelijk terug in de maandelijkse energie rekening.
En extra nadeel is de combinatie van Linux met een 5090; probleem is dat de consumenten kaarten afgesteld staan op maximale prestaties. En je hebt afterburner nodig om de parameters terug te kunnen draaien zonder prestatie verlies. Maar een afterburner equivalent bestaat er niet echt onder Linux of worden al jaren niet meer onderhouden.
https://www.msi.com/Landing/afterburner/graphics-cards

[Mantus]

@Vishari Beduk @Zwelgje @Ramon

Dank voor het meedenken! Hier zitten heel erg bruikbare tips bij.

Voor wat betreft het stroom verbruik kan ik gelukkig zeggen dat ik recent in een huis ben gaan wonen waar de panelen zo ongeveer 2x zoveel stroom opwekken als dat ik gebruik dus er is overschot. En ik zat zelf ook aan afterburner te denken, maar heb niet eerder bedacht dat deze niet onder linux beschikbaar zijn. Hier ga ik even induiken.

Ik snap dat het totaal als een onwaarschijnlijk grote berg werk klinkt maar ik kan dit soort dingen gelukkig in blokken doen en een ding tegelijk pakken. Gelukkig game ik ook en staat de pc verder niet te verstoffen en kan ik tevens deze kosten zakelijk aftrekken. Dit scheelt enorm!

Qua tijd heb ik het komende half jaar slechts 3 dagen werk gezien een opdracht die afloopt. Hierdoor heb ik voor de komende 6 maanden zeker twee volle dagen per week extra tijd om hier aan te besteden.

Maar onwijs bedankt voor deze input, terechte zaken.

[Thc_Nbl]

Voor je basis, Ubuntu. Als in Linux Mint voor je desktop of Mint Debian Edition 7, deze gebruik ik zelf ook met een kernel van zably, gamen gaat prima en ik zit inmiddels meer op linux dan Windows.

Leuk project, ik ben ook net begonnen met inventariseren.

[107mb]

ik heb ongeveer hetzelfde wensenlijstje, heb alleen LLM wat op een lagerpitje staan. Ik heb een redelijk zuinige server draaien met daarop KinD geinstalleerd (Kubernetes in Docker). De basis is ubuntu server zonder GUI. In plaats van Python ben ik met Golang aan de slag gegaan, maar daar nog noet zo heel veel mee gebouwd.

Het eerste wat ik op de server heb draaien is een Plex server en Immich. Neem inderdaad niet te veel hooi op je vork want je verzuipt!

[ Voor 17% gewijzigd door 107mb op 24-10-2025 15:12 ]

[Mantus]

Thc_Nbl schreef op donderdag 23 oktober 2025 @ 20:53:
Voor je basis, Ubuntu. Als in Linux Mint voor je desktop of Mint Debian Edition 7, deze gebruik ik zelf ook met een kernel van zably, gamen gaat prima en ik zit inmiddels meer op linux dan Windows.

Leuk project, ik ben ook net begonnen met inventariseren.

Ik moet zeggen dat ik echt helemaal onder de indruk ben van Linux. Het draait zoveel sneller en soepeler en er draait echt alleen maar wat je echt nodig hebt en alles is te customizen en te bouwen. Bizar.

107mb schreef op vrijdag 24 oktober 2025 @ 15:11:
ik heb ongeveer hetzelfde wensenlijstje, heb alleen LLM wat op een lagerpitje staan. Ik heb een redelijk zuinige server draaien met daarop KinD geinstalleerd (Kubernetes in Docker). De basis is ubuntu server zonder GUI. In plaats van Python ben ik met Golang aan de slag gegaan, maar daar nog noet zo heel veel mee gebouwd.

Het eerste wat ik op de server heb draaien is een Plex server en Immich. Neem inderdaad niet te veel hooi op je vork want je verzuipt!

Wow, er zijn momenten dat ik echt snap dat je zonder gui kan werken maar ik vraag me af of ik op mijn 40e nog echt die knobbel ga ontwikkelen.

Ik stuur zo een update maar de LLM zelf installeren was zo ongeveer het makkelijkste uit de rij van dingen die ik zo onderhand gedaan heb.

[Mantus]

Het is inmiddels iets van 5-6 weken geleden dat ik met dit project begonnen ben en ik dacht hier toch even een update te geven.

Ik heb echt aardig wat avonden zitten werken samen met chatgpt en ik heb voor het eerst linux draaien met een file-share en mediaserver, containers draaien, llm geinstalleerd en interface voor gemaakt en TTS werkend. En voor zover ik chatgpt kan laten bedenken, zijn we redelijk voorbereid op uitbreiden. Ik ga echt versteld van hoeveel tijd het kost maar ook hoe ver ik kom.

Het is inmiddels zoveel dat ik chatgpt heb moeten vragen om een samenvatting te schrijven van alles wat we gedaan hebben. Leuk om hier te delen denk ik. Het is dus wel door chatgpt geschreven ook helaas.


*📘 Functionele Architectuurgids

(Compact, met software/stacks + gereedheidsstatus)**

1. Basisplatform — Het Fundament

Status: 🟢 Gereed

Wat deze laag doet

Draait het besturingssysteem
Beheert CPU, GPU, RAM en opslag
Verzorgt beveiliging (versleuteling + firewall)
Vormt de stabiele ondergrond voor alle hogere lagen

Waarom dit bestaat

Stabiliteit, veiligheid, voorspelbaarheid
Noodzakelijk voor containers, AI en monitoring

Software / Stack
Linux (moderne LTS-versie)
GPU-drivers (voor AI-acceleratie)
Firewall
Versleutelingssysteem (LUKS/LVM)

2. Containeromgeving — De Ruggengraat

Status: 🟢 Gereed

Wat deze laag doet

Start, stopt en beheert alle diensten
Isoleert processen zodat fouten geen impact hebben op andere delen
Maakt het geheel modulair en uitbreidbaar

Waarom dit bestaat

Veilige upgrades
Herhaalbare configuraties
Duidelijke structuur van de totale infrastructuur

Software / Stack
Docker
Docker Compose

3. Toegang & Netwerk — De Beveiligde Voordeur

Status: 🟢 Gereed

Wat deze laag doet

Verzorgt versleutelde toegang tot alle diensten
Centraliseert al het inkomende verkeer
Houdt interne zones gescheiden (AI, UI, monitoring, media)

Waarom dit bestaat

Veiligheid
Overzicht
Mogelijkheid om later externe toegang toe te voegen

Software / Stack
Reverse Proxy (Traefik)
TLS-certificering
Interne netwerken (container networking)

4. De AI-Kern — Het Brein van het Systeem

Status: 🟡 Gedeeltelijk gereed

4A. Geheugenlaag (Database)

Status: 🟢 Gereed

Wat het doet

Slaat voorkeuren, context, feiten en interactielogs op
Vormt het permanente geheugen van de AI

Software / Stack

Relationele database (PostgreSQL)

4B. Communicatielaag (Gateway)

Status: 🟢 Gereed

Wat het doet

Ontvangt vragen
Vraagt antwoorden op bij de AI
Logt alle interacties
Houdt statistieken bij

Software / Stack

FastAPI-gebaseerde API-gateway

4C. Denklaag (Modelruntime)

Status: 🟡 Functioneel, maar nog niet op niveau

Wat het doet

Draait taalmodellen op de GPU
Verwerkt prompts
Genereert antwoorden

Software / Stack
LLM-runtime (bijv. Ollama)
GPU-versnelling (CUDA/Torch)

5. Spraaklaag — De Stem van het Systeem

Status: 🟡 Gedeeltelijk gereed

Wat deze laag doet

Genereert audio van tekst (AI-stem)
Beschikt over een fallback die draait zonder GPU
Maakt gesproken antwoorden mogelijk

Waarom dit bestaat

Handsfree interactie
Natuurlijkere assistent

Software / Stack
GPU-TTS (bijv. XTTS-variant)
Fallback TTS (lokaal, offline)
Audioplayer

Niet gereed:

🔴 Spraakherkenning (STT)

🔴 Hotword-detectie

6. Gebruikersinterface — De Dagelijkse Toegangspoort

Status: 🟢 Gereed

Wat deze laag doet

Chatvenster met geschiedenis
Speelt audio af
Biedt instellingen voor spraaksnelheid, voice-modus, TTS
Detecteert automatisch of GPU-TTS of fallback beschikbaar is

Waarom dit bestaat

Direct bruikbare AI
Overzichtelijke, toegankelijke interactie

Software / Stack

Desktop UI (PyQt6 of vergelijkbare toolkit)
HTTP-client
Audio-outputmodule

7. Monitoring & Observability — Het Oog op het Systeem

Status: 🟢 Gereed

Wat deze laag doet

Meet CPU-, RAM-, GPU- en schijfgebruik
Houdt containerstatussen bij
Geeft dashboards met live inzichten
Detecteert problemen vroegtijdig

Waarom dit bestaat

Stabiliteit
Diagnose & debugging
Inzicht in performance

Software / Stack
Prometheus
Exporters (Node, GPU, Container)
Grafana (dashboards)

8. Contextlaag — Slimme Informatielaag

Status: 🟡 Gedeeltelijk: data wordt verzameld, nog niet door AI gebruikt

Wat deze laag doet

Verzamelt agenda's en contextdata
Structureren van activiteiten en tijdslijnen
Bereidt toekomstige automatisering voor

Waarom dit bestaat

Voor planning, routines en contextbewuste AI
Een assistent wordt pas slim met context

Software / Stack
Agenda-mirror
Context-parser
Indexing-formaat (JSON-structuren)

Niet gereed:

🔴 Integratie van context in AI-antwoordgeneratie

9. Back-uplaag — Veiligheid & Veerkracht

Status: 🟢 Gereed

Wat deze laag doet

Herkent automatisch externe opslag
Synchroniseert data
Logt en controleert elke back-up
Waarom dit bestaat
Bescherming tegen dataverlies
Waarborg voor stabiliteit op de lange termijn

Software / Stack

Automatische back-upservice (rsync-achtig systeem)
Detectiemodule (bij inpluggen van schijf)

Log-rotatie

10. Overkoepelende Systeemstatus
Laag Status
Basisplatform 🟢
Containeromgeving 🟢
Netwerk & Toegang 🟢
AI-Geheugenlaag 🟢
AI-Gateway 🟢
AI-Modelruntime 🟡 (modellen nog finetunen)
Spraak-TTS 🟡
Spraak-STT 🔴
Gebruikersinterface 🟢
Monitoring 🟢
Contextlaag (mirror) 🟡
Contextintegratie in AI 🔴
Back-upsysteem 🟢

[neeroeter]

Grappig, ik ben linux gebruiker sinds 2006. Windows is weg sinds 2020. Heb aardig wat hardware draaien, met Mint, Manjaro, en CachyOs. Heb jarenlang Arch gedraaid
Mijn "reis" door linux land is zo verschillend geweest dan die van @Mantus momenteel plaatsvindt. How times fly

[Yucon]

Ik begrijp trouwens dat 'hoog stroomverbruik' misschien wat abstract is. Dus om het in context te plaatsen: die computer verbruikt letterlijk meer energie dan het elektrische kacheltjes waar ik mijn zolderkamertje mee verwarm.

[Mantus]

Yucon schreef op zaterdag 29 november 2025 @ 08:59:
Ik begrijp trouwens dat 'hoog stroomverbruik' misschien wat abstract is. Dus om het in context te plaatsen: die computer verbruikt letterlijk meer energie dan het elektrische kacheltjes waar ik mijn zolderkamertje mee verwarm.

Oke dit is wel echt een statement ja, ik ga er eens echt induiken. Dankjewel. Nogmaals, ik heb een overschot aan zonnepanelen op mn dak maar dit triggert me wel om even wat dieper te kijken

[GeeEs]

Yucon schreef op zaterdag 29 november 2025 @ 08:59:
Ik begrijp trouwens dat 'hoog stroomverbruik' misschien wat abstract is. Dus om het in context te plaatsen: die computer verbruikt letterlijk meer energie dan het elektrische kacheltjes waar ik mijn zolderkamertje mee verwarm.

Dan kan je dat kacheltje dus uitzetten en is de computer de verwarming

Kacheltje van 1000 watt? 1800 watt? 500 watt?
Het zegt vrij weinig zonder daadwerkelijk verbruik natuurlijk.

[Yucon]

GeeEs schreef op zaterdag 29 november 2025 @ 14:52:
[...]


Dan kan je dat kacheltje dus uitzetten en is de computer de verwarming

Kacheltje van 1000 watt? 1800 watt? 500 watt?
Het zegt vrij weinig zonder daadwerkelijk verbruik natuurlijk.

Dat maakt op zich niet eens uit, want dat stond vast ook ergens bij de specs van de pc maar aan de reactie te zien zegt het aantal watts TS niets. Wat verder geen probleem is, ieder z'n specialiteit. Maar ik merk dat mensen 'het verbruikt veel stroom' vaak in hun hoofd vertalen naar 'ach, dan is het toch op jaarbasis de prijs van een paar pilsjes extra, wat maakt dat nou uit' en het naar iets dergelijks vertalen maakt het wat concreter. Even los van het zonnepanelenverhaal is dit namelijk toch echt wel meer dan een beetje.

Het kacheltje is trouwens 500 watt.

_{ik heb trouwens in de zomer zelden mijn verwarming aan. En als ik niet op zolder ben op andere jaargetijden ook niet}

[ Voor 6% gewijzigd door Yucon op 29-11-2025 15:53 ]

[jroumans]

leuk om te horen dat er nog mensen zijn die dit proberen

ik heb recent van een ex collega een klein pctje overgenomen (volgens de huidige standaard niet meer bruikbaar (I3 2de gen 8gb ram) wel allemaal in een kleine serverkast (Chenbro ES34069 ) dus leek me ook een leuk projectjewellich waar veel minder indrukwekkend als jou project en hetgeen jij al bereikt hebt. Ik ben begonnen met trueNas, immich en homeassistant en voor mij is de instap curve redelijk hoog (al een keer volledige herinstal uitgevoerd omdat ik alle perms gegeven had aan root en everyone (wat niet veilig is uiteraard) en nu met een aantal perms is het al een heel deel moeilijker omdat software toch meer perms vraagt ook al geef ik perm 999 aan de app en toch blijft die probs hebben met oauth dus ik ga wederom beginnen met compleet nieuwe datasets maar het is ene blijft een avontuurtje. ik hoop dat je er net zoals ik toch heel veel van opsteekt en vooral er ook plezier van hebt en denk eraan zolang je blijft proberen is het testen/expirimenteren enkel vanaf het moment dat je totaal opgeeft is het een mislukt project maar ik denk dat je hier veel expertise en hulp zal vinden.