Lokale AI te duur, is een proxy een oplossing?

[spaceboy]

N.a.v. het artikel op de frontpage over de Nvidia DGX Spark en lokale AI ben ik op zoek naar oplossingen voor mijn probleem. Ik doe veel met AI maar ik werk (zeker bedrijfsgerelateerd) met gevoelige data. Denk aan "bedrijfsnaam", "server X", "API key Y", enz. Hiervoor kún je een lokaal AI-iets gaan bouwen, of een (2ehands) setje GPU's, of een mooie Spark, of een M5 Max of wat dan ook. Al die dingen zijn duur en voelen voor mij suboptimaal (namelijk: nog net niet alle modellen, veel minder redenatiekracht dan bijv. de recente cloud-modellen van Claude, Gemini, etc.).

Nu zat ik te denken: mijn probleem is vooral gevoelige informatie. Kan ik hier geen proxy tussen gooien en op mijn NAS een mooie dockerized oplossing neerzetten die tussen mij en de LLM zit. Via regex of andere slimme dingen kan hij dan gevoelige data structureel transformeren. Bij de reactie vanuit de cloud mag de transformatie dan weer de andere kant op. Op die manier verlaat geen gevoelige data mijn huis en heb ik wel de goedkoopste oplossing om top class AI te gebruiken.

Twee vragen (waar ik ook mét AI niet helemaal lekker uit kom):

a) Bestaat zoiets kant en klaar en heeft iemand zoiets al draaien? (ik lees dingen als LiteLLM in combinatie met Microsoft Presidio en vet. Redis voor de mapping) Ik ben toch niet de eerste die dit bedenkt vermoed ik.

b) Zie ik dingen over het hoofd? Ik snap dat het inregelen van die proxy (regex-dingen enzo) cruciaal en superfoutgevoelig is. Ook kan het zijn dat als er teveel wordt gereplaced dat het LLM geen goede context kan bepalen.

[F_J_K]

Geen ervaring met een tussenlaag. Toch even meedenken over b):

Zijn dingen als bedrijfsnaam en servernaam voldoende vertrouwelijk om niet te willen sturen naar een dienstverlener waar je naar ik aanneem een overeenkomst incl verwerking- en geheimhoudingsafspraken over hebt? Keys en passwords wel, maar daar wil je nul risico lopen, ook niet met een LLM tussenlaag en zou je in je muscle memory moeten hebben dat die nooit worden gekopieerd. Al zouden die sowieso al nooit in code mogen zitten...

Ook: als je op de heenweg pseudonimiseert, zal je het in het antwoord weer moeten terugdraaien, anders heb je niet veel aan het antwoord. (En als het voor het antwoord niet nodig was, had je het uit de vraag weg kunnen laten).

[Stukfruit]

Proxy is een lapmiddel voor een probleem dat je imho op een ander niveau moet oplossen.

Een beetje voortbordurend op wat @F_J_K schreef: waar je voor "moet" zorgen is dat die gegevens helemaal niet in de tekst voor of uit een taalmodel terecht kunnen komen.

Dan kom je al snel bij het gebruik van tools zoals Vault van Hashicorp (of OpenBao, de geforkte vrije versie) of een simpeler alternatief.

De ene laag stuurt aan, de andere laag voert (zonder agents) uit. En vanwege het doorlussen kun je dat sowieso niet direct via een agent doen, tenzij deze een service aanstuurt die bovenstaande allemaal verbergt.

Of dat kant en klaar ergens te vinden is daar twijfel ik aan. Vast één of ander gevibecode project op GitHub van iemand die hetzelfde idee had maar de benodigde kennis voor architectuur etc. niet had en er daarom al maanden geen wijzigingen meer in heeft doorgevoerd, maar voor de rest staan dit soort dingen nog in de kinderschoenen...

Omdat je het over Presidio had neem ik trouwens aan dat het je doel is om met de structuur van de gegevens om te gaan en niet direct de gevoelige gegevens zelf die daarin te vinden zijn. Mocht het andersom bedoeld zijn dan heb ik het verkeerd begrepen

Als dat zo is zijn er meestal trouwens ook wel andere en simpelere oplossingen voor te bedenken die weinig met een taalmodel te maken hebben.

[CDP_Protocol]

*knip, geen puur AI-generated respons aub

[ Voor 95% gewijzigd door F_J_K op 11-06-2026 09:14 ]

[Ramon]

Een simpele oplossing zou misschien zijn om je gevoelige zaken in een password manager te zetten en deze met een cli in te lezen in je project? Ik denk dan bijvoorbeeld aan 1password of proton pass.

[spaceboy]

Ramon schreef op donderdag 11 juni 2026 @ 09:03:
Een simpele oplossing zou misschien zijn om je gevoelige zaken in een password manager te zetten en deze met een cli in te lezen in je project? Ik denk dan bijvoorbeeld aan 1password of proton pass.

Het gaat er mij meer om dat je met (agentic) AI hele krachtige dingen kunt doen (vulnerabilities zoeken / patches voorstellen) op basis van code repositories. Dat gaat prima als je het hebt over open source projecten of informatie die sowieso publiek beschikbaar is. Maar het gaat bij bedrijven natuurlijk veel vaker over proprietary materiaal. En áls het al lukt om hier een al dan niet stateless proxy tussen te gooien: als je teveel informatie anonimiseert is de context onvolledig voor een model om juiste conclusies te trekken. Als je te weinig data anonimiseert loop je het risico op het lekken van gevoelige gegevens. Daar zitten uiteraard 1000+ grijswaarden tussenin.

Zelf hosten van een model heeft 2 nadelen voor zover ik zie:
1. Je hebt nooit de beschikking over de meest krachtige / recente modellen van de grote jongens.
2. Je hebt een ontzettende bak geld en stroom nodig om in de buurt te komen bij iets wat de grote jongens leveren.

[GarBaGe]

Voor gevoelige informatie / agentic AI zou ik echt voor de lokale AI optie gaan.
Dat kan je gegarandeerd veilig houden tegen data lekken van gevoelige informatie.
een 2e hands RTX3090 met 24GB moet toch weg genoeg zijn?
En dat hoeft maar 1000 euro te kosten.