Lokale AI te duur, is een proxy een oplossing?

[spaceboy]

N.a.v. het artikel op de frontpage over de Nvidia DGX Spark en lokale AI ben ik op zoek naar oplossingen voor mijn probleem. Ik doe veel met AI maar ik werk (zeker bedrijfsgerelateerd) met gevoelige data. Denk aan "bedrijfsnaam", "server X", "API key Y", enz. Hiervoor kún je een lokaal AI-iets gaan bouwen, of een (2ehands) setje GPU's, of een mooie Spark, of een M5 Max of wat dan ook. Al die dingen zijn duur en voelen voor mij suboptimaal (namelijk: nog net niet alle modellen, veel minder redenatiekracht dan bijv. de recente cloud-modellen van Claude, Gemini, etc.).

Nu zat ik te denken: mijn probleem is vooral gevoelige informatie. Kan ik hier geen proxy tussen gooien en op mijn NAS een mooie dockerized oplossing neerzetten die tussen mij en de LLM zit. Via regex of andere slimme dingen kan hij dan gevoelige data structureel transformeren. Bij de reactie vanuit de cloud mag de transformatie dan weer de andere kant op. Op die manier verlaat geen gevoelige data mijn huis en heb ik wel de goedkoopste oplossing om top class AI te gebruiken.

Twee vragen (waar ik ook mét AI niet helemaal lekker uit kom):

a) Bestaat zoiets kant en klaar en heeft iemand zoiets al draaien? (ik lees dingen als LiteLLM in combinatie met Microsoft Presidio en vet. Redis voor de mapping) Ik ben toch niet de eerste die dit bedenkt vermoed ik.

b) Zie ik dingen over het hoofd? Ik snap dat het inregelen van die proxy (regex-dingen enzo) cruciaal en superfoutgevoelig is. Ook kan het zijn dat als er teveel wordt gereplaced dat het LLM geen goede context kan bepalen.

[F_J_K]

Geen ervaring met een tussenlaag. Toch even meedenken over b):

Zijn dingen als bedrijfsnaam en servernaam voldoende vertrouwelijk om niet te willen sturen naar een dienstverlener waar je naar ik aanneem een overeenkomst incl verwerking- en geheimhoudingsafspraken over hebt? Keys en passwords wel, maar daar wil je nul risico lopen, ook niet met een LLM tussenlaag en zou je in je muscle memory moeten hebben dat die nooit worden gekopieerd. Al zouden die sowieso al nooit in code mogen zitten...

Ook: als je op de heenweg pseudonimiseert, zal je het in het antwoord weer moeten terugdraaien, anders heb je niet veel aan het antwoord. (En als het voor het antwoord niet nodig was, had je het uit de vraag weg kunnen laten).