Proton brengt privacyvriendelijke AI-chatbot Lumo uit

[Alfredo]

Artikel: nieuws: Proton brengt privacyvriendelijke AI-chatbot Lumo uit
Auteur: @AverageNL

De chatgesprekken worden daarnaast versleuteld en kunnen volgens Proton niet ingezien worden door derden, ook niet door Proton zelf.

Proton kan dat wel beweren maar er is 0 bewijs dat dit klopt. Als je kijkt naar de privacy policy staat er ze logs verwijderen. Dat is iets helemaal anders dan "Proton kan je berichten niet inzien".
Proton kiest er vandaag de dag misschien voor om je berichten niet te lezen maar dat dat technisch gezien onmogelijk is. En dat dat alsnog gebeurt als ze een gerechterlijk bevel krijgen bijvoorbeeld, of als iemand inbreekt op hun servers, of als een medewerker hun access policy niet volgt.
Dit is anders dan producten zoals Proton Mail en Calendar, die e2e encryption gebruiken en open source zijn. Geen van beide is hier van toepassing.

[AverageNL]

Alfredo schreef op woensdag 23 juli 2025 @ 19:40:
Artikel: nieuws: Proton brengt privacyvriendelijke AI-chatbot Lumo uit
Auteur: @AverageNL


[...]


Proton kan dat wel beweren maar er is 0 bewijs dat dit klopt. Als je kijkt naar de privacy policy staat er ze logs verwijderen. Dat is iets helemaal anders dan "Proton kan je berichten niet inzien".
Proton kiest er vandaag de dag misschien voor om je berichten niet te lezen maar dat dat technisch gezien onmogelijk is. En dat dat alsnog gebeurt als ze een gerechterlijk bevel krijgen bijvoorbeeld, of als iemand inbreekt op hun servers, of als een medewerker hun access policy niet volgt.
Dit is anders dan producten zoals Proton Mail en Calendar, die e2e encryption gebruiken en open source zijn. Geen van beide is hier van toepassing.

Lumo maakt gewoon gebruik van end-to-end-encryptie. Dat staat ook in de privacy policy die je aanhaalt

Zero-access encrypted chat history

Like other Proton services, encryption is the foundation of our security model. If you’re using Lumo with a Free or Plus plan, your chat histories are available to search and review later. They’re stored on your device and synced to Proton servers using zero-access encryption. Meaning only you can see your data by logging in to your Proton Account.

De term valt nog wat concreter in de aankondiging:

Ghost mode — If you’re logged in while using Lumo, your conversations are saved with end-to-end encryption in your chat history. But you can enable ghost mode and ensure your current chat disappears forever as soon as you close it.

In diezelfde aankondiging zeggen ze ook dat ze je chats daadwerkelijk niet kunnen inzien:

Your chats are stored using our battle-tested zero-access encryption, so even we can’t read them, similar to other Proton services such as Proton Mail, Proton Drive, and Proton Pass. Our encryption is open source and trusted by over 100 million people to secure their data.

Lumo is voor zover ik kan zien inderdaad (nog?) niet open source, dus je zult erop moeten vertrouwen, maar ze geven weldegelijk concreet aan dat je data niet ingezien kan worden door derden. Overigens is hun zero-access-encryptie ook wél open source.

[ Voor 24% gewijzigd door AverageNL op 23-07-2025 19:55 ]

[Alfredo]

Dat gaat enkel over de geschiedenis van je chats. Met andere woorden, nadat je met de LLM gegevens uitwisselt wordt die data versleuteld en lokaal op je toestel opgeslagen. Daar kan Proton inderdaad niet (meer) aan. Maar de chat zelf, op het moment dat die uitgevoerd wordt, is wel beschikbaar voor Proton. Daarom zeggen ze ook dat ze de logs verwijderen.

After Lumo processes your query and generates a response, the data is erased. [...] After each chat, your logs are erased.

En verder:

Lumo uses zero-access encryption for stored chat history and TLS encryption for data transmission. In addition, we asymmetrically encrypt your prompts so only the Lumo GPU servers are able to decrypt them.

Dus e2e versleuteld tussen welke partijen? De gebruiker en Lumo. Wie beheert de Lumo servers, en heeft dus de sleutel om berichten te ontcijferen? Proton...

Er is vast een policy waarbij medewerkers niet mogen inloggen op de server om real-time te kijken welke vragen je stelt. Maar dat is iets anders dan dat Proton nooit de mogelijkheid heeft om je chat te zien. Dit is pure access control.

[Alfredo]

@AverageNL Wordt dit nog aangepast?

[ Voor 5% gewijzigd door Alfredo op 30-07-2025 04:25 ]

[AverageNL]

Alfredo schreef op woensdag 30 juli 2025 @ 04:25:
@AverageNL Wordt dit nog aangepast?

Sorry, ik had je vorige toevoeging niet gezien! Ik heb de tekst voor nu alvast aangepast, en trek voor de zekerheid nog even onze privacy- en securityredacteur aan de mouw om even mee te kijken

[TijsZonderH]

Alfredo schreef op woensdag 23 juli 2025 @ 22:50:


Dus e2e versleuteld tussen welke partijen? De gebruiker en Lumo. Wie beheert de Lumo servers, en heeft dus de sleutel om berichten te ontcijferen? Proton...

Er is vast een policy waarbij medewerkers niet mogen inloggen op de server om real-time te kijken welke vragen je stelt. Maar dat is iets anders dan dat Proton nooit de mogelijkheid heeft om je chat te zien. Dit is pure access control.

Het verkeer met prompts is dus niet e2e versleuteld, maar asymmetrisch. Dat is dus wat anders dan e2e, maar dat betekent niet dat Proton zomaar de sleutel kan pakken en berichten kan uitlezen, dus dat het alleen maar access control is, is ook te kort door de bocht. Bovendien zijn de berichten zelf niet op de servers opgeslagen maar via zero-access-encryptie lokaal opgeslagen. Wat mij betreft is onze manier zoals we het nu schrijven daarom ook goed.

[Alfredo]

Bedankt AverageNL!

@TijsZonderH Mijn comment over e2e encryption was in reactie op "Lumo maakt gewoon gebruik van end-to-end-encryptie. Dat staat ook in de privacy policy die je aanhaalt." In dit geval is dat technisch gezien ook wel waar. Als ze public-private key encryption gebruiken zijn de berichten ook e2e versleuteld, maar de 2 partijen zijn hier de gebruiker en Proton, niet de gebruiker en de LLM. Omdat Proton de private key beheert hebben zij dus de mogelijkheid eender wat te doen met je prompt. Ze kiezen er misschien voor om geen SSH access te geven aan hun engineers, en de private key enkel beschikbaar te maken in machines die de LLM draaien. Maar dat zijn allemaal keuzes die ze ook kunnen veranderen.

Dat maakt het in mijn ogen access control. Of misschien meer accuraat, "trust me bro". Het is toch niet de eerste keer dat een bedrijf belooft geen logs te bewaren en dat toch doet? Zie bijvoorbeeld hier en hier. Het beste dat je dan kan schrijven is dat ze beloven niets met je data te doen, niet dat ze dat niet kunnen (wat wel aangepast is in het artikel, waarvoor dank). Want uiteraard kan Proton morgen beslissen je logs niet te verwijderen zonder dat enige gebruiker hier weet van heeft. Of toch een debug mogelijkheid toe te voegen zodat prompts die falen bekeken kunnen worden. Of voldoen aan een gerechtelijk bevel en de private key af te staan aan politie.

Er zijn overigens bedrijven die die claim wel kunnen maken: Edgeless Systems, Phala, Nillion, Apple, ... Al die bedrijven hebben 2 zaken gemeen: 1) ze draaien hun software in een Trusted Execution Environment. Buiten Apple is dat over het algemeen Intel TDX of AMD SEV-SNP in combinatie met een Nvidia H100 die werkt in Confidential Computing mode. En 2) de software is open source zodat gebruikers via remote attestation kunnen nagaan of de service die ze gebruiken identiek is aan de broncode. En zo kan je je verzekeren dat er effectief geen logs bijgehouden worden. Proton heeft op dit moment geen van beide. Hun claims over privacy zijn dan ook erg zwak op dit moment volgens mij.