Nederlandse onderzoekers voeren patiëntendata aan ChatGPT?

[Sir.Bacon]

Beste medetweakers,

Ik stuitte op een recent artikel waarin Nederlandse onderzoekers patiëntendata aan ChatGPT hebben gevoerd: https://agsjournals.onlin...com/doi/10.1111/jgs.70415

Het gaat om een onderzoek waarbij de medicatiebeoordelingen van menselijke artsen zijn vergeleken met die van ChatGPT. Ik laat de namen van de auteurs en het specifieke ziekenhuis hier bewust buiten beschouwing; het gaat mij puur om de privacy-implicaties.

In het artikel valt o.a. het volgende te lezen:

A dedicated chatbot, named AI-pharmacist, was created using the custom GPT functionality of ChatGPT (OpenAI, GPT-4-Turbo model; paid “Plus” version, 2024).
...
For every new patient, a new chat was started, following an identical interaction structure with a standardized prompt containing patient's anonymized data. All chats were conducted on two consecutive days to ensure that ChatGPT (GPT-4-Turbo, paid “Plus” version, accessed April 4–5, 2024) and its defaults generation settings were not updated or altered in between sessions.
...
ChatGPT was given the exact same primary anonymized data of the patient that the HCPs initially used: demographics, health goals, and DRPs collected from the patient interview, reason of hospital admission, medical history, medication list, vitality, and laboratory results (if available). In addition, information could be present about life expectancy, frailty status, whether the patient lived alone or received home care, and marital status. All prompts and corresponding AI-generated outputs were exported and stored as text files on a secure institutional server, each labeled with a unique study identifier and timestamp to ensure consistency and auditability across all cases.
...
The study used data from a previously approved study (registration number WO 17.040), for which all patients had provided written informed consent. [NB: Het gaat hier om 51 kwetsbare oudere patiënten (65+) die inderdaad bij eerder onderzoek ook toestemming hadden gegeven voor het gebruik van hun gegevens in uiteenlopend vervolgonderzoek. Deze deelnemers waren echter geworven in 2017-2018, toen ChatGPT nog niet bestond.]

Als ik dit lees zie ik drie enorme rode vlaggen:
1. ChatGPT "Plus" en Amerikaanse servers
Er staat expliciet dat de "paid 'Plus' version" is gebruikt met de "defaults generation settings". Voor zover ik weet, is volledig geïsoleerde dataverwerking voorbehouden aan Enterprise-achtige licenties, toch?

2. Informed Consent
De deelnemers kunnen in 2017/2018 onmogelijk gerichte toestemming hebben gegeven voor het gebruik van hun data op deze manier (invoeren in een commerciële, cloud-gebaseerde LLM van een Amerikaanse techreus).

3. Anonimisering vs. Pseudonimisering
De onderzoekers spreken over de data die aan de LLM is gevoerd als zijnde anonymized. Maar een combinatie van exacte opnameredenen, een specifieke medicatielijst, labwaarden, leeftijd/demografie en de thuissituatie is in de praktijk toch een unieke 'klinische vingerafdruk'? Zelfs als je de naam en het BSN weghaalt, is dit volgens de definitie van de AVG toch overduidelijk gepseudonimiseerde data (en dus nog steeds bijzondere persoonsgegevens)?

Mijn vragen aan de privacy- en IT-experts hier:

1. Mis ik hier iets technisch of juridisch? Is het bijvoorbeeld aannemelijk dat men "Plus" schrijft, maar eigenlijk een beveiligde Enterprise-omgeving bedoelt?
2. Datalek: Als ik het goed interpreteer en bijzondere persoonsgegevens zonder DPA naar een Amerikaans techbedrijf zijn gestuurd, spreken we dan formeel van een datalek? Dit onafhankelijk van de vraag of de data uiteindelijk daadwerkelijk in de trainingsdata van OpenAI belandt.

[gambieter]

Als onderzoeker die veel met secundaire data werkt, kriebelt het behoorlijk. De ethische commissie lijkt zich er hier erg gemakzuchtig vanaf te hebben gemaakt, ik zou hier flink wat tegengas hebben gegeven. Ik vind dit geen informed consent.

Uberhaupt zou een dergelijke "umbrella consent" niet eens meer mogen, dat was ons al duidelijk gemaakt toen ik 20 jaar terug op een UMC werkte.

En ik mag toch hopen dat ze geen openbare chatGPT hebben gebruikt, dan mogen de onderzoekers wmb in een kanon worden geladen. Dat zou heel onverantwoordelijk zijn.