SyRI, waar zit het echte probleem?

[MicroWhale]

Naar aanleiding van de rechtszaak omtrent SyRI. Er is veel om te doen in de media, maar wat is het nu eigenlijk en waarom is er zoveel ophef over?

Op basis van het artikel van Tijs wilde ik toch wat verder in de materie duiken om uit te zoeken waar nu de schoen wringt bij dit soort trajecten.

Bronnen:

1. PDF met uitleg over het gebruik van SyRI in opsporingsprocessen
2. Wettelijke basis om gegevens te verstrekken voor onderzoeken waarin SyRI gebruikt wordt.

Wat in bron 1 naar voren komt is het volgende proces (vanaf pagina 102):

1. Risicomodel met Indicatoren worden opgesteld door de opspoorders
2. Onderzoek wordt goedgekeurd door Minister SZW
3. Gegevens worden opgevraagd bij de betreffende instanties
4. Gegevens worden gepseudonimiseerd
5. (Er ontstaan twee bestanden: een versleuteld bestand met de gegevens en een bestand met de werkelijke gegevens zodat e.e.a. ontsleuteld kan worden mocht dat nodig zijn)
6. Vergelijking (en signalering) vindt plaats in SyRI met het versleutelde bestand
7. Alleen gegevens die duiden op een verhoogd risico worden ontsleuteld en doorgegeven aan analysten.
8. Binnen vier weken worden de geleverde bestanden en de bewerkte bestanden, inclusief de ‘no-hits’, vernietigd.
9. De analisten bepalen of de personen met verhoogd risico een risicomelding* moet worden gegeven
10. Risicomeldingen worden opgenomen in een register
11. Risicomeldingen worden verwijderd maximaal 2 jaar na het onderzoek of opgenomen in een register

^{*Een risicomelding houdt in dat de betreffende instantie een signaal krijgt om de persoon een maatregel op te leggen (boete, opschorting, etc...)}

Niet één dataset
Uit deze procedure kun je afleiden dat voor elk onderzoek een unieke dataset gemaakt wordt en er niet één grote dataset is waarop geanalyseerd wordt. Daarnaast zijn alle gegevens, zolang ze in SyRI zitten, anoniem. Dat is een voordeel, want er is niet één grote bak data waarin alle instanties naar behoeve kunnen lopen grutten.
Dat kan ook een nadeel zijn, want er zijn 160 projecten gedraaid (pagina 106). Vraag: Zijn voor alle 160 projecten binnen 4 weken de bestanden verwijderd? Vraag: Hoeveel van de risicosignaleringen die gedaan zijn staan er nog open?

SyRI of toch mensenwerk?
Zoals het proces is ingestoken lijkt het me onwaarschijnlijk dat binnen het systeem SyRI zelf een privacy probleem ontstaat. Het grootste risico hierop treedt in stap 1 en 8 op.

In stap 1 wordt het risicomodel bepaald:

Het risicomodel is een model dat bestaat uit vooraf bepaalde indicatoren die duiden op een verhoogd risico van fraude en misbruik. Bij het ontwerp van het risicomodel beschrijft de Inspectie szw voor welke specifieke fraudevorm het instrument Syri wordt ingezet en onderbouwt gemotiveerd welke gegevens daartoe bij
elkaar worden gebracht.

Het lijkt erop (als iemand dat kan bevestigen met bron, graag) dat hier door de opspoorders telkens een specifieke doelgroep gekozen wordt (in de pers wordt vaak die op basis van geografie genoemd: een wijk). Dit heeft niks met het systeem SyRI zelf te maken, maar wel met het proces dat er omheen hangt. Mensenwerk dus.

Vraag: Mag een onderzoeksteam herhaaldelijk op basis van dezelfde specifieke indicatoren (zoals: een wijk) onderzoek doen naar dezelfde soort fraude.
Hier ontstaat voor de overheid een ethisch dilemma: Je wilt discrimineren, omdat je anders nooit je fraudeurs vindt. Maar je mag volgens de wet als het gaat om personen niet discrimineren. Het is volgens mij erg moeilijk om hier een goed beleid voor op te stellen.
Misschien zou je de bewijslast om moeten draaien (om het doel de middelen te laten heiligen): Zolang een risicomodel een goed percentage 'hits' / 'fraudeurs' oplevert (bijv. 80% van de hits moet fraudeur blijken) dan is je risicomodel goed en mag je er mee doorwerken.
Dit is een risico op zich want er kunnen foute statistieken uit voortkomen en ook stereotypen. Conclusies zoals: "Alle fraudeurs zijn allochtoon" kan je dan trekken, puur omdat je je indicatoren zo gekozen hebt dat ze allochtonen benaderen. Pijnlijk.

Als het systeem echt zo goed is als dat ze zeggen dat het is, stop er maar een hele stad in (of heel NL) en kijk wat er dan uit komt!
Waarschijnlijk lukt dat dus niet, omdat je dan statistisch gezien in de knoop komt met je indicatoren. Je krijgt veel valse positieven omdat de bandbreedte te groot is. Kortom je moet dus wel discrimineren. Vraag: Hoe discrimineer je op een dataset met personen zonder te discrimineren maar waar je toch de gewenste resultaten uit kan halen? Kan dat überhaupt wel?

In stap 8 wordt de analyse gedaan.
De uitwerking van deze stap staat nergens beschreven. Dit laat veel onbekend over wat er met de niet-gepseudonimiseerde data (de persoonsgegevens van de personen met verhoogd risico) gedaan wordt.
Vraag: Hoe vindt die analyse plaats? Hoe worden die gegevens gebruikt? Door wie kunnen ze worden ingezien?

Tijs zei in één van zijn reacties bij het artikel dat er ook persoonsgegevens van buren opgevraagd werden. Vraag: Is dat zo? Uit welke bron komt dat? Heeft iemand een bron?

Als de bewering van Tijs waar is, dan is dat een inbreuk op de privacy, want de overheid mag bij opsporing niet zonder goede reden (je moet verdacht zijn) je persoonsgegevens opvragen. En de buurman zijn van een potentiële fraudeur valt niet onder 'verdacht zijn'. Dat mag dus niet. Maar ook hier geldt: Dit valt buiten het systeem SyRI, want dat is het werk van het opsporingsteam.

Daarnaast: Waarom wordt er zo geheim gedaan over de algoritmes van SyRI? Zijn die algoritmes wel zo state-of-the-art, of is het gewoon een data-expert die een aantal bestanden op een slimme manier aan elkaar koppelt en de resultaten terugkoppelt (daar lijkt het imo wel op)?

Mocht je mee willen discussiëren, helpen bovenstaande vragen te beantwoorden of heb je vragen die je graag wilt stellen of heb je nieuwe interessante bronnen, gooi het hieronder neer.

[Virtuozzo]

Zie de documentaire in de link. Privacy is niet het probleem, het is het gebruik van restdata en voorspellingsmodellen. Sturingsmodel versus democratie.

Virtuozzo in "[ZT] President Trump en de Amerikaanse politiek deel 2"

[MicroWhale]

Virtuozzo schreef op woensdag 30 oktober 2019 @ 12:37:
Zie de documentaire in de link. Privacy is niet het probleem, het is het gebruik van restdata en voorspellingsmodellen. Sturingsmodel versus democratie.

Virtuozzo in "[ZT] President Trump en de Amerikaanse politiek deel 2"

Je haalt hier twee wezenlijk verschillende dingen door elkaar: Data die wij vrijwillig aan techbedrijven geven en data die de overheid bijhoudt om onze wettelijke rechten en plichten mee te (be)sturen.

De registers die onze overheidsinstanties bijhouden zijn dus geen 'restdata'.

Zoals je in de OP en in de gelinkte documentatie kan lezen wordt er niet constant verzameld. Dat is misschien jouw beeld, maar dat is niet hoe het werkelijk gaat. Wellicht wordt door de media het beeld gewekt dat de overheid al jouw data altijd overal ingezien kan worden. En ook te pas en te onpas overal voor kan gebruiken.

Dat is (in Nederland) niet zo.

[Verwijderd]

De discussie gaat niet primair om privacy, maar om het onvermogen van dit systeem om te redeneren. Het kan enkel verbanden leggen, geen causale relaties. Daardoor ontstaat al gemakkelijk een onrechtvaardige en rechtsongelijke situatie.

Persoonlijk vind ik de reactie over dit soort systemen door @CAPSLOCK2000 erg sterk:
https://tweakers.net/reacties/bekijk/13608640/

En dan kan ik gelijk een van m’n eigen comments pluggen:
https://tweakers.net/reacties/bekijk/13607916/

Het regelmatig afwijzen van een beslissing door een automatisch systeem is lastig. De meeste mensen denken dat de computer goed werk levert en zullen daar dus vanuit gaan.

Zolang een risicomodel een goed percentage 'hits' / 'fraudeurs' oplevert (bijv. 80% van de hits moet fraudeur blijken) dan is je risicomodel goed en mag je er mee doorwerken.

Ik snap dat het een voorbeeldgetal is, maar 80% vind ik zelf erg onrealistisch. Je gaat er dan overigens ook nog bij 100 mensen in 20 gevallen onterecht vanuit dat er mogelijk sprake is van fraude. Dat is erg veel. Stel je eens voor dat de politie met een flitspaal 20% fout-positieven zou detecteren. Je kan altijd in beroep gaan natuurlijk.

Het aantal “hits” zegt niks over de totale populatie die je moet screenen. Dat aantal is waarschijnlijk een zeer grote veelvoud van het uiteindelijke absolute aantal veroordeelde fraudeurs.

Waarom wordt er zo geheim gedaan over de algoritmes van SyRI? Zijn die algoritmes wel zo state-of-the-art, of is het gewoon een data-expert die een aantal bestanden op een slimme manier aan elkaar koppelt en de resultaten terugkoppelt (daar lijkt het imo wel op)?

Als we de redenering van de landsadvocaat volgen, omdat anders het systeem kan worden omzeild en daarmee minder effectief zou worden. Of het een erg sterk argument is om daarom de gebruikte algoritmes geheim te houden, blijkt neem ik aan bij de uitspraak van de rechters op 29 januari 2020.

[YakuzA]

MrWilliams schreef op woensdag 30 oktober 2019 @ 12:12:
Naar aanleiding van de rechtszaak omtrent SyRI. Er is veel om te doen in de media, maar wat is het nu eigenlijk en waarom is er zoveel ophef over?

Uit de OP is niet op te maken wat SyRI eigenlijk is, en heb het ook in de media nooit langs zien komen, laat staan ophef erover?
(als ik erop zoek bij nu.nl vind ik 1 artikel? nos doet het iets beter met 2 a 4?)
https://www.nu.nl/zoeken?q=syri&page=1
https://nos.nl/zoeken/?q=syri

Vraag: Mag een onderzoeksteam herhaaldelijk op basis van dezelfde specifieke indicatoren (zoals: een wijk) onderzoek doen naar dezelfde soort fraude.
Hier ontstaat voor de overheid een ethisch dilemma: Je wilt discrimineren, omdat je anders nooit je fraudeurs vindt. Maar je mag volgens de wet als het gaat om personen niet discrimineren. Het is volgens mij erg moeilijk om hier een goed beleid voor op te stellen.

Discrimineren is iets anders dan profileren.

[ Voor 3% gewijzigd door YakuzA op 30-10-2019 17:26 ]

[incaz]

MrWilliams schreef op woensdag 30 oktober 2019 @ 12:12:
Vraag: Mag een onderzoeksteam herhaaldelijk op basis van dezelfde specifieke indicatoren (zoals: een wijk) onderzoek doen naar dezelfde soort fraude.
Hier ontstaat voor de overheid een ethisch dilemma: Je wilt discrimineren, omdat je anders nooit je fraudeurs vindt.

Hier ontstaat niet echt een ethisch dilemma trouwens. En als je het over dergelijke dilemma's zou willen hebben, dan ligt de problematische keuze al veel eerder. De meeste fraude vindt bv helemaal niet plaats op het terrein van uitkeringen / toeslagen. Dit plaatje is bekend neem ik aan?

(Plaatje is al een paar jaar oud, maar beeld is niet rigoreus veranderd.)

Wat heel vervelend is, is dat het het idee dat je als burger op de overheid kunt rekenen wordt afgebroken. Nu al zijn er veel mensen die geen huur- of kinderopvangtoeslag durven aan te vragen, uit angst om er door in de problemen te komen. Ze nemen liever de armoede of geen kinderopvang, dan de onzekerheid en het risico om verstrikt te raken in de systemen. Steeds schuift de lat een stukje op, komt de nadruk meer te liggen op een vijandige houding van overheid naar burgers (en een wantrouwende vanuit burgers naar overheid) in plaats van een van betrouwbaarheid en rechtmatigheid.
Zeer schadelijk.
SyRI is daar maar een deel van (dus als Syri inderdaad onrechtmatig bevonden wordt, is het ook nog maar een deel van de strijd en blijft er nog heel veel over.)

[Ivysaur]

Naja, de NL overheid is gegaan van een nachtwakersstaat > rechtstaat > verzorgingsstaat > participatiestaat. Waar dat laatste ivm technologische ontwikkelingen, 9/11, terrorisme enzovoort de overheid zover heeft kunnen krijgen dat zelfs de inwoners van de Nederlandse natie verworden tot criminele. ''Je bent schuldig tot je onschuld is bewezen.' Met die zin ziet de overheid zich geneigd om dit soort praktijken over de bevolking heen te gooien. Lekker slepen.

[ Voor 14% gewijzigd door Ivysaur op 30-10-2019 18:41 ]

[TheBrut3]

Verwijderd schreef op woensdag 30 oktober 2019 @ 17:02:
Ik snap dat het een voorbeeldgetal is, maar 80% vind ik zelf erg onrealistisch. Je gaat er dan overigens ook nog bij 100 mensen in 20 gevallen onterecht vanuit dat er mogelijk sprake is van fraude. Dat is erg veel. Stel je eens voor dat de politie met een flitspaal 20% fout-positieven zou detecteren. Je kan altijd in beroep gaan natuurlijk.

Verschil met de flitspaal is dat boetes automatisch doorgaan en op de mat komen als iemand wordt geflitst. Als SyRI een hit geeft wordt er nog verder ingezoomd door het onderzoeksteam. Zover ik begrijp dan.

[MicroWhale]

Verwijderd schreef op woensdag 30 oktober 2019 @ 17:02:
De discussie gaat niet primair om privacy, maar om het onvermogen van dit systeem om te redeneren. Het kan enkel verbanden leggen, geen causale relaties. Daardoor ontstaat al gemakkelijk een onrechtvaardige en rechtsongelijke situatie.

Persoonlijk vind ik de reactie over dit soort systemen door @CAPSLOCK2000 erg sterk:
https://tweakers.net/reacties/bekijk/13608640/

[..]

Ik heb even de rest weggeknipt. Niet omdat het minder belangrijk is, maar omdat deze reactie de kern van het probleem aanstipt. Hoe weet CAPSLOCK2000 dat het een AI systeem is dat correlaties ontdekt?

Zoals @YakuzA ook al schrijft: We weten niks over het systeem maar we roepen er allemaal wat over.

Als ik een gok zou moeten doen:
Wat we weten is dat een groep opspoorders een aantal criteria (de risicoindicatoren uit het document) bepaalt, waaraan een 'interessant persoon' moet voldoen (Bijvoorbeeld: inkomen tussen x en y, heeft in jaar-5 tot nu een ww-uitkering gehad, heeft nu uitkering Y, heeft kinderen, etc...).
SyRI is voor mij dus niet meer dan een matching machine die registers uit overheidsinstanties gebruikt. Een paar simpele AND en OR. Gooi die over het 'bestand' heen en je bent er. Als je de data maar hebt.
Het unieke zit dus in het samenbrengen, niet in het algoritme: Voor bovenstaande criteria heb je namelijk gegevens nodig uit 3-4 verschillende overheidsinstanties en nog een paar standaardregisters, en die krijg je zonder een systeem als SyRI en in OP genoemde wet niet bij elkaar.

@incaz Als je puur afgaat op waar het meeste geld te halen valt, heb je volkomen gelijk. Daarom staat in het document ook netjes dat men dit niet doet om 'geld binnen te harken', maar om...

Pagina 102, H6.2:

Volgens het kabinet is sprake van een dringende maatschappelijke behoefte, ook wel pressing social need genoemd, om deze maatregelen door te voeren. Te weten de in 2011 vastgestelde 153 miljoen sociale
zekerheidsfraude als gevolg van misbruik en misstanden beperken, zodat het maatschappelijk draagvlak voor de sociale zekerheid behouden bleef.

Wat kunnen ze het toch mooi inpakken.

Anders gezegd: Het geld wat onrechtmatig verdwijnt uit het potje van SZ, zet de publieke opinie over sociale zekerheid onder druk. Zou je willen dat het vangnet verdwijnt omdat de publieke opinie over sociale zekerheid omslaat naar: "Er verdwijnt zoveel geld in uitkeringsfraude, schaf maar af"?

[incaz]

MrWilliams schreef op woensdag 30 oktober 2019 @ 20:29:
Wat kunnen ze het toch mooi inpakken.

Anders gezegd: Het geld wat onrechtmatig verdwijnt uit het potje van SZ, zet de publieke opinie over sociale zekerheid onder druk.

Dat is inderdaad het spel wat gespeeld wordt. Wat de sociale zekerheid daadwerkelijk onder druk zet is het herhalen dat het onder druk staat, ophef kan gecreeerd worden en wordt gecreeerd, maatschappelijke behoefte is een maatschappelijke behoefte nadat de verontwaardiging zorgvuldig is gefilterd om vooral tegen elkaar uitgespeeld te worden en niet richting de vormen van fraude die dichter bij de politiek komen...

En zo gaat het steeds. De solidariteit wordt uitgehold, omdat er steeds wordt gezegd dat we een deel van de solidariteit moeten inleveren om Solidariteit te behouden. De toegankelijkheid van zorg wordt verminderd om de Toegankelijkheid te behouden. We leveren de praktijk in om te doen alsof we de illusie van de waarde in stand houden, terwijl het juist gebruikt wordt om die waarde kapot te maken.

Bijzonder naar.

[Verwijderd]

MrWilliams schreef op woensdag 30 oktober 2019 @ 20:29:
Wat we weten is dat een groep opspoorders een aantal criteria (de risicoindicatoren uit het document) bepaalt, waaraan een 'interessant persoon' moet voldoen

En hoe komen ze aan die criteria denk je? Door te gokken? Of op basis van hun jarenlange ervaring?

Dat is dus het hele probleem: het idee dat je fraudeurs kunt “karakteriseren” op basis van historische data. Of het nou geautomatiseerd gebeurt of niet.

SyRI is voor mij dus niet meer dan een matching machine die registers uit overheidsinstanties gebruikt. Een paar simpele AND en OR. Gooi die over het 'bestand' heen en je bent er.

Het zit hem natuurlijk vooral in het risicomodel. Wat gebeurt daar? Welke indicatoren worden ingevoerd en waarom? En dat is dus “geheim”.

[TheBrut3]

MrWilliams schreef op woensdag 30 oktober 2019 @ 20:29:
Hoe weet CAPSLOCK2000 dat het een AI systeem is dat correlaties ontdekt?

Zoals @YakuzA ook al schrijft: We weten niks over het systeem maar we roepen er allemaal wat over.

Want het kan natuurlijk niet zo zijn dat er Tweakerts zijn welke dieper in bepaalde materie zitten en/of bij een overheidsinstantie werken? Beetje naïef om te denken dat niemand kennis heeft van dergelijke overheidsmaterie. Nooit bedacht dat er hier mensen zitten die veel weten maar nauwelijks iets loslaten omdat ze dat niet willen of überhaupt mogen?

[MewBie]

Verwijderd schreef op woensdag 30 oktober 2019 @ 17:02:
[...]
Als we de redenering van de landsadvocaat volgen, omdat anders het systeem kan worden omzeild en daarmee minder effectief zou worden. Of het een erg sterk argument is om daarom de gebruikte algoritmes geheim te houden, blijkt neem ik aan bij de uitspraak van de rechters op 29 januari 2020.

Waarschijnlijk is het gewoon een machine learning algoritme, er is dus niemand die weet waarom het algoritme de resultaten geeft die het doet.

En daarom zal het algoritme geheim zijn, ze weten het zelf ook niet.

En de dataset die gebruikt wordt voor training van het algoritme willen ze natuurlijk ook iedereen uit weg houden want die zal wel vol bias zitten.

[ Voor 9% gewijzigd door MewBie op 31-10-2019 08:43 ]

[Verwijderd]

TheBrut3 schreef op woensdag 30 oktober 2019 @ 20:24:
Verschil met de flitspaal is dat boetes automatisch doorgaan en op de mat komen als iemand wordt geflitst. Als SyRI een hit geeft wordt er nog verder ingezoomd door het onderzoeksteam. Zover ik begrijp dan.

Ik haal deze er nog even tussenuit, want ik heb je opmerking over het hoofd gezien. Je citeert dit voorbeeld wel, maar gaat voorbij aan de argumentatie daarboven.

Het “menselijke controle” argument klinkt heel overtuigend, maar is in mijn ogen een vorm van sofisme. Het gaat namelijk voorbij aan mogelijke gedragseffecten van mensen in een groep.

Ten eerste zijn mensen slecht in staat om een computer systematisch te overrulen, o.a. door conformisme of het “Asch effect” (zie ^* onderaan).

Voorbeeld: als de meeste van je collega’s een fout-positief score van 20% halen, ben je geneigd om er zelf ook veel aan te doen om een fout-positief score van 20% te halen. Een afwijkend percentage (zelfs in de goede richting) maakt jou namelijk afwijkend. De meeste mensen zullen uiteraard beweren dat ze niet vatbaar zijn voor dit fenomeen.

Ten tweede zijn mensen door anchoring bias intrinsiek slecht in staat om een bestaand idee of overtuiging los te laten, en staan daardoor minder open voor informatie die het tegendeel bewijst. Het is de klassieke “tunnelvisie”.

Voorbeeld: als de meeste bewezen fraudeurs een laag waterverbruik hadden in hun woning, is het waarschijnlijk dat een automatisch gepresenteerde casus met een laag waterverbruik door een onderzoeker wordt geselecteerd voor nadere inspectie, zelfs als de meeste andere gegevens fraude onwaarschijnlijk maken.

Bovenstaande maken een fraude-onderzoeker een stuk feilbaarder (hoewel ook menselijker), maar dat is niet wat de meeste mensen willen horen. Dat is overigens weer een vorm van cognitieve bias op zichzelf.

————
^*<sub>Psycholoog Solomon Asch toonde sociale conformiteit aan door een aantal lijnen te tekenen op papier:

1 ——-
2 ——
3 ———

R ——-

Een proefpersoon bevond zich onwetend tussen een groep acteurs, die zich voordeden als proefpersonen. De acteurs hielden consequent vol dat de lengte van lijn R het meeste overeen kwam met 2. Zelfs als mensen zien dat lijn 2 onjuist is, gaan ze uit sociaal gedrag ook beweren dat lijn 2 het juiste antwoord is, om te voorkomen dat ze afwijken van de groep. Dit experiment heeft raakvlakken met de authoriteits-experimenten van Stanley Milgram.</sub>

[IJzerlijm]

Verwijderd schreef op donderdag 31 oktober 2019 @ 09:12:
[...]
^*<sub>Psycholoog Solomon Asch toonde sociale conformiteit aan door een aantal lijnen te tekenen op papier:

1 ——-
2 ——
3 ———

R ——-

Een proefpersoon bevond zich onwetend tussen een groep acteurs, die zich voordeden als proefpersonen. De acteurs hielden consequent vol dat de lengte van lijn R het meeste overeen kwam met 2. Zelfs als mensen zien dat lijn 2 onjuist is, gaan ze uit sociaal gedrag ook beweren dat lijn 2 het juiste antwoord is, om te voorkomen dat ze afwijken van de groep. Dit experiment heeft raakvlakken met de authoriteits-experimenten van Stanley Milgram.</sub>

Hier zou een computer die de pixels telt en als cijfer er achter zet een grote verbetering in de kwaliteit zijn en dit probleem oplossen.

[Verwijderd]

IJzerlijm schreef op donderdag 31 oktober 2019 @ 09:37:
Hier zou een computer die de pixels telt en als cijfer er achter zet een grote verbetering in de kwaliteit zijn en dit probleem oplossen.

En wat zou jij doen als de computer en je collega’s consequent beweren dat lijn 2 het goede antwoord is?

De selectie door een computer maakt bias zoals sociale conformiteit en anchoring niet minder sterk. Meegaan met de computer is gemakkelijk. Het gaat er nu juist om dat je als mens moet zeggen dat de computer het niet juist heeft, en dat is veel moeilijker.

[incaz]

Dit artikel is ook zeer relevant: https://www.trouw.nl/poli...achine-geworden~b0d70c4b/
(Gesprek met Reinier van Zutphen, ombudsman)

[YakuzA]

TheBrut3 schreef op woensdag 30 oktober 2019 @ 20:24:
[...]

Verschil met de flitspaal is dat boetes automatisch doorgaan en op de mat komen als iemand wordt geflitst. Als SyRI een hit geeft wordt er nog verder ingezoomd door het onderzoeksteam. Zover ik begrijp dan.

Zoals ook bij de eScreening van het wapenbezit is gebleken, dit gebeurt niet.

"Het Systeem" signaleert dat die persoon mogelijk gevaarlijk is en de agenten staan klaar om op bezoek te gaan.
De false positives van dat systeem bewijzen al dat je redenatie wel op zou moeten gaan, maar in de praktijk toch niet gebeurt. Want "Het Systeem" heeft het werk al gedaan, en wie ben je als ambtenaar om daar aan te twijfelen?

[Brent]

MrWilliams schreef op woensdag 30 oktober 2019 @ 14:22:
[...]

Zoals je in de OP en in de gelinkte documentatie kan lezen wordt er niet constant verzameld. Dat is misschien jouw beeld, maar dat is niet hoe het werkelijk gaat. Wellicht wordt door de media het beeld gewekt dat de overheid al jouw data altijd overal ingezien kan worden. En ook te pas en te onpas overal voor kan gebruiken.

Ik kan je verzekeren dat jouw beeld niet klopt. Tenminste twee overheidsinstanties proppen ook social media dumps in hun analyses, of zijn daarmee bezig. De Belastingdienst kwam een paar jaar terug nog negatief in het nieuws met de afwezige veiligheidsmaatregelen in hun nieuwe datalab aan de Zuid-As.

Voor het statistieke klootjesvolk (zij die zulke systemen bouwen) is het belangrijk de parabel van de stippenkaart in gedachten te houden: de afstand tussen data en misbruik blijkt altijd weer kleiner dan hij lijkt.

[IJzerlijm]

Verwijderd schreef op donderdag 31 oktober 2019 @ 09:53:
[...]


En wat zou jij doen als de computer en je collega’s consequent beweren dat lijn 2 het goede antwoord is?

Dan heb ik cijfers die bewijzen dat ze fout zijn.

1: 59 pixels
2: 51 pixels
3: 62 pixels
R: 60 pixels

Zelfs de meeste getalenteerde psycholoog zal een stuk meer moeite hebben om een proefpersoon zo ver te krijgen om mee te gaan in de bewering dat R het dichtst bij 2 zit.
Als dezelfde psycholoog ook de cijfers fout neerzet dan kom je wel weer bij conformisme uit.

Maar dit soort experimenten werken alleen zo goed als iedereen een van tevoren vastgelegd script ter misleiding volgen en de proefpersoon als laatste is.

[Brent]

incaz schreef op donderdag 31 oktober 2019 @ 10:05:
Dit artikel is ook zeer relevant: https://www.trouw.nl/poli...achine-geworden~b0d70c4b/
(Gesprek met Reinier van Zutphen, ombudsman)

Zelfredzaamheid heeft er zoals van Zutphen nogal voorzichtig aanstipt ook niets meer mee te maken. Met een machine zonder menselijke bestuurder is het enige dat een zelfredzaam iemand kan doen zich uit de voeten maken. Dat is geen omgang met het systeem, maar het vermijden ervan, iets dat zo'n beetje de definitie van privilege is.

Het hele idee dat zo'n systeem wenselijk is, dat we ons denken kunnen uitbesteden, verantwoordelijkheid kunnen uitbesteden, dat is de denkfout dit zo makkelijk gemaakt wordt. Onze samenleving moet geen machinaal systeem worden. We kunnen machines gebruiken, maar machines tussen mensen inzetten is alleen maar een tool om te segregeren.

[Indoubt]

Verwijderd schreef op donderdag 31 oktober 2019 @ 09:53:
[...]


En wat zou jij doen als de computer en je collega’s consequent beweren dat lijn 2 het goede antwoord is?

De selectie door een computer maakt bias zoals sociale conformiteit en anchoring niet minder sterk. Meegaan met de computer is gemakkelijk. Het gaat er nu juist om dat je als mens moet zeggen dat de computer het niet juist heeft, en dat is veel moeilijker.

Ik denk dat je hier een behoorlijk significant probleem te pakken hebt. Omdat de desbetreffende ambtenaren niet precies weten wat de computer doet zal men het risico niet willen lopen om daar tegenin te gaan. Het stempeltje is geplakt.

Misschien dat het dan alsnog bewezen moet worden maar die digitale stempelinkt gaat niet gemakkelijk weg

[Verwijderd]

IJzerlijm schreef op donderdag 31 oktober 2019 @ 10:36:
Maar dit soort experimenten werken alleen zo goed als iedereen een van tevoren vastgelegd script ter misleiding volgen en de proefpersoon als laatste is.

Kan ik concluderen dat je niet gelooft in het bestaan van conformisme of anchoring? Je bent zo te lezen erg competent op dit gebied

Er is genoeg kritiek te leveren op de studies, en als je wilt kun je de beschreven effecten daarmee ontkennen. Dat geldt voor vele fenomenen uiteraard. Dat jij de persoonlijkheid bent zonder tunnelvisie en conformisme (als ze al bestaan volgens jouw) is fijn om te weten. Helaas bestaat de wereld niet uit klonen van @IJzerlijm en worden in een fraude-onderzoek hopelijk niet de lengte van lijntjes beoordeeld.

[TheBrut3]

Verwijderd schreef op donderdag 31 oktober 2019 @ 09:12:
Ik haal deze er nog even tussenuit, want ik heb je opmerking over het hoofd gezien. Je citeert dit voorbeeld wel, maar gaat voorbij aan de argumentatie daarboven.

Het “menselijke controle” argument klinkt heel overtuigend, maar is in mijn ogen een vorm van sofisme. Het gaat namelijk voorbij aan mogelijke gedragseffecten van mensen in een groep.

YakuzA schreef op donderdag 31 oktober 2019 @ 10:12:
De false positives van dat systeem bewijzen al dat je redenatie wel op zou moeten gaan, maar in de praktijk toch niet gebeurt. Want "Het Systeem" heeft het werk al gedaan, en wie ben je als ambtenaar om daar aan te twijfelen?

Het systeem geeft toch enkel personen aan met een potentieel risico?
Dan is de zet aan analisten om dit risico "te bevestigen" en daar ben ik het eens met jullie; Gaan deze het systeem tegenspreken?
Daarna is het nog aan de verantwoordelijke instantie/controleurs om het papierwerk te controleren en de daadwerkelijke overtreding te constateren, indien aanwezig.

YakuzA schreef op donderdag 31 oktober 2019 @ 10:12:
Zoals ook bij de eScreening van het wapenbezit is gebleken, dit gebeurt niet.

"Het Systeem" signaleert dat die persoon mogelijk gevaarlijk is en de agenten staan klaar om op bezoek te gaan.

Dan klopt het systeem toch? Het systeem signaleert een risico en de politie controleert of het daadwerkelijk klopt. Wie gaat dat anders doen? Ik denk niet dat je een medewerker van de gemeente langs wil sturen om te vragen of iemand een illegaal vuurwapen in huis heeft.

[IJzerlijm]

Verwijderd schreef op donderdag 31 oktober 2019 @ 11:07:
[...]


Kan ik concluderen dat je niet gelooft in het bestaan van conformisme of anchoring? Je bent zo te lezen erg competent op dit gebied

Het experiment met de lijntjes heb ik over gelezen in Irrationality van Stuart Sutherland. Daarin kwam meen ik ook uit dat met meerdere proefpersonen die niet in het complot zitten het conformisme omlaag gaat, ik zal het later nog even nazoeken.

[Verwijderd]

De overheid, algoritmes en geautomatiseerde besluiten en systemen lijken geen goede combi.
http://www.kafkabrigade.nl/

Aanrader is het boek de digitale kooi:
http://digitalekooi.kafkabrigade.nl/

Veelal gebeuren er zaken die niemand wilt, maar niemand kan oplossen

[Indoubt]

TheBrut3 schreef op donderdag 31 oktober 2019 @ 11:12:
[...]


[...]

Het systeem geeft toch enkel personen aan met een potentieel risico?
Dan is de zet aan analisten om dit risico "te bevestigen" en daar ben ik het eens met jullie; Gaan deze het systeem tegenspreken?
Daarna is het nog aan de verantwoordelijke instantie/controleurs om het papierwerk te controleren en de daadwerkelijke overtreding te constateren, indien aanwezig.


[...]

Dan klopt het systeem toch? Het systeem signaleert een risico en de politie controleert of het daadwerkelijk klopt. Wie gaat dat anders doen? Ik denk niet dat je een medewerker van de gemeente langs wil sturen om te vragen of iemand een illegaal vuurwapen in huis heeft.

Nou, dat lijkt er niet op. De e-screener lijkt nou juist een voorbeeld te zijn van een foute implementatie. De test geeft rood op sociale wenselijkheid en de politie kijkt niet verder maar neemt direkt in beslag. Als er dan 20 tot 25% zakt voor de test en er volgt direct inbeslagname is er toch iets fout. Er zijn heel weinig misdaden die gebeuren met legale wapens (de laatste is tristan van de Vlis, Alphen a/d rijn) en die had nooit een vergunning mogen krijgen.

Typisch een voorbeeld van foute symboolpolitiek

[Maasluip]

TheBrut3 schreef op donderdag 31 oktober 2019 @ 11:12:
[...]

Het systeem geeft toch enkel personen aan met een potentieel risico?
Dan is de zet aan analisten om dit risico "te bevestigen" en daar ben ik het eens met jullie; Gaan deze het systeem tegenspreken?
Daarna is het nog aan de verantwoordelijke instantie/controleurs om het papierwerk te controleren en de daadwerkelijke overtreding te constateren, indien aanwezig.

De volgende stap is om dat laatste te automatiseren. Dat is geen kwestie van als, maar van wanneer. En dan ga je gewoon naar het chinise social credit systeem toe.

[Brent]

Maasluip schreef op donderdag 31 oktober 2019 @ 11:30:
[...]

De volgende stap is om dat laatste te automatiseren. Dat is geen kwestie van als, maar van wanneer. En dan ga je gewoon naar het chinise social credit systeem toe.

En dit is ook al eens gebeurd, maar daar willen we om een of andere reden niet van leren. Zie hoe de Nazi's leerden van onze statistische bureau's, wat de stasi deed met zulke info. China inderdaad. De scope wordt altijd enkel groter, tot er vreselijke gebeurtenis het opeens duidelijk maakt dat het inherent kwalijk is zo te werk te gaan. Een eloquente (Oost-)Duitser zou misschien zoiets eens aan technofiel Nederland kunnen uitleggen.

Ik struin trouwens even over die website van de kafkavereniging, daar kun je dikke rapporten lezen die dit lang en breed onderstrepen. Voorbeeld dat ik persoonlijk heel erg hard herken:

quote: http://www.kafkabrigade.n...rsonen-niet-voor-iedereen

e BRP is noodzakelijk voor deze vermindering van regeldruk, maar deze vermindering zou niet tot stand zijn gekomen zonder ook verbetering in de processen waarin de BRP-gegevens gebruikt worden. Tegelijk leidt deze wijze van digitalisering nu tot een toenemende differentiatie in regeldruk voor verschillende groepen. Wie op enigerlei wijze atypisch is, door jeugd of ouderdom, ziekte of geestelijke beperkingen, niet-Nederlandse komaf of woonachtig in het buitenland, kan veelal niet profiteren van een lagere regeldruk, loopt kans op een hogere regeldruk en bij fouten zelfs kans op zeer hoge regeldruk, zowel gemeten als ervaren.

Holy hell, wat merk je hard dat het hier helemaal niet goed geregeld is als je (zelfs als staatsburger) eens een tijdje naar het buitenland gaat en dan zaken wil/moet doen met de Nederlandse overheid. Ik was jaloers op mijn Italiaanse collega's, want daar deed hun overheid wat er nodig was. Italië!

De Nederlandse overheid moet juist menselijk, en personeel in dienst nemen dat zelf beslissingen kan en mag maken, ipv zich nog verder achter digitale dijken terug te trekken.

[Verwijderd]

IJzerlijm schreef op donderdag 31 oktober 2019 @ 11:14:
Het experiment met de lijntjes heb ik over gelezen in Irrationality van Stuart Sutherland. Daarin kwam meen ik ook uit dat met meerdere proefpersonen die niet in het complot zitten het conformisme omlaag gaat, ik zal het later nog even nazoeken.

Dat hoef je niet terug te zoeken, dat was zo. Staat ook in de Wiki link. Met een buddy-acteur is het experiment overigens wat beter te controleren ipv meerdere proefpersonen. Die buddy-acteur gaf dus bewust het goede antwoord en daarmee de proefpersoon een escape (“ik ben gelukkig niet de enige die het zo ziet!”). Ze hebben ook een variant uitgevoerd met schrijven ipv noemen in een groep en dat levert ook weer andere resultaten op.

Maar dat is niet het punt. In het echte leven weet je namelijk niet wie er “goed” zitten en wie er “fout” zitten. Ik heb geen bron, maar ik vermoed dat deze experimenten niet toevallig in de jaren 50 plaatsvonden.

De gedachte lijkt overigens ook vaak dat fraude heel bewust (ter kwader trouw) plaatsvindt, terwijl ik vermoed dat in werkelijkheid mensen vooral uit onwetendheid of onhandigheid (ter goeder trouw) niet aan hun informatieplicht voldoen bijvoorbeeld. Het laatste moet je niet met fraude-opsporing oplossen, maar door het voorliggende proces te verbeteren. Zie ook het eerder genoemde interview met de Ombudsman dat vandaag is gepubliceerd. Citaat:

“Ik heb het idee dat ambtenaren worden afgerekend op de vraag of ze deze week wel zestig dossiers van links naar rechts op het bureau hebben verschoven. Ik praat hier veel over op ministeries en gemeentehuizen. Ik merk dat ze het heel moeilijk vinden om de oude werkwijze los te laten.” - Reinier van Zutphen, Ombudsman”

Ik denk zelf dat ze het niet alleen moeilijk vinden, maar ook werkelijk geen systeem hebben om het ten goede te veranderen. Dus blijft het vaak hetzelfde.

_{In deze post op het Tweakers forum kun je (in een andere context) lezen wat er kan gebeuren als er wordt uitgegaan van handelen ter kwader trouw. En dit kan zo te lezen dus iedereen elke dag overkomen. Of zou het in sommige wijken vaker gebeuren dan in andere denk je?}

[ Voor 15% gewijzigd door Verwijderd op 31-10-2019 12:13 ]

[Brent]

Verwijderd schreef op donderdag 31 oktober 2019 @ 11:56:
[...]

De gedachte lijkt overigens ook vaak dat fraude heel bewust (ter kwader trouw) plaatsvindt, terwijl ik vermoed dat in werkelijkheid mensen vooral uit onwetendheid of onhandigheid (ter goeder trouw) niet aan hun informatieplicht voldoen bijvoorbeeld.

En zelfs als je dat probeert, blijkt vaak dat dat heel lastig is. Wanneer heb je alle info verzameld? Hoe weet je dat? Is de website toegankelijk? Mijn gemeente heeft het adres van de vuilstort bijvoorbeeld heel diep verborgen op de website. Dat soort dark patterns zijn veel te gangbaar, zelfs als je je stinkende best doet.

[Jester-NL]

Eigenlijk best apart dat we het een slecht idee vinden om een auto zelfstandig de weg op te sturen, maar ondertussen wel allerlei beslissingen over het leven en welzijn van personen blind aan machines overlaten.

[YakuzA]

TheBrut3 schreef op donderdag 31 oktober 2019 @ 11:12:
[...]
Dan klopt het systeem toch? Het systeem signaleert een risico en de politie controleert of het daadwerkelijk klopt. Wie gaat dat anders doen? Ik denk niet dat je een medewerker van de gemeente langs wil sturen om te vragen of iemand een illegaal vuurwapen in huis heeft.

Het probleem was dat de agenten langs gingen om alles in beslag te nemen.
Geen verder onderzoek gedaan door de politie, gewoon vlaggetje in het systeem en direct in actie komen.

[Indoubt]

YakuzA schreef op donderdag 31 oktober 2019 @ 14:27:
[...]

Het probleem was dat de agenten langs gingen om alles in beslag te nemen.
Geen verder onderzoek gedaan door de politie, gewoon vlaggetje in het systeem en direct in actie komen.

Inderdaad. Rood vlaggetje en verder niet meer nadenken. De E-screener is overigens alweer afgeschaft of in ieder geval opgeschort. De test geeft grote hoeveelheden false positives. Ook in Finland en andere landen is men weer van deze test afgestapt

Nu ging dit topic over Syri. Het lijkt erop alsof daar nog wel een ambtenaar naar kijkt en een afweging maakt voordat er actie wordt ondernomen. De vraag is echter hoelang nog. Bij de volgende bezuinigingsronde niet meer?

Lijkt me dat er voor iets wat zo belangrijk is wel een aantal stevige zekerheden zouden moeten worden ingebouwd

[incaz]

TheBrut3 schreef op donderdag 31 oktober 2019 @ 11:12:
Het systeem geeft toch enkel personen aan met een potentieel risico?
Dan is de zet aan analisten om dit risico "te bevestigen" en daar ben ik het eens met jullie; Gaan deze het systeem tegenspreken?

Voor de goede orde: alleen maar onderzoek doen om risico te bevestigen (en niet te ontkrachten of in perspectief te plaatsen) is dus ook verkeerd omdat het leidt tot tunnelvisie, waarin iedere ambiguiteit wordt uitgelegd als bewijs of in elk geval aanwijzing van kwade opzet, terwijl alternatieve verklaringen niet worden overwogen of onderzocht.

Dat heeft ook in het strafrecht al een aantal keer geleid tot onschuldigen die veroordeeld werden.

[Brent]

Jester-NL schreef op donderdag 31 oktober 2019 @ 13:33:
Eigenlijk best apart dat we het een slecht idee vinden om een auto zelfstandig de weg op te sturen,

Er zijn weinig KI wetenschappers die dat denken. Des te meer commerciele partijen en fans (kort voor fanatici, dwz mensen die niet nadenken) die beweren dat het om de hoek is.

Al wil ik het zelf ook graag, ik denk dat het nog een hele tijd niet zelfstandig zal zijn.

[MicroWhale]

Verwijderd schreef op woensdag 30 oktober 2019 @ 21:46:
[...]
En hoe komen ze aan die criteria denk je? Door te gokken? Of op basis van hun jarenlange ervaring?

Dat is dus het hele probleem: het idee dat je fraudeurs kunt “karakteriseren” op basis van historische data. Of het nou geautomatiseerd gebeurt of niet.

[...]

Het zit hem natuurlijk vooral in het risicomodel. Wat gebeurt daar? Welke indicatoren worden ingevoerd en waarom? En dat is dus “geheim”.

Precies mijn punt: Het ligt volgens mij niet aan het systeem, maar aan de input die je het geeft. En dat is en blijft mensenwerk. Er is dus volgens mij weinig mis met dit systeem, maar iets met de procedures ervoor en erna.

En wat betreft conformisme: In het document staat ook dat de conclusie fraudeur of niet pas plaatsvindt nadat er een onderzoek is geweest die meer bronnen aanboort dan alleen SyRI. Daar wordt uit (andere) computersystemen informatie gehaald, maar men gaat ook hoor en wederhoor plegen. En dat zal vast niet door één persoon gebeuren en vast ook gecontroleerd worden. Het is dus niet zo gemakkelijk als "Computer says..." en "Conformisme".

[Brent]

MrWilliams schreef op vrijdag 1 november 2019 @ 09:43:
[...]


Precies mijn punt: Het ligt volgens mij niet aan het systeem, maar aan de input die je het geeft. En dat is en blijft mensenwerk. Er is dus volgens mij weinig mis met dit systeem, maar iets met de procedures ervoor en erna.

Als je veel data hebt, is de verleiding off-the-shelf ML toe te passen meestal te groot. Deze tools zijn zo gebruiksvriendelijk dat je niets hoeft te begrijpen van wat je aan het doen bent. Zelfs bij mij in het ziekenhuis komt dat steeds meer voor, en dat is mij een doorn in het oog. Immers, je laat een black box je belangrijkste beslissingen nemen! Dat staat haaks op elk transparantieprincipe!

Vandaag een mooi artikel dat dit punt nog eens benadrukt, en aantoont dat interpretabele ML mogelijk is, mits je die zo ontwerpt (en dus niet willekeurige ICT-sjonnies iets met Tensorflow in elkaar laat hameren).

https://www.arxiv-vanity.com/papers/1811.10154/

[Verwijderd]

MrWilliams schreef op vrijdag 1 november 2019 @ 09:43:
Het is dus niet zo gemakkelijk als "Computer says..." en "Conformisme".

Dit is een stroman.

En dat zal vast niet door één persoon gebeuren en vast ook gecontroleerd worden

Vast. Door mensen die goed kritisch kunnen denken, denk je ook niet? Daarom zijn ze waarschijnlijk ook voorstander van zo’n systeem, daar hebben ze namelijk heel goed over nagedacht

Ondertussen lijkt er (hier) nergens beschreven hoeveel euro’s er zijn uitgegeven aan toerekenbare fraude ter kwader trouw, hoeveel we hebben uitgegeven aan de bouw van dit systeem, hoeveel kosten we maken aan het onderhoud van dit systeem, hoeveel het per jaar moet opleveren, hoeveel mensen er onterecht zijn aangemerkt als risico, hoeveel mensen er onterecht zijn aangemerkt als fraudeur ter kwader trouw en hoeveel mensen er onterecht een sanctie hebben gekregen i.v.m. fraude ter kwader trouw. Nee, heel solide allemaal. Goed doordacht.

[segil]

De rechter is van mening dat syri in strijd is met de recht op privacy

https://www.security.nl/p...rijd+met+recht+op+privacy

De wetgeving die de inzet van het risicoprofileringssysteem SyRI (Systeem Risico Indicatie) door de overheid mogelijk maakt is in strijd met het recht op privacy zoals dat in het Europees Verdrag voor de Rechten voor de Mens is vastgelegd, zo heeft de rechtbank Den Haag vandaag geoordeeld.

* segil happy

[Mx. Alba]

Op De Correspondent zijn er recent ook twee goede artikelen over SyRI verschenen...

Overal ter wereld misbruiken staten persoonsgegevens. In Nederland steekt de rechter daar nu een stokje voor.

Je zit in een verhoorkamer. Daar, zittend onder het tl-licht, word je stevig ondervraagd. Er hangt een spiegel. Daarachter staat iemand, denk je. Wie het is, geen idee. Wat die daar doet, geen idee.

Het is een scène die je vast weleens hebt gezien in Flikken Maastricht of Baantjer. Maar het is ook een scène die opgeroepen werd door Maxim Februari – bekend schrijver, filosoof en jurist – bij de lancering van de rechtszaak tegen SyRI begin 2018.

‘De paradox van de openheid’, noemde Februari het. De overheid weet alles van ons, wij weten niets van de overheid. Rond SyRI is belachelijk weinig bekend. Welke data worden gebruikt, van wie, op welke manier ze verwerkt worden… ‘De overheid hecht aan haar privacy’, merkte hij droogjes op.

De samenleving wordt langzamerhand een verhoorkamer met een observatiespiegel,

wil hij maar zeggen. Daarom is Februari mede-eiser geworden in de rechtszaak. Omdat hij die ene vraag wil stellen: ‘Laat mij eruit.’

Februari geeft vier redenen, die opgaan voor SyRI maar ook voor digitale verzorgingsstaten wereldwijd.

------------------

Kun je van algoritmes verwachten dat ze onbevooroordeeld zijn?

‘Er is echt een cruciaal verschil tussen een bevooroordeelde ambtenaar die een afzonderlijke, betwistbare beslissing neemt en een heel fraudeopsporingssysteem dat zelfs voor de rechter ondoorzichtig is’, stelt Februari.

Hij verwijst hiermee naar de totale ondoorzichtigheid van SyRI. Het is niet duidelijk wie er precies worden doorgelicht, welke data worden gebruikt en welke modellen om die data te analyseren. Ook aan de rechter wilde de staat geen extra duidelijkheid verschaffen, want anders zouden mensen het systeem kunnen gaan ‘gamen’.

Dat gebrek aan transparantie is problematisch, stelt Februari in een volgende bijdrage. In een rechtsstaat moet de rechter het handelen van de overheid kunnen toetsen, en dat dit hier niet kan vindt hij onaanvaardbaar. ‘Als een systeem wel inzichtelijk is, kun je het veranderen, bijschaven, afschaffen...’

...

Hij is het helemaal eens met Jesse dat de analoge systemen ook niet ideaal waren. Maar: ‘Ik denk dat een van de redenen waarom deze zaak aanhangig is gemaakt is omdat SyRI veel vooroordelen en discriminatoire aannames ‘systematiseert’ en witwast.’

Een andere reden tot zorg, vindt van Veen: de schaal waarop dergelijke systemen opereren. ‘Belde een ambtenaar voorheen aan om je tandenborstel-situatie te controleren op basis van een tip of een andere aanwijzing, nu wordt een hele buurt onderwerp van onderzoek.’

...

Zo moet je stapje voor stapje, al evaluerend, bedenken welke systemen waar waardevol kunnen zijn. Dit is het tegenovergestelde van wat er bij SyRI gebeurde. Het werd zonder democratische discussie in de wet geplempt, zonder aangetoonde meerwaarde.

Die meerwaarde gaat niet alleen over of SyRI ‘werkt’, maar ook over de vraag of zo’n systeem überhaupt wenselijk is. Welke beslissingen willen we wel aan een algoritme overlaten, en welke niet?

Deze in- en in-politieke vraag wordt alsmaar belangrijker nu kunstmatige intelligentie zo’n hype is. Dat er niet over na wordt gedacht, is allesbehalve intelligent. Het is oliedom. Maar misschien ben ik wel bevooroordeeld.