09 augustus, 2019
Auteur: Natalja Krijgsman
In de blogserie “De AVG in Beeld” zullen wij met het oog op ons initiatief Privacy Proof de specifieke onderdelen van de Algemene Verordening Gegevensbescherming (AVG) behandelen en verhelderen. In deze blog gaan we in op profilering. Als u zich aan de AVG wilt houden, moet u bij profilering datakwaliteit, transparantie en menselijkheid in overweging nemen. Wat moet u hier over weten?
Algoritmes die discrimineren, adverteerders die meer van je weten dan je eigen vader, en fatale fouten als deze:
“Vorige maand is Amerikaanse gevangene Lamonte Mims vrijgelaten op basis van de voorspelling van het algoritme genaamd PSA: Mims kan veilig vrijgelaten worden zonder zorgen voor een terugval. Vijf dagen later vermoordde en beroofde hij een 71 jaar oude man. [..] Een van de medewerkers was vergeten een eerder arrest in het systeem te zetten.” (Wired.com, vertaald) [1]
Profilering staat vaak in de schijnwerpers, maar niet altijd negatief: het zal bijvoorbeeld niet lang meer duren voor we gepersonaliseerde hotelkamers gaan zien. Dimitri Tokmetzis van de Correspondent noemt het zelfs ‘standaardgereedschap’ (de digitale schaduw). En omdat profilering hand in hand gaat met big data en persoonsgegevens, kan ook de AVG er niet omheen. Artikel 22 behandelt expliciet profilering, als onderdeel van besluitvorming op basis van geautomatiseerde verwerking, wanneer het besluit rechtsgevolgen voor iemand heeft of andere serieuze gevolgen heeft.
De Nederlandse overheid gebruikt nu geen profilering voor vervroegde vrijlatingsbesluiten, maar zet het wel in voor andere gebieden waar serieuze gevolgen mogelijk zijn. Dit zijn bijvoorbeeld Jeugdzorg, de Belastingdienst, fraudedetectie (SyRI), onderwijs, en veiligheid (het raffinaderij-concept bij de Politie) [2]. Profilering is onderdeel van onze samenleving; hoe zorgt de AVG ervoor dat problemen als die van Mims zo veel mogelijk achterwege blijven?
Datakwaliteit
Een vergeten arrest veroorzaakt een onterecht groen licht voor vrijlating: kleine menselijke fouten kunnen grote gevolgen hebben voor de betrokkene of voor anderen. En niet alleen fouten kunnen funest zijn: denk je eens in dat uw kleine zusje/dochter op uw Netflixprofiel series gaat kijken. Zou u de aanbevelingen nog vertrouwen?
Gegevens vormen de basis voor besluiten, en moeten dus correct zijn. Hoe zorg je daarvoor? Periodieke checks, en reminders voor betrokkenen om hun gegevens actueel te houden, zijn een logische eerste stap. Maar ook een efficiënte inrichting van het inzage– en correctierecht, die op het eerste gezicht voor de betrokkene zijn bedoeld, kunnen de organisatie hierin ondersteunen.
Natuurlijk kan geen organisatie al zijn gegevens altijd actueel houden. De AVG vereist ook alleen dat er redelijke maatregelen zijn genomen voor de datakwaliteit, zoals die hierboven beschreven. Wat rest om ernstige gevolgen veroorzaakt door onjuiste informatie te voorkomen, is menselijk bewustzijn. Wanneer een verwerking rechtsgevolgen of andere serieuze gevolgen voor iemand heeft, moet het uiteindelijke besluit altijd genomen worden door een mens. Een persoon die erkent dat ook een algoritme het fout kan hebben.
Transparantie
Iedereen weet wat profilering is, maar niet iedereen heeft door wanneer hij geprofileerd wordt. Volgens de Autoriteit Persoonsgegevens vertellen organisaties niet altijd dat ze aan profilering doen. In de verplichte privacyverklaring wordt profilering verbloemd als:
- (risico)profiel;
- gedragsanalyse;
- persoonlijke/gepersonaliseerde aanbiedingen;
- op basis van uw (surf)gedrag of (surf)gedrag van anderen;
- interesse-gebaseerd;
- gebaseerd op uw voorkeuren;
- segmentering/segment(en);
- online behavioural advertising/targeting.
En bij een overheidsorganisatie als:
- risico-inschatting;
- risicogericht controleren.
Over profilering moet helder en begrijpelijk worden gecommuniceerd. Naast de informatie die de verantwoordelijke bij een ‘normale’ verwerking aan de betrokkene duidelijk moet maken, is er ook de verplichting om nuttige informatie over de onderliggende logica, en de te verwachten gevolgen voor de betrokkene te geven. Nuttige informatie bestaat bijvoorbeeld uit de gegevens die het algoritme meeneemt in het besluit, hoe zwaar elk van deze gegevens meeweegt, en de (typen) uitkomsten.
Het probleem met transparantie
In het voorbeeld van Mims heeft de ontwikkelaar van de PSA-software, The Arnold Foundation, de code niet willen vrijgeven. Algoritmes zijn vaak commerciële producten, ook als ze door overheden worden gebruikt. De code en logica daarvoor willen de ontwikkelaars begrijpelijkerwijs niet zomaar vrijgeven. Daarbij: wat zou de gemiddelde persoon aan een code hebben? En kan een gemeentemedewerker uitleggen aan een bezorgde betrokkene hoe het algoritme werkt? Het vrijgeven van de code helpt concurrenten waarschijnlijk meer dan betrokkenen. Daarom kan het advies van de AVG hier aangehouden worden: maak de logica van het algoritme duidelijk, en laat alle technische onbegrijpelijkheden achterwege. Het nut van de informatie voor de betrokkene staat voorop.
Menselijkheid
Het belangrijkste principe rondom profilering in de AVG is dat de menselijke waardigheid en empowerment wordt behouden. De organisatie kan niet de verantwoordelijkheid voor het besluit bij het algoritme leggen: Iedere betrokkene heeft recht op een menselijke tussenkomst bij een besluit met significante gevolgen. Daarbij mag na een dergelijk besluit de betrokkene zijn of haar eigen standpunt kenbaar maken aan de verantwoordelijke, en mag het besluit aanvechten. Men moet beseffen dat de inrichting van een algoritme het resultaat is van een keuze voor het meewegen van bepaalde factoren voor een beslissing (en daarmee het weglaten van andere). Kortom, het is goed te realiseren dat een algoritme geen eenduidige waarheid geeft.
Wil u eens met ons over dit onderwerp sparren? Neem dan gerust contact met ons op.
[1] Wired.com – When government rules by software citizens are left in the dark
[2] Kabinetsstandpunt WRR rapport Big Data in een vrije en veilige samenleving, p.8