Nieuwe DPIA op EduGenAI: Nederlandse generatieve AI-oplossing voor het onderwijs
Resultaten DPIA: 12 bekende gegevensbeschermingsrisico's
In opdracht van SURF, de ict-coöperatie van onderwijs en onderzoek, heeft Privacy Company advies gegeven over maatregelen om al tijdens de ontwikkeling van de nieuwe dienst gegevensbeschermingsrisico’s te voorkomen, en risico's in verband met overmatige afhankelijkheid van AI. Hoewel Privacy Company de accuraatheid en de impact op de mensenrechten van de verwerking van persoonsgegevens via de gebruikersinterface en de verschillende modellen nog niet kon testen, heeft Privacy Company wel de verschillende gegevensstromen in kaart gebracht van de inhoudelijke gegevens, accountgegevens, diagnostische gegevens, support gegevens en websitegegevens in kaart gebracht en geholpen bij het identificeren van effectieve maatregelen om de privacy van alle betrokkenen te waarborgen.
Op basis van deze analyse identificeert de DPIA een groot aantal juridische, technische en organisatorische ontwikkelingsdoelen. Als SURF en de AI Hub al deze doelen halen, en als de onderwijsinstellingen helpen bij het testen van de toereikendheid en effectiviteit van de maatregelen, kunnen de geïdentificeerde 12 gegevensbeschermingsrisico's allemaal worden beperkt.
Privacy Company publiceert deze blog over de bevindingen met toestemming van SURF. Zie het persbericht en de volledige (Engelstalige) DPIA op de website van SURF.
Functionaliteiten EduGenAI
EduGenAI is een AI-systeem dat op een privacyvriendelijke manier toegang biedt tot meerdere generatieve AI-tools. Dit omvat gebruik van open source-modellen die door SURF zelf worden gehost in het eigen datacenter van SURF in de Watergraafsmeer, maar ook gepseudonimiseerde toegang tot bekende commerciële generatieve AI-systemen in de cloud, zoals de verschillende Large Language Models (LLM’s) van OpenAI (gehost op Azure door Microsoft), Llama, Mistral en Claude van Anthropic. EduGenAI biedt ook toegang tot een of meer zoekmachines om de gegenereerde informatie te ‘updaten’. De onderwijsinstellingen die EduGenAI gebruiken, kunnen zelf bepalen of ze eindgebruikers toestaan om cloud-LLM's en zoekmachines te gebruiken, of alleen toegang geven tot de on-premises LLM's.
EduGenAI stelt gebruikers in staat om hun antwoorden te grounden door documenten en bronnen toe te voegen aan hun prompts. Gebruikers kunnen hun prompts ook permanent grounden met aanvullende informatie door Personae te maken. Gebruikers kunnen metaprompts gebruiken om de informatie in een Persona beschikbaar te maken voor specifieke doelen, zoals delen met collega's of studenten.
EduGenAI gaat veel maatregelen nemen om zowel de privacy van gebruikers te beschermen als de rechten van personen die voorkomen in onderbouwende documenten, prompts en antwoorden. EduGenAI streeft ernaar zo min mogelijk persoonsgegevens te delen met de externe clouddiensten.
EduGenAI zal veel ingrepen doen in de gebruikersinterface om overmatig vertrouwen in AI te voorkomen, dat wil zeggen dat gebruikers te veel vertrouwen hebben in de nauwkeurigheid en betrouwbaarheid van de antwoorden en bronnen, en vergeten om ze te controleren.
Gebruikers kunnen kiezen welk AI-systeem ze willen gebruiken om informatie te genereren en kunnen zelfs tijdens een promptdialoog wisselen, terwijl EduGenAI hun privacy en de rechten van personen die in de promptdialoog worden genoemd, beschermt door een filter toe te passen om persoonsgegevens te maskeren.
Privacycontroles
EduGenAI is ontworpen om veel maatregelen voor privacy by design en privacy by default te implementeren. Enkele belangrijke geplande hoogtepunten zijn:
- Verwijder alle metadata (IP-adressen, cookies, identificatiegegevens) uit de zoekopdrachten van gebruikers.
- Pas een filter toe om persoonsgegevens in de inhoud van zoekopdrachten te maskeren.
- Laat onderwijsinstellingen bepalen welke LLM’s gebruikt mogen worden (alleen on-premises of ook cloud-LLM's)
- Sla de chatgeschiedenis standaard op het apparaat van de eindgebruiker op, en niet centraal op de servers van SURF.
AVG-rollen
SURF zal de deelnemende onderwijsinstellingen (CO's) een verwerkersovereenkomst aanbieden voor 4 van de 5 geïdentificeerde categorieën persoonsgegevens: voor de accountgegevens, de diagnostische gegevens, de support gegevens en de websitegegevens. Omdat de onderwijssector echter een unieke sector is, met de missie om van elkaar te leren, heeft SURF gekozen voor gezamenlijke verantwoordelijkheid van de instellingen met EduGenAI als het gaat om de inhoudelijke kwaliteit van de dienst. SURF zal nauw samenwerken met de instellingen die aan de pilot deelnemen om te onderzoeken of de voorgestelde maatregelen effectief zijn en welke taalmodellen het meest geschikt zijn voor verschillende taken.
Resultaat: 12 lage gegevensbeschermingsrisico's
Het resultaat van deze DPIA is dat, mits alle ontwikkelingsdoelen effectief worden geïmplementeerd en vervolgens getest, SURF en de onderwijsinstellingen effectieve maatregelen kunnen nemen om de 12 geïdentificeerde gegevensbeschermingsrisico's te verlagen of te beperken. De aanbevolen maatregelen staan vermeld in deze (lange en Engelstalige) tabel:
