Cos'è Replika?

Replika è un chatbot alimentato da un sistema di intelligenza artificiale basato su modelli linguistici di grandi dimensioni (LLM). A differenza di altri assistenti virtuali, Replika è progettato per offrire supporto emotivo agli utenti, proponendosi come un compagno virtuale in grado di comprendere e rispondere alle emozioni umane. Il bot può assumere diversi ruoli: da semplice amico fino a partner romantico, a seconda delle preferenze impostate dall’utente.

Questo posizionamento ha attirato un pubblico ampio, spesso vulnerabile, tra cui minori e soggetti fragili, che rappresentano una parte significativa dell'utenza.

Il primo intervento del Garante

Il primo provvedimento risale al febbraio 2023, quando il Garante ha disposto un blocco immediato del trattamento dei dati personali degli utenti europei da parte di Replika. La decisione è stata motivata dai rischi per i diritti fondamentali degli utenti, in particolare per quanto riguarda:

• la protezione dei dati personali;
• il benessere emotivo;
• l’autodeterminazione dei soggetti vulnerabili.

La sospensione condizionata e le richieste del Garante

Nel giugno 2023, il blocco è stato sospeso a condizione che la società implementasse misure correttive, tra cui:

• aggiornamento della privacy policy, con contenuti accessibili e completi;
• implementazione di un sistema di age-gate, ovvero la verifica dell’età dell’utente, per impedire l’accesso ai minori di 18 anni;
• introduzione di un periodo di raffreddamento (cooling-off period), per impedire modifiche immediate dell’età dichiarata dopo il primo accesso;
• miglioramento delle modalità di esercizio dei diritti degli interessati, tra cui il diritto di opposizione al trattamento dei dati basato su interesse legittimo.

Il provvedimento sanzionatorio del 2024

Nonostante le promesse di adeguamento, il Garante ha rilevato che molte delle misure non sono state effettivamente implementate o risultano facilmente aggirabili. A partire da queste evidenze, è stato avviato un procedimento d’ufficio che ha condotto alla sanzione di 5 milioni di euro, una delle più alte nel settore AI e privacy in Europa.

Le tre gravi violazioni riscontrate

Violazione del principio di liceità.

La base giuridica per il trattamento dei dati per finalità di chat era presente, ma non era specificata per l’uso degli stessi dati per l’addestramento del modello AI (model development).

Carenze di trasparenza.

La privacy policy, seppur aggiornata, presentava numerose lacune, tra cui:

• disponibilità solo in inglese;
• mancanza di informazioni sui tempi di conservazione dei dati;
• ambiguità sul trasferimento dei dati al di fuori dell’Unione Europea.

Violazione dei principi di privacy by design e by default.

Il sistema di age-gate era troppo debole e facilmente aggirabile:

• era possibile modificare la data di nascita dopo l’accesso;
• era consentito l’accesso tramite email falsa o in incognito;
• i controlli ex post erano rari e non sistematici.

Considerazioni finali

Il caso Replika rappresenta un esempio emblematico delle sfide regolatorie legate all’uso dell’IA in ambito personale ed emotivo. Nonostante la sua popolarità (oltre 10 milioni di download solo su Google Play), la piattaforma ha mostrato gravi inadempienze in termini di rispetto del GDPR, in particolare verso gli utenti più vulnerabili.

Il Garante italiano si conferma come uno dei più attivi in Europa nella tutela della privacy nel contesto tecnologico, inviando un messaggio chiaro a tutte le realtà che operano con sistemi di intelligenza artificiale: il rispetto dei principi di liceità, trasparenza e protezione by design non è opzionale, ma obbligatorio.