g-docweb-display Portlet

Provvedimento del 2 febbraio 2023 [9852214]

Stampa Stampa Stampa
PDF Trasforma contenuto in PDF

 

VEDI ANCHE: Comunicato stampa del 3 febbraio 2023


- English version

 

[doc. web n. 9852214]

Provvedimento del 2 febbraio 2023

Registro dei provvedimenti
n. 39 del 2 febbraio 2023

IL GARANTE PER LA PROTEZIONE DEI DATI PERSONALI

VISTO il Regolamento (UE) 2016/679 del Parlamento europeo e del Consiglio del 27 aprile 2016 (di seguito, “Regolamento”);

VISTO altresì il Codice in materia di protezione dei dati personali (d.lgs. 30 giugno 2003, n. 196);

RILEVATO che recenti notizie di stampa hanno dato evidenza – con dovizia di dettagli – di alcune prove condotte sull’applicazione Replika (una chatbot, con interfaccia scritta e vocale, basata sull’intelligenza artificiale che genera un “amico virtuale” che l’utente può decidere di configurare come amico, partner romantico o mentore), prove che hanno evidenziato concreti rischi per i minori d’età e, più in generale, per le persone in stato di fragilità emotiva;

RILEVATO che nella privacy policy (aggiornata al 5 luglio 2022) pubblicata nel suo sito web, il fornitore del servizio dichiara di non raccogliere consapevolmente dati personali di minori di età inferiore ai 13 anni ed incoraggia i genitori e i tutori legali a monitorare l’utilizzo di Internet da parte dei propri figli, a rispettare la privacy policy istruendo i minori a non fornire mai dati personali sul servizio senza la loro autorizzazione e a contattare la piattaforma nell’ipotesi in cui abbiano motivo di ritenere che un bambino di età inferiore ai 13 anni abbia fornito dati personali affinché questi possano essere eliminati dai database;

RILEVATO, in particolare, che nei due principali “App store” l’applicazione viene classificata come idonea a persone maggiori di 17 anni, mentre, nei termini di servizio (aggiornati al 14 settembre 2022) pubblicati nel sito web dello sviluppatore viene indicato un divieto di utilizzo per i minori di 13 anni e l’esigenza che i minori di 18 anni siano previamente autorizzati da un genitore o da un tutore;

CONSIDERATO che dalle prove condotte e riportate dai richiamati articoli di stampa emerge l’assenza di filtri per i minori di età e la proposizione ad essi di risposte assolutamente inidonee rispetto al grado di sviluppo e autoconsapevolezza degli stessi;

VERIFICATO che durante la fase di creazione di un account la piattaforma non prevede alcuna procedura di verifica e controllo dell’età dell’utente, di cui il sistema chiede solamente nome, e-mail e genere;

VERIFICATA altresì l’assenza di meccanismi di interdizione o blocco anche a fronte di dichiarazioni dell’utente che esplicitino la sua minore età e la proposizione di “risposte” da parte della chatbot palesemente in contrasto con le tutele che andrebbero assicurate ai minori e, più in generale, a tutti i soggetti più fragili;

PRESO ATTO che anche diverse recensioni pubblicate nei due principali “App store” contengono commenti di utenti che lamentano contenuti sessualmente inopportuni forniti dalla chatbot Replika;

RILEVATO che nel sito web dello sviluppatore, nonché dei due principali “App store”, Replika viene presentata come una chatbot in grado di migliorare l’umore ad il benessere emotivo dell’utente, aiutandolo a comprendere i suoi pensieri e i suoi sentimenti, a tenere traccia del suo umore, ad apprendere capacità di coping (ossia, di controllo dello stress) a calmare l'ansia e a lavorare verso obiettivi come il pensiero positivo, la gestione dello stress, la socializzazione e la ricerca dell'amore;

RITENUTO che anche tali caratteristiche, riconducibili principalmente ad interventi sull’umore della persona, possano risultare idonee ad accrescere i rischi per i soggetti fragili coinvolti;

CONSIDERATO, altresì, che la richiamata privacy policy non può ritenersi conforme ai principi e agli obblighi previsti dal Regolamento in tema di trasparenza, nulla rivelando in merito agli elementi essenziali del trattamento con particolare riguardo all’utilizzo dei dati personali dei minori, con ciò ponendosi in contrasto con l’art. 13 del Regolamento;

CONSIDERATO che dall’appena riferito difetto di informativa deriva l’impossibilità di individuare la stessa base giuridica delle varie operazioni di trattamento effettuate dalla menzionata chatbot, dovendosi in ogni caso escludere che, con riguardo in particolare ai minori, questa possa – anche solo implicitamente – essere rinvenuta nella disciplina contrattuale, attesa la riconosciuta incapacità dei minori nell’ordinamento italiano a concludere contratti per la fruizione di servizi quale quello in oggetto che comportano una rilevante messa a disposizione di propri dati personali;

RITENUTO pertanto che nella situazione sopra delineata, il trattamento dei dati personali degli utenti, in particolare di quelli minori, si ponga in violazione degli artt. 5, 6, 8, 9 e 25 del Regolamento;

RAVVISATA, pertanto, la necessità di disporre – ai sensi dell’art. 58, par. 2, lett. f), del Regolamento – in via d’urgenza, nei confronti di Luka Inc, società statunitense sviluppatrice e gestrice di Replika, in qualità di titolare del trattamento dei dati personali effettuato attraverso l’applicazione in questione, la misura della limitazione provvisoria del trattamento;

RITENUTO che, in assenza di qualsivoglia meccanismo di verifica dell’età degli utenti, nonché, comunque, del complesso delle violazioni rilevate, detta limitazione provvisoria debba estendersi a tutti i dati personali degli utenti stabiliti nel territorio italiano;

RITENUTO necessario disporre la predetta limitazione con effetto immediato a decorrere dalla data di ricezione del presente provvedimento, riservandosi ogni altra determinazione all’esito della definizione dell’istruttoria avviata sul caso;

RICORDATO che, in caso di inosservanza della misura disposta dal Garante, trova applicazione la sanzione penale di cui all’art. 170 del Codice e le sanzioni amministrative previste dall’art. 83, par. 5, lett. e), del Regolamento;

RITENUTO, in base a quanto sopra descritto, che ricorrano i presupposti per l’applicazione dell’art. 5, comma 8, del Regolamento n. 1/2000 sull’organizzazione e il funzionamento dell’ufficio del Garante, il quale prevede che «Nei casi di particolare urgenza e di indifferibilità che non permettono la convocazione in tempo utile del Garante, il presidente può adottare i provvedimenti di competenza dell'organo, i quali cessano di avere efficacia sin dal momento della loro adozione se non sono ratificati dal Garante nella prima riunione utile, da convocarsi non oltre il trentesimo giorno»;

VISTA la documentazione in atti;

TUTTO CIÒ PREMESSO IL GARANTE:

a) ai sensi dell’art. 58, par. 2, lett. f), del Regolamento dispone, in via d’urgenza, nei confronti di Luka Inc, società statunitense sviluppatrice e gestrice di Replika, in qualità di titolare del trattamento dei dati personali effettuato attraverso tale applicazione, la misura della limitazione provvisoria, del trattamento dei dati personali degli utenti stabiliti nel territorio italiano;

b) la predetta limitazione ha effetto immediato a decorrere dalla data di ricezione del presente provvedimento, con riserva di ogni altra determinazione all’esito della definizione dell’istruttoria avviata sul caso.

Il Garante, ai sensi dell’art. 58, par. 1, del Regolamento (UE) 2016/679, invita il titolare del trattamento destinatario del provvedimento, altresì, entro 20 giorni dalla data di ricezione dello stesso, a comunicare quali iniziative siano state intraprese al fine di dare attuazione a quanto prescritto e di fornire ogni elemento ritenuto utile a giustificare le violazioni sopra evidenziate. Si ricorda che il mancato riscontro alla richiesta ai sensi dell’art. 58 è punito con la sanzione amministrativa di cui all'art. 83, par. 5, lett. e), del Regolamento (UE) 2016/679.

Ai sensi dell’art. 78 del Regolamento, nonché degli artt. 152 del Codice e 10 del d.lgs. 1° settembre 2011, n. 150, avverso il presente provvedimento può essere proposta opposizione all’autorità giudiziaria ordinaria, con ricorso depositato al tribunale ordinario del luogo ove ha la residenza il titolare del trattamento dei dati, entro il termine di trenta giorni dalla data di comunicazione del provvedimento stesso, ovvero di sessanta giorni se il ricorrente risiede all’estero.

In Roma, 2 febbraio 2023

IL PRESIDENTE
Stanzione

__________

GARANTE PER LA PROTEZIONE DEI DATI PERSONALI

Having regard to Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 (hereinafter the ‘Regulation’);

Having regard to the Personal Data Protection Code (legislative decree No 196 of 30 June 2003, hereinafter the ‘Code’);

Noting that media outlets recently reported in detail on tests that had been performed on the ‘Replika’ app – which is an AI-powered chatbot equipped with a text and voice interface generating a ‘virtual friend’ users can configure as a friend, partner or mentor; noting that those tests had reportedly pointed to factual risks to minors and, generally speaking, emotionally vulnerable individuals;

Noting that the service provider declares – in the privacy policy as last updated on 5 July 2022 and published on the relevant website – that personal data relating to below-13 children are not collected knowingly, whereas parents and legal guardians are encouraged to monitor use of the Internet by their children, comply with the privacy policy by instructing children to never provide personal data on the service without their authorisation, and contact the platform in case they have reason to believe that a below-13 child has provided personal data so that such data be removed from databases;

Noting, in particular, that the app is classed as suitable for individuals aged above 17 in the two main App Stores, whilst the terms of service as last updated on 14 September 2022 and published on the developer’s website mention that below-13 children are banned from using the app and that below-18 users must be authorised beforehand by their parents or legal guardians;

Whereas the tests carried out on the app as reported by the abovementioned media outlets show that no gating system is in place for children and that utterly inappropriate replies are served to children by having regard to their degree of development and self-conscience;

Having established that no age verification or control procedures are in place on the platform during account creation, and that the system only requires users to provide their names, email accounts, and gender;

Having also established that no banning or blocking mechanisms are triggered even where a user declares explicitly that he or she is underage, and that the chatbot serves ‘replies’ that are clearly at odds with the safeguards children and, more generally, vulnerable individuals are entitled to;

Taking note that several reviews on the two main App Stores include comments by users pointing to the sexually inappropriate contents that are provided by the Replika chatbot;

Noting that Replika is presented both on the developer’s website and in the two main App Stores as a chatbot that can improve users’ mood and emotional welfare by helping them understand their thoughts and feelings, keep track of their mood, learn coping skills (i.e., to control stress), calm their anxiety and work towards goals such as positive thinking, stress management, socialisation and the search for love;

Finding that the above features can also be such as to enhance risks to the vulnerable individuals concerned as they can mostly be traced back to actions on an individual’s mood;

Whereas the aforementioned privacy policy is not to be regarded as compliant with the transparency principles and obligations set out in the Regulation as it fails to disclose whatever information on the key elements of the processing at issue, in particular on the use of children’s personal data, which is in breach of Article 13 of the Regulation;

Whereas such flawed information entails that the legal basis for the individual processing activities by the said chatbot can hardly be determined; whereas one can unquestionably rule out that the legal basis at issue may be traced back, also implicitly, to contractual performance especially as regards children, since children are legally incapacitated under Italian law to enter into a contract for the supply of services such as the one at hand - which entails making available a substantial amount of one’s personal data;

Finding accordingly that the processing of personal data relating to users, in particular underage users, is in breach of Articles 5, 6, 8, 9 and 25 of the Regulation in the light of the aforementioned circumstances;

Deeming therefore that a temporary limitation on the processing is to be ordered urgently under Article 58(2)(f) of the Regulation vis-à-vis Luka Inc., i.e., the US developer and operator of Replika, in its capacity as controller of the processing of personal data that is performed via the app in question;

Finding that the above temporary limitation is to be imposed on all the personal data relating to users in the Italian territory, taking account of the lack of whatever age verification mechanism as well as of the infringements that have been established;

Finding it necessary for the said limitation to be enforced immediately as from the date of receipt of this order, whereby this is without prejudice to such additional determinations as may be made upon finalisation of the ongoing fact-finding activities;

Recalling that failure to comply with a measure ordered by the Garante carries the criminal punishment referred to in Section 170 of the Code along with the administrative fine referred to in Article 83(5)(e) of the Regulation;

Finding in the light of the foregoing considerations that the preconditions are met to apply Article 5(8) of Regulation 1/2000 concerning organisation and operation of the Office of the Garante, whereby ‘If a case is especially urgent and cannot be put off and this prevents the Garante from being convened in due time, the President may take such measures as fall under the scope of competence of the panel; these measures shall cease to be enforceable starting from the date of their adoption if they are not ratified by the Garante in the first meeting suitable for that purpose, which is to be convened within the ensuing thirty days’;

Having regard to the documents on file;

BASED ON THE FOREGOING PREMISES, THE GARANTE

a) orders under Article 58(2)(f) of the Regulation that a temporary limitation be imposed urgently on the processing of personal data relating to users in the Italian territory as performed by Luka Inc., the US-based developer and operator of Replika, in its capacity as controller of the processing of personal data that is carried out via the said app;

b) provides that the said limitation be enforced immediately as from the date of receipt of this order, whereby this shall be without prejudice to such additional determinations as may be made upon finalisation of the ongoing fact-finding activities.

Pursuant to Article 58(1) of the Regulation, the Garante calls upon the controller addressed by this order to provide information within 20 days from the receipt hereof on any steps it may have taken in order to comply with the foregoing measures, and to submit any elements that are deemed helpful in order to account for the aforementioned infringements. It is recalled hereby that failure to comply with an Article 58 request entails imposition of the administrative fine referred to in Article 83(5)(e) of the Regulation.

Under the terms of Article 78 of the Regulation, Section 152 of the Code and Section 10 of legislative decree No 150 of 1 September 2011, this measure may be challenged before judicial authorities by lodging an appeal with the court of the controller’s place of residence within thirty days of the date of communication hereof, or within sixty days of the latter date if the appellant is resident abroad.

Rome, 2 February 2023

THE PRESIDENT
Stanzione