Um die Website zu personalisieren und Ihnen den größten Mehrwert zu bieten, verwenden wir Cookies. Unter anderem dienen sie der Analyse des Nutzerverhaltens, um herauszufinden wie wir die Website für Sie verbessern können. Durch Nutzung der Website stimmen Sie ihrem Einsatz zu. Weitere Informationen finden Sie in unseren Datenschutzbestimmungen.



Generative KI, Jugendschutz und Transparenz: Die Datenschutzbehörde sanktioniert den Chatbot Replika

PrintMailRate-it

​​​veröffentlicht am 27. Mai 2025​​ | Lesedauer ca. 3 Minuten​


Ausgehend von einer Untersuchung, die im Jahr 2023 aufgrund einer Reihe von Presseartikeln eingeleitet wurde, hat die italienische Datenschutzbehörde ("Garante privacy„) mit einer Maßnahme vom 10. April 2025 das US-amerikanische Unternehmen Luka Inc. und Entwickler des bekannten Chatbots für Erwachsene "Replika“ wegen schwerwiegender und systematischer Verstöße bei der Verwaltung der personenbezogenen Daten der Nutzer des Dienstes sanktioniert.

Die Maßnahme erfolgt nach einer anfänglichen vorläufigen Einschränkung der Verarbeitung, die von der Behörde als Dringlichkeitsmaßnahme auferlegt und dann innerhalb von drei Monaten angesichts der von dem US-Unternehmen eingegangenen Verpflichtungen ausgesetzt wurde. Vor allem aber ist sie Teil einer verstärkten Wachsamkeit der Behörde gegenüber dem Einsatz generativer KI-Systeme.

Es genügt, daran zu erinnern, dass die Behörde im November 2024 bereits eine Höchstsanktion von 15 Millionen Euro gegen OpenAI wegen Verstößen im Zusammenhang mit der Nutzung von ChatGPT verhängt hatte, wobei sie kritische Profile hervorhob, die sich fast vollständig mit der hier zu prüfenden Maßnahme überschneiden: Transparenz, Angabe der Rechtsgrundlage der Verarbeitung und Schutz minderjähriger Nutzer.

Zusammenfassend hat die Garante privacy drei Hauptprofile der Nichteinhaltung in Bezug auf A.I. companion Replika hervorgehoben:
  • die fehlende - punktuelle und granulare - Identifizierung der Rechtsgrundlagen im Zusammenhang mit den durch den Chatbot verfolgten Verarbeitungszwecken;
  • die Annahme einer absolut generischen, undurchsichtigen und zweideutigen Datenschutzerklärung, die zudem nur in englischer Sprache verfügbar ist;
  • die Unzulänglichkeit der Maßnahmen, die ergriffen wurden, um den Zugang von Minderjährigen zu verhindern, die trotz der gegenteiligen Erklärungen des Verantwortlichen auf jeden Fall die Möglichkeit gehabt hätten, den Dienst relativ leicht zu nutzen.

Die Maßnahme verpflichtete das US-Unternehmen nicht nur zur Zahlung einer Geldbuße in Höhe von 5 Mio. EUR, sondern auch zur Durchführung einer Reihe von Korrekturmaßnahmen, die darauf abzielen, die Verarbeitung wieder in Einklang mit den Vorschriften zu bringen, wie z. B. die Einführung wirklich wirksamer Altersüberprüfungssysteme und die Überarbeitung - und Übersetzung ins Italienische - der Datenschutzbestimmungen für den Dienst.

Der Fall Replika bietet auch eine wichtige Gelegenheit, die Anwendung des neuesten KI-Gesetzes und seine Koordinierung mit dem bestehenden Datenschutzrahmen zu hinterfragen. Obwohl die europäische KI-Verordnung parallel zur Datenschutz-Grundverordnung (DSGVO) gelten soll, liegt der Schwerpunkt der beiden Instrumente auf Transparenz, Risikobewertung und dem Schutz gefährdeter Nutzer. Die Ermittlung des mit dem jeweiligen System verbundenen Risikoniveaus und die Festlegung von Maßnahmen zur Einhaltung der Vorschriften in einem frühen Stadium der Entwicklung sind Schlüsselelemente für Entwickler, die einen doppelten Plan zur Einhaltung der Vorschriften verwalten müssen.

Abschließend kann die Entscheidung der Behörde als Mahnung an all diejenigen verstanden werden, die auf künstlicher Intelligenz basierende Lösungen entwickeln oder nutzen: Die Aufsichtsbehörde überwacht die auf dem Markt verfügbaren Lösungen sorgfältig und ist bereit, chirurgisch und rechtzeitig zu intervenieren, wenn nötig auch mit Notfallmaßnahmen.

Rechtmäßigkeit, Gerechtigkeit und Transparenz, die Einhaltung der Grundsätze des „eingebauten Datenschutzes“ und der „Standardeinstellungen“ sowie die Sicherheit und Robustheit der technischen Maßnahmen sind regulatorische Voraussetzungen. Das Wissen um die Integration geeigneter Schutzmaßnahmen zum Schutz dieser Grundsätze in eine solide mehrdimensionale Strategie zur Einhaltung der Vorschriften bedeutet nicht nur die Vermeidung von Sanktionen, sondern auch den Aufbau zuverlässiger Produkte, die für den europäischen Markt geeignet sind. Und dies ist bereits heute ein Wettbewerbsvorteil.

aus dem newsletter

autor

Contact Person Picture

Nicola Sandon

Attorney at law (Italien)

Senior Associate

+39 049 8046 911

Anfrage senden

Profil

Befehle des Menübands überspringen
Zum Hauptinhalt wechseln
Deutschland Weltweit Search Menu