Generative KI, Jugendschutz und Transparenz: Die Datenschutzbehörde sanktioniert den Chatbot Replika

Die Maßnahme erfolgt nach einer anfänglichen vorläufigen Einschränkung der Verarbeitung, die von der Behörde als Dringlichkeitsmaßnahme auferlegt und dann innerhalb von drei Monaten angesichts der von dem US-Unternehmen eingegangenen Verpflichtungen ausgesetzt wurde. Vor allem aber ist sie Teil einer verstärkten Wachsamkeit der Behörde gegenüber dem Einsatz generativer KI-Systeme.

Es genügt, daran zu erinnern, dass die Behörde im November 2024 bereits eine Höchstsanktion von 15 Millionen Euro gegen OpenAI wegen Verstößen im Zusammenhang mit der Nutzung von ChatGPT verhängt hatte, wobei sie kritische Profile hervorhob, die sich fast vollständig mit der hier zu prüfenden Maßnahme überschneiden: Transparenz, Angabe der Rechtsgrundlage der Verarbeitung und Schutz minderjähriger Nutzer.

Zusammenfassend hat die Garante privacy drei Hauptprofile der Nichteinhaltung in Bezug auf A.I. companion Replika hervorgehoben:

Die Maßnahme verpflichtete das US-Unternehmen nicht nur zur Zahlung einer Geldbuße in Höhe von 5 Mio. EUR, sondern auch zur Durchführung einer Reihe von Korrekturmaßnahmen, die darauf abzielen, die Verarbeitung wieder in Einklang mit den Vorschriften zu bringen, wie z. B. die Einführung wirklich wirksamer Altersüberprüfungssysteme und die Überarbeitung - und Übersetzung ins Italienische - der Datenschutzbestimmungen für den Dienst.

Der Fall Replika bietet auch eine wichtige Gelegenheit, die Anwendung des neuesten KI-Gesetzes und seine Koordinierung mit dem bestehenden Datenschutzrahmen zu hinterfragen. Obwohl die europäische KI-Verordnung parallel zur Datenschutz-Grundverordnung (DSGVO) gelten soll, liegt der Schwerpunkt der beiden Instrumente auf Transparenz, Risikobewertung und dem Schutz gefährdeter Nutzer. Die Ermittlung des mit dem jeweiligen System verbundenen Risikoniveaus und die Festlegung von Maßnahmen zur Einhaltung der Vorschriften in einem frühen Stadium der Entwicklung sind Schlüsselelemente für Entwickler, die einen doppelten Plan zur Einhaltung der Vorschriften verwalten müssen.

Abschließend kann die Entscheidung der Behörde als Mahnung an all diejenigen verstanden werden, die auf künstlicher Intelligenz basierende Lösungen entwickeln oder nutzen: Die Aufsichtsbehörde überwacht die auf dem Markt verfügbaren Lösungen sorgfältig und ist bereit, chirurgisch und rechtzeitig zu intervenieren, wenn nötig auch mit Notfallmaßnahmen.

Rechtmäßigkeit, Gerechtigkeit und Transparenz, die Einhaltung der Grundsätze des „eingebauten Datenschutzes“ und der „Standardeinstellungen“ sowie die Sicherheit und Robustheit der technischen Maßnahmen sind regulatorische Voraussetzungen. Das Wissen um die Integration geeigneter Schutzmaßnahmen zum Schutz dieser Grundsätze in eine solide mehrdimensionale Strategie zur Einhaltung der Vorschriften bedeutet nicht nur die Vermeidung von Sanktionen, sondern auch den Aufbau zuverlässiger Produkte, die für den europäischen Markt geeignet sind. Und dies ist bereits heute ein Wettbewerbsvorteil.