Künstliche Intelligenz und Datenschutz: Orientierung für verantwortungsvolle Nutzung

Als Resonanz auf unseren Artikel über die datenschutzgerechte von KI-Systemen wurden wir gefragt, ob in Deutschland auch Richtlinien zur rechtskonformen Anwendung von KI (in Organisationen) existieren. In Ergänzung zu unserem vorangegangenen Artikel wollen wir deshalb nachfolgend auch die Empfehlungen der Orientierungshilfe der Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (Datenschutzkonferenz – DSK) zu künstlicher Intelligenz und Datenschutz zusammenfassen, auch wenn diese Orientierungshilfe bereits seit Mai 2024 verfügbar ist. Mit dieser Orientierungshilfe möchte die DSK Verantwortlichen eine praxisnahe Grundlage bieten, um KI-Systeme zur Nutzung in Organisationen datenschutzkonform, auszuwählen, einzuführen und zu nutzen.

Klare Zielsetzung und Zweckbindung

Bevor eine KI (in einer Organisation) eingesetzt wird, müssen Verantwortliche präzise festlegen, wofür die Anwendung genutzt werden soll. Diese Zweckbindung ist ein Kernelement des Datenschutzrechts, da nur auf dieser Grundlage überprüft werden kann, ob die Verarbeitung personenbezogener Daten überhaupt erforderlich ist. Gerade öffentliche Stellen sind verpflichtet sicherzustellen, dass der Einsatz innerhalb ihres gesetzlichen Auftragsrahmens bleibt.

Zugleich müssen Organisationen prüfen, ob ein Einsatzfeld rechtlich zulässig ist. Manche Praktiken sind nach der geplanten EU-KI-Verordnung von vornherein verboten, etwa Social Scoring oder biometrische Echtzeitüberwachung. Hier gilt: Was unzulässig ist, darf auch nicht ausprobiert werden.

Interessant ist, dass es auch Anwendungsfelder gibt, in denen keine personenbezogenen Daten anfallen – beispielsweise bei rein naturwissenschaftlichen Analysen oder bei Code-Optimierungen ohne Personenbezug. In solchen Fällen greift das Datenschutzrecht nicht. Allerdings muss gründlich geprüft werden, ob nicht doch indirekt ein Personenbezug entstehen kann.

Rechtsgrundlagen und Grenzen automatisierter Entscheidungen

Sobald personenbezogene Daten verarbeitet werden, braucht es eine Rechtsgrundlage. Je nach Kontext können unterschiedliche Bestimmungen einschlägig sein – vom Arbeitsrecht über den Behandlungsvertrag im Gesundheitswesen bis hin zu Art. 6 Abs. 1 DS-GVO. Bei besonders sensiblen Daten (etwa Gesundheits- oder Religionsdaten) gilt zusätzlich Art. 9 DS-GVO mit strengeren Anforderungen.

Ein besonders wichtiger Punkt: Entscheidungen mit Rechtswirkung dürfen nicht allein durch KI getroffen werden. Nach Art. 22 DS-GVO ist eine menschliche Letztentscheidung erforderlich. Die Verantwortung darf also nicht einfach an den Algorithmus delegiert werden. Lediglich in eng umrissenen Ausnahmefällen, etwa bei automatisierten Verwaltungsakten mit klar gebundenen Entscheidungen, ist eine Abweichung erlaubt.

Geschlossene oder offene Systeme?

Die Orientierungshilfe unterscheidet klar zwischen geschlossenen und offenen Systemen.

• Geschlossene Systeme werden lokal oder in einer kontrollierten Umgebung betrieben. Daten bleiben innerhalb des geschützten Bereichs, und es erfolgt keine Weitergabe an den Anbieter.

• Offene Systeme hingegen, etwa frei zugängliche Cloud-Dienste, bringen erhebliche Risiken mit sich: Daten verlassen den Kontrollbereich, können für Trainingszwecke genutzt werden oder in Drittstaaten gelangen.

Aus Datenschutzsicht sind daher geschlossene Systeme vorzuziehen, insbesondere wenn sensible oder vertrauliche Daten betroffen sind.

Transparenz und Betroffenenrechte

Ein zentrales Problem im Umgang mit KI ist die mangelnde Nachvollziehbarkeit. Verantwortliche müssen jedoch in der Lage sein, die Logik, Tragweite und möglichen Auswirkungen von KI-gestützten Prozessen verständlich zu erklären. Das gilt insbesondere bei automatisierten Entscheidungen. Visualisierungen oder vereinfachte Darstellungen können hier helfen.

Darüber hinaus müssen die Betroffenenrechte praktisch umsetzbar sein. Personen haben Anspruch auf:

• Berichtigung falscher Daten,

• Löschung nach Art. 17 DS-GVO,

• Einschränkung der Verarbeitung, Übertragbarkeit und Widerspruch.

Dies erfordert oft technische Anpassungen, etwa durch Fine-Tuning oder Mechanismen, die sicherstellen, dass gelöschte Daten nicht erneut ins System zurückfließen. Filterlösungen können hilfreich sein, ersetzen aber keine echte Löschung.

Interne Organisation und Verantwortlichkeiten

Damit KI datenschutzkonform eingesetzt wird, braucht es klare Zuständigkeiten.

• Nutzt eine Organisation ein KI-System ausschließlich für eigene Zwecke, ist sie in der Regel allein verantwortlich.

• Wird ein externes System genutzt, etwa als Cloud-Dienst, besteht meist ein Auftragsverarbeitungsverhältnis nach Art. 28 DS-GVO.

• Treffen mehrere Stellen gemeinsam Entscheidungen über Zwecke und Mittel der Verarbeitung, liegt eine gemeinsame Verantwortlichkeit vor, die vertraglich geregelt werden muss (Art. 26 DS-GVO).

Fehlen klare interne Regeln, besteht das Risiko, dass Beschäftigte eigenmächtig KI nutzen – und damit unbeabsichtigte Datenschutzverstöße verursachen. Daher empfiehlt die DSK ausdrücklich Dienstanweisungen oder Betriebsvereinbarungen, die festlegen, wann und wie KI genutzt werden darf.

Datenschutz-Folgenabschätzung und technische Sicherheit

In vielen Fällen ist vor dem Einsatz eine Datenschutz-Folgenabschätzung (DSFA) erforderlich, weil KI regelmäßig ein hohes Risiko für die Rechte Betroffener birgt. Dabei müssen Art, Zweck, Umfang und Umstände der Verarbeitung bewertet werden. Aufsichtsbehörden veröffentlichen zudem Listen, in welchen Fällen eine DSFA zwingend vorgeschrieben ist.

Parallel dazu gilt das Prinzip „Privacy by Design and Default“: Systeme müssen schon von ihrer Konzeption her so gestaltet sein, dass Datenschutzstandards eingehalten werden. Beispielsweise sollten Eingaben standardmäßig nicht für Trainingszwecke gespeichert und Chat-Historien nicht dauerhaft festgehalten werden.

Auch die IT-Sicherheit spielt eine zentrale Rolle. KI-Systeme müssen die gängigen Standards zu Vertraulichkeit, Integrität und Verfügbarkeit erfüllen, um unberechtigte Zugriffe oder Datenlecks zu verhindern. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) bietet hierzu konkrete Empfehlungen.

Schutz und Sensibilisierung der Beschäftigten

Für die berufliche Nutzung von KI sollen Arbeitgeber eigene Accounts und Geräte bereitstellen. Beschäftigte sollten nicht gezwungen sein, private Accounts zu verwenden, da dies unnötige Profile über sie entstehen lassen könnte. Statt personenbezogener Logins empfiehlt sich die Nutzung von Funktionsadressen.

Darüber hinaus ist es wichtig, die Mitarbeitenden zu schulen. Sie müssen wissen, welche Daten sie eingeben dürfen, welche Risiken bestehen und wie sie mit den Ergebnissen umgehen sollen. Ohne Bewusstsein für die Gefahren droht eine unkontrollierte Nutzung.

Nutzung in der Praxis: Eingaben, Ausgaben und Risiken

In der täglichen Nutzung gilt besondere Vorsicht. Schon scheinbar harmlose Eingaben können personenbezogene Bezüge haben. So kann die Bitte, ein Arbeitszeugnis für einen „Kundenberater im Autohaus X“ zu erstellen, indirekt Rückschlüsse auf eine konkrete Person zulassen. Ebenso können KI-Systeme Ausgaben erzeugen, die personenbezogene Daten enthalten – auch wenn die Eingabe anonym war. In solchen Fällen müssen Verantwortliche prüfen, ob eine Rechtsgrundlage besteht und ob Betroffene informiert werden müssen.

Besondere Vorsicht ist bei sensiblen Daten geboten: Gesundheitsinformationen, politische Überzeugungen oder biometrische Merkmale dürfen nur in sehr engen Ausnahmefällen verarbeitet werden.

Zudem betont die Orientierungshilfe, dass die Richtigkeit der Ergebnisse nicht vorausgesetzt werden darf. LLMs können falsche oder veraltete Informationen liefern. Vor jeder Weiterverarbeitung muss eine sorgfältige Prüfung erfolgen.

Schließlich sind KI-Systeme auch auf mögliche Diskriminierungen zu überprüfen. Ergebnisse, die bestimmte Gruppen benachteiligen, können nicht nur unethisch, sondern auch rechtswidrig sein. Ein Beispiel: Eine KI empfiehlt, für eine Stelle bevorzugt Männer einzustellen. Eine solche Empfehlung verstößt klar gegen das Allgemeine Gleichbehandlungsgesetz (AGG) und darf nicht Grundlage für Entscheidungen sein.

Fazit: Verantwortlicher Umgang mit KI ist Pflicht

Die Orientierungshilfe der DSK macht deutlich: KI kann wertvolle Unterstützung bieten, doch ihr Einsatz ist nur dann zulässig, wenn er die Grundsätze des Datenschutzrechts respektiert. Organisationen müssen:

• den Zweck klar definieren,

• eine Rechtsgrundlage sichern,

• auf geschlossene Systeme setzen,

• Transparenz und Betroffenenrechte gewährleisten,

• und eine laufende Prüfung von Risiken, Richtigkeit und Diskriminierung durchführen.

Die Botschaft ist eindeutig: KI darf nicht zum Selbstläufer werden. Menschliche Verantwortung, klare Regeln und technische Sicherheitsmaßnahmen sind unerlässlich, um das Vertrauen in die Technologie zu sichern und die Rechte der Betroffenen zu schützen.

Dieser Artikel enthält lediglich allgemeine Erwägungen zum beschriebenen Thema und stellt weder Rechtsberatung noch ein Angebot auf Erbringung von rechtlicher oder anderer Beratung dar. Durch das Besuchen dieser Webseite wird kein Mandatsverhältnis begründet. Die Bezeichnung “MAYRFELD” bezieht sich stets auf die MAYRFELD Rechtsanwälte PartG mbB. Die Bezeichnung “Partner” bezieht sich stets auf die Gesellschafter der MAYRFELD Rechtsanwälte PartG mbB. Die  Haftung für diesen Artikel oder dessen Inhalts sämtlicher für MAYRFELD handelnden Personen, ganz gleich ob als Gesellschafter, Angestellter oder Berater ist ausgeschlossen. Dieser Artikel dient lediglich der Information über bestimmte Rechtsentwicklungen. Er enthält keine vollständige Analyse der jeweiligen Rechtslage und stellt keine rechtlich verbindliche Stellungnahme von MAYRFELD zur Rechtslage dar. Die Beantwortung von Fragen zur Rechtslage kann nur im Rahmen eines konkreten Mandatsverhältnisses erfolgen.

Weitere Informationen über MAYRFELD erhalten Sie unter www.mayrfeld.com.