KI und Datenschutz im Unternehmen



Dr. Sener Dincer

Rechtsanwalt

Zuletzt aktualisiert

23. April 2026 • 18 Min Lesezeit

Das Wichtigste in Kürze

Wer braucht eine Rechtsgrundlage für KI-Einsatz?: Wer KI-Tools wie Sprachmodelle oder Chatbots mit Kundendaten nutzt, verarbeitet personenbezogene Daten und braucht nach Art. 6 Abs. 1 DSGVO eine tragfähige Rechtsgrundlage - fehlt sie, ist die gesamte Verarbeitung rechtswidrig.
Wie hoch sind Bußgelder bei KI-Verstößen?: Die italienische Datenschutzbehörde hat 2024 ein Bußgeld von 15 Millionen Euro wegen DSGVO-Verstößen beim KI-Training verhängt - die Durchsetzung nimmt zu.
Was erfordert datenschutzkonformer KI-Einsatz?: Ob Rechtsgrundlage, Datenschutz-Folgenabschätzung oder Auftragsverarbeitungsvertrag - jeder KI-Einsatz erfordert eine individuelle Prüfung der Datenschutzanforderungen.

Individuelle Prüfung

Jeder Fall ist speziell. Lassen Sie uns Ihren Sachverhalt unverbindlich prüfen.

Soforthilfe anfragen Artikel weiterlesen

Künstliche Intelligenz verändert Geschäftsprozesse in nahezu jeder Branche - von der automatisierten Kundenkommunikation bis zur datengestützten Personalauswahl.

Bei KI-Einsatz mit personenbezogenen Daten gelten DSGVO und KI-Verordnung parallel, wobei die KI-Verordnung nach Art. 113 Verordnung (EU) 2024/1689 erst ab 2025/2026 voll anwendbar wird.

Wer KI im Unternehmen einsetzt, ohne die datenschutzrechtlichen Anforderungen zu kennen, riskiert Bußgelder, Untersagungsverfügungen und Reputationsschäden. Bei konkretem Handlungsbedarf bietet unsere Beratung zu DSGVO Abmahnung die passende rechtliche Vertiefung.

Dieser Ratgeber beantwortet drei Fragen:

Welche Rechtsgrundlage braucht der KI-Einsatz und wann reicht ein berechtigtes Interesse?
In welchen Fällen ist eine Datenschutz-Folgenabschätzung zwingend erforderlich?
Wie greifen DSGVO und die neue KI-Verordnung ineinander - und was bedeutet das für die Praxis?

Was bedeutet KI-Einsatz aus Datenschutzsicht?

Künstliche Intelligenz und Datenschutz stehen nicht im Widerspruch, erfordern aber ein Zusammendenken beider Regelungsbereiche von Anfang an.

Sobald ein KI-System personenbezogene Daten verarbeitet - sei es bei der Eingabe, bei der Ausgabe oder beim Training des zugrunde liegenden Modells - gilt die DSGVO vollumfänglich.

Viele Unternehmen unterschätzen, an wie vielen Stellen personenbezogene Daten beim KI-Einsatz ins Spiel kommen. Ein Chatbot, der Kundenanfragen beantwortet, verarbeitet Namen, E-Mail-Adressen und Gesprächsinhalte. Ein KI-gestütztes Bewerbertool analysiert Lebensläufe mit Geburtsdaten, Qualifikationen und Berufserfahrung. Selbst eine Textzusammenfassung kann personenbezogene Daten enthalten, wenn das Ausgangsdokument sie beinhaltet.

Wann personenbezogene Daten ins Spiel kommen

Der Einsatz von KI-Systemen berührt personenbezogene Daten in drei unterschiedlichen Phasen, die datenschutzrechtlich jeweils eigenständig zu bewerten sind.

Nach Art. 4 Nr. 1 DSGVO sind personenbezogene Daten alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen.

In der Eingabephase fließen Daten in das KI-System ein. Wenn ein Mitarbeiter eine Kundenanfrage in ein Sprachmodell eingibt, werden die darin enthaltenen personenbezogenen Daten an den Anbieter übermittelt. Das gilt auch für interne Dokumente, Vertragsentwürfe oder Personalakten, die zur Zusammenfassung oder Analyse hochgeladen werden.

In der Ausgabephase erzeugt das KI-System Ergebnisse, die ihrerseits personenbezogene Daten enthalten können. Eine KI-gestützte Bonitätsprüfung liefert eine Bewertung, die sich auf eine konkrete Person bezieht. Ein Textgenerator kann Namen, Adressen oder andere identifizierende Merkmale in seine Antworten einbetten. Die Einzelheiten dazu behandelt Hintergrund zu AI Act und KI-Verordnung.

Die Trainingsphase ist datenschutzrechtlich besonders heikel.

Werden personenbezogene Daten zum Training eines Modells verwendet, sind diese Informationen im Modell gespeichert - wenn auch nicht als einzelne Datensätze, sondern als statistische Muster.

Bei komplexen, großskaligen KI-Modellen kann das nachträgliche Entfernen einzelner Trainingsbeispiele technisch sehr aufwändig oder nur näherungsweise möglich sein.

Die Einzelheiten dazu behandelt unser Ratgeber zu KI und Urheberrecht.

Die Rollenverteilung zwischen Unternehmen und KI-Anbieter

Die datenschutzrechtliche Rollenverteilung beim KI-Einsatz ist komplexer als bei klassischer Software.

Unternehmen, die ein KI-System nutzen, sind in der Regel Verantwortliche im Sinne der DSGVO - sie bestimmen den Zweck und die Mittel der Datenverarbeitung.

Bei konkretem Handlungsbedarf bietet unsere Unterstützung bei KI-Vertrag die passende rechtliche Vertiefung.

Gemäß Art. 28 DSGVO muss ein Auftragsverarbeitungsvertrag geschlossen werden, wenn ein Auftragsverarbeiter personenbezogene Daten im Auftrag des Verantwortlichen verarbeitet.

Problematisch ist, dass sich viele KI-Anbieter nicht als Auftragsverarbeiter, sondern als eigenständige Verantwortliche positionieren.

Das bedeutet: Sie verarbeiten die eingegebenen Daten auch für eigene Zwecke - etwa zur Modellverbesserung. Ohne einen Auftragsverarbeitungsvertrag (AVV) fehlt dem Unternehmen die Kontrolle darüber, was mit den übermittelten Daten geschieht.

Unternehmen sollten vor der Einführung eines KI-Systems drei Fragen klären:

Bietet der Anbieter einen Auftragsverarbeitungsvertrag an?
Werden eingegebene Daten für eigene Zwecke des Anbieters genutzt, insbesondere zum Modelltraining?
Kann die Datenverarbeitung auf EU-Infrastruktur beschränkt werden?

Die Geschäftsversionen großer KI-Anbieter enthalten in der Regel vertragliche Zusicherungen, dass eingegebene Daten nicht zum Training verwendet werden.

Diese Zusicherungen müssen aber im konkreten Vertrag geprüft werden - pauschale Annahmen reichen nicht aus.

Warum Anonymisierung allein nicht reicht

Anonymisierte Daten fallen nicht unter die DSGVO. Deshalb erscheint Anonymisierung als einfache Lösung: Daten anonymisieren, an die KI übergeben, fertig. In der Praxis scheitert dieser Ansatz regelmäßig.

Nach Erwägungsgrund 26 der DSGVO gelten Daten nur dann als anonym, wenn die betroffene Person auch unter Berücksichtigung aller nach allgemeinem Ermessen wahrscheinlichen Mittel nicht mehr identifizierbar ist.

Die Datenschutzkonferenz (DSK) stellt strenge Anforderungen an eine wirksame Anonymisierung.

Pseudonymisierung - also das Ersetzen von Namen durch Codes - genügt nicht, da die Zuordnung über den Code wiederhergestellt werden kann.

Selbst bei vermeintlich anonymisierten Datensätzen besteht das Risiko der Re-Identifikation, wenn mehrere Merkmale kombiniert werden.

Der Europäische Datenschutzausschuss hat in seiner Stellungnahme 28/2024 vom 17. Dezember 2024 klargestellt, dass KI-Modelle, die mit personenbezogenen Daten trainiert wurden, nicht automatisch als anonym gelten. Ob ein Modell tatsächlich anonym ist, bedarf einer Einzelfallprüfung durch die Aufsichtsbehörden.

Für Unternehmen bedeutet das: Anonymisierung kann ein Baustein in der Datenschutzstrategie sein, aber kein Allheilmittel.

Die Rechtsgrundlage nach Art. 6 DSGVO ist auch bei pseudonymisierten KI-Daten erforderlich.

Drittlandstransfer bei Cloud-KI-Diensten

Viele KI-Systeme werden als Cloud-Dienste betrieben, deren Server in den USA oder anderen Drittländern stehen.

Die Übermittlung personenbezogener Daten in ein Drittland außerhalb der EU ist nur unter bestimmten Voraussetzungen zulässig.

Nach Art. 45 DSGVO darf eine Übermittlung personenbezogener Daten an ein Drittland vorgenommen werden, wenn die Europäische Kommission einen Angemessenheitsbeschluss für dieses Land erlassen hat. Für die USA gilt seit dem 10. Juli 2023 der Angemessenheitsbeschluss zum EU-US Data Privacy Framework.

Der Angemessenheitsbeschluss für die USA gilt allerdings nur für Unternehmen, die sich unter dem EU-US Data Privacy Framework zertifiziert haben.

Unternehmen sollten prüfen, ob ihr KI-Anbieter diese Zertifizierung besitzt. Ist das nicht der Fall,

sind Standardvertragsklauseln nach Art. 46 DSGVO und eine Risikobewertung erforderlich.

In der Praxis empfiehlt sich eine klare Präferenz: KI-Dienste, die eine Verarbeitung auf EU-Infrastruktur anbieten, reduzieren das rechtliche Risiko erheblich.

Viele Anbieter haben inzwischen europäische Rechenzentren eingerichtet, bieten aber nicht immer garantierte Datenlokalisierung.

Der konkrete Vertragstext ist entscheidend.

Sonderfall Open-Source-KI und lokaler Betrieb

Der Betrieb von Open-Source-Modellen auf eigener Infrastruktur erscheint auf den ersten Blick als datenschutzfreundliche Alternative zu Cloud-Diensten. Tatsächlich löst er das Problem der Drittlandsübermittlung, schafft aber neue Compliance-Anforderungen.

Auch bei lokaler Nutzung gilt die DSGVO vollumfänglich.

Die Herkunft der Trainingsdaten ist bei vielen Open-Source-Modellen unklar.

Unternehmen können in der Regel nicht nachvollziehen, ob das Modell mit personenbezogenen Daten trainiert wurde und ob für dieses Training eine Rechtsgrundlage bestand.



Sorgfaltspflichten bei vortrainierten Modellen

Der EDSA hat in seiner Stellungnahme 28/2024 klargestellt, dass Endanwender erhöhte Sorgfaltspflichten treffen, wenn sie ein Modell einsetzen, dessen Training möglicherweise rechtswidrig war. Der lokale Betrieb allein schützt nicht vor diesen Pflichten.

Der lokale Betrieb reduziert bestimmte Risiken - insbesondere den Kontrollverlust über eingegebene Daten. Er erfordert aber eigene technische und organisatorische Maßnahmen: Zugriffskontrollen, Protokollierung, regelmäßige Sicherheitsupdates und eine Datenschutz-Folgenabschätzung, wenn die Verarbeitung ein hohes Risiko birgt.

Welche Rechtsgrundlage braucht der KI-Einsatz?

Die Wahl der richtigen Rechtsgrundlage nach Art. 6 DSGVO ist die zentrale Weichenstellung für jeden KI-Einsatz im Unternehmen.

Ohne tragfähige Rechtsgrundlage ist die gesamte Datenverarbeitung rechtswidrig - unabhängig davon, wie gut die technischen Schutzmaßnahmen sind.

Nach Art. 6 Abs. 1 DSGVO ist die Verarbeitung personenbezogener Daten nur dann rechtmäßig, wenn mindestens eine der dort genannten Bedingungen erfüllt ist.

Für den KI-Einsatz in Unternehmen kommen in der Praxis drei Rechtsgrundlagen in Betracht: das berechtigte Interesse, die Einwilligung und die vertragliche Erforderlichkeit.

Welche Grundlage passt, hängt vom konkreten Einsatzszenario ab.

Berechtigtes Interesse als häufigste Grundlage

Das berechtigte Interesse nach Art. 6 Abs. 1 lit. f DSGVO ist in der Praxis die wichtigste Rechtsgrundlage für den KI-Einsatz in Unternehmen.

Sie erlaubt die Datenverarbeitung ohne Einwilligung der Betroffenen, wenn ein Drei-Stufen-Test bestanden wird.

Der Europäische Datenschutzausschuss hat in seiner Stellungnahme 28/2024 vom 17. Dezember 2024 bestätigt, dass Art. 6 Abs. 1 lit. f DSGVO grundsätzlich eine taugliche Rechtsgrundlage für das Training und den Einsatz von KI-Modellen darstellt, sofern der erforderliche Drei-Stufen-Test durchgeführt wird.

Der Drei-Stufen-Test verlangt:

Legitimes Ziel. Das Unternehmen verfolgt ein nachvollziehbares geschäftliches Interesse. Effizienzsteigerung, Qualitätsverbesserung im Kundenservice oder Prozessautomatisierung sind anerkannte Zwecke.
Erforderlichkeit. Die Datenverarbeitung durch KI muss zur Erreichung des Ziels tatsächlich notwendig sein. Wenn das Ziel auch ohne personenbezogene Daten erreicht werden kann, fehlt die Erforderlichkeit.
Interessenabwägung. Die Interessen des Unternehmens dürfen die Grundrechte der Betroffenen nicht überwiegen.
Faktoren wie die Art der Daten, die Erwartungshaltung der Betroffenen und die getroffenen Schutzmaßnahmen fließen in die Abwägung ein.

In der Praxis scheitert die Interessenabwägung häufig daran, dass Unternehmen sie nicht dokumentieren.

Ein Vermerk in den Datenschutz-Unterlagen, der die Abwägung nachvollziehbar darlegt, ist aber zwingend erforderlich.

Einwilligung - wann sie tatsächlich nötig wird

Die Einwilligung nach Art. 6 Abs. 1 lit. a DSGVO führt beim KI-Einsatz zu Rechtsunsicherheiten und ist im Unternehmenskontext oft schwer umsetzbar.

Gemäß Art. 7 DSGVO muss die Einwilligung freiwillig, informiert, für den bestimmten Fall und unmissverständlich sein. Der Verantwortliche muss nachweisen können, dass die Einwilligung erteilt wurde.

Im Beschäftigungsverhältnis ist die Freiwilligkeit besonders kritisch: Wenn Mitarbeiter faktisch keine Wahl haben, ist die Einwilligung anfechtbar.

Auch beim Training von KI-Modellen mit großen Datenmengen stößt die Einwilligung an ihre Grenzen - es ist kaum möglich, für jeden einzelnen Datenpunkt eine informierte Einwilligung einzuholen.

Die Einwilligung eignet sich daher vor allem für klar abgegrenzte Einsatzszenarien: wenn Kunden bewusst einen KI-Chatbot nutzen, wenn Nutzer ihre Daten freiwillig für personalisierte Empfehlungen freigeben oder wenn Mitarbeiter ein KI-Tool optional verwenden können.

Vertragliche Grundlage bei KI-Dienstleistungen

Wenn der KI-Einsatz unmittelbar der Erfüllung eines Vertrags dient, kommt Art. 6 Abs. 1 lit. b DSGVO als Rechtsgrundlage in Betracht.

Art. 6 Abs. 1 lit. b DSGVO erlaubt die Verarbeitung personenbezogener Daten, sofern sie für die Erfüllung eines Vertrags erforderlich ist, dessen Vertragspartei die betroffene Person ist.

Ein Beispiel: Ein Unternehmen bietet eine KI-gestützte Steuerberatung als vertragliche Leistung an. Die Verarbeitung der Finanzdaten ist für die Leistungserbringung erforderlich und damit über Art. 6 Abs. 1 lit. b DSGVO gedeckt.

Die Grenzen sind aber eng: Eine nachträgliche Nutzung der Daten für Modelltraining ist vom Vertragszweck nicht gedeckt.

Sonderfall besondere Datenkategorien

Verarbeitet die KI besondere Kategorien personenbezogener Daten, gelten verschärfte Anforderungen.

Art. 9 Abs. 1 DSGVO verbietet grundsätzlich die Verarbeitung von Daten, die die rassische oder ethnische Herkunft, politische Meinungen, religiöse Überzeugungen, Gewerkschaftszugehörigkeit, genetische oder biometrische Daten, Gesundheitsdaten oder Daten zum Sexualleben offenbaren.

Im KI-Kontext sind besondere Datenkategorien häufiger betroffen als erwartet.

Eine KI verarbeitet biometrische Daten, wenn sie Fotos zur eindeutigen Identifizierung natürlicher Personen analysiert.

Ein Gesundheits-Chatbot verarbeitet Gesundheitsdaten.

Eine KI in der Personalauswahl kann über Proxyvariablen indirekt auf ethnische Herkunft, Geschlecht oder Behinderung schließen.

Die Verarbeitung ist nur unter den engen Ausnahmen des Art. 9 Abs.

2 DSGVO zulässig - etwa bei ausdrücklicher Einwilligung oder wenn die Verarbeitung aus Gründen eines erheblichen öffentlichen Interesses erforderlich ist.

Für die meisten Unternehmen bedeutet das: Eine KI-Anwendung, die besondere Datenkategorien berührt, braucht neben der Rechtsgrundlage nach Art. 6 zusätzlich eine Ausnahme nach Art. 9 Abs. 2 DSGVO.

Die folgende Übersicht zeigt die drei wichtigsten Rechtsgrundlagen im Vergleich.

 Wischen

Kriterium	Berechtigtes Interesse	Einwilligung
Voraussetzung	Drei-Stufen-Test dokumentieren	Freiwillig, informiert, bestimmt
Widerruf / Widerspruch	Widerspruchsrecht nach Art. 21 DSGVO	Jederzeit frei widerrufbar
Praxistauglichkeit bei KI	Hoch bei sauberer Dokumentation	Gering bei Massenverarbeitung
Typischer Einsatz	Chatbots, Prozessoptimierung	Freiwillige Nutzertools, Empfehlungen

Ergänzend kommt Art. 6 Abs.

1 lit. b DSGVO in Betracht, wenn die KI-gestützte Verarbeitung unmittelbar der Erfüllung eines bestehenden Vertrags dient.

Die Grenzen sind hier eng: Nur die für den Vertragszweck erforderliche Verarbeitung ist gedeckt.

Wann ist eine Datenschutz-Folgenabschätzung Pflicht?

Eine Datenschutz-Folgenabschätzung (DSFA) ist beim Einsatz von KI-Systemen häufiger erforderlich, als viele Unternehmen annehmen.

Sie ist kein optionaler Prüfschritt, sondern eine gesetzliche Pflicht, die bei Verstößen bußgeldbewehrt ist.

Nach Art. 35 Abs. 1 DSGVO ist eine Datenschutz-Folgenabschätzung zwingend erforderlich, wenn eine Form der Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat.

Die Datenschutzkonferenz hat KI-Anwendungen in ihre Positivliste aufgenommen: KI-Systeme, die zur Steuerung der Interaktion mit Betroffenen oder zur Bewertung persönlicher Aspekte eingesetzt werden, lösen regelmäßig eine DSFA-Pflicht aus.

Typische KI-Szenarien mit DSFA-Pflicht

Die Datenschutzkonferenz nennt in ihrer Positivliste nach Art. 35 Abs. 4 DSGVO unter Nr. 11 explizit den Einsatz von KI-Systemen zur Steuerung der Interaktion mit Betroffenen oder zur automatisierten Bewertung persönlicher Aspekte als Verarbeitungstätigkeit, für die eine Datenschutz-Folgenabschätzung durchzuführen ist.

Folgende KI-Einsatzszenarien lösen typischerweise eine DSFA-Pflicht aus:

KI-gestützte Personalauswahl. Automatisiertes Screening von Bewerbungen, Ranking von Kandidaten, Potenzialanalysen. Die Kombination aus Profiling und Entscheidung mit erheblicher Wirkung für die Betroffenen macht eine DSFA unausweichlich.
Scoring und Bonitätsprüfung. Jede KI-basierte Bewertung der Kreditwürdigkeit, Zahlungsfähigkeit oder Zuverlässigkeit natürlicher Personen erfordert eine DSFA.
Kundenservice-Chatbots mit Datenzugriff. Wenn ein KI-Chatbot auf Kundendaten zugreift und personalisierte Antworten liefert, liegt eine Verarbeitung mit hohem Risiko vor.
KI-gestützte Videoüberwachung. Gesichtserkennung, Verhaltensanalyse oder Anomalieerkennung in Videoaufnahmen sind besonders eingriffsintensive Verarbeitungen.
Predictive Analytics im Personalbereich. Kündigungsprognosen, Leistungsbewertungen und Schichtplanung durch KI erfordern eine DSFA wegen des Profilings von Beschäftigten.

Wie eine DSFA für KI-Systeme abläuft

Eine DSFA für KI-Systeme folgt der Struktur des Art. 35 Abs.

7 DSGVO, muss aber KI-spezifische Risiken berücksichtigen, die bei herkömmlicher Datenverarbeitung nicht auftreten.

Art. 35 Abs. 7 DSGVO schreibt als Mindestinhalt einer DSFA vor: eine systematische Beschreibung der Verarbeitungsvorgänge und der Zwecke, eine Bewertung der Notwendigkeit und Verhältnismäßigkeit, eine Bewertung der Risiken für die Rechte und Freiheiten der Betroffenen sowie die vorgesehenen Abhilfemaßnahmen.

Für KI-Systeme empfehlen die DSK und der BfDI eine erweiterte Risikobewertung:

Systembeschreibung. Welche Art von KI wird eingesetzt? Welche Daten fließen ein? Wo wird verarbeitet? Wer hat Zugang?
Zweckbestimmung. Welcher konkrete Verarbeitungszweck wird verfolgt? Ist der Zweck eng genug definiert?
Risikobewertung. Welche Risiken bestehen durch Verzerrungen im KI-Modell? Wie hoch ist die Wahrscheinlichkeit falscher Ergebnisse? Welche Konsequenzen hätte eine fehlerhafte Entscheidung für Betroffene?
Technische und organisatorische Maßnahmen. Welche Schutzmaßnahmen werden getroffen? Gibt es menschliche Kontrolle? Wie werden Betroffenenrechte gewährleistet?
Restrisikobewertung. Sind die Risiken nach Umsetzung der Maßnahmen auf ein vertretbares Maß reduziert?

Ergibt die Datenschutz-Folgenabschätzung, dass die Verarbeitung trotz der vorgesehenen Maßnahmen ein hohes Restrisiko birgt, muss der Verantwortliche gemäß Art. 36 DSGVO vor Beginn der Verarbeitung die zuständige Aufsichtsbehörde konsultieren.

Häufige Fehler bei der Datenschutz-Folgenabschätzung

Die häufigsten Fehler bei der DSFA für KI-Systeme betreffen nicht die formale Durchführung, sondern die inhaltliche Tiefe und die Nachhaltigkeit der Prüfung.

Einmal-Prüfung statt laufendes Monitoring. KI-Systeme verändern sich durch Updates, neue Trainingsdaten oder veränderte Nutzungsszenarien. Eine DSFA, die zum Zeitpunkt der Einführung erstellt wird und danach in der Schublade liegt, verliert schnell ihren Wert.
Unterschätzung von Verzerrungsrisiken. Verzerrungen in Trainingsdaten können diskriminierende Ergebnisse produzieren. Eine DSFA, die diese Risiken nicht systematisch adressiert, ist unvollständig.
Fehlende Betroffenenperspektive. Die DSFA soll die Risiken aus Sicht der Betroffenen bewerten, nicht aus Sicht des Unternehmens. Viele DSFAs bleiben zu technisch und vernachlässigen die tatsächlichen Auswirkungen.
Keine Beteiligung des Datenschutzbeauftragten. Der DSB muss in die DSFA einbezogen werden. In der Praxis wird er häufig erst informiert, wenn die KI-Lösung bereits beschafft oder implementiert ist.



Wesentliche Änderungen erfordern ein Re-Assessment

Wesentliche Änderungen am KI-System - neue Trainingsdaten, erweiterte Einsatzszenarien oder ein Anbieterwechsel - erfordern eine erneute Prüfung der DSFA. Die Aufsichtsbehörden erwarten ein dokumentiertes Verfahren zur regelmäßigen Überprüfung.

Automatisierte Entscheidungen und Informationspflichten

Der Einsatz von KI zur Entscheidungsunterstützung oder zur vollautomatisierten Entscheidungsfindung löst besondere Schutzrechte für Betroffene aus.

Diese Schutzrechte werden in der Praxis häufig übersehen, weil Unternehmen den Anwendungsbereich der einschlägigen Vorschriften unterschätzen.

Wann das Verbot automatisierter Einzelentscheidungen greift

Art. 22 Abs. 1 DSGVO gibt jeder betroffenen Person das Recht, nicht einer ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.

Das Verbot greift, wenn zwei Voraussetzungen gleichzeitig erfüllt sind: Die Entscheidung beruht ausschließlich auf automatisierter Verarbeitung (einschließlich Profiling) und sie entfaltet rechtliche Wirkung oder beeinträchtigt die Person erheblich.

Der Europäische Gerichtshof hat in seinem Urteil vom 7. Dezember 2023 (Rs. C-634/21) entschieden, dass bereits die automatisierte Erstellung eines Wahrscheinlichkeitswertes zur Kreditwürdigkeit eine automatisierte Einzelentscheidung im Sinne von Art. 22 Abs. 1 DSGVO darstellt, sofern von diesem Wert maßgeblich abhängt, ob ein Vertragsverhältnis mit der betroffenen Person begründet wird.

In der Praxis bedeutet das: Wenn eine KI eine Bewerbung ablehnt, einen Kreditantrag zurückweist oder eine Versicherungsprämie festlegt, ohne dass ein Mensch die Entscheidung inhaltlich prüft, kann ein Verstoß gegen Art. 22 DSGVO vorliegen, sofern keine Ausnahme nach Art. 22 Abs. 2 DSGVO greift.

Die Lösung ist eine tatsächliche menschliche Letztentscheidung - keine bloße Bestätigung des KI-Ergebnisses per Knopfdruck.

Grundsatzentscheidung zur Auskunft über KI-Logik

Der EuGH hat in seinem Urteil vom 27. Februar 2025 (Rs. C-203/22) entschieden, dass bei einer automatisierten Entscheidung einschließlich Profiling gegenüber dem Verantwortlichen ein Anspruch auf Erteilung aussagekräftiger Informationen über die involvierte Logik besteht. Diese Informationen müssen in präziser, transparenter und verständlicher Form die Verfahren und Grundsätze darlegen, die konkret dazu führen, dass ein bestimmtes Ergebnis gewonnen wird.

Unternehmen müssen also in der Lage sein, die Entscheidungslogik ihrer KI-Systeme verständlich zu erklären - nicht nur gegenüber Betroffenen, sondern auch gegenüber Aufsichtsbehörden und Gerichten.

Transparenzpflichten gegenüber Kunden und Mitarbeitern

Neben den speziellen Schutzrechten bei automatisierten Entscheidungen treffen Unternehmen umfassende Informationspflichten beim KI-Einsatz.

Art. 13 Abs. 2 lit. f DSGVO verpflichtet den Verantwortlichen, betroffene Personen über das Bestehen einer automatisierten Entscheidungsfindung einschließlich Profiling zu informieren und aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und angestrebten Auswirkungen zu erteilen.

Bei KI-Einsatz mit personenbezogenen Daten müssen die Zwecke der Datenverarbeitung nach Art. 13 Abs. 1 lit. c DSGVO offengelegt werden.

Die Information muss konkret sein - ein pauschaler Hinweis auf “innovative Technologien” reicht nicht aus.

Betroffene müssen verstehen können, welche Daten die KI verarbeitet, zu welchem Zweck und mit welchen möglichen Auswirkungen.

Zusätzlich zur DSGVO entstehen durch die EU-KI-Verordnung neue Transparenzpflichten.

Nutzer müssen erkennen können, wenn sie mit einem KI-System interagieren.

Das betrifft insbesondere Chatbots und generative KI-Systeme, die Texte, Bilder oder Audio erzeugen.

Sonderfall KI in der Personalauswahl

KI-gestützte Personalauswahl ist eines der datenschutzrechtlich sensibelsten Einsatzszenarien.

Sie liegt an der Schnittstelle von DSGVO, KI-Verordnung, Allgemeinem Gleichbehandlungsgesetz und Betriebsverfassungsrecht.

Die EU-KI-Verordnung stuft in Anhang III Nr. 4 KI-Systeme, die in den Bereichen Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit eingesetzt werden, als Hochrisiko-KI-Systeme ein. Darunter fallen unter anderem Systeme zur Einstellung oder Auswahl natürlicher Personen und zur Aufgabenzuweisung auf der Grundlage individueller Merkmale.

Nach § 87 Abs. 1 Nr. 6 BetrVG hat der Betriebsrat ein Mitbestimmungsrecht bei der Einführung und Anwendung von technischen Einrichtungen, die dazu bestimmt sind, das Verhalten oder die Leistung der Arbeitnehmer zu überwachen.

Für Unternehmen ergibt sich ein dreifacher Pflichtenkatalog:

DSGVO. Rechtsgrundlage, DSFA, Transparenz, Schutz vor automatisierten Entscheidungen.
KI-Verordnung. Dokumentation, Qualitätsmanagement, menschliche Aufsicht, Tests auf Verzerrungen.
Betriebsverfassung. Mitbestimmung des Betriebsrats bei der Einführung des KI-Systems.

Das Risiko von Verzerrungen ist bei der Personalauswahl besonders hoch. Historische Bewerbungsdaten können Geschlechter-, Alters- oder Herkunftsbias enthalten, die das KI-System reproduziert.

Unternehmen tragen die Verantwortung, diese Verzerrungen zu erkennen und zu korrigieren - auch wenn das technische Modell von einem Drittanbieter stammt.

KI-Verordnung und DSGVO - was sich seit 2024 ändert

Die EU-KI-Verordnung ergänzt die DSGVO, ersetzt sie aber nicht.

Beide Regelwerke gelten nebeneinander, was für Unternehmen doppelte Compliance-Pflichten bedeutet.

Art. 2 Abs. 7 der EU-KI-Verordnung stellt klar, dass die Verordnung unbeschadet der DSGVO und der Datenschutzrichtlinie für Strafverfolgungsbehörden gilt. Die KI-Verordnung ergänzt den bestehenden Rechtsrahmen, ersetzt ihn aber nicht.

Stufenplan der KI-Verordnung im Überblick

Die KI-Verordnung tritt nicht auf einen Schlag in Kraft, sondern in mehreren Stufen.

Für Unternehmen ist entscheidend, welche Pflichten bereits gelten und welche noch kommen. Einen kompakten Überblick über die EU-Leitlinien zur KI-Verordnung haben wir in einem eigenen Beitrag zusammengefasst.

Seit dem 2. Februar 2025 gelten die Verbote für KI-Systeme mit unannehmbarem Risiko nach Art. 5 der EU-KI-Verordnung. Verboten sind unter anderem manipulative KI, Social Scoring, biometrische Echtzeit-Fernidentifikation in öffentlich zugänglichen Räumen und Emotionserkennung am Arbeitsplatz.

Ebenfalls seit dem 2. Februar 2025 sind Unternehmen gemäß Art. 4 der EU-KI-Verordnung verpflichtet, sicherzustellen, dass ihr Personal, das mit KI-Systemen arbeitet, über ausreichende KI-Kompetenz verfügt.

 Wischen

Zeitpunkt	Regelungsinhalt	Bußgeldrahmen
2. Februar 2025	Verbotene KI-Praktiken, KI-Kompetenzpflicht	Bis 35 Mio. € / 7 % Jahresumsatz
2. August 2025	Pflichten für KI-Modelle mit allgemeinem Verwendungszweck, Governance	Bis 15 Mio. € / 3 % Jahresumsatz
2. August 2026	Vollanwendung für Hochrisiko-KI nach Anhang III	Bis 15 Mio. € / 3 % Jahresumsatz
2. August 2027	Hochrisiko-KI in regulierten Produkten nach Anhang I	Bis 15 Mio. € / 3 % Jahresumsatz nach Art. 99 Abs. 4 KI-VO

Hochrisiko-KI und die Anforderungen an Unternehmen

Anhang III der EU-KI-Verordnung definiert acht Bereiche, in denen KI-Systeme als Hochrisiko eingestuft werden. Dazu gehören unter anderem biometrische Identifizierung, kritische Infrastruktur, Bildung und Berufsausbildung, Beschäftigung und Personalmanagement, Zugang zu wesentlichen Dienstleistungen sowie Strafverfolgung.

Für Anbieter von Hochrisiko-KI-Systemen gelten ab dem 2. August 2026 nach der KI-Verordnung Pflichten wie Qualitätsmanagementsystem, technische Dokumentation, Aufzeichnungspflichten, Transparenz, menschliche Aufsicht und Genauigkeitsanforderungen.

Diese Anforderungen ergänzen die bestehenden DSGVO-Pflichten - sie ersetzen sie nicht.

In der Praxis bedeutet das: Ein Unternehmen, das eine KI zur Bewerbervorselektion einsetzt, muss sowohl eine DSFA nach Art.

35 DSGVO als auch die Hochrisiko-Dokumentation nach der KI-Verordnung erstellen.

Beide Prüfungen können kombiniert werden, ersetzen sich aber nicht gegenseitig.

Verbotene KI-Praktiken seit Februar 2025

Seit dem 2.

Februar 2025 sind bestimmte KI-Praktiken in der EU vollständig verboten.

Die Verbote gelten für alle Unternehmen, unabhängig von Größe oder Branche.

Social Scoring. KI-Systeme, die Personen auf Grundlage ihres sozialen Verhaltens bewerten und daraus Nachteile ableiten.
Manipulative KI. Systeme, die unterschwellige Techniken einsetzen, um das Verhalten von Personen in einer Weise zu beeinflussen, die ihren Interessen schadet.
Biometrische Echtzeit-Fernidentifikation. Gesichtserkennung in Echtzeit im öffentlich zugänglichen Raum ist grundsätzlich verboten, mit eng gefassten Ausnahmen für Strafverfolgungsbehörden.
Emotionserkennung am Arbeitsplatz. KI-Systeme, die Emotionen von Beschäftigten oder Lernenden erkennen sollen, sind verboten, sofern nicht medizinische oder sicherheitsrelevante Gründe vorliegen.

Was die Datenschutzaufsicht fordert

Die deutschen Datenschutzbehörden begleiten den KI-Einsatz aktiv mit Orientierungshilfen und Prüfaktivitäten.

Für Unternehmen sind diese Veröffentlichungen eine wichtige Orientierung, weil sie zeigen, welche Schwerpunkte die Aufsicht bei Prüfungen setzt.

Die Datenschutzkonferenz hat am 6. Mai 2024 die Orientierungshilfe „Künstliche Intelligenz und Datenschutz” veröffentlicht. Sie richtet sich an Unternehmen und Behörden und enthält Leitlinien zum datenschutzkonformen Einsatz von KI-Systemen, insbesondere Sprachmodellen und Chatbots.

Im Juni 2025 hat die Datenschutzkonferenz eine weitere Orientierungshilfe zu empfohlenen technischen und organisatorischen Maßnahmen bei der Entwicklung und beim Betrieb von KI-Systemen veröffentlicht. Sie orientiert sich an den sieben Gewährleistungszielen des Standard-Datenschutzmodells: Datenminimierung, Verfügbarkeit, Vertraulichkeit, Integrität, Intervenierbarkeit, Transparenz und Nichtverkettung.

Der Bundesbeauftragte für den Datenschutz und die Informationsfreiheit hat am 22. Dezember 2025 die Handreichung „KI in Behörden - Datenschutz von Anfang an mitdenken” veröffentlicht. Sie enthält praxisnahe Empfehlungen zur Risikominimierung beim KI-Einsatz, darunter Maßnahmen gegen Halluzinationen, Verzerrungen und unkontrollierten Drittlandstransfer.

Für Unternehmen, die eigene Wissensdatenbanken an Sprachmodelle anbinden, ist die DSK-Orientierungshilfe zu RAG-Systemen vom Oktober 2025 besonders relevant.

Die Konferenz der unabhängigen Datenschutzbehörden von Bund und Ländern hat eine Orientierungshilfe für Unternehmen und Behörden veröffentlicht, die KI-Systeme mit Retrieval Augmented Generation einsetzen möchten. Die Orientierungshilfe bietet rechtliche und technische Hinweise zur Nutzung der Potenziale und zur Risikominimierung bei RAG-Systemen wie unternehmensinternen Chatbots und wissenschaftlichen Assistenzsystemen.

Ein offener Streitpunkt ist die Zuständigkeitsfrage.

Die Bundesregierung sieht die Bundesnetzagentur als nationale KI-Aufsichtsbehörde vor.

Die Datenschutzbehörden kritisieren diese Entscheidung, weil sie eine Aufspaltung der Aufsicht zwischen Datenschutz und KI-Regulierung befürchten.

Bußgelder und Durchsetzung in der Praxis

Die Durchsetzung des Datenschutzrechts bei KI-Systemen hat bereits zu erheblichen Bußgeldern geführt.

Die italienische Datenschutzbehörde (Garante) hat in ihrer Entscheidung vom 2. November 2024, veröffentlicht am 20. Dezember 2024, ein Bußgeld von 15 Millionen Euro gegen OpenAI verhängt. Die Behörde stellte Verstöße gegen die Meldepflicht bei Datenpannen, fehlende Rechtsgrundlage für die Verarbeitung personenbezogener Daten zum KI-Training, Verletzung der Transparenz- und Informationspflichten sowie fehlende Altersverifikation fest.

Dieses Bußgeld zeigt, dass die Aufsichtsbehörden auch gegen große KI-Anbieter vorgehen. Für Unternehmen, die KI-Dienste nutzen, hat das mittelbare Folgen: Wenn der KI-Anbieter die Daten rechtswidrig verarbeitet hat, müssen die Nutzer prüfen, ob sie auf diesem Modell weiter aufbauen können.

Der Europäische Datenschutzausschuss hat in seiner Stellungnahme 28/2024 vom 17. Dezember 2024 festgestellt, dass rechtswidrige Datenverarbeitungen in der Entwicklungsphase eines KI-Modells nicht zwangsläufig zur Unzulässigkeit der späteren Nutzung führen, sondern einer Einzelfallprüfung nach Art. 5 und 6 DSGVO bedürfen.

Praxis-Checkliste für den datenschutzkonformen KI-Einsatz

Die folgenden Schritte helfen, die wichtigsten datenschutzrechtlichen Anforderungen beim KI-Einsatz systematisch abzuarbeiten. Sie ersetzen keine individuelle Rechtsberatung, bieten aber eine belastbare Orientierung für die interne Vorbereitung.

Verarbeitungszweck definieren. Beschreiben Sie genau, welche personenbezogenen Daten die KI verarbeitet und zu welchem Zweck. Ein vages “Effizienzsteigerung” reicht nicht aus.
Rechtsgrundlage festlegen und dokumentieren. Prüfen Sie für jeden KI-Einsatz, welche Rechtsgrundlage nach Art. 6 DSGVO einschlägig ist. Dokumentieren Sie die Interessenabwägung schriftlich.
Auftragsverarbeitungsvertrag prüfen. Stellen Sie sicher, dass ein AVV mit dem KI-Anbieter besteht. Prüfen Sie, ob der Anbieter Daten für eigene Zwecke nutzt.
Datenschutz-Folgenabschätzung durchführen. Prüfen Sie anhand der DSK-Positivliste, ob eine DSFA erforderlich ist. Im Zweifel durchführen - eine überflüssige DSFA schadet nicht, eine fehlende schon.
Informationspflichten umsetzen. Ergänzen Sie Ihre Datenschutzerklärung um Informationen zum KI-Einsatz. Informieren Sie Betroffene über automatisierte Entscheidungen und die involvierte Logik.
Technische Schutzmaßnahmen umsetzen. Stellen Sie sicher, dass keine sensiblen Daten unkontrolliert in KI-Systeme fließen. Implementieren Sie Zugriffskontrollen und Eingaberichtlinien für Mitarbeiter.
KI-Kompetenz schulen. Seit Februar 2025 verlangt die KI-Verordnung, dass alle Mitarbeiter, die mit KI-Systemen arbeiten, über ausreichende Kompetenzen verfügen.
Verarbeitungsverzeichnis aktualisieren. Nehmen Sie alle KI-gestützten Verarbeitungen in Ihr Verzeichnis von Verarbeitungstätigkeiten auf.
Re-Assessment-Prozess einrichten. Prüfen Sie bei wesentlichen Änderungen am KI-System erneut, ob die Datenschutz-Bewertung noch aktuell ist.
Drittlandstransfer prüfen. Klären Sie, ob personenbezogene Daten an Server außerhalb der EU übermittelt werden, und sichern Sie den Transfer durch geeignete Garantien ab.

Wann rechtliche Beratung sinnvoll ist

Die datenschutzrechtliche Bewertung eines KI-Einsatzes ist kein Standardvorgang, den ein Muster-Template abdecken kann. Besonders bei Hochrisiko-KI, bei der Verarbeitung besonderer Datenkategorien oder bei grenzüberschreitender Datenübermittlung empfiehlt sich eine individuelle datenschutzrechtliche Prüfung durch einen spezialisierten Rechtsanwalt.

Wir unterstützen Unternehmen bei der datenschutzkonformen Einführung von KI-Systemen - von der Rechtsgrundlagen-Bewertung über die DSFA bis zum Auftragsverarbeitungsvertrag.

Fazit

Der Einsatz von Künstlicher Intelligenz im Unternehmen ist datenschutzrechtlich machbar, erfordert aber eine strukturierte Herangehensweise. Die zentrale Herausforderung liegt nicht in einzelnen Pflichten, sondern im Zusammenspiel der verschiedenen Regelwerke, die seit 2024 parallel gelten.

Unternehmen, die frühzeitig eine belastbare Rechtsgrundlage dokumentieren, die erforderlichen Folgenabschätzungen durchführen und ihre Informationspflichten ernst nehmen, schaffen die Basis für einen rechtskonformen und langfristig tragfähigen KI-Einsatz.

Wer diese Schritte überspringt, riskiert nicht nur Bußgelder, sondern auch Anordnungen, die den laufenden Betrieb von KI-Systemen untersagen können.

Die aktuelle Rechtslage entwickelt sich weiter.

Die schrittweise Anwendung der europäischen Regulierung bringt bis 2027 weitere Pflichten mit sich.

Wer frühzeitig rechtlichen Rat einholt, vermeidet typische Fehler und verbessert die eigene Ausgangslage erheblich.

Antworten auf einen Blick

Häufige Fragen

Die häufigsten Fragen zum Thema, kompakt beantwortet. Für die vollständige Einordnung bleiben die Abschnitte oben maßgeblich.

Welche Rechtsgrundlage braucht der KI-Einsatz im Unternehmen?

Jeder KI-Einsatz, bei dem personenbezogene Daten verarbeitet werden, braucht eine Rechtsgrundlage nach Art. 6 Abs. 1 DSGVO. In der Praxis kommen drei Grundlagen in Betracht: das berechtigte Interesse (Art. 6 Abs. 1 lit. f), die Einwilligung (Art. 6 Abs. 1 lit. a) und die vertragliche Erforderlichkeit (Art. 6 Abs. 1 lit. b). Das berechtigte Interesse erfordert einen dokumentierten Drei-Stufen-Test. Der EDSA hat in seiner Stellungnahme 28/2024 vom Dezember 2024 klargestellt, dass Art. 6 Abs. 1 lit. f DSGVO als Rechtsgrundlage für das Training und den Einsatz von KI-Modellen in Betracht kommt, sofern die erforderliche dreistufige Interessenabwägung positiv ausfällt und angemessene Schutzmaßnahmen implementiert sind. Fehlt die Rechtsgrundlage, ist die gesamte Verarbeitung rechtswidrig, unabhängig von technischen Schutzmaßnahmen.

Wann ist eine Datenschutz-Folgenabschätzung für KI Pflicht?

Eine DSFA ist nach Art. 35 Abs. 1 DSGVO Pflicht, wenn die KI-Verarbeitung voraussichtlich ein hohes Risiko für Betroffene birgt. Die Datenschutzkonferenz nennt in ihrer Positivliste unter Nr. 11 explizit KI-Systeme zur Steuerung der Interaktion mit Betroffenen oder zur automatisierten Bewertung persönlicher Aspekte. Typische Fälle: KI-gestützte Personalauswahl, Scoring und Bonitätsprüfung, Kundenservice-Chatbots mit Datenzugriff, KI-gestützte Videoüberwachung und Predictive Analytics im Personalbereich. Wesentliche Änderungen am KI-System erfordern ein Re-Assessment. Die DSFA muss KI-spezifische Risiken wie Verzerrungen in Trainingsdaten und fehlerhafte Ergebnisse systematisch adressieren.

Brauche ich einen Auftragsverarbeitungsvertrag mit dem KI-Anbieter?

Ja, wenn der KI-Anbieter personenbezogene Daten im Auftrag des Unternehmens verarbeitet, ist ein AVV nach Art. 28 DSGVO erforderlich. Problematisch ist, dass sich viele KI-Anbieter nicht als Auftragsverarbeiter positionieren, sondern eingegebene Daten auch für eigene Zwecke wie Modellverbesserung nutzen. Geschäftsversionen großer KI-Anbieter enthalten in der Regel vertragliche Zusicherungen, dass Eingabedaten nicht zum Training verwendet werden. Diese Zusicherungen müssen im konkreten Vertrag geprüft werden. Drei Fragen sind vorab zu klären: Bietet der Anbieter einen AVV an? Werden Daten für eigene Zwecke genutzt? Kann die Verarbeitung auf EU-Infrastruktur beschränkt werden?

Was gilt beim Einsatz von Cloud-KI-Diensten aus den USA?

Die Übermittlung an Cloud-KI-Server in den USA ist nur unter bestimmten Voraussetzungen zulässig. Seit dem 10. Juli 2023 gilt der Angemessenheitsbeschluss zum EU-US Data Privacy Framework, allerdings nur für zertifizierte US-Unternehmen. Unternehmen müssen prüfen, ob ihr US-Dienstleister eine aktive DPF-Selbstzertifizierung besitzt und ob diese den konkreten Datentyp und Verarbeitungszweck abdeckt. Ist das nicht der Fall, sind Standardvertragsklauseln nach Art. 46 DSGVO erforderlich plus eine Risikobewertung. KI-Dienste mit garantierter EU-Datenresidenz reduzieren das rechtliche Risiko erheblich. Der konkrete Vertragstext ist entscheidend, nicht die allgemeine Marketing-Aussage des Anbieters zur Datenlokalisierung.

Wann greift das Verbot automatisierter Einzelentscheidungen bei KI?

Das Verbot nach Art. 22 Abs. 1 DSGVO greift, wenn zwei Voraussetzungen gleichzeitig erfüllt sind: Die Entscheidung beruht ausschließlich auf automatisierter Verarbeitung und sie entfaltet rechtliche Wirkung oder beeinträchtigt die Person erheblich. Der EuGH hat am 7. Dezember 2023 (Rs. C-634/21) entschieden, dass bereits die automatisierte Erstellung eines Kreditwürdigkeits-Scores eine solche Entscheidung darstellt, sofern davon maßgeblich die Vertragsbegründung abhängt. Eine tatsächliche menschliche Letztentscheidung ist erforderlich, keine bloße Bestätigung per Knopfdruck. Der EuGH hat am 27. Februar 2025 zudem ein Recht auf verständliche Erklärung der KI-Logik bestätigt.

Was ändert die KI-Verordnung seit 2025 für Unternehmen?

Die EU-KI-Verordnung ergänzt die DSGVO seit 2024 schrittweise. Seit dem 2. Februar 2025 gelten die Verbote für KI mit unannehmbarem Risiko (Social Scoring, manipulative KI, biometrische Echtzeit-Fernidentifikation, Emotionserkennung am Arbeitsplatz) und die KI-Kompetenzpflicht nach Art. 4. Ab August 2025 folgen Pflichten für Allzweck-KI-Modelle, ab August 2026 die Vollanwendung für Hochrisiko-KI nach Anhang III. Bußgelder reichen bis zu 35 Millionen Euro oder 7 Prozent des Jahresumsatzes. Die KI-Verordnung und DSGVO gelten nebeneinander, was für Unternehmen doppelte Compliance-Pflichten bedeutet, die aber kombiniert erfüllt werden können.

Ist der lokale Betrieb von Open-Source-KI datenschutzfreundlicher?

Der Betrieb auf eigener Infrastruktur löst das Problem der Drittlandsübermittlung und des Kontrollverlusts über eingegebene Daten. Die DSGVO gilt aber vollumfänglich auch lokal. Die Herkunft der Trainingsdaten ist bei vielen Open-Source-Modellen unklar, und der EDSA hat in Stellungnahme 28/2024 vom Dezember 2024 klargestellt, dass Endanwender erhöhte Sorgfaltspflichten treffen, wenn das Modelltraining möglicherweise rechtswidrig war. Lokaler Betrieb erfordert eigene TOM: Zugriffskontrollen, Protokollierung, Sicherheitsupdates und eine DSFA bei hohem Risiko. Er reduziert bestimmte Risiken, schafft aber neue Compliance-Anforderungen, die das Unternehmen selbst tragen muss.

Darf ein KI-Anbieter eingegebene Daten zum Modelltraining nutzen?

Ohne vertragliche Grundlage und Rechtsgrundlage nach der DSGVO darf ein KI-Anbieter eingegebene Daten nicht zum Training verwenden. Die italienische Datenschutzbehörde hat im November 2024 ein Bußgeld von 15 Millionen Euro gegen OpenAI verhängt, unter anderem wegen fehlender Rechtsgrundlage für das Training mit personenbezogenen Daten. Geschäftsversionen großer Anbieter sichern vertraglich zu, dass Eingabedaten nicht zum Training genutzt werden. Diese Zusicherung muss im konkreten AVV stehen. Der EDSA hat klargestellt, dass Datenschutzverstöße in der Trainingsphase im schlimmsten Fall zum Verbot des gesamten Modell-Einsatzes führen können.

Welche Informationspflichten bestehen beim Einsatz von KI?

Art. 13 Abs. 2 lit. f DSGVO verpflichtet Unternehmen, betroffene Personen über das Bestehen einer automatisierten Entscheidungsfindung einschließlich Profiling zu informieren und aussagekräftige Informationen über die involvierte Logik, Tragweite und angestrebten Auswirkungen zu erteilen. Der EuGH hat am 27. Februar 2025 (Rs. C-203/22) entschieden, dass diese Informationen in präziser, transparenter und verständlicher Form die Verfahren darlegen müssen, die konkret zu einem Ergebnis führen. Zusätzlich verpflichtet die KI-Verordnung seit 2025 dazu, dass Nutzer erkennen können, wenn sie mit einem KI-System interagieren. Ein pauschaler Hinweis auf „innovative Technologien" genügt nicht.

Welche Bußgelder drohen bei KI-Datenschutzverstößen?

Bei DSGVO-Verstößen im KI-Kontext drohen Bußgelder bis zu 20 Millionen Euro oder 4 Prozent des Jahresumsatzes. Die italienische Datenschutzbehörde hat im November 2024 ein Bußgeld von 15 Millionen Euro gegen OpenAI verhängt. Zusätzlich greifen seit 2025 die Bußgeldrahmen der KI-Verordnung: bis zu 35 Millionen Euro oder 7 Prozent des Jahresumsatzes für verbotene KI-Praktiken, bis zu 15 Millionen Euro oder 3 Prozent für Verstöße bei Hochrisiko-KI. Beide Regelwerke gelten parallel. Der EDSA hat klargestellt, dass Datenschutzverstöße in der Entwicklungsphase eines KI-Modells im schlimmsten Fall zum Verbot des Modell-Einsatzes führen können, was über ein Bußgeld hinausgeht.

Noch offene Fragen?

Wir prüfen Ihre KI-Anwendungen auf DSGVO-Konformität und begleiten Sie von der Rechtsgrundlage bis zur Datenschutz-Folgenabschätzung.

Jetzt Ersteinschätzung anfragen

Beliebte Ratgeber

Zwei Fäuste prallen von beiden Seiten gegen ein schwebendes gläsernes Copyright-Zeichen, das an den Kontaktstellen bricht

Markenrecht