Big Brother Is Analyzing You

Die Zeiten, in denen Sicherheitsbehörden nur beobachtet haben, um dann auf der Basis der gewonnenen Informationen zu handeln, sind vorbei. Die Ära der Datenanalyse ist angebrochen: Not only watching – analyzing! Vorhandene Daten sollen schneller gefunden, einfacher verknüpft und effektiver ausgewertet werden; neue Datenerhebungen können hinzutreten. Während bisher Daten in bestimmten zweckgebundenen Dateien gespeichert und dann mit hinreichend spezifischem Anlass abgefragt und (händisch) in die Ermittlungsarbeit einbezogen werden, können algorithmenbasierte Systeme die Datenbestände qualifiziert und automatisiert untersuchen und verknüpfen, um neue Erkenntnisse zu generieren. Aussagekräftige Analysesysteme sind oft Hochrisiko-KI-Systeme i.S.d. KI-Verordnung (EU) 2024/1689, die damit auf die erforderlichen Ermächtigungsgrundlagen der Sicherheitsgesetze erheblichen Einfluss gewinnt. Ihre Regelungen sollten schon jetzt angewendet werden, weil damit die Erfüllung der verfassungsrechtlichen und datenschutzrechtlichen Anforderungen erleichtert wird.

Die Verwirklichung der polizeilichen Datenanalyse erfolgt durch die Anwendung algorithmischer Systeme einschließlich der Nutzung Künstlicher Intelligenz. Wenn und soweit der Einsatz von KI-Systemen unter die KI-Verordnung fällt, treten deren Anforderungen nach Maßgabe der in ihr enthaltenen Übergangsfristen (Art. 111, 113 KI-VO) neben die verfassungsrechtlichen und datenschutzrechtlichen Anforderungen, denen die Gestaltung polizeilicher Datenanalyse ohnehin entsprechen muss. Je nach Einsatzart und Funktionalitäten können Verfahren der automatisierten Datenanalyse dabei als verbotene KI-Systeme oder Hochrisiko-KI-Systeme klassifiziert werden oder aus dem Anwendungsbereich herausfallen. Im Rahmen der aktuellen politischen Diskussionen über ein verschärftes Sicherheitsrecht wird neben der biometrischen Fernidentifizierung auch die Einräumung weitreichender automatisierter Analysebefugnisse an die Sicherheits- und Ausländerbehörden gefordert. Die Gesetzgeber in Bund und den Ländern müssen jetzt die Leitplanken für einen grundrechtsschonenden, vertrauenswürdigen Einsatz von Analyseverfahren setzen. In dem sog. Sicherheitspaket (BT-Drs. 20/12806) ist dies nicht gelungen (siehe die Stellungnahme der Bundesbeauftragten für den Datenschutz und die Informationsfreiheit, S. 2 (Datenanalyse mittels Gesichtserkennung im Internet) und S. 7 (automatisierte Datenanalyse).

Anwendbarkeit der KI-Verordnung auf Verfahren der automatisierten Datenanalyse

Algorithmische Anwendungen fallen unter die Definition der Künstlichen Intelligenz nach Art. 3 Nr. 1 KI-VO, wenn es sich bei dem System um ein maschinengestütztes handelt, das für einen autonomen Betrieb ausgelegt ist und nach seiner Inbetriebnahme anpassungsfähig sein kann. Ein weiteres Merkmal ist, dass es selbstständig oder aufgrund von logik- und wissensgestützten Konzepten (Erwägungsgrund 12) aus eingegeben Daten oder Befehlen Ziele ableitet, wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen, die physische oder virtuelle Umgebungen beeinflussen können. Letzteres dürfte regelmäßig das Ziel sicherheitsbehördlicher Analyseverfahren sein. Entscheidend ist nach der Definition des Art. 3 Nr. 1 KI-VO insbesondere, ob das System auf den autonomen Betrieb ausgelegt oder ob es sich um ein rein deterministisches herkömmliches Softwaresystem handelt. Eine effektive sicherheitsbehördliche Datenanalyse erfordert Systeme, die nicht nur als bessere Suchmaschine fungieren, sondern über selbstständige Funktionen verfügen und entsprechend anpassungsfähig sind. Daher ist die KI-Verordnung regelmäßig auf Systeme sicherheitsbehördlicher Datenanalyse anwendbar.

Automatisierte Datenanalyse als Hochrisiko-KI-System

Die KI-Verordnung verbietet bestimmte KI-Systeme im Kontext von Profiling und Predicitive Policing (Art. 5 KI-VO). Aufgrund ihres risikobasierten Ansatzes enthält sie jedoch besonders umfangreiche Regelungen für Hochrisiko-KI-Systeme (Art 6 ff. KI-VO). Dies ist für sicherheitsbehördliche Analyseverfahren von großer praktischer Bedeutung. Die Polizei- und Strafverfolgungsbehörden können sowohl als Anbieter als auch als Betreiber eines KI-Systems den entsprechenden Pflichten unterliegen. Anbieter können neben Entwicklern und Herstellern alle Akteure (auch Behörden) sein, die KI herstellen, herstellen lassen oder in Verkehr bringen (Art. 3 Nr. 3 KI-VO). Werden solche Analyseverfahren in Eigenregie entwickelt oder in Auftrag gegeben, treffen die Behörden die Anbieterpflichten. Verwenden die Behörden KI-Systeme in eigener Verantwortung, sind sie als Betreiber zu qualifizieren (Art. 3 Nr. 4 KI-VO). Nehmen sie dabei wesentliche Veränderungen vor, z.B. weil landesgesetzliche Regelungen es erfordern, müssen sie zusätzlich die Pflichten der Anbieter von Hochrisiko-KI-Systemen nach Art. 16 KI-VO beachten (Art. 25 Abs. 1 lit. b KI-VO).

KI-Systeme, die unter die Kategorien des Art. 6 KI-VO fallen, gelten gemäß Art. 6 Abs. 3 KI-VO ausnahmsweise dann nicht als hochriskant, wenn von ihnen kein erhebliches Risiko dahin gehend ausgeht, die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen zu beeinträchtigen. Dies ist beispielsweise der Fall, wenn sie das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflussen. Da die Ausnahmeregelung restriktiv auszulegen ist, umfasst sie sicherheitsbehördliche Analyseverfahren in der Regel nicht. Diesen ist eine besondere Grundrechtssensibilität gerade eigen, sonst erreichen sie ihr Ziel nicht, die maßgebliche Entscheidungsgrundlage für Ermittlungen, Verurteilungen und Freiheitsentziehungen zu bilden. Dies erkennt die Rückausnahme des Art. 6 Abs. 3 S. 3 KI-VO für das Profiling ausdrücklich an. Im Ergebnis sind Verfahren der automatisierten Datenanalyse mittels KI-Systemen zum Zwecke der Strafverfolgung nach der KI-Verordnung regelmäßig nicht verboten, aber als Hochrisiko-KI-Systeme nur unter Wahrung hoher Anforderungen zulässig.

Anforderungen an KI-gestützte, automatisierte Datenanalyse-Systeme

Die Tatsache, dass ein eingriffsintensives Verfahren nicht nach der KI-Verordnung verboten ist, hat nicht zur Folge, dass es erlaubt ist (Erwägungsgrund 63). Denn die KI-Verordnung stellt klar, dass die Regelungen der DS-GVO und der JI-Richtlinie (EU) 2016/680 unberührt bleiben. Deren gesetzliche Vorgaben sind immer zu beachten und können dazu führen, dass (nach der KI-Verordnung erlaubte) KI-Systeme nicht rechtmäßig betrieben werden können und damit aufgrund von Datenschutzbestimmungen verboten sein bzw. von den Datenschutzaufsichtsbehörden verboten werden können.

Eine maßgebliche Voraussetzung für den Einsatz eines KI-Systems zur sicherheitsbehördlichen Datenanalyse ist eine hinreichend bestimmte Rechtsgrundlage. Die KI-Verordnung enthält keine einschlägigen Rechtsgrundlagen i.S.d. des Datenschutzrechts. Die Auswertungs- und Kategorisierungsverfahren, die bereits jetzt KI-gestützt von Strafverfolgungsbehörden zur Kategorisierung, Sichtung und Bewertung von Beweismitteln genutzt werden, stützen sich auf Generalklauseln der Strafprozessordnung. Diese Generalklauseln werden jedoch nicht den Anforderungen an Hochrisiko-KI-Systeme und an die Begrenzung spezifischer, grundrechtlicher Risiken gerecht, die bei der Nutzung von KI bestehen. Sie präzisieren weder die materiellen Voraussetzungen, benennen die technischen Verfahren nicht, noch sehen sie spezifische Verfahrensvorkehrungen für den Einsatz von KI vor. Wenn Analyseverfahren biometrische Kategorisierungen und Identifikationen vornehmen, schreibt Artikel 26 Absatz 10 KI-VO Anforderungen an den Betrieb der Verfahren vor, die gesetzlich geregelt werden müssen. Es muss sichergestellt werden, dass die biometrische Fernidentifizierung nur durchgeführt wird, wenn sie sich zielgerichtet gegen eine bestimmte Person richtet und anlassbezogen erfolgt. Anlass kann eine Straftat, ein Strafverfahren oder die Gefahr einer bevorstehenden Straftat sein. Zudem müssen automatisierte Entscheidungen von den Ermittelnden überprüft werden.

Technische Verfahren, die in der Regel zunächst heimlich erfolgen, müssen durch Verfahrensvorkehrungen sicherstellen, dass eine vorherige oder nachträgliche Kontrolle möglich ist. Dazu zählt der Richtervorbehalt, der im Kontext der KI-Verordnung Voraussetzung für eine Maßnahme der biometrischen Fernidentifizierung in Echtzeit (Art. 5 Abs. 3 KI-VO) oder der nachträglichen biometrischen Fernidentifizierung darstellt. Bei sonstigen Hochrisiko-KI-Verfahren wird eine nachträgliche Kontrolle insbesondere durch die Verpflichtung zur Aufzeichnung (Art. 12 KI-VO) ermöglicht, die die Rahmenbedingungen des Einsatzes dokumentieren soll. Diese Protokolle sind für eine gewisse Dauer aufzubewahren (Art. 26 Abs. 6 KI-VO). Dabei gibt es erhebliche Überschneidungen mit der Protokollierungspflicht nach der JI-Richtlinie (EU) 2016/680 sowie mit den Vorgaben des Bundesverfassungsgerichts für automatisierte Datenanalysen, das eine regelmäßige interne und externe Kontrolle auf Grundlage bestimmter Dokumentationen für erforderlich hält (BVerfG, Urteil des Ersten Senats vom 16. Februar 2023, 1 BvR 1547/19 – 1 BvR 2634/20, Rn. 109).

Jedes System der Datenanalyse kann nur zutreffende, aktuelle und damit brauchbare Ergebnisse erzielen, wenn die Qualität der Datenbestände gesichert ist (BVerfG, Urteil des Ersten Senats vom 16. Februar 2021 BvR 1547/19 – 1 BvR 2634/20, Rn. 95). Daher sollten die Datenbestände ausschließlich aktuelle, richtige und rechtmäßig gespeicherte Daten enthalten. Prüfungen der Datenschutzaufsichtsbehörden (z.B. zur Falldatei Rauschgift) haben jedoch gezeigt, dass dies in der Praxis nicht immer der Fall ist. Insbesondere zur zulässigen Speicherung von Daten zum Zwecke der Gefahrenvorsorge und Straftatenverhütung stellt das Bundesverfassungsgericht strenge Anforderungen auf, um zu lange Speicherungen und damit Grundrechtseingriffe zu minimieren (BVerfG, Urteil des Ersten Senats vom 1. Oktober 2024 – 1 BvR 1160/19). Die Informationssysteme und Dateienlandschaft der Polizeien müssen entsprechend bereinigt oder „aufgeräumt“ werden (siehe auch Golla, Sebastian J.: Aufräumen im Datenhaus: Die polizeiliche Datenspeicherung nach BVerfG, BKAG II, VerfBlog, 2024/10/01, DOI: 10.59704/9f09752ec0067580), sonst werden rechtswidrige Zustände durch Weiterverarbeitungen z.B. im Wege der Datenanalyse perpetuiert.

Im Hinblick auf Trainings-, Validierungs- und Testdaten stellt Art. 10 Abs. 2 der KI-Verordnung für Hochrisiko-KI-Systeme wichtige Weichen, um zu verhindern, dass Verfahren mit unrichtigen Daten trainiert und evaluiert werden. Im Rahmen der Aufzeichnungspflicht spielen auch Referenzdatenbanken und Eingaben eine wichtige Rolle, da die Algorithmen und KI-Systeme auf Basis dieser Daten Ableitungen vornehmen. Anforderungen an diese Datenbestände werden allerdings explizit nur im Hinblick auf die biometrische Fernidentifizierung formuliert (z.B. Erwägungsgrund 32). Für den Fall, dass sich KI-Systeme selbst trainieren – also lernen -– dürfte die Qualität der Referenzdatenbanken, auch zur Vermeidung von Diskriminierungen und Bias,– immer von den Betreibern überwacht werden müssen. Hierzu hätte man sich von der KI-Verordnung eine stärkere Betonung der Betreiberpflichten gewünscht.

Transparenz- und Informationspflichten sind wichtige Bestandteile rechtskonformer KI-Systeme. Damit soll dem Blackbox-Phänomen und der mutmaßlichen „Unerklärbarkeit“ solcher Systeme begegnet werden. Die Informationspflichten spielen vor allem zwischen Anbieter und Betreiber (Art. 13 KI-VO) und im Verhältnis beider zur KI-Aufsicht (Art 21 KI-VO) eine wichtige Rolle. Darüber hinaus haben betroffene Personen Informationsrechte, insbesondere das Recht auf Erläuterung der Entscheidungsfindung im Einzelfall als KI-spezifisches Betroffenenrecht (Art. 86 KI-VO). Dieses Recht kann geltend gemacht werden, wenn Personen von einer Entscheidung betroffen sind, die der Betreiber auf Grundlage von Ergebnissen von Hochrisiko-KI-Systeme getroffen hat und diese Entscheidung sie beeinträchtigt. Im Vergleich zu den allgemeinen Informationspflichten nach Art. 13 der Richtlinie (EU) 2016/680 könnten diese spezifischen Informationen einen echten Mehrwert bieten. Das gilt auch im Vergleich zu den Benachrichtigungspflichten, die von den Strafverfolgungsbehörden zu erfüllen sind und sich auf bestimmte Rahmeninformationen beschränken.

Schon die Wahrung der Menschenwürde gebietet es, dass Strafverfolgungsbehörden, nicht Maschinen über die Schicksale von Menschen entscheiden lassen. Vor diesem Hintergrund wurde die menschliche Überprüfung als grundrechtssichernde Verfahrensvorkehrung bei automatisierten Abgleichmaßnahmen wie der Rasterfahndung oder der automatisierten Kennzeichenerfassung eingeführt. Auch die JI-Richtlinie (EU) 2016/680 stellt Verfahren der automatisierten Entscheidungsfindung im Einzelfall unter den Vorbehalt, dass ein persönliches Eingreifen seitens des Verantwortlichen immer gewährleistet wird. Die in der KI-Verordnung verankerte menschliche Aufsicht geht darüber noch weit hinaus. Sie gewährleistet nicht nur eine menschliche Evaluation der Ergebnisse, sondern sieht zudem vor, dass die menschliche Aufsicht die Funktionsweise des Verfahrens überwacht, und bei Anomalien intervenieren kann, bis hin zum Stoppen des Verfahrens. Außerdem soll sie sich des sogenannten Automatisierungsbias, also des übermäßigen Vertrauens in die Ergebnisse des Systems, bewusst sein und die Fähigkeit besitzen, die Ergebnisse der Hochrisiko-KI-Systeme richtig zu interpretieren. Das Konzept der menschlichen Aufsicht trägt dem Umstand Rechnung, dass es sich bei diesen komplexen Verfahren nicht um einen automatisierten Abgleich handelt, sondern um eine Vielzahl von Abgleichs- und maschinellen Denkprozessen. Diese Prozesse sollen durchgehend begleitet werden, um die Risiken, die von Hochrisiko-KI-Systemen ausgehen, zu beherrschen. Gerade derartige Anforderungen, die die technischen Hintergründe der Verfahren noch passgenauer in den Blick nehmen, runden die Konzepte des Datenschutz- und Verfassungsrechtes ab.

Fazit und Ausblick

Die Anwendbarkeit der KI-Verordnung ergänzt und präzisiert den bestehenden Rahmen, der durch die verfassungsgerichtliche Rechtsprechung und das Datenschutzrecht für den Einsatz von Verfahren der automatisierten Datenanalyse bereits gesetzt wurde. Besonders die im Vergleich zu den Anforderungen des Bundesverfassungsgerichts und der JI-Richtlinie (EU) 2016/680 erweiterten Transparenz- und Dokumentationspflichten sowie das Konzept menschlicher Aufsicht können zu einem vertrauenswürdigen Einsatz von KI-Verfahren zu Strafverfolgung und Gefahrenabwehr beitragen.

Der EuGH wird seine Rechtsprechung zu den Artikeln 7 und 8 der Grundrechtecharta künftig auf KI-Systeme ausdehnen, wenn diese zum Beispiel bei der Sammlung von Passagierdaten im Flugverkehr oder der Erhebung von Daten aus der Telekommunikation eingesetzt würden. Das Bundesverfassungsgericht hat bereits klare Rahmenbedingungen formuliert. Nun sind die Gesetzgeber am Zug. Auch wenn die Übergangsfristen der KI-VO es nicht erfordern, sollten sie die grundrechtssichernden Anforderungen der KI-VO schon jetzt umsetzen. Denn spezifische Regelungen für KI tragen zu belastbaren und zukunftsträchtigen Lösungen bei, die angesichts der Eingriffsintensität der Maßnahmen bereits jetzt erforderlich sind. Dies gilt für die Anforderungen an menschliche Aufsicht oder die Sicherstellung der Möglichkeit persönlichen Eingreifens ebenso wie für die Erfordernisse eines konkreten Anlasses oder des Eingrenzens des Kreises betroffener Personen. Damit wird die KI-Verordnung zu einem relevanten Faktor für einen grundrechtsschonenden Einsatz von sicherheitsbehördlichen Analysesystemen und damit zu einem Gewinn für Freiheitssicherung im Kontext von Strafverfolgung in der digitalen Welt.