Orwell’sche Gleichgültigkeit und Europäische Demokratie

Stolz wurde am 9. Dezember 2023 verkündet, dass „der KI-Deal steht“ – so ließe sich die damalige Pressemeldung des Rates paraphrasieren. Mittlerweile ist allerdings Besorgnis im Hinblick auf die weitere Ausformung des erzielten Kompromisses angebracht.

Nachdem die Institutionen bei einem langwierigen letzten Treffen innerhalb der Trilog-Verhandlungen zwischen Parlament, Rat und Kommission zu einem „provisional agreement“ fanden, das den langen wie gewundenen Weg der (angeblich) „weltweit ersten“ KI-Regulierung zu einem Ende bringen könnte, scheint sich der für Ende Januar erwartete konkrete Textentwurf des AI Acts in mehrerlei Hinsicht von den dortigen Festlegungen zu entfernen. Waren die mühseligen Verhandlungen merklich vom Ringen der unterschiedlichen Interessenlager geprägt – das Parlament trat für die in Ansätzen vorhandenen grund- und individualrechtlichen Regulierungsaspekte ein, der Rat fokussierte Wirtschaftsförderung und nationale Sicherheit – scheinen letztere Aspekte nunmehr zulasten der ersteren zu dominieren. Besonders beachtens- und bedauernswert sind dabei die Entwicklungen, die sich im Hinblick auf das nunmehr wahrlich als solches zu bezeichnende Nicht-Verbot biometrischer Fernidentifizierung (BFI) zu Zwecken der Strafverfolgung im öffentlichen Raum entfalten, das trotz Verortung im verbotsfokussierten Art. 5 des AI Acts in seiner neuen Gestalt mehr einer weitreichenden Erlaubnis gleicht.

In der Sache lassen sich gewichtige rechtliche Einwände gegen den konkreten Regulierungsansatz vorbringen; noch schwerwiegender lastet allerdings das bedeutsame wie kritische Defizit der demokratischen Legitimierung dieser wichtigen regulatorischen Entscheidung auf den aktuellen Entwicklungen des AI Acts.

Technologische und faktische Hintergründe zur BFI

Bei BFI handelt es sich um die Feststellung der Identität von Personen anhand bestimmter physischer bzw. sich physisch manifestierender Merkmale ohne physische Nähe. Entsprechende Systeme ermöglichen die Bestimmung von Individuen mittels der Analyse von Daten aus verschiedenen technischen Aufzeichnungen, die mit vorhandenen Daten abgeglichen werden. Das geläufigste Beispiel stellen Bewegtbilder aus Überwachungskameras dar, die zur Gesichtserkennung genutzt werden. Dies ist jedoch nur einer von vielen erdenklichen Anwendungsfällen. Die moderne Informationsgesellschaft bietet eine unermessliche Fülle an Daten, welche sich einzeln oder kumuliert dazu eignen, Rückschlüsse auf die Identität von Individuen zu ziehen: Neuere Entwicklungen umfassen etwa die Gangart, Tipp-/Schreibmuster oder Respiration und Herzschlag.

Als Entwicklungsstufe werden Echtzeitsysteme betrachtet, welche nicht auf Basis mittel- oder langfristig zwischengespeicherter Daten arbeiten (Ex-Post-Systeme), sondern bereits praktisch simultan im Moment der Datensammlung Ergebnisse liefern.

BFI kann und wird zu privaten wie staatlichen Zwecken genutzt. Besonders sensibel sind dabei die Strafverfolgung und Gefahrenabwehr, mithin klassisch-polizeilich geprägte Gebiete. Implementiert wurde BFI zu derartigen Zwecken bereits in unterschiedlichen Ländern. China setzt großflächig auf kameragestützte Gesichtserkennung, aber auch das Vereinigte Königreich und die USA haben entsprechende Erfahrungen, selbst Deutschland hat mit dieser Technologie experimentiert.

Die Möglichkeit einer sofortigen bzw. zeitnahen Identifikation gesuchter Individuen bietet unzweifelhaft Vorteile für die Verhinderung und Verfolgung von Straftaten, auch und insbesondere schwerer Art, und fördert damit die Effektivität polizeilicher Arbeit.

Doch auch noch so effektive Mittel müssen sich in ihren Auswirkungen an den geltenden (grund-)rechtlichen Maßstäben messen lassen. Die Etablierung von BFI-Systemen im öffentlichen Raum geht für die zahlenmäßig ungleich überwiegende Menge unbescholtener Menschen, die unausweichlich und letztendlich buchstäblich vor der Kamera stehen müssen, um sich zu bewegen, soziale Aktivitäten wahrzunehmen oder ihren beruflichen Tätigkeiten nachzugehen, mit deutlich nachteiligen Folgen einher: Während sich Stress und Unbehagen als klassische Folgen des Sich-Beobachtet-Fühlens einstellen, sind gerade bei Überwachung Zwang zur Konformität und Vermeidung auffälliger Verhaltensweisen – auch grundrechtlich geschützter, beispielsweise Meinungskundgaben oder Teilnahme an Versammlungen – typische Konsequenzen.

Unionsrechtliche Regulierung – Der Weg zum „Deal“

Der AI Act mit seinen ethischen Fundierungen und ambitionierten Zielsetzungen der Gewährleistung menschenzentrierter, vertrauenswürdiger und ethischer KI befasste sich seit seiner Konzeption mit BFI-bezogener Regulierung. Um die Bedeutung der aktuellen Entwicklungen zu verstehen, ist es unerlässlich, die bisherige Genese in Form von Textstufen (Häberle) der BFI-bezogenen Regelungen im AI Act nachzuvollziehen.

Im zugrundeliegenden Entwurf vom 21.4.2021 verortet die Kommission den Einsatz von Echtzeit-BFI-Systemen im öffentlichen Raum zu Zwecken der Strafverfolgung zwar in Art. 5, der innerhalb des risikobasierten Regulierungsansatzes die höchste Stufe abbildet und zu einem Verbot führt. Dennoch enthält Art. 5 Abs. 1 lit. d KI-VO-E mehrere Ausnahmen: So sollen u.a. die Suche nach vermissten Kindern und Opfern von Straftaten (i), das Abwenden von konkreten, erheblichen und unmittelbaren Gefahren oder Terroranschlägen (ii) sowie das Erkennen, Aufspüren, Identifizieren oder Verfolgen von Tätern schwerer Straftaten (iii) erlaubt sein. Im Ausgleich müssen nach der Konzeption der Kommission die Besonderheiten der jeweiligen Situation und Schutzmaßnahmen beachtet werden (Art. 5 Abs. 2). Weiterhin soll die – im Regelfall vorhergehende – Erlaubnis einer unabhängigen (Justiz-)Behörde nötig sein (Art. 5 Abs. 3). Sonstige BFI-Systeme, d.h. Echtzeit-Systeme außerhalb der Strafverfolgung sowie alle Ex-Post-Systeme, stellen nach der Entwurfsfassung nur (erlaubte, aber gewissen regulatorischen Anforderungen unterworfene) Hochrisikosysteme gem. Art. 6 Abs. 2 dar, wie sich aus Anhang III, Nr. 1 lit. a ergibt.

Der Rat erweiterte mit seiner allgemeinen Ausrichtung vom 25.11.2022 die Einsatzmöglichkeiten entsprechender BFI-Systeme: Die Ausnahmefälle ergänzte er um Gefahren auch für „kritische Infrastrukturen“. Zudem verlegte er mittels der Streichung des qualifizierenden Merkmals der Unmittelbarkeit sowie der Modifikation von der „Abwendung“ hin zu einer „Verhinderung“ von Terroranschlägen den relevanten Zeitpunkt, ab dem die Ausnahmetatbestände greifen sollen, weiter in das Vorfeld möglicher krimineller Aktivitäten. Auch erweiterte er den Katalog der für die dritte Ausnahme maßgeblichen Straftaten.

Das Parlament hingegen vertrat in seinen Abänderungen vom 14.6.2023 eine gegenteilige Position: Es forderte die Entfernung sämtlicher Ausnahmetatbestände, sodass Echtzeit-BFI im öffentlichen Raum insgesamt, d.h. nicht nur zu Strafverfolgungszwecken, unter die ausnahmslos verbotenen Praktiken des Art. 5 KI-VO-E fallen sollte. Mehr noch sollten sogar Ex-Post-BFI-Systeme unter das vollständige Verbot des Art. 5 KI-VO-E fallen.

Zusätzlich muss abseits der spezifisch auf BFI zugeschnittenen Provisionen der Anwendungsbereich des AI Acts gem. Art. 2 KI-VO-E betrachtet werden. Hinsichtlich dieser Grundsatzfrage divergieren die Institutionen ebenfalls: Der Rat forderte in seiner allgemeinen Ausrichtung eine vollständige Bereichsausnahme, insoweit KI-Systeme als Teil von Tätigkeiten in Bezug auf nationale Sicherheit genutzt werden, während Parlament und Kommission keinen solchen Ausschluss vorsehen wollten.

Eine überraschende Wendung

Der zunächst im Rahmen des Trilog-Abschlusses mündliche fixierte Kompromiss ließ bereits vermuten, dass das Parlament seine Position im Wesentlichen nicht durchsetzen konnte. Echtzeit-BFI-Systeme sollten für Zwecke des „Law Enforcements“ ausdrücklich nutzbar bleiben, die Bereichsausnahme für Belange nationaler Sicherheit sollte zudem gelten. Das grundsätzliche Verbot sollte nunmehr auch für Ex-Post-BFI-Systeme gelten, allerdings unter Berücksichtigung von Ausnahmetatbeständen. Letztlich sollte zudem ein Richtervorbehalt fixiert werden.

Dieser „Deal“ scheint im Lichte der zuletzt bekannt gewordenen Details – jedenfalls für die federführende spanische Ratspräsidentschaft – alles andere als verbindlich gewesen zu sein. Nach der aktuell kursierenden Fassung können BFI-Systeme bei der Suche nach verurteilten oder verdächtigen Personen in Bezug auf alle (!) Straftaten eingesetzt werden, die nötige Genehmigung kann bis zu 48 Stunden nach Beginn der Suche und sogar bei einer Verwaltungsbehörde beantragt werden. Für die erstmalige Identifikation von Verdächtigen soll BFI sogar ohne Einschränkungen nutzbar sein, solange sich Anhaltspunkte für den Verdacht einer Straftat finden lassen. Eine trennscharfe, definitive Unterscheidung zwischen Ex-Post- und Echtzeitsystemen fehlt ebenfalls. Die nunmehr in den Erwägungsgründen vorgesehenen Ausführungen, dass BFI-Systeme nicht zur Umsetzung von unterschiedslosen Überwachungsmaßnahmen genutzt werden sollen, erscheinen im Hinblick auf die vorstehenden operativen Normteile als reine Verlegenheitsformulierungen.

Mangelhafte demokratisch-legitimatorische Fundierung des (Nicht-)Verbots

Sollte alles, was KI ermöglicht, umgesetzt werden (oder: der Weizenbaum-Test für KI)? Diese Frage erlangt aufgrund der empfindlichen Auswirkungen auf Gesellschaft und Individuen im Bereich des policings besondere Relevanz. Die in den letzten Jahren explosionsartig fortentwickelten Möglichkeiten Künstlicher Intelligenz eröffnen diverse Potentiale, das policing in straf- und gefahrenabwehrrechtlicher Dimension massiv zu verändern – bis hin zu einer „perfekten“ Rechtsdurchsetzung. Als schärfste Schwerter der Demokratien unterliegen diese Materien indes besonderen Anforderungen und sollten von einem angemessen legitimierten Normgeber ausgeformt werden. Grundlegende Weichenstellungen sollten daher im Rahmen eines möglichst offenen legislativen bzw. parlamentarischen Forums getroffen werden (dazu grundlegend Rademacher).

Das Gesetzgebungsverfahren der Union ist notorisch schwerfällig und reagiert nur begrenzt auf Änderungsbedarfe. Dabei ist ein wesentlicher Anteil auch auf die Struktur der Verfahren zurückzuführen. Rat und Parlament sind unter dem ordentlichen Gesetzgebungsverfahren gem. Art. 289, 294 AEUV, das auch für den AI Act gilt, Co-Legislatoren. Insbesondere im Trilog-Stadium ist der Rat dabei ein wirkmächtiger Repräsentant der Mitgliedstaaten. Es gelingt ihm regelmäßig, seine Interessen überproportional durchzusetzen. Diese umfassen häufig besetzungsgemäß den Erhalt der Exekutivmacht sowie nationale Sicherheit und Souveränität. Paradoxerweise ist er dabei besonders erfolgreich, wenn die Positionierung des Parlaments – etwa durch ausführliche Vorfelddebatten, wie es bei besonders wichtigen Aspekten (hier: BFI) regelmäßig der Fall sein wird und in Anknüpfung an die vorgeschilderten Notwendigkeiten auch sein sollte – eindeutig ist. Mögen Triloge zwar effizienzsteigernd wirken, bedingt die unterhändlerische Natur vielfach starke Abweichungen gegenüber den vorigen Festlegungen der entsendenden Institutionen – die Regulierung einer technischen Black Box im Prozessrahmen einer demokratischen Black Box mag vielleicht semantisch attraktiv, allerdings wenig erfolgversprechend sein.

In diesem Fall war die entschiedene wie klare Positionierung der gewählten Volksvertreter schon im ursprünglichen Kompromiss kaum zu erkennen. Mit den aktuellen Entwicklungen wird sie nunmehr völlig zugunsten der Ratsinteressen verdrängt. Die Entscheidung des stärker legitimierten Co-Legislators würde sich somit nicht mehr in der getroffenen Weichenstellung auffinden lassen – ein gewaltiges Defizit für die europäische Demokratie.

Ein klassischer Einwand zur Überwindung geschwächter (oder inexistenter) Input-Legitimation im EU-Diskurs ist starke Output-Legitimation, insbesondere wirtschaftliche Prosperität oder, bildlich gesprochen, Brot und Spiele (Weiler). Diese Erwägungen können in Belangen der Sicherheit allerdings nur begrenzt überzeugen, gerade wenn die durch das Manöver vermeintlich erreichbare Sicherheit in Form der Nicht-Limitierung von Exekutivbefugnissen wenig mehr als eine Illusion ist: „Wer von einer überlegenen Gewalt, gleich welcher Quelle, um seine Freiheit gebracht wird, kann zu keinem Zeitpunkt wirklich sicher sein“ (Di Fabio). Der stückweise Übergang in einen Überwachungsstaat wäre nicht etwa die wohlkalkulierte Hingabe von Freiheit zugunsten von Sicherheit, sondern ein beiderseitiger Verlust, da das Verhältnis zwischen diesen Gütern ein synergetisch-symmetrisches und kein konfligierendes ist. Dieses Verständnis scheint zunehmend abhandenzukommen, wenn etwa Bundesinnenministerinnen unabhängige Verfassungsgerichte warnen, dass „strenge“ Urteile ein Wettbewerbsnachteil zulasten deutscher Sicherheitsbehörden seien.

Tritt der Rat im Nachgang eines jedenfalls teilweise besser balancierten Kompromisses an das Parlament heran und spricht dabei förmlich aus: „I am altering the deal, pray I don’t alter it any further“, wird offenbar, dass dieses Selbstbewusstsein von einem mangelnden Verständnis der nötigen Legitimation und der faktischen Implikationen dieser Weichenstellungen getragen wird.

Eine Union, die schon lange von Fragen demokratischer Defizite geplagt ist, täte daher gut daran, derartige Aspekte gänzlich auszuklammern und sich auf bessere Produktregulierung zu fokussieren, statt aus Verlegenheit oder fehlgehender Ambition (Nicht-)Verbote zu inkludieren, die vollmundige Versprechungen eher konterkarieren als einlösen.

Warum wir eine konsequente BFI-Regulierung brauchen

Die Sacheinwände sind in weiten Teilen altbekannt. Allgemein bleiben Objektivität, Effektivität und Diskriminierungsfestigkeit entsprechender Systeme trotz technischer Fortschritte umstritten, zahlreiche dramatische Negativbeispiele warnen. Vorhandene datenbasierte Systeme werden bei Polizeibehörden mit Regelmäßigkeit missbraucht.  Chilling effects (auch: Abschreckungseffekte) sind zwar keine konturstarke oder hinreichend theoretisch fundierte Figur im Recht, allerdings durch BVerfG, EuGH und EGMR anerkannt und im Kontext von BFI besonders relevant.

Konkret mit Blick auf den AI Act ist die Differenzierung zwischen Echtzeit- und Ex-Post-Systemen ist aufgrund wesentlich gleicher Auswirkungen begrenzt sinnvoll; trennscharfe Definitionen fehlen. Zudem werden nationale und öffentliche Sicherheit regelmäßig begrifflich vermengt und damit der Anwendungsbereich (noch) weiter ausgedehnt. Schon der Richtervorbehalt wird gemeinhin als „praktisch wirkungslos[es]“ „Feigenblatt“ erkannt, bei der Reduktion auf einen Vorbehalt der Genehmigung durch eine Administrativbehörde geht mit der Zuständigkeitsaufteilung zwischen den staatlichen Gewalten selbst der letzte Schutzmechanismus verlustig.

Anstelle weitgehender non-regulation unter sinnwidriger Einordnung in einen Artikel, der absolute Verbote regeln soll, ist eine „non-orwellian“ regulation unter angemessener Abwägung der berührten Interessen allerdings grundsätzlich möglich.

Resümee

Man mag – zutreffend – einwenden, dass es sich bei dem (Nicht-)Verbot lediglich um einen Rahmen der minimalen Anforderungen handelt. Die Mitgliedstaaten sind keinesfalls daran gehindert, strengere Vorschriften in diesem sensiblen Bereich zu erlassen. Gerade der Bundestag scheint diese Angelegenheiten auch ernstlich zu verfolgen. „Alles halb so schlimm“ – oder?

Es verbleibt ein komplexes Störgefühl. Wenn die Union sich hohe und hehre Ziele wie menschenzentrierte, vertrauenswürdige und ethische KI setzt, erwarten die Zivilgesellschaft sowie die gewählten Vertreter der Unionsbürger – so viel war in den Abänderungen des EP offenkundig –, dass grundrechtliche Belange ernstgenommen werden. Bisher scheint sich jedoch ein weiteres Stück unionsrechtlicher Produktregulierung auszuformen, welches den Aufbau wettbewerbsfähiger KI-Infrastrukturen in der EU erschwert, dabei aber schon vor Inkrafttreten verstaubt wirkt, eine Facette, die unstreitig die klassisch-zentrale Dimension der Grundrechte  (nämlich die Abwehr gegen einen übergriffigen Staat) berührt, schmerzlich vernachlässigt, und die weiterhin aktuellen demokratisch-legitimatorischen Mängel der Unionsstrukturen offenbart.

BFI und der AI Act sind nicht die einzigen regulatorischen battlegrounds, auf denen in naher Zukunft grundlegende Entscheidungen zum angemessenen Umgang mit Potentialen und Risiken Künstlicher Intelligenz getroffen werden müssen. Im Angesicht der Unaufhaltbarkeit technischen Fortschritts ist es dabei elementar, gesellschaftliche Partizipation nachdrücklich einzufordern und (nicht nur rechts-)wissenschaftliche Begleitung zu gewährleisten.