Vertrauenswürdige Künstliche Intelligenz ermöglichen - Umsetzung der europäischen KI-Verordnung in Deutschland beschleunigen, Innovation fördern und digitale Souveränität stärken

Vertrauenswürdige Künstliche Intelligenz ermöglichen - Umsetzung der europäischen KI-Verordnung in Deutschland beschleunigen, Innovation fördern und digitale Souveränität stärken [Deutscher Bundestag Drucksache 21/2349 21. Wahlperiode 21.10.2025 Antrag der Abgeordneten Rebecca Lenhard, Dr. Konstantin von Notz, Jeanne Dillschneider, Dr. Anna Lührmann, Dr. Moritz Heuberger, Dr. Franziska Brantner, Marcel Emmerich, Ayse Asar, Dr. Andrea Lübcke, Dr. Sandra Detzer, Katharina Beck und der Fraktion BÜNDNIS 90/DIE GRÜNEN Vertrauenswürdige Künstliche Intelligenz ermöglichen – Umsetzung der europäischen KI-Verordnung in Deutschland beschleunigen, Innovation fördern und digitale Souveränität stärken Der Bundestag wolle beschließen: I. Der Deutsche Bundestag stellt fest: Mit der Verordnung (EU) 2024/1689 über harmonisierte Vorschriften für künstliche Intelligenz („KI-Verordnung“) hat die Europäische Union einen weltweit wegweisenden Rechtsrahmen für Künstliche Intelligenz (KI) geschaffen. Ziel ist es, Grundrechte, Innovation und Wettbewerbsfähigkeit in Einklang zu bringen. Sie ist seit dem 1. August 2024 in Kraft, erste Bestimmungen sind für Unternehmen bereits anwendbar. In anderen Bereichen muss die Verordnung noch in nationale Regelungen umgesetzt werden. Dies betrifft insbesondere auch die Etablierung einer effektiven Aufsichtsstruktur. Die KI-Verordnung ist eine große Chance für den Standort Deutschland. Unternehmen benötigen klare und verlässliche Rahmenbedingungen und Rechtssicherheit, um Innovationen voranzutreiben und ihre Wettbewerbsfähigkeit zu sichern. Forschung und Wissenschaft brauchen Bedingungen, die die Entwicklung und Anwendung von KI rechtssicher unterstützen. Wir wollen, dass wettbewerbsfähige „AI made in Europe“ hier entstehen kann. Reallabore für Technologieerprobung sind bereits in der Verordnung angelegt und sollten – rechtssicher und grundrechtsschonend ausgestaltet – auch für Innovationen aus der Forschung explizit genutzt werden. Für eine wirksame Umsetzung der Verordnung in Deutschland braucht es die zielgerichtete und bürokratiearme Ausgestaltung einer schlagkräftigen, transparenten und unabhängigen KI- Aufsicht mit ausreichend personellen Ressourcen. Verzögerungen oder Abstriche bei der Umsetzung gefährden nicht nur den Schutz und das Vertrauen von Bürger*innen, sondern auch die technologische Souveränität Europas. Die Bundesregierung ist in der Verantwortung, die europäische KI-Verordnung auf nationaler Ebene umzusetzen und eine KI-Aufsichtsstruktur zu etablieren. Diese Verantwortung hat sie bislang nicht ausreichend wahrgenommen, die Umsetzungsfrist ist in Teilen bereits überschritten. Das Bundesministerium für Digitales und Staatsmodernisierung (BMDS) hat mittlerweile zwar einen Referentenentwurf vorgelegt, dieser lässt aber erhebliche Lücken erkennen. Besonders deutlich wird dies bei der Ausgestaltung der Aufsichtsstrukturen sowie der mangelhaften Einbindung von Zivilgesellschaft und Wissenschaft zur Herstellung von Transparenz, Vertrauen und demokratische Legitimität. Es fehlt zudem eine klare Unterlegung im Haushalt mit Planstellen und Sachmitteln, die für eine wirksame Aufsicht unabdingbar ist. Die KI-Verordnung verbietet außerdem ausdrücklich das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern (Art. 5 Abs. 1 Buchstabe e KI-VO). Pläne des Bundesministers des Innern, Aufnahmen von Gesichtern mit öffentlich zugänglichen Daten aus dem Internet biometrisch abzugleichen, würden jedoch genau hierzu führen und stünden damit im klaren Widerspruch zur KI-Verordnung. Deutschland muss die Anwendung und Umsetzung der KI-Verordnung konsequent sicherstellen und auf europäischer Ebene für die strikte Einhaltung der Vorgaben eintreten. Die KI-Verordnung erlaubt unter hohen Auflagen die Verwendung von KI-basierter biometrischer Identifikation in Echtzeit in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken in spezifischen Ausnahmenfällen sowie die Verwendung von retrograden Systemen. Sie schreibt jedoch nur Mindestanforderungen an die Verwendung von biometrischen Fernidentifizierungssystem fest und überlässt es den nationalen Gesetzgebern strengere nationale Regelungen zu treffen. Die Nutzung von KI-basierter biometrischer Identifikation in öffentlich zugänglichen Räumen (intelligente Videoüberwachung) – sei sie in Echtzeit oder retrograd – stößt auf erhebliche verfassungsrechtliche Bedenken und muss ausgeschlossen werden. Sie verhindert Anonymität im öffentlichen Raum und ist mit einem freiheitlichen Rechtsstaat und dem Grundsatz der Verhältnismäßigkeit nicht vereinbar. Die nachträgliche Identifizierung einzelner verdächtiger Personen zur Bekämpfung schwerster Straftaten, etwa durch einen Abgleich im Internet, kann in eng begrenzten und klar geregelten Ausnahmefällen ein wichtiges Instrument für die Sicherheitsbehörden sein. Die damit verbundenen tiefen Grundrechtseingriffe erfordern jedoch hohe rechtsstaatliche Sicherungsmechanismen. Insbesondere muss sichergestellt sein, dass die technische Umsetzung verfassungs- und europarechtskonform möglich ist. Inwieweit das möglich ist, erscheint derzeit noch unklar. Ein Verfahren, um die Einhaltung dieser Prinzipien zu überprüfen und zu gewährleisten, kann die Einrichtung eines KI-Reallabors (Art. 59 Abs. 2 KI-VO) für Sicherheitsbehörden sein. Dort könnten in sicherer Umgebung unter Einbindung von Aufsichtsbehörden souveräne, passgenaue und rechtskonforme Lösungen entwickelt werden. Da es sich um einen tiefgreifenden Grundrechtseingriff handelt, können dies nur Verfahren sein, die eine solche Identifizierung unter strenger Beachtung von Verfassungs- und Europarecht ermöglichen und gleichzeitig den Schutz der Persönlichkeitsrechte gewährleisten. Besonders im Bereich sogenannter „KI-Agenten“ entstehen zudem neue Risiken für Verbraucher*innen, Datenschutz, IT-Sicherheit und Wettbewerbsneutralität. Hier besteht Prüfbedarf, ob die unterschiedlichen Rechtsakte angemessen ineinandergreifen und durchsetzungsfähig sind. Staat und Verwaltung tragen eine besondere Verantwortung: Sie müssen einen gezielten Einsatz von KI fördern, gleichzeitig aber Maßstäbe setzen, die Grundrechte, Transparenz- und Umweltauflagen praxisnah einbinden. Wir dürfen die Potenziale von KI- Anwendungen nicht allein den Hyperscalern überlassen, sondern müssen auch hier in unsere europäische Souveränität investieren. II. Der Deutsche Bundestag fordert die Bundesregierung auf, 1. das Umsetzungsgesetz für die KI-Verordnung noch im Jahr 2025 zur Beratung in den Deutschen Bundestag zu geben; 2. ausreichend Planstellen und Sachmittel für die als Marktüberwachungs- und Beschwerdestelle zu benennende Bundesnetzagentur (BNetzA) einzurichten und die Stellen zeitnah mit Inkrafttreten des Umsetzungsgesetzes zu besetzen, damit die Behörde diese Rolle effektiv wahrnehmen kann; 3. die im Durchführungsgesetz vorgesehene Unabhängige KI- Marktüberwachungskammer (UKIM) so auszugestalten, dass ihre unionsrechtlich gebotene Unabhängigkeit gewährleistet ist, und hierfür ihre Organisation nach dem Vorbild des Digitale-Dienste-Gesetzes in einer eigenständigen Abteilung mit eigener Leitung zu verankern; zugleich soll geprüft werden, ob die Aufsicht über EU-Digitalgesetze – einschließlich KI-Verordnung, Digitale-Dienste-Gesetz, Data-Governance-Act und Data Act – unter dem Dach einer gemeinsamen Koordinierungsstelle organisatorisch gebündelt werden kann; 4. das im Durchführungsgesetz vorgesehene Koordinierungs- und Kompetenzzentrum nach § 5 als starke Beratungs- und Unterstützungseinheit für die Digitalaufsicht auszugestalten, von Beginn an mit ausreichendem Personal und Sachmitteln zu versehen und seine Aufgaben ausdrücklich auch auf die Durchführung eigener Forschungsarbeiten zur Umsetzung („regulatory learnings“) zu erweitern, wofür ein eigenes Forschungsbudget bereitzustellen ist; 5. die Zusammenarbeit zwischen der zuständigen Marktüberwachungsbehörde und anderen Aufsichtsbehörden im Durchführungsgesetz klarer zu regeln, insbesondere zum Schutz von Grundrechten wie der informationellen Selbstbestimmung und dem Gleichbehandlungsgrundsatz, und hierfür eine gemeinsame digitale Plattform mit Verbindungschnittstellen einzurichten, die eine kollaborative, effiziente und zielführende Aufsicht gewährleistet; 6. bei den im Durchführungsgesetz vorgesehenen innovationsfördernden Maßnahmen nach § 12 sicherzustellen, dass auch die Open-Source-Community ausdrücklich berücksichtigt wird, um die Entwicklung transparenter, nachhaltiger und souveräner KI-Systeme zu fördern; 7. sicherzustellen, dass alle öffentlichen Einrichtungen – einschließlich Bildungs-, Hochschul- und Forschungseinrichtungen sowie Behörden und Verwaltungen – die notwendigen Ressourcen, Infrastrukturen und Qualifizierungsmaßnahmen erhalten, um die Anforderungen des EU AI Acts umsetzen zu können und dabei digitale Souveränität sowie Datenschutz zu gewährleisten; 8. die Zivilgesellschaft, Wissenschaft und die Perspektive Betroffener frühzeitig, systematisch und kontinuierlich zu dem Thema KI und der Umsetzung der KI- Verordnung einzubeziehen, um Transparenz, Vertrauen und demokratische Legitimität zu stärken, und hierfür einen unabhängigen KI-Beirat, orientiert am DSC- Beirat, einzurichten, der über weitgehende Informations- und Beratungsrechte verfügt, die Koordinierungsstelle berät, Empfehlungen für die einheitliche Durchführung des AI Acts erarbeitet und durch eine eigene Geschäftsstelle sowie Etat angemessen ausgestattet wird; 9. bei der im Durchführungsgesetz vorgesehenen zentralen Beschwerdestelle nach § 8 verbindliche Bearbeitungsfristen sowie eine transparente Kommunikation mit den Beschwerdeführern sicherzustellen, sodass jederzeit der Stand des Verfahrens nachvollziehbar ist und Rechtssicherheit gewährleistet wird; 10. den Marktplatz der KI-Möglichkeiten (MAKI) zu einem echten KI- Transparenzregister auszubauen, welches verbindlich eine Übersicht über KI-Anwendungen in der Bundesverwaltung, ihren genauen Einsatz sowie ihre Auswirkungen auf die Grundrechte öffentlich bereitstellt; 11. zusätzlich zu den im Entwurf vorgesehenen Berichten der Unabhängigen KI- Marktüberwachungskammer (UKIM) eine eigenständige jährliche Berichtspflicht der Bundesregierung gegenüber dem Deutschen Bundestag einzuführen, um dem Parlament einen vollständigen Überblick über den Stand der nationalen Umsetzung des AI Acts, die Ressourcenausstattung der Behörden sowie zu neuen technologischen Entwicklungen zu geben, insbesondere mit Blick auf erforderliche Anpassungen und neu entstehenden Regulierungsbedarf; 12. sicherzustellen, dass die in Art. 50 Abs. 4 KI-VO vorgesehene Kennzeichnungspflicht für Deepfakes konsequent umgesetzt wird und Verstöße angemessen sanktioniert werden. Persönlichkeitsverletzungen durch die Herstellung und Verbreitung von Deepfakes sollten strafrechtlich geahndet werden; 13. sicherzustellen, dass keine nationalen Vorhaben oder Initiativen verfolgt werden, die auf das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI- Systemen gerichtet sind, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern, da diese nach Maßgabe von Art. 5 Abs. 1 Buchstabe e der KI-Verordnung unzulässig sind, und sich zugleich auf europäischer Ebene für die konsequente Einhaltung dieses Verbots einzusetzen; 14. die Verwendung von KI-basierter biometrischer Identifikation in öffentlich zugänglichen Räumen (intelligente Videoüberwachung) in Echtzeit und retrograd im Rahmen des nationalen Umsetzungsgesetzes der KI-VO auszuschließen; 15. eine grund- und datenschutzkonforme, bürokratiearme, innovations- und forschungsfreundliche Umsetzung der europäischen KI-Verordnung vorzulegen. Notwendig sind einfache One-Stop-Shop-Regelungen, die eine Beschleunigung der rechtssicheren KI-Entwicklung und -Anwendung in Deutschland und Europa zum Ziel hat; 16. auf europäischer Ebene auf eine Auseinandersetzung zu den Auswirkungen von KI-Agenten hinzuwirken und national eine Prüfung vorzunehmen in Bezug auf IT-Sicherheit, Verbraucher*innen- und Datenschutz sowie digitale Souveränität; 17. auf europäischer Ebene dafür einzutreten, dass die KI-Verordnung in Gänze und im Rahmen des ursprünglichen Zeitplans in Kraft tritt. Berlin, den 21. Oktober 2025 Katharina Dröge, Britta Haßelmann und Fraktion Gesamtherstellung: H. Heenemann GmbH & Co. KG, Buch- und Offsetdruckerei, Bessemerstraße 83–91, 12103 Berlin, www.heenemann-druck.de Vertrieb: Bundesanzeiger Verlag GmbH, Postfach 10 05 34, 50445 Köln, Telefon (02 21) 97 66 83 40, Fax (02 21) 97 66 83 44, www.bundesanzeiger-verlag.de ISSN 0722-8333]