Gesellschaftliche Risiken von KI-Anwendungen ernst nehmen

Gesellschaftliche Risiken von KI-Anwendungen ernst nehmen Deutscher Bundestag Drucksache 21/4758 21. Wahlperiode 17.03.2026 Antrag der Abgeordneten Sonja Lemke, Clara Bünger, Doris Achelwilm, Dr. Michael Arndt, Lorenz Gösta Beutin, Anne-Mieke Bremer, Maik Brückner, Agnes Conrad, Mirze Edis, Katrin Fey, Christian Görke, Nicole Gohlke, Mareike Hermeier, Luke Hoß, Maren Kaminski, Ferat Koçak, Cansin Köktürk, Jan Köstering, Tamara Mazzi, Sören Pellmann, Bodo Ramelow, David Schliesing, Evelyn Schötz, Julia-Christina Stange, Aaron Valent, Donata Vogtschmidt, Christin Willnat, Janine Wissler und der Fraktion Die Linke Gesellschaftliche Risiken von KI-Anwendungen ernst nehmen Der Bundestag wolle beschließen: I. Der Deutsche Bundestag stellt fest: Anwendungen von künstlicher Intelligenz (KI-Anwendungen) ziehen in immer mehr Bereiche des täglichen Lebens ein. Auch in der Bundesverwaltung kommen zunehmend KI-Anwendungen zum Einsatz, wie die regelmäßigen Anfragen der Linken in den letzten Jahren zeigen (BT-Drs. 21/2892, 20/12191, 20/8495, 20/6862, 20/9685, 20/9419 und 20/430). Die Bundesregierung betont regelmäßig, dass sie den Einsatz künstlicher Intelligenz in der Bundesverwaltung forcieren will, beispielsweise anlässlich der Empfehlungen der Sozialstaatskommission. Im Koalitionsvertrag ist die Rede von einer Verwaltungsrevolution mithilfe von künstlicher Intelligenz. Die KI-Anwendungen sind jedoch kein Allheilmittel für alle gesellschaftlichen Herausforderungen, sondern eine Technologie, deren Einsatz große gesellschaftliche Risiken mit sich bringt, die besonders die Bundesverwaltung beim Einsatz kritisch in den Blick nehmen muss. Ein entscheidendes Risiko besteht darin, dass in den Trainingsdaten vorhandene Vorurteile nicht nur übernommen, sondern meist noch verstärkt werden. Dies führt zu einem rassistischen, sexistischen und ableistischem Bias in den meisten KI- Anwendungen. Für die von Diskriminierung betroffenen Menschen hat das weitgehende Auswirkungen: Von einem verzerrt dargestelltem weiblichen Körperbild in generativ erstellten Bildern bis hin zu rechtswidrigen Rückforderungen von Sozialleistungen in den Niederlanden bei Menschen mit nicht als niederländisch identifizierten Namen (https://de.wikipedia.org/wiki/Toeslagenaffaire). Die KI-Systeme verschärfen so bestehende gesellschaftliche Ungleichheiten. Regulierung von KI sowie die konkreten Einsatzszenarien und Governance-Strukturen müssen einen Fokus darauf haben, dies zu verhindern. Von besonderer Bedeutung für die Verwaltung ist die Tatsache, dass nicht nachvollziehbar sein kann, wie und warum KI-Systeme zu bestimmten Ergebnissen kommen. Der Einsatz solcher Systeme bei Ermessensentscheidungen der Verwaltung, wie ihn unter anderem die Sozialstaatskommission kürzlich vorgeschlagen hat (www.bm- as.de/SharedDocs/Downloads/DE/Soziales/Modernisierung-Sozialstaat/abschlussbe- richt-sozialstaatskommission.pdf?__blob=publicationFile&v=1), ist daher hochproblematisch. Dazu kommen gigantische Auswirkungen auf die Arbeitswelt. Obwohl die versprochenen Produktivitätsgewinne zweifelhaft sind (https://taz.de/Studien-belegen-dass- der-Einsatz-von-KI-keine-Effizienzgewinne-in-Unternehmen-bringt/!6125562/), werden immer mehr Arbeitsprozesse durch KI-Anwendungen unterstützt oder gleich ganz ersetzt. In der Folge bauen viele Unternehmen Arbeitsplätze ab und insbesondere für Kreativschaffende schwinden die Aufträge, weil Bilder, Filme, Texte und Musik mit KI-Anwendungen erstellt werden. Gleichzeitig wird die prekäre Arbeit, die KI erst möglich macht, ausgelagert, unsichtbar gemacht und nicht oder kaum entlohnt. Das betrifft zum einen Kulturschaffende, vor allem Künstler*innen und Autor*innen, deren Werke ohne ihr Einverständnis und ohne eine Vergütung in das KI-Training eingeflossen sind und die nun um ihre Existenz bangen. Zum anderen sind für das KI- Training Daten in strukturierter Form notwendig. Dafür werden sie in Ländern des globalen Südens unter schlechten Arbeitsbedingungen annotiert. Die KI-Regulierung muss auch diesen Teil der Lieferkette im Blick haben und dafür sorgen, dass dort Arbeitsstandards eingehalten werden. Die KI-Anwendungen werden zudem zunehmend eingesetzt, um Menschen an ihrem Arbeitsplatz zu überwachen. Hinzu kommen ökologische Aspekte: Das Training und der Betrieb von generativen KI-Systemen benötigen Unmengen an Strom. Gerade in den USA sehen wir, wie dadurch Strompreise steigen und weiter klimaschädlicher Strom produziert wird. Diese gesellschaftlichen Kosten müssen eingepreist werden, wenn darüber nachgedacht wird, wofür wir KI einsetzen, und ob dies wirklich „effizient“ ist. Mit der KI-Verordnung sind EU-weit verbindliche Regelungen zum Einsatz von KI- Systemen innerhalb der EU eingeführt worden. Dies ist ein Schritt in die richtige Richtung, reicht aber bei weitem nicht aus, um negative Auswirkungen von KI-Systemen zu verhindern. Zusätzlich besteht die Gefahr, dass mit dem derzeit diskutierten KI- Omnibus (Vorschlag der EU-Kommission für eine Digital-Omnibus-Verordnung zur KI, COM(2025) 836) sowie dem digitalen Omnibus (Vorschlag der Europäischen Kommission für eine Digital-Omnibus-Verordnung, COM(2025) 837) diese Regelungen aufgeweicht werden. Das wäre ein massiver Rückschritt. II. Der Deutsche Bundestag fordert die Bundesregierung auf, 1. sich auf europäischer Ebene dafür einzusetzen, dass die Regelungen der KI- Verordnung auf europäischer Ebene nicht gelockert werden, insbesondere nicht im Rahmen des KI-Omnibus, und auch in die Datenschutz-Grundverordnung im Rahmen des digitalen Omnibus keine Ausnahmen zugunsten von KI- Anwendungen aufgenommen werden; 2. sich weiter für eine Verschärfung der KI-Verordnung einzusetzen, um sicherzustellen, dass a) bei allen in Verkehr gebrachten KI-Anwendungen Transparenz über die verwendeten Trainingsdaten herstellt wird, b) die Verwendung von urheberrechtlich geschützten Inhalten in den Trainingsdaten für generative KI-Anwendungen nur mit entsprechender Erlaubnis und angemessener Vergütung stattfindet, indem Opt-in als Grundsatz eingeführt wird, c) in der Lieferkette der genutzten Daten eine angemessene Entlohnung an die Datenlabeler*innen gezahlt wird und Arbeitsstandards eingehalten werden, für die der Anbieter der KI-Anwendung haftbar ist, d) die weitere Benachteiligung marginalisierter Personengruppen verhindert wird, indem die Pflichten zur Prüfung von Diskriminierungsrisiken erweitert und KI-Anwendungen in besonders diskriminierungsgefährdeten Bereichen von der Anwendung ausgeschlossen werden, e) der Einsatz von KI-Anwendungen verboten wird, die im Rahmen von Beschäftigungsverhältnissen Aufgaben aufgrund des individuellen Verhaltens oder persönlicher Merkmale oder Eigenschaften zuweist oder für die Beobachtung und Bewertung der Leistung und des Verhaltens von Personen in solchen Beschäftigungsverhältnissen verwendet wird; 3. bundesrechtliche Handlungsbedarfe zum Schutz vor KI-basierter Diskriminierung, Ausbeutung und Gewalt zu identifizieren und entsprechende Maßnahmen zu ergreifen, um insbesondere a) sicherzustellen, dass die Arbeit von Kreativen nicht ohne Zustimmung und Vergütung durch das Trainieren generativer KI angeeignet wird; hierzu sollen sowohl urheberrechtliche Anpassungen einschließlich einer wirksamen Rechtsdurchsetzung durch Transparenzregeln und Verbandsklagerechte als auch zweckgebundene Abgaben durch KI-Anbieter in den Blick genommen werden; b) das Antidiskriminierungsrecht zu modernisieren, um keine Schutzlücke bei KI-basierter Diskriminierung entstehen zu lassen; c) die Persönlichkeitsrechte der Opfer KI-basierter digitaler Gewalt, beispielsweise in Form sexualisierter Deepfakes und anderem ohne Einwilligung erstellten Bild- oder Tonmaterials, zu schützen und den Betroffenen ausreichende Beratung und Unterstützung zur Verfügung zu stellen; d) unter Beachtung der medienrechtlichen Zuständigkeit der Länder und in Abstimmung mit diesen allgemeine Kennzeichnungspflichten für KI-generierte Inhalte zu schaffen; 4. für die Bundesnetzagentur als zuständige Aufsichtsbehörde für die Umsetzung der KI-Verordnung in Deutschland in der Haushaltsaufstellung einen entsprechenden Stellenaufwuchs vorzusehen; 5. den Bau weiterer Rechenzentren für den Betrieb von KI-Anwendungen in Anbetracht der ökologischen Folgekosten und der derzeitigen spekulativen Blase nach Möglichkeit zu begrenzen; 6. alle in der Bundesverwaltung verwendeten KI-Anwendungen einer genauen Risikobewertung zu unterziehen und mindestens hinsichtlich der Einstufung nach der KI-Verordnung zu überprüfen und entsprechende Maßnahmen zur eigenen Einhaltung der KI-Verordnung einzuleiten; 7. die von der Bundesverwaltung eingesetzten KI-Anwendungen inklusive ihrer Risikobewertungen in einem Register öffentlich transparent zu machen; 8. in der Bundesverwaltung keine KI-Anwendungen einzusetzen, wenn diese die Gefahr von rassistischer, sexistischer oder ableistischer Diskriminierung beinhalten, und dies durch höchste Qualitätsstandards sicherzustellen, die beinhalten: a) die Kenntnis der Datenbasis, mit der die jeweilige Anwendung trainiert wurde; b) die Untersuchung aller verwendeten Trainingsdaten auf Diskriminierungsrisiken; c) eine präventive wie laufende systematische Qualitätskontrolle der Ergebnisse von KI-Anwendungen, die mögliche Fehlentwicklungen frühzeitig erkennt und behebt; 9. den Einsatz von KI-Anwendungen in der Bundesverwaltung in sensiblen Bereichen wie der (teil-)autonomen Entscheidungsfindung zu unterlassen; 10. keine generative KI in der Öffentlichkeitsarbeit zu verwenden, insbesondere dann, wenn stattdessen Aufträge an Kreativschaffende vergeben werden könnten; 11. den Einsatz generativer KI auch in anderen Bereichen der Verwaltung möglichst zu begrenzen und nur dann zuzulassen, wenn der erwartete Nutzen im Verhältnis zu den ökologischen Folgekosten steht. Berlin, den 17. März 2026 Heidi Reichinnek, Sören Pellmann und Fraktion Begründung Zu 1: Mit dem Vorschlag für einen KI-Omnibus und den digitalen Omnibus plant die EU-Kommission weitreichende Lockerungen der KI-Verordnung für Unternehmen. Die EU-Kommission will persönliche Daten weitgehend für KI-Training freigeben, auch ohne Zustimmung der betroffenen Personen. Angesichts dessen, wie viele Informationen über (Privat-)Personen mittlerweile im Internet (inklusive der Plattformen) verfügbar sind, häufig ohne Kenntnis der Betroffenen, kommt dies einer Aufgabe des Schutzes persönlicher Daten gleich. Zudem soll der Anteil der Unternehmen, für die Erleichterungen von den Regelungen gelten, auf Unternehmen mit bis zu 749 Beschäftigten und bis zu 150 Mio. Euro Jahresumsatz erweitert werden und die Geltung von Regelungen für Hochrisiko-KI-Systeme soll um ein Jahr verschoben werden. Beides sind sachfremde Lockerungen, denn das Risiko und der Regulierungsbedarf für KI-Systeme hängen weder von der Größe des Unternehmens ab, das sie entwickelt und/oder auf den Markt bringt, noch lassen sich Gefahren von Hochrisiko-KI-Systemen um ein Jahr verschieben. Sie werden schon jetzt vielfach eingesetzt. Unternehmen sollen zudem in Zukunft selbst und ohne Veröffentlichung entscheiden können, eigene Systeme von den Anforderungen an Hochrisiko-KI- Systeme auszunehmen, womit eine Aufsicht praktisch unmöglich wird. Zu 2a und 2b: Generative KI basiert auf menschlichen Werken, die massenhaft zu Trainingszwecken verwendet werden. Wenn die wirtschaftliche Verwertung ihres Outputs zu kreativer menschlicher Arbeit in Konkurrenz tritt, sie verdrängt oder substituiert, ist das ein Problem, das das geltende Urheberrecht nicht lösen kann. Auch die Regelungen zum Text- und Datamining geben keine zufriedenstellende Antwort, da sie vor allem mit Blick auf andere Nutzungsformen konzipiert sind und nicht an den wirtschaftlich relevanten Handlungen ansetzen. Kreative müssen die Kontrolle über die Verwendung ihrer Werke haben und an damit erzielten Umsätzen angemessen beteiligt werden. Die derzeitigen Regelungen in der KI-Verordnung können nur ein Anfang sein. Auch zur Beurteilung möglicher Biases von KI-Anwendungen ist die Kenntnis der Zusammensetzung der Trainingsdaten unverzichtbar. Zu 2c: Ein großer Teil der für Training und Betrieb von KI-Systemen notwendiger, versteckter menschlicher Arbeit wie die Annoation von Daten (Data-Labelling) wird in den globalen Süden ausgelagert. Diese Arbeit ist nicht nur schlecht bezahlt, sondern teilweise auch hoch belastend, wenn sie mit der Klassifikation schädlicher Inhalte befasst ist. Die KI-Anbieter müssen Verantwortung für die Einhaltung von Arbeitsstandards in der gesamten Lieferkette tragen. Zu 2d: Die KI-Anwendungen bergen ein besonderes Diskriminierungsrisiko, da sie die statistischen Besonderheiten ihrer Trainingsdaten reproduzieren, ohne dass der entsprechende Einfluss auf ihren Output im Einzelfall nachvollzogen werden kann. Daraus ergibt sich die Notwendigkeit einer gründlichen Risikoanalyse in allen Anwendungsbereichen, in denen sich ein Bias negativ auswirken kann; da insbesondere bei Anwendungen, die auf sehr großen realweltlichen Datensätzen trainiert werden müssen (wie Sprachmodellen), ein Bias in den Trainingsdaten faktisch kaum ausschließbar ist, sollte der Einsatz in besonders grundrechtssensiblen Bereichen ganz ausgeschlossen werden. Zu 3a: Siehe Begründung zu 2b. Eine Reihe möglicher Lösungsansätze auf Ebene des nationalen Rechts sind u. a. im Fachgespräch des Kultur- und Medienausschusses des Bundestags am 25. Februar 2026 diskutiert worden. Zu 3b: Derzeit besteht eine Regelungslücke im deutschen Antidiskriminierungsrecht für Diskriminierungen durch automatisierte Entscheidungen. Auch die Bundesbeauftragte für Antidiskriminierung hat sich kürzlich für eine entsprechende Neuregelung des Allgemeinen Gleichbehandlungsgesetzes ausgesprochen (www.antidiskri- minierungsstelle.de/SharedDocs/aktuelles/DE/2023/20230830_Rechtsgutachten_KI.html). Zu 3c: Die Fähigkeit zur Erstellung täuschend echter Abbildungen durch generative KI (Deepfakes) hat nicht nur Implikationen für Desinformation, sondern ermöglicht auch neue Formen bildbasierter digitaler Gewalt, die sich insbesondere gegen Frauen richten. Zuletzt hat insbesondere die massenhafte Nutzung der KI-Anwendung „Grok“ auf der Online-Plattform X zu diesem Zweck Aufmerksamkeit erregt, das Problem geht aber darüber hinaus. Zu 3d: Die KI-Verordnung kennt zwar Kennzeichnungspflichten für bestimmte KI-generierte Inhalte, diese sind aber mit weitreichenden Ausnahmen versehen und gelten beispielsweise nicht, wenn ein Mensch die redaktionelle Verantwortung für einen KI-generierten Text übernimmt. Der Pressekodex als Instrument der Selbstregulierung enthält zwar Regelungen zu Symbolbildern, die schon auf KI-generierte Bilder zur Anwendung gekommen sind. Zu KI-generierten Texten gibt es bisher aber gar keine Regelungen. Zu 4: Der Bundesnetzagentur wurden in den letzten Jahren zahlreiche zusätzliche Aufgaben im Bereich der digitalen Regulierung übertragen, ohne dass in entsprechendem Umfang zusätzliche Stellen geschaffen wurden. Die in der Begründung des Gesetzentwurfes zur Umsetzung der KI-Verordnung genannten Mehrbedarfe müssen sich in Zukunft auch in voller Höhe im Haushalt wiederfinden. Zu 5: Der Hype um generative KI hat zu einer spekulativen Blase und Überinvestitionen in den Ausbau von Rechenkapazität geführt, die weder durch reale Gewinne, reale Produktivitätssteigerungen noch reale Nachfrage gedeckt ist. Diese Entwicklung hat aufgrund des hohen Strom- und Wasserbedarfs von Hochleistungsrechenzentren bereits jetzt schwerwiegende ökologische Folgen. Es wäre ein schwerer Fehler, sie unter Verwendung öffentlicher Gelder noch weiter anzuheizen, wie es die Bundesregierung derzeit mit der Förderung einer KI- „Gigafabrik“ mit 800 Mio. Euro plant. Zu 6 bis 9: Die Antwort der Bundesregierung auf die Kleine Anfrage der Fraktion Die Linke auf BT-Drs. 21/2892 hat gezeigt, dass sie bereits zahlreiche KI-Anwendungen einsetzt, die geltenden Vorschriften der KI-Verordnung dabei jedoch nicht durchgängig einhält. Insbesondere wirft es Fragen auf, wenn die Bundesverwaltung das Risiko für ihre KI-Anwendungen inklusive ihrer Chatbots durchgehend als gering/minimal einstuft, obwohl diese laut KI-Verordnung in eine höhere Risikoklasse eingestuft werden müssen. Teilweise ist gar keine Klassifizierung vorgenommen worden. Diese Klassifizierung ist jedoch Grundlage für die Ermittlung, welche Regelungen der KI-Verordnung anwendbar sind. Die Bundesregierung muss jedoch im Mindesten sicherstellen, dass sie selbst alle Regelungen der KI-Verordnung zuverlässig einhält, wenn sie diese Regelungen in Zukunft gegen private Akteure durchsetzen will. Wenn sie ihr Handeln an dieser Stelle transparent macht, kann dies auch eine Hilfestellung für private Akteure bei der Risikoklassifizierung sein. Darüber hinaus muss sie systematisch auch weitere Risiken, die mit dem Einsatz von KI-Anwendungen verbunden sind, evaluieren und berücksichtigen, wenn sie sich für den Einsatz entscheidet. Dabei ist neben dem hohen Anspruch an Diskriminierungsfreiheit besonders zu berücksichtigen, dass Verwaltungsentscheidungen in einem demokratischen, rechtsstaatlichen System immer nachvollziehbar sein müssen. Denn nur eine nachvollziehbare Verwaltungsentscheidung kann auch gerichtlich überprüft werden. An dieser Nachvollziehbarkeit fehlt es KI-Systemen. Bei KI-Anwendungen bleibt völlig unklar, wie und warum ein System zu bestimmten Ergebnissen gekommen ist. Zu 10: Veröffentlichungen der Bundesregierung sollten einem hohen Standard an Vertrauenswürdigkeit genügen. Zudem sollte die Bundesregierung eine Vorbildfunktion bei der gerechten Vergütung kreativer Arbeit einnehmen und entsprechend bei Illustrationen, Videos und anderen Werken, für die üblicherweise Dritte beauftragt werden, auf den Einsatz KI-generierter Werke gänzlich verzichten. Zu 11: Die erwähnten hohen externalisierten Kosten legen nahe, den Einsatz generativer KI bewusst auf das Minimum zu beschränken, zumal ihr Einsatz auch in Bereichen aggressiv beworben wird, in denen der reale Nutzen fragwürdig ist. Sinnvoll scheint eine Beschränkung auf klar definierte Anwendungsbereiche wie der Unterstützung von Übersetzung oder Transkription. Insbesondere sollte jede Abhängigkeit von externen Anbietern vermieden werden. Gesamtherstellung: H. Heenemann GmbH & Co. KG, Buch- und Offsetdruckerei, Bessemerstraße 83–91, 12103 Berlin, www.heenemann-druck.de Vertrieb: Bundesanzeiger Verlag GmbH, Postfach 10 05 34, 50445 Köln, Telefon (02 21) 97 66 83 40, Fax (02 21) 97 66 83 44, www.bundesanzeiger-verlag.de ISSN 0722-8333