KI-basierte Systeme werden bereits in vielen Gesellschaftsbereichen für automatisierte Entscheidungsprozesse eingesetzt, zum Beispiel in der Polizeiarbeit, bei Bewerbungsverfahren, im Finanz-, Bildungs- oder Gesundheitssektor. Künstliche Intelligenz entscheidet also darüber, ob jemand einen Kredit bekommt, wer in der Bewerbungsrunde weiterkommt – oder ob ein Kind in einer Familie gefährdet ist, Missbrauch zu erfahren. KI-basierte Systeme prägen damit nicht nur das Leben von Individuen, sondern haben auch enorme gesamtgesellschaftliche Auswirkungen.
Was steckt hinter den von KI-basierten Systemen getroffenen Entscheidungen? Wie können wir ihnen vertrauen? Wie lassen sich Diskriminierungspotenziale aufdecken, wie kann man algorithmischen Verzerrungen entgegenwirken? Und wie können wir solche Systeme so gestalten und einsetzen, dass sie dem Gemeinwohl nützen?
Darüber sprachen wir mit Kristina Penner von AlgorithmWatch. Die 2015 gegründete Initiative hat sich dem Thema der algorithmischen Entscheidungsfindung verschrieben. Die gemeinnützige Organisation betrachtet diese Entscheidungsprozesse, ordnet sie hinsichtlich ihrer gesellschaftlichen Auswirkungen ein und setzt sich für deren nachvollziehbare Gestaltung ein.
Kristina, in eurem Report „Automating Society“ von 2019 habt ihr euch in zwölf EU-Ländern und auf EU-Ebene Systeme automatisierter Entscheidungsfindung angeschaut, darunter auch viele KI-basierte Systeme. Im Report finden sich viele Beispiele von „Social Scoring“ – ein Begriff, den man vor allem im Zusammenhang der Totalüberwachung der chinesischen Bevölkerung hört. Wie ist der Einsatz solcher Systeme einzuschätzen?
Kristina Penner von AlgorithmWatch wirkte am Report „Automating Society“ (2019) mit. Beim „Social Scoring“, also bei Systemen, die Menschen beurteilen, in Gruppen einordnen und Profilen zuordnen, zählt nicht mehr das individuelle Verhalten, sondern die Zugehörigkeit zu diesen Gruppen und Profilen. Und wenn keine Grenzfälle mehr möglich sind, keine individuellen Situationen oder Komplexitäten mehr Berücksichtigung finden, dann wird es schwierig.
In allen Ländern, die wir untersucht haben, haben wir zum Beispiel im Bereich der Polizeiarbeit Systeme gefunden, die durchaus Social-Scoring-Charakter haben können. In Dänemark war im Bereich Kinder, Jugend und Familie ein System geplant, mit dem potenzielle Vernachlässigung von Kindern identifiziert werden soll. Das liegt aber gerade auf Eis, weil die Gesellschaft sich gegen den Einsatz gewehrt hat. In den Niederlanden gibt es ein System, das Kindesmissbrauch und häusliche Gewalt vorhersagen soll. Und in Spanien soll im Bereich „Justiz und Jugend“ damit das Rückfallrisiko von straffällig gewordenen beziehungsweise verurteilten Jugendlichen vorhergesagt werden. Gerade diese Funktionsweise der Vorhersage ist hochproblematisch, weil das prognostizierte Verhalten noch nicht passiert ist. Da muss man ganz sensibel sein, welche Daten, welche Kategorien, welche Variablen man wie zusammensetzt und gewichtet, und welche statistischen Berechnungsmethoden eingesetzt werden, damit das eben nicht zu falschen Schlüssen führt.
Welche negativen gesellschaftlichen Auswirkungen können KI-basierte Systeme haben? Welche Risiken muss man im Blick haben?
Es ist wichtig sich bewusst zu machen, dass KI-basierte Systeme zu ungleichen Chancen und zu ungleichen Zugängen führen können, zum Beispiel, wenn sie bei der Vorauswahl von Jobangeboten oder bei Bewerbungsverfahren eingesetzt werden. Oder dass sie wirtschaftlich ausgrenzen und benachteiligen können, beispielsweise wenn es Fehler bei der Zuordnung zu Profilen, der Steuerung von Sozialleistungen, Kredit-Scorings oder Personalbewertungssystemen gibt. Und wenn zum Beispiel Stigmatisierung, Stereotype, Vorurteile durch die Daten, mit denen diese Systeme trainiert werden, verstärkt oder reproduziert werden, können sie zu sozialen Beeinträchtigung führen – und dies kann bereits bei der Gestaltung und Entwicklung dieser Systeme geschehen, aufgrund der Vorurteile derjenigen, die sie entwickeln und einsetzen.
Das heißt, dass so ein System, das eigentlich möglichst objektiv bewerten und Entscheidungen treffen soll, letztlich die gleichen Diskriminierungsmuster fortführt, die bereits in unseren Gesellschaften bestehen?
Ja, zum Beispiel dadurch, dass nicht dein persönliches Handeln oder dein individueller Fall darüber entscheidet, welches Resultat, welche Entscheidung aus diesem System hervorgeht, sondern deine Zugehörigkeit zu einer Gruppe. Das ist etwas, das man im Blick haben und testen muss, denn Diskriminierungspotenziale zeigen sich oft erst, wenn man das System in der Realität einsetzt. Wenn wir an Systeme denken, die im Justizsystem oder in der Polizeiarbeit eingesetzt werden, kann es sogar zur Einschränkung unserer bürgerlichen Freiheiten und zu unrechtmäßigem Freiheitsverlust kommen. Dies sind mögliche gesellschaftliche Folgen, wenn diese Systeme etwa nicht nachvollziehbar entwickelt werden, nicht unabhängig und mit den richtigen Daten getestet werden, fehlerhaft funktionieren oder auf diskriminierenden Annahmen und Daten aufbauen.
Hast du ein Beispiel für solche KI-basierten Systeme, die Diskriminierungspotenzial besitzen?
In Österreich wird seit diesem Jahr im Bereich Arbeitsmarkt, Service und Arbeitslosenunterstützung ein Algorithmen-basiertes System eingesetzt, um die Arbeitsmarktchancen von Jobsuchenden zu bewerten und vorherzusagen. Das Ergebnis dieses Scoring-Systems entscheidet dann, ob zum Beispiel eine Weiterbildung finanziert oder welche Art von Unterstützung gewährt wird. Frauen werden in diesem System alleine aufgrund ihres Geschlechts niedrigere Chancen prognostiziert, wieder Arbeit zu finden – weil das Modell das so vorgibt. Kommen weitere Faktoren wie Betreuungspflichten für Kinder oder Eltern hinzu oder habe ich einen Migrationshintergrund, dann bekomme ich einen noch schlechteren Score – und somit weniger Unterstützung, obwohl ich wahrscheinlich bereits alleine durch diese Tatsachen in der Gesellschaft benachteiligt bin.
Welche Handlungsempfehlungen würdet ihr bei diesem Beispiel geben? Sollte das System hier vielmehr unterstützend eingreifen, statt gesellschaftliche Benachteiligungen zu reproduzieren?
Das politisch Brisante ist, dass eben immer noch argumentiert wird: „Naja, der Jobmarkt ist so, die Realität ist so, und deswegen können wir da nicht korrektiv eingreifen.“ Das muss man hinterfragen. Dieses System ist vielleicht keine schlechte Idee, wenn man es denn dazu nutzen würde, Ungleichheiten, Ungerechtigkeiten auf einem sensitiven Weg auszugleichen. Denn bei Männern mit Betreuungspflichten – und das ist das Diskriminierende dabei – wird diese Variable eben nicht negativ gewertet. Wenn sie diese Pflichten übernehmen, müssen sie – in der Realität – keine Auswirkungen auf ihre Karriere, auf ihre Arbeitssituation befürchten, so wie Frauen das müssen. Das Interessante an dem Beispiel ist dabei, dass das System recht transparent ist: Die Gewichtung, die Berechnungsgrundlage ist öffentlich gemacht worden, die Menschen in Österreich wissen also, wie es funktioniert. Das ermöglicht es der Zivilgesellschaft, darüber zu diskutieren und den Betroffenen, die Bewertungen besser zu verstehen. Das ist ein erster Schritt für einen souveränen Umgang mit solchen Systemen.
Es braucht also Transparenz und Teilhabe, um Diskriminierung durch KI-basierte Systeme zu erkennen und dagegen steuern zu können.
Ja. Diese Systeme werden bereits vielerorts eingesetzt, um lebensverändernde Entscheidungen über Menschen zu treffen – und das oft, ohne dass wir oder die einsetzenden Institutionen sich wirklich darüber bewusst sind, wie diese Systeme funktionieren. Da herrscht ein Transparenzdefizit. Gewiss werden solche Technologien nicht immer mit negativen Intentionen eingesetzt, aber gerade, wenn es sich um selbstlernende Systeme handelt, ist den Einsetzenden oft gar nicht bewusst, was das Resultat ist und welche Wirkung es hat. Das heißt, Transparenz auf verschiedenen Stufen der Entwicklung und des Einsatzes dieser Systeme ist eine entscheidende Voraussetzung, aber eben keine hinreichende Bedingung – gleichzeitig müssen ermächtigende Handlungsmöglichkeiten entwickelt werden.
Welche Informationen und Daten über KI-basierte Systeme müssten offengelegt werden?
Je riskanter, je sensibler die System-Einsatzfelder sind und je weitreichender die Auswirkungen für das soziale Gefüge, die Gesellschaft, das Gemeinwohl oder auch für die individuellen Rechte und Freiheiten, desto transparenter müssen die Einsetzenden damit umgehen.
Wenn wir etwa vom öffentlichen Sektor ausgehen, sollte zunächst einmal transparent gemacht werden, wo man diese Systeme einsetzt und was die Systeme überhaupt zum Ziel haben. Interessanterweise gibt es dazu wenig Informationen. Wenn man das weiß, kommt man der Sache auch schon näher, ob das System denn „erfolgreich“ ist – ob es also den Zweck erfüllt, falls dieser vorab definiert wurde. Transparent muss auch sein, auf welchem Wege dieses Ziel erreicht werden soll: Welche Annahmen, welche Hypothesen, welche Modellierung und Gewichtung steht dahinter? Mit welchen Daten wurde gearbeitet? Wurden Daten für einen anderen Zweck genutzt als den, für den sie ursprünglich erhoben wurden? Wurden Algorithmen für einen anderen Zweck eingesetzt, als den, für den sie entwickelt wurden?
Dann muss es Informationen dazu geben, wer das System entwickelt hat. Das sind Angaben, die kann man machen, ohne unbedingt den Code offenzulegen oder das Geschäftsgeheimnis der Unternehmen zu verletzen. Wir sehen gerade öffentliche Stellen in der Pflicht, diese Angaben zu veröffentlichen. Wenn Systeme großen Einfluss haben, sollten wir als Bürgerinnen und Bürger wissen, wo sie eingesetzt werden und wie sie funktionieren, um souveräner und selbstbestimmter damit umgehen zu können und um – wo möglich – frei entscheiden zu können, ob wir uns dem aussetzen.
Du sagtest eben, es braucht auch in der Entwicklung Transparenz. Gibt es auf Entwicklungsebene Überprüfungsmechanismen, um negativen Auswirkungen wie Diskriminierungspotenzialen entgegenzuwirken? Wie kann man hier das Bewusstsein der Entwickler*innen und der Unternehmen für die Auswirkungen und den potenziellen Schaden schärfen, wenn Daten falsch eingesetzt oder Kriterien nicht angemessen gewichtet werden?
Das Bewusstsein für die so genannte Diversity Crisis, oder Diversitätsherausforderung, in den allermeisten Entwicklerteams ist lange bekannt. Dem stellen sich manche dieser Entwicklerteams mehr als andere. Es müssten Menschen mit unterschiedlichen Erfahrungen und Gruppenzugehörigkeiten nicht nur an der Modellierung, Entwicklung und Programmierung der Algorithmen-basierten Systeme beteiligt sein, sondern auch an der Auswahl der Daten, weil am Ende ihre Prägungen und Kenntnisse sehr stark in die Entwicklung mit einfließen – und die Systeme diese Erfahrungen widerspiegeln. Man muss sich also wirklich anschauen: Welches Ziel hat das System? Welche Daten werden verwendet, sind das die richtigen Daten für dieses System? Sind das die richtigen Annahmen, ist das der richtige Algorithmus für diesen Zweck? Und wenn das richtig zusammenkommt, muss man nachher im Test und im Einsatz dabeibleiben und aktiv beobachten, ob das System auch das tut, was es soll – und entscheiden ob das System so eingesetzt dem Gemeinwohl dient oder eben nicht.
Technologie hat schon oft Ungleichheit und Ungerechtigkeit in der Gesellschaft widergespiegelt. Da gibt es das Beispiel des Designs von Autos und Sicherheitsgurten, die für Frauen und Schwangere einfach nicht ausgelegt sind, weil diese Gruppen bis heute nicht, oder nicht ausreichend, am Design und den Tests beteiligt werden. Es gibt Assistenzsysteme, die die Stimmen von Frauen bis zu 70 Prozent schlechter erkennen als männliche Stimmen. Es gibt Systeme, die die Bedürfnisse, die man eher Frauen und Mädchen zuschreiben würde, nicht so gut erfassen und nicht gut beantworten können. Sie kennen aber die Bedürfnisse, die man eher Männern oder Jungen zuschreiben würde, sehr gut, weil sie mit diesen Erfahrungen und Daten entwickelt und trainiert wurden. Diese Beispiele sind gut dokumentiert und lassen uns aus der Geschichte lernen.
Es braucht dazu auch ein Umdenken in der Politik und in der Förderlandschaft. Wir müssen Tech-Unternehmen und Entwicklerteams, die sich diesen Herausforderungen stellen, entsprechend fördern und unterstützen.
Wie können wir einer Maschine, einem Algorithmus überhaupt vertrauen? Oder wie kann sichergestellt werden, dass die Entscheidungen, die von einem KI-basierten System getroffen werden, keinen Bias, also algorithmische Verzerrungen, in sich tragen?
Selbst wenn man einen sehr sensitiv erstellten Datensatz hat, wird dieser nie ohne Bias sein – und das System wird nie ohne Bias funktionieren. Die Frage nach dem Vertrauen ist spannend, weil sie auch daran anschließt, wie wir mit solchen Systemen umgehen können sollten. Es gibt Systeme, denen ich mehr vertraue, weil ich verstehe, wie sie funktionieren, zum Beispiel ein Empfehlungssystem, das mir die passenden, für mich relevanten Produkte oder Dienstleistungen anbietet – und mir vor allem erklärt, wie diese Vorauswahl zustande kommt. Ich muss diesem Empfehlungssystem aber nicht folgen. Sobald es aber um ein System geht, das ich nicht verstehe oder bei dem ich gar nicht weiß, dass ich dem ausgesetzt bin, welche Folgen es für mich und andere hat, da wird es dann schon schwierig mit der Vertrauensfrage. Es gibt also unterschiedliche Auswirkungsebenen und Einsatzfelder, in denen Vertrauen in das jeweilige System unterschiedliche Informationsansprüche mit sich bringt und auch von rechtlich angepassten Reaktionsmöglichkeiten abhängt.
Wie könnte man das nötige Vertrauen in solche Systeme herstellen?
Eine Idee für den Einzelnen wären Plattformen, die durch Simulationen und Szenarien erklären, wie das System funktioniert – damit könnte ich dann üben und lernen, souverän damit umzugehen. Ich kann mich vielleicht dem nicht ganz entziehen, aber ich kann mir zumindest bewusst werden, welche Kriterien eine Rolle spielen. Und wenn ich einen Fehler bemerke, zum Beispiel, dass eine falsche Adresse beim Kredit-Scoring Einfluss nimmt, kann ich Korrekturen verlangen. Vertrauen entsteht ja auch dadurch, dass ich weiß, wie ich reagieren kann, wenn ich in meinen Rechten verletzt werde.
Es braucht also Zugang, Verständnis und Möglichkeit für Korrektur.
Und die Möglichkeit Widerspruch einzulegen, muss praktikabel sein. Wenn dem nicht so ist, wenn Transparenz allein mich überfordert oder wenn die Kontrolle und Aufsicht dieser Systeme allein in die Hände des Einzelnen gelegt werden, würde das dem entgegenstehen, Vertrauen aufzubauen.
Und das bringt mich zur gesellschaftlichen Ebene. Wir müssen ernst genommen werden als Mitgestalter des Einsatzes dieser Systeme. Es ist sehr wichtig, den gesellschaftlichen Dialog und Mitbestimmung zu fördern und eine Entwicklung hin zu einem Gemeinwohl-orientierten Einsatz solcher Systeme zu ermöglichen.
Die heutige „Datensammelwut“ steht im Konflikt mit der Datensouveränität des Einzelnen. Für viele KI-Anwendungen braucht es aber eben diese riesigen Datenmengen zum Anlernen und Trainieren. Wie kann man sicherstellen, dass die nötigen Daten dafür vorhanden sind, diese aber legal und legitimiert eingesetzt werden?
Es ist wichtig, differenziert zu betrachten, dass das Sammeln von Daten nicht per se schlecht ist und dass die Erhebung der richtigen Daten für den richtigen Nutzen sehr wertvoll ist. Dies jedoch bewerten zu können und sicherzustellen und dabei die Risiken zu minimieren, erfordert nicht nur Ressourcen und Kompetenzen, sondern birgt bei gegebener Transparenz- und teils auch Rechtslage Herausforderungen.
Es gibt aber auch Lösungsvorschläge, zum Beispiel Treuhändermodelle für Daten. Das ist ein ganz spannender Bereich, der noch in den Anfängen steht, aber sehr vielversprechend ist. Dort wäre es eben nicht etwa die Plattform oder die Verwaltung, also der Datensammler, der entscheidet, wer welche Daten für welchen Zweck weiterverwenden darf, sondern eine zwischengeschaltete, unabhängige Instanz, die auch erklärt und kontrolliert. Dabei steht immer das Ziel im Vordergrund, dass diese Technologien und die Prozesse, die damit einhergehen, wie zum Beispiel Datensammlung, Datennutzung und -auswertung, dem Gemeinwohl dienen – und in manchen Fällen Betroffene entscheiden können, welchem Einsatz sie zustimmen, ohne das System zur Gänze verstehen zu müssen. Die Idee ist also, dass die kompetente Überprüfung und Aufsicht und die freie Entscheidung und mögliche Zustimmung zur Nutzung getrennt werden.
Danke für das Interview!
Wie kann KI im Umwelt- und Klimaschutz wirkungsvoll eingesetzt werden? Welche spannenden Projekte gibt es? Was sind die sozial-ökologischen Risiken der Technologie und wie sehen Löungen aus? Antworten und konkrete Handlungsempfehlungen geben wir in unserem Greenbook(1) „KI und Nachhaltigkeit – Können wir mit Rechenleistung den Planeten retten?“.
Dieser Artikel ist Teil des Dosssiers „Künstliche Intelligenz – Können wir mit Rechenleistung unseren Planeten retten?“. Alle Artikel des Dossiers findest du hier: Dossier KI
Das Dossier ist Teil der Projekt-Förderung der Deutschen Bundesstiftung Umwelt (DBU), in deren Rahmen wir vier Dossiers über zwei Jahre zum Thema „Chancen und Potenziale der Digitalisierung für eine nachhaltige Entwicklung“ erstellen.
Mehr Informationen hier.
