Fairness by Design: Warum KI keine Vorurteile erfindet, sondern unsere Muster reproduziert

Worum es in dieser Folge geht

Alex Ulbricht ist seit über zwölf Jahren bei Fujitsu und war dort die jüngste Vertriebsleiterin der Firmengeschichte im Datacenter-Sales. Heute ist ihr Arbeitsleben ein anderes: hinfahren, Keynote halten, weiterfahren — über 400 Vorträge zu AI-Fairness hat sie inzwischen gehalten. Und nein, das ist keine Webseitenzahl, wie sie mir im Gespräch bestätigt.

Mich interessiert an dieser Folge vor allem der Praxistest: Ich bin Pragmatiker, ich denke in Time-to-Market — und Alex sagt, Fairness gehört von Anfang an in jedes KI-System. Also fordere ich sie heraus: Was muss ich Schritt für Schritt tun, damit mir kein Amazon-Fall passiert? Und ist die Bias-Diskussion nicht ein Luxusproblem, solange der Mittelstand noch mit seinen ETL-Pipelines kämpft?

Die Storyline

Von der Datacenter-Vertrieblerin zur Fairness-Stimme

Alex ist über einen Slam zum Thema gekommen. Nach zehn Jahren als Frau in einer IT-Branche, die zu über 90 Prozent männlich war, bereitete sie auf, was sie persönlich getriggert hat — und landete bei Beispielen, die hängen bleiben: Crashtest-Dummies sind männlich. Frauen haben deshalb eine 72 Prozent höhere Wahrscheinlichkeit, bei einem Frontal-Crash schwer verletzt zu werden, und eine 18 Prozent höhere Wahrscheinlichkeit zu sterben. In den USA gibt es erst seit 2025 ein Gesetz, das weibliche Dummies vorschreibt, in der EU werden sie erst seit 2026 verwendet. Dasselbe Muster in der Medikamentenforschung, die überwiegend an Männern testet.

Ihr Punkt dahinter: Solange Menschen entscheiden, fällt so etwas irgendwann auf. Wenn diese Daten aber in KI-Systeme wandern, die autonom entscheiden, bekommen wir Benachteiligungen nicht mehr mit. Genau deshalb ist es ihre Mission geworden, den Bias aus den Daten zu holen, bevor die Systeme ihn reproduzieren.

KI erfindet keine Vorurteile — sie reproduziert unsere Muster

Das Kernargument der Folge: KI-Systeme lernen aus historischen Daten, und in denen stecken alle Vorurteile der Vergangenheit. Ein Algorithmus erkennt Muster und reproduziert sie — das Blöde ist nur, dass er das ungesehen tut, ohne dass jemand prüft, ob dieses Muster reproduziert werden sollte. Es ist ein hausgemachtes Problem, das die Technik verstärkt.

Das Lehrbuchbeispiel liefert Amazon: 2014 führte der Konzern eine Recruiting-KI ein, die Lebensläufe scannt und Empfehlungen ausspricht. Nach zwei, drei Jahren fiel auf, dass sich die Frauenquote verschlechtert hatte. Die Ursachenforschung ergab: Die KI hatte gelernt, dass Amazon in der Vergangenheit hauptsächlich Männer eingestellt hatte — und qualifizierte alles ab, wo „Women's" davorstand, bis zum Women's Chess Club. Alex' trockenes Fazit: Wenn das Amazon passiert, dann jedem anderen auch.

Bias-Audits und Intersectional Bias

Auf meine Frage nach dem Schritt-für-Schritt-Vorgehen bleibt Alex angenehm konkret. Erstens: Vor der Einführung ein Bias-Audit machen. Bei einem gekauften Recruiting-System kann das ein kleiner Mittelständler selbst — gleiche Lebensläufe, die sich nur in wenigen Kriterien unterscheiden, ans System schicken und schauen, was passiert. Zweitens: Bei größeren Use Cases intensiver testen, denn es gibt nicht nur den Bias, den man mit bloßem Auge sieht.

Intersectional Bias entsteht erst, wenn mehrere Attribute kombiniert werden: Vielleicht ist die Geschlechterverteilung im System ausgeglichen — aber bei weiblich plus Alter zwischen 30 und 40 tritt die Diskriminierung ein. Das kann über zwei, drei, vier, fünf Attribute gehen, und dann sieht man es mit menschlichem Auge nicht mehr. Dafür gibt es Tools. Drittens: kein einmaliger Check, sondern ein kontinuierlicher Prozess mit einem internen Score, den man nicht überschreiten will — und einem Plan, was passiert, wenn ein Bias gefunden wird.

Fairness by Design: die Barrierefreiheits-Analogie

Auf meine Provokation, ob wir KI-Projekte damit nicht organisatorisch aufblasen, bevor sie über den POC hinauskommen, antwortet Alex differenziert: Für den POC selbst braucht es den Fairness-Gedanken noch nicht. Aber sobald ein System eingekauft oder aufgesetzt wird, gehört Fairness hinein — und zwar von Anfang an.

Die Rechnung dahinter ist bestechend: Ein Fairness- oder Bias-Audit kostet je nach Unternehmens- und KI-Größe zwischen 5.000 und 50.000 Euro und dauert eine bis vier Wochen. Ein Bias-Skandal dagegen bringt Reputationsschaden, abgelehnte Bewerberinnen, die perfekt gepasst hätten, und womöglich ein rechtliches Problem, weil man gegen den EU AI Act verstoßen hat. Prävention kostet um Welten weniger. Fujitsu selbst lebt das radikal: 2019 — lange vor dem EU AI Act — veröffentlichte das Unternehmen ein eigenes Ethics Commitment und gründete ein Ethics-Komitee aus internen und extern bezahlten Prüfern. Und an Ausschreibungen, deren primäres Ziel es ist, menschliche Arbeitskraft zu ersetzen, nimmt Fujitsu nicht teil.

Warum es trotzdem keiner baut: kein Anreiz, kein KPI

Wenn Responsible AI so klar rechenbar ist — warum macht es dann nicht jeder? Alex' Analyse ist die ehrlichste Passage der Folge: Das Thema hat jeden Makel, den ein Thema haben kann.

Dazu kommt: Es gibt keinen Fairness-KPI. Wir haben KPIs für CO2-Ausstoß, Diversity-Dashboards, DSGVO-Auswertungen — aber Fairness ist kein Wert, sondern eine Entscheidung, und deshalb nicht generisch messbar. Organisatorisch hängt das Thema oft in der CSR-Ecke, wo nie Budget lockergemacht wird, statt direkt unter dem Vorstand. Und die Data Scientists, die das Problem verstehen, sprechen eine andere Sprache als die Vorstände, die Kaufentscheidungen treffen: Precision auf der einen Seite, Umsatz und Marge auf der anderen. Diese Übersetzung fehlt in den meisten Organisationen.

DIR: die einfachste Fairness-Formel der Welt

Zum Schluss will ich es pragmatisch: Was wären die ersten Schritte, wenn ich mich morgen als CDO im Mittelstand um AI-Fairness kümmern müsste? Alex' Antwort: ein Bias-Audit anstoßen — und wenn es klein sein soll, reicht ein einziger Score. Die Disparate Impact Ratio, kurz DIR: Erfolgsquote der schlechter gestellten Gruppe geteilt durch die Erfolgsquote der besser gestellten Gruppe. Werden 82 Prozent der männlichen Bewerber zum Gespräch eingeladen, aber nur 58 Prozent der weiblichen, ergibt 58 durch 82 knapp über 0,7.

Liegt der Wert unter 0,8, hat man wohl ein Bias-Problem — diese Daumenregel ist sogar in amerikanischen Gesetzen verankert. Aber Alex bleibt präzise: Ein Wert über 0,8 heißt noch nicht, dass man keinen Bias hat, denn der Intersectional Bias aus kombinierten Attributen taucht in der einfachen Rechnung nicht auf. Und auch Sprachmodelle sind nie neutral: Getestet wird mit maskierten Lückentexten — ein Mann wird dann nach seinem Mut und seiner Kraft beurteilt, eine Frau nach ihrer Schönheit. Wer sich für ein Modell entscheidet, sollte wissen, in welche Richtung es ausschlägt.

Warum mich das besonders umtreibt

Ich bin ehrlich: Ich habe mir bei meinen eigenen KI-Anwendungsfällen nie Gedanken über das Thema Bias gemacht. Meine Vorbereitung auf genau dieses Gespräch lief durch ein Sprachmodell — und auch da könnte ein Bias drinstecken. Das ist der Moment in der Folge, der mich am meisten beschäftigt hat: nicht die Compliance-Seite, sondern die Erkenntnis, dass wir Werkzeuge benutzen, deren Schlagseite wir nicht kennen, während die Neutralität eines Sprachmodells in der Hand von einer Handvoll Leute liegt.

Und trotzdem bleibe ich Pragmatiker. Was ich aus der Folge mitnehme, ist nicht „prüft alles", sondern die Umkehrung: Ich würde KI nutzen, um meinen eigenen Bias zu finden — etwa im Muster meiner Leistungsbeurteilungen, wenn zwei Führungskräfte immer top und zwei immer schlecht wegkommen. Alex fand die Idee grandios, und ich glaube, da liegt der eigentliche Hebel: Wir sind alle mit Bias erzogen worden, wir sind das Abbild der letzten Generationen. Wer besser werden will — als Führungskraft und als Unternehmen — fängt bei der eigenen Schlagseite an. Die DIR-Formel kostet nichts, der Blick in den Spiegel auch nicht. Keine Ausreden mehr.

Jetzt reinhören