Rekabsaz & Schedl (2020) haben gezeigt, dass Entscheidungen von Maschinen mittels Künstlicher Intelligenz sich in der Vergangenheit als diskriminierend oder rassistisch erwiesen haben, wobei besonders die Ergebnisse von Suchmaschinen, die Deep Learning nutzen, sexistisch verzerrt sind. Das liegt daran, dass die Algorithmen auf Daten zugreifen, oft mit Vorurteilen belastet sind, denn so werden Menschen mit Migrationshintergrund als weniger kreditwürdig eingestuft, von Polizeicomputern häufiger verdächtigt oder sie bekommen von sozialen Plattformen Angebote für schlechtere Jobs oder Wohnungen. In der Studie wurden Modelle bzw. Algorithmen analysiert, die in Suchmaschinen verwendet werden und die auf realen Suchanfragen basieren. Man teilte dabei die Suchfragen in zwei Gruppen: Einerseits solche, die geschlechtsneutral sind und Antworten ohne Gender-Bias lieferten, die andere Gruppe bildeten Anfragen, die zumindest im Englischen nicht explizit geschlechtsspezifisch sind, etwa die Frage nach dem Einkommen einer Pflegekraft (der Begriff „nurse“ steht im Englischen sowohl für Krankenpfleger als auch für Krankenpflegerin) oder die Frage nach einem Synonym für „schön“. Obwohl diese Fragen geschlechtsneutral formuliert waren, warfen die Suchmaschinen vor allem Antworten im Zusammenhang mit Frauen aus, während Männer erst weit hinten vorkamen, andererseits liefert etwa die Suche nach CEO, also den Geschäftsführer eines Unternehmens, oder Programmierern überwiegend männlich konnotierte Antworten. Es hat sich also gezeigt, dass gerade die neuesten Deep Learning-Algorithmen eine besonders ausgeprägte geschlechtsspezifische Verzerrung verursachen, wobei solche Algorithmen von zwei der größten Suchmaschinen eingesetzt werden. Ursache für die Verzerrung ist dabei, dass jene Systeme, die Deep Learning nutzen, nicht nur nach dem Suchbegriff alleine suchen, sondern auch ähnliche Begriffe oder Themenbereiche ebenfalls berücksichtigen. Im Fall „nurse“ suchen sie etwa auch nach „matron“ (Oberschwester), wodurch sie zunehmend zur weiblichen Interpretation der Suchanfrage tendieren. Diese von Menschen gesammelten und aufbereiteten Daten, auf denen die KI basiert, beinhalten zwar bereits diese Tendenzen, doch die Suche mit Hilfe der Künstlichen Intelligenz verstärkt diesen Effekt noch. Zwar wurde in der Untersuchung nur der Geschlechter-Bias erhoben, doch dürften solche Effekte auch in anderen Bereichen wie Alter, ethnischer Zugehörigkeit oder Religion vorkommen. Es ist daher wichtig, sich die Verzerrung von solchen automatischen Ergebnissen durch menschliche Vorurteile bewusst zu machen und bereits bei der Programmierung der Algorithmen zu berücksichtigen.
Literatur
Rekabsaz, Navid & Schedl, Markus (2020). Do Neural Ranking Models Intensify Gender Bias?
WWW: https://arxiv.org/pdf/2005.00372.pdf (20-06-20)
