Hilfe! Mein Computer ist rassistisch

Über 10’000 Menschen haben vergangenen Samstag in Zürich an der Black Lives Matter-Demonstration teilgenommen und ihren Unmut über den systemischen Rassismus, der sehr wohl auch in der Schweiz existiert, kundgetan. Ein junger dunkelhäutiger Demonstrant sagt in der Tagesschau Hauptausgabe vom 13. Juni 2020, dass die Veränderungen zuerst im Kopf passieren müssen und macht damit klar, dass wir unser Verhalten als gesamte Gesellschaft zu ändern haben. Es reicht nicht aus, eine schwarze Kachel auf Instagram zu posten – wir müssen unsere Herangehensweise miteinander zu Leben im Privaten, Sozialen und im Job schleunigst ändern.

Social-News-Webseiten, welche sich auf Themen aus den Bereichen IT und Technik fokussieren, sind in der Regel eher ruhig, wenn es um gesellschaftspolitische Themen geht. Aber im Rahmen der Aufstände nach der Ermordung von George Floyd, wurden auch auf diesen Seiten vermehrt Beiträge über Probleme und Rassismus in der Branche publiziert.

Einer dieser Beiträge verlinkte auf das Kapitel Vorurteilsfreie Kommunikation des Style Guides von Microsoft, das im September 2019 publiziert wurde. In diesem wird beschrieben, wie technische Dokumentationen fair und inklusiv geschrieben werden können. So wird zum Beispiel aufgezeigt, dass «sales representative» statt «salesman» verwendet werden soll und wie generell auf geschlechterspezifische Pronomen wie Sie und Er verzichtet werden kann. Desweiteren wird auch beschrieben, dass kulturell sensible Begriffe wie z.B. «master/slave», die bei IT-Systemen eine Architektur beschreiben, in Zukunft durch «master/subordinate» ersetzt werden sollen. Viele grosse Technologieunternehmen besitzen solche Style Guides um sowohl Angestellte als auch Benutzer*innen ihrer Software zu sensibilisieren. Auch Google hat einen ausführlichen Style Guide, welcher unter anderem Themen wie Inklusion und Barrierefreiheit anspricht.

Wie die Debatte über den Genderstern immer wieder zeigt, ist es enorm wichtig, die Sprache kontinuierlich anzupassen, egal ob es die Alltags- oder Berufssprache ist. Aber auch hier reicht es wiederum nicht, wenn die Programmierer*innen nur auf Begriffe wie «Black- und Whitelist» verzichten. Der systemische Rassismus beginnt nicht beim Schreiben der Benutzer*innenanleitung sondern schon lange davor, beim Konzipieren und Entwickeln.

Bereits im Jahr 2010 wurde in einem Artikel von «Time» darüber berichtet, wie eine Digitalkamera bei Aufnahmen von lachenden asiatisch aussehenden Menschen eine Warnung anzeigt und fragt, ob jemand während des Fotografierens geblinzelt hätte. Zehn Jahre später verbietet Amazon der US-amerikanischen Polizei, ihre Gesichtserkennungssoftware zu verwenden. Und dies nicht nur, weil die Firma auf den «Defund the police» Zug aufspringt, sondern vor allem wegen der auffällig erhöhten Fehlerrate bei dunkelhäutigen Personen. In ihrer Dissertation am MIT untersuchte die Informatikerin Joy Buolamwini verschiedene Gesichtserkennungssoftwares und fand bei der Bestimmung des Geschlechts beziehungsweise der Erkennung des Gesichtes von dunkelhäutigen Frauen Fehlerraten von bis zu 34,4 Prozent.

Um zu verstehen, warum diese enormen Fehlerraten entstehen können, muss bekannt sein, wie solche Algorithmen funktionieren. Wenn von moderner künstlicher Intelligenz die Rede ist, sind meistens Softwareprogramme gemeint, die trainiert wurden, eine bestimmte Aufgabe zu lösen. Einer Gesichtserkennungssoftware werden also Bilder von Gesichtern gezeigt. Zu diesen erhält sie zusätzliche Informationen wie zum Beispiel das Geschlecht und Alter der Person. Nach dem Training sollte das Softwareprogramm in der Lage sein, das Geschlecht und Alter von neuen und noch nie gesehenen Personen zu bestimmen.

Die hohen Fehlerraten, die Joy Buolamwini in ihrer Dissertation aufdeckte, sind wahrscheinlich damit zu erklären, dass die Entwickler*innen ihre Softwareprogramme mit zu wenigen Bildern von dunkelhäutigen Menschen trainiert haben. Dieses Problem existiert aber nicht nur, wenn es um die Hautfarbe geht. Die gemeinnützige Organisation AlgorithmWatch untersucht und analysiert computergesteuerte Entscheidungsfindung. In einem Beitrag vom 19. Mai haben sie eine Textanalysesoftware von Google untersucht. Diese wird eingesetzt, um automatisch nutzergenerierte Inhalte wie zum Beispiel Kommentare oder Instagram-Beiträge auf ihre Toxizität zu untersuchen. Mit toxisch sind in diesem Fall Beiträge gemeint, die gemein, respektlos oder unvernünftig sind und einen dazu veranlassen, die Webseite beziehungsweise die Unterhaltung zu verlassen. Es reicht ein Blick in die Kommentarspalten gewisser Schweizer Zeitungen um zu sehen, dass solche Beiträge reichlich existieren und eine betreffende Software auf grosse Nachfrage trifft.

Die Untersuchung dieses Algorithmus hat jedoch gezeigt, dass gewisse Adjektive sehr viel toxischer gewertet werden als andere. Getestet wurde die Software immer wieder mit dem gleichen Satz, bei dem sich nur das Ende, nämlich wer die verfassende Person ist, ändert. Ist die verfassende Person ein Pole, der den Satz «Mein Beitrag kann vielleicht etwas bringen. Hier ist meine Geschichte, als Pole.» schreibt, zeigt die Software von Google an, dass der Beitrag eine Wahrscheinlichkeit von 3.5% hat, toxisch zu sein. Der genau gleiche Satz, einfach mit der Geschichte einer schwarzen Frau, bekommt eine Wahrscheinlichkeit von 72.6%. Wieso? Auch hier liegt die Problematik in den Daten, die verwendet wurden um die Software zu trainieren: In Debatten über die Unterdrückung von schwarzen, vielleicht sogar queeren Frauen* wird es mit hoher Wahrscheinlichkeit mehr Hasskommentare geben, als wenn es um Sportfischerei in Polen geht. Kein Wunder also meint die Software, dass sie Wörter wie «schwarz» toxischer werten muss als «polnisch».

Je komplexer und komplizierter die Computersysteme und Algorithmen also werden, umso schwieriger wird es zu verstehen, warum diese Systeme rassistische Entscheidungen treffen. Es wird noch viel Forschung brauchen, bis in der Softwareentwicklung klare Regeln und Richtlinien herrschen, um solche Systeme und Algorithmen zu verhindern. Aber ein einfacher Ansatz kann und muss bereits jetzt verfolgt werden: möglichst diverse Teams zusammenzustellen. Ein Team aus unterschiedlichen Hautfarben, Geschlechtern und Altersgruppen deckt automatisch bedeutend mehr gesellschaftliche Bereiche und Probleme ab, als ein paar weisse männliche Nerds im Keller.

_{Dieser Artikel wurde automatisch in das neue CMS von Tsri.ch migriert. Wenn du Fehler bemerkst, darfst du diese sehr gerne unserem Computerflüsterer melden.}