pte20170821004 Medien/Kommunikation, Technologie/Digitalisierung

"Themis" testet Software auf Vorurteile

System soll Ausbreitung in der Gesellschaft entgegenwirken


Online: Inhalte sind oft nicht vorurteilsfrei (Foto: Petra Bork, pixelio.de)
Online: Inhalte sind oft nicht vorurteilsfrei (Foto: Petra Bork, pixelio.de)

Amherst (pte004/21.08.2017/06:15) Forscher der University of Massachusetts Amherst http://umass.edu haben mit "Themis" ein System entwickelt, das soziale Vorurteile in Software aufdeckt. Denn Programme beeinflussen sowohl unseren Alltag, beispielsweise welche Nachrichten und Postings wir online sehen, als auch kritische Entscheidungen wie Kreditvergaben. "Unkontrolliert bedeuten Vorurteile in Daten und Software ein Risiko, dass sich Vorurteile in der Gesellschaft ausbreiten", warnt daher der Informatikprofessor Yuriy Brun.

Software ist immer und überall

"Datengetriebene Software kann das menschliche Verhalten formen: Sie beeinflusst, welche Produkte wir sehen und kaufen, welche Nachrichten wir lesen, unsere sozialen Interaktionen und letztendlich die Meinungen, die wir uns bilden", weiß die Informatikprofessorin Alexandra Meliou. Zudem kommt Software auch für so manch kritische Entscheidung zum Einsatz. Neben der Kreditvergabe durch Banken umfasst das gerade in den USA oft auch, ob ein Gericht jemanden auf Kaution oder Bewährung freilässt. Sind in den Daten oder der Software rassistische oder andere Vorurteile verankert, hat das Konsequenzen.

"Frühere Forschung hat gezeigt, dass es bei Online-Werbesystemen rassistische Voreingenommenheit gibt. Online-Suchen nach für Minderheiten typische Namen liefern eher Werbung, die mit Gefängnisstrafen zu tun hat", nennt Brun ein Beispiel. Damit droht die Software, Vorurteile zu verfestigen. Gegen derartige Risiken will das Team mit Themis angehen. Das System betrachtet kausale Zusammenhänge und nutzt Hypothesen. Beispielsweise kann Themis hinterfragen, ob allein das Ändern der Ethnizität einer Person dazu führt, dass eine Software die Bewertung der Kreditwürdigkeit verändert.

Unbeabsichtige Vorurteile

"Themis kann Vorurteile in Software erkennen, ob sie beabsichtigt sind oder nicht", betont zudem Brun. So kann das System auch erkennen, wenn sich durch Maschinenlernen Vorurteile in ein Programm einschleichen. Das ist ein aus der Praxis bereits gut bekanntes Problem: Durch fehlgeleitetes Maschinenlernen wurde 2016 Microsofts Chatbot "Tay" zum Sexisten und Rassisten.

Das Team konnte zeigen, dass der Versuch, Vorurteile beim Software-Design zu meiden, selbst problematisch ist. Offenbar kann das gezielte Vermeiden eines Vorurteils dazu führen, dass lernende Programme dafür andere Vorteile stärker ausprägen. Eine auf Entscheidungsbäumen beruhende Software, die trainiert wurde, geschlechtsneutral zu sein, hat laut Themis dafür zu 38 Prozent rassistisch diskriminiert. Ein Grundproblem ist, dass Software oft aus nicht ganz unvoreingenommenen Daten lernt. "Ohne vorsichtige Kontrolle bezüglich möglicher Vorurteile kann Software diese noch verstärken", warnt Informatik-Doktorand Sainyam Galhotra.

(Ende)
Aussender: pressetext.redaktion
Ansprechpartner: Thomas Pichler
Tel.: +43-1-81140-314
E-Mail: pichler@pressetext.com
Website: www.pressetext.com
|