Jak algorytmy mogą być bardziej sprawiedliwe niż ludzie?

Amazon niedawno zaczął oferować dostawa tego samego dnia w wybranych obszarach metropolitalnych. Może to być dobre dla wielu klientów, ale wdrożenie pokazuje, jak skomputeryzowane podejmowanie decyzji może również zapewnić silną dawkę dyskryminacji.

Rozsądnie firma rozpoczęła swoją działalność w obszarach, w których koszty dostawy byłyby najniższe, identyfikując kody pocztowe gęsto zaludnionych miejsc, w których mieszka wielu obecnych klientów Amazon, których dochody są wystarczająco wysokie, aby dokonywać częstych zakupów produktów dostępnych z dostawą tego samego dnia. Firma udostępniła stronę internetową umożliwiającą klientom wpisanie kodu pocztowego, aby sprawdzić, czy dostawa tego samego dnia im służyła. Dziennikarze śledczy w Bloomberg News wykorzystali tę stronę do tworzyć mapy obszaru obsługi Amazona dla dostawy tego samego dnia.

Analiza Bloomberga wykazała, że ​​wiele ubogich obszarów miejskich zostało wyłączonych z obszaru usług, podczas gdy bardziej zamożne obszary sąsiednie zostały włączone. Wiele z tych wykluczonych biednych obszarów było zamieszkanych głównie przez mniejszości. Na przykład pokryty został cały Boston z wyjątkiem Roxbury; Relacja z Nowego Jorku obejmowała prawie wszystkie cztery dzielnice, ale całkowicie wykluczyła Bronx; Relacja z Chicago pominęła zubożałą South Side, jednocześnie obejmując zamożne północne i zachodnie przedmieścia.

Chociaż kuszące jest wiara, że ​​decyzje oparte na danych są bezstronne, badania i dyskusja naukowa zaczynają to udowadniać niesprawiedliwość i dyskryminacja pozostają. W moim kurs online z etyki danychuczniowie dowiadują się, że algorytmy potrafią dyskryminować. Ale może być trochę pozytywna podszewka: jak sugeruje badanie Bloomberga, opieranie decyzji na danych może również ułatwić wykrycie pojawiających się uprzedzeń.

Stronniczość może być niezamierzona

Taka nieuczciwość w polityce dostaw Amazona może wynikać z wielu powodów, m.in ukryte uprzedzenia – takie jak założenia, że ​​populacje są rozmieszczone równomiernie. Projektanci algorytmów prawdopodobnie nie zamierzają dyskryminować i mogą nawet nie zdawać sobie sprawy, że wkradł się problem.


wewnętrzna grafika subskrypcji


Amazon powiedział Bloombergowi, że nie ma żadnych intencji dyskryminacyjnych i istnieją wszelkie powody, by sądzić, że to twierdzenie. W odpowiedzi na raport Bloomberga, miasto urzędnicy i inni politycy wezwał Amazon do rozwiązania tego problemu. Firma szybko przeniósł się, aby dodać pierwotnie wykluczone słabe miejskie kody pocztowe do jego obszaru usług.

Podobne pytanie było zapytał Uber, co wydaje się lepiej służyć obszarom zamieszkanym przez wyższy odsetek białych. Prawdopodobnie w przyszłości zostanie odkrytych więcej przykładów niezamierzonej dyskryminacji algorytmicznej w branży detalicznej i usługowej.

Wymagasz zbyt wielu algorytmów?

Powinniśmy zatrzymać się na chwilę, aby zastanowić się, czy przesadnie domagamy się decyzji algorytmicznych. Firmy prowadzące sklepy stacjonarne cały czas podejmują decyzje lokalizacyjne, biorąc pod uwagę kryteria nie różniące się tak bardzo od Amazona. Sklepy starają się mieć lokalizacje dogodne dla dużej puli potencjalnych klientów z pieniędzmi do wydania.

W konsekwencji niewiele sklepów decyduje się na lokalizacje w ubogich dzielnicach śródmiejskich. Szczególnie w kontekście sklepów spożywczych zjawisko to było szeroko badane, a termin „pustynia z jedzeniem” był używany do opisu obszarów miejskich, których mieszkańcy nie mają wygodnego dostępu do świeżej żywności. Ten stronniczość lokalizacji jest mniej badany w przypadku sklepów detalicznych.

Jako orientacyjny przykład przyjrzałem się 55 lokalizacjom Target, dużej, kompleksowej sieci detalicznej w Michigan. Kiedy sortowałem każdy kod pocztowy Michigan w oparciu o to, czy jego średni dochód mieścił się w górnej połowie, czy w dolnej połowie w całym stanie, odkryłem, że tylko 16 sklepów Target (29 procent) miało kody pocztowe z grupy o niższych dochodach. Ponad dwa razy więcej, 39 sklepów, ulokowanych było w kodach pocztowych z zamożniejszej połowy.

Rozpoznawanie dyskryminacji

Co więcej, w mieście Detroit nie ma sklepów Target, chociaż jest ich kilka na jego (bogatszych) przedmieściach. Jednak nie było powszechnego oburzenia, że ​​Target niesprawiedliwie dyskryminuje biednych ludzi przy podejmowaniu decyzji o lokalizacji sklepów. Istnieją dwa główne powody, dla których obawy dotyczące Amazona są uzasadnione: sztywność i dominacja.

Sztywność ma związek zarówno z procesem decyzyjnym sprzedawcy internetowego, jak iz wynikiem. Amazon decyduje, które kody pocztowe znajdują się w jej obszarze usług. Jeśli klient mieszka po drugiej stronie ulicy od granicy wyznaczonej przez Amazon, znajduje się poza obszarem obsługi i niewiele może z tym zrobić. Dla kontrastu, ktoś, kto mieszka w kodzie pocztowym bez sklepu Target, może nadal robić zakupy w Target – chociaż dotarcie tam może zająć więcej czasu.

Ma również znaczenie, jak dominujący detalista jest w umysłach konsumentów. Podczas gdy Target jest tylko jedną z wielu sieci sklepów fizycznych, Amazon cieszy się dominacja na rynku jako sprzedawca internetowy, a tym samym przyciąga większą uwagę. Taka dominacja jest cechą dzisiejszych Zwycięzca bierze wszystko firmy internetowe.

Chociaż ich sztywność i dominacja mogą wzbudzać większe obawy o firmy internetowe, jesteśmy również w stanie wykryć ich dyskryminację lepiej niż w przypadku sklepów stacjonarnych. W przypadku tradycyjnej sieci handlowej musimy odgadnąć, jak daleko konsumenci są skłonni podróżować. Być może musimy też mieć świadomość czasu: pięć mil do następnego zjazdu z autostrady to nie to samo, co pięć mil przez zatłoczone ulice na drugą stronę miasta. Ponadto sam czas podróży może się znacznie różnić w zależności od pory dnia. Po zidentyfikowaniu prawdopodobnych obszarów obsługiwanych przez sklep, mogą one nie być dokładnie odwzorowane w jednostkach geograficznych, dla których mamy statystyki dotyczące rasy lub dochodu. Krótko mówiąc, analiza jest nieuporządkowana i wymaga dużego wysiłku.

W przeciwieństwie do tego, dziennikarzom Bloomberga zajęłoby tylko kilka godzin, aby opracować mapę obszaru usług Amazon i skorelować ją z dochodami lub rasą. Gdyby Amazon zrobił to wewnętrznie, mógłby przeprowadzić tę samą analizę w ciągu zaledwie kilku minut – i być może zauważyć problemy i naprawić je, zanim usługa tego samego dnia nawet się rozpocznie.

Jak wypada porównanie ludzi?

Przyjrzyjmy się bardzo odmiennemu przykładowi, aby zobaczyć, jak te same punkty mają szerokie zastosowanie. Niedawno opublikowano ProPublica doskonała analiza dyskryminacji rasowej przez algorytm, który przewiduje prawdopodobieństwo ponownego popełnienia przestępstwa przez przestępcę. Algorytm uwzględnia dziesiątki czynników i oblicza oszacowanie prawdopodobieństwa. Analiza ProPublica wykazała znaczące systematyczne uprzedzenia rasowe, mimo że rasa nie była jednym z rozważanych czynników.

Bez algorytmu ludzki sędzia dokonałby podobnej oceny, w ramach decyzji o wyroku lub warunkowym zwolnieniu. Decyzja ludzka może uwzględniać bogatszy zestaw czynników, takich jak zachowanie przestępcy na sali sądowej. Ale wiemy, od studia z psychologii, Które ludzkie podejmowanie decyzji jest pełne uprzedzeń, nawet jeśli staramy się być uczciwi.

Ale wszelkie błędy, które wynikają z uprzedzeń w decyzjach ludzkich sędziów, prawdopodobnie będą różne wśród sędziów, a nawet w przypadku różnych decyzji podjętych przez tego samego sędziego. Podsumowując, może wystąpić dyskryminacja rasowa ze względu na: podświadome uprzedzenie, ale ostateczne ustalenie tego jest trudne. Badanie Departamentu Sprawiedliwości USA wykazało mocne dowody na: rozbieżności w skazaniu białych i czarnych skazanych, ale nie mógł jednoznacznie określić, czy sama rasa była czynnikiem w tych decyzjach.

W przeciwieństwie do tego, dokładnie ten sam algorytm, który analizował ProPublica, jest używany w tysiącach przypadków w wielu stanach. Jego sztywność i duża objętość ułatwiają ustalenie, czy dyskryminuje – i mogą zaoferować sposoby skutecznego rozwiązania problemu.

Wykorzystanie technologii informacyjnej wydaje się rozjaśniać linie, zwiększać różnice, a dane na ten temat są znacznie łatwiej dostępne. To, co można było wczoraj zetrzeć pod dywan, teraz domaga się uwagi. Ponieważ znajdujemy coraz więcej zastosowań algorytmów opartych na danych, nie jest jeszcze powszechne analizowanie ich rzetelności, szczególnie przed wprowadzeniem nowej usługi opartej na danych. Takie podejście znacznie przyczyni się do pomiaru i poprawy uczciwości tych coraz ważniejszych obliczeń komputerowych.

O autorzeKonwersacje

HV Jagadish, Bernard A Galler Kolegiata profesora elektrotechniki i informatyki, University of Michigan

Ten artykuł został pierwotnie opublikowany w Konwersacje. Przeczytać oryginalny artykuł.

Powiązane książki

at Rynek wewnętrzny i Amazon