W systemach sądownictwa karnego, rynkach kredytowych, arenach zatrudnienia, procesach rekrutacyjnych do szkół wyższych, a nawet sieci społecznościowe, algorytmy oparte na danych teraz kieruj podejmowaniem decyzji w sposób, który wpływa na nasze życie gospodarcze, społeczne i obywatelskie. Te systemy oprogramowania klasyfikują, klasyfikują, kojarzą lub filtrują informacje przy użyciu reguł stworzonych przez człowieka lub wywołanych danymi, które umożliwiają spójne leczenie w dużych populacjach.

Ale chociaż te techniki mogą przynieść wzrost wydajności, mogą one również uprzedzenia wobec grup defaworyzowanych or wzmocnić dyskryminację strukturalną. Jeśli chodzi na przykład o wymiar sprawiedliwości w sprawach karnych, czy sprawiedliwe jest osądzanie indywidualnego zwolnienia warunkowego na podstawie tendencji statystycznych mierzonych wśród szerokiej grupy ludzi? Czy dyskryminacja może wynikać z zastosowania modelu statystycznego? rozwinięty dla populacji jednego stanu dla innej, demograficznie odmiennej populacji?

Opinia publiczna musi zrozumieć stronniczość i moc algorytmów wykorzystywanych w sferze publicznej, w tym przez agencje rządowe. Wysiłek, w który jestem zaangażowany, zwany odpowiedzialność algorytmiczna, stara się, aby wpływy tego rodzaju systemów były jaśniejsze i szerzej rozumiane.

Istniejące techniki przejrzystości, zastosowane do algorytmów, mogą umożliwić ludziom monitorowanie, kontrolowanie i krytykowanie funkcjonowania tych systemów – lub nie, w zależności od przypadku. Niestety, agencje rządowe wydają się nieprzygotowane na zapytania o algorytmy i ich wykorzystanie w decyzjach, które mają istotny wpływ zarówno na jednostki, jak i ogół społeczeństwa.

Otwarcie algorytmów na publiczną kontrolę

W zeszłym roku rząd federalny rozpoczął studia plusy i minusy korzystania z komputerowej analizy danych w celu ustalenia prawdopodobieństwa ponownego popełnienia przez osadzonych po zwolnieniu przestępstwa. Ocena osób jako osób niskiego, średniego lub wysokiego ryzyka może pomóc w podejmowaniu decyzji dotyczących zakwaterowania i leczenia, identyfikowaniu osób, które można bezpiecznie wysłać do więzienia o minimalnym rygorze lub nawet „domu pośredniego”, lub które odniosłyby korzyści z określonego rodzaju opieka psychologiczna.

Informacje te mogą sprawić, że proces wymiaru sprawiedliwości stanie się skuteczniejszy i tańszy, a nawet zmniejszyć tłok w więzieniach. Wykazano traktowanie przestępców niskiego ryzyka jak przestępców wysokiego ryzyka w niektórych badaniach aby doprowadzić ich do internalizacji bycia „chorym” przestępcą i potrzebującym leczenia za swoje dewiacyjne zachowanie. Oddzielenie ich może w ten sposób ograniczyć rozwój negatywnych zachowań, które mogą prowadzić do recydywy po zwolnieniu.

Dane i algorytmy oceny ryzyka ponownego popełnienia przez osadzonych już są szeroko stosowany przez stany do zarządzania aresztem tymczasowym, kuratorem, warunkowym zwolnieniem, a nawet skazaniem. Ale łatwo im pozostać niezauważonym – często wyglądają jak skromna biurokratyczna robota papierkowa.

Zazwyczaj algorytmy sprowadzają się do uproszczonych arkuszy wyników, które wypełniają urzędnicy państwowi, którzy nie rozumieją podstawowych obliczeń. Na przykład pracownik prowadzący sprawę może ocenić więźnia, korzystając z formularza, w którym pracownik prowadzący sprawę zaznacza, że ​​więzień był skazany za przestępstwo z użyciem przemocy, był młody w momencie pierwszego aresztowania i nie ukończył szkoły średniej ani nie otrzymał GED. Te czynniki i inne cechy dotyczące osoby i przestępstwa dają wynik, który sugeruje, czy osadzony może kwalifikować się do kontroli zwolnienia warunkowego.

Sam formularz, a także jego system punktacji, często ujawniają kluczowe cechy algorytmu, takie jak rozważane zmienne i sposób, w jaki łączą się one, tworząc ogólny wynik ryzyka. Ale dla przejrzystości algorytmicznej ważna jest również wiedza, w jaki sposób takie formularze zostały zaprojektowane, opracowane i ocenione. Tylko wtedy opinia publiczna może wiedzieć, czy czynniki i obliczenia związane z uzyskaniem wyniku są uczciwe i rozsądne, czy też niedoinformowane i stronnicze.

Korzystanie z ustawy o wolności informacji

Naszym głównym narzędziem do zdobycia tych formularzy i ich materiałów pomocniczych jest prawo, a w szczególności prawa dotyczące wolności informacji. Są to jedne z najpotężniejszych mechanizmów, jakimi dysponuje społeczeństwo, aby zapewnić przejrzystość w rządzie. Na poziomie federalnym Ustawa o wolności informacji (FOIA) umożliwia społeczeństwu formalne żądanie – i oczekiwanie otrzymania w zamian – dokumentów od rządu federalnego. Istnieją analogiczne ustawy dla każdego stanu.

Uchwalona w 1966 r. FOIA została stworzona przed powszechnym wykorzystaniem komputerów i na długo przed rutynowym wykorzystaniem dużych ryz danych w systemach oprogramowania do zarządzania jednostkami i przewidywania. Tam było kilka wstępnych badań czy FOIA jest w stanie ułatwić ujawnienie kodu źródłowego oprogramowania. Pozostaje jednak pytanie, czy obecne przepisy odpowiadają na potrzeby społeczeństwa XXI wieku: czy możemy algorytmy FOIA?

Studium przypadku przejrzystości algorytmu

Na to pytanie postanowiłem odpowiedzieć na Wyższa Szkoła Dziennikarstwa Philipa Merrilla na Uniwersytecie Maryland, gdzie jestem adiunktem. Jesienią 2015 roku, współpracując z moją koleżanką Sandy Banisky z klasy prawa medialnego, pokierowaliśmy studentami w składaniu wniosków FOIA do każdego z 50 stanów. Poprosiliśmy o dokumenty, opisy matematyczne, dane, oceny walidacyjne, umowy i kody źródłowe związane z algorytmami stosowanymi w sądownictwie karnym, takimi jak warunkowe warunkowe i probacyjne, zwolnienia za kaucją czy wyroki skazujące.

Ponieważ projekt trwał cały semestr, wysiłek był z konieczności ograniczony czasem, z wieloma przeszkodami i stosunkowo niewielką liczbą sukcesów. Podobnie jak w przypadku wielu śledztw dziennikarzy, nawet ustalenie, kogo zapytać – i jak – było wyzwaniem. Różne agencje mogą być odpowiedzialne za różne obszary systemu wymiaru sprawiedliwości w sprawach karnych (wyroki mogą być wydawane przez sądy, ale zarządzanie zwolnieniem warunkowym przez Departament Więziennictwa).

Nawet po zidentyfikowaniu właściwej osoby studenci odkryli, że urzędnicy rządowi używali innej terminologii, która utrudniała przekazanie żądanych informacji. Czasami studenci musieli ciężko pracować, aby wyjaśnić „algorytmy wymiaru sprawiedliwości w sprawach karnych” urzędnikowi publicznemu, który nie zna się na danych. Z perspektywy czasu skuteczniejsze mogłoby być poproszenie o „narzędzia oceny ryzyka”, ponieważ jest to termin często używany przez rządy stanowe.

Obsługa odpowiedzi

Niektóre stany, takie jak Kolorado, kategorycznie odrzuciły naszą prośbę, twierdząc, że algorytmy były zawarte w oprogramowaniu, które nie zostało uznane za „dokument”, którego publiczne prawo wymagało od urzędników upublicznienia. Różne stany mają różne zasady dotyczące ujawniania użytkowania oprogramowania. Czasami pojawiało się to w sądach, na przykład w 2004 r pozew przeciwko miastu Detroit nad tym, czy formuła obliczania opłat za wodę pobieranych od sąsiedniego miasta powinna być upubliczniona.

Dzięki naszym wysiłkom otrzymaliśmy tylko jeden matematyczny opis algorytmu wymiaru sprawiedliwości w sprawach karnych: Oregon ujawnił 16 zmiennych i ich wagi w modelu używanym tam do przewidywania recydywy. Stan Dakota Północna wydał arkusz kalkulacyjny Excela przedstawiający równanie używane do określania dat, w których więźniowie będą mogli zostać rozpatrzeni w celu zwolnienia warunkowego. Z Idaho i Nowego Meksyku otrzymaliśmy dokumenty z pewnymi opisami ocen ryzyka recydywy stosowanych przez te stany, ale bez szczegółów na temat tego, jak zostały one opracowane lub zatwierdzone.

Dziewięć stanów oparło swoją odmowę ujawnienia szczegółów na temat swoich algorytmów wymiaru sprawiedliwości w sprawach karnych na twierdzeniu, że informacje rzeczywiście należały do ​​firmy. Wynika z tego, że zwolnienie algorytmu zaszkodziłoby firmie, która go opracowała. Wspólny kwestionariusz ryzyka recydywy, zwany LSI-R, okazuje się być produktem komercyjnym, chronionym prawem autorskim. Stany takie jak Hawaje i Maine twierdziły, że uniemożliwiło to ujawnienie go opinii publicznej.

Louisiana poinformowała, że ​​umowa z twórcą nowej techniki oceny ryzyka przedawniła publikację żądanych informacji przez sześć miesięcy. Stan Kentucky powołał się na swoją umowę z fundacja filantropijna jako powód, dla którego nie mógł ujawnić więcej szczegółów. Obawy dotyczące informacji zastrzeżonych mogą być uzasadnione, ale biorąc pod uwagę, że rząd rutynowo zawiera umowy z prywatnymi firmami, jak pogodzić te obawy z możliwym do wyjaśnienia i rzeczywiście uzasadnionym systemem wymiaru sprawiedliwości?

Wprowadzanie ulepszeń

Bardzo potrzebna reforma FOIA to obecnie w trakcie obrad przez Kongres. Daje to szansę na unowocześnienie prawa, ale proponowane zmiany w niewielkim stopniu uwzględniają rosnące wykorzystanie algorytmów w rządzie. Algorytmiczna informacja o przejrzystości może być skodyfikowany na raporty, które rząd generuje i podaje do publicznej wiadomości na bieżąco, w ramach zwykłej działalności.

Jako społeczeństwo powinniśmy wymagać przeszkolenia urzędników ds. informacji publicznej, aby byli piśmienni i biegli w zakresie terminologii, z którą mogą się spotkać, gdy opinia publiczna pyta o algorytmy. Rząd federalny mógłby nawet stworzyć nowe stanowisko dla „cara algorytmów”, rzecznika praw obywatelskich, którego zadaniem byłoby komunikowanie się i prowadzenie dochodzeń w sprawie automatyzacji rządu.

Żaden z dokumentów, które otrzymaliśmy w naszych badaniach, nie powiedział nam, w jaki sposób zostały opracowane lub ocenione formularze oceny ryzyka sądownictwa karnego. Ponieważ algorytmy coraz częściej rządzą naszym życiem, obywatele potrzebują – i muszą domagać się – większej przejrzystości.

O autorze

Nicholas Diakopoulos, Tow Fellow, Tow Center for Digital Journalism na Columbia University; Adiunkt dziennikarstwa na Uniwersytecie Maryland. Jego badania dotyczą dziennikarstwa komputerowego i danych, z naciskiem na odpowiedzialność algorytmiczną, wizualizację danych narracyjnych i informatykę społeczną w wiadomościach.

Ten artykuł został pierwotnie opublikowany w Konwersacje. Przeczytać oryginalny artykuł.

Powiązane książki

at Rynek wewnętrzny i Amazon