Sortowanie według algorytmów stawia nas w pudełkach. Skąd wiemy, że są właściwe? wygenerowane, CC BYSortowanie według algorytmów stawia nas w pudełkach. Skąd wiemy, że są właściwe? wygenerowane, CC BY

Społeczeństwo wydaje się być na kursie do punktu, w którym nasze życie podlega kontroli algorytmów komputerowych. Dane, które generujemy, są przeglądane i analizowane, czy to przez rządy dla bezpieczeństwa narodowego, czy firmy dla zysku, i jest mało prawdopodobne, aby się to zmieniło – siła i atrakcyjność analizy danych, raz odnaleziona, nie zostanie łatwo zrezygnowana.

Ale tak naprawdę zastanawiam się, czy bardziej martwi mnie to, że zbieramy nasze dane, czy też fakt, że nic nie wiemy o algorytmach, które osądzają nas.

Poziom szczegółowości naszego życia i nawyków, które można wyodrębnić z danych, które zostawiamy za sobą, został omówiony wcześniej i jest świeży w ramach debaty na temat projektu w Wielkiej Brytanii Ustawa o uprawnieniach dochodzeniowych. Wiemy przynajmniej trochę o tym, jakie dane są gromadzone i jak długo są przechowywane, z których część podlega prawu brytyjskiemu i europejskiemu.

W tekst projektu ustawywiemy na przykład, że rząd Wielkiej Brytanii będzie żądał „tylko” (nieuzasadnionego) dostępu do metadanych komunikacyjnych, nagłówków i tematów wiadomości e-mail oraz zapisów rozmów telefonicznych. Ale wiemy też, jak ujawnianie samych metadanych może być: spójrz na Projekt Immersion firmy MIT Media Lab za mocny przykład tego, jak wiele szczegółów można z niego ustalić. To na pewno w ogóle nieporównywalny z wyszczególnionym rachunkiem telefonicznym, jak twierdzono.


wewnętrzna grafika subskrypcji


Tak więc na dobre lub na złe my, opinia publiczna, mamy jakąś wskazówkę co do tego, co jest nagrywane. Ale absolutnie nie mamy pojęcia, jakie narzędzia i techniki analityczne stosuje się do tych danych – i nie należy lekceważyć tego znaczenia.

Co miażdży liczby?

Potrafimy domyślać się. Narodowe agencje bezpieczeństwa prawdopodobnie używają naszych metadanych do generowania sieci społecznościowych między ludźmi i miejscami, między innymi, łącząc nas ze sobą. Te sieci relacji zostaną następnie przeanalizowane w celu ustalenia, czy jesteśmy osobą zainteresowaną, na podstawie tego, jak porównujesz się z innymi zainteresowanymi osobami i jak łączysz się z istniejącymi zainteresowanymi osobami lub z tymi, którzy są z nimi spokrewnieni.

Naukowcy, którzy korzystają z tych technik, rozumieją ich ograniczenia i rozumieją, że algorytmy, które je napędzają, mogą zawierać błędy lub podstawowe założenia, które mają głęboki wpływ na ich wyniki. W tym przypadku może to oznaczać, czy jesteś uznany za terrorystę, czy nie, lub czy kwalifikujesz się do pożyczki lub kredytu hipotecznego.

Nie jest też do końca jasne, gdzie w rozmytych obszarach przygranicznych definiuje się istnienie związku. Czy zwykłe odwiedzanie tej samej strony internetowej, co terrorysta, sugeruje wspólne wartości, czy też codzienne podróżowanie tą samą trasą autobusową sugeruje regularne rozmowy z terrorystami? Jest całkiem możliwe odwiedzanie stron odwiedzanych przez znanych terrorystów z wielu uzasadnionych powodów. Jeśli otrzymujesz wiadomości z tych samych stron internetowych, co terroryści, czy jest bardziej prawdopodobne, że zostaniesz terrorystą? Dyskryminacja i uprzedzenia można wprowadzić w momencie zbierania danych, a następnie ponownie, gdy podejmowane są decyzje dotyczące sposobu analizy tych danych. Algorytmy też potrafią rozróżniać.

Niewyraźne granice

Możliwość wprowadzenia przez algorytmy niepożądanego błędu jest bardzo realna. Na przykład osoby używane przez służby bezpieczeństwa są szkolone w oparciu o zbiory danych znanych terrorystów i znanych nieterrorystów. Czy to oznacza, że bo najbardziej znani terroryści to mężczyźni w wieku 20-30 lat, jest bardziej prawdopodobne, że zostaniesz sklasyfikowany jako terrorysta, ponieważ jesteś mężczyzną i masz około 20-30 lat, niezależnie od innych twoich cech?. Jeśli tak, czy ma to znaczący wpływ na sposób wykorzystania danych?

Problem wynika z faktu, że ja i inni badacze akademiccy stosujący złożoną analizę sieciową, uczenie maszynowe, dopasowywanie wzorców lub techniki sztucznej inteligencji, nasze wykorzystanie tych technik jest publicznie recenzowane w celu określenia siły technik i słuszności wniosków; rządowe służby bezpieczeństwa i organizacje sektora prywatnego nie. Nie mamy pojęcia o jakości ich metod i sposobie ich wdrażania. Czy istnieje rozwiązanie tego?

Ci z innej dziedziny bezpieczeństwa, kryptografii, już dawno nauczyli się, że najlepszym sposobem na poprawę jakości, a tym samym bezpieczeństwa, algorytmów jest ich upublicznienie. Publikowane są implementacje kryptograficzne i szyfry, a badacze są zachęcani do szukania błędów lub usterek, w ten sposób poprawiając bezpieczeństwo dla wszystkich, którzy ich używają. Ponadto każda implementacja algorytmów kryptograficznych o zamkniętym kodzie źródłowym (niepublicznych) jest ogólnie traktowany z podejrzliwością. Jeśli mają wydać na nas osądy zmieniające życie – bez względu na to, czy zostaniemy nazwani terrorystami, czy niegodnymi finansowo – ten sam model należy zastosować do algorytmów bezpieczeństwa.

Argumentem przeciwko takiemu posunięciu jest to, że otwarte i przejrzyste algorytmy mogą skłonić terrorystów do zmodyfikowania ich zachowań w świecie rzeczywistym, aby uniknąć wykrycia. Oznaczałoby to zmianę takich rzeczy, jak ich interakcje, skojarzenia, nawyki przeglądania i potencjalnie ruchy. Ale to, jeśli algorytmy działają poprawnie, oznaczałoby, że zasadniczo przestaną zachowywać się jak terroryści. Jeśli nasze przyszłe bezpieczeństwo, wolność i bezpieczeństwo mają zależeć od tych algorytmów, musimy mieć pewność, jak – i jak – one działają.

O autorzeKonwersacje

Philip Garnett, wykładowca na Uniwersytecie York.

Ten artykuł został pierwotnie opublikowany w Konwersacje. Przeczytać oryginalny artykuł.

Powiązana książka:

at