Napoleon mógł wyciągnąć wnioski z przeszłości. obraz autorstwa Adolpha Northena/wikipedia

To banał, że nieznajomość historii każe ją powtarzać. Jak wielu ludzi zauważyło, jedyną rzeczą, której uczymy się z historii, jest to, że rzadko uczymy się czegoś z historii. Ludzie angażują się wojny lądowe w Azji raz po raz. Powtarzają też te same błędy randkowe, raz za razem. Ale dlaczego tak się dzieje? I czy technologia położy temu kres?

Jednym z problemów jest zapominanie i „krótkowzroczność”: nie widzimy, jak przeszłe wydarzenia mają się do obecnych, przeoczając rozwijający się wzór. Napoleon powinien był zauważyć podobieństwa między swoim marszem na Moskwę i królem szwedzkim Nieudana próba zrobienia tego samego przez Karola XII mniej więcej sto lat przed nim.

My też jesteśmy źle się uczy kiedy coś idzie nie tak. Zamiast zastanawiać się, dlaczego podjęta decyzja była błędna i jak jej uniknąć, często próbujemy zignorować wstydliwy obrót wydarzeń. Oznacza to, że następnym razem, gdy zdarzy się podobna sytuacja, nie dostrzeżemy podobieństwa – i powtórzymy błąd.

Oba ujawniają problemy z informacją. W pierwszym przypadku nie zapamiętujemy informacji osobistych lub historycznych. Po drugie, nie udaje nam się zakodować informacji, gdy są one dostępne.

To powiedziawszy, popełniamy również błędy, gdy nie możemy skutecznie wywnioskować, co się wydarzy. Być może sytuacja jest zbyt złożona lub zbyt czasochłonna, aby się nad nią zastanawiać. Albo jesteśmy skłonni do błędnej interpretacji tego, co się dzieje.

Irytująca siła technologii

Ale na pewno technologia może nam pomóc? Możemy teraz przechowywać informacje poza naszymi mózgami i używać komputerów do ich odzyskiwania. To powinno ułatwić uczenie się i zapamiętywanie, prawda?

Przechowywanie informacji jest przydatne, gdy można je dobrze odzyskać. Ale zapamiętywanie to nie to samo, co pobieranie pliku ze znanej lokalizacji lub daty. Zapamiętywanie polega na dostrzeganiu podobieństw i przypominaniu sobie rzeczy.

Sztuczna inteligencja (AI) musi również być w stanie spontanicznie wprowadzać do naszego umysłu podobieństwa – często niepożądane podobieństwa. Ale jeśli jest dobry w dostrzeganiu możliwych podobieństw (w końcu mógłby przeszukać cały internet i wszystkie nasze dane osobowe), często zauważy też fałszywe.

W przypadku nieudanych randek można zauważyć, że wszystkie dotyczyły kolacji. Ale to nigdy nie był problem z jedzeniem. I to był czysty przypadek, że na stole pojawiły się tulipany – nie ma powodu, by ich unikać. Często powtarzamy błędy randkowe. 

Oznacza to, że ostrzeże nas o rzeczach, na których nam nie zależy, być może w irytujący sposób. Zmniejszenie jego czułości oznacza zwiększenie ryzyka nieotrzymania ostrzeżenia, gdy jest ono potrzebne.

Jest to fundamentalny problem i dotyczy tak samo każdego doradcy: ostrożny doradca będzie zbyt często krzyczał wilk, a optymistyczny doradca przegapi ryzyko.

Dobry doradca to ktoś, komu ufamy. Mają mniej więcej taki sam poziom ostrożności jak my i wiemy, że wiedzą, czego chcemy. Trudno to znaleźć u ludzkiego doradcy, a tym bardziej u sztucznej inteligencji.

Gdzie technologia zatrzymuje błędy? Idiot-proofing działa. Maszyny do cięcia wymagają przytrzymywania przycisków, trzymania rąk z dala od ostrzy. „Wyłącznik czuwakowy” zatrzymuje maszynę w przypadku utraty przytomności przez operatora.

Kuchenki mikrofalowe wyłączają promieniowanie po otwarciu drzwi. Aby wystrzelić rakiety, dwie osoby muszą jednocześnie przekręcić klucze w całym pokoju. Tutaj staranny projekt sprawia, że ​​błędy są trudne do popełnienia. Ale nie dbamy wystarczająco o mniej ważne sytuacje, przez co projekt jest znacznie mniej idiotoodporny.

Kiedy technologia działa dobrze, często za bardzo jej ufamy. Piloci linii lotniczych mają dziś mniej rzeczywistych godzin lotu niż w przeszłości ze względu na niesamowitą wydajność systemów autopilota. To zła wiadomość, gdy autopilot zawiedzie, a pilot ma mniej doświadczenia, aby naprawić sytuację.

Pierwszy z zatonął nowy rodzaj platformy wiertniczej (Sleipnir A). ponieważ inżynierowie zaufali obliczeniom oprogramowania sił działających na nie. Model był błędny, ale przedstawiał wyniki w tak przekonujący sposób, że wyglądały na wiarygodne.

Wiele z naszych technologii jest zdumiewająco niezawodnych. Na przykład nie zauważamy, jak zagubione pakiety danych w Internecie są stale znajdowane za kulisami, jak kody korygujące błędy usuwają szum lub jak bezpieczniki i redundancja zapewniają bezpieczeństwo urządzeń.

Ale kiedy układamy poziom po poziomie złożoności, wygląda to bardzo niewiarygodnie. Zauważamy, kiedy wideo Zoom jest opóźnione, program AI odpowiada źle lub komputer się zawiesza. Jednak zapytaj każdego, kto korzystał z komputera lub samochodu 50 lat temu, jak one faktycznie działały, a zauważysz, że były zarówno mniej wydajne, jak i mniej niezawodne.

Sprawiamy, że technologia staje się bardziej złożona, dopóki nie stanie się zbyt irytująca lub niebezpieczna w użyciu. Gdy części stają się coraz lepsze i bardziej niezawodne, często decydujemy się na dodanie nowych, ekscytujących i przydatnych funkcji, zamiast trzymać się tego, co działa. To ostatecznie sprawia, że ​​​​technologia jest mniej niezawodna, niż mogłaby być.

Błędy zostaną popełnione

Z tego też powodu sztuczna inteligencja jest mieczem obosiecznym do unikania błędów. Automatyzacja często sprawia, że ​​rzeczy są bezpieczniejsze i wydajniejsze, gdy działają, ale kiedy zawodzą, problemy są znacznie większe. Autonomia oznacza, że ​​inteligentne oprogramowanie może uzupełniać nasze myślenie i odciążać nas, ale kiedy nie myśli tak, jakbyśmy tego chcieli, może działać niewłaściwie.

Im bardziej złożony, tym bardziej fantastyczne mogą być błędy. Każdy, kto miał do czynienia z wysoce inteligentnymi naukowcami, wie, jak dobrze potrafią zepsuć rzeczy z wielką pomysłowością, gdy zawodzi ich zdrowy rozsądek – a sztuczna inteligencja ma bardzo mało ludzkiego zdrowego rozsądku.

Jest to również poważny powód do obaw związanych z podejmowaniem decyzji przez sztuczną inteligencję: popełniają nowe rodzaje błędów. My, ludzie, znamy ludzkie błędy, co oznacza, że ​​możemy na nie uważać. Ale inteligentne maszyny mogą popełniać błędy, których nigdy nie moglibyśmy sobie wyobrazić.

Co więcej, systemy sztucznej inteligencji są programowane i szkolone przez ludzi. A przykładów takich systemów jest mnóstwo staje się stronniczy, a nawet bigoteryjny. Naśladują uprzedzenia i powtarzają błędy z ludzkiego świata, nawet jeśli osoby zaangażowane wyraźnie starają się ich unikać.

W końcu błędy będą się powtarzać. Istnieją fundamentalne powody, dla których mylimy się co do świata, dlaczego nie pamiętamy wszystkiego, co powinniśmy, i dlaczego nasza technologia nie może doskonale pomóc nam uniknąć kłopotów.

Ale możemy pracować nad zmniejszeniem konsekwencji błędów. Przycisk cofania i automatyczne zapisywanie zapisały niezliczone dokumenty na naszych komputerach. Pomnik w Londynie, kamienie tsunami w Japonii i inne pomniki przypominają nam o pewnych zagrożeniach. Dobre praktyki projektowe sprawiają, że nasze życie jest bezpieczniejsze.

W końcu z historii można się czegoś nauczyć. Naszym celem powinno być przetrwanie i uczenie się na własnych błędach, a nie zapobieganie ich występowaniu. Technologia może nam w tym pomóc, ale musimy dokładnie przemyśleć, czego tak naprawdę od niej chcemy – i odpowiednio zaprojektować.

O autorze

Anders Sandberg, James Martin Research Fellow, Future of Humanity Institute i Oxford Martin School, University of Oxford

Artykuł został opublikowany ponownie Konwersacje na licencji Creative Commons. Przeczytać oryginalny artykuł.