Według Dominica Cummingsa, byłego głównego doradcy premiera Wielkiej Brytanii Borisa Johnsona, eksperci pomylili się katastrofalnie. Cummings się kłócił że oficjalna porada naukowa rządu Wielkiej Brytanii z marca 2020 r. bardzo źle zrozumiała przebieg pandemii, co doprowadziło do opóźnienia w zablokowaniu, które kosztowało tysiące istnień ludzkich.

Według Cummingsa to właśnie niektórzy specjaliści o mniejszej wiedzy na temat pandemii lub medycyny – tacy jak badacz danych Ben Warner, badacz sztucznej inteligencji Demis Hassabis z DeepMind i matematyk Tim Gowers – podali w tym momencie dokładniejsze prognozy.

Cummings jest również znany jako wentylator of Superpracowanie autorstwa Philipa Tetlocka, książki o ludziach, którzy przewidują przyszłe wydarzenia bardziej wiarygodnie niż większość. Niektórzy superprognozy zostały pochwalone za ich przewidywania dotyczące pandemii, podczas gdy inni również byli also krytyczny wobec ekspertów rekord.

Czy zatem rządy powinny w większym stopniu wykorzystywać superprognozy zamiast polegać na ekspertach naukowych? Dowody nie są aż tak jednoznaczne. Ale z pewnością wydaje się, że rządy mogą nauczyć się czegoś z superprognozowania.

W słynne amerykańskie studium na superprognostykach opublikowanych w 2014 roku stanowili elitarną załogę. Tylko 2% najlepszych pretendentów spisało się wystarczająco dobrze w geopolitycznym turnieju prognozowania, aby zdobyć tytuł. Ich zadaniem było przypisanie prawdopodobieństw do możliwych odpowiedzi na dziesiątki pytań.

Naukowcy podają kilka ilustracyjnych przykładów. Kto byłby prezydentem Rosji w 2012 roku? Czy w ciągu najbliższych trzech miesięcy Korea Północna zdetonuje kolejną broń nuklearną? Ilu uchodźców ucieknie z Syrii w przyszłym roku?

Oczywiście tylko dlatego, że ktoś radzi sobie dobrze przez rok, nie dowodzi, że jest bardziej utalentowany niż ktokolwiek inny. Może po prostu mieli szczęście. Musimy przyjrzeć się, jak dobrze sobie radzili w kolejnych latach, aby ocenić, jak naprawdę są „super”.

Imponujące jest to, że ci superprognozy utrzymali swoją przewagę, gdy turniej trwał jeszcze przez trzy lata. W rzeczywistości, po połączeniu w „zespoły superprognozujące” zawierające tylko innych najlepszych wykonawców, ich wydajność wzrosła o znaczny margines. Naukowcy odkryli również, że praca w zespołach i odbycie odpowiedniego szkolenia poprawiło wydajność innych prognostów w porównaniu do prognostów w warunkach kontrolnych.

Drużyny i szkolenia

Niezależnie od tego, czy wierzymy Cummingsowi na słowo, że brytyjskie planowanie pandemii ucierpiało z powodu „klasycznej bańki grupowego myślenia”, wiemy, że zespoły nie zawsze podejmują mądre decyzje. Co sprawiło, że zespoły odniosły większy sukces w badaniu w USA?

Trudno powiedzieć na pewno, ale naukowcy szczególnie zachęcali zespoły do ​​zadawania precyzyjnych pytań, aby zachęcić do jaśniejszego myślenia o dowodach wspierających konkretną prognozę, „szukać dowodów, które są sprzeczne z twoimi obecnymi przewidywaniami” i konstruktywnie przedstawiać alternatywne punkty widzenia .

Taka debata może dobrze poprawić osąd zbiorowy i strzeż się grupowego myślenia. Nie wymagano też od członków zespołu dochodzenia do konsensusu. Chociaż dzielili się informacjami i opiniami, nadal dokonywali indywidualnych prognoz, które były łączone algorytmem. W szczególności zespoły Superforecasterów były bardzo zaangażowany, często udostępniając informacje i zadając pytania innym członkom zespołu.

W innym badaniu przyjrzeli się bliżej, które konkretne techniki treningowe wydawały się najbardziej pomocne. Trzy techniki były szczególnie związane z większą dokładnością. Pierwszym z nich było wykorzystanie tzw. klas porównawczych.

Na przykład, jeśli próbuję przewidzieć prawdopodobieństwo, że Benedict Cumberbatch i Sophie Hunter będą nadal razem za pięć lat, pomocne może być zastanowienie się nad innymi „klasami”, które są istotne – powiedzmy, klasą małżeństw celebrytów, a nawet małżeństwa w ogóle. To pozwala mi spojrzeć na historię, aby poznać moje przewidywania: Jaki procent małżeństw celebrytów kończy się w danym pięcioletnim okresie?

Drugi polegał na wykorzystaniu modeli matematycznych i statystycznych, jeśli są dostępne, w celu uzyskania informacji o poglądach. Trzecim było „wybranie właściwych pytań” – zalecenie, aby poświęcić więcej czasu na przewidywanie odpowiedzi na pytania, o których wiesz na dany temat więcej niż inni lub na których dodatkowe badania mogą się opłacić. Badacze podkreślili jednak, że wszystkie składniki trening mogło przyczynić się całościowo do lepszej wydajności.

Badania również to wykazały dokładność poprawia się, gdy śledzimy nasze przeszłe wyniki - ale liczy się rodzaj informacji zwrotnej. Czy wyniki, o których myślałeś, że będą miały miejsce w 20% przypadków, faktycznie miały miejsce w 20% przypadków? A co z wynikami, o których myślałeś, że wystąpią w 90% przypadków? Wydajność poprawia się dla tych, którzy otrzymują tego rodzaju informacje.

Czy rządy mogą działać lepiej?

Czy rząd Wielkiej Brytanii mógłby lepiej radzić sobie z COVID-19, pozyskując informacje od zespołów superprognozatorów? To jest możliwe. Superprognozy w Dobry osąd otwarty i doświadczonych prognostów w Metaculus (w którym brałem udział) wydaje się, że każdy dobrze poradził sobie z COVID-19, a Metaculus twierdzi, że miał lepsi eksperci w czerwcu 2020 r. To powiedziawszy, w ciągu kilku ostatnia seria spośród prognoz związanych z COVID-19 wyszkoleni prognostycy nie zawsze byli dokładniejsi niż eksperci. Badacze odpowiedzialni za ankietę eksperymentują ze sposobami łączenia prognoz ekspertów dziedzinowych i przeszkolonych prognostów w „prognozę konsensusu”.

Wydaje się również prawdopodobne, że nawet szkolenie, które pomogło niesuperom w lepszym prognozowaniu, byłoby przydatne. Na przykład Cummings twierdził, że chociaż wiele uwagi poświęcono modelom epidemiologicznym, dowody sprzeczne z założeniami modeli — takie jak dane przekazywane przez oddziały intensywnej terapii — zostały zignorowane. Z pewnością wydaje się prawdopodobne, że ktoś wyszkolony w „poszukiwaniu dowodów sprzecznych z twoimi obecnymi przewidywaniami” mógł to zauważyć wcześniej.

Oczywiście nie wszystkie zalecenia z literatury są praktyczne w warunkach rządowych. Teoretycznie rządy mogłyby samodzielnie przetestować takie zalecenia, przyjmując te, które wydawały się korzystne. Niestety nie możesz poprawić tego, czego nie mierzysz.

In SuperpracowanieTetlock podkreśla, że ​​każda organizacja poważnie myśląca o poprawie swoich prognoz musi dołączyć do nich konkretne liczby, przynajmniej wewnętrznie. Wyrażenie takie jak „poważna możliwość” może oznaczać 20% szansy dla jednej osoby i 80% szansy dla innej.

To prawie na pewno miał na myśli Cummings kiedy powiedział: „Facet o imieniu Phil Tetlock napisał książkę i w tej książce powiedział, że nie należy używać słów takich jak rozsądny, prawdopodobny i prawdopodobny, ponieważ to dezorientuje wszystkich”. Być może nie powinno nas dziwić, że organizacje, które nie sporządzają prognoz w sposób umożliwiający ich ocenę, nie są przygotowane do uczenia się, jak je ulepszać. Aby się poprawić, musisz najpierw spróbować.