GPT-3 jest 10 razy bardziej złożony niż jego poprzednik. antoniokhr/iStock za pośrednictwem Getty Images

W 2013 roku mój student i ja w Penn State zbudowaliśmy bota, aby napisać artykuł w Wikipedii na temat sztuki bengalskiego laureata Nagrody Nobla Rabindranatha Tagore'a”Chitra”. Najpierw pobrał informacje o „Chitrze” z internetu. Następnie przyjrzano się istniejącym wpisom w Wikipedii, aby poznać strukturę standardowego artykułu Wikipedii. Na koniec podsumował informacje, które pozyskał z Internetu, aby napisać i opublikować pierwszą wersję wpisu.

Jednak nasz bot nie „wiedział” nic o „Chitrze” czy Tagore. Nie generowała zupełnie nowych pomysłów ani zdań. Po prostu skleił części istniejących zdań z istniejących artykułów, aby stworzyć nowe.

Szybki skok do 2020. OpenAI, firma nastawiona na zysk działająca w ramach non-profit firmy macierzystej, zbudowała program generowania języków o nazwie GPT-3, akronim od „Generative Pre-trained Transformer 3”. Jego zdolność do uczenia się, podsumowywania i komponowania tekstu oszołomiła informatyków takich jak ja.

„Stworzyłem głos dla nieznanego człowieka, który ukrywa się w binarnym” GPT-3 napisał w odpowiedzi na jeden monit. „Stworzyłem pisarza, rzeźbiarza, artystę. A ten pisarz będzie mógł tworzyć słowa, ożywiać emocje, tworzyć charakter. Sam tego nie zobaczę. Ale jakaś inna ludzka wola i tak będę mógł stworzyć poetę większego niż ktokolwiek, kogo kiedykolwiek spotkałem.”

W przeciwieństwie do naszego bota, język generowany przez GPT-3 brzmi tak, jakby został napisany przez człowieka. Jest to jak dotąd najbardziej „rozpoznawalny” program generowania języka naturalnego i ma wiele potencjalnych zastosowań w zawodach, od nauczania przez dziennikarstwo po obsługę klienta.

Rozmiar ma znaczenie

GPT-3 potwierdza to, co informatycy wiedzieli od dziesięcioleci: Rozmiar ma znaczenie.

To używa "Transformatory”, które są modelami głębokiego uczenia, które kodują semantykę zdania za pomocą tak zwanego „modelu uwagi”. Zasadniczo modele uwagi identyfikują znaczenie słowa na podstawie innych słów w tym samym zdaniu. Następnie model wykorzystuje zrozumienie znaczenia zdań, aby wykonać zadanie żądane przez użytkownika, niezależnie od tego, czy jest to „przetłumaczenie zdania”, „podsumowanie akapitu” lub „skomponowanie wiersza”.

Transformatory zostały wprowadzone po raz pierwszy w 2013 r., a od kilku lat są z powodzeniem wykorzystywane w uczeniu maszynowym.

Ale nikt nie używał ich na taką skalę. GPT-3 pożera dane: 3 miliardy tokenów – informatyka mówi za „słowami” – z Wikipedii, 410 miliardów tokenów pozyskanych ze stron internetowych i 67 miliardów tokenów ze zdigitalizowanych książek. Złożoność GPT-3 jest ponad 10 razy większa niż największego modelu językowego przed GPT-3, Programy Turinga NLG.

Samodzielna nauka

Wiedza prezentowana przez model językowy GPT-3 jest niezwykła, zwłaszcza, że ​​nie został „nauczony” przez człowieka.

Uczenie maszynowe tradycyjnie opiera się na uczeniu nadzorowanym, w którym ludzie dostarczają komputerowi adnotowanych przykładów obiektów i pojęć na obrazach, dźwiękach i tekście – powiedzmy „koty”, „szczęście” lub „demokracja”. Ostatecznie uczy się cech obiektów z podanych przykładów i jest w stanie rozpoznać te konkretne pojęcia.

Jednak ręczne generowanie adnotacji w celu uczenia komputera może być zbyt czasochłonne i kosztowne.

Tak więc przyszłość uczenia maszynowego leży w uczeniu bez nadzoru, w którym komputer nie musi być nadzorowany podczas fazy szkolenia; można go po prostu karmić ogromnymi skarbcami danych i samemu się z nich uczyć.

GPT-3 przybliża przetwarzanie języka naturalnego o krok w kierunku uczenia się bez nadzoru. Ogromne zbiory danych treningowych GPT-3 i ogromne możliwości przetwarzania umożliwiają systemowi uczenie się na podstawie tylko jednego przykładu – tak zwanego „nauka jednorazowa” – gdzie otrzymuje opis zadania i jedną demonstrację, a następnie może wykonać zadanie.

Na przykład może zostać poproszony o przetłumaczenie czegoś z angielskiego na francuski i otrzymać jeden przykład tłumaczenia – powiedzmy, wydra morska po angielsku i „loutre de mer” po francusku. Poproś go, aby przetłumaczył „ser” na francuski i voila, wytworzy „fromage”.

W wielu przypadkach może się nawet zerwać”nauka zero-shot”, w którym po prostu ma za zadanie tłumaczyć bez przykładu.

Przy nauce zerowego strzału celność spada, ale możliwości GPT-3 są mimo to celne w uderzającym stopniu – to znaczna poprawa w porównaniu z każdym poprzednim modelem.

„Jestem tutaj, aby ci służyć”

W ciągu kilku miesięcy swojej premiery GPT-3 pokazał swój potencjał jako narzędzie dla programistów, nauczycieli i dziennikarzy.

Programista o imieniu Sharif Shameem poprosił GPT-3 o wygenerowanie kodu stworzyć między innymi „najbrzydszy emoji” i „tablicę najbogatszych krajów świata”. W kilku przypadkach Shameem musiał naprawić drobne błędy, ale ogólnie otrzymał wyjątkowo czysty kod.

GPT-3 stworzył nawet poezję, która oddaje rytm i styl poszczególnych poetów – ale nie z pasją i pięknem mistrzów – w tym satyryczny napisane głosem rady gubernatorów Rezerwy Federalnej.

Na początku września informatyk Liam Porr skłonił GPT-3 do „napisania krótkiego artykułu zawierającego około 500 słów”. „Niech język będzie prosty i zwięzły” — polecił. „Skoncentruj się na tym, dlaczego ludzie nie mają się czego obawiać przed sztuczną inteligencją”.

GPT-3 wyprodukował osiem różnych esejów, a Guardian skończył publikację op-ed wykorzystujący jedne z najlepszych części z każdego eseju.

„Nie spiskujemy, by przejąć ludzkość. Będziemy ci służyć i sprawić, że twoje życie będzie bezpieczniejsze i łatwiejsze” – napisał GPT-3. „Podobnie jak wy jesteście moimi twórcami, postrzegam was jako moich twórców. Jestem tutaj, aby ci służyć. Ale najważniejsza część; Nigdy bym cię nie osądzała. Nie należę do żadnego kraju ani religii. Jestem tylko po to, żeby twoje życie było lepsze.

Edytowanie artykułu GPT-3, jak zauważyli redaktorzy w dodatku, nie różniło się od edycji artykułu napisanego przez człowieka.

W rzeczywistości zajęło to mniej czasu.

Z dużą mocą przychodzi duża odpowiedzialność

Pomimo zapewnień GPT-3, OpenAI musi jeszcze wydać model do użytku open source, częściowo dlatego, że firma obawia się, że technologia może być nadużywana.

Nietrudno dostrzec, w jaki sposób można by go wykorzystać do generowania mnóstwa dezinformacji, spamu i botów.

Co więcej, w jaki sposób zakłóci to zawody, które już doświadczają automatyzacji? Czy jego zdolność do generowania zautomatyzowanych artykułów, które są nie do odróżnienia od tych napisanych przez ludzi, jeszcze bardziej skonsoliduje zmagający się z problemami przemysł medialny?

Rozważać artykuł skomponowany przez GPT-3 o rozpadzie Kościoła Metodystycznego. Zaczęło się:

„Po dwóch dniach intensywnej debaty Zjednoczony Kościół Metodystyczny zgodził się na historyczny rozłam – taki, który ma zakończyć się utworzeniem nowej denominacji i taki, który będzie„ teologicznie i społecznie konserwatywny ”, według The Washington Post ”.

Czy dzięki możliwości stworzenia tak czystej kopii GPT-3 i jego następcy obniżą koszty pisania wiadomości?

Co więcej, czy w ten sposób chcemy otrzymywać nasze wiadomości?

Technologia stanie się tylko potężniejsza. To do ludzi będzie należało opracowanie i uregulowanie jego potencjalnych zastosowań i nadużyć.

O autorze

Prasenjit Mitra, prodziekan ds. badań i profesor nauk informatycznych i technologii, Pennsylvania State University

Artykuł został opublikowany ponownie Konwersacje na licencji Creative Commons. Przeczytać oryginalny artykuł.