(Źródło: Drew Weber/Cornell Lab of Ornitology)

Aplikacja mobilna Merlin Bird Photo ID może zidentyfikować setki gatunków północnoamerykańskich, które „widzi” na zdjęciach, dzięki technologii uczenia maszynowego.

Po pobraniu na urządzenie mobilne aplikacja może być dostępna w dowolnym miejscu — nawet w miejscach, w których nie ma sieci komórkowej lub Wi-Fi.

„Kiedy otwierasz aplikację Merlin Bird Photo ID, pojawia się pytanie, czy chcesz zrobić zdjęcie smartfonem, czy pobrać obraz z aparatu cyfrowego”, mówi lider projektu Merlin Jessie Barry z Cornell Lab of Ornitology. „Przybliżasz ptaka, potwierdzasz datę i lokalizację, a Merlin pokaże Ci najlepsze wybory do dopasowania spośród 650 gatunków północnoamerykańskich, które zna”.

Skrzydła, dzioby i pazury

Informatycy Caltech i Cornell Tech nauczyli Merlina rozpoznawać ptaki, pokazując mu prawie milion zdjęć, które zostały zebrane i opatrzone adnotacjami przez obserwatorów ptaków i wolontariuszy zmobilizowanych przez Cornell Lab. Adnotacje obejmują gatunek ptaka, a także kluczowe punkty identyfikujące elementy fizyczne, takie jak skrzydła, dzioby i pazury.

Kiedy użytkownik aplikacji przedstawia jej ptaka do zidentyfikowania, Merlin wybiera gatunki, które ściśle odpowiadają tym cechom. Jak każdy dobry obserwator, system uwzględnia gatunki, które można znaleźć o tej konkretnej porze roku i w tej lokalizacji, korzystając z informacji z eBird, internetowego zasobu ptaków, który zbiera i rejestruje średnio 7 milionów rekordów obserwacji ptaków każdego miesiąca z całego świata .

„Przy tworzeniu aplikacji Merlin Bird Photo ID byliśmy szczególnie zainteresowani jakością i organizacją danych” — mówi Serge Belongie, profesor informatyki w Cornell Tech. Wraz z Pietro Peroną z California Institute of Technology (Caltech) jest współzałożycielem Visipedia, projektu parasolowego finansowanego przez Google, który wykorzystuje postępy w uczeniu maszynowym i wizji komputerowej do klasyfikowania obiektów na zdjęciach.

„Ostatecznie chcemy stworzyć otwartą platformę, z której każda społeczność może skorzystać, aby stworzyć narzędzie do wizualnej klasyfikacji motyli, żab, roślin lub czegokolwiek, czego potrzebuje” – mówi Belongie.

„Ta aplikacja jest zwieńczeniem siedmiu lat ciężkiej pracy naszych uczniów i jest napędzana ogromnym postępem, jaki poczynili naukowcy zajmujący się wizją komputerową i uczeniem maszynowym na całym świecie”, mówi Perona, profesor elektrotechniki w Wydziale Inżynierii Caltech. i Nauki Stosowane. „Maszyna, która rozpoznaje obiekty na obrazach, tak jak ludzie, była odległym snem, kiedy byłem doktorantem, a teraz w końcu to się dzieje”.

Dobre obrazy, dobre dopasowania

Jak dobry jest dokument tożsamości ze zdjęciem Merlin Bird? „Dokładność wynosi około 90 procent, jeśli zdjęcie użytkownika jest dobrej jakości. Prześlij rozmyty obraz lub taki, na którym ptak jest mały lub częściowo pokryty liśćmi, a szanse na uzyskanie dokładnego dopasowania spadną” – mówi Steve Branson, starszy doktor habilitowany w dziedzinie elektrotechniki w Caltech.

Pomimo postępu zaawansowanego technologicznie, ludzie nadal są ważną częścią tego procesu. „Potrzebujemy danych eBird od obserwatorów ptaków oraz ekspertów, którzy mogą oznaczyć zdjęcia używane do szkolenia Merlina” – mówi doktorant z Caltech Grant Van Horn. „Potrzebujesz nauczycieli, którzy nauczą maszynę tego, co ma robić. Nasz system łączy w sobie wiedzę setek ornitologów i ornitologów.” Van Horn i Branson są częścią zespołu Visipedia i opracowali algorytmy, które pozwalają Merlinowi nauczyć się rozpoznawać ptaki.

Globalny zasięg w przyszłości

Tuż za rogiem znajduje się publikacja Merlin Bird Photo ID w języku hiszpańskim dla ptaków w Meksyku. W dalszej części zespół Merlin będzie produkować wersje dla Ameryki Południowej, Europy, Azji, Afryki i Australii – w końcu rozszerzy się na cały świat.

„Wspaniałą rzeczą w tym projekcie jest współpraca z zespołem Visipedii”, mówi Barry. „Mamy produkt, który naprawdę działa, ponieważ jest poparty fantastycznymi badaniami i jest świetny dla społeczności ptaków, ponieważ został stworzony przez obserwatorów ptaków”.

Zaktualizowany identyfikator Merlin Bird Photo ID jest bezpłatny dla systemów iOS lub Android od Apple iTunes i Google play sklepy z aplikacjami. Jest to para z oryginalną aplikacją Merlin, wydaną w 2014 roku, która wykorzystuje kilka krótkich pytań, aby pomóc użytkownikom zawęzić tożsamość nowego ptaka.

Merlin Bird Photo ID jest obsługiwany przez Visipedię przy wsparciu Google, Jacobs Technion-Cornell Institute i National Science Foundation.

Źródło: Caltech

Powiązane książki:

at Rynek wewnętrzny i Amazon