«Наша цель состоит в том, чтобы использовать компьютерное видение и искусственный интеллект, чтобы создать цифровое полевое руководство, которое поможет людям учиться признавать птиц», говорит Белюмер, который запустил Leafsnap, подобное электронное полевое руководство для деревьев, с коллегами два года назад. «Мы были в состоянии взять невероятную коллекцию данных – тысяч фотографий птиц – и технологии использования, чтобы организовать данные полезным и интересным способом».Belhumeur и его коллега, профессор Информатики Дэвид Джейкобс из Университета Мэриленда, поняли, что многие методы, которые они развивали для распознавания лиц в работе, охватывающей больше чем десятилетие, могли также быть применены к автоматической идентификации разновидностей. Современные алгоритмы распознавания лиц полагаются на методы, которые находят корреспонденции между сопоставимыми частями различных лиц, так, чтобы, например, нос сравнился с носом и глазом к глазу. Birdsnap работает тот же самый путь, обнаруживая части птицы так, чтобы это могло исследовать визуальное подобие своих сопоставимых частей (каждая разновидность маркирована через местоположение 17 частей).
Это автоматически обнаруживает визуально подобные разновидности и делает визуальные предложения для того, как их можно отличить.«Классификация – одна из основных проблем компьютерного видения», говорит Фома Берг, доктор философии информатики Разработки Колумбии кандидат, который работает в тесном сотрудничестве с Belhumeur. «Недавно, был большой прогресс мелкозернистой визуальной классификации, признания – и различения – категории тот очень похожий взгляд. То, что является действительно захватывающим о Birdsnap, – то, что мало того, что он преуспевает при идентификации разновидностей, но и он может также определить который части птицы использование алгоритма, чтобы определить каждую разновидность. Birdsnap тогда автоматически аннотирует изображения птицы, чтобы показать эти отличительные части – птицеловы называют их ‘полевыми отметками’ – таким образом, пользователь может изучить, что искать».
Команда проектировала то, что они называют «частично базирующимися, один против одного показывает», или POOFs, каждый из которых классифицирует птиц всего двух разновидностей, на основе небольшой части тела птицы. Система строит сотни POOFs для каждой пары разновидностей, каждого на основе другой части птицы, и выбирает части, используемые самым точным POOFs в качестве полевых отметок. Birdsnap также использует POOFs для идентификации загруженных изображений.
Команда также использовала в своих интересах то, что современные камеры, особенно те по телефонам, включают дату и местоположение по их изображениям и использовали ту информацию, чтобы улучшить точность классификации. Мало того, что они придумывали полностью автоматический метод, чтобы учить пользователей, как определить визуально подобные разновидности, но они также проектировали систему, которая может точно определить, какие птицы прибывают, отъезд или перемещение. «Вы можете идентификационные птицы в США где бы вы ни были в любое время года», отмечает Берг.
Приложение Leafsnap, которое включило дорогостоящее время и ресурсы, потраченные в сборе и фотографировании тысяч листьев, заняло почти 10 лет, чтобы развиваться и теперь имеет больше чем миллион пользователей. Белюмер получил Birdsnap, входящий приблизительно в шесть месяцев благодаря быстрому увеличению источников данных онлайн и достижениям в компьютерном видении и мобильным вычислениям. Фотографии были загружены с Интернета с этикетками разновидностей, подтвержденными рабочими на Amazon Mechanical Turk, которые также маркировали части. Описания были поставлены через Википедию.
Карты были основаны на данных из eBird, совместного предприятия Лаборатории Корнелльского университета Орнитологии и Национального Общества Одебона, и BirdLife, международной сети организаций по охране природы.Белюмер надеется затем работать с коллегами Разработки Колумбии на добавлении способности признать песни птицы, объединяя аудио и визуальное признание.
Он также хочет создать «умный» бинокль, который использует эту технологию искусственного интеллекта, чтобы определить и пометить разновидности в поле зрения.«Биологические области – замечательно подходящие ли деревья, собаки, или птицы – где таксономия диктует ясный набор подкатегорий, к проблеме мелкозернистой визуальной классификации», Белюмер наблюдает. «Со всеми достижениями в компьютерной коллекции видения и информации это – захватывающее время, которое будет погружено в визуальное признание и большие данные».Это исследование финансировалось Национальным научным фондом, Фондом Гордона и Бетти Мур и Офисом Военно-морского Исследования.
Приложение: https://itunes.apple.com/app/birdsnap/id880461148Веб-сайт: http://birdsnap.com/