На лице написано: как работает компьютерное распознавание лиц. Система распознавания лиц при помощи систем видеонаблюдения

Видеть - значит понимать увиденное. Мы слепы, если в нашем мозгу не работают зрительные зоны неокортекса - своеобразного биокомпьютера, ответственного за распознавание образов. Сейчас подобные анализаторы, способные узнавать лица и понимать их выражение, появляются у искусственных систем.

Итак, вещи обретают зрение, а у зрения есть собственный разум. Сначала мне кажется, что он туповат: только что включенная система распознавания лиц LUNA не торопится войти в штатный режим и запомнить меня. Но вот наконец она рапортует, что запомнила, и просит ввести имя. Пол и возраст LUNA может определить сама. С полом легко: у меня борода, а вот возраст система завысила на пять лет - видимо, из-за той же бороды.

Теперь камера узнает меня, даже если я снимаю очки или поворачиваю голову. Приходится попробовать средство посерьезней - мы направляемся к шкафу с париками и накладными усами. Я выбираю густые кудри, скрывающие к тому же пол-лица, - LUNA все равно узнает меня.

Наигравшись с париками, мы открываем ICQ и начинаем развлекаться с масками для видеозвонков: на мое цифровое лицо в реальном времени накладываются маски - можно неузнанным общаться в видеочате.

Следующий номер нашей программы - Face.DJ. Это приложение строит 3D-модель лица по селфи, а потом "надевает" это лицо на виртуальную голову, чтобы вы могли примерять прически и аксессуары. Другое назначение приложения - анимировать пользователя, создать его мультяшную копию для игр и прочих онлайн-занятий.

Мы готовим такое же приложение для сервиса знакомств: люди при первом контакте часто не хотят раскрываться, - рассказывает Юля, пиарщик компании VisionLabs, разработавшей LUNA. - Некоторые надевают маски, чтобы добавить в романтическое общение элемент игры.

У кросс-платформенной системы LUNA тоже много масок. Есть приложение в мессенджере Telegram, которое распознает пол и возраст по лицу, есть LUNA в облаке и LUNA для браузера. Но главное - эту программу можно внедрять в самые разные технологические продукты, чтобы использовать для распознавания лиц.

Например, одному из наших клиентов нужно выбирать фотографии - так называемый bestshot из видеопотока. Так вот, наша программа справляется с этим сама. Другому клиенту нужно, чтобы система распознавала лицо не только при входе в интернет-банк, но и на протяжении всего сеанса, потому что вы можете отойти, а вашим доступом воспользуется злоумышленник. С этой задачей мы тоже справились.

Главные клиенты VisionLabs - банки. Например, в "Почта Банке" системой LUNA оборудованы 50 тысяч рабочих мест - это самое большое внедрение биометрии в мире. Важно распознавать и лица клиентов, чтобы сравнивать фотографии в паспортах с фото в базе данных. Ведь самое распространенное мошенничество в этой сфере - вклейка своего фото в чужой паспорт для получения кредита.

Как видят машины

К нам подходит Александр Ханин, директор VisionLabs.

Расскажите о компьютерном зрении?

Александр Ханин: Компьютерное зрение - это область прикладной математики, которая по сложности эквивалентна задаче создания искусственного интеллекта в целом. Визуальный канал основной для получения информации об окружающем мире. И доверяем мы увиденному своими глазами больше, чем другим источникам.

Наша задача - научить программу по фотографии или видео делать выводы и понимать картинку так же, как человек. Или даже лучше. Вот когда машина сравняется с человеком в этом умении, можно будет считать, что задача решена. Пока же она решена лишь для некоторых узких прикладных областей. Например, для распознавания дефектов оборудования или распознавания лиц.

Задача распознавания лиц решена?

Александр Ханин: Да, уже сейчас достоверно показано, что машина различает лица лучше нас. И точнее, и быстрее. Человек не очень хорошо определяет возраст, национальность. Тот, кто живет в Европе, хуже различает лица людей с азиатской внешностью, и наоборот. Еще мы забывчивы. В довершение всего машина делает это в десятки миллионов раз быстрее.

Зато человек анализирует не отдельные параметры, а лицо и даже ситуацию в целом. Мы понимаем контекст, в котором лицо собеседника принимает то или иное выражение. Как машина со всем этим справляется?

Александр Ханин: Сочетая лучшие методики компьютерного зрения и машинного обучения. Взять, например, метод глубокого обучения - его особенность в том, что человек не задает параметры лица для распознавания.

Нейросеть программирует сама себя?

Александр Ханин: Нейросети появились еще в 1970-х, а революция в этой области началась примерно в 2013-2014-м. Потому что только к этому времени удалось накопить достаточно большие объемы данных , чтобы учить нейросети, а вычислительные мощности стали относительно дешевыми. Продолжать разрабатывать детерминированные методы распознавания - указывать, какие части лица как сравнивать, - стало бессмысленно.

Прорыв произошел, когда отказались от заданных параметров, например от ключевых точек на лице. Вместо этого машине поставили задачу: "Смотри, вот десять тысяч пар фотографий, каждая пара - один человек. Проанализируй их, чтобы суметь определить на фото, которые ты пока не видишь, где один человек, а где разные". Машина сама находит параметры, которые важны для решения этой задачи.

Вы именно так обучали свою систему?

Александр Ханин: Ну да, это типичная задача идентификации - сравнить фотографию, сделанную сейчас, с фото в паспорте и подтвердить, что это один и тот же человек. Мы давали машине на вход большие данные - миллионы пар фотографий, а на выходе требовали правильного ответа для любых фотопортретов. И система училась - сама настраивала параметры так, чтобы минимизировать ошибки. То есть для глубокого обучения сначала надо найти обучающую выборку - много примеров правильных решений. Потом программа работает уже сама.

Где же вы взяли эти миллионы пар фотографий?

Александр Ханин: Есть доступные обучающие выборки для исследователей - сначала мы использовали их, а дальше уже работали с партнерами и клиентами, которые разрешили продолжить обучение на их данных.

Как преуспеть на рынке

Задача распознавания людей по лицу решена. А как обстоит дело с определением эмоций?

Александр Ханин: Как, например, в африканских странах люди миновали стадию телеграфа и сразу перешли на мобильную сеть, так и мы, не решая задачу распознавания эмоций, сразу перешли на более высокий уровень - к выводам о важных для наших клиентов характеристиках человека. Бизнес показывает: от того, что машина распознает, улыбается человек или нахмурен, пользы никакой. Нужны более серьезные умения.

Распознавать ложь, например?

Александр Ханин: Да. Или определять, соответствует кандидат вашим требованиям или нет. Удовлетворен клиент обслуживанием или нет - улыбка ведь может выражать не только радость, но и насмешку и скрытое недовольство. Поэтому само по себе распознавание эмоций - это подзадача. Мы изучаем лицо в динамике, последовательность реакций на вопросы, обслуживание, обстановку.

Есть ли в мире инновационные продукты, на которые вы ориентируетесь?

Александр Ханин: Мы сами на переднем фланге. Медицинский факт, что наш продукт - первая в мире комплексная система распознавания лиц для банков и ретейла, которая работает и в мобильном телефоне, и на сайте, и в отделениях, и в банкоматах, и в терминалах самообслуживания - везде. Мы не только первые, но пока, насколько я знаю, единственные.

В каких-то терминалах самообслуживания уже установлена система распознавания лиц?

Александр Ханин: Да, например, в банке "Открытие" - в терминалах электронной очереди. И это не пилотные проекты, а такие, которые работают и удовлетворяют заказчиков в реальных условиях.

Чувствуете, как конкуренты дышат в спину?

Александр Ханин: Пилотных проектов в близких к нам областях много. Компаний, которые занимаются распознаванием лиц, только в России десятки, в Китае - около сотни, в мире - больше тысячи. Поэтому я и говорю, что сама по себе задача распознавания лиц решена, - во всяком случае для большинства сегментов и практических задач.

Для успеха на рынке важны не технологии. Большинству клиентов плевать, какая у нас технология и как именно мы решаем задачу, допустим, по ускорению обслуживания в банке или магазине, - с помощью распознавания лиц, прогноза погоды или черной магии. Им важно, чтобы был результат.

Распознать всех!

Какие задачи еще не решены, но будут - в обозримой перспективе? Над чем работают специалисты?

Александр Ханин: Одна из важнейших нерешенных задач - распознавание лиц в полностью неконтролируемой обстановке, например в толпе. Многие говорят, что умеют это делать, но по факту ничего такого пока не внедрили. Видимо, напрасно говорят.

Разве узнавать случайных людей по лицам не запрещено законом? Это ведь использование персональных данных.

Александр Ханин: Бизнесу запрещено, конечно. Это нарушение прав человека и вмешательство в частную жизнь. Вообще, технологии сейчас позволяют сделать гораздо больше, чем разрешает законодательство. Но мы работаем только в белой зоне - в полном соответствии с законом. Для нас важно не нарушать права людей. Мы не имеем права использовать без согласия человека его данные из соцсетей и поэтому не станем делать, например, для магазина систему, которая ищет информацию о клиенте по его фотографии. Но мы можем разработать программу, которая будет приблизительно оценивать пол и возраст покупателей по фото.

Наша компания работает только с бизнесом, а вот у служб национальной безопасности есть системы, которые ищут людей по фотографии.

То есть ФСБ можно, а обычным людям нельзя?

Александр Ханин: Да. Если спецслужба хочет найти террориста в толпе, ей нужно сканировать и распознать всех. А если человек зашел в магазин и программа по фотографии нашла его аккаунт в соцсети, узнала телефон и начала рассылать спам, это очень серьезное нарушение. На Западе за это предусмотрена уголовная ответственность.

В аэропортах уже есть системы распознавания лиц?

Александр Ханин: Да, в основном на паспортном контроле - они проверяют, ваш ли это паспорт, не поддельный ли и не числитесь ли вы в списке заблокированных или в федеральном розыске. За рубежом степень автоматизации значительно выше. В аэропортах Сингапура, Лондона, Парижа паспортный контроль можно проходить автоматически, без участия сотрудников. Вы сканируете свой паспорт, вас фотографируют, происходит сверка - и все, можно идти дальше.

Угадай, что на картинке

Как будет развиваться компьютерное зрение?

Александр Ханин: Есть большая группа задач, именуемых visual question answering: вы показываете компьютеру картинку, и он должен понять, что там изображено. Это очень сложно: если просто учить распознавать объекты по отдельности, ничего не получится - надо понимать контекст и взаимосвязь объектов.

Другая похожая задача - распознавание действий человека, они ведь тоже определяются во многом по контексту. Например, если человек поднял руку, что это значит? Он указывает дорогу или собирается кого-то ударить? Вот сидим, думаем.

То есть вы хотите научить машины распознавать образы, смысл которых зависит от контекста?

Александр Ханин: Научить интерпретировать контекст и таким образом распознавать картинки, действия, сцены.

Когда роботы прозреют

Александр Ханин: Хотелось бы, чтоб разработку компьютерного зрения довели до конца. Тогда у роботов появятся настоящие глаза, а значит, возможность понимать происходящее и адекватно реагировать. Иначе они не станут частью общества, а так и будут игрушками с пультами управления.

Как системы, распознающие лица, изменят нашу жизнь в ближайшие годы?

Александр Ханин: Вы совершенно точно заметите работу таких систем при авторизации - например, когда будете разблокировать телефон. Многие уже привыкли к Touch ID, но скоро самым распространенным способом станет вхождение в систему по лицу. Приходя домой, вы не будете искать ключи, на работе вам не понадобится пропуск. Ускорится обслуживание и самообслуживание в банках, магазинах, во всей сфере услуг: расчеты будут происходить без карточек.

На улицах станет безопаснее, потому что появится видеонаблюдение с функциями отслеживания. Города и страны получат дополнительную защиту, а возмездие за преступление станет неизбежным. Система будет фиксировать все: кто и где это сделал, куда потом пошел. На смену понятию "безопасный город" придет "умный город": одна и та же инфраструктура будет обеспечивать безопасность и, например, управление потоками людей и машин, а также много чего другого.

Одна и та же система установленных повсюду камер и компьютерного зрения?

Александр Ханин: Да, алгоритму без разницы, кого распознавать: вип-клиента или воришку. Лица у всех устроены одинаково: глаза, рот и нос. Но дело не только в лицах. Эта же система может заняться, скажем, регулированием освещения. Если в помещении нет людей, зачем жечь электричество? Машина вызовет коммунальные службы, если зафиксирует неполадки, и так далее.

Жить в мире, где все на виду, страшновато. Технически все проще становится построить антиутопию, где за всеми ведется тотальная слежка…

Александр Ханин: Я думаю, в итоге мир станет лучше и намного безопаснее. Но обманывать будет труднее. Например, мы с партнерами недавно разработали продукт, который не только дает доступ в рабочее помещение, но и учитывает проведенное там время: пришли во столько-то, ушли во столько. Прогуляли, опоздали, не вернулись с обеда - все будет зафиксировано.

И никак нельзя будет от этого спрятаться? Наверняка появятся маски с чужим лицом.

Александр Ханин: Безусловно, есть масса способов обмануть систему, и в этой области "гонка вооружений" только начинается. Был такой видеоролик, где учили делать макияж, препятствующий распознаванию. Но то было года три назад - нынешние алгоритмы так просто не проведешь.

А если вместо лица показывать фотографию?

Александр Ханин: Чтобы вычислить мошенников, в системах распознавания лиц программируют специальный "детектор живости" (lifeness detector), который определяет, человек перед ним или фотография. Показателей живости несколько. Самый простой, который считается мировым стандартом, - это моргание. Еще система может попросить человека улыбнуться, повернуть голову, приблизиться к камере, чтобы убедиться, что он реальный. Но если камера оснащена сенсором глубины, это не требуется: машина сразу понимает, что в кадре объемный объект, а не фото.

Кто еще в лидерах

Распознавание лиц - это не только наука и технология, но и большой бизнес, который в развитых странах растет огромными темпами. Исследовательская компания Allied Market Research прогнозирует, что к 2022 году его оборот составит почти десять миллиардов долларов. Среди ведущих игроков есть и российские. Из десятков стартапов и исследовательских проектов мы выделили три самых успешных.

NTechLab. Выпускник МГУ Артем Кухаренко начинал с приложения, определявшего породу собак по фотографии. Но уже в 2015 году созданный им с партнерами по проекту NTechLab алгоритм FaceN одержал победу в двух из четырех номинаций главного мирового конкурса по распознаванию лиц MegaFace, обойдя команду Google. Однако настоящая слава пришла к компании после разработки популярнейшего приложения FindFace, предназначенного для поиска по фото людей в соцсети "ВКонтакте". Сегодня число заявок на интеграцию технологии FindFace приближается к тысяче.

Vocord. Компанию "Вокорд" можно смело считать чемпионом мира по распознаванию лиц: на сайте конкурса MegaFace она занимает первое место, лидируя с солидным отрывом. Команда "Вокорд" - ветераны на рынке систем компьютерного зрения: программу дистанционного биометрического распознавания лиц Vocord FaceControl они выпустили еще в 2008 году, сегодня их продуктами пользуются больше двух тысяч коммерческих и государственных организаций. Специализация компании - идентификация лиц, то есть поиск человека в толпе.

VisionLabs. Их продукты входят в тройку лучших мировых коммерческих систем распознавания лиц. Подробнее об этой компании читайте в основном тексте.

Основные виды биометрии

Международная классификация способов идентификации человека

Лицо. Программа по фото или видеоизображению лица анализирует размер и форму глаз, носа, скул, их взаиморасположение и на основе этих данных создает уникальную комбинацию, которую затем сравнивает с имеющимися на предмет совпадения.

Отпечатки пальцев. Дактилоскопический метод основан на неповторимости папиллярного рисунка кожи, широко применяется в криминалистике.

Речь. Способ распознавания, основанный на преобразовании звучащей речи в цифровую информацию.

Глаза. Распознавание происходит в результате сравнения цифрового изображения радужной оболочки глаза с имеющимися в базе.

Вены. Способ идентификации на основе венозного рисунка руки или пальцев.

С завидной регулярностью на Хабре появляются статьи, рассказывающие о тех или иных методах распознавания лиц. Мы решили не просто поддержать эту замечательную тему, но выложить наш внутренний документ, который освещает пусть и не все, но многие подходы к распознаванию лиц, их сильные и слабые места. Он был составлен Андреем Гусаком, нашим инженером, для молодых сотрудников отдела машинного зрения, в образовательных, так сказать, целях. Сегодня предлагаем его все желающим. В конце статьи – впечатляющих размеров список литературы для самых любознательных.

Итак, начнем.
Несмотря на большое разнообразие представленных алгоритмов, можно выделить общую структуру процесса распознавания лиц:

Общий процесс обработки изображения лица при распознавании

На первом этапе производится детектирование и локализация лица на изображении. На этапе распознавания производится выравнивание изображения лица (геометрическое и яркостное), вычисление признаков и непосредственно распознавание – сравнение вычисленных признаков с заложенными в базу данных эталонами. Основным отличием всех представленных алгоритмов будет вычисление признаков и сравнение их совокупностей между собой.

1. Метод гибкого сравнения на графах (Elastic graph matching) .

Суть метода сводится к эластичному сопоставлению графов, описывающих изображения лиц. Лица представлены в виде графов со взвешенными вершинами и ребрами. На этапе распознавания один из графов – эталонный – остается неизменным, в то время как другой деформируется с целью наилучшей подгонки к первому. В подобных системах распознавания графы могут представлять собой как прямоугольную решетку, так и структуру, образованную характерными (антропометрическими) точками лица.

А)

Б)

Пример структуры графа для распознавания лиц: а) регулярная решетка б) граф на основе антропометрических точек лица.

В вершинах графа вычисляются значения признаков, чаще всего используют комплексные значения фильтров Габора или их упорядоченных наборов – Габоровских вейвлет (строи Габора), которые вычисляются в некоторой локальной области вершины графа локально путем свертки значений яркости пикселей с фильтрами Габора.

Набор (банк, jet) фильтров Габора

Пример свертки изображения лица с двумя фильтрами Габора

Ребра графа взвешиваются расстояниями между смежными вершинами. Различие (расстояние, дискриминационная характеристика) между двумя графами вычисляется при помощи некоторой ценовой функции деформации, учитывающей как различие между значениями признаков, вычисленными в вершинах, так и степень деформации ребер графа.
Деформация графа происходит путем смещения каждой из его вершин на некоторое расстояние в определённых направлениях относительно ее исходного местоположения и выбора такой ее позиции, при которой разница между значениями признаков (откликов фильтров Габора) в вершине деформируемого графа и соответствующей ей вершине эталонного графа будет минимальной. Данная операция выполняется поочередно для всех вершин графа до тех пор, пока не будет достигнуто наименьшее суммарное различие между признаками деформируемого и эталонного графов. Значение ценовой функции деформации при таком положении деформируемого графа и будет являться мерой различия между входным изображением лица и эталонным графом. Данная «релаксационная» процедура деформации должна выполняться для всех эталонных лиц, заложенных в базу данных системы. Результат распознавания системы – эталон с наилучшим значением ценовой функции деформации.

Пример деформации графа в виде регулярной решетки

В отдельных публикациях указывается 95-97%-ая эффективность распознавания даже при наличии различных эмоциональных выражениях и изменении ракурса лица до 15 градусов. Однако разработчики систем эластичного сравнения на графах ссылаются на высокую вычислительную стоимость данного подхода. Например, для сравнения входного изображения лица с 87 эталонными тратилось приблизительно 25 секунд при работе на параллельной ЭВМ с 23 транспьютерами (Примечание: публикация датирована 1993 годом). В других публикациях по данной тематике время либо не указывается, либо говорится, что оно велико.

Недостатки: высокая вычислительная сложность процедуры распознавания. Низкая технологичность при запоминании новых эталонов. Линейная зависимость времени работы от размера базы данных лиц.

2. Нейронные сети

В настоящее время существует около десятка разновидности нейронных сетей (НС). Одним из самых широко используемых вариантов являться сеть, построенная на многослойном перцептроне, которая позволяет классифицировать поданное на вход изображение/сигнал в соответствии с предварительной настройкой/обучением сети.
Обучаются нейронные сети на наборе обучающих примеров. Суть обучения сводится к настройке весов межнейронных связей в процессе решения оптимизационной задачи методом градиентного спуска. В процессе обучения НС происходит автоматическое извлечение ключевых признаков, определение их важности и построение взаимосвязей между ними. Предполагается, что обученная НС сможет применить опыт, полученный в процессе обучения, на неизвестные образы за счет обобщающих способностей.
Наилучшие результаты в области распознавания лиц (по результатам анализа публикаций) показала Convolutional Neural Network или сверточная нейронная сеть (далее – СНС) , которая является логическим развитием идей таких архитектур НС как когнитрона и неокогнитрона. Успех обусловлен возможностью учета двумерной топологии изображения, в отличие от многослойного перцептрона.
Отличительными особенностями СНС являются локальные рецепторные поля (обеспечивают локальную двумерную связность нейронов), общие веса (обеспечивают детектирование некоторых черт в любом месте изображения) и иерархическая организация с пространственными сэмплингом (spatial subsampling). Благодаря этим нововведениям СНС обеспечивает частичную устойчивость к изменениям масштаба, смещениям, поворотам, смене ракурса и прочим искажениям.

Схематичное изображение архитектуры сверточной нейронной сети

Тестирование СНС на базе данных ORL, содержащей изображения лиц с небольшими изменениями освещения, масштаба, пространственных поворотов, положения и различными эмоциями, показало 96% точность распознавания.
Свое развитие СНС получили в разработке DeepFace , которую приобрел
Facebook для распознавания лиц пользователей своей соцсети. Все особенности архитектуры носят закрытый характер.

Принцип работы DeepFace

Недостатки нейронных сетей: добавление нового эталонного лица в базу данных требует полного переобучения сети на всем имеющемся наборе (достаточно длительная процедура, в зависимости от размера выборки от 1 часа до нескольких дней). Проблемы математического характера, связанные с обучением: попадание в локальный оптимум, выбор оптимального шага оптимизации, переобучение и т. д. Трудно формализуемый этап выбора архитектуры сети (количество нейронов, слоев, характер связей). Обобщая все вышесказанное, можно заключить, что НС – «черный ящик» с трудно интерпретируемыми результатами работы.

3. Скрытые Марковские модели (СММ, HMM)

Одним из статистических методов распознавания лиц являются скрытые Марковские модели (СММ) с дискретным временем . СММ используют статистические свойства сигналов и учитывают непосредственно их пространственные характеристики. Элементами модели являются: множество скрытых состояний, множество наблюдаемых состояний, матрица переходных вероятностей, начальная вероятность состояний. Каждому соответствует своя Марковская модель. При распознавании объекта проверяются сгенерированные для заданной базы объектов Марковские модели и ищется максимальная из наблюдаемых вероятность того, что последовательность наблюдений для данного объекта сгенерирована соответствующей моделью.
На сегодняшний день не удалось найти примера коммерческого применения СММ для распознавания лиц.

Недостатки:
- необходимо подбирать параметры модели для каждой базы данных;
- СММ не обладает различающей способностью, то есть алгоритм обучения только максимизирует отклик каждого изображения на свою модель, но не минимизирует отклик на другие модели.

4. Метод главных компонент или principal component analysis (PCA)

Одним из наиболее известных и проработанных является метод главных компонент (principal component analysis, PCA), основанный на преобразовании Карунена-Лоева.
Первоначально метод главных компонент начал применяться в статистике для снижения пространства признаков без существенной потери информации. В задаче распознавания лиц его применяют главным образом для представления изображения лица вектором малой размерности (главных компонент), который сравнивается затем с эталонными векторами, заложенными в базу данных.
Главной целью метода главных компонент является значительное уменьшение размерности пространства признаков таким образом, чтобы оно как можно лучше описывало «типичные» образы, принадлежащие множеству лиц. Используя этот метод можно выявить различные изменчивости в обучающей выборке изображений лиц и описать эту изменчивость в базисе нескольких ортогональных векторов, которые называются собственными (eigenface).

Полученный один раз на обучающей выборке изображений лиц набор собственных векторов используется для кодирования всех остальных изображений лиц, которые представляются взвешенной комбинацией этих собственных векторов. Используя ограниченное количество собственных векторов можно получить сжатую аппроксимацию входному изображению лица, которую затем можно хранить в базе данных в виде вектора коэффициентов, служащего одновременно ключом поиска в базе данных лиц.

Суть метода главных компонент сводится к следующему. Вначале весь обучающий набор лиц преобразуется в одну общую матрицу данных, где каждая строка представляет собой один экземпляр изображения лица, разложенного в строку. Все лица обучающего набора должны быть приведены к одному размеру и с нормированными гистограммами.

Преобразования обучающего набора лиц в одну общую матрицу X

Затем производится нормировка данных и приведение строк к 0-му среднему и 1-й дисперсии, вычисляется матрица ковариации. Для полученной матрицы ковариации решается задача определения собственных значений и соответствующих им собственных векторов (собственные лица). Далее производится сортировка собственных векторов в порядке убывания собственных значений и оставляют только первые k векторов по правилу:

Алгоритм РСА

Пример первых десяти собственных векторов (собственных лиц), полученных на обучаемом наборе лиц

= 0.956*-1.842*+0.046 …

Пример построения (синтеза) человеческого лица с помощью комбинации собственных лиц и главных компонент

Принцип выбора базиса из первых лучших собственных векторов

Пример отображения лица в трехмерное метрическое пространство, полученном по трем собственным лицам и дальнейшее распознавание

Метод главных компонент хорошо зарекомендовал себя в практических приложениях. Однако, в тех случаях, когда на изображении лица присутствуют значительные изменения в освещенности или выражении лица, эффективность метода значительно падает. Все дело в том, что PCA выбирает подпространство с такой целью, чтобы максимально аппроксимировать входной набор данных, а не выполнить дискриминацию между классами лиц.

В было предложено решение этой проблемы с использование линейного дискриминанта Фишера (в литературе встречается название “Eigen-Fisher”, “Fisherface”, LDA). LDA выбирает линейное подпространство, которое максимизирует отношение:

Где

Матрица межклассового разброса, и

Матрица внутриклассового разброса; m – число классов в базе данных.

LDA ищет проекцию данных, при которой классы являются максимально линейно сепарабельны (см. рисунок ниже). Для сравнения PCA ищет такую проекцию данных, при которой будет максимизирован разброс по всей базе данных лиц (без учета классов). По результатам экспериментов в условиях сильного бакового и нижнего затенения изображений лиц Fisherface показал 95% эффективность по сравнению с 53% Eigenface.

Принципиальное отличие формирования проекций PCA и LDA

Отличие PCA от LDA

5. Active Appearance Models (AAM) и Active Shape Models (ASM) ()

Active Appearance Models (AAM)
Активные модели внешнего вида (Active Appearance Models, AAM) - это статистические модели изображений, которые путем разного рода деформаций могут быть подогнаны под реальное изображение. Данный тип моделей в двумерном варианте был предложен Тимом Кутсом и Крисом Тейлором в 1998 году . Первоначально активные модели внешнего вида применялись для оценки параметров изображений лиц.
Активная модель внешнего вида содержит два типа параметров: параметры, связанные с формой (параметры формы), и параметры, связанные со статистической моделью пикселей изображения или текстурой (параметры внешнего вида). Перед использованием модель должна быть обучена на множестве заранее размеченных изображений. Разметка изображений производится вручную. Каждая метка имеет свой номер и определяет характерную точку, которую должна будет находить модель во время адаптации к новому изображению.

Пример разметки изображения лица из 68 точек, образующих форму AAM.

Процедура обучения AAM начинается с нормализации форм на размеченных изображениях с целью компенсации различий в масштабе, наклоне и смещении. Для этого используется так называемый обобщенный Прокрустов анализ.

Координаты точек формы лица до и после нормализации

Из всего множества нормированных точек затем выделяются главные компоненты с использованием метода PCA.

Модель формы AAM состоит из триангуляционной решетки s0 и линейной комбинации смещений si относительно s0

Далее из пикселей внутри треугольников, образуемых точками формы, формируется матрица, такая что, каждый ее столбец содержит значения пикселей соответствующей текстуры. Стоит отметить, что используемые для обучения текстуры могут быть как одноканальными (градации серого), так и многоканальными (например, пространство цветов RGB или другое). В случае многоканальных текстур векторы пикселов формируются отдельно по каждому из каналов, а потом выполняется их конкатенация. После нахождения главных компонент матрицы текстур модель AAM считается обученной.

Модель внешнего вида AAM состоит из базового вида A0, определенного пикселями внутри базовой решетки s0 и линейной комбинации смещений Ai относительно A0

Пример конкретизации AAM. Вектор параметров формы
p=(p_1,p_2,〖…,p〗_m)^T=(-54,10,-9.1,…)^T используется для синтеза модели формы s, а вектор параметров λ=(λ_1,λ_2,〖…,λ〗_m)^T=(3559,351,-256,…)^Tдля синтеза внешнего вида модели. Итоговая модель лица 〖M(W(x;p))〗^ получается как комбинация двух моделей – формы и внешнего вида.

Подгонка модели под конкретное изображение лица выполняется в процессе решения оптимизационной задачи, суть которой сводится к минимизации функционала

Методом градиентного спуска. Найденные при этом параметры модели и будут отражать положение модели на конкретном изображении.

Пример подгонки модели на конкретное изображение за 20 итераций процедуры градиентного спуска.

С помощью AAM можно моделировать изображения объектов, подверженных как жесткой, так и нежесткой деформации. ААМ состоит из набора параметров, часть которых представляют форму лица, остальные задают его текстуру. Под деформации обычно понимают геометрическое преобразование в виде композиции переноса, поворота и масштабирования. При решении задачи локализации лица на изображении выполняется поиск параметров (расположение, форма, текстура) ААМ, которые представляют синтезируемое изображение, наиболее близкое к наблюдаемому. По степени близости AAM подгоняемому изображению принимается решение – есть лицо или нет.

Active Shape Models (ASM)

Суть метода ASM заключается в учете статистических связей между расположением антропометрических точек. На имеющейся выборке изображений лиц, снятых в анфас. На изображении эксперт размечает расположение антропометрических точек. На каждом изображении точки пронумерованы в одинаковом порядке.

Пример представления формы лица с использованием 68 точек

Для того чтобы привести координаты на всех изображениях к единой системе обычно выполняется т.н. обобщенный прокрустов анализ, в результате которого все точки приводятся к одному масштабу и центрируются. Далее для всего набора образов вычисляется средняя форма и матрица ковариации. На основе матрицы ковариации вычисляются собственные вектора, которые затем сортируются в порядке убывания соответствующих им собственных значений. Модель ASM определяется матрицей Φ и вектором средней формы s ̅.
Тогда любая форма может быть описана с помощью модели и параметров:

Локализации ASM модели на новом, не входящем в обучающую выборку изображении осуществляется в процессе решения оптимизационной задачи.

а) б) в) г)
Иллюстрация процесса локализации модели ASM на конкретном изображении: а) начальное положение б) после 5 итераций в) после 10 итераций г) модель сошлась

Однако все же главной целью AAM и ASM является не распознавание лиц, а точная локализация лица и антропометрических точек на изображении для дальнейшей обработки.

Практически во всех алгоритмах обязательным этапом, предваряющим классификацию, является выравнивание, под которым понимается выравнивание изображения лица во фронтальное положение относительно камеры или приведение совокупности лиц (например, в обучающей выборке для обучения классификатора) к единой системе координат. Для реализации этого этапа необходима локализация на изображении характерных для всех лиц антропометрических точек – чаще всего это центры зрачков или уголки глаз. Разные исследователи выделяют разные группы таких точек. В целях сокращения вычислительных затрат для систем реального времени разработчики выделяют не более 10 таких точек .

Модели AAM и ASM как раз и предназначены для того чтобы точно локализовать эти антропометрические точки на изображении лица.

6. Основные проблемы, связанные с разработкой систем распознавания лиц

Проблема освещенности

Проблема положения головы (лицо – это, все же, 3D объект).

С целью оценки эффективности предложенных алгоритмов распознавания лиц агентство DARPA и исследовательская лаборатория армии США разработали программу FERET (face recognition technology).

В масштабных тестах программы FERET принимали участие алгоритмы, основанные на гибком сравнении на графах и всевозможные модификации метода главных компонент (PCA). Эффективность всех алгоритмов была примерно одинаковой. В этой связи трудно или даже невозможно провести четкие различия между ними (особенно если согласовать даты тестирования). Для фронтальных изображений, сделанных в один и тот же день, приемлемая точность распознавания, как правило, составляет 95%. Для изображений, сделанных разными аппаратами и при разном освещении, точность, как правило, падает до 80%. Для изображений, сделанных с разницей в год, точность распознавания составило примерно 50%. При этом стоит заметить, что даже 50 процентов - это более чем приемлемая точность работы системы подобного рода.

Ежегодно FERET публикует отчет о сравнительном испытании современных систем распознавания лиц на базе лиц более одного миллиона. К большому сожалению в последних отчетах не раскрываются принципы построения систем распознавания, а публикуются только результаты работы коммерческих систем. На сегодняшний день лидирующей является система NeoFace разработанная компанией NEC.

Список литературы (гуглится по первой ссылке)

1. Image-based Face Recognition - Issues and Methods
2. Face Detection A Survey.pdf
3. Face Recognition A Literature Survey
4. A survey of face recognition techniques
5. A survey of face detection, extraction and recognition
6. Обзор методов идентификации людей на основе изображений лиц
7. Методы распознавания человека по изображению лица
8. Сравнительный анализ алгоритмов распознавания лиц
9. Face Recognition Techniques
10. Об одном подходе к локализации антропометрических точек.
11. Распознавание лиц на групповых фотографиях с использованием алгоритмов сегментации
12. Отчет о НИР 2-й этап по распознаванию лиц
13. Face Recognition by Elastic Bunch Graph Matching
14. Алгоритмы идентификации человека по фотопортрету на основе геометриче-ских преобразований. Диссертация.
15. Distortion Invariant Object Recognition in the Dynamic Link Architecture
16. Facial Recognition Using Active Shape Models, Local Patches and Support Vector Machines
17. Face Recognition Using Active Appearance Models
18. Active Appearance Models for Face Recognition
19. Face Alignment Using Active Shape Model And Support Vector Machine
20. Active Shape Models - Their Training and Application
21. Fisher Vector Faces in the Wild
22. Eigenfaces vs. Fisherfaces Recognition Using Class Specific Linear Projection
23. Eigenfaces and fisherfaces
24. Dimensionality Reduction
25. ICCV 2011 Tutorial on Parts Based Deformable Registration
26. Constrained Local Model for Face Alignment, a Tutorial
27. Who are you – Learning person specific classifiers from video
28. Распознавание человека по изображению лица нейросетевыми методами
29. Face Recognition A Convolutional Neural Network Approach
30. Face Recognition using Convolutional Neural Network and Simple Logistic Classifier
31. Face Image Analysis With Convolutional Neural Networks
32. Методы распознавания лиц на основе скрытых марковских процессов. Авторе-ферат
33. Применение скрытых марковских моделей для распознавания лиц
34. Face Detection and Recognition Using Hidden Markovs Models
35. Face Recognition with GNU Octave-MATLAB
36. Face Recognition with Python
37. Anthropometric 3D Face Recognition
38. 3D Face Recognition
39. Face Recognition Based on Fitting a 3D Morphable Model
40. Face Recognition
41. Robust Face Recognition via Sparse Representation
42. The FERET Evaluation Methodology For Face-Recognition Algorithms
43. Поиск лиц в электронных коллекциях исторических фотографий
44. Design, Implementation and Evaluation of Hardware Vision Systems dedicated to Real-Time Face Recognition
45. An Introduction to the Good, the Bad, & the Ugly Face Recognition Challenge Prob-lem
46. Исследование и разработка методов обнаружения человеческого лица на циф-ровых изображениях. Диплом
47. DeepFace Closing the Gap to Human-Level Performance in Face Verification
48. Taking the bite out of automated naming of characters in TV video
49. Towards a Practical Face Recognition System Robust Alignment and Illumination by Sparse Representation
50. Алгоритмы обнаружения лица человека для решения прикладных задач анализа и обработки изображений
51. Обнаружение и локализация лица на изображении
52. Модифицированный мотод Виолы-Джонса
53. Разработка и анализ алгоритмов детектирования и классификации объектов на основе методов машинного обучения
54. Overview of the Face Recognition Grand Challenge
55. Face Recognition Vendor Test (FRVT)
56. Об эффективности применения алгоритма SURF в задаче идентификации лиц

Мировой рынок распознавания лиц вырастет с 4,05 млрд. долларов в 2017 году до 7,76 млрд. долларов США к 2022 году .

Как работает система распознавания лиц?

В принципе, система распознавания лиц может быть описана как процесс сопоставления лиц, попавших в объектив камеры с базой данных ранее сохраненных и идентифицированных изображений лиц эталонов.
По структурной реализации системы распознавания лиц можно выделить три распространенные схемы.

Анализ видеопотока на сервере

Наиболее распространенная схема реализации - IP-камера передает видеопоток на сервер, на сервере специализированное программное обеспечение для выполняет анализ видеопотока и сравнение полученных из видеопотока изображений лиц, с базой лиц эталонов.

Недостатками такой схемы будут, высокая нагрузка на сеть, высокая стоимость сервера, даже к самому мощному серверу можно подключить ограниченное количество IP-камер, т.е. чем больше система тем больше серверов.
Преимуществом является возможность использовать уже существующую систему видеонаблюдения.

Анализ видеопотока на IP-камере

В данном случае анализ изображения будет производится на самой камере, а на сервер будут передаваться обработанные метаданные.

Недостатки - нужны специальные камеры, выбор которых в данный момент крайне мал, стоимость камер выше чем обычных. Также в системах разных производителей будет по разному решаться вопрос хранения и размера базы данных распознанных лиц эталонов, а также вопросов взаимодействия софта на камере и софта на сервере.
Преимущества - подключение практически неограниченного количества камер к одному серверу

Анализ видеопотока на устройстве контроля доступа

В отличии от первых двух схем где используются IP-камеры, в данном случае камера встроена в устройство контроля доступа, которое кроме распознавания лица которое естественно происходит на устройстве, выполняет функции управления доступом как правило через турникет или электрозамок установленный на дверь. База данных лиц эталонов хранится на устройстве, и как правило уже не в виде фотоизображений.

Недостатки - как правило все такие устройства выпускаются для использования в помещениях.
Преимущества - низкая стоимость систем по сравнению с системами видеонаблюдения используемыми для распознавания лиц.

В любом случае успех реализации проектов по распознаванию лиц зависит от трех важных факторов:
Алгоритм распознавания
Базы данных распознанных лиц (эталонов)
Быстродействие алгоритма

Технология распознавания лиц

Как правило система состоит из камеры видеонаблюдения и программного обеспечения которое выполняет анализ изображений. Программное обеспечение для распознавания лиц основано на обработке изображений и вычислениях сложных математических алгоритмов, которые требуют более мощный сервер, чем обычно требуется для систем видеонаблюдения.

Нас будет в первую очередь интересовать качественные показатели программного обеспечения. Во вторую, какие серверные мощности понадобятся для анализа изображения и обработки базы данных с изображениями, ну и в третьи мы рассмотрим вопрос применимости IP-камер для целей распознавания лиц. Отдельного внимания заслуживают так называемые «stand alone» устройства, которые выполняют обработку изображений непосредственно на самом устройстве а не на сервере, также на таких устройствах может быть в память база данных лиц эталонов.

2D-распознавание лиц
В основе технологии 2D (двумерного) распознавания лиц, лежат плоские двухмерные изображения. Алгоритмы распознавания лиц используют: антропометрические параметры лица, графы - модели лиц или эластичные 2D-модели лиц, а также изображения с лицами представленные некоторым набором физических или математических признаков. Рейтинг популярности алгоритмов распознавания лиц мы рассмотрим ниже.

Распознавание 2D изображений одна из наиболее востребованных технологий на данный момент. Так как основные базы данных идентифицированных лиц накопленные в мире - именно двухмерные. И основное оборудование, уже установленное, по всему миру тоже 2D - по данным на 2016 год - 350 миллионов камер видеонаблюдения. Собственно поэтому основной спрос приходится именно на 2D системы распознавания лиц.

А спрос как известно стимулирует предложение, заставляя разработчиков максимизировать усилия на совершенствовании именно 2D технологии. Эти усилия приносят иногда неожиданно интересные результаты, например в виде создания трехмерной модели лица на основе 2D изображения. Исследователи из университетов Ноттингема и Кингстона представили проект по 3D-реконструкции лиц на основе одного одного единственного изображения. Нейросеть, через которую пропустили множество объёмных 3D-моделей людей и обычных портретов воссоздает объемные лица людей на основе всего одного двумерного изображения лица.

Преимущества
Огромным преимуществом 2D распознавания лиц является наличие готовых баз данных лиц эталонов, и готовой инфраструктуры. Максимальный спрос придется именно на этот сегмент, а спрос будет стимулировать разработчиков совершенствовать технологии.

Недостатки
Более высокие коэффициенты ошибок FAR и FRR по сравнению с 3D распознаванием лиц.

3D-распознавание лиц
3D распознавание (Three-dimensional face recognition - англ.) производится как правило по реконструированным трехмерным образам. Технология 3D распознавания лиц имеет более высокие качественные характеристики. Хотя конечно и она не является идеальной.

Существует несколько разнообразных технологиях 3D сканирования. Это могут быть лазерные сканеры с оценкой дальности от сканера до элементов поверхности объекта, специальные сканеры со структурированной подсветкой поверхности объекта и математической обработкой изгибов полос, либо это могут быть сканеры, обрабатывающие фотограмметрическим методом синхронные стереопары изображений лиц.

Одним из наиболее исследованных потребителями и экспертами 3D сканеров является знаменитый Face ID, от компании Apple. Опыт использования Face ID крайне интересен и показателен, потому что по сути это единственное устройство с технологией 3D распознавания лиц выпущенное на масс маркет, если конечно можно считать телефон за сотку устройством для масс маркета.

3D технология от Apple единственная в мире использует - вертикально-излучающие лазеры (VCSEL), по слухам суммарно потратив на разработку Face ID от 1,5 до 2 миллиардов долларов. Поставщиком VCSEL для Apple выступают две компании Finisar Corp (инвестиции Apple - 390 млн. долларов) и Lumentum Holdings . И судя по тому что другие 3D технологии, не показывают такой эффективности как Face ID, разблокировка по лицу на смартфонах на Android, появится не скоро.

Естественно с задачами идентификации близнецов Face ID не справляется, хотя этого никто и не ожидал, но даже с близкими родственниками случаются фейлы .
Ну и скорее комичный момент, но по началу Face ID не различал азиатов , но проблему настолько быстро пофиксили, что Apple даже не успели вчинить ни одного иска за расизм.

Преимущества 3D
Большая точность и меньшее количество ошибок пока недостижимое для 2D систем распознавания лиц.

Недостатки 3D
Достаточно легко подделать для профессионалов
Даже Face ID несмотря на всю крутость был взломан вьетнамской компанией Bkav сразу после поступления в продажу. Маска была создана с помощью 3D принтера. Себестоимость создания маски всего $150. Создание маски достаточно сложно для обычного человека, и ваша мама вряд ли сможет это повторить, но для профессионалов это как два пальца об асфальт.

Не используйте 3D распознавания лиц для защиты от несанкционированного доступа к ноутбукам, смартфонам, помещениям с особым уровнем секретности, все они могут быть с легкостью взломаны профессионалами.

3D распознавание требует специальных камер для сканирования, которые в несколько раз дороже обычных камер видеонаблюдения которые используется в 2D распознавании.
Отсутствие готовых баз данных идентифицированных лиц, по сравнению с 2D распознаванием
Распознавание близнецов, остается сложной задачей для алгоритмов распознавания лиц. В среднем в мире рождается 13.1 близнецов на 1000 новорожденных , и эта цифра сильно колеблется в зависимости от географического региона.

Распознавание лица по текстуре кожи лица
Изображения с высоким разрешением еще один фактор в совершенствовании технологии распознавания лиц, именно благодаря высокому разрешению стал возможен очень подробный анализ текстуры кожи.

При таком анализе определенная область кожи лица, может быть захвачена как изображение, а затем разбита на более мелкие блоки, которые превращаются в математические измеримые пространства, в которых записываются линии, поры и фактическая текстура кожи.

Технология может идентифицировать различия между близнецами, что пока невозможно использовать с помощью программного обеспечения для распознавания лиц». В случае объединения распознавание лица с анализом поверхностной текстуры, точность идентификация может сильно увеличиться.

Распознавание лица по тепловизионному изображению
Использование тепловизионных камер, для целей распознавания лиц на данный момент считается перспективным направлением для разработки, но готовых для внедрения коммерческих решений пока нет.

Технология достаточно перспективная так как позволяет нивелировать болевые точки 2D-распознавания.

Распознавания лиц в полной темноте и в условиях недостаточного освещения
Макияж, прическа, борода, шляпа, очки - не являются проблемой для тепловизионных камер
Позволяют распознавать близнецов

Можно выделить два направления, в которых ведется разработка:
Идентификация по заранее созданным термограммам идентифицированных лиц. Здесь проблемы те же что и с 3D-распознавание, готовых баз данных эталонов нет, оборудование дорогое.
Идентификация человека по изображениям полученным с тепловизионной камеры, а в качестве лиц эталонов используются база данных обычных двумерных изображений. Решается задача как вы наверное уже догадались использованием глубоких нейронных сетей.

Распознавание лиц по текстуре кожи и по тепловизионному изображению. работает, только в лаборатории, и то не идеально. Но мы внимательно наблюдаем, и если что сразу дадим вам знать.

Качество программного обеспечения

Существует несколько важных метрик для оценки качества программного обеспечения.

Наиболее важные из них FRR и FAR
False Reject Rate - FRR (Уровень ошибочных отказов) - вероятность того, что система не идентифицирует зарегистрированного пользователя или не подтверждает его подлинности.

Как рассчитывается FRR:
Пусть Nt - количество эталонов изображений в базе данных. FR - количество ложных нераспознаваний (False Reject - Иванов, не распознан как Иванов),

False Acceptance Rate - FAR (Уровень ошибочных подтверждений) - вероятность того, что система распознавания лиц ошибочно идентифицирует незарегистрированного пользователя или подтверждает его подлинность.

Как рассчитывается FAR:
Пусть Nt - количество эталонов изображений в базе данных. FA - количество ложных распознаваний (False Acceptation - Иванов распознан как Петров),

Первое и самое важное что вам нужно знать про эти два показателя, это то что они не абсолютные, а относительные, т.е. они могут меняться в зависимости от настроек алгоритма распознавания лиц.

Второе это то, что эти показатели взаимосвязаны - чем меньше FAR тем больше FRR.

Ориентировочные значения FRR и FAR для систем распознавания лиц и их взаимосвязь представлены в таблице:

Сравнение FAR и FRR различных методов биометрической идентификации:

Разработчики алгоритмов распознавания лиц

Алгоритм распознавания, это как правило не готовый программный продукт, а программный алгоритм который еще предстоит упаковать в программный продукт и в оборудование.

Производителей алгоритмов распознавания в мире достаточно много, благо есть независимые организации которые проводят тестирование эффективности алгоритмов. Самые известные: NIST - Национальный институт стандартов технологий США и MegaFace - Вашингтонский университет, Labeled Faces in the Wild , есть и другие. Результаты конкурсов постоянно обновляются. Любая компания в любой момент может обновить свой результат, заново пройдя тестирование. Еще недавно NtechLab заявила о себе как о победителе, а сегодня они лишь на 4 месте.

Мы опубликуем тестирование NIST с результатами на 13.05.2018. Так как NIST с моей точки зрения более интересен так как тестирование алгоритмов происходит на закрытой базе данных лиц, что исключает подготовку разработчика к тестированию.

Алгоритм - megvii-000 от Megvii , Китай
Китайская компания Megvii со своим основным продуктов Face++. По оценкам Коммерсанта оборот компании составил порядка $100 млн.
Алгоритмы: 2 место - visionlabs-003, 7 место - visionlabs-002, VisionLabs , Россия
Алгоритмы: 3 место - morpho-002, 17 место - morpho-000. OT-Morpho , Франция
Первый тяжеловес, в рейтинге с оборотом почти 3 млрд. евро за 2017 год. Совместное предприятие Oberthur Technologies (OT) и Safran Identity & Security (Morpho)
Алгоритмы: 4 место - ntechlab-003, 13 место - ntechlab-002 от NtechLab , Россия
Московская компания, получившая известность как разработчик решения для поиска порно актеров .
Получил инвестиции от «РТ – развитие бизнеса» («дочка» «Ростеха»), и фонда компании VB Partners. Сумма инвестиций не раскрывается. В результате «дочка» «Ростеха», получила 12,5% компании, фонд New Dimension Fund Variable Capital Investment, им управляет VB Partners, – 25% компании. NtechLab планирует выйти на рынок систем национальной безопасности и усилить развитие в коммерческом секторе.
Алгоритм - cogent-000 от Gemalto Cogent , США
Разрабатывает полный спектр биометрических решений с акцентом на правоохранительную деятельность, пограничный контроль и гражданскую идентификацию. Ежегодные глобальные продажи составляют около 205 миллионов долларов.
Алгоритм - vocord-002 от Vocord , Россия
Компания «Вокорд» основана в 1999 году выпускниками МФТИ Дмитрием Заварикиным и Алексеем Кадейшвили. По данным «СПАРК-Интерфакс», в 2014 году выручка компании составила 302 млн рублей, более свежих данных на момент написания статьи получить не удалось.
Алгоритмы: - fdu-000, 9 место - fdu-001. Fudan University , Китай
Алгоритм - neurotechnology-003. Neurotechnology , Литва
С сайта компании можно скачать демо версию программного обеспечения для ПК и для смартфона на Android, демо версию SDK. У компании информативный канал на YouTube. Цены опубликованы на сайте. Так же компания предлагает собственный облачный сервис www.skybiometry.com
Алгоритм - itmo-003. Университет ИТМО , Россия
Алгоритм - 3divi-001. Тридиви (3DiVi Inc.) , Россия
Алгоритм - yitu-000. Yitu Technologies , Китай
Главный продукт Yitu - система распознавания лиц Dragonfly Eye, которую используют государственные системы безопасности в разных городах Китая. В первые три месяца использования системы в Шанхае с помощью Dragonfly Eye задержали 567 нарушителей закона. Система хранит 1,8 миллиарда фотографий, причём в базу попадают фото не только граждан Китая, но и всех туристов, пересекающих границу страны. Систему разворачивают и на массовых событиях: во время фестиваля пива в Циндао камеры помогли задержать 22 разыскиваемых. Власти на местах рапортуют об успехах : в одном городе система Yitu помогла сократить карманные кражи на 30%, в другом - за два года раскрыть 500 преступлений. Каким-то невероятным образом система даже помогла опознать жертву убийства по черепу спустя пять лет после преступления.
Алгоритм - gorilla-000, Gorilla Technology , Тайвань
Алгоритм - cyberextruder-002, CyberExtruder , США
Алгоритм - tongyitrans-002, TongYi Transportation Technology , Китай
Алгоритм - yisheng-001, Zhuhai Yisheng Electronics Technology , Китай

Итого: 5 представителей из России, что не может не радовать, 5 от Китая, что даже не удивляет.

На самом деле производителей алгоритмов распознавания гораздо больше, многих отсутствующих здесь вы можете найти в рейтинге MegaFace. Но если даже составить единый список, он все равно будет не полон. Почти все гиганты IT индустрии разрабатывают собственные алгоритмы распознавания лиц - Facebook, Google (считает свою систему распознавания самой точной), Baidu, Microsoft , Яндекс (тестирует авторизацию водителей по лицу и голосу), Вконтакте, Toshiba и многие другие.

Существуют даже .

Из всего это разнообразия, можно сделать несколько несложных выводов:

Конкуренция на этом рынке будет усиливаться, ее следствием уже стало многократное снижение цен. Для примера - Macroscop еще в 2017 году снизил свои цены модуль распознавания в 18 раз, о чем радостно сообщают на своем же сайте, как бы передавая «большой привет» всем своим клиентам которым посчастливилось купить модуль распознавания до 2017 года.

Очевидно что цены и дальше будут снижаться. Качественные показатели алгоритмов распознавания постоянно растут, и во многих случаях отличаются друг от друга незначительно, значительно же отличается цена, как вы сможете увидеть ниже, еще более значительно отличается быстродействие, естественно такой параметр как быстродействие нужно тестировать на базе данных максимального объема.

Еще нетрудно заметить, что в рейтингах практически нет производителей оборудования для систем видеонаблюдения , а без видеокамер и устройств хранения, вся эта история с алгоритмами лишь игры на компьютере. Но то, что их нет, это не означает что они не видят этого рынка, и не понимают его значимость. Вот - распознавание лиц от Panasonic , от NEC , Amazon и многих других. В общем на этом рынке скоро станет очень жарко. Кроме софтверных решений (это когда непосредственно распознавание происходит на сервере), есть еще Stand Alone решения - это когда распознавание происходит на устройстве считывания.

Программное обеспечение для распознавания лиц для систем видеонаблюдения

Тестирование эффективности алгоритмов распознавания лиц это конечно интересно, как и любое соревнование, но больше похоже на выставку достижений народного хозяйства. Вроде впечатляет, но как конкретно начать использовать и сколько будет стоить непонятно.

Результатом работы алгоритмов для распознавания лиц, будет совпадение или несовпадение с базой эталонов. А далее в зависимости от специфики вашей системы должно произойти заранее запрограммированное действие. Например при входе VIP клиента старший менеджер получает уведомление со всеми данными по клиенту из вашей базы данных.

Или наоборот при входе человека из черного списка, уведомление получает охрана. Или при попытке прохода человека из черного списка через проходную, система контроля доступа блокирует проход - это уже интеграция системы распознавания лиц с системой контроля доступа.

Работа системы распознавания лиц в реальных условиях это целый комплекс программно аппаратного взаимодействия.

Для организации таких взаимодействий существует куча интегрированных платформ, позволяющей настраивать взаимодействия с системами контроля доступа, системами видеонаблюдения, охранными системами, системами пожарной безопасности, CRM системами, системами управления предприятием, и многими другими.

Так если вам не шашечки, а везти, следующие пара разделов для вас просто «Must Have».

Интеграционные платформы - громкое название, к перечисленным ниже разработчикам оно относится в разной степени, поэтому выбирая решения для распознавания лиц необходимо ознакомиться со всеми возможностями софта (платформы). Учитывая как текущие потребности предприятия, так и возможности развития, как качественные характеристики алгоритма распознавания лиц, так возможности интеграции.

Разработчики программного обеспечения для системы распознавания лиц и цены на их модули

ISS , Россия, Программное обеспечение «SecurOS® Face»

Лицензия модуля захвата лиц - цена 41 275 рублей

На канал. Устанавливается на сервере распознавания лиц или на сервере захвата лиц

Лицензия модуля распознавания лиц (до 1000 чел. в базе) - цена 665 760 рублей.
На сервер распознавания лиц.

Сервера для программного обеспечения для целей распознавания лиц

Распознавание лиц как и любая другая видеоаналитика задачи процессорно емкие, поэтому для развертывания даже небольшой системы распознавания лиц вам потребуется достаточно мощные и совсем не дешевые сервера. Характеристики сервера подбираются индивидуально и зависят от множества факторов - от количества каналов распознавания, до предполагаемого размера базы данных лиц эталонов, и длительности хранения видеоархива.

Сервера для программного обеспечения систем распознавания лиц - цена от 101 567 рублей

Выбор серверов не ограничивается представленными в этом каталоге, в большинстве случаев мы собираем сервер в зависимости от заявленных вами требований.

Лучшие IP-камеры для распознавания лиц

Программное обеспечение и сервера, мы рассмотрели выше, но чтобы система заработала, нужны IP-камеры. Именно от качественных характеристик камер будет сильно зависеть, то насколько качественно система будет работать система распознавания лиц.

При выборе IP-камеры для распознавания лиц мы рекомендуем обращать внимание на следующие характеристики.

WDR (Широкий динамический диапазон)

Несмотря на то что последнее время появляются камеры с WDR за 5000 рублей, качество изображения таких камер сильно уступает камерам с из более высокого ценового сегмента. Камеры с лучшим WDR по нашему опыту не может стоить дешевле 80000 рублей.

Частота кадров не менее 60 кадров с секунду

Чем больше частота кадров в секунду тем больше вероятность того что вы получите снимок с наилучшей ориентацией лица человека относительно камеры, что напрямую будет влиять на качество распознавания лиц.

Вариофокальный объектив

Чем больше будет приходится пикселей на лицо человека, тем более будет изображение.

Тесты показали, что для успешного распознавания лица требуется, чтобы лицо было представлено не менее 160 пикселями приходящимися на овал лица, и в идеале не менее 50 пикселей приходилось на расстояние между глазами. Как бы тщательно вы не выбирали месторасположение камеры, чтобы добиться этих значений ее придется подстраивать по месту в зависимости от множества факторов. Именно для этого вам и понадобится вариофокальный объектив.

Камеры видеонаблюдения с установленными рекомендуемыми характеристиками для распознавания лиц - цена от 10 000 рублей

Дальше как говорится, выбор за вами. Если вы строите систему распознавания с нуля, то стоит задуматься о выборе действительно лучших протестированных моделей IP-камер.

Достаточно распространенный и недорогой функционал, как правило он всегда присутствует в основном программном обеспечении для распознавания лиц, но может и приобретаться отдельно. Если вы никогда в жизни не интересовались системами видеонаблюдения. Посмотрите видео там максимально коротко рассказано в чем суть.

ITV , Россия, Программное обеспечение «Интеллект»

Поиск лиц в архиве (за 1 видеоканал) - цена 6 200 рублей

Trassir , Россия, Программное обеспечение «Trassir Face Search»

Модуль поиска определенного лица в архиве Trassir Face Search - цена 36 990 рублей

В том или ином виде данный функционал присутствует у большинства разработчиков, поэтому мы пожалуй не станем растягивать и без того ни короткую статью.

Производители оборудования с интегрированными алгоритмами распознавания лиц

Если раздел выше с разработчиками программного обеспечения это настоящее, т.е. именно там сосредоточены основные решения показывающее максимальную эффективность на данный момент. То этот раздел про будущее которое уже наступает.

В первом случае видеопоток от камеры по сети передается на сервер с установленным софтом, и именно там происходит распознавание лиц, поток от одной IP-камер примерно равен 5 Мбит/с, и этот поток нужно передать по сети на сервер и там обработать. В случае с одной камерой все выглядит приемлемо, а если камер сотни - это проблема которую нужно отдельно решать. Решать ее можно в основном десятками серверов для обработки данных, любая видеоаналитика это процессорно емкая задача. Так что сервера будут немалой статьей расходов.

Гораздо эффективнее произвести распознавание на борту устройства , а по сети передать уже обработанные результаты, что уменьшит нагрузку на сети и сервера на порядки.

Кроме того что такие устройства уже есть, они уже показывают потрясающую эффективность и быстродействие. Все оборудование я бы поделил на две большие группы «Камеры видеонаблюдения со встроенным распознаванием лиц» и «Оборудование для систем контроля доступа со встроенным распознаванием лиц».

Камеры видеонаблюдения со встроенным распознаванием лиц

Умные камеры со встроенными алгоритмами распознавания лиц являются одним из самых передовых в отрасли. Они позволяют обрабатывать видеопоток на непосредственно на самой камере, а на сервер отправлять обработанные метаданные.

2Мп камера iDS-2CD8426G0/F-I c двумя объективами - цена 135 550 рублей

HikVision , Китай, крупнейший китайский производитель систем видеонаблюдения.
Матрица - 1/2.8’’ Progressive Scan CMOS
Чувствительность - Цвет: 0.005 лк @ (F1.2, AGC ВКЛ), 0.0089 лк @ (F1.6, AGC ВКЛ), 0 лк с ИК
Скорость электронного затвора - 1с ~ 1/100000с
Разрешение 2МпАппаратный WDR 120дБ, частота кадров 25к/с@2Мп, слот для microSD до 128Гб, ИК-подсветка до 10м

Камера для распознавания лица, с двумя объективами, представляет собой компактное устройство с алгоритмами глубокого обучения DeepinViewс системой распознавания лиц на борту.

Камера поддерживает несколько кодеков сжатия видео (H.265, H.264, MPEG-4 и MJPEG) и может обрабатывать до пяти видеопотоков. Размер видеокамеры - 180,4 х 147 х 117,9 мм, вес устройства - 1500 грамм. Конструктивно представляет собой двухлинзовую камеру с бинокулярной стереофонической технологией, которая считывает большое количество характеристик лица для более точного распознавания.

Она оснащена объективом с фиксированным фокусным расстоянием 4 мм, угол обзора равен 86°. Камера автоматически захватывает выбирает и выводит оптимальное изображение лица человека.

Выполняет распознавание лиц, мгновенное сравнение захваченных лиц с библиотеками на борту, поддерживается настройка активации тревоги по идентифицированному лицу.

HikVision заявляет о рабочих температурах в диапазоне от -10 °C до 40 °C и уровне влажности до 95 процентов.

Камера автоматически переключается между режимами дневной и ночной съемки. Инфракрасная подсветка действует на расстояние до 10 метров.

Видеорегистратор iDS-96128NXI-I16 с системой распознавания лиц - цена 3 299 990 рублей

Запись видео с разрешением до 12Мп, Вывод видео с разрешением до 4K
128 каналов, Синхронное воспроизведение 4 канала@4К
16 SATA HDD до 10ТБ каждый
1/2 аудио вход/выходов, 16/8 тревожных входов/выходов
Сетевой интерфейс 4 RJ-45 10M/100M/1000M Ethernet

Память видеорегистратора рассчитана на 16 библиотек снимков людей (всего до 100 000 фото)

Видеорегистратор поддерживает Smart-функции по поиску похожих людей, анализу поведения, обнаружения лиц и автомобилей.
Есть возможность работы с тепловизорами, обнаружение огня, морских судов, измерение температуры, ведение статистики камер тепловых карт и подсчета посетителей.
iDS-96128NXI-I16 способен обнаруживать людей на 32 каналах, и моделировать лица со скоростью 64 фото в секунду.

Регистратор имеет интерфейсы 1 RS-232, 1 RS-485, RS-485 для клавиатуры, и по два разъема USB 2.0 и USB 3.0, а так же 16 тревожных входов и 8 выходов.

IDS-96128NXI-I16 поддерживает использование рейд-массивов RAID0, RAID1, RAID5, RAID6 и RAID10.

Камера видеонаблюдения DH-IPC-HF8242F-FR с системой распознавания лиц на борту - цена 100 000 рублей
Dahua Technology , Китай
1/1.9", 2 Мп progressive scan CMOSSmart кодек 265+/H.264+, кодирование в 3х потоках
Starlight, true WDR 120дБ, 3DNR, День/ночь (ICR), AWB, AGC, BLC
Множественный мониторинг сети: веб-просмотрщик, CMS (DSS / PSS) & DMSS
Автоматическая задняя фокусировка (ABF)

Face capture - это программное приложение, которое автоматически захватывает лица из цифрового изображения или видеофрагмента из видеоисточника. Камеры Dahua используют усовершенствованные алгоритмы Deep Learning, что позволяет камере быстро и точно распознавать и сопоставлять лица.

Видеокамера для распознавания лиц DH-IPC-HF8242FP-FR использует технологию Deep Learning, что позволяет эффективно распознавать и сопоставлять лица. Аналитические функции устройства позволяют определять возраст, пол, настроение, наличие или отсутствие маски/очков/бороды или усов.

Видеокамера обладает функцией подсчета людей и генерирует тепловую карту.
Память камеры вмещает до 10 000 лиц, которые могут быть разделены на 5 категорий, что позволяет обеспечить захват и сравнение лиц в реальном времени.

Благодаря Starlight технологии от компании Dahua, камера идеально подходит для работы в сложных условиях c ограниченным освещением.
Ее низкая светочувствительность обеспечивает производительность цветной картинки с минимальным окружающим освещением. Даже в экстремальных условиях низкой освещенности, практически в полной темноте, Starlight технология способна отобразить цветное изображение.

Камера видеонаблюдения IPC2255-Gi4N с системой распознавания лиц на борту - цена 100 000 рублей

Kedacom, Китай
1/1.9" КМОП Starlight матрица, 0.001 лк при цветном изображении 1080@30 к/с в H.265 / H.264 / MJPEG
Распознавание до 18 целей одновременно (образ, лицо)
Аппартный WDR, Адаптированная ИК-подсветка до 100м
2 тревожных входа / 1 выход, Класс защиты IP66, Диапазон температур -40°C +60°C

Видеокамера Axis P1367 со встроенным алгоритмом Ayonix - цена 68 448 рублей

Ayonix, Япония
Матрица 1/2,9” с прогрессивной разверткой
Переменное фокусное расстояние 2,8–8,5 мм
Превосходное качество видеоизображения с разрешением 5 Мп
Технологии Lightfinder и Forensic WDR, Технология Zipstream
Расширенные возможности для анализа изображений

Японский разработчик программного обеспечения для распознавания лиц Ayonix, разработала программное обеспечение для работы на борту камеры Axis P1367.

Благодаря платформе ACAP, сторонние разработчики могут разрабатывать приложения для установки их непосредственно на камеры Axis.

Терминалы для систем учета рабочего времени со встроенным распознаванием лиц

Терминал учета рабочего времени FacePass Pro - цена 23 000 рублей

Anviz , Китай
Объем памяти на 400 пользователей
Время идентификации < 0,1 сек
Расстояние для идентификации пользователя: от 30 см. до 80 см
Процент распознавания: > 99%
Чувствительный 2,8” сенсорный TFT дисплей
Встроенный Web Server для удобства настройки терминала

Две сканирующие камеры обеспечивают максимально точную идентификацию, а высокоскоростной процессор Samsung ARM сводит к минимуму время распознавания лиц сотрудников

На точность и скорость идентификации не влияют даже такие факторы, как: цвет кожи, выражение лица, пол, прическа, а так же наличие или отсутствие на лице растительности.

Anviz FacePass Pro - система учета рабочего времени сотрудников с распознаванием по лицу, бесконтактным RFID картам или паролю.

Сочетание нового алгоритма BioNANO с высокопроизводительной аппаратной частью, гарантирует идентификацию пользователей менее чем за 0,1 (!) секунды.

Уникальная инфракрасная подсветка, обеспечивает стабильную работу устройства как в помещениях с меняющейся освещенностью, так и в полной темноте.
На скорость и качество идентификации не влияют даже такие факторы, как: цвет кожи, выражение лица, пол, прическа, а так же наличие или отсутствие на лице бороды или усов.

Динамическая цифровая клавиатура и чувствительный 2,8” сенсорный TFT дисплей гарантируют комфортную эксплуатацию.

Мультибиометрический терминал учёта рабочего времени ZKTeco Pface202-ID - цена 26 500 рублей

ZKTeco, Китай

Память на 600 шаблонов вен ладони, 1200 лиц (до 3000 при верификации 1:1), 2000 пальцев и 10000 карт
Емкость журнала 100000 на событий
Сенсорный ЖК дисплей 4.3’’
Встроенный считыватель карт Em-Marin

Сетевой биометрический терминал для систем учета рабочего времени и контроля доступа с идентификацией по лицам, венам ладони, отпечаткам пальцев, считывателем RFID-карт и подключением по ethernet.

Мультибиометрический терминал учёта рабочего времени ZKTeco uFace302-ID - цена 27 405 рублей

Память рассчитана на 1 200 шаблонов лиц, 2 000 отпечатков пальцев и 10 000 карт
Журнал событий на 100 000 записей
Высокая скорость распознавания
Интерфейсы TCP/IP, RS232/485, USB Host, Wiegand выход
Выходы для подключения элеткрозамка, датчика состояния двери, кнопки выхода, тревожный выход
Использование аппаратного шифрования для защиты прошивки

Биометрический терминал для учёта рабочего времени и контроля доступа UFace302-ID осуществляет идентификацию по лицу, отпечатку пальца, карте и коду. Face302-ID способен отличить лицо реального человека от фотоизображения. Продвинутый и дружелюбный пользовательский интерфейс обеспечивает 4-дюймовый сенсорный дисплей (Touch Screen).

Биометрический терминал учёта рабочего времени ZKTeco uFace800 - цена 27 405 рублей

Встроенная двойная камера высокого разрешения для сканирования лиц с инфракрасной подсветкой
Память до 3000 лиц, 5000 пальцев, 10000 карт и 100000 событий
Платформа ZMM220_TFT, алгоритмы ZK Face 7.0, ZK Finger 10.0
6 статусов событий при регистрации
Сканер отпечатков пальцев, Встроенный считыватель карт
Интерфейсы TCP/IP, USB Host, WiFi (optional), Wiegand выход

Сетевой биометрический терминал для систем учета рабочего времени и контроля доступа с идентификацией по лицам, сканером отпечатков пальцев, считывателем RFID-карт и подключением по ethernet.
uFace800 поддерживает управление замком, контроль датчика двери, звонок, датчик взлома, подключение кнопки выхода.

Оборудование для систем контроля доступа со встроенным распознаванием лиц

Терминал распознавания лиц FaceStation 2 - цена 80 856 рублей

Suprema , Корея. Крупнейший мировой производитель биометрии, входит в топ 50 крупнейших мировых производителей систем безопасности.
Микропроцессорная система: 1.4 GHz Quard Core, Память: 8 GB Flash + 1 GB RAM
Автономная память на 30 000 пользователей, 5 000 000 событий, 50 000 фото
Быстрая идентификация – сравнение 1:3 000 шаблонов в секунду
Сенсорный дисплей 4" LCD Touchscreen, Подсветка до 25000 лк
Стабильная работа при любом освещении благодаря подсветке 25 000 лк

FaceStation 2 - высокопроизводительная платформа для распознавания лиц. Распознавание лиц может быть использовано как в режиме идентификации так и в режиме верификации. Кроме идентификации по лицу, поддерживается идентификация по смартфону и бесконтактным картам.

Для решения конкретных задач СКУД на реальном объекте пользователь может подобрать различные режимы идентификации (1:N) или верификации (1:1) из широкого перечня, предлагаемого FaceStation 2.
Таким образом, появляется возможность выбрать оптимальное соотношение уровня безопасности и скорости работы в каждом конкретном случае.

В зависимости от выбранного режима в работе будут задействованы различные сочетания биометрических сенсоров, встроенного считывателя Smart карт и сенсорной клавиатуры для ввода PIN кода.
Бесконтактная идентификация по лицу и возможность использования смартфона вместо карты доступа делает FaceStation 2 исключительно удобным для пользователей.

Терминал распознавания лиц высокой производительности, со встроенным мультичастотным считывателем карт (125kHz EM & 13.56Mhz MIFARE, DESFire/EV1, FeliCa, NFC, ISO14443A/B, ISO15693).

Благодаря расширенной области распознавания, установленное согласно инструкции устройство «видит» лица людей ростом от 145 см до 210 см.
Терминал оснащен расширенным функциями безопасности, такими как инфракрасная технология блокировки поддельных лиц и многополосная технология RF-считывания, поддерживающая новейшие стандарты RFID.

Так же имеется модификация терминала FaceStation 2 (модель FS2-AWB) - цена 93 850 рублей , отличающаяся встроенным считывателем MultiCLASS SE (125kHz EM, HID Prox & 13.56Mhz MIFARE, DESFire/EV1, FeliCa, iCLASS SE/SR, NFC, ISO14443A/B, ISO15693).

Ну и конечно решения от наших китайских партнеров, которые не были бы китайскими партнерами, если бы не предлагали современные технологии в 3-4 раза дешевле. Дешевизна безусловно не достигается без последствий, одно из основных отличий это размер базы данных, который у китайцев меньше раз в 5 минимум, ну и скорость и точность тоже немного страдают. Но в принципе это вполне рабочие, локальные решения для малых предприятий.

Устройство мультифакторной биометрической идентификации ZKTeco VF680 - цена 13 410 рублей

ZKTeco® , Китай, крупнейший китайский производитель биометрических, самостоятельно разрабатывает алгоритмы распознавания.
Платформа ZEM810, алгоритм ZK Face 7.0
Встроенная двойная камера высокого разрешения для сканирования лиц с инфракрасной подсветкой
Память на 800 лиц, до 10 000 и 100 000 событий
Скорость верификации не более 1 секунды
Подключение по TCP/IP

VF680 может работать автономно или подключаться к сетевым системам контроля доступа. Терминал оснащен платформой ZEM810, сенсорным экраном 3.0 дюймов и алгоритмом ZK Face 7.0, поддерживающим 800 лиц.
Считыватель может программироваться с встроенной клавиатуры или с помощью программного обеспечения.

Устройство мультифакторной биометрической идентификации ZKTeco MultiBio700id - цена 28 530 рублей

Версия алгоритма: ZK Face v7.0 и ZK Finger v10.0

100 000 событий в журнале
Распознавание не более 1 секунды

Мульти биометрический терминал ZKTeco Multibio700 осуществляет доступ по лицу, отпечатку пальца, бесконтактной карте и коду.
Устройство захватывает относительную позицию, размер, и форму глаз, носа, скул, челюстей и формирует из этих данных биометрический шаблон для последующего сравнения.
Распознавание пользователя проходит точно и быстро в пределах 1 секунды. Инфракрасная подсветка помогает удачно проводить идентификацию в условиях недостаточной освещенности.

Для прямого управления замком терминал может использоваться автономно, или подключаться в роли считывателя в сетевые системы доступа с использованием Wiegand интерфейса.

Биометрический считыватель ZKTeco SpeedFace V5

Процессор Quad-Core A17 1.8Ghz, Память 2G RAM / 16G ROM
Двойная камера: IR камера + Visible Light камера
Работа при освещении 0~40,000Lux
5 дюймовый сенсорный экран
Память на 6 000 ~ 10 000 (1:N) лиц
Скорость верификации менее 1 секунды
Считыватель поддерживает распознавание по лицу, отпечатку пальца и RFID картам EM-Marine или Mifare.

Распознавание лиц Visible light в разы превосходит распознавание лиц IR и дистанция распознавания увеличена до 2 метров, что значительно упрощает ситуацию в час-пик. Нет необходимости долго стоять перед камерой устройства. Пользователь может быстро пройти в нужном направлении рядом с устройством, чтобы лицо попало в поле видимости камеры.

Благодаря использованию CNN и созданию 3D модели лица стало возможным распознавания с разных углов обзора. С применением интеллектуального алгоритма CNN, функция анти-спуффинга эффективно предотвращает проход по маскам, фото и видео.

Биометрический терминал доступа HikVision DS-K1T606M - цена 49 990 рублей

HikVision , Китай
Память на 3 000 шаблонов лиц, 5 000 карт формата Mifare и 100 000 событий в журнале
2 тревожных входа и 1 выход
Интерфейсы связи TCP/IP; Wi-Fi; EHome протокол; RS-485; Wiegand 26/34
Рабочие условия от -20 °C до +50 °C , влажность 10% - 90%
Подходит для уличной установки

Считыватель со встроенным контроллером и алгоритмом распознавания лиц ST-FR040EM - цена 26 824 рублей
Smartec , Россия, зонтичный российский бренд, размещает заказы на куче китайских фабриках и продает в России под единым брендом Smartec.
Версия алгоритма: ZK Face v7.0 и ZK Finger v10.0
Инфракрасная камера высокого разрешения, Сенсорный дисплей 3 дюйма
Объем памяти на 400 шаблонов лиц, 2000 отпечатков пальцев и 1000 бесконтактных карт
Распознавание не более 1 секунды
Встроенный RFID ридер Em-Marine 125kHz

Если вам показалось что он похож на ZKTeco MultiBio700ID , то вы правы для Smartec этот считыватель производит ZKTeco, и это полная копия MultiBio700ID.

Домофон со встроенной системой распознавания лиц DS06M - цена 14 300 рублей

Бевард , Россия
1,3 Мп сенсор SONY Exmor, с чувствительностью 0.01Лк
Эксплуатация в диапазоне температур от -40 до +50°С, класс защиты IP54
Установленная карта microSDHC на 4 ГБ, запись на карту памяти
Двухсторонняя аудиосвязь
Поддержка облачного сервиса Camdrive

Не спешите радоваться низкой цене, база данных максимум на 30 лиц. Но если у вас небольшое предприятие и вы хотите произвести ВАУ эффект на ваших посетителей - это то, что может подойти.

К слову, системой распознавания лиц, может быть оборудован любой IP домофон , желательно с нормальной IP камерой.
И даже больше, IP домофон устанавливается именно на уровне лица или чуть ниже, что идеально подходит для качественного распознавания лиц.

Тот же домофон Бевард, но подключенный к системе распознавания лиц Макроскоп, в данном случае программное обеспечение Макроскоп устанавливается на сервер . В такой конфигурации размер базы данных ограничен только, простите, вашими финансовыми возможностями.

Очки с системой распознавания лиц уже использует полиция города Чжэнчжоу

LLVision Technology , Китай

Подключенные к базе данных полиции, очки выдают имя и адрес человека за 2-3 минуты. За полторы недели с помощью очков на железнодорожном вокзале в Чжэнчжоу было задержано семь человек числящихся в розыске, и 26 с поддельными ID-картами .

Кроме хакеров, есть еще вездесущий товарищ майор, который к биометрическим данным проявляет не меньший интерес. WikiLeaks опубликовала сообщение (url предусмотрительно заблокирована РосКомНадзором) о возможной краже базы данных Aadhaar ЦРУ, с помощью оборудования которое используется для сканирования отпечатков пальцев и радужной оболочки глаза от компании Cross Match (Запомните эту американскую компанию она до сих пор активно продвигает свое оборудование, в том числе на международных рынках)

Естественно Aadhaar сам предоставляет доступ коммерческим компаниям, например компания Microsoft использует Aadhaar для подтверждения личности пользователей специальной версии Skype для Индии.

В предоставлении доступа коммерческим компаниям к государственным базам биометрических данных есть большой смысл. Как правило сами биометрические данные не передаются, передаются лишь результат идентификации. Кроме того что эти услуги платные, именно на эти поступления создаются и обслуживаются государственные биметрические базы данных.

Свой Aadhaar появился и в России, очевидно что российская базе данных вряд ли удастся избежать, всех тех проблем через которые прошла Aadhaar.

Доступ к российской базе данных планируется предоставлять банкам.

Есть и примеры другого подхода, Бельгия первая страна запретившая использование систем распознавания лиц коммерческими организациями.

Базы данных при надлежащие коммерческим компаниям
Государство даже обладая монополией на принудительный сбор данных, как правило не является самым эффективным их собирателем.

Поэтому мы имеем гигантское количество коммерческих баз данных биометрической информации. Крупнейшие - База данных Вконтакте (более 97 000 000 человек ежемесячно пользуются ВКонтакте), именно ей например пользуется NtechLab для своего сайта FindFace , также большой базой данных обладает Facebook и другие социальные сети и сайты знакомств.

Коммерческие базы данных для того и создаются что за скромные деньги их могли использовать другие коммерческие компании.

Например Битрикс24 в своих продуктах Face-трекер, Face-карт для 1С, Bitrix24.Time и визит-трекер использует базу данных вконтакте.

Лучшая база данных
У всех выше перечисленных баз данных, есть один существенный недостаток, они не имеют никакого отношения к вашему бизнесу. И содержат лишь определенные наборы данных, зачастую крайне полезные наборы, но без учета специфики вашего бизнеса, применение их сильно ограничено.

Одним из самых важных показателей качества вашей базы данных - будет качество изображений лица, эталонов.
Самые важные показатели качества базы данных эталонных изображений:
Количество пикселей
Контраст и прорисовка деталей лица
Фон, на котором находится основная часть лица
Отсутствие мешающих деталей на области лица и т. д.

Важно при этом еще и соблюдать более или менее одинаковые условия получения образов лиц (освещенность, размер самого лица на фоне всего образа).

Эти показатели важно учесть еще на этапе проектирования системы в целом, отдельно уделяя большое внимание системе получения распознанных лиц эталонов.
Начните создавать вашу базу данных уже сегодня!

Использование биометрических баз данных
Многие проявляют разумные опасения как по использованию биометрических данных государством так и еще большие опасения по поводу использования этих данных коммерческими структурами.

И действительно эти опасения не лишены смысла, но они не должны останавливать внедрение технологии. В нашем недалеком будущем именно наша биологическая идентичность позволит отличить человека от искусственного интеллекта .

Скрин с данными о количестве ботов и реальных людей посещающих веб сайты, исследование проведено компанией Imperva Incapsula

Даже на данный момент количество ботов и реальных людей посещающих сайты примерно одинаково. С развитием интернета вещей и искусственного интеллекта количество ботов будет расти в математической прогрессии как и их возможности, уже существуют решения способные позвонить от вашего имени например в парикмахерскую или пиццерию.

Области применения систем распознавания лиц

Специфика применения технологии распознавания лиц отличается разной критичностью к ошибкам в зависимости от сферы применения.

Системы контроля доступа

Одно из наилучших применений систем распознавания лиц на данный момент именно в системах контроля доступа. Во первых сотрудник сам заинтересован в предоставлении ему доступа и не будет сознательно саботировать работу системы распознавания лиц. Во вторых вы контролируете, все внешние факторы влияющие на качество распознавания - освещение, фон, схема движения сотрудников. Использую все это вы можете создать идеальные условия.

Системы распознавания лиц могут использоваться в системах контроля доступа в двух режимах:

Режим идентификации - решение о допуске принимается на основе только данных от системы распознавания лиц. То есть, например база данных из ваших сотрудников 100 человек, и задача системы распознавания сравнить лицо текущего человека с базой данных в 100 человек. То есть сравнение происходит 100:1. Если человек будет идентифицирован как сотрудник, то ему будет предоставлен доступ.

Терминалы распознавания лиц от HikVision

Данный режим, эффективнее всего использовать в задачах обнаружения посторонних на контролируемой территории. Как правило есть смысл использовать в особо охраняемых зонах предприятия, куда доступ разрешен ограниченному кругу лиц. К системе распознавания подключаются все камеры установленные на данной территории в случае обнаружения любого лица, которое не содержится в базе данных происходит информирование службы безопасности.

Режим верификации - идентификация в данном случае проводится с помощью другой технологии, например RFID (если вы консерватор), или может использоваться мобильные идентификаторы, или отпечатки пальца или венозный рисунок руки или пальца , если вы сечете куда ветер дует в современных тенденциях СКУД, и не хотите выкидывать деньги на ветер.

Человек подносит карту к считывателю система его идентифицирует, то есть устанавливает что это Иванов, и Иванову разрешен доступ в данное время. Система распознавания лиц в данном случае уже знает, что это Иванов, и используя только фото Иванова из базы данных сравнивает, предъявителя RFID карты с фотографией Иванова в базе данных. То есть сравнение происходит 1:1.

В режиме верификации работает вообще идеально, так как задача верификации очень простая даже для средних по качеству систем распознавания лиц.

Данный режим целесообразно использовать на любых проходных - бизнес центры, производственные предприятия, институты, школы.

Задача системы распознавания лиц - верифицировать держателя карты. Обычно эту задачу выполняет охранник или вахтер . И это не лучшая идея, если только вы не фольклорист, и не преследуете цели составить «энциклопедию современной культуры»

У охранника на мониторе отображается фото человека при поднесении бесконтактной карты к считывателю, задача охранника сравнить фото и предъявителя карты (по науке это называется верификация). Охранником выполняется эта работа плохо - как и любая другая однообразная, рутинная, повторяющаяся работа.

Система распознавания лиц не только гораздо эффективней выполнит эту работу, но и еще предотвратить злоупотребления со стороны охраны.

Распознавание лиц в транспорте

В транспорте распознавание лиц может применяться для нескольких целей:

Поиск пропавших людей
Поиск преступников находящихся в розыске
Извлечение демографической информации людей для лучшего обслуживания
Измерение удовлетворенности людей от их лиц
Подсчет количества пассажиров, использующих общественный транспорт

Данные о количестве пассажиров поступающие в режиме онлайн помогут быстрее, более гибко и эффективно управлять сетями общественного городского транспорта.

Также подсчет количества пассажиров при сопоставлении этих данных с количеством оплат, позволит устанавливать нарушения правил оплаты проезда.

Идентификация по лицу для целей оплаты проезда

Распознавание лица для целей оплаты проезда может на данный момент вестись в режиме верификации, и позволит избегать несанкционированного использования многоразовых проездных билетов, например использованию одного проездного абонемента несколькими лицами.

Использование распознанного лица как единственного идентификатора пассажира для автоматизированной оплаты проезда, на данном уровне развития технологий представляется возможным только в небольших корпоративных транспортных сетях, и никак не подойдет для массового общественного городского транспорта.

Учет рабочего времени

Еще недавно учет рабочего времени без использования преграждающих устройств, было недостижимой мечтой. Сегодня это реальность.
Учет рабочего времени это конечно одна из функций системы контроля доступа, но учет рабочего времени может вестись и отдельно, только с помощью систем распознавания лиц.

Одно из основных преимуществ, использования систем распознавания лиц для учета отработанного времени - это отсутствие требований к чистоте лица. В пределах разумного конечно - смотрите раздел «Саботаж».

Также преимуществами учета рабочего времени с помощью системы распознавания лиц будут:

Отсутствие преграждающих устройств, что конечно повышает комфортность
Возможность использовать учет рабочего времени скрытно, без информирования сотрудников

Учет рабочего времени всего лишь одна из метрик, и вообщем то сама по себе в отрыве от других данных по работе предприятия, мало, что говорящая. Но обладая всем объемом знаний она отлично встраивается в анализ эффективности работы компании.

Особенно внимательно стоит следить за посещаемости в кризис, на это нам сам PricewaterhouseCoopers прямо указывает . Не будете следить за посещаемостью получите 2 дополнительных дня отсутствия на работе, о которых вы не узнаете, но которые вы оплатите. Что в 1,3 раза увеличит ваши финансовые потери от отсутствия сотрудников на рабочем месте.

Распознавание лиц для целей учета рабочего может быть реализовано в двух видах.

Сервер + софт + хорошие IP-камеры и все это за много денег. Царский вариант - когда учет рабочего времени может вестись без информирования сотрудников.

Специализированные терминалы - это тот вариант когда сотруднику нужно подойти к терминалу, тем самым пройдя процедуру идентификации. Это работает только если вы объявили о том, что любому, кто не отметится в устройстве распознавания лиц - рабочий день оплачен не будет. Это простая административная мера как по волшебству сокращает количество ошибок FAR и FRR до абсолютного нуля.

Распознавание лиц в толпе

Говоря о системе распознавания лиц, как правило наше воображение рисует именно сценарии идентификации преступников на улицах города. Эта самая желанная самая востребованная, и самая сложная на данный момент задача.

Поиск пропавших людей в Китае с помощью системы распознавания лиц

Сложности
Неравномерное освещение (день, ночь, светящее солнце, все это разные условия которые будут сильно влиять на процент распознавания лиц)
Большое количество людей в кадре

Плюсы
Эффект неожиданности
Распознавание лиц хоть и перспективная технология о которой очень много пишут, но пишут в специализированных «гиковских» изданиях. Следовательно количество людей которые вкурсе - микроскопическое, в масштабе общего количество населения. Большинство преступников просто не будут совершать действия препятствующие идентификации.

Сеть покрытия
Камер видеонаблюдения в большинстве больших городов очень много. Именно этот аспект будет вносить свою коррективу в работу системы распознавания лиц. Например в Великобритании человек за день попадает в объектив видеокамеры около 300 раз. И это не рекорд, и не предел при текущей низкой стоимости IP-камер.

Определение возраста

От задач безопасности переходим к задачам маркетинга. Когда говорят об присоединении отрасли «Систем безопасности» к большой отрасли IT имеют ввиду именно это - с помощью оборудования которое раньше считалось способным решать только проблемы безопасности. Сегодня решаю гигантский спектр разных задач, не имеющих отношения к «Системам безопасности» как таковым.

Возрастной состав посетителей бесценная информация для любого маркетолога, и если верить нашему министру здравоохранения, которая заявила , что средняя продолжительность жизни может вырасти до 120 лет, правда госпожа Скворцова не уточнила в какой стране это произойдет, что очевидно выдает в ней умного человека. (я лично верю, что в России), так или иначе актуальность задачи определения возраста точно будет возрастать.

Онлайн сервисы для определения возраста
Насколько точным будет определение возраста, вы можете протестировать на нескольких онлайн сервисах. Загружайте свои фото и тестируйте.

Для целей определения возраста вам подойдет:

Программное обеспечение для распознавания лиц www.axis.com/products/axis-demographic-identifier/

Определение пола

Если вы не собираетесь анализировать пол участников Евровидения, для современных систем распознавания лиц это достаточно простая задача.

Не нужно быть великим маркетологом, чтобы понимать, что разный гендерный состав ваших покупателей требует разной маркетинговой, рекламной, PR и любых других стратегий связанных с взаимодействием с клиентами.

Сети кинотеатров «Синема парк» и «Формула кино» уже запустили сбор возраста и пола своих посетителей.

Насколько точным будет определение пола вы можете протестировать по уже знакомым вам онлайн сервисам. Загружайте свои фото и тестируйте.

www.skybiometry.com/demo/face-detect/
www.how-old.net

Для целей определения возраста вы можете использовать:
Программное обеспечение для распознавания лиц, во многих случаях это одна из его функций.

Готовые решения от Axis, HikVision - Смарт видеорегистратор + IP-камеры

Швеция
AXIS Demographic Identifier
https://www.axis.com/products/axis-demographic-identifier/

Подсчет уникальных посетителей

Классическую задачу подсчета количества посетителей, всегда решали инфракрасными или лазерными датчиками, которые просто показывают количество пересечений виртуальной линии. Например тележка будет давать отдельное пересечение, пользы от них, как от показателя средней температуры по больнице .

Есть современные комплексы видеоаналитики, как правило совмещенные с дополнительными датчиками. Они уже умеют считать конкретно людей, но вас же охранник, или местный городской сумасшедший, 50 раз прошедший туда - обратно, может свести данные практически к полной бесполезности.

Впервые, благодаря современным системам распознавания лиц маркетологи могут получать по настоящему полезные данные - количество уникальных посетителей . А в купе с показателями пола и возраста - это Яндекс метрика для вашего магазина.

Trassir Face Analytics модуль анализа лиц - цена 36 990 рублей
Интеллектуальный модуль анализа лиц. Функционал:
1. подсчёт уникальных лиц
2. демографический анализ лиц (пол, возраст)
3. идентификация расы
4. распознавание атрибутов лица (очки, головной убор, усы, цвет волос). Стоимость за обработку 1 видеоканала.

Скоро в нашем блоге выйдет статья с обзором современный систем видеаналитики для магазинов, это будет бомба, подписывайтесь чтобы не пропустить - мы доступны на всех платформах -

Взять кредит, оформить визу, да и просто запустить смартфон последней модели — сделать все это сегодня невозможно без участия алгоритмов распознавания лиц. Они помогают полицейским в расследованиях, музыкантам — на сцене, но понемногу превращаются во всевидящее око, следящее за всеми нашими действиями онлайн и офлайн.

Алгоритмы (технологии)

Определить человека по фото с точки зрения компьютера означает две очень разные задачи: во‑первых, найти лицо на снимке (если оно там есть), во‑вторых, вычленить из изображения те особенности, которые отличают этого человека от других людей из базы данных.

1. Найти

Попытки научить компьютер находить лицо на фотографиях проводились еще с начала 1970-х годов. Было испробовано множество подходов, но важнейший прорыв произошел существенно позднее — с созданием в 2001 году Полом Виолой и Майклом Джонсом метода каскадного бустинга, то есть цепочки слабых классификаторов. Хотя сейчас есть и более хитрые алгоритмы, можно поспорить, что и в вашем сотовом телефоне, и в фотоаппарате работает именно старый добрый Виола — Джонс. Все дело в замечательной быстроте и надежности: даже в далеком 2001 году средний компьютер с помощью этого метода мог обрабатывать по 15 снимков в секунду. Сегодня эффективность алгоритма удовлетворяет всем разумным требованиям. Главное, что нужно знать об этом методе, — он устроен удивительно просто. Вы даже не поверите насколько.

Шаг1. Убираем цвет и превращаем изображение в матрицу яркости.
Шаг 2. Накладываем на нее одну из квадратных масок — они называются признаками Хаара. Проходимся с ней по всему изображению, меняя положение и размер.
Шаг 3. Складываем цифровые значения яркости из тех ячеек матрицы, которые попали под белую часть маски, и вычитаем из них те значения, что попали под черную часть. Если хотя бы в одном из случаев разность белых и черных областей оказалась выше определенного порога, берем эту область изображения в дальнейшую работу. Если нет — забываем про нее, здесь лица нет.
Шаг 4. Повторяем с шага 2 уже с новой маской — но только в той области изображения, которая прошла первое испытание.

Почему это работает? Посмотрите на признак . Почти на всех фотографиях область глаз всегда немного темнее области непосредственно ниже. Посмотрите на признак : светлая область посередине соответствует переносице, расположенной между темными глазами. На первый взгляд черно-белые маски совсем не похожи на лица, но при всей своей примитивности они имеют высокую обобщающую силу.

Почему так быстро? В описанном алгоритме не отмечен один важный момент. Чтобы вычесть яркость одной части изображения из другой, понадобилось бы складывать яркость каждого пикселя, а их может быть много. Поэтому на самом деле перед наложением маски матрица переводится в интегральное представление: значения в матрице яркости заранее складываются таким образом, чтобы интегральную яркость прямоугольника можно было получить сложением всего четырех чисел.

Как собрать каскад? Хотя каждый этап наложения маски дает очень большую ошибку (реальная точность ненамного превышает 50%), сила алгоритма — в каскадной организации процесса. Это позволяет быстро выкидывать из анализа области, где лица точно нет, и тратить усилия только на те области, которые могут дать результат. Такой принцип сборки слабых классификаторов в последовательности называется бустингом (подробнее о нем можно прочитать в октябрьском номере «ПМ» или ). Общий принцип такой: даже большие ошибки, будучи перемножены друг на друга, станут невелики.

2. Упростить

Найти особенности лица, которые позволили бы идентифицировать его владельца, означает свести реальность к формуле. Речь идет об упрощении, причем весьма радикальном. Например, различных комбинаций пикселей даже на миниатюрном фото 64 x 64 пикселя может быть огромное количество — (2 8) 64 x 64 = 2 32768 штук. При этом для того, чтобы пронумеровать каждого из 7,6 млрд людей на Земле, хватило бы всего 33 бита. Переходя от одной цифры к другой, нужно выкинуть весь посторонний шум, но сохранить важнейшие индивидуальные особенности. Специалисты по статистике, хорошо знакомые с такими задачами, разработали множество инструментов упрощения данных. Например, метод главных компонент, который и заложил основу идентификации лиц. Впрочем, в последнее время сверточные нейросети оставили старые методы далеко позади. Их строение довольно своеобразно, но, по сути, это тоже метод упрощения: его задача — свести конкретное изображение к набору особенностей.

Накладываем на изображение маску фиксированного размера (правильно она называется ядром свертки), перемножаем яркость каждого пикселя изображения на значения яркости в маске. Находим среднее значение для всех пикселей в «окошке» и записываем его в одну ячейку следующего уровня.

Сдвигаем маску на фиксированный шаг, снова перемножаем и снова записываем среднее в карту признаков.

Пройдясь по всему изображению с одной маской, повторяем с другой — получаем новую карту признаков.

Уменьшаем размер наших карт: берем несколько соседних пикселей (например, квадрат 2x2 или 3x3) и переносим на следующий уровень только одно максимальное значение. То же самое проводим для карт, полученных со всеми другими масками.

В целях математической гигиены заменяем все отрицательные значения нулями. Повторяем с шага 2 столько раз, сколько мы хотим получить слоев в нейросети.

Из последней карты признаков собираем не сверточную, а полносвязную нейросеть: превращаем все ячейки последнего уровня в нейроны, которые с определенным весом влияют на нейроны следующего слоя. Последний шаг. В сетях, обученных классифицировать объекты (отличать на фото кошек от собак и пр.), здесь находится выходной слой, то есть список вероятностей обнаружения того или иного ответа. В случае с лицами вместо конкретного ответа мы получаем короткий набор самых важных особенностей лица. Например, в Google FaceNet это 128 абстрактных числовых параметров.

3. Опознать

Самый последний этап, собственно идентификация, — самый простой и даже тривиальный шаг. Он сводится к тому, чтобы оценить похожесть полученного списка признаков на те, что уже есть в базе данных. На математическом жаргоне это означает найти в пространстве признаков расстояние от данного вектора до ближайшей области известных лиц. Точно так же можно решить и другую задачу — найти похожих друг на друга людей.

Почему это работает? Сверточная нейросеть «заточена» на то, чтобы вытаскивать из изображения самые характерные черты, причем делать это автоматически и на разных уровнях абстракции. Если первые уровни обычно реагируют на простые паттерны вроде штриховки, градиента, четких границ и т. д. , то с каждым новым уровнем сложность признаков возрастает. Маски, которые нейросеть примеряет на высоких уровнях, часто действительно напоминают человеческие лица или их фрагменты. Кроме того, в отличие от метода главных компонент, нейросети комбинируют признаки нелинейным (и неожиданным) образом.

Откуда берутся маски? В отличие от тех масок, что используются в алгоритме Виолы — Джонса, нейросети обходятся без помощи человека и находят маски в процессе обучения. Для этого нужно иметь большую обучающую выборку, в которой имелись бы снимки самых разных лиц на самом разном фоне. Что касается того результирующего набора особенностей, которые выдает нейросеть, то он формируется по методу троек. Тройки — это наборы изображений, в которых первые два представляют собой фотографию одного и того же человека, а третье — снимок другого. Нейросеть учится находить такие признаки, которые максимально сближают первые изображения между собой и при этом исключают третье.

Чья нейросеть лучше? Идентификация лиц давно уже вышла из академии в большой бизнес. И здесь, как и в любом бизнесе, производители стремятся доказать, что именно их алгоритмы лучше, хотя не всегда приводят данные открытого тестирования. Например, по информации конкурса MegaFace, в настоящее время лучшую точность показывает российский алгоритм deepVo V3 компании «Вокорд» с результатом в 92%. Гугловский FaceNet v8 в этом же конкурсе показывает всего 70%, а DeepFace от Facebook с заявленной точностью в 97% в конкурсе вовсе не участвовал. Интерпретировать такие цифры нужно с осторожностью, но уже сейчас понятно, что лучшие алгоритмы почти достигли человеческой точности распознавания лиц.

Живой грим (искусство)

Зимой 2016 года на 58-й ежегодной церемонии вручения наград «Грэмми» Леди Гага исполнила трибьют умершему незадолго до того Дэвиду Боуи. Во время выступления по ее лицу растеклась живая лава, оставив на лбу и щеке узнаваемый всеми поклонниками Боуи знак — оранжевую молнию. Эффект движущегося грима создавала видеопроекция: компьютер отслеживал движения певицы в режиме реального времени и проецировал на лицо картины, учитывая его форму и положение. В Сети легко найти видеоролик, на котором заметно, что проекция еще несовершенна и при резких движениях слегка запаздывает.

Технологию видеомаппинга лиц Omote Нобумичи Асаи развивает с 2014 года и уже с 2015-го активно демонстрирует по всему миру, собрав приличный список наград. Основанная им компания WOW Inc. стала партнером Intel и получила хороший стимул для развития, а сотрудничество с Ишикавой Ватанабе из Токийского университета позволило ускорить проекцию. Впрочем, основное происходит в компьютере, и похожие решения используют многие разработчики приложений, позволяющих накладывать на лицо маски, будь то шлем солдата Империи или грим «под Дэвида Боуи».

Александр Ханин, основатель и генеральный директор VisionLabs

«Подобной системе не нужен мощный компьютер, наложение масок может производиться даже на мобильных устройствах. Система способна работать прямо на смартфоне, без отправки данных в облако или на сервер».

«Эта задача называется трекингом точек на лице. Есть много подобных решений и в открытом доступе, но профессиональные проекты отличаются скоростью и фотореалистичностью, — рассказал нам глава компании VisionLabs Александр Ханин. — Самое сложное при этом состоит в определении положения точек с учетом мимики и индивидуальной формы лица или в экстремальных условиях: при сильных поворотах головы, недостаточной освещенности и большой засветке». Чтобы научить систему находить точки, нейронную сеть обучают — сначала вручную, скрупулезно размечая фотографию за фотографией. «На входе это картинка, а на выходе — размеченный набор точек, — поясняет Александр. — Дальше уже запускается детектор, определяется лицо, строится его трехмерная модель, на которую накладывается маска. Нанесение маркеров осуществляется на каждый кадр потока в режиме реального времени».

Примерно так и работает изобретение Нобумичи Асаи. Предварительно японский инженер сканирует головы своих моделей, получая точные трехмерные прототипы и готовя видеоряд с учетом формы лица. Задачу облегчают и небольшие маркеры-отражатели, которые клеят на исполнителя перед выходом на сцену. Пять инфракрасных камер следят за их движениями, передавая данные трекинга на компьютер. Дальше все происходит так, как нам рассказали в VisionLabs: лицо детектируется, строится трехмерная модель, и в дело вступает проектор Ишикавы Ватанабе.

Устройство DynaFlash было представлено им в 2015 году: это высокоскоростной проектор, способный отслеживать и компенсировать движения плоскости, на которой отображается картинка. Экран можно наклонить, но изображение не исказится и будет транслироваться с частотой до тысячи 8-битных кадров в секунду: запаздывание не превышает незаметных глазу трех миллисекунд. Для Асаи такой проектор оказался находкой, живой грим стал работать действительно в режиме реального времени. На ролике, записанном в 2017 году для популярного в Японии дуэта Inori, отставания уже совсем не видно. Лица танцовщиц превращаются то в живые черепа, то в плачущие маски. Это смотрится свежо и привлекает внимание — но технология уже быстро входит в моду. Скоро бабочка, севшая на щеку ведущей прогноза погоды, или исполнители, каждый раз на сцене меняющие внешность, наверняка станут самым обычным делом.

Фейс-хакинг (активизм)

Механика учит, что каждое действие создает противодействие, и быстрое развитие систем наблюдения и идентификации личности не исключение. Сегодня нейросети позволяют сопоставить случайную смазанную фотографию с улицы со снимками, загруженными в аккаунты социальных сетей и за секунды выяснить личность прохожего. В то же время художники, активисты и специалисты по машинному зрению создают средства, способные вернуть людям приватность, личное пространство, которое сокращается с такой головокружительной скоростью.

Помешать идентификации можно на разных этапах работы алгоритмов. Как правило, атакам подвергаются первые шаги процесса распознавания — обнаружение фигур и лиц на изображении. Как военный камуфляж обманывает наше зрение, скрывая объект, нарушая его геометрические пропорции и силуэт, так и машинное зрение стараются запутать цветными контрастными пятнами, которые искажают важные для него параметры: овал лица, расположение глаз, рта и т. д. По счастью, компьютерное зрение пока не столь совершенно, как наше, что оставляет большую свободу в выборе расцветок и форм такого «камуфляжа».

Розовые и фиолетовые, желтые и синие тона доминируют в линейке одежды HyperFace, первые образцы которой дизайнер Адам Харви и стартап Hyphen Labs представили в январе 2017 года. Пиксельные паттерны предоставляют машинному зрению идеальную — с ее точки зрения — картинку человеческого лица, на которую компьютер ловится, как на ложную цель. Несколько месяцев спустя московский программист Григорий Бакунов и его коллеги даже разработали специальное приложение, которое генерирует варианты макияжа, мешающего работе систем идентификации. И хотя авторы, подумав, решили не выкладывать программу в открытый доступ, тот же Адам Харви предлагает несколько готовых вариантов.

Человек в маске или со странным гримом на лице, может, и будет незаметен для компьютерных систем, но другие люди наверняка обратят на него внимание. Однако появляются способы сделать и наоборот. Ведь с точки зрения нейросети изображение не содержит образов в обычном для нас понимании; для нее картинка — это набор чисел и коэффициентов. Поэтому совершенно различные предметы могут выглядеть для нее чем-то вполне сходным. Зная эти нюансы работы ИИ, можно вести более тонкую атаку и подправлять изображение лишь слегка — так, что человеку перемены будут почти незаметны, зато машинное зрение обманется полностью. В ноябре 2017 года исследователи показали, как небольшие изменения в окраске черепахи или бейсбольного мяча заставляют систему Google InceptionV3 уверенно видеть вместо них ружье или чашку эспрессо. А Махмуд Шариф и его коллеги из Университета Карнеги — Меллон спроектировали пятнистый узор для оправы очков: на восприятие лица окружающими он почти не влияет, а вот компьютерная идентификация средствами Face++ уверенно путает его с лицом человека, «под которого» спроектирован паттерн на оправе.

Вы поднимаетесь по лестнице и заходите в лифт. Он знает, на какой этаж вам нужно. Двери в квартиру сами открываются перед вами. Компьютер и телефон «узнают» вас и не требуют ввода пароля.

На первый взгляд может показаться, что любая организация, которая может себе такое позволить, следит за каждым вашим шагом, собирает на вас досье. Но вы даже не представляете, как широко технологии распознавания лиц распространились по миру и какие мощные перспективы обещают. Помимо выше приведенных примеров, системы распознавания лиц позволяют делать и такие простые и сложные вещи:

подтверждение личности студента во время онлайн-экзаменов;
определение людей из «черного списка» на входе на стадионы и ночные клубы;
оплата товаров;
сохранение вашего места в очереди при посещении парка аттракционов;
разблокировка телефона или компьютера.

Что говорить, если в одной только Москве уже работает сеть из более 150 000 камер наружного видеонаблюдения. От них никуда не скрыться, и это заставляет людей задумываться, но масштабы «слежки» не настолько велики. Сеть использует мощную систему распознавания лиц, но для ее работы необходимо много энергии, поэтому в режиме реального времени работают всего 2-4 тысячи камер. Массовым слежением за населением пока только пугают, поэтому стоит сосредоточиться на реальных плюсах работы данной технологии. Но обо всем по порядку.

Как работает система распознавания лиц?

Никогда не задумывались о том, как вы сами узнаете лицо, распознаете его? А как это делает компьютер? Конечно, у человеческих лиц есть определенные свойства, которые легко описать. Расстояние между глазами, положение и ширина носа, форма надбровных дуг и подбородка - все эти детали вы подмечаете бессознательно, когда смотрите на другого человека. Компьютер же делает все это с определенной эффективностью и точностью, потому что, совмещая все эти метрики, получает математическую формулу человеческого лица.

Итак, насколько хорошо работает система распознавания лиц в настоящее время? Вполне неплохо, но иногда ошибается. Если вы когда-нибудь сталкивались с ПО, распознающим лица на Facebook или на другой платформе, вы наверняка замечали, что забавных результатов бывает столько же, сколько и точных. И все же, хотя технология работает не со 100-процентной точностью, она достаточно хороша, чтобы найти широкое применение. И даже заставить понервничать.

Пол Хоуи из NEC говорит, что их система распознавания лиц сканирует лица на предмет индивидуальных идентификаторов:

«К примеру, многие считают расстояние между глазами уникальной характеристикой. Или же это может быть расстояние от подбородка до лба и другие компоненты. Мы, в частности, учитываем 15-20 факторов, которые считаются важными, а также другие факторы, уже не настолько значимые. Создается трехмерное изображение головы человека, поэтому даже если она частично будет закрыта, мы все равно сможем получить точное соответствие. Затем система берет сигнатуру лица и пропускает ее через базу данных».

Стоит ли переживать о программах, распознающих лица?

Прежде всего, распознавание лиц - это данные. Данные можно собирать и хранить, зачастую без разрешения. Как только информация собрана и сохранена, она открыта и для взлома. Платформы с ПО, распознающим лица, пока не подвергались серьезным взломам, но по мере распространения технологий ваши биометрические данные оказываются в руках все большего числа людей.

Существуют также вопросы владения. Большинство людей не знают, что когда они регистрируются в социальных медиаплатформах вроде Facebook, их данные с этого момента принадлежат этой самой Facebook. Поскольку число компаний, использующих распознавание лиц, постоянно растет, очень скоро даже не придется загружать собственные фотографии в Интернет, чтобы оказаться скомпрометированным. Они уже там хранятся, и хранятся давно.

Говоря о программном обеспечении, все они работают по-разному, но в основе своей используют похожие методы и нейросети. У каждого лица есть множество отличительных признаков (в мире невозможно найти два идентичных лица, а ведь сколько их было за всю историю человечества!). К примеру, программное обеспечение FaceIt определяет эти признаки как узловые точки. Каждое лицо содержит примерно 80 узловых точек, схожих с теми, что мы упоминали прежде: расстояние между глазами, ширина носа, глубина глазных впадин, форма подбородка, длина челюсти. Эти точки измеряются и создают числовой код - «отпечаток лица» - который затем попадает в базу данных.

В прошлом распознавание лиц опиралось на двумерные снимки для сравнения или идентификации других двумерных снимков из базы данных. Для пущей эффективности и точности изображение должно было быть лицом, прямо смотрящим в камеру, с небольшой дисперсией света и без особого выражения лица. Конечно, работало это чертовски плохо.

В большинстве случаев снимки не создавались в подходящей среде. Даже небольшая игра света могла снизить эффективность системы, что приводило к высоким показателям отказа.

На смену 2D пришло 3D-распознавание. Эта недавно появившаяся тенденция в программном обеспечении использует 3D-модель, обеспечивающую высокую точность распознавания лица. Запечатлевая трехмерное изображение поверхности лица человека в реальном времени, ПО выделяет отличительные черты - где больше всего выдаются жесткие ткани и кость, например, кривые глазного гнезда, носа и подбородка - для идентификации субъекта. Эти области уникальны и не меняются со временем.

Используя глубину и ось измерения, на которые не влияет освещение, система трехмерного распознавания лиц может даже использоваться в темноте и распознавать объекты под разными углами (даже в профиль). Подобное программное обеспечение проходит через несколько этапов, идентифицируя человека:

Обнаружение: получение снимка при помощи цифрового сканирования существующей фотографии (2D) или видео для получения живой картинки субъекта (3D).
Центровка: определив лицо, система отмечает положение головы, размер и позу.
Измерение: система измеряет кривые на лице с точностью до миллиметра и создает шаблон.
Репрезентация: система переводит шаблон в уникальный код. Этот код задает каждому шаблону набор чисел, представляющих особенности и черты лица.
Сопоставление: если снимок в 3D и база данных содержит трехмерные изображения, сопоставление пройдет без изменений снимка. Но если же база данных состоит из двумерных снимков, трехмерное изображение раскладывается на разные составляющие (словно сделанные под разными углами двумерные снимки одних и тех же черт лица), и они конвертируются в 2D-изображения. И затем находится соответствие в базе данных.
Верификация или идентификация: в процессе верификации снимок сравнивается только с одним снимков в базе данных (1:1). Если целью же стоит идентификация, снимок сравнивается со всеми снимками в базе данных, что приводит к ряду возможных совпадений (1:N). Применяется тот или иной другой метод по необходимости.

Где используются системы распознавания лиц?

В прошлом системы распознавания лиц находили применение в основном в сфере правоохранения, поскольку органы использовали их для поиска случайных лиц в толпе. Некоторые правительственные учреждения также использовали подобные системы для безопасности и для устранения мошенничества на выборах.

Однако есть много других ситуаций, в которых такое программное обеспечение становится популярным. Системы становятся дешевле, их распространение растет. Теперь они совместимы с камерами и компьютерами, которые используются банками и аэропортами. Туристические агентства работают над программой «бывалого путешественника»: с ее помощью они проводят быстрый скрининг безопасности для пассажиров, которые добровольно предоставляют информацию. Очереди в аэропортах будут продвигаться быстрее, если люди будут проходить через систему распознавания лиц, сопоставляющую лица с внутренней базой данных.

Другие потенциальные применения включают банкоматы и терминалы выдачи наличных денег. Программное обеспечение может быстро проверить лицо клиента. После разрешения клиента банкомат или терминал делает снимок лица. Программное обеспечение создает отпечаток лица, защищающий клиента от кражи личных данных и мошеннических транзакций, - банкомат просто не выдаст деньги человеку с другим лицом. Даже ПИН-код не потребуется.

Волшебство? Технологии!

Особенно важным и интересным может быть развитие технологии распознавания лиц в сфере банковских переводов. На днях российский банк «Открытие» представил собственное уникальное решение, разработанное под технологическим брендом Open Garage: перевод денег по фотографии в мобильном приложении «Открытие.Переводы». Вместо того чтобы вбивать номер карты или телефона, достаточно просто сфотографировать человека, которому нужно сделать перевод. Система распознавания лиц сравнит фото с эталонным (делается, когда банк выдает карту) и подскажет имя и фамилию. Останется только выбрать карту и ввести сумму. Что особенно важно, клиенты сторонних банков также могут использовать эту функцию для переводов клиентам «Открытия» - отправитель переводов может пользоваться картой любого российского банка.

«Использование фотографии клиента вместо номера банковской карты - это принципиально новый подход к онлайн-переводам, основанный на использовании нейросетевой системы распознавания лиц, которая позволяет с высокой степенью точности идентифицировать клиента по его биометрическим данным, - говорит начальник Управления развития партнерских систем банка «Открытие» Алексей Матвеев. - Сервис открывает для пользователей совершенно новые жизненные сценарии для выполнения денежных переводов. В настоящее время ни один из участников финансового рынка в мире не предлагает подобного сервиса своим клиентам».

Печать

Также интересно:

Как выбрать центральный процессор, и зачем это нужно?

Восстановления раздела recovery ASUS

Где взять биткоин бесплатно?

Рекомендуем почитать:

2024-04-12 00:07:23

Как скрыть свой номер телефон при звонке — пошаговое руководство

2024-04-11 00:07:07

Как защитить свой форум на Simple Machines (SMF) от спама

2024-04-11 00:07:07

Установка виндовс с флешки через биос

В продолжение темы:

Android

Тестирование web сервисов

Веб-сервисы в 1СВ данной статье будет рассмотрены вопросы интеграции 1С с уже существующими веб-сервисами и использование самой 1С как веб-сервиса. При этом под веб-сервисами...

Новые статьи