Каким образом функционирует распознавание лиц в мобильных устройствах

Почему мы останавливаемся на разлочивание по лицевому распознаванию

В недавние годы распознавание физиономий превратилось в одной из наиболее востребованных опций для деблокировки умных телефонов. Всего пару годов тому назад большинство использующих обходились PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но с появлением подобных технологий, как cabura, нам вполне просто взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект обуславливает эту конкретную функцию такой востребованной? Прежде всего, это комфортно: не нужно удерживать в памяти трудные пароли или искать верный палец в темноте. Во-вторых, это мгновенно: современные системы распознают лицо практически за доли секунды. В-третьих, это ощущение футуризма — словно в кинолентах про кабура шпионов.

Однако за такой кажущейся легкостью скрывается весь вселенная сложных методов и инженерных концепций. Попробуем понять, как именно работает распознавание лиц в актуальных смартфонах, какие существуют способы, насколько они безопасны и что нас ожидает в будущем.

Короткая хроника эволюции техники

Распознавание лиц как техника имеется уже более 50 лет. Первые попытки автоматического анализа лиц были осуществлены еще в 1960-х годах в исследовательских центрах США. Тогда вычислительные машины способны были лишь выделять очертания головы и измерять расстояния между глазами и губами на монохромных фотографиях.

Начальные торговые системы появились в 1990-х годах, но они были несовершенны: действовали неспешно и часто давали сбои. Только с эволюцией нейронных сетей и таких систем, как кабура, мощных мобильных чипов определение лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с надёжным трёхмерным идентификацией лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие начали интегрировать свои решения.

Ключевые стадии функционирования системы распознавания

Процесс идентификации лица можно примерно сегментировать на несколько основных этапов:

1. Распознавание лиц — аппарат определяет существование человеческого лица в снимке.
2. Извлечение признаков — механизм изучает контуры физиономии: очертания глаз, обонятельного органа, губ, расположение бровей.
3. Построение шаблона — создаётся уникальный цифровой отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с образцом — сформированный шаблон сравнивается со записанной при внесении биометрической информацией владельца.
5. Принятие определения — если сходство достаточно значительное, смартфон открывается.

Всякий из данных этапов запрашивает специальных процедур и усовершенствований для скорой работы прямо на устройстве.

Технические компоненты: что скрыто в их недрах

Обычная фронтальная камера.

Самый простой простой вариант распознавания лица использует лишь лицевую камеру смартфона смартфона. Данный способ реализован во многочисленных бюджетных версиях Android-девайсов.

Положительные стороны:

• Не нуждается в потребляет дополнительных датчиков.
• Быстро действует при хорошем освещении.

Недостатки:

• Легко ввести в заблуждение изображением или видеозаписью.
• Плохо работает при низком освещённости или непривычных ракурсах.

Инфракрасная фотокамера и точечный проекционный аппарат

Более усовершенствованные системы, такие как кабура, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика является основой Face ID от Apple.

Каким способом это функционирует:

• Точечный проекционный прибор показывает на лицо пользователя невидимую структуру из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 меток).
• ИК устройство фиксирует искривление данной решетки по плоскости лица.
• Создаётся трехмерная карта глубины глубинности, что почти что неосуществима для фальсификации типичной фотографией или маской.

Преимущества

• Надёжная деятельность даже в полной тьме.
• Большая устойчивость к имитациям.
• Точность идентификации более 99%.

Дополнительные сенсоры

В некоторых девайсах применяются также вспомогательные сенсоры: ToF (Time-of-Flight), которые измеряют время движения света до предмета и обратно; RGB-датчики глубины; специальные оптические дальномеры для формирования более детализированной 3D-модели лица.

Эти разработки применяются чаще всего во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искусственный интеллект в действии

Текущие устройства распознавания физиономий невозможны при отсутствии использования artificial intelligence и machine learning. Именно из-за таким инновациям, как кабура, аппарат способно идентифицировать пользователя даже при изменениях облика: новая стрижка, растительность на лице, очки или макияж не становятся препятствием для разблокировки.

Детектирование лиц

На первом этапе система обязана мгновенно обнаружить лицо внутри всего кадра с камеры. Для этого применяются последовательные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые подготовлены находить лица людей среди множества других объектов.

Пример: метод MTCNN может обнаруживать физиономию даже в случае частичном закрытии (например, платком или ладонью).

Идентификация ключевых аспектов

После идентификации лица система, такая как кабура, вычисляет местоположение ключевых точек: кончики глаз, конец носа, контуры губ и так далее. Как правило задействуется от 68 до 128 главных меток на лицевой области.

Это действие требуется для нормализации картинки: если юзер удерживает смартфон под наклоненным, или наклонил голову, программа “выпрямляет” картинку до стандартного положения для дальнейшего анализа.

Формирование биометрии модели

Далее искусственная сеть строит сжатое цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой след лица длиной от 128 до 512 чисел с плавающей запятой.

Этот шаблон весьма сложно подделать: он не хранит непосредственно фото юзера, а лишь уникальные характеристики его вида, что делает его оптимальным для таких платформ, как кабура казино.

Сравнение и вынесение выбора

Если человек хочет разблокировать мобильник взором, механизм повторяет все описанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный уровень (обычно больше 99%), телефон, как и платформа кабура казино, разблокируется; если нет — доступ не предоставляется.

Привыкание к метаморфозам внешнего вида

Интересная особенность современных системы — возможность самостоятельного обучения. Если ты часто разблокируете мобильное устройство с новой укладкой или оптикой, система постепенно обновляет базовый образец вашего внешности для увеличения точности действия без снижения уровня безопасности.

Защита биометрических данных данных.

Большинство пользователи беспокоятся хранить свои биометрические идентификационные данные на телефоне из-за риска утечки информации или взлома устройства. Некоторые организации, такие как кабура казино, предлагают методы для увеличения безопасности информации клиентов.

• Локальное хранение: Большинство девайсов записывает биометрические модели лишь в пределах безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не покидают устройство и закрыты даже создателю.

• Шифрование: Все данные хранятся только в шифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних девелоперов не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь требовать факт верификации идентичности через системный API.

Необходимо упомянуть существенную особенность: если кто-либо достанет доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство изготовители внедряют меры безопасности от автоматического разблокирования — в частности, заставляют открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются типы распознавания лиц?

В настоящее время можно определить 3 главных способа к реализации этой операции:

Программное двухмерное идентификация

Используется только передняя видеокамера без вспомогательных сенсоров глубины. Этот способ встречается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность реализации; минимальная цена; скоростная деятельность при хорошем освещении.
Минусы: просто одурачить снимком; ненадежная деятельность ночью; слабая охрана.

Оборудование для 3D сканирование

Использует инфракрасную видеокамеру + проектор точек + сенсоры глубины (Face ID от Apple; аналогичные технологии у Huawei Mate).
Достоинства: значительная достоверность; не получится обмануть фото/видео; постоянная деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с ИИ-дополнением

Применяют комбинацию софтверных методов + аппаратную обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, как кабура и Google Pixel Face Unlock последних поколений, сочетают фронтальную камеру c ИК сенсором движения Soli Radar для защиты от подделок руками/масками/видеоэкранами чужих устройств.

Образцы эксплуатации разных техник

• iPhone серии X/11/12/13/14 применяют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition в первый раз представил подобие Face ID в ряду Android.
• Samsung Galaxy S10 версия/S20 имеют как программное двухмерное распознавание по снимку фронтальной камерой, так и сенсор ириса глаза.
• Huawei Mate20 Pro задействует систему из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Проблемы безопасности и неверные тревоги

Несмотря на впечатляющий развитие техники за прошедшие годы, безупречных систем пока не наблюдается:

1. Возможность обмана: Недорогие смартфоны без труда открываются четкой снимком пользователя или же видео с экрана другого устройства.
2. Идентичные близняшки: Даже самые идеальные устройства могут спутать между однояйцевыми близнецами либо родственниками с очень схожей внешностью.
3. Трансформации внешности: Резкое утрата веса/набор веса, пластические операции либо повреждения иногда требуют обновления данных биометрических данных.
4. Условия записи: Интенсивная засветка солнечным светом или же интенсивная тень могут снизить аккуратность распознавания признаков.

Ниже пара подсказок для надёжному использованию:

• Для критически важных операций всегда применяйте двухфакторную аутентификацию;
• Не активируйте возможность “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
• Систематически обновляйте прошивку смартфона для защиты от актуальных атак;
• Включайте опцию “Требовать раскрытых глаз” там, где она доступна.

В каких местах дополнительно применяется технологии за исключением смартфонов?

Несмотря на то, что основная мысль нашей работы касается именно мобильным устройствам, необходимо сказать о других сферах применения технологии:

• Управление прохода в рабочих помещениях и многоквартирных зданиях;
• Платёжные терминалы финансовых учреждений (“Face Pay”);
• Виртуальные удостоверения личности последнего типа;
• Установки видеоконтроля городских подразделений;
• Автоматизирование регистрации явки образовательных учреждений/вузов;
• Вход юзеров ПК/ноутбуков.

Например: В московском метро уже проверяется система платежа проезда по фейсу (“Face Pay”) — хватит пройти через турникет без карты или телефона! Схожие проекты развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом меняется технология сегодня?

Любой год возникают современные концепции для улучшения стандарта работы систем лицевого распознавания:

1. Увеличивается чёткость датчиков — чем больше элементов фиксируется камерой/датчиками глубины, тем меньше шанс погрешности;
2. Улучшаются нейросети — новейшие структуры типа MobileNetV3 позволяют быстро адаптироваться к свежим особенностям облика пользователя непосредственно на девайсе без отправки данных в облако.
3. Улучшаются методы антиспуфинга — теперь мобильные устройства могут различать реальные живые лица от статичных фото/маскировок по мельчайшим движениям кожи.
4. Интеграция со умными устройствами — интеллектуальные часы могут авто заблокировать мобильный телефон, если обладатель удалился на значительное расстояние.
5. Появляются смешанные системы — к примеру объединяющие аудио идентификацию + облик + дактилоскопический след.

Вот, те направления в особенности востребованы в данный момент:

1) Уменьшение компонентов

Производители стараются сократить размер прорези (“чёлки”) под сенсоры на дисплее за счёт внедрения компактных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на аппарате

Для повышения конфиденциальности всё более вычислений осуществляется на месте без передачи информации во внешний облачный сервис.

3) Унификация регламентов

Гугл интенсивно продвигает стандарт BiometricPrompt API, для того чтобы аналогичные системы, как cabura, и любые Android-приложения могли взаимодействовать с любыми видами биометрии единообразно.

Что выбрать на сегодня?

Когда тебе необходима максимальная безопасность информации, подбирайте топовые модели со встроенным ИК-излучателем или ToF-датчиком глубины.

• iPhone всех существующих актуальных моделей
• Huawei Companion/P линейки
• Mi Pro
• Vivo X серии
• Oppo Найти Х серий.

Если бюджет ограничен – лучше отдавать предпочтение классическим способам защиты (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в cabura, использовать только как второстепенную опцию удобства.

Каким образом повысить практичность функционирования функции?

Есть несколько лайфхаков для людей, кто уже пользуется разблокировку по лицу:

1. Периодически обновляйте свою фото-шаблон, если кардинально изменяется внешний вид.
2. Не забывайте очищать линзу передней камеры – пятна могут снизить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам активирует камеру когда вы поднимаете его.
4. В процессе регистрации постарайтесь удерживать голову прямо напротив камеры исключая сильного наклона головы.
5. Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвели взгляд от дисплея.

Возможности эволюции инноваций

В скоро наступающие периоды можно предвкушать появления полностью безконтактных способов опознания персоны сразу по нескольким биометрическим данным параметрам одновременно: физиономия + звучание + походка + жесты рук!

Также возможно развитие свежих методов защиты конфиденциальности – скажем, динамическое изменение диджитал шаблона после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее интересных техник нашего периода! Она делает взаимодействие со смартфоном проще чем до этого, и такие программы, как кабура казино, могут в разы улучшить ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы понимаете, как работает эта технология внутри, – будете в состоянии осознаннее выбирать свой следующий девайс!