Как работает идентификация лицевых образов в смартфонах

Зачем мы предпочитаем разблокирование по лицевому распознаванию

В прошлые годы распознавание физиономий является одной из наиболее востребованных функций для разблокировки смартфонов. Еще пару годков ранее основная масса пользователей удовлетворялись PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но при появлением подобных технологий, например вулкан россия, нам вполне просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь обуславливает эту конкретную функцию такой востребованной? Во-первых, это удобно: не нужно запоминать трудные пароли или искать правильный палец в мраке. Кроме того, это быстро: современные системы узнают лицо фактически за мгновение. В-третью очередь, это ощущение футуристичности — будто в кинолентах про казино вулкан агентов.

Тем не менее за такой видимой несложностью прячется полный мир трудных методов и инженерных решений. Попробуем исследовать, как конкретно действует идентификация по лицу в современных смартфонах, какие применяются способы, насколько они надёжны и что нас предстоит.

Сжатая история прогресса технологии

Распознавание лиц как техника существует уже более пятидесяти годов. Изначальные пробы автоматизированного исследования лица были сделаны еще в 1960-х годах в научных учреждениях США. Тогда вычислительные машины умели лишь обозначать контуры лица и определять дистанции между очами и ртом на ахроматических изображениях.

Начальные торговые установки появились в 90-х, но они были несовершенны: действовали неспешно и часто давали сбои. Только с прогрессом искусственных сетей и таких платформ, как вулкан россии, мощных мобильных чипов определение лиц стало по-настоящему массовым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным идентификацией лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали интегрировать свои решения.

Ключевые шаги работы механизма определения

Процесс определения лица можно ориентировочно сегментировать на несколько ключевых этапов:

Обнаружение лица — камера распознает наличие человеческого лица в изображении.
Извлечение признаков — механизм изучает особенности физиономии: форму зрительных органов, обонятельного органа, уст, позицию бровей.
Построение модели — создаётся уникальный виртуальный отпечаток (faceprint) на основе выделенных признаков.
Сравнение со стандартом — полученный шаблон сравнивается с записанной при учёте биометрической данными владельца.
Принятие решения — если соответствие достаточно высокое, смартфон разблокируется.

Всякий из данных этапов нуждается в индивидуальных процедур и оптимизаций для быстрой работы непосредственно на девайсе.

Технические составляющие: что скрыто внутри них

Типичная селфи камера.

Наиболее легкий способ распознавания облика задействует лишь лицевую видеокамеру мобильного устройства. Данный способ внедрён во многих доступных вариантах Android-девайсов.

Положительные стороны:

Не нуждается в потребляет внешних сенсоров.
Оперативно действует при хорошем освещённости.

Слабые стороны:

Легко одурачить фотографией или видеозаписью.
Неудачно действует при слабом свете или нестандартных ракурсах.

Инфракрасная фотокамера и пунктирный проектор

Более продвинутые системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс составляет базу Face ID от Apple.

Каким способом это функционирует:

Точечный устройство проекции показывает на облик юзера невидимую решетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 меток).
ИК камера записывает искривление этой сетки по поверхности лица.
Создаётся трёхмерная карта глубинности, которая практически неосуществима для подделки обычной фото или маской.

Выигрыши

Надёжная функционирование даже в полной темноте.
Сильная сопротивляемость к подделкам.
Точность идентификации более 99%.

Дополнительные сенсоры

В отдельных устройствах используются также экстра сенсорные устройства: ToF (Time-of-Flight), которые измеряют время прохождения света до предмета и обратно; RGB-датчики дальности; специальные световые лидары для формирования более детализированной 3D-модели физиономии.

Эти разработки применяются наиболее часто во флагманских устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искусственный ум в исполнении

Современные системы идентификации лиц неосуществимы без использования artificial intelligence и машинного обучения. Именно вследствие таким разработкам, как вулкан россии, устройство способно распознавать владельца даже при метаморфозах внешнего вида: новая стрижка, растительность на лице, очки или косметика не становятся препятствием для открытия.

Распознавание физиономии

На стартовом этапе программа необходимо мгновенно обнаружить образ лица среди целого кадра камеры. Для этого задействуются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые „обучены“ распознавать человеческие лица среди множества других объектов.

Пример: метод MTCNN может обнаруживать облик даже с частичном перекрытии (например, шарфом или рукой).

Идентификация ключевых моментов

После распознавания лица механизм, такая как вулкан россии, устанавливает местоположение главных точек: края глаз, кончик носа, края губ и так далее. Обычно используется от 68 до 128 основных меток на лицевой области.

Данное необходимо для нормализации картинки: если человек находится с смартфон под наклоненным, или наклонил голову, программа исправляет картинку до стандартного положения для дальнейшего анализа.

Построение биометрического образца

Далее искусственная сеть строит сжатое математическое представление („эмбеддинг“) внешности пользователя — своеобразный цифровой след лица длиной от 128 до 512 вещественных чисел.

Такой образец весьма сложно подделать: он не хранит само изображение пользователя, а лишь уникальные черты его вида, что делает его идеальным для таких систем, как vulkan russia.

Сравнение и вынесение решения

Когда юзер желает открыть смартфон глазами, программа осуществляет все указанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный порог (обычно выше 99%), телефон, как и платформа vulkan russia, доступен; если нет — доступ блокируется.

Адаптация к метаморфозам внешнего вида

Интересная особенность современных системы — возможность самообучения. Если вы часто открываете телефон с обновленной стрижкой или очками, система постепенно освежает базовый модель вашего лица для увеличения точности действия без снижения уровня безопасности.

Охрана биометрических информации.

Большинство юзеры беспокоятся сохранять свои био-идентификационные данные на смартфоне из-за риска утечки данных или взлома устройства. Определенные фирмы, такие как vulkan russia, предлагают методы для повышения безопасности данных пользователей.

Локальное сбережение: Большинство девайсов записывает биометрические модели лишь внутри защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не выходят из аппарат и закрыты даже производителю.
Шифрование: Все сведения сохраняются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Приложения сторонних разработчиков не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь запрашивать подтверждение подтверждения личности через системный API.

Следует отметить существенную подробность: в случае, если кто-то сможет получить физический доступ к вашему телефону (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество компании реализуют меры безопасности от автоматического разблокирования — например, заставляют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют типы распознавания лиц на изображениях?

В настоящее время можно выделить 3 ключевых метода к осуществлению этой операции:

Программное 2D распознавание

Эксплуатируется только фронтальная камера без вспомогательных детекторов дистанции. Такой способ наблюдается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность воплощения; низкая затраты; скоростная деятельность при хорошем свете.
Минусы: просто обмануть снимком; нестабильная работа ночью; низкая охрана.

Оборудование для трёхмерное сканирование

Задействует инфракрасную камеру + проекционный модуль пикселей + датчики дистанции (Face ID у Apple; аналогичные технологии у Huawei Mate).
Преимущества: большая надежность; невозможно подделать изображение/видеозапись; постоянная работа при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана („чёлка“)

Комбинированные методы с дополнением ИИ

Задействуют комбинацию программных методов + техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам („anti-spoofing“). Например, такие изделия, как вулкан россии и Google Pixel Face Unlock последних версий, сочетают фронталку c ИК датчиком мобильности Soli Radar для предотвращения от фальсификаций руками/масками/видеодисплеями чужих устройств.

Образцы использования разнообразных методов

iPhone модели X/11/12/13/14 используют только физическое трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition первый раз представил подобие Face ID среди Android.
Samsung Galaxy S10 версия/S20 имеют как программное 2D определение по снимку фронталкой, так и сенсор глазного ириса.
Huawei Mate20 Pro задействует набор из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и ошибочные тревоги

Несмотря на поразительный прогресс техники за последние лет, совершенных системы пока не существует:

Возможность мошенничества: Недорогие мобильники без труда „разблокируются“ высококачественной снимком хозяина или видео с дисплея иного гаджета.
Идентичные двойняшки: Даже самые безупречные механизмы могут ошибиться между монозиготными близнецами либо семьями с очень аналогичной внешностью.
Метаморфозы облика: Стремительное утрата веса/набор веса, хирургические вмешательства или травмы порой необходимы для повторной регистрации биометрических данных.
Условия фотографирования: Сильная засветка солнечным светом или плотная тень могут понизить аккуратность определения признаков.

Здесь несколько рекомендаций для защищённому эксплуатации:

Для важных операций всегда внедряйте двухэтапную аутентификацию;
Не запускайте возможность „Разблокировка по лицу“ на бюджетных устройствах без ИК-сенсоров;
Постоянно обновляйте программное обеспечение телефона для предотвращения угроз от новых видов атак;
Включайте опцию „Требовать распахнутых глаз“ в тех местах, где она доступна.

В каких местах дополнительно находится применение технологии помимо мобильных телефонов?

Пускай основная мысль этой статьи касается именно портативным гаджетам, необходимо сказать о других сферах применения технологии:

Управление доступа в офисах и многоквартирных зданиях;
Платёжные устройства банков („Face Pay“);
Цифровые удостоверения личности современного типа;
Установки видеоконтроля муниципальных сервисов;
Автоматизирование регистрации явки образовательных учреждений/вузов;
Вход пользователей компьютеров/ноутбуков.

Например: В московском метро уже проверяется система платежа проезда по лицу („Face Pay“) — хватит пройти через барьер без карты или мобильника! Аналогичные проекты реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким образом изменяется технический процесс в наше время?

Всякий годик проявляются современные концепции для повышения стандарта деятельности систем лицевого распознавания:

Увеличивается детализация сенсорных устройств — чем больше элементов фиксируется видеокамерой/датчиками глубины, тем меньше шанс неточности;
Развиваются нейросети — современные структуры модели MobileNetV3 позволяют оперативно осваивать новым характеристикам вида обладателя прямо на устройстве без отправки данных в облако.
Развиваются технологии антиспуфинга — теперь мобильные устройства могут различать настоящие живые лица от фиксированных фотографий/маскировок по микроскопическим движениям кожи.
Интеграция со смарт-гаджетами — смарт-часы могут самостоятельно закрыть доступ к смартфон, если обладатель отошёл далеко.
Появляются смешанные механизмы — в частности объединяющие речевую идентификацию + облик + дактилоскопический след.

Итак, какие тенденции очень популярны в данный момент:

1) Уменьшение компонентов

Изготовители пытаются уменьшить размер выреза („чёлки“) под датчики на дисплее за счёт интеграции компактных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на устройстве

Для улучшения конфиденциальности всё более расчётов выполняется внутри устройства без пересылки информации во сторонний облачный услугу.

3) Упорядочивание норм

Гугл энергично пропагандирует эталон BiometricPrompt API, чтобы такие платформы, как вулкан россия, и любые Android-аппы могли взаимодействовать с любыми видами биометрии стандартизированно.

Какое подобрать сегодня?

Если вам всем нужна наивысшая безопасность данных, выбирайте топовые устройства со встроенным ИК-проектором или ToF-датчиком глубины.

iPhone каждого последних версий
Huawei Companion/P ряда
Mix Expert
Vivo X модели
Oppo Найти Х серий.

Если финансы скромен – лучше предпочесть обычным способам безопасности (PIN-код/сканер отпечатка), а опцию „разблокировка по лицу“, такую как в вулкан россия, использовать только как второстепенную возможность комфорта.

Каким способом повысить удобство использования функции?

Есть некоторые советов для тех, кто уже использует разблокировку по лицу:

Часто обновляйте свою изображение-шаблон, если кардинально меняется внешний вид.
Не пренебрегайте чистить линзу передней камеры – загрязнения могут понизить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам запускает камеру когда вы поднимаете его.
Во время регистрационного процесса постарайтесь сохранять лицо прямо перед объектива исключая значительного наклона головы.
Используйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвели взгляд от экрана.

Перспективы прогресса инноваций

В предстоящие времена можно предвкушать появления полностью безконтактных способов распознавания индивидуума сразу по нескольким биометрическим параметрам одновременно: физиономия + голос + шаги + движения рук!

Также возможно возникновение свежих способов охраны конфиденциальности – например, переменное модификация цифрового образца после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из очень захватывающих технологий нашего эпохи! Она обеспечивает интеракцию со смартфоном проще чем до этого, и такие программы, как vulkan russia, могут существенно повысить ваш пользовательский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы понимаете, как функционирует эта система изнутри, – сможете более осмысленно определять свой очередной гаджет!