Как функционирует определение лицевых образов в смартфонах

Зачем мы останавливаемся на разлочивание по лицу

В прошлые времена распознавание лиц превратилось в одной из наиболее востребованных возможностей для деблокировки умных телефонов. Всего пару годков ранее основная часть юзеров удовлетворялись пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением подобных технологий, например Вулкан Платинум, нам вполне лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь делает эту функцию такой востребованной? Прежде всего, это комфортно: не нужно запоминать замысловатые пароли или искать правильный палец в тьме. Также, это быстро: современные системы узнают лицо буквально за доли секунды. В-третьем пункте, это ощущение футуризма — будто в кинолентах про вулкан платинум зеркало агентов.

Впрочем за этой кажущейся простотой прячется весь универсум комплексных методов и инженерных концепций. Позвольте нам понять, как конкретно работает идентификация по лицу в современных мобильных телефонах, какие применяются методы, насколько они надёжны и что нас ожидает в будущем.

Сжатая хроника развития инноваций

Распознавание лиц как техника присутствует уже более пятидесяти лет. Начальные эксперименты автоматического исследования облика были сделаны еще в 1960-х годах в лабораториях США. Тогда вычислительные машины умели лишь определять силуэты лица и определять дистанции между глазами и ртом на ахроматических фотографиях.

Изначальные коммерческие платформы возникли в 1990-х годах, но они были несовершенны: действовали неспешно и нередко ошибались. Только с прогрессом искусственных сетей и таких площадок, как Vulkan Platinum, высокопроизводительных мобильных чипов определение лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным идентификацией лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять личные решения.

Основные стадии работы механизма распознавания

Процесс определения лица можно условно поделить на несколько ключевых этапов:

Идентификация лица — устройство выявляет существование людского лица в изображении.
Выделение особенностей — алгоритм исследует черты облика: очертания зрительных органов, носа, губ, расположение надбровных дуг.
Построение модели — создаётся уникальный цифровой отпечаток (faceprint) на основе определённых признаков.
Сравнение с эталоном — полученный образец сверяется со записанной при регистрации биометрической данными владельца.
Принятие выбора — если соответствие достаточно существенное, смартфон деблокируется.

Каждый из этих этапов требует индивидуальных методов и оптимизаций для скорой работы прямо на устройстве.

Железные составляющие: что находится в их недрах

Обычная фронтальная камера.

Самый несложный способ определения лица применяет только лицевую видеокамеру смартфона. Такой способ внедрён во многочисленных доступных моделях Android-девайсов.

Достоинства:

Необходимо требует внешних сенсоров.
Быстро функционирует при достаточном освещённости.

Минусы:

Просто одурачить фотографией или видеозаписью.
Неудачно работает при плохом освещённости или необычных точках зрения.

ИК камера и пунктирный проекционный аппарат

Более продвинутые системы, такие как Vulkan Platinum, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс лежит в основе Face ID от Apple.

Каким способом это функционирует:

Точечный проектор показывает на физиономию использующего невидимую сетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 точек).
Инфракрасная устройство фиксирует изменение формы этой решетки по поверхности физиономии.
Получается трехмерная карта глубины глубинности, которая практически неподвластна для подделки стандартной фото или маскировкой.

Преимущества

Надёжная работа даже в полной темноте.
Высокая устойчивость к фальсификациям.
Точность определения выше 99%.

Дополнительные датчики

В определённых аппаратах задействуются также дополнительные датчики: ToF (Time-of-Flight), которые определяют период прохождения света до объекта и обратно; RGB-датчики глубины; специальные лазерные лидары для построения более точной 3D-модели физиономии.

Эти разработки используются чаще всего во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: синтетический интеллект в действии

Нынешние механизмы опознания лиц неосуществимы в отсутствие применения искусственного интеллекта и machine learning. Именно из-за таким разработкам, как Vulkan Platinum, аппарат может распознавать пользователя даже при трансформациях внешности: новая укладка, щетина, очки или косметика не становятся помехой для разблокировки.

Распознавание физиономии

В начальном стадии система обязана быстро распознать ликовое изображение в пределах целого кадра с камеры. Для данной цели задействуются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые „обучены“ идентифицировать лица людей среди множества других объектов.

Пример: алгоритм MTCNN может распознавать физиономию даже с неполном перекрытии (например, шарфом или рукой).

Определение ключевых аспектов

После распознавания лица система, такая как Vulkan Platinum, определяет расположение ключевых точек: кончики глаз, конец носа, границы губ и так далее. Как правило задействуется от 68 до 128 ключевых маркеров на лицевой области.

Данное требуется для нормализации картинки: если юзер находится с телефон под наклоненным, или склонил голову, программа корректирует изображение до нормального состояния для последующего изучения.

Построение биометрического идентификатора шаблона

Далее нейронная сеть строит уплотненное цифровое представление („эмбеддинг“) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 вещественных чисел.

Такой шаблон очень сложно имитировать: он не удерживает непосредственно изображение юзера, а лишь исключительные черты его внешности, что делает его оптимальным для таких систем, как Вулкан Казино Платинум.

Сравнительный анализ и вынесение заключения

Если пользователь желает разлочить мобильник взором, программа осуществляет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный уровень (обычно больше 99%), телефон, как и платформа Вулкан Казино Платинум, открывается; если нет — доступ запрещается.

Привыкание к трансформациям облика

Увлекательная черта нынешних системы — способность самостоятельного обучения. Если ты часто разблокируете смартфон с новой укладкой или очками, алгоритм постепенно модернизирует основной образец вашего облика для повышения точности работы без ухудшения безопасности.

Защита биометрических данных информации.

Большинство пользователи опасаются хранить свои биометрические идентификационные данные на мобильном устройстве из-за риска потери данных или взлома устройства. Определенные фирмы, например Вулкан Казино Платинум, предоставляют решения для увеличения сохранности сведений юзеров.

Локальное хранение: Большинство аппаратов хранит биометрические модели исключительно внутрь безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют устройство и закрыты даже производителю.
Шифрование: Все информация хранятся только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция программ: Приложения сторонних разработчиков не имеют непосредственного доступа к биометрическим данным; они могут лишь запрашивать подтверждение верификации идентичности через системный API.

Стоит упомянуть важную деталь: если кто-либо получит физический доступ к вашему телефону (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие компании осуществляют защиту от автоматического разблокирования — например, требуют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются категории распознавания лиц?

На сегодняшний день можно определить три ключевых подхода к реализации этой функции:

Софтверное двухмерное определение

Эксплуатируется только передняя камера без экстра детекторов глубины. Подобный подход наблюдается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность реализации; минимальная цена; скоростная работа при качественном свете.
Минусы: просто одурачить снимком; неустойчивая функционирование ночью; низкая защищенность.

Аппаратное трёхмерное оцифровка

Использует ИК видеокамеру + проекционный модуль точек + сенсоры глубины (Face ID у Apple; подобные решения у Huawei Mate).
Плюсы: большая надёжность; нельзя обмануть изображение/видеозапись; постоянная функционирование при любом освещении.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана („чёлка“)

Смешанные способы с ИИ-дополнением

Используют комбинацию программируемых методов + техническую обработку + постобработку нейросетями для усиления устойчивости к атакам („anti-spoofing“). Например, подобные товары, как Vulkan Platinum и Google Pixel Face Unlock современных поколений, комбинируют фронталку c ИК датчиком движения Soli Radar для защиты от подделок руками/масками/видеоэкранами посторонних устройств.

Примеры применения различных техник

iPhone линейки X/11/12/13/14 используют только аппаратное трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition первый раз внедрил аналог Face ID в ряду Android.
Samsung Galaxy S10 версия/S20 имеют как программное 2D определение по изображению фронтальной камерой, так и сенсор ириса глаза.
Huawei Mate20 Pro задействует комплекс из ИК-освещения + Dot Projector + ToF-датчик

Вопросы безопасности и ошибочные срабатывания

Несмотря на замечательный развитие технологий за недавние лет, безупречных систем пока не существует:

Вероятность подвоха: Бюджетные мобильники без труда „разблокируются“ четкой фотографией пользователя или роликом с дисплея иного гаджета.
Идентичные двойняшки: Даже самые идеальные устройства могут перепутать между однояйцевыми близнецами либо семьями с очень схожей внешностью.
Изменения внешнего вида: Стремительное утрата веса/увеличение массы тела, косметические процедуры либо повреждения порой требуют перерегистрации биометрии.
Условия съёмки: Яркая подсветка солнечным светом либо плотная затенение могут уменьшить точность идентификации признаков.

Ниже пара советов по безопасному эксплуатации:

Для значимых операций всегда применяйте двухфакторную аутентификацию;
Не включайте возможность „Разблокировка по лицу“ на дешёвых аппаратах без ИК-сенсоров;
Систематически апгрейдите прошивку телефона для защиты от современных угроз;
Включайте опцию „Требовать раскрытых глаз“ там, где она имеется.

В каких областях ещё используется технология за исключением смартфонов?

Пускай основная мысль этой публикации посвящена в частности мобильным устройствам, стоит упомянуть о прочих направлениях внедрения технологии:

Управление доступа в офисах и жилых домах;
Платёжные терминалы финансовых учреждений („Face Pay“);
Цифровые удостоверения личности нового типа;
Установки видеонаблюдения муниципальных сервисов;
Автоматизация учёта присутствия учебных заведений/университетов;
Вход юзеров ПК/ноутбуков.

Например: В городском метро уже проверяется система оплаты проезда по лицу („Face Pay“) — нужно лишь пройти через барьер без пластика или мобильника! Похожие проекты развиваются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом трансформируется технический процесс сегодня?

Всякий годочек появляются современные идеи для улучшения уровня деятельности систем распознавания лиц:

Увеличивается чёткость сенсорных устройств — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность погрешности;
Улучшаются нейросети — новейшие архитектуры вида MobileNetV3 позволяют быстро адаптироваться к дополнительным характеристикам внешности обладателя напрямую на гаджете без отправки данных в облако.
Развиваются методы антиспуфинга — теперь мобильные устройства могут различать настоящие анимированные облики от статичных снимков/масок по микроскопическим движениям кожи.
Синхронизация со смарт-гаджетами — смарт-часы могут самостоятельно заблокировать мобильный телефон, если обладатель отошёл далеко.
Появляются гибридные системы — например комбинирующие аудио идентификацию + облик + отпечаток пальца.

Вот, которые направления в особенности актуальны на сегодняшний день:

1) Уменьшение деталей

Изготовители стараются уменьшить габариты прорези („чёлки“) под датчики на дисплее за счёт встраивания маленьких ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для улучшения приватности всё больше расчётов осуществляется на месте без передачи информации во сторонний облачный услугу.

3) Упорядочивание стандартов

Google энергично продвигает норму BiometricPrompt API, для того чтобы такие платформы, вроде Вулкан Платинум, и каждые Android-аппы могли работать с различными типами биометрии стандартизированно.

Какое подобрать сегодня?

Если тебе необходима максимальная сохранность данных, остановите выбор на флагманские устройства с интегрированным ИК-излучателем либо ToF-сенсором глубины.

iPhone каждого актуальных версий
Huawei Mate/P Series линейки
Mi Pro
Vivo X линейки
Oppo Обнаружить X линейки.

Если финансы скромен – лучше выбирать классическим методам безопасности (PIN-код/сканер пальца), а функцию „разблокировка по лицу“, такую как в Вулкан Платинум, задействовать только как опциональную возможность удобства.

Каким образом улучшить удобство работы функции?

Есть некоторые советов для людей, кто уже использует разблокировку по лицу:

Периодически обновляйте свою изображение-шаблон, если кардинально изменяется облик.
Не пренебрегайте протирать объектив передней камеры – загрязнения могут уменьшить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам запускает фотоаппарат когда вы берёте его в руки.
В процессе записи постарайтесь сохранять лицевую часть ровно впереди камеры исключая сильного наклона головы.
Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвели взгляд от экрана.

Будущее прогресса инноваций

В скоро наступающие периоды можно предполагать развития полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + речь + походка + манипуляции руками!

Также предполагается появление новых способов защиты приватности – к примеру, динамическое модификация диджитал паттерна после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – единственная из очень увлекательных техник нашего времени! Она делает взаимодействие со смартфоном комфортнее чем когда-либо прежде, и такие приложения, как Вулкан Казино Платинум, могут значительно оптимизировать ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы понимаете, как функционирует эта система в деталях, – сможете осознаннее выбирать свой будущий устройство!