Как работает распознавание лиц в телефонах

Зачем мы выбираем разблокировку по лицу

В недавние времена идентификация лиц превратилось в одной из самых популярных возможностей для разблокировки умных телефонов. Еще пару лет тому назад большинство юзеров обходились PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением таких технологий, как вулкан россия, нам достаточно просто взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект обуславливает эту конкретную возможность такой востребованной? Во-первых, это практично: не нужно удерживать в памяти замысловатые пароли или искать правильный палец в мраке. Кроме того, это быстро: современные системы узнают лицо буквально за доли секунды. В-третью очередь, это впечатление футуризма — словно в кинофильмах про vulkan russia агентов.

Впрочем за этой на первый взгляд несложностью таится полный вселенная сложных техник и инженерных разработок. Давайте понять, как конкретно действует идентификация по лицу в актуальных смартфонах, какие бывают способы, насколько они безопасны и что нас ждёт впереди.

Сжатая повествование развития техники

Распознавание лиц как технология присутствует уже более 50 лет. Изначальные пробы автоматизированного изучения лиц были сделаны еще в 1960-х годы в лабораториях США. Тогда вычислительные машины умели лишь определять силуэты черепа и измерять расстояния между очами и ртом на монохромных изображениях.

Начальные коммерческие установки появились в девяностых годах, но они были несовершенны: работали медленно и нередко ошибались. Только с развитием синтетических сетей и таких площадок, как вулкан россии, сильных мобильных микросхем распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным сканированием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные решения.

Главные шаги работы устройства определения

Процесс распознавания лица можно примерно поделить на несколько основных этапов:

1. Идентификация лица — устройство определяет наличие людского лица в снимке.
2. Выделение характеристик — система изучает контуры облика: конфигурацию зрительных органов, обонятельного органа, уст, позицию бровей.
3. Построение шаблона — создаётся неповторимый электронный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с стандартом — созданный образец сверяется со зафиксированной при регистрации биометрической данными владельца.
5. Принятие определения — если сходство достаточно существенное, смартфон разблокируется.

Каждый из этих этапов требует особых методов и улучшений для быстрой работы непосредственно на девайсе.

Железные компоненты: что скрыто внутри

Стандартная фронтальная камера.

Самый простой несложный способ идентификации физиономии задействует только переднюю камеру мобильного устройства. Подобный метод внедрён во многочисленных бюджетных вариантах Android-девайсов.

Преимущества:

• Необходимо нуждается в дополнительных сенсоров.
• Быстро работает при достаточном освещении.

Минусы:

• Несложно одурачить фотографией или видеозаписью.
• Неудачно функционирует при плохом свете или непривычных углах обзора.

ИК фотокамера и пунктирный проектор

Более совершенные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика является основой Face ID от Apple.

Каким способом это работает:

• Точечный проекционный прибор отображает на физиономию использующего невидимую сетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 точек).
• ИК камера записывает искривление этой сетки по плоскости физиономии.
• Создаётся 3D карта глубины глубины, что практически невозможна для имитации обычной снимком или маскировкой.

Плюсы

• Надёжная работа даже в полной темноте.
• Сильная устойчивость к подделкам.
• Точность определения выше 99%.

Дополнительные сенсорные устройства

В отдельных девайсах задействуются также экстра датчики: ToF (Time-of-Flight), которые определяют время движения луча до предмета и обратно; Цветные-датчики глубины; специальные световые лидары для создания более аккуратной 3D-модели физиономии.

Эти инновации используются в основном во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искусственный разум в работе

Современные механизмы распознавания физиономий немыслимы при отсутствии использования ИИ и машинного обучения. Именно из-за таким технологиям, как вулкан россии, аппарат может распознавать владельца даже при метаморфозах внешнего вида: новая укладка, борода, линзы или косметика не становятся помехой для разблокировки.

Распознавание физиономии

В первом стадии алгоритм должна быстро обнаружить лицо среди полного изображения с камеры. Для этого используются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены идентифицировать лиц человека среди множества других объектов.

Пример: метод MTCNN в состоянии находить облик даже при неполном перекрытии (например, платком или рукой).

Идентификация важных моментов

После идентификации лица механизм, такая как вулкан россии, вычисляет расположение основных точек: края глаз, верхушка носа, края губ и так далее. Как правило задействуется от 68 до 128 ключевых меток на лицевой поверхности.

Это нужно для выравнивания визуала: если человек держит телефон под наклоненным, или склонил головку, программа “выпрямляет” изображение до обычного угла для последующего изучения.

Построение биометрического идентификатора шаблона

Далее нейронная сеть строит сжатое числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный шаблон весьма затруднительно подделать: он не сохраняет само изображение пользователя, а лишь уникальные особенности его вида, что делает его оптимальным для таких систем, как vulkan russia.

Сравнительный анализ и осуществление решения

В случае, когда человек желает открыть мобильник взглядом, система осуществляет все указанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный границу (обычно превышает 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ не предоставляется.

Приспособление к изменениям внешнего вида

Интересная черта современных системы — способность самостоятельного обучения. Если ты часто открываете мобильное устройство с новой стрижкой или оптикой, программа постепенно обновляет эталонный образец вашего внешности для повышения точности работы без снижения уровня безопасности.

Безопасность биометрических информации.

Большинство клиенты боятся сохранять свои биометрические данные на смартфоне из-за риска потери данных или взлома гаджета. Определенные фирмы, например vulkan russia, предлагают методы для улучшения безопасности сведений юзеров.

• Локальное сохранение: Большинство девайсов записывает биометричные образцы только в пределах защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они никогда не выходят из гаджет и не доступны в том числе создателю.

• Шифрование: Все информация сохраняются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения сторонних девелоперов не обладают непосредственного доступа к биометрическим; они могут лишь запрашивать факт верификации идентичности через системный API.

Необходимо подчеркнуть важную подробность: в случае, если кто-то сможет получить доступ к вашему телефону физически (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании внедряют систему защиты от “слепого” разблокирования — в частности, просят открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории определения лиц?

На сегодняшний день можно выделить выделить 3 ключевых способа к осуществлению этой операции:

Программное двухмерное распознавание

Применяется только лицевая видеокамера без дополнительных детекторов глубины. Такой подход используется обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота воплощения; низкая затраты; оперативная деятельность при качественном свете.
Минусы: просто обмануть фотографией; неустойчивая работа ночью; недостаточная защищенность.

Оборудование для объёмное оцифровка

Использует ИК видеокамеру + проекционный модуль пикселей + сенсоры дистанции (Face ID у Apple; подобные решения у Huawei Mate).
Преимущества: высокая надежность; невозможно подделать фото/видео; постоянная функционирование в любых условиях освещения.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные способы с интеграцией ИИ

Применяют комбинацию программируемых методов + техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, как вулкан россии и Google Pixel Face Unlock современных поколений, объединяют фронтальную камеру c ИК датчиком мобильности Soli Radar для защиты от подделок жестами/масками/видеоэкранами посторонних устройств.

Образцы использования разных способов

• iPhone линейки X/11/12/13/14 применяют только техническое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition впервые представил эквивалент Face ID среди Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как программное обеспечение двухмерное идентификацию по фото фронталкой, так и сканер радужки глаза.
• Huawei Mate20 Pro задействует набор из ИК-освещения + Dot Projector + ToF-сенсор

Трудности охраны и ложные сигналы

Несмотря на замечательный прогресс инноваций за прошедшие годы, совершенных механизмов пока не имеется:

1. Шанс обмана: Недорогие телефоны просто доступны высококачественной фотографией владельца либо видео с дисплея иного гаджета.
2. Идентичные близняшки: Даже самые безупречные устройства могут перепутать между монозиготными близнецами либо родичами с очень аналогичной внешностью.
3. Изменения облика: Резкое утрата веса/увеличение массы тела, хирургические вмешательства или травмы в некоторых случаях необходимы для повторной регистрации биометрических данных.
4. Условия записи: Яркая подсветка солнечным светом или же интенсивная тень могут понизить аккуратность идентификации признаков.

Вот пара советов по защищённому использованию:

• Для критически важных операций всегда используйте дополнительную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
• Постоянно обновляйте программное обеспечение мобильного устройства для защиты от новых видов атак;
• Включайте настройку “Требовать раскрытых глаз” везде, где она имеется.

Где также используется технологии помимо смартфонов?

Пускай предмет нашей публикации сосредоточена на в частности смартфонам и планшетам, следует отметить альтернативных областях использования технологии:

• Управление входа в офисах и многоквартирных зданиях;
• Платёжные аппараты банков (“Face Pay”);
• Цифровые удостоверения личности последнего типа;
• Комплексы видеомониторинга городских сервисов;
• Автоматизирование отслеживания присутствия образовательных учреждений/университетов;
• Авторизация участников персональных компьютеров/ноутбуков.

Например: В столичном метро уже проверяется система платежа проезда по лицу (“Face Pay”) — хватит пройти через турникет без пластика или телефона! Аналогичные инициативы осуществляются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом меняется технология сегодня?

Всякий годочек появляются свежие идеи для улучшения уровня деятельности систем идентификации лиц:

1. Увеличивается разрешение датчиков — чем больше деталей фиксируется видеокамерой/датчиками глубины, тем меньше вероятность ошибки;
2. Совершенствуются нейросети — современные конструкции типа MobileNetV3 обеспечивают возможность быстро обучаться свежим чертам облика обладателя напрямую на гаджете без пересылки информации в облачное хранилище.
3. Развиваются методы антиспуфинга — теперь мобильные устройства способны распознавать реальные живые облики от неподвижных фотографий/масок по мельчайшим микродвижениям.
4. Интеграция со смарт-гаджетами — умные часы могут авто заблокировать мобильный телефон, если владелец удалился на значительное расстояние.
5. Проявляются комбинированные системы — к примеру совмещающие аудио аутентификацию + лицо + отпечаток пальца.

Итак, которые тренды в особенности популярны в данный момент:

1) Миниатюризация деталей

Компании пытаются уменьшить габариты прорези (“чёлки”) для сенсоры на экране за счёт встраивания компактных ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для повышения конфиденциальности всё больше обработки данных происходит на месте без пересылки данных во дополнительный облачный сервис.

3) Стандартизация норм

Гугл энергично пропагандирует стандарт BiometricPrompt API, чтобы аналогичные площадки, например как вулкан россия, и все Android-аппы могли работать с любыми видами биометрии унифицированно.

Что подобрать сегодня?

В случае если вам всем нужна максимальная безопасность данных, остановите выбор на топовые модели с интегрированным ИК-излучателем либо ToF-сенсором глубины.

• iPhone всех актуальных моделей
• Huawei Mate/Series P линейки
• Mix Expert
• Vivo X модели
• Oppo Обнаружить Икс серии.

Если средства ограничен – лучше выбирать традиционным средствам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в вулкан россия, использовать только как второстепенную опцию комфорта.

Каким способом повысить удобство использования функции?

Есть несколько хитростей для людей, кто уже применяет функцию распознавания лица:

1. Регулярно меняйте свою изображение-шаблон, если сильно трансформируется внешность.
2. Не пренебрегайте очищать линзу передней камеры – пятна могут уменьшить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам запускает камеру как только вы поднимаете его.
4. Во время записи старайтесь удерживать лицо неподвижно перед видеоустройства исключая сильного наклона головы.
5. Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отвели взгляд от дисплея.

Перспективы развития инноваций

В ближайшие годы можно предполагать появления полностью дистанционных способов опознания персоны сразу по нескольким биометрическим данным параметрам одновременно: облик + звучание + манера ходьбы + манипуляции руками!

Также вероятно появление свежих способов защиты личной информации – скажем, изменяющееся корректировка диджитал паттерна после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из самых захватывающих технологий нашего периода! Она предоставляет взаимодействие со смартфоном комфортнее чем когда-либо прежде, и такие программы, как vulkan russia, могут в разы улучшить ваш пользовательский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы осведомлены, как функционирует эта система внутри, – будете в состоянии вдумчиво подбирать свой следующий девайс!