Разработка ученых из СПбГЭТУ ЛЭТИ поможет контролировать состояние сотрудников на особо важных инфраструктурных объектах и не только. Ученые обучили нейросеть, с помощью инфракрасных снимков лица, различать: страх, гнев, презрение, отвращение и т. д.

«Это система, которую мы обучили на нескольких конкретных наборах данных. Нейросеть научилась распознавать эмоции. Это набор изображений, нарезанный видеоматериал. Эти изображения соответствующим образом размечены. Условно, на этом фото показана эмоция отвращения, а на следующей гнева. Нейросеть обучили распознавать эти изображения, а потом дали данные из новой выборки изображений, которых не было в обучающих материалах, она их распознавала, так проверяли точность», – рассказал доцент кафедры автоматики и процессов управления СПбГЭТУ ЛЭТИ Дмитрий Каплун.

По его словам, точность такой системы около 90 процентов.

«Тут корректно говорить о точности, в рамках конкретного набора данных. Если берем набор данных, снятых в других условиях, это, конечно, повлияет на точность, тогда систему необходимо просто дообучить. Есть различные методы, которые позволяют проводить обучение системы онлайн, корректировать какие-то ошибки. В частности, профессор нашей кафедры Иван Тюкин разработал математический аппарат, который позволяет корректировать ошибки этих сетевых решений, без необходимости переобучения. Это позволяет исправлять неточности, не переобучая модель полностью», – продолжает ученый.

Разработка позволяет проверять состояние сотрудников особо важных инфраструктурных объектов, например, авиадиспетчеров или операторов на атомных станциях. Как отмечает Каплун, также можно фиксировать состояния, когда человек устал, и своевременно предпринять действия, чтобы не допустить критической ошибки, что важно, скажем, для диспетчера, отвечающего за десятки самолетов в воздухе.

Метод распознавания состояния человека через различные камеры сегодня стал настоящим трендом, разрабатываются различные системы, которые призваны обезопасить повседневную жизнь, а еще могут использоваться для маркетинговых исследований и т. п.

«Решение с распознаванием лиц скоро будет применяться в одной крупной сети продуктовых магазинов. Там немного другая цель – распознавание лиц воров по существующей базе. Это позволит вести более тщательное наблюдение за такими нарушителями. В будущем планируется развить эту систему, включив распознавание эмоций. Причем не конкретного человека, а для сбора статистики в целях маркетинга. Понимать степень удовлетворенности покупателя тем или иным товаром. То есть, когда человек проходит мимо стенда с каким-то товаром, считывать эмоции, нравится ли этот товар человеку. На основании этих данных маркетологи смогут сделать вывод, как правильно располагать товар на полках и тому подобное», – рассказал Дмитрий Каплун.

Проект входит в число исследований, которые много лет ведутся специалистами ЛЭТИ по применению моделей на основе машинного обучения для распознавания по видео различных особенностей поведения людей и животных.