В «Телеграме» появится новый чат-бот, с помощью которого можно искать произведения живописи, которые размещены в цифровой коллекции Государственного Эрмитажа.

Придумали и разработали этот бот магистранты программы «Языковые технологии в бизнесе и образовании» Института дополнительного профессионального образования – «Высшая экономическая школа». Студенты сперва создали недостающие описания картин цифровой коллекции Эрмитажа. Проще всего это сделать с помощью искусственного интеллекта. Но сгенерировать описание картины достаточно легко, а вот как научить компьютер понимать смысл этого описания?

Для решения этой проблемы студенты использовали методы компьютерной обработки естественного языка (NLP). Чтобы машина научилась понимать, что именно написано в описаниях картин, магистранты провели векторизацию текста – перевели тексты в цифры (векторы). После этого была создана языковая функция, которая могла бы обрабатывать текстовые запросы пользователей, переводить их цифровые векторы, сопоставлять с базой описаний картин и выдавать подборку похожих изображений.

Пример: вы хотите найти известную картину, на которой изображен мальчик с лютней, но никакой информации об авторе или о названии у вас нет. В этом случае вы сможете открыть чат-бот и написать: «Молодой человек за музицированием». Механизмы бота проанализируют ваш запрос, сравнят с описаниями произведений из базы и предложат вам несколько вариантов картин, среди которых будет «Юноша с лютней» Микеланджело Меризи да Караваджо.

Вместе с названием и именем автора чат-бот выдаст информацию об истории этого полотна и даже укажет, в каком зале Эрмитажа оно представлено.

Сейчас чат-бот находится на доработке. Но первые тесты показали хорошие результаты – авторы проекта попросили пользователей социальных сетей, не имеющих опыта в искусствоведении, описать несколько картин. Затем они загрузили эти описания в языковую модель, чтобы проверить, как она работает. Тестирование показало, что в более чем 75 процентах случаев модель реагировала на запрос правильно, то есть выдавала нужные картины.