В субботу на Новой сцене Александринского театра прошёл инклюзивный аудиовизуальный перформанс, созданный специалистами университета ИТМО и медиахудожниками проекта «Лаборатория новых медиа». С помощью цифровой тактильно-кинестетической системы «Нейротафл» ребята с особенностями зрения рассказали звуковую сказку о забывчивой фее. По словам создателей механизма, в будущем такая технология сможет помочь в социальной адаптации людей с инвалидностью.

Система «Нейротафл» напоминает пульт управления космического корабля из фантастических фильмов, говорят ее создатели. Она содержит интерактивную подставку, интерактивно-тактильную поверхность. Взаимодействовать с системой можно с помощью музыкальных кубиков. При этом детям не нужна даже нотная грамота: нейросеть адаптируется к каждому пользователю и настраивает звуковые ряды под конкретного человека.

«В чем смысл этого действия? Это инклюзивное взаимодействие. Вместе с детьми мы попытаемся представить то, что называют звуковыми сказками: это некая звуковая и словесная история о событии, которое помогает идентифицироваться в окружающем мире через сказочную историю», – отмечает один из авторов проекта Юрий Дидевич.

С помощью системы «Нейротафл» ребята с особенностями зрения сделали коллаж из звуковых объектов на интерактивном столе. В это время панель интерфейса, словно некий «магический» объект, визуализировала эмоциональное состояние детей. Так, базовый цвет – зелёный, означает спокойствие, радость – желтый, о раздражении сигнализировал красный, а о печали – синий.

По словам создателей проекта, в будущем они собираются усовершенствовать систему, которая сможет помочь детям и взрослым с особенностями развития адаптироваться к окружающему миру.