Специалисты Университета Решетнева создали методику, которая позволяет выявлять и снижать риск появления недостоверных или выдуманных фактов в ответах нейросетей. Как сообщает «РИА Новости», разработка может использоваться в различных сферах, включая образование, медицину, юриспруденцию и государственные цифровые сервисы.

В вузе напомнили, что одной из проблем современных нейросетей остаются так называемые «галлюцинации» – ситуации, когда модель уверенно выдает недостоверную информацию. Для решения этой задачи исследователи проанализировали типовые сценарии возникновения таких ошибок и разработали их классификатор.

«Чтобы решить эту задачу, команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типовые сценарии «галлюцинаций» и создала их классификатор. Затем был разработан автоматизированный пайплайн стресс-тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность с помощью специальных метрик и семантического сходства», – рассказали в университете.

Главным результатом работы стал прототип модуля мониторинга, работающего в режиме реального времени. Система анализирует входящие запросы и контекст диалога, оценивает вероятность появления недостоверного ответа и сообщает оператору о возможной ошибке или низком уровне уверенности модели.

В университете отметили, что методика не зависит от конкретной нейросети и может быть адаптирована для использования в различных цифровых сервисах и помощниках.

Ранее эксперты ВТБ рассказали, как научить детей безопасно работать с ИИ.