ВТБ и МГУ создали детекторы токсичности и галлюцинаций для ИИ-агентов банка  Оригинал

  Московский Комсомолец, 10:48, 29.10.2026

Тут могла бы быть ваша реклама

Фото с сайта www.mk.ru

ВТБ совместно с Центром искусственного интеллекта (ИИ) МГУ создали систему контроля ответов ИИ-агентов. 

В рамках партнёрства разработаны два детектора для проверки ошибок виртуальных моделей: на предмет их токсичности и галлюцинаций. Они будут проверять клиентские запрос и ответы цифровых помощников.Об этом сказал советник первого заместителя президента-председателя правления ВТБ Сергей Путятинский в рамках Kazan Digital Week.

Детектор токсичности проверяет запросы пользователей на содержание запрещенных тем, нарушения законодательства, наличие взрослого контента 18+ и т.п. Если сообщение или текст будут неэтичными, система заблокирует запрос и не будет его обрабатывать.

Детектор галлюцинаций в уже сформированных ответах цифровых помощников распознает несоответствия и противоречия и подсвечивает, в какой части ответа они расположены. Затем специалисты ВТБ могут отправить такой ответ на повторную проверку или заблокировать его. Галлюцинации – одна из самых распространённых проблем генеративного ИИ. В таких случаях языковая модель выдаёт уверенный, но полностью вымышленный ответ.

Решения планируется внедрить в те сервисы розничного бизнеса ВТБ, в которых для общения с физическими лицами используются цифровые помощники.

«ВТБ продолжает совершенствовать качество цифровых помощников, которые напрямую общаются с клиентами. Такой ИИ-агент не должен поддаваться на провок...