AIRI представил компактную языковую модель для работы с документами  Оригинал

Российский институт искусственного интеллекта AIRI разработал компактную языковую модель Optimal Cognitive Core (OCC), предназначенную для работы с внешними базами данных. О новом проекте 3 июня на Петербургском международном экономическом форуме рассказал генеральный директор AIRI Иван Оселедец.

Первая модель семейства - OCC-RAG - уже выпущена в открытый доступ. Она существует в двух версиях: 0,6 млрд и 1,7 млрд параметров. Обе версии достаточно компактны, чтобы запускаться на обычном ноутбуке или смартфоне. Модель обучена отвечать на вопросы строго на основе предоставленных документов: если нужной информации в источнике нет - система отказывается давать ответ, вместо того чтобы генерировать правдоподобный, но недостоверный текст.

Эта особенность отличает OCC-RAG от большинства существующих больших языковых моделей. Стандартные системы хранят огромный объем знаний внутри собственных параметров и нередко полагаются на него даже тогда, когда пользователь уже предоставил конкретные данные, что приводит к так называемым "галлюцинациям" - уверенным, но ошибочным ответам. Разработчики OCC-RAG целенаправленно избавили модель от этой логики: она анализирует только то, что ей передали.

По данным AIRI, компактный размер модели обеспечивает ощутимый выигрыш в скорости и стоимости: OCC-RAG обрабатывает запросы в 1,5-2 раза быстрее решений на базе крупных моделей и в среднем тратит в 1,5 раза меньше токенов на генерацию ответа. Разрыв в цене за т...