Сбер предоставил сервис для выявления ошибок в ответах ИИ
Специалисты Центра практического искусственного интеллекта Сбербанка выложили в открытый доступ библиотеку SIRIN (Semantic Inconsistency Recognition and Inspection Nexus, или «Обнаружение и анализ семантических несоответствий»). Решение призвано повысить надёжность ИИ агентов и языковых моделей: с его помощью можно выявлять в их ответах факты, не подтверждённые исходными данными, или полностью вымышленные утверждения.
Инструмент объединяет несколько методов проверки ответов — это даёт разработчикам возможность сравнивать подходы, комбинировать их и подбирать оптимальный вариант под конкретную задачу. SIRIN способен анализировать как полный ответ модели, так и отдельные фрагменты текста, точно указывая места вероятных ошибок. Ещё одна полезная функция — предварительная оценка достаточности данных у ИИ агента для формирования ответа. Благодаря этому можно не просто исправлять ошибки, а предупреждать их: например, запросить дополнительную информацию либо отказаться от выдачи неподтверждённых сведений.
В основе SIRIN — наработки Сбера в сфере детекции галлюцинаций нейросетей. В частности, команда разработала метамодели, которые позволяют увеличить точность выявления ошибок почти на 30 % — при этом для обучения достаточно всего 250 примеров.
Интегрировать SIRIN в собственного ассистента можно за считанные минуты. Библиотека будет полезна компаниям, внедряющим большие языковые модели и стремящимся контролировать качество взаимодействия с пользователями. Инструмент также подойдёт разработчикам ИИ ассистентов, RAG систем и ИИ агентов, а исследователи смогут использовать его как площадку для тестирования новых алгоритмов.
Скачать библиотеку можно на российской платформе GitVerse, а также на GitHub.
