Современные ИИ-ассистенты часто опираются на технологию RAG, обращаясь к корпоративным базам знаний для подготовки ответов. Несмотря на это, нейросети склонны генерировать правдоподобно звучащую, но ложную информацию. Существующие решения этой проблемы обычно требуют либо огромных массивов размеченных данных, либо высокой вычислительной мощности для многократной перепроверки генераций.
Российские ученые научили нейросети проверять собственные ответы
Исследователи из Сбера и Сколтеха нашли способ борьбы с «галлюцинациями» больших языковых моделей, не требующий обучения дополнительных классификаторов. Метод, представленный на конференции ACL 2026, анализирует внутренние карты внимания ИИ, позволяя выявлять недостоверные факты в системах с поиском по внешним источникам с минимальными затратами ресурсов.
Разработка российских ученых, получившая название TOHA, работает иначе. Алгоритм изучает топологическую структуру внимания модели, отсекая ответы, которые не находят подтверждения в предоставленном контексте. Тесты на задачах суммаризации и ответов на вопросы показали, что новый подход не уступает по точности таким ресурсоемким инструментам, как SelfCheckGPT. Технология уже интегрирована в открытую библиотеку SIRIN, что упрощает внедрение надежных ИИ-ассистентов в корпоративные процессы.
Комментарии (0)
Пока нет комментариев. Будьте первым!