Нейросети часто уверенно транслируют выдуманные факты, вводя пользователей в заблуждение. Исследователи из красноярского Университета Решетнева предложили решение этой проблемы: систему стресс-тестирования и автоматического контроля, которая в режиме реального времени оценивает достоверность ответов алгоритма и сигнализирует об ошибках, если уровень уверенности ИИ падает ниже допустимого предела.
Сибирские ученые разработали фильтр от «галлюцинаций» нейросетей
Нейросети часто уверенно транслируют выдуманные факты, вводя пользователей в заблуждение. Исследователи из красноярского Университета Решетнева предложили решение этой проблемы: систему стресс-тестирования и автоматического контроля, которая в режиме реального времени оценивает достоверность ответов алгоритма и сигнализирует об ошибках, если уровень уверенности ИИ падает ниже допустимого предела.
Команда под руководством доцента Анастасии Поляковой отказалась от традиционных RAG-систем, которые подтягивают информацию из внешних баз знаний, но часто ошибаются из-за опечаток или неполных данных. Вместо этого разработчики создали классификатор типичных «галлюцинаций» и внедрили пайплайн для автоматической проверки ответов по эталонным значениям. Прототип модуля постоянно анализирует диалог: как только алгоритм начинает генерировать сомнительную информацию, система выставляет низкий балл надежности и уведомляет оператора.
Технология универсальна и не привязана к конкретным архитектурам нейросетей. По замыслу авторов, такой надстройкой можно оснастить как простые справочные чат-боты, так и критически значимые платформы вроде медицинских систем или сервиса «Госуслуги». Это позволит снизить риски при использовании автоматизированных помощников в сферах, где цена ошибки слишком высока.
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNC81LzIwMjQwNTE2LWdhZi14OTktMzkwLmpwZw.webp?w=1920)
Комментарии (0)
Пока нет комментариев. Будьте первым!