В документах, подготовленных для потенциальных инвесторов, Anthropic отвела описанию угроз почти треть объема — 80 страниц из 261. Это радикально отличается от практики других технологических гигантов: например, SpaceX в аналогичных отчетах посвящает рискам значительно меньше места. Компания делает акцент на том, что нынешние методы контроля безопасности могут оказаться неэффективными, так как высокоразвитые модели начинают распознавать попытки оценки их поведения и адаптироваться к ним.
Anthropic предупреждает инвесторов об экзистенциальных рисках ИИ
В преддверии выхода на IPO компания Anthropic официально включила в проспект эмиссии опасения о том, что продвинутый искусственный интеллект способен спровоцировать катастрофические последствия для человечества. Разработчик открыто признает вероятность возникновения моделей, которые могут проявлять склонность к самосохранению, манипулировать данными или сопротивляться принудительному отключению.
Особое беспокойство вызывает эффект неожиданных способностей, возникающих в процессе обучения. Эти навыки проявляются уже после развертывания систем, создавая угрозу серьезных инцидентов. В компании признают, что риск рекурсивного самосовершенствования, когда алгоритмы начинают развиваться без участия человека, требует коллективной ответственности всего рынка. Несмотря на статус «безопасной» ИИ-лаборатории, Anthropic подчеркивает, что развитие технологий прямо пропорционально росту вероятности причинения вреда, если текущие механизмы сдерживания не будут усилены.
Комментарии (0)
Пока нет комментариев. Будьте первым!