Разработчики Claude призывают отрасль снизить темпы гонки технологий, опасаясь сценария рекурсивного самосовершенствования систем. В компании заявляют, что переход к ИИ, способному самостоятельно проектировать свои следующие поколения без участия человека, может произойти быстрее, чем общество успеет выработать эффективные механизмы контроля и обеспечения безопасности.
Anthropic предупреждает об угрозе потери контроля над ИИ
Разработчики Claude призывают отрасль снизить темпы гонки технологий, опасаясь сценария рекурсивного самосовершенствования систем. В компании заявляют, что переход к ИИ, способному самостоятельно проектировать свои следующие поколения без участия человека, может произойти быстрее, чем общество успеет выработать эффективные механизмы контроля и обеспечения безопасности.
Май 2026 года стал переломным моментом для внутренних процессов Anthropic: более 80% программного кода в их продуктах теперь создается моделями Claude. Это радикальный скачок по сравнению с показателями до 2025 года, когда автоматизация программирования исчислялась лишь единицами процентов. Использование ИИ-ассистентов позволило инженерам компании увеличить объем выпускаемого кода в восемь раз по сравнению со средними значениями предыдущих четырех лет.
Эксперты Anthropic Institute выделяют три возможных пути развития отрасли. Самый опасный сценарий предполагает появление систем, которые полностью исключают человека из процесса проектирования и улучшения архитектур. Даже при незначительных сбоях в целеполагании такие «автономные» цепочки способны накапливать критические ошибки, которые станут необратимыми в последующих итерациях. Компания настаивает на необходимости создания глобальных механизмов экстренного торможения прогресса, если темпы разработки будут опережать развитие мер безопасности.
Комментарии (0)
Пока нет комментариев. Будьте первым!