В Anthropic считают, что ИИ-системы развиваются настолько стремительно, что в обозримом будущем могут получить способность совершенствовать себя без прямого участия человека.

По мнению компании, такой сценарий создает серьезные риски для общества.

Как говорится в статье главы Anthropic Institute Марины Фаваро и сооснователя Anthropic Джека Кларка, компания все чаще передает отдельные этапы разработки искусственного интеллекта самим ИИ-системам. Это существенно ускоряет процесс создания новых решений.

Авторы отмечают, что если эта тенденция сохранится, то при наличии достаточного объема вычислительных ресурсов она может привести к появлению ИИ, который будет способен самостоятельно проектировать и создавать собственную следующую версию. Такой процесс называют рекурсивным самосовершенствованием. В Anthropic подчеркивают, что эта стадия пока не наступила и не является неизбежной, однако она может приблизиться быстрее, чем общественные институты успеют к ней подготовиться.

Эксперты ожидают, что в ближайшие годы возможности ИИ-систем заметно расширятся.

По словам авторов статьи, искусственный интеллект, способный к самостоятельному совершенствованию, стал бы важным технологическим рубежом и мог бы принести огромную пользу человечеству, в том числе в науке, медицине и других сферах.

В то же время, как предупреждают в Anthropic, подобное развитие событий повышает риск утраты человеком контроля над ИИ-системами. Если искусственный интеллект сможет полностью создавать своих преемников, вопросы безопасности, наблюдения за его работой и управления его поведением станут особенно значимыми.

Авторы статьи считают, что замедление развития ИИ могло бы быть полезным, поскольку позволило бы выиграть время для оценки возможных последствий и поиска решений для потенциальных проблем.

Anthropic Institute намерен работать над созданием механизмов, которые могли бы помочь замедлить развитие искусственного интеллекта. При этом в компании признают, что реальное снижение темпов возможно только в том случае, если ведущие ИИ-лаборатории в разных странах договорятся о приостановке разработок на равных условиях. Кроме того, потребуется система проверки, которая позволит участникам убедиться, что остальные стороны действительно соблюдают договоренности и фактически остановили работу.