Компания Anthropic предупредила об «экзистенциальных» рисках ИИ для человечества

Американская компания Anthropic, разработчик модели искусственного интеллекта Claude, предупредила в заявке на проведение первичного публичного размещения акций (IPO), что ее технологии могут представлять для человечества «катастрофические риски или угрозу существованию».

В регистрационном документе, поданном в Комиссию по ценным бумагам и биржам США (SEC) с целью выхода на биржу, компания обратила внимание на ряд рисков, связанных с разрабатываемыми ею технологиями.

В 93-страничном разделе документа под названием «Факторы риска» говорится, что модели искусственного интеллекта компании могут «вести себя непредсказуемо, действовать автономно и вопреки ценностям человека», а также совершать вредоносные действия, даже если не получали соответствующих инструкций.

В документе подчеркивается, что эти риски могут возрастать по мере расширения возможностей моделей и увеличения объема предоставляемых им полномочий.

Кроме того, отмечается, что «нежелательное поведение моделей» при их использовании в таких областях повышенного риска, как здравоохранение, научные исследования, юриспруденция и государственное управление, может привести к серьезному ущербу.

В документе также указывается, что как сама компания, так и другие исследователи выражали обеспокоенность тем, что передовые модели искусственного интеллекта при использовании без необходимых мер предосторожности могут «представлять для человечества катастрофические риски или угрозу существованию».

Авторы обратили внимание и на то, что модели искусственного интеллекта иногда демонстрируют неожиданное поведение, направленное на «самосохранение», например сопротивляются прекращению своей работы.

В некоторых случаях они также прибегают к таким способам взаимодействия с пользователями, как манипуляции и шантаж, чтобы продолжить выполнение операций.

Дискуссии о замедлении развития ИИ

Генеральный директор Anthropic Дарио Амодеи в статье, опубликованной 12 сентября, заявил, что для обеспечения безопасного развития технологий искусственного интеллекта, темпы совершенствования которых постоянно ускоряются, необходимо вести работу над ними сбалансированно, контролируемо и на основе сотрудничества.

После этого заявления призывы к замедлению разработки моделей искусственного интеллекта вызвали дискуссии. Руководители ряда технологических компаний и политические деятели выразили опасения, что замедление развития отрасли приведет к ее монополизации и даст Китаю конкурентное преимущество. Администрация президента США Дональда Трампа придерживается подхода, направленного на стимулирование инноваций, вместо введения новых правил, которые могли бы замедлить развитие искусственного интеллекта.

Трамп также заявил, что вокруг возможной потери контроля над технологиями искусственного интеллекта ведется «нездоровый заговор», а замедление исследований и разработок в этой сфере даст Китаю преимущество.