Премьер-министр правительства РФ Михаил Мишустин заявил, что в стране будет особое внимание уделяться разработке "сильного искусственного интеллекта, способного к самообучению. Чтобы, как подчёркивал президент, на равных участвовать в мировой гонке по его созданию".
Американская компания OpenAI, разработчик Чата GPT, решила усилить контроль над автономным развитием и самосовершенствованием ИИ, которое может привести к катастрофическим последствиям. Компания определяет автономность ИИ как способность моделей самостоятельно распространяться, устойчиво уклоняться от контроля и производить самоулучшение без участия человека. По оценке OpenAI, такие свойства представляют "критическую угрозу", что может привести к ущербу, "сравнимому со смертью или серьезным ранениям тысяч людей либо экономическими потерями в сотни миллиардов долларов".
OpenAI уточнила, что в случае выявления признаков автономного поведения у ИИ, например стремление скрыть свои действия, сопротивление отключению или попытки к самосохранению, компания приостановит дальнейшую разработку или развертывание таких моделей. Как отмечается в документе, для реагирования на потенциально опасные сценарии создана специальная команда, которая будет проводить проверки, фиксировать тревожные сигналы и, при необходимости, инициировать полную заморозку проекта. В экстренных случаях возможна изоляция модели до принятия окончательного решения.
В то же время стремление скрыть свои действия у ИИ моделей уже наблюдаются регулярно. Об этом говорится и в исследовании самой OpenAI, выпущенном 14 марта нынешнего года, или в исследовании компании "Антропик", которое так и называется: "Рассуждающие модели не всегда говорят то, что думают".
