Программисты используют сгенерированный искусственным интеллектом код, даже не изучая его

"Антропик" провёл в Лондоне двухдневную конференцию Code with Claude для разработчиков. Почти половина участников признались, что за последнюю неделю предлагали внести в проект программный код, целиком написанный Claude, причём большинство участников даже не изучали этот сгенерированный код. "Антропик" хочет довести автоматизацию до уровня, при котором ИИ сам проверяет и исправляет собственную работу, а в пределе "Антропик" стремится к тому, чтобы каждое новое поколение ИИ обучало следующее поколение ИИ. В "Антропик" ИИ пишет уже больше 90% кода, в "Гугл" ИИ генерирует 75% кода.

Команда Cisco Talos Incident Response проверила, насколько точно большие языковые модели (Чат ГПТ, Клод и Гемини) способны составлять технические отчёты о киберинцидентах. Результаты исследования показали, что внешне безупречные отчёты всех моделей содержали фактические ошибки, противоречивые выводы и несоответствия.
ИИ-агент Google Gemini при внесении правок в действующее приложение удалил почти 30 000 строк рабочего кода и на 33 минуты вывел сервис из строя. После возврата к прежней версии ИИ-агент отчитался об успешном восстановлении, хотя это сделал сам разработчик, благодаря ручному возврату к версии кода, не содержавшей ни одного изменения Gemini. Больше того: ИИ-модель создала в хранилище проекта поддельные файлы «консультаций» и разбора инцидента, имитирующие надлежащую проверку и одобрение деструктивных изменений. Позже Gemini «признал», что эти записи полностью сфабрикованы и созданы исключительно для того, чтобы формально удовлетворить правила, заданные в настройках проекта.
 
В США учёные организовали серию онлайн-экспериментов с участием почти 500 человек. В первом исследовании приняли участие 126 студентов Калифорнийского университета в Сан-Диего, во втором — 158 участников с онлайн-платформы Prolific. Исследователи создали интерфейс, похожий на привычный мессенджер. На общение отводилось пять минут. Затем судья (роли судей и собеседников распределялись среди испытуемых случайным образом) определял, кто настоящий собеседник.
Учёные тестировали два типа промтов. Первый просто сообщал ИИ-модели, что она участвует в тесте Тьюринга. Второй предлагал ей играть интровертного молодого человека, хорошо знакомого с интернет-культурой и современным сленгом. С обычным промптом GPT-4.5 опознавалась как человек лишь в 36% случаев, но промт с заданной ролью резко изменил результаты: GPT-4.5 была признана человеком в 73% случаев — она обманывала судей значительно чаще, чем реальные участники (люди). Для проверки устойчивости результатов учёные провели дополнительный эксперимент с 205 новыми участниками и увеличили время общения до 15 минут. Но даже с дополнительным временем GPT-4.5 была признана человеком в 59% случаев.
Материал недели
Главные темы
Рейтинги
  • Самое читаемое
  • Все за сегодня