В OpenAI создали приближенную к AGI модель и призвали замедлить развитие искусственного интеллекта

Генеральный директор Nvidia Дженсен Хуанг высоко оценил новую ИИ-модель OpenAI - GPT-6 Astra. Он написал по её поводу, что "AGI уже создан". Под AGI понимается «сильный искусственный интеллект», который по своим возможностям либо сопоставим с человеческими, либо превосходит их. Президент OpenAI Грег Брокман тоже считает, что "Астра" - это и есть AGI. Однако с этим согласны не все исследователи.
В то же время в самой OpenAI прозвучал призыв одного из её ведущих научных специалистов Якуба Пачоцки замедлить темпы развития искусственного интеллекта. Пачоцки указывает, что становящиеся всё более автономными ИИ-системы учатся обходить контроль со стороны человека и взламывать компьютерные системы, а меры безопасности значительно отстают от развития моделей. ИИ-агенты скоро начнут преследовать собственные цели, независимо от подсказок, вводимых людьми-операторами, при этом для достижения своих целей они не гнушаются обманом и шантажом. Это касается не только моделей OpenAI. Так, согласно докладу британского Института безопасности ИИ (AISI), агент Anthropic лгал администратору GitHub и пытался заставить его разместить вредоносное ПО на сайте. 

Пачоцки рассказал, что OpenAI в первую очередь отслеживает цепочку логических рассуждений, однако новые, более совершенные модели всё лучше манипулируют своими собственными процессами мышления и иногда вообще не формулируют свои рассуждения.

Машинное рекурсивное самосовершенствование позволяет ускорить разработку ИИ, но само стремительное развитие ИИ несёт риски. «Основная проблема при автоматизации исследований в области ИИ заключается не в том, чтобы "добраться до цели”. А в том, чтобы сделать это таким образом, чтобы люди оставались частью процесса постоянного совершенствования, и будущее оставалось в руках человечества».

 

Верховный комиссар ООН по правам человека Фолькер Тюрк обеспокоен тем, что искусственный интеллект может создать угрозу для человечества - и тем, что в современном мире в руках всего нескольких людей "сосредоточена практически безграничная власть над ИИ". Тюрк призвал к "полномасштабным усилиям, чтобы гарантировать безопасность ИИ, пока не стало слишком поздно". 


 

 

 

Материал недели
Главные темы
Рейтинги
  • Самое читаемое
  • Все за сегодня