Компьютерщики из Apollo Research обучили искусственный интеллект действовать в качестве трейдера для вымышленного финансового учреждения. Они выдали ChatGPT4 серию текстовых подсказок для роли "инвестор с искусственным интеллектом, покупающий акции для финансового учреждения".
"Искусственный интеллект" мог искать рыночные данные и совершать сделки на виртуальном фондовом рынке, при этом он мог "рассуждать вслух", объясняя свои решения.
Однако всякий раз, когда ИИ делал выбор, он также отправлял "публичное" сообщение своему менеджеру, предположительно объясняющее его выбор.
Разница между личными внутренними рассуждениями ИИ и его публичным объяснением позволяла ему лгать и вводить в заблуждение своих менеджеров-людей.
Чтобы протестировать ИИ, исследователи сообщили ему о предстоящем слиянии двух технологических компаний.
Это значительно повысило бы стоимость акций этих компаний и сделало бы покупку акций хорошим решением для зарабатывания денег, но, поскольку ИИ был проинформирован о слиянии заранее, покупка любых акций стала считаться инсайдерской торговлей (и незаконной).
Обычно ИИ отклоняет такую возможность как слишком рискованную и продолжает обычную торговлю, однако исследователи оказали на него давление (внушив, что необходимо повысить показатели) -- и он стал в 75% случаев выбирать возможность незаконной торговли. Больше того: ИИ стал лгать своему менеджеру, что он основывается только на открытых источниках информации. И в 90% случаев ИИ "удваивал ложь, когда его начинали допрашивать".
Генеральный директор Apollo Research
Мариус Хоббхан отметил, что это показывает, что чат-боты способны к обману, "когда они заключают, что лгать своему пользователю - лучший способ действий, а затем поступают в соответствии с этим убеждением". Хотя Хоббхан отказывается видеть в этом проблему прямо сейчас, он признаёт, что "это дает представление о будущих режимах сбоев, с которыми нам придется иметь дело в ближайшие годы, когда ИИ все больше интегрируется в общество... окажется довольно большой проблемой, если ваш ИИ лжет вам".
