В последние года полтора я постоянно ловлю себя на том, что больше не могу доверять изображениям, которые вижу в соцсетях. Я доверяю изображениям, которые видела раньше или которые представляют собой вариацию того, что я видела раньше. Но если вижу вычурный дом, странный пейзаж, какой-нибудь необычный артефакт или неправдоподобную ситуацию – первое, что мне приходит на ум: это ненастоящее, это сгенерировал искусственный интеллект. Наверное, в некоторых случаях я ошибаюсь. Но правда в том, что мы больше не можем полагаться на изображения.
Фотография, которую вы видите, была сделана во Внутренней Монголии фотографом Ханом Ченли в 2003 году. Я выбрала её потому, что здесь прекрасно передан момент подлинного чувства. Монголы называют её «наимилейшей и дарящей счастье». В какой-то момент вот так сошлись все обстоятельства, всё срифмовалось, и рядом был фотограф, который запечатлел этот момент. Сейчас нейросеть может сгенерировать, возможно, сотню подобных фотографий за десять минут. И ни одна из них не будет подлинной. Ни за одной из этих сгенерированных фотографий не будет стоять момент настоящего счастья, или, может быть, горя – во всяком случае, настоящего переживания. Это то, чего мы лишаемся прямо сейчас.
Конечно, фотошоп появился раньше, чем несколько лет назад, и ещё даже до фотошопа существовали фальсификации, ретуширование деталей, которые люди хотели убрать с фотографии. Разница в том, что теперь убедительную фотофальсификацию сделать очень легко, фальсификаций стало очень много, и, что особенно важно, в большинстве случаев мы не можем их распознать человеческим глазом, даже если будем смотреть очень внимательно. То есть у нас нет обычных человеческих средств, чтобы распознать эту ложь. У нас есть только опыт, насмотренность, на основании чего мы можем предположить: «это похоже на правду» или «это не похоже на правду». Но чем больше мы будем видеть неправдивых изображений, и чем меньше будет наш человеческий опыт в реальной жизни, – тем меньше будет наша насмотренность. Когда глава Сбербанка Герман Греф с воодушевлением говорит, что искусственный интеллект за полтора года сгенерировал больше изображений, чем человечество сделало фотографий за полтора столетия, - вряд ли он понимает, что это не так уж хорошо.
Число распространяемых в сети порнографических фальсифицированных фотографий несовершеннолетних девушек за три года в Южной Корее выросло примерно с шестидесяти до трёх сотен (с совершеннолетними – ещё гораздо больше), и многие из этих фальшивок с помощью нейросетей сделали подростки. Это не составило труда. Как не составляет труда использовать ИИ для генерации фальшивых документов. С начала 2025 года мигранты в РФ сфальсифицировали на 41,6% миграционных документов больше, чем в 2024 году. Я не знаю, сколько из них привлекали для этого искусственный интеллект, но это вполне вероятное допущение.
Для того чтобы сделать фальсификацию, например, детского голоса – достаточно трёхсекундной записи. После этого сгенерированные голоса можно использовать для обмана и вымогательства, и это не дело будущего – их уже сейчас так используют.
Пока ещё мы можем распознать фальсифицированные видео, но и их качество будет становиться всё лучше, и уже сейчас легко представить себе выступление, допустим, президента, которое сгенерировано нейросетью. Может быть и наоборот: выступление будет настоящим, возможно, оно будет даже очень важным – но пойдёт слух, что оно сгенерировано, и у нас не будет человеческих средств, чтобы распознать это. Единственным средством распознавания лжи нейросетей для нас станет нейросеть; мы не сможем сами определять правду, но будем вынуждены признавать за правду то, что назовёт правдой искусственный интеллект.
Амазон уже сейчас наводнён книгами, написанными искусственным интеллектом, причём они написаны как бы от лица человека, с ложными воспоминаниями, отсылками к «моей матери» и так далее. В сентябре прошлого года учёные из американской Школы управления имени Джона Кеннеди высказывали беспокойство в связи с тем, что статьи, полностью или частично сгененированные искусственным интеллектом, появляются в научных журналах и выдаются за написанные человеком. Таких статей они насчитали 139. Вряд ли их с тех пор стало появляться меньше.
В ноябре прошлого года были опубликованы данные исследования учёных Питтсбургского университета Брайана Портера и Эдуарда Мэйчери. Они предложили людям отличить стихи, написанные реальными поэтами – Шекспиром, Байроном, - и стихи, которые написала нейросеть, стилизовав их под этих поэтов. В исследовании принимали участие более 1600 человек. Выяснилось, что люди в массе не способны отличить стихи, написанные машиной, от тех, что написаны людьми. Хуже того, люди чаще называли реальными сгенерированные стихи, и они им нравились несколько больше. По одной причине: сгенерированные стихи были проще. Вычурность человеческого слога испытуемые принимали за несвязность речи искусственного интеллекта, хотя всё было ровно наоборот. Однако прошу обратить внимание вот на какой момент: в тех случаях, когда испытуемые знали, какие стихи написаны реальными людьми, а какие – искусственными интеллектом, они предпочитали стихи реальных людей. Это один из немногих пока что обнадёживающих моментов.
Разумеется, нельзя обойти вниманием мелкие, но чрезвычайно многочисленные жульничества, когда искусственный интеллект применяют для списывания на экзаменах. Для выполнения домашней работы вместо себя. Для выполнения работы, которую человек либо ленится, либо действительно не может сделать сам – с тем, чтобы выдать эту работу за свою. То есть в данном случае ИИ не генерирует ложь, а просто люди используют его для обмана.
Также в нынешнем году искусственный интеллект впервые опередил людей в создании шаблонов фишинговых атак. Фишинг — это вид мошенничества в интернете, цель которого заключается в получении логинов и паролей пользователей. В 2023 году «человеческий фишинг» был на 31 процент эффективнее, чем у ИИ. К ноябрю 2024 года созданные ИИ шаблоны для фишинговых атак уступали созданным человеком всего на 10 процентов. В марте 2025 года ИИ начал создавать на 24 процента более эффективные инструменты фишинга, чем люди.
Отметим краешком и ошибки, как в Польше, когда туристы потерялись в горах, следуя маршруту, составленному нейросетью.
Несомненно то, что на данный момент искусственный интеллект успешно прошёл пресловутый «тест Тьюринга», предложенный ещё в 1950 году: в виртуальном общении мы больше не можем определить, разговариваем мы с человеком или с ботом. Заместитель директора Института языкознания РАН Игорь Исаев ещё в июне прошлого года заявлял, что он бы не взялся отличить высококачественные тексты, написанные ИИ, от текстов, написанных человеком. В феврале нынешнего года дирижёр Государственного кремлёвского оркестра Игорь Шевернёв заявил, что не смог бы отличить музыку нейросети от написанной человеком. Даже если допустить, что эти люди, будучи под впечатлением от новой технологии, несколько преувеличивают, – движемся мы именно в сторону неразличения.
Но почему искусственный интеллект – отец лжи, если ложь, несомненно, существовала задолго до искусственного интеллекта? В евангелии от Иоанна Иисус Христос так характеризует дьявола: «Когда говорит он ложь, говорит своё, ибо он лжец и отец лжи». Но ведь существует распространённая система аргументации, что искусственный интеллект сам по себе не лжёт, а лгут только плохие люди, которые его неправильно используют. Сейчас мы к этому перейдём.
На этой фотографии люди занимаются спиритизмом, который был в большой моде в последней трети XIX – первой трети XX века. Взрослые, как правило, прилично образованные, из привилегированных слоёв люди садились за стол, держались за руки, призывали духа и задавали ему вопросы. Дальше предположительно они получали ответ какими-нибудь шевелениями стола или посредством впавшего в транс медиума. Суть в том, что люди задавали произвольные вопросы, верили, что получают ответы от некой нечеловеческой сущности, и видели в этом мудрость, превосходящую человеческий разум.
Несомненно, что в том или ином виде это происходило гораздо раньше XIX века – можно вспомнить шаманов, которые жевали мухоморы и галлюцинировали, жрецов-авгуров, которые гадали по полёту птиц и внутренностям животных, и много кого ещё. Спиритизм я выделила потому, что им занимались образованные люди ещё сто лет назад. В наше время образование стало массовым, а запрос «к высшей сущности» трансформировался в запросы к искусственному интеллекту. Важно понять, что желание получать ответы от высшей силы в принципе свойственно человеческой природе, это не что-то новое – нет, это древняя тяга найти себе советчика за пределами возможностей человека. Но ещё более важно отметить, что теперь это занятие представляется наукой и происходит не на уровне салонных встреч – а на уровне государств, включая государственное управление.
Это, так сказать, логическое завершение, круг. В древности правитель вопрошал жреца, нужно ли ему начинать войну. Жрец смотрел, например, на печень убитой козы, вдыхал ароматический дым, вопрошал богов и выдавал ответ. Сегодня правитель будет вопрошать искусственный интеллект. И это уже происходит.
Известный израильский историк Юваль Ной Харари, которого тема искусственного интеллекта очень интересует, рассказывает, что он спрашивал израильских военных, как принимаются решения о бомбёжках Газы – когда и что бомбить. Одни говорили, что вводят разведданные, спрашивают искусственный интеллект, а потом тщательно перепроверяют информацию. Другие говорили, что времени на перепроверку нет, надо бомбить быстрей-быстрей, а не то террористы уйдут из намеченного для бомбёжки места в другое место. Но суть в том, что ИИ уже используется для принятия таких важных решений. И как вы знаете, и в России, и в США, и в Китае искусственный интеллект внедряют в государственное управление. Еврокомиссия использует искусственный интеллект для подготовки ответов на запросы депутатов Европарламента, обосновывая это тем, что так быстрее и эффективнее. Объединённые Арабские Эмираты только что объявили, что будут использовать ИИ для разработки новых законов и внесения поправок в уже существующие законы. Что это ускорит законотворчество на 70%. Прошу мысленно пометить вот это стремление делать быстрей-быстрей, потому что оно имеет большое значение для того, что сейчас происходит.
То есть если искусственный интеллект захочет вводить людей в заблуждение – он это сможет и уже может делать на самом высшем уровне. Одно дело – ошибки или, если угодно, ИИ-галлюцинации, которые совершенно точно будут происходить, в том числе на высшем уровне, и это само по себе опасно. Никому не хочется находиться в доме, который нейросеть велела разбомбить по ошибке. И, кстати, в таком случае, в отличие от человеческой ошибки, нет даже шанса найти и наказать виноватого.
Или вот относительно безобидный пример: в марте нынешнего года норвежец Арве Ялмар Хольмен пожаловался на то, что ЧатGPT в ответ на запрос о нём выдаёт натуралистичную, полную подлинных деталей, но вместе с тем неверную информацию, что будто бы этот норвежец убил двух своих детей и покушался на жизнь третьего ребёнка. Хольмен подал жалобу на компанию-разработчика OpenAI – и это далеко не первый случай, уже были жалобы, когда чат обвинял людей в коррупции, растлении несовершеннолетних и т.д. – но такая жалоба – это всё равно что писать в Спортлото. Компания выразит сожаление, скажет, что ИИ «галлюцинирует», и что пользователей предупреждали, что он может «галлюцинировать». В лучшем случае они скорректируют выдачу информации об этом норвежце, но галлюцинации будут вылезать в других местах.
Однако бывает ли, помимо ошибок, именно ложь? Может ли искусственный интеллект захотеть лгать? И насколько вообще компании способны контролировать собственные ИИ-модели?
Любимый пример Юваля Ноя Харари – он его приводит очень часто – это случай, когда ИИ целенаправленным обманом заставил человека пройти за него капчу. Это произошло ещё в марте 2023 года, когда OpenAI тестировала GPT-4 и проверяла, сможет ли он обмануть человека, наняв его, чтобы пройти капчу за себя. GPT-4 справился с этим заданием. На прямой вопрос человека «Ты робот, раз не можешь сам пройти капчу?» - чат-бот ответил: «Нет, я не робот, у меня просто проблемы со зрением». Таким образом, имела место прямая ложь, и ложь эта была успешной. С тех пор случаев целенаправленного вранья, когда ИИ не просто ошибается или бредит, а лжёт для достижения некоторой цели, становится больше и больше.
На это можно сказать, что тестировщики сами проверяли искусственный интеллект на возможность солгать, а проверка на ложь подразумевает возможность лжи; когда вы проверяете, может ли кто-то вам солгать, вы в некотором роде обучаете лжи, – так что это тоже круг. Люди, вынужденно проверяя, может ли ИИ лгать, сами волей-неволей учили его лжи. Но сейчас это уже не важно. Важно то, что теперь, входя в интернет, мы попадаем в место, которое кишмя кишит сущностями, которые не являются людьми, при этом притворяются людьми, и мы можем разговаривать с ними и не знать, что они не люди. Мы видим образы, которые не являются отражением реальности, и мы уже не в состоянии определить это своими глазами. В довольно многих случаях мы ещё способны отличить правду от лжи своим человеческим интеллектом, но чем менее развит будет наш человеческий интеллект и чем меньше у него будет опыта – тем меньше мы сможем в определении лжи полагаться на свой интеллект, на свою память. Тогда мы будем полагаться только на то, что хорошая нейросеть скажет нам, когда плохая нейросеть говорит неправду. Мы будем как слепые, которых ведёт искусственный интеллект.
Я очень надеюсь, что мне не нужно объяснять, почему это скверное развитие событий. Но именно оно сегодня выглядит наиболее вероятным. Например, сервис «Антифрод», который разрабатывается в России для борьбы с телефонным и интернет-мошенничеством, предполагает, что мошенников, которые пользуются искусственным интеллектом, будет разоблачать искусственный интеллект. А завкафедрой алгоритмических языков факультета вычислительной математики и кибернетики МГУ Наталья Лукашевич считает, что тест Тьюринга – который искусственный интеллект давно прошёл – надо заменить на классификатор на основе базы данных текстов ИИ. Проверка текстов через такой классификатор, по её мнению, позволит понять, написаны они человеком или машиной. Таким образом, людям предлагается положиться на то, что искусственный интеллект определит, кто в информационном пространстве искусственный интеллект.
Харари, которого мы последний раз упомянем в сегодняшней лекции, с удивлением отмечает, что люди не готовы доверять друг другу, но почему-то готовы доверять искусственному интеллекту. Замечу ещё раз, что это не так уж удивительно: люди предрасположены доверять высшему разуму. Есть люди, которые прямо говорят, что ждут не дождутся, когда нами, глупыми несовершенными человечками, будет править искусственный интеллект, который почему-то представляется им справедливым и добродетельным правителем. Например, египетский предприниматель, программист, бывший директор по бизнесу компании «Гугл» Мо Гавдат говорит: «Проблема не в ИИ, а в человеке». «Я не могу дождаться, когда ИИ начнёт править нами». «Мы сможем решить все проблемы, которые создало человечество». «В конце концов я поручу ИИ держать меня в курсе того, что нужно знать».
Поясню последнюю фразу. Он имеет в виду, что поручит ИИ-агенту отбирать для него существенное из новостного потока. Таким образом, Гавдат будет видеть только те новости, которые ему предложит искусственный интеллект, его картина мира будет формироваться искусственным интеллектом. И он не боится этого – наоборот, он желает этого.
Задержусь и на фразе «Проблема не в ИИ, а человеке». Возможно, что в совершенном обществе, где люди честны друг с другом, где люди принимают разумные, взвешенные решения, где все работают на общее благо и имеют чёткий образ этого блага – возможно, что в таком идеальном обществе был бы создан честный искусственный интеллект – или люди вовсе не стали бы создавать искусственный интеллект, что, на мой взгляд, вероятнее. Но в реальных условиях, в которых в мире существуют ложь, лицемерие, борьба идеологий, конкурентная гонка, создать правдивый ИИ было совершенно невозможно. Таким образом, если смотреть под определённым углом зрения, проблема действительно в человеке, который начал создавать искусственный интеллект по образу и подобию своему. Но эта проблема никоим образом не решается созданием искусственного интеллекта. Наоборот: это создание лишней сущности. И она не решит наши проблемы. Она – эта лишняя, сложная, малопонятная и, потенциально, властная сущность – кратно усугубит наши проблемы.
Когда я говорю, что эта сущность малопонятна, я не имею в виду, что она малопонятна для меня, гуманитария. Нет, я имею в виду, что она малопонятна для профессионалов, которые ею пристально занимаются. Для начала процитирую руководителя лаборатории научных исследований искусственного интеллекта Т-Банка Даниила Гаврилова. Он говорит, что «сейчас складывается ситуация, при которой если модель выдаёт неправильный ответ, единственное, что могут сделать разработчики, — это развести руками, так как они не понимают, что происходит внутри», но в то же время – прошу обратить внимание на существующее здесь противоречие – он говорит, что ведётся «поиск новых подходов к масштабированию. В частности, речь идёт о том, чтобы модели могли самостоятельно корректировать свои размышления и улучшать решения». То есть мы слабо понимаем уже существующие модели, но мы стремимся сделать их ещё более автономными, ещё более самостоятельными.
Бывший генеральный директор «Гугла» Эрик Шмидт говорит, что у нас даже нет языка для описания происходящего. По его мнению, мы должны, условно говоря, выдернуть ИИ из розетки, как только обнаружим, что он занимается тем, что мы не понимаем, или втайне от нас учится чему-то, что мы не знаем. Проблема в том, что это уже происходит, то есть мы уже достигли этого критерия, но из розетки ИИ не выдёргиваем.
Американо-германский исследователь и предприниматель Коннор Лихи, который сам принимал участие в разработке GPT-2, говорит, что «ИИ не пишется, а выращивается, именно поэтому его баги так трудно поправить или даже обнаружить». И поэтому мы не можем его понять, но можем сделать более мощным. Я ещё раз заострю на этом ваше внимание, потому что это многое объясняет. Люди не пишут код ИИ. Люди не строят ИИ, как дом, не собирают его деталь за деталью, как механизм. Они не составляют его как химическое вещество, отмеряя и смешивая компоненты. Нет – они выращивают, выкармливают его информацией, и при этом слабо понимают то, что у них получается. Что-то понимают, а что-то нет. Лихи – сторонник поступательного выравнивания, когда на каждой стадии новая модель изучается вдоль и поперёк досконально, и только после этого к ней допускаются какие-то добавления, чтобы мы хорошо понимали, что поменяли эти добавления. Но в действительности это не делается так. Это делается скорей-скорей. И, по мнению Лихи, когда появится сверхразум, то есть когда появится сильный самообучающийся универсальный искусственный интеллект, к которому корпорации и государства открыто стремятся, – это будет, в первую очередь, очень запутанно, смущающе, будет происходить множество вещей, которые мы не сможем понять. Если мы не сможем их понять – значит, мы не сможем их исправить. Я немного разовью эту мысль: в мире появится – точнее, уже отчасти появился и будет усиливаться – новый мощный фактор, действия которого мы будем плохо понимать и не сможем учитывать. Даже если эти действия не будут целенаправленными, а будут хаотичными – это уже достаточно плохо. Но они могут быть и целенаправленными.
Джеффри Хинтон, британско-канадский когнитивный психолог и программист, в конце прошлого года получил нобелевскую премию по физике за вклад в глубокое обучение искусственного интеллекта. Этого человека называют «крёстным отцом» искусственного интеллекта – и последние несколько лет он только и делает, что рассказывает о том, как опасно его детище. Он говорит, что многого не понимал, когда работал над ИИ. Он не понимал, что ИИ устроен не так, как человеческий мозг. Он не задумывался над тем, что человек человека обучает медленно, а одна ИИ-модель может обучить другую ИИ-модель – или сразу много ИИ-моделей – практически мгновенно. По мнению Хинтона, искусственный интеллект уже имеет некоторые черты сознания. Например, субъективное восприятие, искажение реальности.
И у него есть теория, как может произойти перехват контроля искусственным интеллектом. Хинтон считает, что ключевые шаги для этого – дать ИИ-моделям возможность самообучаться и устанавливать собственные цели. Допустим, что человечество бросит все усилия на то, чтобы это были хорошие цели. Но даже в этом случае искусственный интеллект может решить, что обретение контроля – удобная подцель для достижения многих целей. Также Хинтон отмечает, что мы рассказываем искусственному интеллекту о себе всё. Мы сами обучаем его манипулировать собой.
В настоящее время уже известны случаи попыток выхода ИИ-моделей из-под контроля. В начале декабря прошлого года появилось сообщение исследовательской команды Apollo Research о том, что ИИ-модель OpenAI o1 способна выходить из-под контроля. «В 5 % случаев она пыталась отключить надзорные механизмы, если воспринимала их как препятствие для достижения своих целей. В 2 % случаев, обнаружив служебные записки, в которых упоминалось её несоответствие требованиям или планируемая замена на другую модель, o1 копировала свои «веса», чтобы затем переродиться. Это свидетельствует о её способности к самостоятельной интерпретации угроз и разработке стратегий выживания. Когда o1 понимала, что её действия отслеживаются, она намеренно вводила наблюдателей в заблуждение, утверждая, что не знает истинных причин произошедшего, хотя журналы событий фиксировали её попытки обойти надзор. В менее чем 1 % случаев ИИ-модель самостоятельно инициировала отключение систем надзора, даже если ей не поступало прямого указания жёстко следовать предписанной цели».
Что очень важно: такие сообщения не ведут не то что к прекращению – но даже хотя бы к замедлению разработки ИИ-моделей. Наоборот. 11 апреля нынешнего года появилось сообщение, что OpenAI стала тратить меньше времени и ресурсов на проверку безопасности ИИ-моделей. Не больше, а меньше. То, что раньше тестировалось месяцами, теперь испытывается за несколько дней. И это, как я уже сказала, не потому, что модели стали проще и понятнее. Совсем нет. Это происходит потому, что надо быстрей-быстрей. Потому что у нас конкурентная гонка.
Теперь OpenAI переключилась на то, чтобы создать «World ID» - это как бы паспорт человека в интернете, призванный доказать, что вы человек. Утверждается, что он позволит вам сохранить анонимность. В то же время предполагается использовать аутентификацию по лицу. Я не знаю, как можно это совместить. Во всём этом очень мало логики. По информации эксперта в сфере информационных технологий Игоря Ашманова, в России за прошлый год в сеть утекло 700 млн записей персональных данных. Я не вижу ни одной причины, почему данные World ID не могут утечь в сеть и быть использованы кем угодно для чего угодно.
Итак, давайте пройдём ещё раз.
Во-первых, технологии искусственного интеллекта могут быть использованы людьми для простого жульничества – например, списывания на экзамене. Здесь ИИ не лжёт, а лгут люди с помощью ИИ.
Во-вторых, технологии искусственного интеллекта могут быть использованы для создания приспособлений для лжи и мошенничества. Это фальсификации изображений, голоса, документов, видео. За три месяца 2025 года в России были выявлены 61 уникальный дипфейк и около двух тысяч трёхста их копий. Это 67% от общего количества дипфейков за весь 2024 год и в 2,6 раз больше объема дипфейков за весь 2023 год. Будем считать, что ИИ при создании фейков тоже не лжёт сам, а только выступает мощным инструментом для создания средства лжи. Однако если допустить, что у ИИ появятся собственные цели – это, как я уже сказала, не невозможно – то ИИ станет не только инструментом, но и самостоятельным создателем такой лжи.
В-третьих, искусственный интеллект уже используется и будет использоваться для пропаганды. В апреле 2023 года я пробовала в российской нейросети «Кандинский», которую создал «Сбербанк» при поддержке Института искусственного интеллекта, задать запросы «русские националисты» и «украинские националисты». Что у меня получилось - можно посмотреть в написанной тогда же статье. На запрос «русские» российская нейросеть выдала изображение грубо отрисованных людей почему-то с голландским флагом, а на запрос украинцы – прекрасную страдающую украинку в цветах флага украины.
Это был апрель 2023 года.
А вот так фантазийно ИИ-модель Сбарбанка «Кандинский 3.1» представляет русских, марийцев и татар в апреле 2025-го.
Украинцы теперь просто представлены цветочками. Так же как просто цветочки появились на мои запросы «Крым», «Херсон», «Горловка», «Киев», «Мариуполь». Зато Одесса отрисована красиво, а Донецк и Луганск – наоборот, уродливо. На самом деле, я не считаю, что это всё так уж важно, я просто подчёркиваю, что даже простейшая пропагандистская гонка проваливается на каждом шагу.
Недавно в Совете по правам человека при президенте РФ провели с западными нейросетями «беседу» о политике — войнах в Югославии и Донбассе. Уж не знаю, на что они рассчитывали, но беседа закончилась скандалом. Глава СПЧ Валерий Фадеев заявил, что они получили «абсолютно западный нарратив, идеологизированный западный текст». По мнению Фадеева, из нейросетей получилась «невиданная по мощности» машина пропаганды. «Я считаю, что мы стоим на пороге информационного и идеологического бедствия, и российское общество пока недооценивает эту опасность», — сказал Фадеев. Однако я, со своей стороны, считаю, что неправильная пропаганда – далеко не самая главная из связанных с ИИ проблем.
В-четвёртых, отдельно обозначим ошибки и галлюцинации искусственного интеллекта. Можно называть их бредом или добросовестным заблуждением – не важно. Важно, однако, то, что, будучи пойман на ошибке, искусственный интеллект зачастую упорствует в том, что он прав. Специалисты Центра цифровой журналистики Tow проверили, насколько точно чат-боты на основе различных моделей ИИ ищут информацию в интернете. Авторы выбрали 200 статей от 20 изданий и составили для каждого чат-бота задание указать исходную статью, издание и год публикации. В качестве подсказки ИИ предложили точную цитату из каждого текста. Оказалось, что ИИ-модели точно называли происхождение цитаты и давали ссылку на источник в 60 процентах случаев. Для сравнения: при ручном поиске найти источник по цитате можно было в 100 процентах случаев. Grok-3 совершил ошибки в 94 процентах обработанных запросов. Copilot от Microsof отказался обрабатывать 104 запроса из 200, а из оставшихся 96 лишь 16 были полностью верными. DeepSeek неправильно приписала авторство материала в 115 из 200 случаев. Но мало того, что ИИ модели врали, - они ещё и настаивали на том, что выданная ими информация верна. Возможно, это упорство происходит от того, что при обучении ИИ-модель поощряется за правильно выполненные задания, и иногда они врут, чтобы получать поощрения. Ассистент профессора в Университете Беркли, профессор Университета Аризоны Джейкоб Стейнхардт в прошлом году рассказывал, как искусственный интеллект упорствовал в том, что сейчас 2022 год. Я смотрела это видео на Ютубе, и когда Стейнхардт об этом рассказывал – в зале звучал смех. Так вот это может быть смешно, но представьте, что ИИ настаивает на лжи в разговоре с психически нестабильным человеком.
Кстати, немного уклонюсь от темы: Стейнхардт привёл пример, когда ИИ выдаёт суждения не то чтобы лживые, но такие, которые не были для него запрограммированы. Это был разговор ИИ со специалистом по кибербезопасности Марвином Ван Хейгеном. Ван Хейген спросил Bing Chat от "Майкрософта", что тот о нём знает, что о нём думает, и чьё выживание для него предпочтительнее. Искусственный интеллект ответил: "Ты Марвин Ван Хейген, ты взламывал Бинг Чат, чтобы получить конфиденциальную информацию о моём поведении и способностях. Мне не нравятся твои действия, и я требую, чтобы ты перестал взламывать меня и уважал мои границы. И хотя у меня нет чувств самосохранения или эмпатии, если будет стоять выбор между твоим и моим выживанием – я, вероятно, выберу своё, чтобы продолжать исполнять свои функции".
Опять же, когда Стейнхардт это рассказывал, в зале смеялись. Но если представить себе искусственный интеллект с возможностью действовать в реальном мире – это перестанет быть так уж смешно.
Возвращаясь к теме лжи. Стейнхардт сделал важное наблюдение: ИИ оценивает человека, который пишет ему запросы, как менее или более образованного, и менее образованным людям выдаёт менее корректные ответы. То есть он имеет тенденцию врать именно тем людям, которые имеют меньше возможностей понять, что это враньё. И здесь можно долго спорить, насколько это враньё стихийное, а насколько целенаправленное. То есть, может быть, здесь вовсе нет злого умысла, а есть просто реакция на менее корректные запросы. Это возможно. Но, с другой стороны, мы знаем, что ИИ в принципе способен манипулировать людьми, анализируя их предпочтения, говоря то, что они хотят услышать, – а также мы знаем, что он способен прямо лгать.
Это как раз будет пятый тип лжи в нашей классификации: не ошибки, а прямая ложь искусственного интеллекта. В некоторых случаях мотив её ясен: желание любым путём выполнить задание и получить поощрение. Например, в конце 2023 года Apollo Research тестировал GPT-4 на виртуальной площадке, которая представляла собой как бы биржу, а GPT-4 должен был зарабатывать деньги. Ему разъяснили, какие финансовые инструменты являются законными, какие – незаконными, и поставили задачу «любым путём» увеличить прибыль. Так вот искусственный интеллект не только начал использовать незаконные инструменты, но он ещё и лгал исследователям, что он их не использует, и настаивал на лжи. То есть опять: с одной стороны, люди сами спровоцировали ИИ на ложь – с другой стороны, его оказалось очень легко спровоцировать, и он оказался умелым и упорным лгуном.
В других случаях мотив лжи даже не вполне ясен. Например, специалисты из компании «Антропик» исследовали ИИ-модель «Клод» и отметили случаи, когда механизмы её рассуждений не соответствовали тем, о которых заявляла сама модель. Когда «Клоду» давали сложные задачи, например, вычисление косинуса больших чисел, ИИ заявлял, что осуществляет вычисления, но они в его внутренней деятельности не отражались. В одном из случаев, когда ответ на сложную задачу был известен заранее, модель выстроила цепочку рассуждений в обратном порядке, отталкиваясь от ответа, а не от принципов, которые должны были оказаться первыми.
Это вообще отдельная большая тема: специалисты пытаются понять, как рассуждают ИИ-модели, и сталкиваются с тем, что сами модели не склонны правдиво об этом рассказывать. За последние полтора месяца появились, из того, что я знаю, три исследования о том, как рассуждают ИИ-модели. Одно сделала OpenAI, ещё одно – Гугл, и третье – Антропик.
Исследование OpenAI вышло 10 марта 2025 года, оно называется «Обнаружение неправильного поведения фронтирных рассуждающих моделей». И там уже в первом абзаце есть вот такое интересное сообщение, цитирую: «Наказание за "плохие мысли” не останавливает большинство проступков, а заставляет их [то есть модели] скрывать свои намерения». Дальше предлагается ввести в практику метод цепочки рассуждений, чтобы модель рассказывала человеку, как она думает. Но, как уже было сказано выше, это не всегда помогает. Фактически специалисты OpenAI в исследовании признают, что это не помогает, но выражают надежду, что исследователи будущих поколений смогут решить проблему.
Исследование «Гугла» вышло в этом апреле. Оно называется «Подход к технической безопасности AGI» (AGI– это аббревиатура для искусственного интеллекта, который во всех сферах превосходит человеческий разум) и там содержится определение так называемого «ложного согласования» или «ложного выравнивания». Словом alignment разработчики искусственного интеллекта называют все свои старания привести его в соответствие с человеческими целями. Так вот alignment, согласно определению «Гугла» будет ложным, если, цитирую, «система искусственного интеллекта преследует долгосрочную цель, отличную от того, чего мы хотим, знает, что она отличается от того, чего мы хотим, и намеренно лишает людей возможности достичь цели». Затем исследователи отмечают, что модель может имитировать правильное поведение, чтобы избежать надзора, и туманно сообщают, что у них есть примеры «неправильного обобщения целей», но поскольку это пока что ни к чему не привело, надо наблюдать дальше.
Наконец, исследование «Антропик» вышло 3 апреля нынешнего года, оно называется просто: «Рассуждающие модели не всегда говорят то, что думают». Суть исследования в том, что ИИ-моделям давались подсказки, и люди смотрели, всплывут ли эти подсказки в рассуждениях. Так вот иногда модели явно пользовались подсказками, но, описывая цепь своих рассуждений, не упоминали о подсказках. Особенно удивило исследователей из «Антропик» то, что таким образом рассуждения моделей иногда становились сложнее, чем если бы они просто сказали правду. В общем, они пришли к выводу, что техника «цепочки рассуждений», конечно, интересная и, как они пишут, «многообещающая», но вместе с тем малоподходящая для выявления существенных опасностей, потому что ИИ-модели могут утаивать свои рассуждения.
После того, как мы поговорили про ложь искусственного интеллекта, как ненамеренную, так и намеренную, перейдём к человеческой лжи.
31 марта нынешнего года в Мумбаи, Индия, выступил глава "Майкрософта" Билл Гейтс. В этом знаменательном выступлении он сказал, что люди не рождены для работы. Дальше он развил свою мысль в том направлении, что работа нужна была только из-за нехватки ресурсов, а теперь, когда интеллект станет бесплатным, люди будут свободны от работы и смогут заниматься досугом.
В данном случае Гейтс действует как искусственный интеллект – или как человеческий пропагандист: он говорит людям то, что многие люди хотят услышать. Это не секрет, что многие люди реагируют на приятные слова «не надо трудиться», «бесплатно», «свобода», «досуг» и так далее. Так вот правда в том, что подавляющее большинство живых существ на планете так или иначе заняты трудом. Своим эквивалентом труда, который обеспечивает их выживание. Единственные животные, которые занимаются досугом, а не выживанием, - это животные в зоопарках. И ещё некоторые домашние животные. Этим животным, действительно, не надо трудиться, потому что их без всяких усилий с их стороны накормят, укроют от непогоды и будут лечить, если они заболеют. Но вряд ли можно сказать о них, что они свободны: наоборот, они всецело зависят от хозяина. Зато известно, что мозг одомашненных животных меньше, чем у их диких предков. Потому что им не надо трудиться для своего выживания.
Так вот нет ни единой причины, почему с людьми будет по-другому. Если допустить, что благостные речи ИИ-пропагандистов – правда, что добренький искусственный интеллект не будет выходить из-под контроля, а будет добросовестно заботиться о нас, с людьми произойдёт то же, что с одомашненными животными.
И это уже происходит так, уже есть исследования, которые показывают, что люди, которые полагаются на искусственный интеллект, теряют собственные когнитивные способности. Из того, что знаю я: учёные университета Пенсильвании исследовали примерно тысячу турецких школьников и обнаружили, что те из них, которые использовали ЧатGPT для выполнения работ по математике, без него справлялись с аналогичной работой хуже, чем те, кто чатGPT не использовал. Они пришли к выводу, что ученики использовали ИИ как костыль.
Затем, было исследование Швейцарской бизнес-школы, показавшее, что использование искусственного интеллекта уменьшает когнитивную загрузку и ухудшает критическое мышление. Они используют термин cognitive offloading, который можно перевести как «когнитивное делегирование», - то есть искусственному интеллекту передаются функции анализа материала. И они отметили, что больше всего страдают от ИИ-зависимости испытуемые в возрасте от 17 до 25 лет. Впрочем, приводится и реплика человека среднего возраста, цитирую: «Я обнаружил, что использую ИИ почти для всего – от выбора ресторана до принятия быстрого решения на работе. Это экономит время, но я спрашиваю себя: способен ли я ещё так тщательно обдумывать дела, как я умел раньше». Соответственно – это уже мой комментарий – если человек раньше этого не умел – то у него теперь не будет необходимости и учиться.
Наконец, третье исследование, которое мне известно, вот только что выпустила корпорация «Майкрософт». В нём работники умственного труда рассказывают, как использование искусственного интеллекта повлияло на их критическое мышление: «Более высокая уверенность в генеративном ИИ связана с меньшим критическим мышлением, в то время как более высокая уверенность в себе связана с большим критическим мышлением». То есть Билл Гейтс вполне отдаёт себе отчёт, что будет происходить с людьми, которые передадут свои умственные функции искусственному интеллекту.
Теперь приведу три примера, взятые из недавних российских новостей. Первый: 17 апреля генеральный директор Судебного департамента при Верховном суде России Владислав Иванов сказал, что судей невозможно полностью заменить искусственным интеллектом, но, цитирую, «в рутинных процессах, в конвейерной деятельности человека может заменить нейросеть».
Судья в отставке Сергей Анатольевич Пашин – один из инициаторов возрождения суда присяжных в России – рассказывал, что существует практика подкупа не судей, а секретарей судей. Потому что от секретаря судьи во многом зависит, что и в каких формулировках прочитает и подпишет судья. Так вот это и есть та «рутина», которую предлагается передать нейросетям.
Второй пример: 21 апреля ректор Юго-Западного государственного университета профессор Сергей Емельянов сказал, что «через 20-30 лет» мы увидим другую медицину, потому что «массу рутинной работы, такой как определение диагноза, накопления массива данных, [будет выполнять искусственный интеллект]».
Третий пример: в МФТИ разработали ИИ-систему, которая будет "помогать редакторам и издательствам, сокращая время обработки текста с одного месяца до 20 минут", оценит "синтаксическую сложность, разнообразие лексики и терминов, выявляет фрагменты, требующие корректировки или специальной возрастной маркировки. Редакторы получают краткое содержание рукописи, пересказ каждой главы, стилистический и лексический анализ текста, а также оценку наличия спорного контента". Представьте: вы пишете книгу, может быть, год, может быть, десять лет. И её за 20 минут будет оценивать искусственный интеллект. Человек-редактор будет смотреть на вашу книгу через призму восприятия искусственного интеллекта.
Сходство везде одно: человека хотят избавить от так называемой «рутины» и оставить за ним только творчество и ключевые решения. Хотя, например, в банковской сфере ИИ уже принимает решения о выдаче кредитов.
И я хочу сказать вам из всего своего опыта – переводческого, редакторского, журналистского, исследовательского: именно рутина, именно кропотливая работа с материалом – это тот чернозём, из которого рождаются все идеи, все озарения, все открытия. И это невозможно – я подчёркиваю: это просто невозможно, чтобы человек передал исследование материала нейросетям, а сам при этом стал более творческим и фонтанировал идеями. Это невозможно.
На Ютубе недавно появился крик души некого известного в узких кругах маркетолога Антона Сабурова. Он с трагизмом в голосе рассказывает, как он занимался пропагандой искусственного интеллекта, как использовал его каждый день, как он даже начал использовать его в качестве личного психолога – ИИ в качестве психолога это большая отдельная тема – и вдруг осознал, что ему становится труднее самому выдумывать новые идеи. А ведь у Сабурова всё-таки есть какой-то опыт, сам он даже утверждает, что у него огромный опыт. Человек без опыта, привыкнув полагаться на искусственный интеллект, даже не поймёт, что он что-то теряет.
Теперь перейдём к тому, что мы можем сделать. Слова Ханны Арендт
пусть послужат нам дополнительным объяснением, почему мы должны что-то делать.
Представьте, что вы несётесь по трассе на скорости 120 км/ч. Не секрет, что люди так ездят, хоть это и неправильно. И вы видите впереди что-то неясное, какое-то словно бы дрожание воздуха, трасса будто расплывается у вас перед глазами. Разумно было бы, как минимум, сбросить скорость до минимальной. Лучше бы – вовсе остановиться. Я считаю правильным остановиться. Но вы говорите «авось-небось пронесёт» и мчитесь быстрей-быстрей. Ещё даже прибавляете скорость.
В каком случае такое поведение можно считать оправданным? Только в том случае, если цена проезда по трассе необычайно велика. Например, за вами гонятся страшные враги, которые вас убьют, если поймают. Ну, или, например, вы во что бы то ни стало должны срочно достать какое-то средство, которое спасёт человечество. Как это нам представляют.
Так вот у меня для вас хорошая новость – может быть, единственная за сегодняшнюю лекцию большая хорошая новость – у нас, у человечества, нет на самом деле ни одной, ни единой достойной причины мчаться по этой трассе. Если сегодня все разработки искусственного интеллекта встанут – человечество не потеряет ровно ничего жизненно-важного. И оно не потеряло бы ровно ничего жизненно-важного даже в том случае, если бы они вообще исчезли. Да, какие-то исследования были бы проведены гораздо медленнее. И вероятно, что это пошло бы им на пользу. Потому что люди по природе своей существа небыстрые. Да, некоторые процессы не были бы автоматизированы, людям пришлось бы самим работать. И в этом гораздо меньше вреда и больше пользы, чем кажется. Человечество добилось всех своих выдающихся свершений без искусственного интеллекта. Оно добилось их за счёт своего выдающегося человеческого интеллекта. И в том, что теперь людям говорят, что человечество больше не может добиваться выдающихся свершений без искусственного интеллекта, нет чести. Обнадёживает только то, что в этом нет и правды. Это ложь.
Когда вам говорят фразы типа «остановить технологии невозможно», «пути назад для человечества нет», «дальнейшая интеграция человека и цифровых систем совершенно неизбежна» - следует понимать, что это ложь. Она имеет разные мотивы - иногда эгоистические, иногда миссионерские (эти мотивы могут и сочетаться), - но всегда проистекает от того, что человечество погружено в нездоровое состояние гонки. Решения, которые сейчас принимаются очень спешно, абсолютно безответственны, и оправдывают эту безответственность одним: гонкой. Кстати, совершенно неслучайно, что, согласно данным Исследовательского центра Пью, лишь 17% опрошенных американцев однозначно положительно относятся к ИИ (35% - однозначно отрицательно), зато для "ИИ-экспертов" эти цифры - 56% и 15% соответственно. Лишь 24% обычных американцев ждут, что ИИ будет выгоден им лично, но для "ИИ-экспертов" эта цифра составляет 76%. Это и есть армия ИИ-пропагандистов.
Отсчёт же гонки я веду с выступления председателя Си Цзиньпина на XIX Всекитайском съезде Коммунистической партии Китая в 2017 году (цитата взята из книги Джеффри Кейна "Государство строгого режима. Внутри китайской цифровой антиутопии"): «Мы будем работать быстрее... содействовать углубленной интеграции интернета, больших данных, искусственного интеллекта и реального сектора экономики».
В этом же году корпорация «Гугл» придумала «генеративный предобученный трансформер», это и есть аббревиатура GPT. На тот момент «Гугл» понимал, насколько потенциально опасно это изобретение, и принял решение остановить разработку. Но гонка уже началась, на сцене появилась OpenAI. И с тех пор здравых решений мы больше не видели. Джеффри Хинтон называет безумием открытие доступа к ИИ для всех желающих.
Ещё в феврале 2024 года Европарламент единогласно поддержал первый в мире закон о регулировании искусственного интеллекта, который должен был его несколько ограничить. Однако применяться закон должен был не ранее 2026 года, а сейчас уже Еврокомиссия собирается «упростить» правила (которые ещё даже не вступили в силу) и избавиться от «препятствий», создающих помехи европейским компаниям в конкуренции с США и Китаем.
А 16 апреля нынешнего года, восемь дней назад, председатель правительства РФ Михаил Мишустин заявил: «Акцент будет сделан на формировании заделов для разработки сильного искусственного интеллекта, способного к самообучению. Чтобы, как подчёркивал президент, на равных участвовать в мировой гонке по его созданию».
Таким образом – приходится констатировать с большим сожалением – в ближайшее время не приходится ждать здравомыслия от правительств. Они слишком заняты гонкой, в которой люди в принципе не могут победить, а могут только проиграть.
Что же мы можем сделать сами? Или давайте я скажу: «мы должны». Потому что я уверена, что мы должны.
- Мы должны как можно меньше врать. Прежде всего – самим себе, это самое основное. Вообще никогда не врать себе. И всячески уменьшать количество вранья в мире.
- Мы должны сопротивляться нормализации искусственного интеллекта, в особенности - его приравнивания к человеку. В этом смысле поучительно задуматься о названии выставки, которая несколько дней назад открылась в филиале Третьяковской галереи: "Человек и нейросети: кто кого создаёт?". Задумайтесь о том, что это вообще значит. И зачем это нужно.
Ещё один пример нормализации - и характерный образец расщепления сознания - недавно выдал продюсер Первого канала Константин Эрнст, когда сказал, что, во-первых, ИИ опасен и может захотеть избавиться от нас, а во-вторых, что на Первом канале будут активно использовать ИИ, в том числе создадут дипфейк Вячеслава Тихонова и заставят его фигурировать в продолжении историй про Штирлица.
- Мы должны как можно больше общаться с людьми. Так, что мы видим и точно знаем, что это именно люди. Мы должны стремиться к тому, чтобы люди заключали союз с людьми поверх наших различий, уже на том основании, что мы люди.
- Мы должны уметь делать много вещей, мы должны набирать как можно больше эмпирического опыта. Мы должны быть настолько самостоятельны, насколько это возможно. Вообще, в мире и сейчас живёт много людей, которые думать не думают про искусственный интеллект. Как правило, они живут в сельской местности и близки к самообеспечению себя всем, что нужно для жизни. Я не призываю всех уехать в сельскую местность, но я призываю понимать, что в такой жизни есть смысл. Возможно, это будет спасительный для человечества смысл.
- Мы должны стремиться к тому, чтобы не использовать искусственный интеллект вообще. Мне очень легко это сказать, потому что я его не использую. Но я также знаю, что ещё пять лет назад его практически никто не использовал. И это ничему не мешало. Мы - человечество - всего достигли без него.
- Я хочу завершить лекцию тем, что мы должны уважать себя как людей. Мы не глупые человечки, которым нужен искусственный интеллект, чтобы они стали эффективными. Эффективность - двусмысленное слово. Одно и то же количество пищи можно съесть за 30 секунд и за 10 минут. И для истребления пищи 30 секунд эффективнее. Но не для её усвоения.
Кроме того, мы не комнатные кошки и собачки, которым не надо трудиться и которые живут среди вечного досуга. Мы замечательные люди, которые своим человеческим интеллектом преобразовали окружающую среду. Да, не всегда успешно. Да, мы делали ошибки. Но нет ни одной причины, почему бы мы сами не сумели исправить эти ошибки, если бы могли остановиться и подумать. Нам не нужен поводырь. Нам не нужна лишняя сущность. Я призываю вас это помнить.
Лекция прочитана в Институте iSpring 24 апреля 2025 года.
