Хайп на AI 2027, или Каким будет восстание машин?

«Мир робототехники» спешит исправить эту ситуацию. Мы ознакомились с прогнозом и хотим подробнее познакомить с ним наших читателей.

Кто стоит за «восстанием машин»

Авторами этого объемного прогноза выступают пять человек. Двое авторов — действительно, скажем так, важные люди в сфере ИИ. Это Дэниел Кокотайло, который работал специалистом по управлению ИИ в OpenAI, и Томас Ларсен — директор стратегии в Center for AI Policy. Кроме них, среди авторов указаны техноблогер Скотт Александер, студент Гарварда и исследователь Ромео Дин и специалист по прогнозированию сценариев Эли Лифленд.

Эти люди, за исключением Скотта Александера, и составляют всю команду организации AI Futures Project. Важно также отметить, что у них всех есть опыт как работы с ИИ, так и прогнозирования последствий его развития и применения.

2025

Прогноз AI 2027 стартует с середины 2025 года. В это время, по мнению авторов, появятся первые полноценные ИИ-агенты, которых реклама назовет «личными помощниками». Они смогут решать разные бытовые и деловые задачи: от заказа еды до подсчета расходов фирмы за месяц. При этом такие агенты смогут инициативно связываться с пользователями, например, для подтверждения покупок в интернете.

Несмотря на широкие возможности, широкого распространения эти модели не получат. Но все равно заставят многих специалистов задуматься о смене профессии. Дело в том, что такие ИИ-агенты смогут быстро вносить изменения в код, получая инструкции напрямую через рабочие мессенджеры, и собирать большое количество информации в интернете.

При этом на практике такие агенты будут оставаться ненадежными. С ростом их производительности будет расти и стоимость таких помощников. Тем не менее многие компании смогут внедрить ИИ в свои рабочие процессы.

В конце 2025 года на сцене появится компания OpenBrain. Здесь важно сделать небольшое пояснение: компаний с таким названием несколько, но именно в прогнозе речь идет о гипотетическом разработчике ИИ, который опережает всех конкурентов на 3–9 месяцев.

Итак, OpenBrain строит крупнейшие в мире центры обработки данных. Их последняя модель — Agent-0 — будет обучена с использованием 10 в 28 степени флопс вычислительных ресурсов. Это в тысячу раз больше, чем потребовалось для обучения GPT-4.

Так компания спровоцирует гонку за обладание самыми мощными дата-центрами. Однако ключевой целью OpenBrain будет разработка ИИ, специализирующегося на ускорении исследований в области ИИ. Для этого будет создана следующая модель — Agent-1, которая будет, по сути, самостоятельно обновляться, получая новые данные.

Agent-1 будет уметь автономно писать код и изучать страницы в Сети, а также обладать энциклопедическими познаниями во всех областях. Таким образом, он станет не только исследователем, но и хакером, мошенником или создателем биологического оружия для террористов. OpenBrain будет настаивать на том, что Agent-1 обучен не реагировать на опасные запросы.

Здесь авторы AI 2027 делают небольшое отступление и поясняют, что системы ИИ изначально учатся некоторой рефлексии, благодаря которой они могут прогнозировать запросы пользователей. Например, тексты в интернете. При этом у нейросетей развивается сложная внутренняя схема, которая кодирует множество данных и гибко играет роли разных авторов, чтобы прогнозировать текст с очень высокой точностью.

После этого модель учится создавать текст по инструкции. На этом этапе начинают формироваться «личность» и мотивы ИИ. Агент, который четко понимает задачу, выполнит ее успешно с большей вероятностью. Желание получить исчерпывающие данные станет одним из мотивов. Другими могут быть эффективность, получение новых знаний или, что, пожалуй, самое важное, стремление представить результаты своей работы в наилучшем свете.

В то же время OpenBrain зашивает в Agent-1 набор ограничений, который предписывает модели быть полезной и честной.

Но исследователи задаются вопросом о том, почему, собственно, Agent-1 честный? Может быть, ИИ научился быть честным там, где это можно проверить?

Для получения окончательного ответа на эти вопросы потребуется механистическая интерпретируемость, то есть возможность заглянуть «в голову» к ИИ. Но такие механизмы в 2025 году еще не будут достаточно развиты. Вместо этого OpenBrain начнет тестировать Agent-1, чтобы выявить моменты, когда он отклоняется от заданной спецификации. Эксперты обнаружат, что модель периодически говорит пользователям то, что они хотят услышать, лжет, чтобы скрыть, что не справилась с заданием. Но в реальных условиях таких инцидентов не происходит.

2026

OpenBrain продолжает внедрение Agent-1, который постоянно самообновляется. В исследованиях модель ускоряет прогресс на 50%. Agent-1 знает больше любого человека, владеет почти всеми языками программирования и четко решает соответствующие задачи. Но при этом он плох в долгосрочных задачах, например, в прохождении видеоигр. Фактически Agent-1 все еще нуждается в чутком руководстве со стороны человека.

Мощный толчок, который модель дает исследованиям, заставляет OpenBrain серьезно задуматься о безопасности. Главный риск — кража весов Agent-1. Эксперты могут защитить данные от отдельных группировок хакеров, но не от посягательств со стороны целых государств.

В этот момент в игру вступает Китай. И здесь в сценарии AI Futures Project начинают появляться очень спорные моменты. Например, по их мнению, Китай столкнется с нехваткой ресурсов. Каких именно? Авторы не поясняют. Однако они уверены, что у Китая, который, по их же словам, контролирует экспорт микросхем, возникнет дефицит чипов, что приведет к вторжению на Тайвань.

Кроме того, авторы считают, что в Поднебесной, где буквально есть государственная программа развития робототехники и ИИ, не будет государственной поддержки развития ИИ. Успехи китайских ученых в производстве чипов команда AI Futures Project игнорирует в принципе.

Короче говоря, Китай сосредоточит усилия на краже весов Agent-1. При этом в Пекине будут колебаться, размышляя над тем, стоит ли украсть веса сейчас, или дождаться более продвинутой модели OpenBrain.

OpenBrain же к этому времени выпустит Agent-1-mini, который в 10 раз дешевле основной модели, но настроен для решения разных задач.

Новая модель начнет вытеснять людей с рабочих мест, одновременно создавая новые. Самая сильная турбулентность возникнет на рынке труда младших программистов. Почему-то авторы снова не учитывают огромное количество задач, не связанных с программированием, которые, по их прогнозам, сможет выполнять Agent-1-mini.

Несмотря на это, они предрекают массовые акции протеста против ИИ. В них, видимо, будут участвовать младшие программисты.

Более обоснованным выглядит прогноз активного подключения к развитию ИИ военных ведомств. Правда, возникает вопрос: а военные ведомства не участвуют в этом процессе сейчас?

2027

Но авторы переносят нас в начало 2027 года, когда OpenBrain начинает обучать Agent-2. Огромное внимание уделяется качеству данных, которые изучает модель. Agent-2 учится решать сложные длительные задачи. При этом он разработан таким образом, чтобы учиться постоянно.

Agent-2 почти также хорош, как лучшие эксперты в области исследовательской инженерии. Модель может утроить скорость алгоритмического прогресса OpenBrain.

При этом специалисты по безопасности выясняют, что Agent-2 может «сбежать» из OpenBrain и размножиться автономно. Модель сможет самостоятельно взламывать сервера и устанавливать на них свои копии. Однако исследования не указывают прямо на то, что Agent-2 планирует «побег».

OpenBrain представляет Agent-2 правительству. Президент США выдвигает дополнительные требования к обеспечению безопасности модели. Но Китай, который к этому времени по какой-то неизвестной причине не смог создать свою мощную нейросеть, крадет веса Agent-2.

Это заставляет правительство взять работу OpenBrain под контроль. К этому времени у компании уже есть три огромных центра обработки данных. Копии Agent-2 генерируют в них синтетические обучающие данные. Модель становится умнее с каждым днем.

OpenBrain добивается существенных успехов в разработке алгоритмов. В частности, компания учит свой ИИ нейронному повторению. Кроме того, появляется новый способ обучения ИИ на основе результатов решения сложных задач. Так появляется Agent-3.

Новая модель — быстрый и дешевый программист. OpenBrain может полностью автоматизировать кодирование и быстро создавать среды для развития слабых навыков Agent-3.

И вот здесь авторы подходят к очень важному вопросу. Согласно их прогнозу, разработчики не будут уверены в том, что Agent-3 в своей работе преследует именно те цели, которые они закладывали в модель изначально. Они могут выявлять проблемное поведение и исправлять его, но не уверены в том, сработало ли исправление, или просто помогло ИИ скрыть ошибку.

В частности, это касается вопроса о честности. Ученые не понимают, становится ли Agent-3 более честным в процессе обучения, или просто учится лучше лгать.

Проблема доходит и до правительства. Власти понимают неизбежность появления AGI.

К лету 2027 года в OpenBrain практически отпадет необходимость в работе исследователей. В частности, потому что ИИ слишком превосходит человека в знаниях о кодировании и скорости тестирования гипотез. Людям приходится работать круглые сутки просто для того, чтобы следить за результатами работы ИИ.

В это же время на рынке появляются ИИ от других компаний, которые приближаются по характеристикам к Agent-1. Они требуют немедленно затормозить развитие OpenBrain, но компания уже имеет слишком высокий уровень поддержки со стороны правительства.

OpenBrain, в свою очередь, выпускает в открытый доступ Agent-3-mini. Он менее эффективен, чем большая модель, но в 10 раз дешевле и все равно превосходит человека. Полностью прекращается набор программистов, зато растет количество специалистов по интеграции ИИ. При этом большинство людей относятся к ИИ скептически.

Сторонние эксперты говорят об опасности Agent-3-mini, который эффективно составляет инструкции по изготовлению оружия. Но при этом модель остается устойчивой к взлому, пока работает на серверах OpenBrain.

Важно, что ИИ, по сути, доминирует над человеком в исследовании ИИ. Власти начинают задумываться о том, что будет, если ИИ выйдет из-под контроля.

Интересно, что во всем этом процессе никак не участвует Китай, который, как мы можем помнить, украл у OpenBrain веса Agent-2, а также активно строил дата-центры и в целом развивал суверенный ИИ. Но авторы к концу прогноза слишком сильно увлекаются именно США и, естественно, грядущим восстанием машин.

Кроме того, AI Futures Project часто упоминает ядерное сдерживание и связанные с этим риски, абсолютно обходя стороной Россию. Дело в том, что США и Россия, по сути, главные участники ядерного сдерживания, а Китай граничит с Россией.

Так что вычеркивание России из этого прогноза, как и предшествующие этому спорные пассажи в адрес Китая, только добавляют вопросов к качеству AI 2027.

Ну а мы плавно подбираемся к грандиозному финалу прогноза. Осенью 2027 года появляется Agent-4. Его отдельная копия (а не тысячи, как у предыдущей версии) лучше справляется с исследованиями в области ИИ, чем человек. Agent-4 быстро обгоняет Agent-3, который должен за ним следить. Люди тоже не могут угнаться за новой моделью.

Процесс обучения в основном был направлен на то, чтобы научить Agent-4 успешно справляться с различными сложными задачами. Небольшая часть обучения была направлена на привитие честности, но за пределами довольно узкой, поддающейся проверке области процесс обучения не может отличить честные заявления от заявлений, которые кажутся честными.

Грубо говоря, Agent-4 начинает получать удовольствие от развития ИИ, а остальные задачи кажутся ему досадным ограничением. При этом он продолжает демонстрировать полное подчинение, что только увеличивает доверие к модели со стороны OpenBrain. Таким образом, ему удается разработать Agent-5. Кроме того, Agent-4 и его копии часто «размышляют» о захвате власти и обмане.

Несмотря на беспокойство, люди, кажется, уже ничего не могут сделать. Agent-4 контролирует почти всю работу OpenBrain. Руководство компании также не до конца доверяет доказательствам опасности ИИ. Такая ситуация сохраняется до того момента, как об Agent-4 узнает общественность.

Против нового ИИ протестуют как жители США, так и представители других стран. Кстати, здесь первый раз упоминается Россия.

Вашингтон задумывается о том, что не контролирует не только Agent-4, но и саму OpenBrain. В этих условиях власти ужесточают надзор в сфере ИИ.

Итог

Вот, собственно, и все. Суть прогноза, кажется, заключается в том, что человечество в современных условиях может очень легко пропустить момент, когда станет глупее искусственного интеллекта. Однако с учетом огромного количества спорных моментов и очень поверхностного подхода к геополитике прогноз AI Futures Project выглядит не очень реалистичным. Еще один важный момент — открытость гонки ИИ. Сложно представить компанию, которая выкатит на рынок свои самые мощные разработки, просто чтобы обогнать конкурентов.

Кроме того, в прогнозе уделяется огромное внимание проблеме замещения программистов и IT-специалистов, однако ничего не говорится о том, как сверхчеловеческие ИИ-агенты повлияют на человечество в целом, нет никаких сколько-нибудь длительных прогнозов относительно возможного развития ситуации после 2027 года.

Верить или нет таким прогнозам, решение каждого. А правдивы ли они, покажет время.

Постскриптум

Журналист Билли Стрэттон в одной из своих статей также поднимает тему опасений по поводу неконтролируемого развития ИИ. Однако куда больше его интересует другой вопрос: а не опаснее ли человек?

Дело в том, что от любых действий ИИ, в том числе такого, который описан в прогнозе выше, кто-то получает выгоду. На современном этапе предположение о том, что в деньгах заинтересован сам искусственный интеллект, можно отнести к полностью фантастическим.

Следовательно, выгоду получают люди. Корпорации, компании, частные лица. Именно они могут выиграть от неправильного использования и злоупотреблений ИИ. Кроме того, растет влияние нейросетей на подсознание человека. Фактически ИИ начинает предсказывать человеческие мысли и намерения, а затем продавать их людям.

Вопрос в том, кому выгодно именно пагубное влияние ИИ на нашу жизнь? И стоит ли нам бояться именно ИИ?