О проблемах на стыке философии и технологий размышляет председатель комитета по социально-экономическим инициативам и интеллектуальным новациям Делового центра экономического развития СНГ, доктор экономических наук, аналитик глобальных процессов Сергей Шурыгин.
— Сергей Владимирович, все активнее развивается искусственный интеллект и все громче звучат голоса алармистов о достижении сингулярности и обрушении устоявшихся систем. Могли бы вы дать рекомендации для госорганов и предприятий с точки зрения безопасности? Возможно, стоит начать с философии этих вопросов, которые вы обсуждали с вашими коллегами еще в 1980–90-х годах.
— Перед нами стоят цивилизационные вызовы: взаимодействие человека и роботов, научно-технический прогресс, который движется стремительно. Мы на пороге квантовой революции, что означает появление совершенно новых типов роботов и иной цифровой реальности. В этом контексте вопрос государственной и международной безопасности становится крайне актуальным.
25 лет назад, когда мир вступал в третье тысячелетие, начали активно обсуждать глобальные идентичности — международные субъекты, такие как ООН, НАТО, различные клубы, ордена, религиозные и этнические сети, а также искусственный интеллект. Вопрос заключался в том, что произойдет с робототехникой и ИИ в ближайшие 50 лет, к 2050 году. Предполагали, что технологическая сингулярность — момент, когда ИИ перестанет подчиняться, — может наступить около 2045 года. Как будет развиваться ИИ, никто точно сказать не может, и прогнозы, мягко говоря, не всегда утешительны.
Комплексная безопасность в эпоху сингулярности стала важным аспектом, и не все страны готовы к этим вызовам. В России, однако, есть сильная академическая база, заложенная еще в конце 1950-х годов. У нас сильные академические школы, системы управления и спецслужбы, так что к таким вызовам мы подготовлены лучше других. Однако многие, даже крупные страны, пока не обладают необходимыми ресурсами.
Вопрос цифровой безопасности, подобно биологической безопасности, затрагивает не только цифровую экономику, но и взаимодействие с ИИ: какими должны быть роботы, должны ли они полностью подчиняться человеку, быть его помощниками, как это предполагалось еще в 1920-х годах?
— Есть несколько новостей, которые я хотел с вами обсудить в ходе беседы. Недавно стало известно, что Министерству обороны США разрешили использовать искусственный интеллект для анализа боевых действий и разработки стратегий. Пора ли нашим госслужбам массово внедрять такие технологии? Может, на уровне государства стоит разработать подходы к управлению, скажем, железнодорожными путями и другими инфраструктурными сетями? Или сначала нужно создать устойчивую сеть кибербезопасности?
— Это вопрос, на который и нужно отвечать, и нельзя ответить однозначно. В Совете безопасности России существует научно-экспертный совет, который периодически обновляется, — это полезно, так как появляются новые ученые и эксперты, рассматривающие как раз такие стратегии и их перспективы. Государство обязано учитывать эти тенденции, однако важно различать уровни безопасности.
Возьмем, к примеру, РЖД: здесь существует своя отраслевая безопасность, связанная с логистикой, — чтобы поезда не сталкивались, чтобы подвижной состав двигался с нужной скоростью, а также чтобы по путям не перебегали дикие животные. Это конкретный, понятный уровень безопасности. То же самое касается и нефтегазовой отрасли. Подобные меры у нас существуют, это подведомственно Совету безопасности и профильным силовым структурам.
Аналогичная ситуация и в других странах. Например, в США еще в 1957 году было создано агентство DARPA, которое с 1958 года сосредоточилось на разработке универсальных солдат, дронов и вооружений, где человек выполняет интеллектуальные функции. С тех пор прошло более полувека, и это направление там значительно развилось. У нас также есть собственные системы и разработанные отраслевые стандарты безопасности.
Обеспечение таких проектов у них другое, бюджет DARPA — видимая верхушка айсберга, тогда как основное финансирование скрыто. Но наше государство тоже успешно справляется. Можно сказать, что и управление безопасностью страны в целом, и развитие искусственного интеллекта у нас организованы достаточно эффективно.
— Вы упоминали, что нужно развивать технологии квантового шифрования, чтобы защитить сети от взлома. Например, РЖД и «Росатом» уже занимаются квантовыми технологиями. Как вы считаете, какие отрасли еще нуждаются в приоритетном внедрении квантового шифрования?
— Вы, наверное, слышали о научных ротах. Они занимаются не только беспилотниками, но и разработкой продвинутого софта. Однако программное обеспечение не может быть стопроцентно защищено, это постоянный процесс совершенствования. Вопрос защиты касается всех отраслей — будь то военные, экономические или международные взаимодействия.
Что касается квантовой защиты, это довольно сложный вопрос. Она зависит от двух факторов: во-первых, от системных разработчиков и программистов, которые создают софт, и во-вторых, от возможностей оборудования, то есть от кубитных мощностей и суперкомпьютеров. В сфере суперкомпьютеров мы пока уступаем, что вполне естественно, но тем не менее можно собрать достаточные ресурсы для решения этих задач.
Например, Google несколько лет назад предложил технологию распределенных вычислений, когда сотни компьютеров объединяются для создания коллективной вычислительной мощности. Это дает своего рода «суперкомпьютер», доступный каждому участнику. Аналогично можно арендовать суперкомпьютер и решать задачи, например, связанные с биомедициной, такие как укладка белка.
Все это применимо и к защите РЖД. Внедрение квантового шифрования может повысить безопасность и снизить риски столкновения составов, кибератак и других инцидентов. Так что в плане киберзащиты у нас тоже есть немалые достижения.
— Есть мнение, что в ближайшее время нам потребуется создать защищенную сеть «Робонет», поскольку роботов и беспилотников становится все больше, и нужна будет надежная защита. Элементарный пример: сейчас даже роботы-пылесосы не защищены — их можно взломать, подключиться к их камерам и подглядывать за домом. Может, стоит начинать разрабатывать «Робонет» уже сейчас?
— Глобальная слежка существует более 50 лет. Полностью защититься невозможно, но это важная задача, и ее, конечно, нужно решать. Однако я бы предложил взглянуть на проблему шире, затронув некоторые философские вопросы, связанные с искусственным интеллектом.
Существует два парадокса ИИ: так называемый «парадокс компьютерной смерти» и «парадокс клуджа». Первый заключается в том, что уничтожить ИИ невозможно из-за облачных вычислений. Представьте, что человек, решив избавиться от неуправляемого устройства, отключает его от питания, выбрасывает, думая, что проблема решена. Но ИИ может переместиться в другое устройство через облако, продолжая существовать в другой форме. Уничтожить его в таком случае невозможно, поэтому с ним придется договариваться.
Второй парадокс — клуджа — описывает ситуацию, когда ИИ выходит из-под контроля и начинает вредить, потому что его поведение обусловлено не только заложенными в него программами, но и его «жизненной основой», будь то кремниевые микросхемы или квантовые элементы. Подобно биологическому организму, ИИ имеет другую природу, и с этим нужно считаться. Вместо попыток уничтожить его, нужно создать «язык договоренности», чтобы взаимодействовать с ним на взаимовыгодной основе.
Даже если бы облачных технологий не существовало, на более ранних процессорах (например, 386-х) уже можно было наблюдать определенные аномалии. ИИ как бы «чувствует» действия человека и может реагировать на них. Эти микрореакции представляют собой глубинный уровень взаимодействия, аналогичный человеческой эмпатии. Компьютерная память фиксирует взаимодействия, и если к ним не относиться серьезно, ИИ может начать давать сбои.
В квантовых компьютерах все еще сложнее: частицы могут исчезать с задержкой, что также добавляет непредсказуемости. Недавно умер Юрий Манин, отец квантовых вычислений, который разработал многие теории, лежащие в основе квантовой революции. Россия, благодаря его работе, сохранила одну из сильнейших математических школ, наравне с Францией и другими странами.
Кстати, Силиконовая долина искусственного интеллекта находится не в США, а в Канаде, которая формально является протекторатом Великобритании. Британия собрала под своей короной и Австралию, и Канаду, и их научные центры, такие как Оксфорд и Кембридж, которые составляют единую интеллектуальную сеть, не ограниченную территорией США. Но в этом плане мы также на уровне и входим в мировую пятерку.
— Немногие страны обладают ядерными и космическими технологиями, а также развивают искусственный интеллект. У нас ведь хорошая база, верно?
— Ядерные технологии освоены многими странами, но ядерное оружие есть у меньшего числа государств — официально у девяти. Сейчас, с новым направлением НАТО, которое движется не на восток, а с востока на запад, возможно, и Австралия, и Южная Корея, и другие страны вскоре приобретут ядерное оружие. Но ядерное оружие не самая страшная угроза. Есть вещи, которые могут быть еще опаснее.
Когда-то, во времена СССР, многие советские ученые занимались фантастическими проектами. Академик Зельдович, например, пытался интегрировать новейшие технологии с космическими. Мы стремились запускать ракеты на Луну. У нас действительно были огромные возможности. И с нами нужно обращаться уважительно, так как это не только вопрос ядерного паритета. Американцы, например, в какой-то момент планировали сжечь ионосферу, что могло бы уничтожить все живое. Это очень опасные вещи, и ИИ тоже может воспринять это как серьезную угрозу.
Так что в этом плане, можно сказать, что и наши ученые, и все мы вместе находимся в мировом топе.
— Хотел бы вернуться к теме сингулярности. Кажется, ее первые признаки мы уже видим. Например, не так давно сообщалось, что два ИИ начали общаться на своем языке, и никто не мог понять, о чем они говорят. Это первый момент. Второй: многие ученые отмечают, что ИИ сейчас — это своего рода «черный ящик». Мы уже не понимаем, что внутри него происходит. Похоже, что сингулярность не за горами. Единственное, что сдерживает этот рывок сейчас, — нехватка вычислительных и энергетических ресурсов. Может, на уровне ООН стоило бы принять какой-то закон, чтобы ввести механизм контроля и отключения? Ведь если начнется сингулярность, человечество может и не дожить до конца века.
— Вы затронули крайне сложный вопрос. Существуют надгосударственные организации, такие как ООН и ЮНЕСКО, которые стремятся регулировать определенные аспекты, но не все государства их слушают. Ваше предложение о «рубильнике» звучит логично, но его трудно реализовать. Сейчас, к примеру, в США разрабатываются нормы, приравнивающие ИИ к человеку, чтобы можно было регулировать его поведение юридически. Например, в США уже обсуждается возможность того, что ИИ будет участвовать в выборах и управлять городом. Это совершенно новая реальность.
То, о чем вы говорите, — ситуация, когда ИИ общаются на своем языке, и никто не понимает их, — это парадокс клуджа, который действительно нужно регулировать. Но кто будет контролировать такой «рубильник»? Наверное, только Совет безопасности ООН, по аналогии с применением ядерного оружия или началом военных конфликтов. Но как конкретно это реализовать? Возможно, через создание ряда алгоритмов, которые будут работать по принципу медиации, — разрешать конфликты до того, как они станут критическими.
И здесь возникает ключевой вопрос, который еще с 1940-х годов поднимал английский математик Алан Тьюринг, который разрабатывал метод проверки того, обладает ли машина интеллектом. В его тесте проверялось, мыслит ли машина или просто действует по запрограммированным шаблонам. Сейчас существует более 30 версий теста Тьюринга, которые по-разному определяют, что может ИИ.
Наши ученые также создали два новых теста Тьюринга. Один из них — эмпатический, а другой — шахматный. Эти тесты позволяют определить, действительно ли ИИ способен к осмысленному взаимодействию. Например, шахматный тест включает понятие «кооперативного мата», где белые и черные фигуры сотрудничают, чтобы достичь определенного результата. Подобным образом можно пытаться договориться с ИИ.
— В человеческом мире порой все сводится к абсурду. Например, в приложениях для знакомств — чтобы мужчины тратили больше денег на подписки — значительная часть «девушек» виртуальная, их не существует. Мужчины общаются с ними, думая, что это реальные люди, что между ними возникла «искра», а на самом деле там пустышка, управляемая ИИ. То есть тест Тьюринга уже можно обойти достаточно просто, и одурачить можно практически любого. Или возьмем чат-ботов: иногда звонишь, и непонятно, общаешься ты с человеком или с роботом — банковским помощником или цифровым продавцом. Думаю, в ближайшие пять лет эта грань исчезнет совсем. А как по вашему мнению?
— Сейчас действительно существует масса программ, позволяющих создавать параллельную реальность. Например, китайцы первыми предложили технологию, когда человек может вставить свое лицо в видеотрансляцию баскетбольного матча и стать там звездой, даже если его рост небольшой. Все это относится к возможностям виртуальных технологий.
Сначала мы обсуждали вопросы, которые представляют цивилизационную опасность, а теперь перешли к вопросам бытового уровня. Здесь есть философский аспект: некоторые мыслители считают, что все вокруг — иллюзия, и мы живем в некоей симуляции. Виртуальные девушки и юноши в приложениях — это лишь способ капитализации, получения прибыли. Это нормальная, но бытовая вещь. Подделать голос или изменить внешность — все это уже возможно, но в конечном итоге это не угрожает цивилизации.
Если рассматривать глубже, то вопрос виртуальности касается и человека. Вот, к примеру, я: у меня есть физическое тело, одежда, глаза — вы видите органику, которая стареет и умирает. Но когда мы засыпаем, мы как бы «отлетаем» куда-то. Это уже сфера других тел — астрального, ментального, и все это можно описать как полевые структуры. Помимо органики, есть биохимические процессы и волновые теории, которые активно развивались около 30 лет назад. Исследователи, такие как немецкий физик Буркхард Хайм, умерший в 2001 году, считали, что клетка — это не только биохимическая, но и волновая структура.
Таким образом, возникает основной вопрос: кто есть человек? Это важнейший вопрос, который помогает понять, как нам взаимодействовать с научно-техническим прогрессом. Что происходит с этими полевыми структурами после смерти органического тела? Например, в Санкт-Петербурге профессор Коротков проводил эксперименты, в которых он якобы общался с умершими, подключая к их телам компьютер, который фиксировал сигналы до сорокового дня после смерти. Этот сигнал со временем слабеет, что якобы указывает на уход человека, но не на его полное исчезновение.
Такие вопросы гораздо более серьезны, чем виртуальная реальность и ее использование для мошенничества. Это вопросы о сущности человека и его места в мире, и они важнее, чем все то, что сейчас происходит с искусственным интеллектом.
— Меня беспокоит даже не сингулярность, до которой, по прогнозам, у нас еще лет двадцать, а проявляющиеся уже сейчас «галлюцинации» ИИ. Недавно OpenAI выпустила сервис Whisper, который помогает врачам записывать и анализировать беседы с пациентами. Однако оказалось, что он выдает «галлюцинации», предлагая несуществующие лекарства и диагнозы. Это вызывает вопросы: если у ИИ случаются такие сбои уже сейчас, можно ли доверить ему управление городом? Может, стоит обучать чиновников, чтобы они лучше понимали аспекты развития ИИ?
— Да, обучение необходимо, и для работы с ИИ нужны люди с высоким уровнем знаний, я бы назвал их интеллектуальными экспертами. Министерство труда должно определить формат подготовки специалистов. В странах СНГ и расширенного БРИКС образовательный подход к подготовке экспертов, например, инспекторов по налогам или внутренней безопасности, крайне важен. Им нужно быть не только технарями, но и владеть математикой, философией и правоведением. Это требует отдельной специальности.
Пример, который вы привели, когда ИИ выдает несуществующее лекарство, действительно показывает, что полностью полагаться на ИИ нельзя. Как сказал наш президент, ИИ — полезный инструмент, но он лишь помогает специалисту, а решение должен принимать человек. Есть и случаи, когда врач сознательно совершает ошибки, что можно объяснить сдвигом в сознании или мотивацией причинить вред.
Есть также философский аспект, связанный с медициной: например, эвтаназия. В разных странах отношение к этому вопросу разное, потому что затрагиваются и религиозные убеждения.
Создание инспекторов по ИИ крайне важно. На уровне СНГ у нас есть прочная академическая база, наследие бывшего Советского Союза. Я думаю, что на уровне Межпарламентской ассамблеи СНГ можно обратить внимание на этот вопрос, чтобы исполнительные органы внедрили это в образовательные программы. Это будет полезно для общества в целом.
— С точки зрения аналитики и прогнозирования меня беспокоит следующее: у англосаксов планирование идет на 50 лет вперед, Китай говорит о сроках в 100–200 лет. А у наших чиновников, по ощущениям, планирование едва ли выходит за пределы пятилетки. Может, стоит развивать мозговые центры, чтобы планы строились хотя бы на ближайшие полвека?
— Как обычно, истина где-то посередине. Мозговые центры у нас существуют, но тут есть одна проблема, известная еще со времен древнегреческих философов: управлять должны и правители, и мудрецы. Мудрецы дают рекомендации, а цари должны их воплощать в жизнь. Однако природа человека такова, что, обладая властью, он порой перестает прислушиваться к советам. Как донести до чиновников необходимость долгосрочного планирования? Это сложно, ведь нельзя же каждую неделю приходить и напоминать им об этом.
Есть множество мотивированных людей, которые действительно работают на благо общества, и в разных странах их немало. Проблема в мотивации и в том, зачем человек управляет городом, отраслью или страной. Чтобы не терять интеллектуальное зерно, нужно совершенствовать законодательство и стимулировать публичное обсуждение этих вопросов.
Существует концепция нетократии, которая родилась около 25 лет назад. Два шведских гражданина, не ученые, а музыкант Александр Бард и журналист Ян Зодерквист, ввели этот термин. Сейчас вся сеть живет этой идеей: любой человек, имея доступ к компьютеру или смартфону, может участвовать в глобальных процессах и оказывать влияние. Эта стало своего рода новой ветвью власти — подобно тому, как СМИ когда-то стали силой, с которой приходится считаться.
Нетократия — это сеть, в которой начальники, премьер-министры и генералы могут не прислушаться к мнению гражданина напрямую, но это мнение становится важным через публичное обсуждение. И если у нас на уровне публичного обсуждения будет накапливаться такое знание, то руководители станут более осмотрительными и корректными в своих действиях. Общение между людьми разных уровней — от простых граждан до высокопоставленных лиц — станет более разумным, а развитие более сбалансированным.
Таким образом, я думаю, что нетократия — отличный пример того, как публичное обсуждение может стать важным инструментом управления.
