Боевые роботы еще долго не будут нуждаться в искусственном интеллекте, который может выйти из-под контроля. Реальные угрозы — компьютерные сбои и атаки хакеров
Открытое письмо, которое подписали Стивен Хокинг, Илон Маск, Стив Возняк и Ноам Хомский, всколыхнуло интерес к теме боевых автономных роботизированных систем (БАРС, англ.: LARS или LAWS). Несмотря на то, что продвижением темы в СМИ уже несколько лет занимаются различные общественные организации и движения (наиболее известная кампания Stop Killer Robots!), на высоких международных трибунах она впервые прозвучала в 2013 году. В докладе Совета по правам человека ООН ее поднял специальный докладчик ООН по вопросу о внесудебных казнях Кристофер Хайнц. Там же было сформулировано и определение БАРС. Под ними понимаются боевые системы, которые, будучи однажды приведены в активный режим деятельности, способны выбирать и поражать цель без дальнейшего вмешательства человека.
В то же время надо понимать, что БАРС на сегодняшней стадии развития — это не искусственный интеллект и даже не его прототип.
Это всего лишь системы, запрограммированные на самостоятельное обучение определенным функциям.
Прежде всего — идентификации и захвату цели. Далее — ее поражению в различных режимах и при различных условиях. А также вспомогательным функциям: определению своего местоположения, перезарядке боевых систем, перенастройке систем мониторинга обстановки и т. д. Кроме того, некоторым БАРС необходимы функции самосохранения, ухода от атак, возвращения в пункт базирования.
Современные автономные боевые системы совсем не похожи на терминатора T-800 из культового фильма Джеймса Кэмерона. Антропоморфные системы пока слишком сложны, а для выполнения ограниченного спектра функций лучше приспособлены более простые и надежные колесные, гусеничные или стационарные платформы. Широко известны проводимые при поддержке DARPA эксперименты компании Boston Dynamics по созданию зооморфных роботов-«мулов» (Big Dog, Cheetah и пр.), однако их функции пока сводятся к переноске грузов, а не к выполнению боевых задач. Любопытно, что с конца 2013 года проекты Boston Dynamics развиваются уже в рамках Google, который купил компанию, но не прекратил сотрудничество с DARPA.
Распространены колесные и гусеничные платформы — начиная от роботов-саперов с частично автономным режимом работы и заканчивая шеститонным тактическим роботом-грузовиком Crusher, используемым в армии США для различных целей и с различными вариантами монтируемых вооружений. Действительно автономных боевых гусеничных платформ пока немного, но характеристиками автономной работы вполне может обладать следующее поколение гусеничных вооруженных тактических роботов, используемых США в иракской кампании с прошлого десятилетия (SWORDS, MAARS).
Одним из простейших и старейших вариантов БАРС являются стационарные роботы-пулеметы, устанавливаемые в особо охраняемых зонах или на границах демилитаризованных зон. Например, роботизированные пулеметы SGR-A1, способные вести огонь в автономном режиме, используются Южной Кореей для охраны демилитаризованной зоны на границе с КНДР.
Пока наиболее перспективной и многообещающей платформой для БАРС являются боевые беспилотники.
Работу над проектами боевых дронов, частично или полностью автономных, ведут многие технологически развитые державы. В США в 2013 году успешную посадку на борт авианосца в автономном режиме совершил перспективный образец беспилотника X-47B. Израильский ударный беспилотник Harpy, как правило, управляется оператором, однако несет на себе ракетное вооружение, способное захватывать и поражать цель (в частности, радарные установки) самостоятельно. В Великобритании ведется разработка новейшего многоцелевого беспилотника Taranis, который, по данным СМИ, будет способен решать различные боевые задачи в полностью автономном режиме.
Наконец, существуют различные модели и перспективные проекты автономных и полуавтономных надводных и подводных роботов, предназначенных для решения различных задач от патрулирования акваторий до их разминирования и выслеживания противника.
Все это технологическое разнообразие объединяет реальная или планируемая разработчиками способность действовать автономно. И отсюда же вытекает ключевая угроза, озвученная и в открытом письме Хокинга, Маска и других: что если автономное оружие выйдет из-под контроля?
Можно сформулировать два общих сценария реализации этой угрозы.
Первый сценарий — это классический сюжет развития самообучающегося искусственного интеллекта (ИИ), который в какой-то момент осознает себя, выходит из-под контроля создателей и начинает принимать решения, направленные на уничтожение людей или иные действия, ведущие к человеческим жертвам. Пока это фантастика, прежде всего потому, что полноценный самообучающийся ИИ не создан, и задача по описанию математических уравнений, на которых будет основан его код, принциально не решена. Вторая причина, отделяющая человечество от этого сценария, — потенциально прорывные разработки в сфере ИИ (например, нейронные сети Google Deep Dream) и разработки в сфере БАРС пока слабо пересекаются. Зачатки ИИ не покидают границ корпоративной «пробирки», где с ними экспериментируют инженеры Google, тогда как у военных другие задачи, не столь фундаментальные.
Для автономного ударного беспилотника полноценный ИИ в принципе не нужен — достаточно отлаженной программы идентификации целей, их сопровождения и атаки, а также модулей уклонения от атак, перехвата и безопасного возвращения на базу. Для автономного робота-постового задачи еще на порядок проще — захват и опознание цели, плюс модуль управления огнем и перезарядкой.
Здесь по определению нет места и смысла для ИИ.
Примерно та же ситуация характерна и для сетей управления войсками и обороной. Например, в России при участии концерна «Созвездие» создаются автоматизированные системы управления войсками (АСУВ) различных уровней от оперативного до тактического. А на стратегическом уровне для Национального центра управления обороной создается компьютерная экспертная система «мониторинга и анализа военно-политической, социально-экономической и общественно-политической обстановки в стране и мире». Однако все эти сети и системы не предполагают прямого управления боевыми устройствами, речь идет прежде всего об организации коммуникаций и системы командования, а также об анализе и обработке информации, необходимой для принятия решений. Здесь ИИ если и понадобится в обозримом будущем, то устроить войну сам не сможет — нечем.
Боевые роботы еще долго не будут нуждаться в искусственном интеллекте, который может выйти из-под контроля. Реальные угрозы — компьютерные сбои и атаки хакеров
Открытое письмо, которое подписали Стивен Хокинг, Илон Маск, Стив Возняк и Ноам Хомский, всколыхнуло интерес к теме боевых автономных роботизированных систем (БАРС, англ.: LARS или LAWS). Несмотря на то, что продвижением темы в СМИ уже несколько лет занимаются различные общественные организации и движения (наиболее известная кампания Stop Killer Robots!), на высоких международных трибунах она впервые прозвучала в 2013 году. В докладе Совета по правам человека ООН ее поднял специальный докладчик ООН по вопросу о внесудебных казнях Кристофер Хайнц. Там же было сформулировано и определение БАРС. Под ними понимаются боевые системы, которые, будучи однажды приведены в активный режим деятельности, способны выбирать и поражать цель без дальнейшего вмешательства человека.
В то же время надо понимать, что БАРС на сегодняшней стадии развития — это не искусственный интеллект и даже не его прототип.
Это всего лишь системы, запрограммированные на самостоятельное обучение определенным функциям.
Прежде всего — идентификации и захвату цели. Далее — ее поражению в различных режимах и при различных условиях. А также вспомогательным функциям: определению своего местоположения, перезарядке боевых систем, перенастройке систем мониторинга обстановки и т. д. Кроме того, некоторым БАРС необходимы функции самосохранения, ухода от атак, возвращения в пункт базирования.
Современные автономные боевые системы совсем не похожи на терминатора T-800 из культового фильма Джеймса Кэмерона. Антропоморфные системы пока слишком сложны, а для выполнения ограниченного спектра функций лучше приспособлены более простые и надежные колесные, гусеничные или стационарные платформы. Широко известны проводимые при поддержке DARPA эксперименты компании Boston Dynamics по созданию зооморфных роботов-«мулов» (Big Dog, Cheetah и пр.), однако их функции пока сводятся к переноске грузов, а не к выполнению боевых задач. Любопытно, что с конца 2013 года проекты Boston Dynamics развиваются уже в рамках Google, который купил компанию, но не прекратил сотрудничество с DARPA.
Распространены колесные и гусеничные платформы — начиная от роботов-саперов с частично автономным режимом работы и заканчивая шеститонным тактическим роботом-грузовиком Crusher, используемым в армии США для различных целей и с различными вариантами монтируемых вооружений. Действительно автономных боевых гусеничных платформ пока немного, но характеристиками автономной работы вполне может обладать следующее поколение гусеничных вооруженных тактических роботов, используемых США в иракской кампании с прошлого десятилетия (SWORDS, MAARS).
Одним из простейших и старейших вариантов БАРС являются стационарные роботы-пулеметы, устанавливаемые в особо охраняемых зонах или на границах демилитаризованных зон. Например, роботизированные пулеметы SGR-A1, способные вести огонь в автономном режиме, используются Южной Кореей для охраны демилитаризованной зоны на границе с КНДР.
Пока наиболее перспективной и многообещающей платформой для БАРС являются боевые беспилотники.
Работу над проектами боевых дронов, частично или полностью автономных, ведут многие технологически развитые державы. В США в 2013 году успешную посадку на борт авианосца в автономном режиме совершил перспективный образец беспилотника X-47B. Израильский ударный беспилотник Harpy, как правило, управляется оператором, однако несет на себе ракетное вооружение, способное захватывать и поражать цель (в частности, радарные установки) самостоятельно. В Великобритании ведется разработка новейшего многоцелевого беспилотника Taranis, который, по данным СМИ, будет способен решать различные боевые задачи в полностью автономном режиме.
Наконец, существуют различные модели и перспективные проекты автономных и полуавтономных надводных и подводных роботов, предназначенных для решения различных задач от патрулирования акваторий до их разминирования и выслеживания противника.
Все это технологическое разнообразие объединяет реальная или планируемая разработчиками способность действовать автономно. И отсюда же вытекает ключевая угроза, озвученная и в открытом письме Хокинга, Маска и других: что если автономное оружие выйдет из-под контроля?
Можно сформулировать два общих сценария реализации этой угрозы.
Первый сценарий — это классический сюжет развития самообучающегося искусственного интеллекта (ИИ), который в какой-то момент осознает себя, выходит из-под контроля создателей и начинает принимать решения, направленные на уничтожение людей или иные действия, ведущие к человеческим жертвам. Пока это фантастика, прежде всего потому, что полноценный самообучающийся ИИ не создан, и задача по описанию математических уравнений, на которых будет основан его код, принциально не решена. Вторая причина, отделяющая человечество от этого сценария, — потенциально прорывные разработки в сфере ИИ (например, нейронные сети Google Deep Dream) и разработки в сфере БАРС пока слабо пересекаются. Зачатки ИИ не покидают границ корпоративной «пробирки», где с ними экспериментируют инженеры Google, тогда как у военных другие задачи, не столь фундаментальные.
Для автономного ударного беспилотника полноценный ИИ в принципе не нужен — достаточно отлаженной программы идентификации целей, их сопровождения и атаки, а также модулей уклонения от атак, перехвата и безопасного возвращения на базу. Для автономного робота-постового задачи еще на порядок проще — захват и опознание цели, плюс модуль управления огнем и перезарядкой.
Здесь по определению нет места и смысла для ИИ.
Примерно та же ситуация характерна и для сетей управления войсками и обороной. Например, в России при участии концерна «Созвездие» создаются автоматизированные системы управления войсками (АСУВ) различных уровней от оперативного до тактического. А на стратегическом уровне для Национального центра управления обороной создается компьютерная экспертная система «мониторинга и анализа военно-политической, социально-экономической и общественно-политической обстановки в стране и мире». Однако все эти сети и системы не предполагают прямого управления боевыми устройствами, речь идет прежде всего об организации коммуникаций и системы командования, а также об анализе и обработке информации, необходимой для принятия решений. Здесь ИИ если и понадобится в обозримом будущем, то устроить войну сам не сможет — нечем.
Олег Демидов
Источник: forbes.ru