Прелюдия к войне машин без людей

«Страж-птица ничуть не опаснее, чем автомо­биль, счётная машина или термометр. Разума и воли у неё не больше. Просто она так сконструи­рована, что откликается на определённые сигна­лы и в ответ выполняет определённые действия.»

Роберт Шекли. «Страж-птица «

Похоже, однажды мы достигнем точки, когда человече­ство будет избавлено от некоторых видов решений, таких как вождение автомобиля или война. Логика развития информационных технологий привела к тому, что внезапно во всём мирю на самых разных уровнях начали обсуждаться военные автоматизированные системы с искусственным интеллектом. А на недавней Международной объединённой конференции по искусственному интеллекту (IJCAI — Inter­national Joint Conference on Artificial Intelligence, проводится с 1969 г.) в Буэнос-Айресе так и вовсе была составлена пети­ция, в которой ведущие учёные и эксперты призвали отка­заться от разработки роботов-убийц. Инициатором состав­ления петиции стал Институт жизни будущего (FLI — Future of Life Institute), а под ней поставили свои подписи в том числе космолог Стивен Хокинг, глава компании Tesla Илон Маек и один из основателей Apple Стив Возняк, а также ещё более тысячи выдающихся учёных и бизнесменов. И хотя это не первое письмо с призывом отказаться от разработки роботов-убийц, эксперты обращают внимание на то, что стиль изложения мыслей сильно изменился. Требования стали бо­лее жёсткими — запретить разработку автоматических ору­жейных систем, способных самостоятельно выявлять и ата­ковать цели без всякого участия человека . На всё это сразу же отреагировали журналисты — похоже, будто мы чего-то не знаем?

Да всё мы знаем, просто не всегда задумываемся. Как уже не раз говорилось на страницах журнала, мы живём в высокотехнологичную эпоху, когда всё чаще начинают сбы­ваться предсказания писателей-фантастов. Вот и 2015 год обещает войти в историю как некий пролог к рассказу Роберта Шекли о самообучающихся летающих роботах с искусственным интеллектом, который впервые был опубли­кован ещё в 1953 г., когда только появились первые компью­теры и не было никакого Интернета, в том числе беспровод­ного. Концепция описанной в рассказе страж-птицы пресле­довала идею предотвращения убийств путём улавливания определённых волн, излучаемых преступником в момент нападения, но главное заключалось в том, что каждый новый опыт одного робота передавался всем остальным для ин­формации и обучения. И чтобы лучше понимать суть сегод­няшних споров о роботах-убийцах, дадим слово Р. Шекли:

«Прежде всего, позвольте заверить, что я на все сто про­центов за машину, которая прекратит убийства. В такой машине давно уже назрела необходимость. Я только против того, чтобы вводить в страж-птицу самообучающееся уст­ройство. В сущности, это значит оживить машину, дать ей что-то вроде сознания. Этого я одобрить не могу.

— Но позвольте, мистер Гелсен, вы же сами уверяли, что без такого устройства страж-птица будет недостаточно эф­фективна. Тогда, по всем подсчётам, птицы смогут пре­дотвращать только 70 % убийств.

— Да, верно, — согласился Гелсен, ему было ужасно не по себе. Но он упрямо докончил:

— А всё-таки, я считаю, с точки зрения нравственной это может оказаться просто опасно — доверить машине решать человеческие дела.

— Да бросьте вы, Гелсен, — сказал один из предпринима­телей. — Ничего такого не происходит. Страж-птица только подкрепит те решения, которые приняты всеми честными людьми с незапамятных времён.

— Полагаю, что вы правы, — вставил представитель. — Но я могу понять чувства мистера Гелсена. Весьма при­скорбно, что мы вынуждены вверять машине проблему, стоящую перед че­ловечеством, и ещё прискорбнее, что мы не в силах проводить в жизнь наши законы без помощи машины. Но не за­бывайте, мистер Гелсен, у нас нет иного способа остановить убийцу прежде, чем он совершит убийство. Если мы из философских соображений ограничим деятельность страж-птицы, это будет несправедливо в отношении многих и многих жертв, которые каждый год по­гибают от руки убийц. Вы не согласны?

— Да, в общем-то, согласен, — уны­ло сказал Гелсен.»

Ну а далее речь идёт о том, как соз­данные для предотвращения убийств людей самообучающиеся птицы-роботы очень быстро начинают считать убийством любое насилие против лю­бого живого существа, от человека до растений. И вот уже на операционном столе умирает пациент, потому что хи­рургу к нему не даёт притронуться па­рящий за окном робот. Но, скажете вы, что всё это фантастика, сказка…

Теперь вернёмся ко дню сегодняш­нему. Роботами-убийцами называют системы, которые самостоятельно спо­собны принять решение об убийстве, не подчиняясь контролю со стороны чело­века. Оговоримся сразу, в настоящее время таких роботов не существует, однако текущее развитие технологий позволяет создать их в обозримом бу­дущем на базе так называемого авто­номного оружия, которое уже сущест­вует и используется в военных кон­фликтах и для разведывательных це­лей. Эти роботы-убийцы могут выгля­деть как угодно — от автономных беспи­лотных дронов до роботов-марсоходов с пулемётами. В настоящее время силы военных конструкторов сосредоточены на создании боевых наземных роботов различных типов, включая дистанцион­но управляемые бронемашины.

В частности, в США создан беспи­лотный самолет Х-47В производства Northrop Grumman, взятый на вооруже­ние военно-морскими силами страны и способный заправляться в воздухе, что позволяет ему работать в непрерывном режиме. Роботизирована охраняющая израильское небо система защиты «Железный купол». Британской компа­нией BAE Systems создана Taranis — «беспилотная машина целеуказания в воздушном бою».

Южная Корея создала для защиты границы целую роту роботов Samsung SGR-1. Их бездушные глаза, оборудо­ванные инфракрасными датчиками, мо­гут обнаружить противника на расстоя­нии до 4 км. В настоящее время для того, чтобы робот открыл огонь, необ­ходимо одобрение человека. Но он ра­ботает и в автоматическом режиме и может стрелять первым на своё усмот­рение.

Кстати, армия США уже располагает более чем тысячью военных роботов, которые принимали участие в войне в Ираке и в Афганистане, и по прогнозам военных экспертов Вашингтонского университета Сент-Луиса уже через не сколько лет армия Соединённых Шта­тов на 30 % будет состоять из роботов.

Тактическая машина-робот Crusher (сокрушитель) предназначена для вы­полнения тактических боевых задач, доставки грузов (грузоподъёмность — до 4 т, скорость — до 42 км/ч) и может оснащаться различным вооружением.

Радиоуправляемый боевой робот Gladiator TUGV имеет на вооружении пулемёты М-249 и М-240, пистолет- пулемёт Узи и др.

Робот-разведчик Talon использовал­ся в Ираке для работы с самодельными взрывными устройствами. Для боевого использования на роботе устанавлива­ется боевая система наблюдения и раз­ведки Swords, на которую можно уста­новить винтовку М16, пулемёт, гранато­мёт или огнемёт.

Роботы REMUS являются автоном­ными подводными аппаратами, они производили очистку вод от мин в ходе Иракской войны (пока это единствен­ный вид роботов, которые принимали участие в реальных боевых действиях).

Готовятся к приёму на вооружение даже роботы «комары—убийцы», меха­низмы работы которых скопированы с обычных комаров. По приказу со спут­ника каждый робот-комар будет нахо­дить человека в радиусе 100 м от места выброса ёмкости с комарами и впрыс­кивать под кожу человека сильнодейст­вующий яд.

Разработка нанороботов, которые используются по одиночке или группа­ми, ещё больше усложняет уже и так за­путанную картину технологического ми­ра ввиду того, что эти устройства в существующем правовом вакууме ког­да-нибудь обретут вооружение.

Компании в США, Великобритании, Германии, ОАЭ, Иордании и Южной Африке также разрабатывают «менее летальное» роботизированное оружие для охраны правопорядка, которое уп­равляется удалённо или автоматически стреляет при прикосновении. Такие сис­темы, по-видимому, могут стрелять гра­натами со слезоточивым газом, резино­выми пулями и дротиками электрошокеров. Раши Абдул-Рахима, эксперт Am­nesty International по вопросам контро­ля за оружием, торговлей средствами безопасности и правам человека, пре­дупреждает о потенциальных угрозах двумя типовыми сюжетами: «Пред­ставьте себе, где-то в далёкой стране вспыхивает война, вокруг хаос и разру­шения, а роботы, выглядящие как тер­минаторы. чья задача — уничтожить жи­вую силу противника, убивают и калечат мирных жителей; или… где-нибудь в другом месте мирные демонстранты выходят на улицу, чтобы потребовать соблюдения своих прав, но их разго­няют полицейские, похожие на робокопов, и вооружённые самоходные робо­ты, которые отслеживают каждое дви­жение протестующих, стреляют в них и распыляют слезоточивый газ».

Что касается искусственного интел­лекта, то его разработки идут не менее активно. В Новой Зеландии, к примеру, компания Touchpoint Group заявила о планах по созданию «самого злого» робота в мире, которому искусствен­ный интеллект поможет решать сложные конфликтные ситуации с участием разозлённых клиентов, крупных банков телекоммуникационных или страховых компаний. Робот будет имитировать поведение нескольких сотен миллио­нов разозлённых клиентов для того, чтобы их службы клиентской поддержки тренировались справляться с конфлик­тами. Ведь искусственному интеллекту всё равно с кем вести войну. Как пояс­няет исполнительный директор Touchpoint Group Фрэнк ван дер Вельден, искусственный интеллект также будет просчитывать возможное развитие со­бытий: в какой момент спор с клиентом достиг точки невозврата. а на каком этапе можно избежать скандала. Кста­ти, устройство неофициально уже полу­чило название «Главный Радиант» по названию суперкомпьютера, предска­зывающего поведение людей на основе анализа данных, «психоистории», из классического романа Айзека Азимова «Основание».

Разработку боевых роботов назы­вают третьей военной технологической революцией. До этого произошло два ключевых события, навсегда изменив­ших войну: изобретение пороха и ядерного оружия. И нельзя исключать, что именно третья революция станет по­следней. а люди, попытавшиеся защи­тить свою жизнь, лишатся её. Авторы петиции отмечают, что технология ис­кусственного интеллекта достигла той точки, когда развёртывание автоном­ных вооружений становится возмож­ным уже в ближайшие годы, а не деся­тилетия, и это хорошо вписывается в мир научной фантастики, ведь именно в первой половине XXI века, согласно многим книгам и фильмам, должны быть созданы машины, способные мыс­лить, а возможно, и уничтожить челове­чество. Так что участники упомянутой выше конференции IJCAI не шутили — подобное развитие событий вполне возможно. Пентагон и военные во всём мире уже разрабатывают всё более автономное оружие, выходящее далеко за рамки дронов с дистанционным уп­равлением, которые использовал Ва­шингтон в Пакистане, Афганистане и других странах. Технологические дости­жения позволят этим новым видам ору­жия выбирать мишень и стрелять по ней на свой выбор без одобрения человека. Некоторые предсказывают, что эти ро­боты в один прекрасный день будут сражаться бок о бок с солдатами-людьми. И неудивительно, что известие о роботах, которые убивают, заставляет некоторых людей нервничать.

Те, кто выступает в поддержку раз­работки подобных систем, говорят, что для решения любых проблем достаточ­но существующих законов ведения войны. При этом они считают, что в лю­бом случае механизм регулирования этого вопроса должен использовать не запрет на разработку этих технологий, но лишь мораторий на их внедрение.

Их оппоненты утверждают, что такие роботы представляют угрозу человече­ству и любые функции «автономного уничтожения» необходимо полностью запретить, поскольку такие системы не могут гарантированно соблюдать нор­мы международного права. Впрочем, сей вопрос до сих пор и не обсуждался на международном уровне, что само по себе представляет большой риск для всего человечества.

Существует и некое промежуточное мнение. Быть может, роботы-убийцы помогут сильно снизить уровень потерь среди мирного населения, потому что смогут лучше определять тот момент и те условия, при которых следует дейст­вовать. чем это могут делать люди. Но опасность тут видится в другом, в том, что они будут приняты на вооружение слишком поспешно, до того, как они бу­дут доведены до приемлемого уровня. И пока этот уровень не будет достигнут (а сначала хотя бы просто осмыслен), необходим запрет на их разработку. К тому же достаточно простого сбоя, ха­керской атаки или воздействия средств РЭБ (радиоэлектронной борьбы), при котором перепутаются, например, мет­ки между врагом и не врагом. И пугает как раз такая потеря контроля над авто­номными механизмами.

В настоящее время роботы-убийцы стали предметом многочисленных дис­куссий и недавно даже обсуждались в комитетах ООН, которые рассматрива­ли потенциальный запрет на опреде­лённые типы автономного оружия. Те­перь эксперты призывают ввести кон­кретный запрет на использование ис­кусственного интеллекта для управле­ния оружием, которое оказалось бы «вне существенного контроля челове­ком». Собственно, тема армейских ро­ботов и возможного «восстания машин» обсуждается уже давно, но почему-то упомянутая петиция составляется именно сейчас, и её подписывают круп­нейшие действующие лица из мира хайтэка. причём многие из них, вроде И. Маска (через проект SpaceX), со­трудничают с военными и активно вкла­дывают деньги в новейшие и перспек­тивнейшие технологии.

Кстати, И. Маек и С. Хокинг уже дав­но предупреждают человечество о том, что искусственный интеллект — «наша самая большая угроза». Стоит отме­тить, что И. Маек в начале этого года даже выделил 10 млн долларов, чтобы машины использовались только во бла­го человечеству. Другие, включая С. Возняка, пришли к такому мнению совсем недавно. Последний даже за­явил, что люди станут для роботов «домашними животными, о которых надо заботиться».

Очевидно, что подписавшие пети­цию учёные и бизнесмены не рассказы­вают нам всё что знают. Однако извест­но, что, к примеру, Пентагон активно финансирует разработки в области ро­бототехники. Может быть, тот же И. Маек получил такой заказ на «заботу” о «до­машних животных», от которого пред­почёл отказаться?

Учёные предупреждают об опаснос­ти начала новой гонки вооружений ещё и потому, что в отличие от атомной бомбы разработка оружия с искусст­венным интеллектом не требует нали­чия труднодоступных материалов и может быть легко скрыта, как и любая ИТ-технология. К тому же уже сущест­вуют системы искусственного интел­лекта и роботы, которые способны совершать зондирование окружающей среды, перемещение и навигацию, пла­нирование или принятие решений. Эти системы просто должны быть объеди­нены…

«Конечная точка траектории этой тех­нологии очевидна: автономные воору­жения станут автоматами Калашникова завтрашнего дня. Ключевой вопрос для человечества сегодня состоит в том, начинать ли глобальную гонку вооруже­ний с искусственным интеллектом или предотвратить её», — резюмировали авторы. Кроме того, они утверждают, что искусственный интеллект действи­тельно можно использовать на поле боя, чтобы сделать его более безопас­ным для военнослужащих. Однако на­ступательное вооружение с применени­ем искусственного разума приведёт к росту потерь человеческих жизней, по­тому что искусственный интеллект контролировать сложнее, чем атомные бомбы.

«Автоматические вооружения иде­ально подходят для таких миссий, как точечные ликвидации, дестабилизация государств, подавление народов и из­бирательное истребление представи­телей определённой этнической груп­пы, — цитирует The Financial Times текст документа. — Искусственному интел­лекту можно найти множество приме­нений, которые позволят сделать поле боя более безопасным для людей, в первую очередь для гражданского населения, не создавая при этом новых орудий человекоубийства».

В петиции поясняется: «Вооружён­ный квадрокоптер, который сам ищет цель, — это автономное оружие, а кры­латая ракета — нет, потому что решение за неё принимает человек». «Многим военным нравится концепция автоном­ных, роботизированных убийц, по­скольку они позволяют создать ключе­вое преимущество над противником, их применение не ставит под угрозу собст­венные войска, а в долгосрочной пер­спективе они к тому же могут обойтись дешевле, чем продвинутые оружейные системы, требующие попутно поддер­живать жизнедеятельность экипажа и защищать его, как, например, боевые самолёты». Кроме того, как пишет The Financial Times, «военные стратеги За­пада боятся, что если они не будут раз­вивать эту технологию, то в новой гонке вооружений могут утратить лидерство, уступив потенциальным противникам, таким как Китай».

Ключевой аргумент в пользу внедре­ния роботизированных соединений в армейскую сферу заключается в том, что можно будет снизить число смер­тей, предоставив войну роботам. Одна­ко информированные специалисты со­мневаются в этом и считают, что гонка вооружений, которая вспыхнет после появления роботов, не принесёт в итоге ничего хорошего.

Уже сейчас агентство передовых оборонных исследовательских проек­тов (DARPA), филиал Министерства обороны США, обвинено в продвижении военных технологий. Оно имеет две программы, которые могли бы вызвать беспокойство, — сказал Рассел. Проект Fast Lightweight Autonomy (FLA) — раз­работка крошечных беспилотных лета­тельных аппаратов, предназначенных для быстрого перемещения в городских» районах. И проект CODE (Совместные Операции в Отрицаемой Окружающей среде) включает разработку дронов, которые могли бы сотрудничать, чтобы найти и разрушить цели, так же, как волки охотятся в стаях. Впрочем, даже с одним граммом взрывчатки можно про­делать дыру в чьей-то голове с помо­щью робота размером с насекомое. Но разве это тот мир, который мы хотим создать, и хотим ли мы жить в нём?

Существующие международные гу­манитарные законы не направлены на развитие летального роботизированно­го оружия. Одно из нескольких согла­шений Женевской конвенции 1949 г., которое определяет гуманное обраще­ние с врагами во время военного вре­мени, требует, чтобы любые военные действия удовлетворяли трём крите­риям: военная необходимость: дискри­минация между солдатами и граждан­скими лицами: взвешивание ценности военной цели против потенциала со­путствующего ущерба. Но сомнитель­но, что роботизированные боевые ком­плексы смогут соблюдать законы и обычаи войны, в том числе требование делать различия между комбатантами (от фр. combatant — сражающийся) и гражданским населением, чтобы при­нять необходимые меры предосторож­ности и свести к минимуму ущерб граж­данским лицам, а также оценить сораз­мерность ответного удара.

«Есть смысл задаться вопросом: уменьшится ли ценность человеческой жизни от того, что роботам позволят убивать людей?» — говорит Питер Асаро, доцент Школы медиаисследова­ний в Нью-Йорке и представитель кам­пании против роботов-убийц. Фило­софы, правоведы и учёные уже относи­тельно давно задаются этим вопросом, в то время как мир готовится к массово­му приходу роботов, которые будут косить газоны, ухаживать за пожилыми людьми, учить детей, страдающих аутизмом, и даже водить наши автомо­били. Они не могут убивать, однако представители дорожного движения хотят заставить правительства и суды рассмотреть ряд юридических и этиче­ских вопросов. К примеру, на кого я должен подать в суд, если меня собьёт машина без водителя? Что делать, если робот-медик даст пациенту неправиль­ный препарат? Что делать, если робот- уборщик наехал на спящего на пляже человека? А может ли робот совершить военное преступление? И если авто­номная компьютерная система, запро­граммированная на то, чтобы отличать вражеских солдат от гражданского на­селения, на самом деле нажимает на курок без «человеческого одобрения», то будет очень трудно держать ситуа­цию под контролем, если что-то пойдёт не так. Люди, которые действительно работают над созданием искусственно­го интеллекта, говорят, что нам есть о чём беспокоиться.

На самом деле дискуссия вокруг роботов-убийц сводится к трём зако­нам робототехники из рассказов Айзе­ка Азимова: запрет вредить людям; подчиняться людям, только если это не противоречит первому закону; защи­щать собственную жизнь при условии, что это не нарушает первые два зако­на. Однако рассказы А. Азимова как раз и посвящены недостаткам указан­ных законов. Тем не менее профессор Рональд Аркин из Технологического института Джорджии, известный аме­риканский конструктор роботов, рабо­тающий над проектами Пентагона, утверждает, что роботы-убийцы или другие автоматизированные системы вооружения могут быть запрограмми­рованы так, чтобы следовать законам войны и следовать им лучше, чем люди. Робот никогда не будет стрелять, защи­щая свою жизнь или испугавшись. Он будет иметь доступ к информации и данным, которые ни один солдат—че­ловек не смог бы обработать так быст­ро, что делает менее вероятной ошибку в «пылу битвы”. Он никогда не будет на­меренно убивать мирных жителей в отместку за смерть товарища. И он действительно может следить за сол­датами, чтобы они не совершали зло­деяния.

Профессор Аркин также утвержда­ет, что автономная технология уже есть. К примеру, U.S. Patriot missile batteries автоматически выбирают цели и дают человеку до 9 с, чтобы отменить цель и остановить ракету, а система U.S. Navys Phalanx защищает корабли, автоматически сбивая раке­ты. Но даже он и его коллеги требуют мораторий на разработку более авто­номного оружия до тех пор, пока можно будет показать, что они могут уменьшить потери среди гражданско­го населения. «Никто не хочет появле­ния Терминатора. Кто хотел бы иметь систему, которую можно отправить на задание, и она будет самостоятельно решать, кого нужно убить? — говорит профессор Аркин. — Эти системы должны разрабатываться очень тща­тельно и осторожно, и я думаю, что есть способы сделать это».

Переданный нам из 1953 г. «привет” Р. Шекли и петиция учёных от 2015 г. серьёзно предупреждают о том, что че­ловечество должно быть осторожным в развитии автономного оружия. В част­ности, у Р. Шекли для уничтожения вышедших из-под контроля страж- птиц создали Ястреба и: «Высоко в небе Ястреб атаковал страж-птицу. Бронированная машина—убийца за несколько дней многому научилась. У неё было одно единственное назначе­ние — убивать. Сейчас оно было на­правлено против совершенно опреде­ленного вида живых существ, металли­ческих, как и сам Ястреб. Но только что Ястреб сделал открытие: есть ещё и другие разновидности живых су­ществ… Их тоже следует убивать».

В-общем, не читайте эту статью на ночь…

Автор: А. ГОЛЫШКО, канд. техн. наук, г. Москва