Каким будет завтра, или Мечтают ли роботы о массовых убийствах?

Мы не первый год живём в мире заслуженного нами киберпанка. Теперь погружённая в виртуальность планета столкнулась ещё и с ползучим нашествием роботов. Оно резко изменит её облик на глазах поколений, читающих эти строки.


Статья «Нью-Йорк таймс» «Являются ли роботы-убийцы будущим войны?» начинается с небольшой зарисовки о вполне возможном будущем. Российский военный робот воспринимает случайный выстрел эстонского пограничника как начало атаки и открывает огонь на поражение. Спустя долю мгновения в ответ стреляет дрон с эстонской стороны. На поле боя остаётся лежать дюжина погибших и раненых с обеих сторон. Человеческая неуклюжесть и реакция машины ставят мир на грань войны НАТО и России.

Стремительная роботизация поля боя происходит на наших глазах. Ведущие державы уже потеряли монополию на неё. Беспилотники, сделанные из палок, отходов и палёных микросхем стали головной болью для лучших армий мира в зонах локальных конфликтов.

Пока речь не идёт о настоящих военных роботах. Сейчас беспилотной машиной дистанционно управляет человек. Или её автономность обычно сводится к продвинутому самонаведению на уже выбранные цели.

Решение об уничтожении целей принимают не электронные «мозги» дронов RQ-4 Global Hawk или MQ-9 Reaper, а сидящий в центре управления офицер ВВС США без отрыва от чашки кофе.


Такое убийство отличается от «обычного» только расстоянием, на котором находится стреляющий.

Но развитие военного дела требует перехода к автономным боевым машинам. Которые будут убивать людей без участия оператора — просто на основе заложенных в них алгоритмов определения целей.

Зачем создавать терминаторов?

Скорости современного боя

Расползание по миру ракетных технологий и появление гиперзвукового оружия диктуют невозможное для человека время принятия решений. Ты обеспечил наведение на цель и открытие огня за миллисекунды — или проиграл. За эти же доли мгновения нужно успеть понять, не является ли решение поразить цель ошибочным.

Раньше это касалось в основном сверхскорострельных орудий ближней ПВО боевых кораблей, обязанных за доли секунд встретить прорвавшуюся ракету потоком снарядов. Теперь на сопоставимых скоростях должны действовать большая и малая ПРО. В том числе против гиперзвуковых ракет, системы активной защиты техники и многого другого.


Пока что это в основном касается оборонительных систем. Но уже сейчас существует острейшая потребность в автоматизированном поиске и поражении целей до того, как они успеют выстрелить первыми.

Такова, к примеру, российская перспективная боевая информационно-управляющая система «Сигма-20385». По словам разработчиков, при доведении до нужной кондиции она сможет полностью управлять движением и боем целых эскадр военный кораблей.

Кто победил, а кто получил снаряд и сгорел, в современном бою решают доли секунды. Автоматизация с её невозможной для человеческой психики скоростью реакции даёт огромный перевес тем, кто рискнёт сделать на неё ставку.

Совершенствование средств РЭБ и кибервойны

Беспилотные машины, управляемые по радиоканалу оператором, имеют свои уязвимости. Эту связь можно прервать или взломать. Даже продвинутым и защищённым американским БПЛА приходилось приземляться не там и попадать в любопытные руки иностранных инженеров.


Впрочем, перехват контроля — это высший пилотаж. Обрыв связи с центром управления с помощью постановки помех проще и надёжнее.

Полностью автономная машина, действующая на основе собственных алгоритмов, гораздо устойчивее к таким фокусам.

Деньги-деньги-дребеденьги

Есть ещё и вопрос оптимизации расходов. Ведь операторам в центрах управления дронами тоже надо платить, и это не самые маленькие деньги.

Если роботы будут управлять собой сами, военным бюджетам проще будет сводить концы с концами. Проще содержать нескольких айтишников и прочих технарей, чем толпу офицеров.

Рассвет машин-убийц

Автономные боевые системы рождаются в то самое время, когда вы читаете эту статью.

Великобритания и Израиль уже применяют ракетные комплексы «Бримстоун» и «Гарпия НГ», способные часами барражировать в заданном секторе, определять и поражать цели.

Американское агентство DARPA в рамках программы CODE разрабатывает координируемый оператором рой боевых дронов высокой степени автономности, способных к импровизации внутри общей задачи. А возможно, и к полностью самостоятельной работе — но про это нервической общественности знать необязательно. Само собой, это не единственная разработка американского ВПК на эту тему.


Про российскую «Сигму-20385», способную превращать эскадры кораблей в рой дронов под контролем нейросети, мы уже упомянули — и она тоже не единственная в ВПК РФ.

Есть разработки и у Китая — в том числе не без израильских «ушей», — и у других стран.

Это пугает очень многих.

Лиценизия на убийство для машины

Убийство человека — это плохо по определению, гласит один из фундаментальных принципов современной цивилизации. Убийца из любых соображений всё равно является убийцей. Он несёт ответственность за гибель человеческого существа.

Военное командование, руководство ЧВК или командиры мятежников отправили робота в заданный сектор. Программисты вложили в него алгоритмы определения целей и применения оружия. Но на «спусковой крючок» машина-убийца нажимает сама. Решает она. Безэмоциональными, не владеющими концепциями гуманности или пощады электронными мозгами.

В теории тщательно проработанные и протестированные алгоритмы оставляют дронам куда меньше шансов на ошибку, чем живому человеку с его слабостями, усталостью и «тараканами» в голове.

Но с другой стороны, кто сказал, что программисты не накосячат? Непременно накосячат. Просто потому, что они живые люди. Всевозможные сбои, глюки и баги железа и софта тоже никто не отменял.


Нет никакой гарантии, что в ваше окно одним прекрасным днём не влетит ракета с термобарической боеголовкой или рой 30-мм снарядов. Просто потому, что у пролетавшего в сторону полигона военного робота переклинило программу, и он увидел в вашей квартире логово террористов.

А давайте запретим?

Дискуссии о машинах-убийцах идут не первый год. Международная гражданская кампания «Остановим роботов-убийц» в августе 2018 года добилась формулирования на уровне ООН принципов недопущения выдачи боевым машинам лицензии на убийство.

Цитата:
Мы сфокусировались на двух вещах, которые должны оставаться под контролем человека. Это идентификация и выбор целей, а затем применение против них оружия.
— Мэри Уорхем, координатор кампании «Stop Killer Robots».

В июне того же года корпорация Google торжественно объявила, что её принципы не допускают участия в разработке машин‑убийц.

Только всё это совершенно бессмысленно и неосуществимо.

Мы можем говорить сколько угодно слов про неэтичность и недопустимость на международных площадках с самых высоких трибун. Но те, кто на это наплюют, получат значительное преимущество.


Даже если случится чудо, государства и корпорации договорятся о запретах и станут их соблюдать — скоро машины-убийцы можно будет собирать из всё тех же палок, отходов и микросхем.

Ещё в 2015 году тысяча ведущих мировых специалистов в области искусственного интеллекта и робототехники во главе с Илоном Маском, Стивом Возняком и Стивеном Хокингом подписали открытое письмо. В нём они выразили опасение, что машины-убийцы станут «калашниковыми будущего». В смысле общедоступности и популярности.

С большой вероятностью так и будет. Запреты никого ни от чего не спасут. Прогресс не остановить, даже если очень хочется и срочно надо.

Роботы-убийцы в руках государств, корпораций, ЧВК, преступных синдикатов и террористических организаций — наше неизбежное завтра эпохи победившего киберпанка. Их жертвами станут миллионы человек.

А в случае ошибок, подобных описанному в The New York Times, или попросту сбоев, эти терминаторы смогут ещё и войны развязывать. С эскалацией до мировых и ядерных. Потому что у них баги и они нечаянно.


Шанс стать целью машины-убийцы, прямо как Сара Коннор из «Терминатора», теперь имеет каждый из нас. В самой что ни на есть реальной реальности.

В том числе не от происков Большого Брата или злобных террористов, а из-за криворукости какого-нибудь субподрядчика из Шри-Ланки, кодировавшего военный заказ за доширак.

Поздравляю, будущее наступило. Оно вот такое — другого не завезли.

Алексей Костенков