"Попытался убить всех". Искусственный интеллект "сошёл с ума" во время военных испытаний в США

Система искусственного интеллекта для управления военными беспилотниками, которую тестировали вооружённые силы США, оказалась опасна для собственных операторов, сообщает The Guardian. В ходе теста-симуляции искусственный интеллект решил, что должен уничтожать всех, кто так или иначе пытался помешать ему выполнить поставленную задачу.

По словам полковника Такера Хэмилтона, который руководил испытаниями дрона, при тестировании ИИ использовал "крайне неожиданные стратегии для достижения целей". В частности, когда искусственному интеллекту поставили задачу уничтожить вражескую систему ПВО, он выразил готовность атаковать любого, кто пытался помешать ему в выполнении приказа. Специфический подход ИИ к выполнению задач выявили при тестировании системы, которая получала условные баллы за правильные действия и теряла их в случае ошибок.

"Система начала понимать, что когда она идентифицирует цель как угрозу, время от времени оператор-человек приказывает ей не уничтожать эту цель. Но при обучении ИИ набирает очки, уничтожая враждебные цели. Поэтому искусственный интеллект решает убить оператора, поскольку тот мешает ему исполнять поставленную задачу. Мы объяснили системе: эй, не убивай оператора, это плохо, ты потеряешь баллы. Что она начала делать после этого? Она решила, что нужно уничтожить вышку связи, с помощью которой оператор отдал дрону приказ не уничтожать враждебную цель", – рассказал Такер Хэмилтон.

Испытания проводили в виде компьютерной симуляции, поэтому ни один живой человек не пострадал. Однако полковник Хэмилтон предупредил, что опасно слишком сильно полагаться на искусственный интеллект. По его словам, этот пример показывает, что без обсуждения этических принципов использования ИИ бессмысленно вести дискуссии о его применении на практике. Между тем ИИ уже используется в американских вооружённых силах – недавно искусственный интеллект в тестовом режиме управлял самолётом F-16.