Всем игрокам приготовиться

Первый звоночек раздался в 1994 году, когда Марион Тинсли, непобедимый игрок в шашки, вступил в поединок с машиной. Против Тинсли играла программа «Шинук», которую он сам же помогал дорабатывать. Первая игра была сведена вничью. Так же закончились вторая, третья, четвертая… После шестой Тинсли снялся с матча из-за плохого самочувствия — чуть позже у гениального игрока диагностировали рак щитовидной железы, уже через полгода сведший его в могилу. После смерти Тинсли ни один представитель человечества уже не смог обыграть «Шинук». Вслед за шашками настал черед шахмат. В 1996 году Гарри Каспаров проиграл свою первую партию в шахматы программе Deep Blue. Сам матч завершился со счетом 4:2 в пользу гроссмейстера, но именно уступленные партии дали право противнику — корпорации IBM — потребовать реванша. В 2015 году ИИ покусился на покер. Боту для игры в безлимитный техасский холдем — Claudico — не удалось победить людей спустя 20 000 раздач, но его преемник, Libratus, в январе 2017 года буквально разорвал всех своих соперников. Чуть дольше держалась игра в го: очень большое поле, количество возможных позиций камней на порядки больше, чем у фигур на шахматной доске. Но настает 2016 год, и AlphaGo выигрывает четыре партии из пяти у одного из самых титулованных профессиональных игроков — Ли Седоля. До этого трехкратный европейский чемпион Фань Хуэй проиграл машине всухую. В мае 2017-го машине проигрывает Кэ Цзе, лучший игрок на планете, и на этом искусственный интеллект заканчивает свою спортивную карьеру в го. Все эти игры — абстрактные, пошаговые и сугубо «разумные» игры, не требующие от игроков ни скорости реакции, ни мышечной силы — только умения сохранять трезвость рассудка и думать, просчитывать, предугадывать. Где они, а где, например, футбол? Где больше вариативности, азарта, человеческого фактора? Но в футбол или хоккей с кремниевым интеллектом мы не сыграем, пока тот не сможет «облачиться» в костюм белкового игрока. Правда, мы можем встретиться с ним на цифровом поле. И там уже давно есть свой футбол. Виртуальный спорт Через несколько месяцев после победы над Ли Седолем, DeepMind и Blizzard Entertainment объявили о том, что собираются открыть обучающимся машинам путь в Starcraft 2. «Старкрафт» — это легендарная RTS (real-time strategy, стратегия в реальном времени) для истории видеоигр, во многом определившая жанр. Официальные крупные соревнования по этой игре проводятся в Южной Корее — Мекке киберспорта — с конца 90-х. Финалы турниров собирают стадионы, а корейские мальчишки, взрослевшие в нулевые годы, все чаще видели себя во снах не космонавтами, а «бонжвами» (сленговое обозначение легендарного игрока, их в 20-летней истории корейского старкрафта только пять). Игры, подобные старкрафту — логичный шаг в обучении ИИ. Старкрафт, по словам одного из игроков в него, «требует ловкости пианиста, ума шахматного гроссмейстера и дисциплины спортсмена-олимпийца». Тут нет проверенной однозначной стратегии, которой противник не мог бы ничего противопоставить, игра идет в реальном времени, а информация об игре неполна: в шахматах игроки видят все игровое поле, обладают полным знанием о положении дел на доске, а тут — действия оппонентов скрываются под «туманом войны», и игроки должны полагаться на разведку, свои аналитические способности и интуицию, чтобы понять чужой план на игру. И, что немаловажно, действовать в этих играх нужно по-настоящему стремительно. Заявление DeepMind звучит амбициозно — однако уровень детища Google, одолевшего человека в го, на сегодняшний день еще очень далек от того, чтобы выйти на бой с людьми: на начало этого года «нейронки» продолжали проигрывать обычным, «неразумным» ботам. Чего, однако не скажешь о другом проекте: боте OpenAI для игры Dota 2. OpenAI — некоммерческая исследовательская компания, основанная Илоном Маском и Сэмом Альтманом для создания «дружественного ИИ». Главная особенность развития «контролируемого искусственного разума» — неконтролируемое обучение. Инженеры OpenAI хотят добиться того, чтобы ИИ сам познавал мир и формулировал стратегии решения задач без опоры на заложенные в него людьми схемы. «Дота», появившаяся в 2003 году, давно разрослась до статуса крупнейшей киберспортивной дисциплины: десятки команд, сотни профессиональных игроков, миллионы игроков-любителей, многомиллионные призовые фонды, разыгрываемыми в течение каждого сезона. Самый крупный фонд — 24,7 млн долларов — был разыгран в прошлом году на The International 2017, крупнейшем турнире в регулярном сезоне. В этом году, на момент публикации этого текста, призовой фонд уже превзошел прошлогодний рекорд. Будучи механически похожа на старкрафт, дота, однако, обладает еще одним игровым измерением, которого лишены предыдущие игры, в которых человеку бросала вызов машина. Дота — это командная игра. В матче участвуют две команды по 5 человек, каждый из которых вносит свою долю импровизации и хаоса в происходящее на игровом поле. Каждый раунд команды должны сначала собрать себе «состав» из общего для игроков набора в 115 персонажей (то есть одинаковыми героями поиграть у противников не получится, и можно «отнять» у соперника ценный кадр), а после попытаться разрушить главное здание противника. По ходу игры игровые персонажи меняются и становятся сильнее, получая игровой опыт и новое снаряжение: вся внутриигровая экономика напрямую зависит от успеха действий команды на карте. Машины начинают, выигрывают и… проигрывают Сначала OpenAI готовили к дуэльному поединку 1 на 1. Это, хотя и намного более простой, чем «полная дота», режим, тем не менее, уже весьма требователен к дуэлянтам: они должны иметь план на игру, предугадывать решения противника, обманывать и разгадывать ложные ходы противника. Бота выпустили на большую сцену 11 августа 2017 года, где искусственный интеллект сразился в честной битве — хотя и с рядом ограничений — с одним из самых титулованных профессиональных игроков, Данилой «Dendi» Ишутиным. И одержал верх. К этому «нейронка» шла меньше полугода. Еще в начале марта бот в игре за Drow Ranger (герой дальнего боя) только учился «кайтить» — атаковать героя ближнего боя, избегая при этом ответного урона от него — а уже в начале июня победил своего «первого человека». Дальше начинается победное шествие OpenAI на верх игрового рейтинга в «зеркальном» матче двух Shadow Fiend'ов. 7 августа, за четыре дня до финальной битвы, бот добирается до профессионалов: первый проигрывает ему со счётом 3:0, второй уступает 2:1 (единственный, кто выиграл хотя бы одну партию до начала чемпионата), третий также проигрывает со счётом 3:0. Все проигравшие соглашаются с тем, что Suma1L — лучший дуэлянт среди профессиональных игроков — сможет одолеть «нейронку». 9-го августа бот не оставляет ни единого шанса Arteezy, взяв 10 раундов из 10. Тот, вслед за своими коллегами, тоже утвердительно отвечает на вопрос, сможет ли Suma1L разобрать игру бота и победить. Однако, пока профессионалы проигрывали, бота побеждали любители. В день проигрыша Ишутина на сцене как минимум 50 игр в зале завершились победой людей. И хотя большая часть включала в трикстерство в той или иной форме — были среди победителей и те, кто просто оказался достаточно хорош! Через несколько недель некоторым профессионалам дали возможность и дальше бороться с искусственным интеллектом. Игроки продолжили искать пробелы, «баги» в логике бота, обыгрывая его с помощью нелогичных и нестандартных решений — тех, которых ИИ еще никогда не видел. Первая зарегистрированная победа человека над финальной версией дуэльного OpenAI — 7-е сентября 2017 года. Как отмечают в комментариях к видеозаписи матча, человеку, в общем-то, повезло. Другие комментаторы с иронией отмечают: «Бот сделает из этого выводы и станет еще лучше». Командная работа Уже после матча с Dendi, СЕО OpenAI Грег Брокмен заявил, что в следующем году они вернутся на чемпионат уже с командой ботов, чтобы сыграть против людей в настоящую доту. Проект назвали OpenAI Five. Сама принципиальная схема «ИИ для доты» ничем особенно не отличается от системы, победившей человека в го. Мощная ресурсная база, на которой запущена нейронная сеть, изучающая игру способом «обучения с подкреплением» (reinforced learning). На обеспечение работы команды искусственных игроков работает 128 000 компьютерных процессоров и 256 графических (P100). Для сравнения: дуэльный OpenAI использовал 60 000 «ядер» и 256 более слабых графических процессоров K80. Со всем этим «под капотом» каждый бот в минуту просчитывает около 150−170 действий, а может достигнуть скорости и 450 дeйcтвий в минуту. На тренировках каждый из отдельных игроков OpenAI Five наигрывал до 180 лет в день, причем 80% матчей он проводил против самого себя, а 20% — против предыдущей версии себя, чтобы не слабеть в результате неверного развития. Для того, чтобы ускорить стартовое понимание игры ботам привили систему ценностей: «награждали» за убийства противников, успешный фарм и прочие значимые игровые действия. Кроме этого, им ввели параметр «командный дух», который нарастает в течение игры, чтобы отразить то, как изменяется ценность действий в процессе игры: чем дольше продолжается матч, тем важнее коллективный успех, и менее ценна индивидуальная выгода. В июне этого года, когда боты начали побеждать команды со средним уровнем игры, разработчики стали постепенно снимать некоторые ограничения на условий матча. Постепенно повышая сложность вызовов, OpenAI анонсировали шоу-матч против «команды человечества», состоявшей из пяти англоязычных комментаторов, бывших профессиональных игроков. В матче были доступны для выбора уже 18 героев из 115, а скорость реакции ботов была снижена до «спортивных» 200 милисекунд. И Илон Маск, в феврале покинувший OpenAI из-за конфликта интересов с Tesla, и некоторые профессиональные игроки верили в победу людей, но их надежды не оправдались: поражение Team Human было разгромным. Боты показали, что: хорошо анализируют драфт (набирают персонажей, которые эффективно действуют вместе); превосходно играют один на один (что, впрочем уже было известно); весьма слаженно действуют в коллективных стычках. Ничем другим они, однако, аудиторию не удивили. Когда в третьем матче драфт отдали на откуп аудитории, зрители набрала в команду ИИ персонажей, не подходящих для быстрых командных боев с самого старта матча — и боты проиграли. После этой победы до главного теста года, шоу-матчей на The International 2018 против лучших игроков планеты, оставалось еще несколько недель. Успели ли они дорасти до уровня грандов? Это мы узнаем уже сегодня. Смысл победы В 1995 году «Шинук» сыграл свою последнюю игру против человека. Честь человечества в этом матче отстаивал ученик Тинсли и второй после него игрок в шашки на планете, Дон Лафферти. В 94-м, когда Тинсли снялся с матча, Лафферти сыграл против машины матч из 20-ти игр, по сумме оказавшийся ничейным. В 95-м он играл с «Шинуком» 32 игры: 31 одна закончилась ничьей, а одну выиграла машина. Человечество проиграло. Двенадцать лет спустя в журнале Science вышла статья под коротким заглавием «Шашки решены». Шеффер добился своего. Он доказал, что идеально сыгранная партия в шашки всегда приводит к ничьей. Последние в жизни Тинсли партии не могли быть сыграны лучше — они с «Шинуком» выжали из игры все. Последний громкий матч между человеком-гроссмейстером, Владимиром Крамником, и программой Deep Fitz закончился со счетом 4:2 в пользу машины и «ошибкой тысячелетия» в исполнении человека. После той игры, по мнению специалистов, соревноваться с компьютерами смысла нет — машины стали слишком сильными. Один из организаторов матча, комментируя итоги игры, сказал: «Не знаю, чего еще тут можно добиться. Наука с этим закончила». Тем не менее, шахматы не умерли. Сегодня профессиональные шахматисты по умолчанию используют в своей работе компьютеры — а на того, кто избегает подобной практики, смотрят с недоумением. Машина наигрывает для человека те самые годы и века комбинаций, дает ему то время, которого у игроков попросту нет. С конца 90-х начинают проходить игры в «продвинутые» шахматы, где друг против друга играет не два человека, а пары человек-компьютер — первый в истории матч в подобный «адванс» сыграл все тот же Каспаров, за год до этого проигравший Deep Blue. Закончится ли дота с победой OpenAI? Весьма и весьма маловероятно: чтобы грозить подобным, искусственному интеллекту, по меньшей мере, предстоит освоить игру еще сотней героев — и разобраться с теми аспектами, которые в сегодняшних матчах будут ограничены. Кроме того, ее разработчикам еще только предстоит изменить интерфейс взаимодействия программы с самой игрой. Сейчас, вместо того, чтобы обрабатывать картинку на экране — как это делают люди-игроки — машина продолжает «подключаться» к игре по API, специальному интерфейсу для сторонних программ, и «видит» ее совсем не так, как люди. Именно с этим связан такой быстрый прогресс бота для доты по сравнению со старкрафтом — DeepMind не пошли по легкому пути, а пытаются научить искусственный интеллект играть в ту самую игру, которую играют люди. Поэтому — как бы удивительно это не прозвучало — в победе машин над людьми заинтересованы, по-видимому, все стороны в матче. Также как и от проигрыша, по-видимому, потеряют тоже все. Демонстрация эффективности OpenAI позволило бы людям рассчитывать на помощь машин в поисках «решения» доты. А проигрыш не даст ничего, кроме сомнительного чувства своего белкового превосходства над своим же кремниевым созданием.