Ли седоль против alphago

AlphaGo vs Li Sedol: интервью с Фаном

Искусственный интеллект вот-вот справится с очередной головоломкой, придуманной однажды человеком – игрой Го, которой внезапно заинтересовался весь мир: ведь до сих пор успешная игра в Го на высшем уровне удавалась только человеку. И вот с 9 по 15 марта пройдет матч из пяти партий между одним из лучших в мире игроков Го – Ли Седолем (Lee Se-dol, 9-й про-дан, Корея) – и программой AlphaGo, разработанной компанией Google DeepMind в 2015 году.

AlphaGo — первая в мире программа, которая выиграла равный матч у профессионала – трехкратного чемпиона Европы Фана Хуэя (Fan Hui, 2-й про-дан, Франция). Но Ли уверен, что не проиграет программе, хотя Фан тоже не верил в поражение.

Многие годы программы слабо играли в Го и никто не воспринимал их всерьез. Фан Хуэй рассказал нам о нашумевшем матче с AlphaGo, а также о том, какое значение этот матч имеет для него и может иметь в будущем для мира Го в целом.

– Что ты можешь рассказать об игре с AlphaGo?
– Во время игры с компьютером, не знаю почему, я делал ошибки, которые обычно не делаю. Сначала я думал, что не могу проиграть и играл спокойно, но все же проиграл. Я решил, что компьютер играет так спокойно и медленно, потому что плохо считает. Я подумал, что выиграю, если буду играть сложно и агрессивно. Я надеялся, что смогу пересчитать компьютер. Но оказалось, что компьютер и считает тоже хорошо. Я считал, что мое преимущество – глобальная оценка позиции на всей доске, но и это мне не помогло победить.

Я был обескуражен и не понимал, что со мной не так. Я играл в свое Го как умею, не делал никаких странных ходов или трюков. Иногда я делал ход и сразу же понимал, что поторопился, что ход плохой. Для компьютера такое невозможно – он не может быть невнимательным или устать – в этом его преимущество. Для людей есть теория. Мы знаем много вариантов дэёсэки и знаем, какой ход плохой, какой хороший, и не просчитываем все варианты каждый раз. Компьютеру все равно, он проверяет каждый ход.

– Что с тобой произошло после этого матча?
– Поражение выбило меня из колеи. Мне было плохо и я не понимал, как я мог проиграть и что со мной не так. После объявления результатов матча я получил миллионы вопросов из Китая. Из Франции – ни одного письма. Европейцы понимали, что мне в тот момент было не просто и не задавали вопросов. Я почувствовал их поддержку и мне это очень приятно.

В Интернете и про меня, и про Google люди писали много всего нехорошего. Обычно в обсуждениях среди причин моего поражения рассматривают в основном три версии:

1. Компьютер играет очень хорошо. Это понятная версия, тут мне нечего возразить.

2. Компьютер играет несильно, это Фан Хуэй играет плохо. Мне неприятно такое слышать, но о’кей – я принимаю и такое мнение.

3. Компания Google заплатила мне. Вот это странная версия. Меня пригласили, чтобы я протестировал программу. Создателям нужно было проверить: действительно ли AlphaGo может играть на уровне профессионала. Какой смысл мне платить, чтобы я проиграл?

Я выиграл первый Европейский профессиональный чемпионат. Я по-прежнему сильнейший в Европе. Мое Го по-прежнему со мной. Более того, я изменился. После поражения я был очень расстроен. Я много думал и мне потребовалось много времени чтобы восстановиться. Сейчас на турнире я понял, что вернулся, но мое Го изменилось и я изменился.

– По твоему мнению, как победа AlphaGo повлияла и повлияет на игру Го?
– Конечно хорошо повлияет. Во Франции на нашем сайте обычно тысяча посетителей в день. Сейчас – три тысячи. И такая ситуация во всех странах. Го сейчас интересно всем.

Справка:
Чемпионка Европы среди женщин Рита Почай (Rita Pocsai, 4-й любительский дан, Венгрия) недавно сыграла две партии в таком же специально устроенном матче с другой известной программой –
Zen, разрабатываемой японцами, и выиграла у нее, но, конечно, никто ни в одном СМИ об этом не написал.

– В том, что компьютер хорошо играет в Го, я вижу большую пользу для нас, игроков. Игра существует больше четырех тысяч лет, но много ли мы о ней знаем? Может быть 10%, может быть 20%. Если компьютер будет сильнее человека, мы сможем узнать об игре что-то новое, и мы станем сильнее.
Есть очень популярная манга «Хикару и Го». Мальчик на чердаке нашел старый гобан, который был в крови. Из гобана появился дух великого игрока прошлого, которого звали Сай, и он стал обучать игре Го мальчика. Я думаю, что через некоторое время в каждом доме может появиться свой Сай – компьютерная программа.

– Как ты думаешь, кто победит: AlphaGo или Ли Седоль?
– Я не могу говорить об этом. Такой вопрос мне задают, может быть, сто раз в день.

Текст и фотографии: Михаил Крылов Вопросы задавали: Dawn Chan и Михаил Крылов 09.03.2016 11:35:4509.03.2016 12:15:09 Миша, спасибо за статью!
«Я думаю, что через некоторое время в каждом доме может появиться свой Сай – компьютерная программа.» — Фан — очень классный и супер позитивный!09.03.2016 12:26:16 «Компания Google заплатила мне. Вот это странная версия. Меня пригласили, чтобы я протестировал программу. Создателям нужно было проверить: действительно ли AlphaGo может играть на уровне профессионала. Какой смысл мне платить, чтобы я проиграл?» Чтобы протестировать — не нужны пафосные матчи. Здесь дело в пиаре. И вот за него — платят обычно приличные деньги. Так что смысл в оплате проигрыша есть.09.03.2016 12:38:05 Возможно и заплатили за матч, и может быть даже должны были заплатить существенно больше при проигрыше программы. Это нормально — компания заинтересована в тщательном тестировании перед более серьезными испытаниями (а они уже началиль, как мы видим).

ИИ AlphaGo от Google DeepMind стал полностью самообучаемым

Исследования ИИ быстро продвигаются в самых разных областях, от распознавания речи и классификации изображений до генетики и открытия новых видов лекарств. Во многих случаях это специализированные системы, которые используют огромное количество человеческих знаний и данных.

Однако для некоторых задач человеческие знания могут быть слишком дорогостоящими, ненадёжными или просто недоступными. Поэтому давняя цель исследований ИИ заключается в том, чтобы обойти этот шаг, создавая алгоритмы, которые достигают сверхчеловеческой производительности в самых разных и сложных областях без человеческого участия.

Компания DeepMind, британское подразделение Google, опубликовала статью в научно-популярном журнале Nature, демонстрирующую значительные шаги навстречу данной цели.

AlphaGo Zero

Эта статья представляет миру проект AlphaGo Zero, являющийся потомком AlphaGo, первой в мире компьютерной программы, победившей человека-чемпиона в игру го. Zero является еще более мощным и, возможно, самым сильным игроком го в истории.

Предыдущие версии AlphaGo обучались игре по предоставленным им тысячам игр любителей и профессионалов го. Новый ИИ AlphaGo Zero пропускает этот шаг и обучается игре, просто-напросто играя в неё против себя, начиная с совершенно случайной игры. При этом он быстро превзошёл человеческий уровень игры и победил бывшего чемпиона AlphaGo со счётом 100:0.

Сам себе учитель

Подобный результат стал возможным благодаря использованию подхода обучения с подкреплением. Именно в таком виде обучения AlphaGo Zero становится своим собственным учителем. Система начинает самообучение с нейронной сетью, которая ничего не знает о го. Затем ИИ играет против себя, объединяя свою нейронную сеть с мощным алгоритмом поиска. С течением времени нейронная сеть настраивается и обновляется для прогнозирования ходов и возможного победителя игры.

Обучение продолжается несколько итераций подряд, в каждой из которых производительность системы увеличивается, что приводит к появлению более точных нейронных сетей и всё более сильных версий AlphaGo Zero.

Данный подход является более мощным, чем используемые в AlphaGo, потому что он больше не ограничивается пределами человеческого знания. Вместо этого он может научиться всему у самого сильного игрока в мире: чемпиона мира AlphaGo.

Отличия Zero от своего предшественника

  • AlphaGo Zero использует только чёрные и белые камни с доски Go в качестве входных данных, тогда как обучение AlphaGo включало в себя небольшое количество функций, написанных программистами специально;
  • Zero использует только одну нейронную сеть, а не две. AlphaGo мог обращаться к базе игр мастеров го, в его наборе была нейронная сеть, которая имитировала их стиль, а вторая нейронная сеть оценивала качество позиций для определения победителя в каждый момент игры;
  • AlphaGo Zero не использует быстрые, случайные игры, как другие программы и алгоритмы, чтобы предсказать, какой игрок выиграет от текущей позиции на доске. Вместо этого он полагается на свою нейронную сеть для оценки позиций.

Эти алгоритмические изменения делают новую версию системы более мощной и эффективной по сравнению с предыдущей версией алгоритма:

Качественный прорыв

После всего лишь трёхдневного обучения AlphaGo Zero смог победить версию AlphaGo, которая победила 18-кратного чемпиона мира Ли Седоля. После 40 дней самостоятельной подготовки AlphaGo Zero стал даже более сильным, чем версия AlphaGo, известная как «Мастер» и побеждавшая лучших игроков мира, в том числе номера один в рейтинге игроков го Кэ Цзе.

Данный график демонстрирует меру относительных уровней квалификации игроков в таких играх, как го. Это является показателем того, что AlphaGo становится все более сильным с каждым этапом развития проекта.

Польза самообучения

За время миллиона сыгранных партий «AlphaGo против AlphaGo» система постепенно изучила игру го с нуля, накопив тысячи лет человеческих знаний в течение всего лишь нескольких дней. AlphaGo Zero также обнаружил новые знания, разработал нетрадиционные стратегии и необычные подходы к решению задач, которые превзошли те методы, которые AlphaGo использовал в играх против Ли Седоля и Кэ Цзе .

Миссия ИИ

DeepMind говорят, что подобные моменты креатива, продемонстрированные ИИ, доказывают важность его использования. Он способен улучшить человеческую изобретательность и помочь в решении некоторых наиболее важных задач, стоящих перед человечеством.

Если подобные методы смогут быть применены к таким структурированным проблемам, как свёртывание белков, снижение потребления энергии или поиск революционно новых материалов, то достигнутые в этих сферах технологические прорывы положительно повлияют на общество.