ディープマインドのゲームAIはアクションゲームが不得意!?

ロボティア編集部2016年6月22日(水曜日)

 グーグルが開発しているゲーム専用人工知能DQN(deep Q-network)。人工知能がゲームをプレイしながら学習し、時に人間以上の実力を発揮する。

 グーグル傘下の人工知能企業ディープマインドは、人間と同レベルの知能を備えた人工知能の開発を目指している。そのなかの試みのひとつとして、DQNに様々なゲームをプレイさせているのだが、その結果、人工知能が人間以上にこなすことができるゲームと、そうでないゲームが存在することが明らかになってきた。

 ディープマインドのDQNは、何度も試行錯誤を繰り返しながら学習、知識を蓄積する。このような学習形態は強化学習(reinforcement learning)と呼ばれている。

グーグル_ディープマインド_DQN
photo by Deepmind Blog

 ディープマインドはDQNに、前提となる知識が全くない状態で、アタリ2600(米国で開発された家庭用ゲーム機)のゲーム50種をプレイするようにした。結果、29種のゲームで人間を凌駕するスコアを残したという。最もスコアが高かったゲームはビデオピンボールで、人間よりも2539%も高いスコアをマークした。一方、モンテズーマズ・リベンジ(Montezuma's Revenge)という、スーパーマリオに似たスクロール型アクションゲームでは苦戦(0%)を強いられている。(上表参照)

※ビデオピンボール

※モンテズーマズ・リベンジ

 DQNのソースコードとアタリ2600エミュレータは、無料で公開されているので、誰でもディープマインドの実験を再現することができる。ディープマインドはDQNのアルゴリズムを改善し、学習の役割を安定化させたり、既存ゲームの経験を優先的に扱うなど、標準化、データ収集、再測定などを実施している。それらの施策により、これまでアタリ2600のゲームのスコアが3倍以上向上したとしている。

 ディープマインドはまた、アタリ2600のゲームが2Dに限られているため、3Dで作成したラビリンス(Labyrinth、迷路の中を探索するゲーム・)を独自開発し、DQNの学習に導入。今後、このような実験から得られたノウハウやデータを駆使して、健康管理アプリなど、社会に有益な活用方法を模索するとしている。