グーグル・ディープマインド（Google DeepMind）は、市販の小型ロボットにサッカーの試合をさせるという驚くべき偉業を成し遂げた。最近のScience Robotics誌に掲載された論文で、研究者たちは、深層強化学習（ディープRL）を活用して二足歩行ロボットにサッカーの簡易版を教えるという革新的なアプローチについて詳しく述べている。
四足歩行ロボットに焦点を当てたこれまでの実験とは異なり、ディープマインドの研究は、二本足のヒューマノイドマシンに動的な物理的タスクをトレーニングさせるという大きな進歩を示している。
ディープマインドのディープRLフレームワークがチェスや囲碁のようなゲームをマスターしたことはよく知られている。しかし、これらの成果は主に、身体的な協調よりも戦略的思考に関わるものであった。ディープRLをサッカーをするロボットに適応させることで、ディープマインドは複雑な物理的課題に効果的に取り組む能力を示している。
エンジニアはまず、コンピュータ・シミュレーションでロボットを訓練し、地面から立ち上がることと、相手に対してゴールを決めるという2つの重要なスキルに焦点を当てた。これらのスキルを組み合わせ、模擬試合のシナリオを導入することで、ロボットは1対1の完全なサッカー試合をこなせるようになった。繰り返しトレーニングを行うことで、キック、シュート、ディフェンス、相手の行動への反応など、ロボットの能力は徐々に向上していった。
テスト中、ディープRL訓練されたロボットは、非適応スクリプトのロボットと比較して、顕著な敏捷性と効率性を示した。これらのロボットは、首振りや回転など、事前にプログラムすることが困難な創発的行動を示した。しかし、これらのテストはシミュレーションベースのトレーニングにのみ依存しており、今後の取り組みでは、ロボットの適応性をさらに高めるために、リアルタイムの強化トレーニングを統合することを目指している。
この技術は有望ではあるが、ディープマインドを搭載したロボットがロボカップのようなイベントに出場できるようになるには、まだ乗り越えなければならないハードルがある。ロボットの規模を拡大し、その能力に磨きをかけるには、大規模な実験と改良が必要となる。とはいえ、ディープマインドの先駆的な研究は、実世界のシナリオにおける二足歩行ロボットの動きと適応性を向上させるディープRLの可能性を強調している。
