「強化学習」という言葉は知っているものの詳しくは知らないという方は多いかもしれません。強化学習とは、機械学習の種類の一つで、報酬が最大となる方式を学習する手法です。一言で表すならば、コンピューターが自ら最適な行動を導き出す手法といえるでしょう。
“コンピューターが自ら最適な行動を導き出す”とはどのようなことなのでしょうか。今回の記事では、強化学習の仕組みや代表的なアルゴリズム、活用事例について解説します。強化学習と混同されやすい「機械学習」「深層学習（ディープラーニング）」との違いについても理解できる内容となっています。
また、強化学習の優れている点だけでなく、強化学習の課題についても解説していますので、強化学習の全体像をつかむことが可能です。ぜひご覧ください。
強化学習とは？機械学習・深層学習との違いも解説
まずは強化学習について解説します。強化学習の概要や機械学習・深層学習との違いについて見ていきましょう。
強化学習とは最適な行動を探していく学習方法
強化学習とは、機械学習の種類の一つで、コンピューターが試行錯誤を繰り返し、得られる報酬が最大となるように最適な行動を導き出す手法です。一言で表すと、報酬を最大化する学習方法です。
機械学習を大きく分類すると3種類の学習方法があり、強化学習のほかに、コンピューターに正解となるデータを入力して学習する「教師あり学習」、正解となるデータがない状態からコンピューターが自ら学習する「教師なし学習」があります。
強化学習は、試行錯誤を繰り返して学習することから、機械学習の3種類の中で最も人間の知能に近い学習方法ともいわれています。現在は、囲碁や将棋のゲーム、ロボットの制御などに活用されており、今後さらに活用の幅が広がると予測されている手法です。
機械学習・深層学習（ディープラーニング）との違い
まず、機械学習とは、人間が明示的に命令を与えなくても、コンピュータがデータから学習できるようにするための技術を広く指します。逆に、機械学習以外のAIと言えば、外から見れば知能があるようにふるまっていますが、中身は単純に決まった条件で判断・動作しているようなものです。次に、強化学習は、機械学習の学習方法（機械学習で行うタスク）のひとつであり、機械学習の中に含まれます。他には、「教師あり学習」「教師なし学習」といった学習方法があります。最後に、深層学習とは、機械学習のアルゴリズムの1つであり、言い換えると、先述した学習方法を実現するための手段の1つです。そのため、深層学習に限らず、各学習方法について様々なアルゴリズムが存在しています。もちろん、強化学習のためにも深層学習は使われますし、教師あり学習、教師なし学習においても深層学習は使われています。
深層学習は、データの特徴量抽出に対する柔軟さが高く、複雑なタスクにも高精度の結果を出すことが期待できるため、非常に良く使われる手法となっています。
強化学習の仕組み
強化学習の仕組みを理解する上で、以下の5つの用語を覚えておきましょう。
- エージェント……強化学習を行う主体（AI）
- 環境……エージェントが存在する空間
- 状態……エージェントの現在の情報
- 行動……エージェントのアクション
- 報酬……環境から与えられる値（価値）
強化学習では、エージェントはある環境の中で状態を把握し、行動をとります。すると、それと引き換えに報酬が与えられます。エージェントは、長期的にできるだけ報酬を大きくすることを目標にとるべき行動を学習します。例えば、人間の代わりにアクションゲームをプレイするAIを考えてみます。状態は画面に映るマップの情報とゴールの方向、行動はコントローラによる入力操作です。行動を取るたびに、ゴールに近づけばエージェントはプラスの報酬を得ます。逆に、キャラクターがダメージを受けたり、ゴールから遠ざかればマイナスの報酬を得ます。報酬を最大化するように試行錯誤を繰り返すと、まるで人間が操作しているかのようにゴールを目指すようになるでしょう。さらに、時間の経過とともにマイナスの報酬を得るようにすれば、無駄な動きをせず、より早くゴールすることも目指すようになります。このように、与えられた環境と手に入る情報から最適な行動を学ぶというのは私たち人間の行動に近く、様々なタスクに広く応用できる学習方法だということができます。
強化学習の代表的なアルゴリズム3選
この章では、強化学習の代表的なアルゴリズム「Q学習」「SARSA」「モンテカルロ法」の3つを紹介します。
Q学習
Q学習とは、Q値（最適行動価値）を用いて学習する方法です。Q値とは、ある状態である行動を取り、その後は全て最適な行動を選択するとしたときの報酬の期待値です。Q学習では、ある状態とその時とる行動に対して一つのQ値が割り当てられており、行動を選択する際は各行動のQ値を参考にします。ある状態のエージェントが最適な行動をとるには、その状態において最大のQ値が得られる行動を選択すれば良いのです。
Q学習では「Qテーブル」と呼ばれる表で、状態と行動とQ値の組み合わせを管理します。初期状態で正確なQ値はわかりませんので、エージェントが行動するたびにQ値を書き換え、Q値の推計を向上させていきます。行動を繰り返していくうちに、報酬獲得につながった行動のQ値が増えていき、いずれは推計されたQ値は正確なQ値と近似します。すると、エージェントは各状態で最もQ値が大きい行動を取れるようになるので、よりよい行動を導き出せるという仕組みです。
SARSA
SARSAとは、状態（S）、行動（A）、報酬（R）、状態（S）、行動（A）の5つの要素からなる手法です。名前の通り、状態→行動→報酬→状態→行動というプロセスを繰り返して、よりよい行動の学習を進めます。現在の状態である行動を選択し、その結果得られた報酬や行動後の状態をもとに計算して、行動価値関数を更新します。
なお、行動価値関数とは、ある状態から次の行動をとった際に、得られる期待収益を表す関数のことです。
モンテカルロ法
モンテカルロ法とは、乱数を用いて試行錯誤を重ねて、近似解を得る手法です。不確実な現象に対して、ありとあらゆるパターンを何回も繰り返しシミュレーションすることで、より精度の高い結果を得られます。非常に多くの繰り返しが必要となり、効率が悪いところが欠点です。
初期では数値をランダムに設定し行動を選択します。ある行動の開始から終了までに得られた報酬の平均値を出し、より高い平均値を得られる行動を学習します。
強化学習の活用事例5選
強化学習の技術は、さまざまな製品に活用されています。強化学習の活用事例5選を紹介します。
ゲーム
強化学習は、囲碁や将棋、オセロなどの対戦型ゲームに活用されています。コンピューターは、ゲームの先の展開を予測して、最もよい指し手を選択することが可能です。コンピューターは、ゲームの先の展開を予測して、ゲームに勝つための最善の行動を導きます。繰り返し学習することで、精度が高まりどんどん上達していきます。
現在はコンピューターの処理能力が向上し、実際にプロ棋士と対戦してコンピューターが勝利した際には、人間の能力を超えたともいわれました。
自動運転システム
強化学習は、自動車の自動運転システムに用いられています。自動運転システムは、道路状態や車列などの周辺環境の情報を処理し、車両制御を行うものです。自動運転システムでは、コンピューターが自動車が人や物体と衝突しない方法を学習する必要があります。
現在、安全な運転を習得するために実証実験が行われており、日本国内では国土交通省航空局が空港制限区域内で実施した事例があります。今後さらに研究・開発が進み、レベル4・レベル5の自動運転車の実用化が期待されています。
エレベーターの制御
エレベーターの制御システムは、強化学習の活用事例の一つです。エレベーターは、高層ビルやデパートのように設置台数が多く、かつ利用者数が多い場所に欠かせないものです。利用者の利便性を高めるべく、エレベーターの制御システムは利用者の待ち時間を短くすることが前提条件となります。
コンピューターに利用者の待ち時間が減るエレベーターの行動を繰り返し学習させることで、効率的に運行できるようになります。
ロボットの制御
強化学習は、ロボットの制御システムに活用されています。掃除ロボットの学習は、掃除ロボットが掃除を行うたびに部屋の間取りやゴミの量を学習し、次第に最も効率的にゴミを取れるルートで動作する仕組みです。多くのゴミを効率よく取るためにはどのように動けばよいかをコンピューターが判断し、学習を進めていきます。
また、掃除ロボットのほかにも、産業ロボットや介護ロボットなど、状況に応じて動作するロボット・機械の制御システムに用いられています。
Web広告の最適化
Webサイトにアクセスするユーザーに対して最適な広告を表示するシステムも、強化学習の活用事例の一つです。広告を配信するにあたり、多様かつ膨大なデータを手動で処理するのは効率的とはいえません。
強化学習を活用した広告配信システムでは、コンピューター自らがインターネット上のユーザーの一連の行動履歴から学習し、ユーザーの趣味嗜好に合うWeb広告をおすすめとして表示します。特定の行動をしたユーザーに最適なWeb広告を配信することで、コンバージョン率やユーザー満足度の向上につなげられます。
強化学習の課題
ここまで、手法や活用事例といった強化学習の優れている点を解説してきましたが、強化学習には課題も存在します。強化学習の課題は、複雑な環境での精度を高めるために性能を改善していく必要があるということです。
強化学習は、特定のルールや状況がある環境での行動を学習することを得意としています。裏を返せば、条件が変化する複雑な環境での行動を学習することが苦手です。これは、前述した通り、エージェントが環境を観測して行動を決定するという考え方がベースとなっているためで、そもそも理解することが難しいような複雑な環境の中では学習が難しいのです。そのため、複雑な環境で精度を高めるためにどのように性能を改善していくかの研究が進められています。
また、強化学習は、コンピューター自らが行動を繰り返して学習するため、人間が意図しないような行動をとる可能性があります。そのため、人間が想定することと学習結果の相違が開発の進捗を阻む課題となることがあるのです。
深層強化学習は強化学習と深層学習を組み合わせた手法
強化学習と深層学習を組み合わせた手法を「深層強化学習」と呼びます。深層強化学習は、より複雑な問題を解くことが可能です。深層強化学習の代表的な手法に「DQN（Deep Q-Network）」があります。DQN（Deep Q-Network）は、強化学習のQ学習をベースに、コンピューターが試行錯誤を繰り返す際の行動選択の指針に、ニューラルネットワークを用いて学習する手法です。
Q学習はQ関数（行動価値関数）を計算してQ値を推計し、Qテーブルを更新していきますが、とりうる状態と行動（パラメータ）が非常に多い場合には管理するパラメータが膨大な量となり、全てのQ値においてQ値の推計を計算することは現実的に難しいという欠点があります。そこで、Q関数をニューラルネットワークを用いて近似することで、現実的に扱えるパラメータの数で表現することが考えられました。深層強化学習の登場により、従来の強化学習以上に大規模な問題を解くことができるようになりました。
Googleの機械学習サービスが利用できる「Google Cloud」
強化学習がさまざまな分野で役立つ先端的なAI技術であることを解説してきました。読み進める中で「AI技術をビジネスに活用したいが、インフラや専門知識がないので実装は難しい」と思われた方もいるかもしれません。そこで今回紹介するのは、Googleの機械学習サービスが利用できる「Google Cloud」です。
Google Cloudとは、サーバーやデータベース、ストレージといったさまざまなクラウド機能を利用できるGoogleのクラウドサービスです。Google Cloudでは、簡単な操作で利用できる機械学習サービスを多数提供しています。必要な工程をツールが行うため、スキルや知見がなくても機械学習を扱うことが可能です。
Google Cloudの特徴として、安全性・信頼性が高いインフラ基盤が挙げられます。Google Cloudは、サーバーの負荷が増大した場合でも対応できるように設計されており、スピーディーかつ安定した通信が提供されます。
また、高度なセキュリティ対策が講じられており、安心して利用できる点がGoogle Cloudの優れているところです。定期的に監査を受けて、世界基準の認証を複数取得しています。ほかにも、使った分に応じて料金が発生する従量制を採用しており、コストの最適化が図れる点がポイントです。
以下は、Google Cloudの概要や機械学習サービスの詳細をまとめた資料です。ご興味のある方はぜひご活用ください。
強化学習は人間の学習に似ている将来性のある技術
強化学習とは、機械学習の学習方法の一つで、コンピューターが試行錯誤を繰り返し、得られる報酬が最大化となる行動を探していく手法です。強化学習は、ゲームや自動運転システム、ロボットの制御などさまざまな製品に活用されています。強化学習を含む機械学習の導入は年々拡大しており、今後もさらなる発展を遂げていくでしょう。
ビジネス拡大の手がかりとして、機械学習をぜひ導入してみてはいかがでしょうか。Google Cloudは、機械学習をはじめとする多彩な機能を利用できるクラウドサービスです。既存のアプリケーションを利用できるため、AI分野のスキルや知見がなくても機械学習を運用できます。
機械学習をビジネスに活用したいとお考えの企業のご担当者様は、ぜひGoogle Cloudの導入を検討してみてください。
