「強化学習」という言葉は知っているものの詳しくは知らないという方は多いかもしれません。強化学習とは、機械学習の種類の一つで、報酬が最大となる方式を学習する手法です。一言で表すならば、コンピューターが自ら最適な行動を導き出す手法といえるでしょう。
“コンピューターが自ら最適な行動を導き出す”とはどのようなことなのでしょうか。今回の記事では、強化学習の仕組みや代表的なアルゴリズム、活用事例について解説します。強化学習と混同されやすい「機械学習」「深層学習（ディープラーニング）」との違いについても理解できる内容となっています。
また、強化学習の優れている点だけでなく、強化学習の課題についても解説していますので、強化学習の全体像をつかむことが可能です。ぜひご覧ください。
強化学習とは？機械学習・深層学習との違いも解説
まずは強化学習について解説します。強化学習の概要や機械学習・深層学習との違いについて見ていきましょう。
強化学習とは最適な行動を探していく学習方法
強化学習とは、機械学習の種類の一つで、コンピューターが試行錯誤を繰り返し、得られる報酬が最大となるように最適な行動を導き出す手法です。一言で表すと、報酬を最大化する学習方法です。
機械学習を大きく分類すると3種類の学習方法があり、強化学習のほかに、コンピューターに正解となるデータを入力して学習する「教師あり学習」、正解となるデータがない状態からコンピューターが自ら学習する「教師なし学習」があります。
強化学習は、試行錯誤を繰り返して学習することから、機械学習の3種類の中で最も人間の知能に近い学習方法ともいわれています。現在は、囲碁や将棋のゲーム、ロボットの制御などに活用されており、今後さらに活用の幅が広がると予測されている手法です。
機械学習・深層学習（ディープラーニング）との違い
AI技術の文脈で強化学習と一緒に登場することが多いのが、機械学習と深層学習（ディープラーニング）です。まず、機械学習とは、AI技術の一つの分野で、コンピューターがデータを学習して、自動でデータの特徴を見つける技術をいいます。そして、機械学習の学習方法の種類の一つが強化学習です。よって、強化学習と機械学習の違いは、概念の範囲の広さにあります。
また、深層学習とは、機械学習の一つの手法にあたり、コンピューターが自動でデータの特徴量を抽出する技術を指します。強化学習と深層学習の違いは、学習を行う際に人間が特徴量を選択する必要があるかどうかです。簡単にいえば、特徴量抽出の仕組みです。
強化学習を含む機械学習では、学習過程でどのような情報に着目するのか人間が特徴量を設計します。一方で深層学習は、コンピューターが自ら特徴量を抽出します。
以下の記事で、深層学習について解説しています。「深層学習について詳しく知りたい」という方はぜひご覧ください。
深層学習（ディープラーニング）について詳しくはこちら※只今準備中
強化学習の仕組み
強化学習の仕組みを理解する上で、以下の5つの用語を覚えておきましょう。
- エージェント……強化学習を行う主体（AI）
- 環境……エージェントが存在する空間
- 状態……エージェントの現在の情報
- 行動……エージェントのアクション
- 報酬……環境から与えられる値（価値）
強化学習は、エージェントがある環境の中で、報酬を最大化する行動を学習します。エージェントは環境の状態を把握し、行動を起こします。すると、行動に応じて状態が変化し、行動の結果として報酬が与えられます。この試行錯誤を繰り返して、報酬を最大化する状態・行動の組み合わせを学習する仕組みです。
強化学習の代表的なアルゴリズム3選
この章では、強化学習の代表的なアルゴリズム「Q学習」「SARSA」「モンテカルロ法」の3つを紹介します。
Q学習
Q学習とは、ある状態でとったある行動の価値を表すQ値を用いて、行動の結果に応じてQ値を更新して学習する手法です。Q学習では、一つの行動に対して一つのQ値が割り当てられており、行動を選択する際は各行動のQ値を参考にします。
「Qテーブル」と呼ばれる表で、状態と行動を管理し、行動するたびにQ値を書き換えます。行動を繰り返していくうちに、報酬獲得につながった行動のQ値が増えることで、よりよい行動を導き出す仕組みです。
SARSA
SARSAとは、状態（S）、行動（A）、報酬（R）、状態（S）、行動（A）の5つの要素からなる手法です。名前の通り、状態→行動→報酬→状態→行動というプロセスを繰り返して、よりよい行動の学習を進めます。現在の状態である行動を選択し、その結果得られた報酬や行動後の状態をもとに計算して、行動価値関数を更新します。
なお、行動価値関数とは、ある状態から次の行動をとった際に、得られる期待収益を表す関数のことです。
モンテカルロ法
モンテカルロ法とは、乱数を用いて試行錯誤を重ねて、近似解を得る手法です。不確実な現象に対して、ありとあらゆるパターンを何回も繰り返しシミュレーションすることで、より精度の高い結果を得られます。非常に多くの繰り返しが必要となり、効率が悪いところが欠点です。
初期では数値をランダムに設定し行動を選択します。ある行動の開始から終了までに得られた報酬の平均値を出し、より高い平均値を得られる行動を学習します。
強化学習の活用事例5選
強化学習の技術は、さまざまな製品に活用されています。強化学習の活用事例5選を紹介します。
ゲーム
強化学習は、囲碁や将棋、オセロなどの対戦型ゲームに活用されています。コンピューターは、ゲームの先の展開を予測して、最もよい指し手を選択することが可能です。コンピューターは、ゲームの先の展開を予測して、ゲームに勝つための最善の行動を導きます。繰り返し学習することで、精度が高まりどんどん上達していきます。
現在はコンピューターの処理能力が向上し、実際にプロ棋士と対戦してコンピューターが勝利した際には、人間の能力を超えたともいわれました。
自動運転システム
強化学習は、自動車の自動運転システムに用いられています。自動運転システムは、道路状態や車列などの周辺環境の情報を処理し、車両制御を行うものです。自動運転システムでは、コンピューターが自動車が人や物体と衝突しない方法を学習する必要があります。
現在、安全な運転を習得するために実証実験が行われており、日本国内では国土交通省航空局が空港制限区域内で実施した事例があります。今後さらに研究・開発が進み、レベル4・レベル5の自動運転車の実用化が期待されています。
エレベーターの制御
エレベーターの制御システムは、強化学習の活用事例の一つです。エレベーターは、高層ビルやデパートのように設置台数が多く、かつ利用者数が多い場所に欠かせないものです。利用者の利便性を高めるべく、エレベーターの制御システムは利用者の待ち時間を短くすることが前提条件となります。
コンピューターに利用者の待ち時間が減るエレベーターの行動を繰り返し学習させることで、効率的に運行できるようになります。
ロボットの制御
強化学習は、ロボットの制御システムに活用されています。掃除ロボットの学習は、掃除ロボットが掃除を行うたびに部屋の間取りやゴミの量を学習し、次第に最も効率的にゴミを取れるルートで動作する仕組みです。多くのゴミを効率よく取るためにはどのように動けばよいかをコンピューターが判断し、学習を進めていきます。
また、掃除ロボットのほかにも、産業ロボットや介護ロボットなど、状況に応じて動作するロボット・機械の制御システムに用いられています。
Web広告の最適化
Webサイトにアクセスするユーザーに対して最適な広告を表示するシステムも、強化学習の活用事例の一つです。広告を配信するにあたり、多様かつ膨大なデータを手動で処理するのは効率的とはいえません。
強化学習を活用した広告配信システムでは、コンピューター自らがインターネット上のユーザーの一連の行動履歴から学習し、ユーザーの趣味嗜好に合うWeb広告をおすすめとして表示します。特定の行動をしたユーザーに最適なWeb広告を配信することで、コンバージョン率やユーザー満足度の向上につなげられます。
強化学習の課題
ここまで、手法や活用事例といった強化学習の優れている点を解説してきましたが、強化学習には課題も存在します。強化学習の課題は、複雑な環境での精度を高めるために性能を改善していく必要があるということです。
強化学習は、特定のルールや状況がある環境での行動を学習することを得意としています。裏を返せば、条件が変化する複雑な環境での行動を学習することが苦手です。そのため、複雑な環境で精度を高めるためにどのように性能を改善していくかの研究が進められています。
また、強化学習は、コンピューター自らが行動を繰り返して学習するため、人間が意図しないような行動をとる可能性があります。そのため、人間が想定することと学習結果の相違が開発の進捗を阻む課題となることがあるのです。
深層強化学習は強化学習と深層学習を組み合わせた手法
強化学習と深層学習を組み合わせた手法を「深層強化学習」と呼びます。深層強化学習は、より複雑な問題を解くことが可能です。深層強化学習の代表的な手法に「DQN（Deep Q-Network）」があります。DQN（Deep Q-Network）は、強化学習のQ学習をベースに、コンピューターが試行錯誤を繰り返す際の行動選択の指針に、畳み込みニューラルネットワーク（CNN）を用いて学習する手法です。
Q学習はQ関数（行動価値関数）を学習してQテーブルを更新していきますが、連続的な行動では記録が膨大な量となり、計算することは現実的に難しいという欠点があります。そこで、Q関数を畳み込みニューラルネットワークを用いて近似することが可能です。深層強化学習の登場により、従来の強化学習以上に大規模な問題を解くことができるようになりました。
Googleの機械学習サービスが利用できる「Google Cloud」
強化学習がさまざまな分野で役立つ先端的なAI技術であることを解説してきました。読み進める中で「AI技術をビジネスに活用したいが、インフラや専門知識がないので実装は難しい」と思われた方もいるかもしれません。そこで今回紹介するのは、Googleの機械学習サービスが利用できる「Google Cloud」です。
Google Cloudとは、サーバーやデータベース、ストレージといったさまざまなクラウド機能を利用できるGoogleのクラウドサービスです。Google Cloudでは、簡単な操作で利用できる機械学習サービスを多数提供しています。必要な工程をツールが行うため、スキルや知見がなくても機械学習を扱うことが可能です。
Google Cloudの特徴として、安全性・信頼性が高いインフラ基盤が挙げられます。Google Cloudは、サーバーの負荷が増大した場合でも対応できるように設計されており、スピーディーかつ安定した通信が提供されます。
また、高度なセキュリティ対策が講じられており、安心して利用できる点がGoogle Cloudの優れているところです。定期的に監査を受けて、世界基準の認証を複数取得しています。ほかにも、使った分に応じて料金が発生する従量制を採用しており、コストの最適化が図れる点がポイントです。
以下は、Google Cloudの概要や機械学習サービスの詳細をまとめた資料です。ご興味のある方はぜひご活用ください。
強化学習は人間の学習に似ている将来性のある技術
強化学習とは、機械学習の学習方法の一つで、コンピューターが試行錯誤を繰り返し、得られる報酬が最大化となる行動を探していく手法です。強化学習は、ゲームや自動運転システム、ロボットの制御などさまざまな製品に活用されています。強化学習を含む機械学習の導入は年々拡大しており、今後もさらなる発展を遂げていくでしょう。
ビジネス拡大の手がかりとして、機械学習をぜひ導入してみてはいかがでしょうか。Google Cloudは、機械学習をはじめとする多彩な機能を利用できるクラウドサービスです。既存のアプリケーションを利用できるため、AI分野のスキルや知見がなくても機械学習を運用できます。
機械学習をビジネスに活用したいとお考えの企業のご担当者様は、ぜひGoogle Cloudの導入を検討してみてください。
