Vertex AIはGoogle Cloudの機械学習プラットフォーム！
利用するメリット3選と活用事例も紹介

機械学習について調べていると、検索結果の中にVertex AIというワードを目にすることがあると思います。

Vertex AIとはGoogle Cloudが提供する、従来の機械学習から最新の生成AIを利用した開発まで幅広くサポートする機械学習プラットフォームです。しかし、幅広い機能が提供されているからこそ、何ができるのか、どのように使ったらよいのかわからない方も多いのではないでしょうか

この記事では、Vertex AIの各機能を体系的に整理しながら解説します。後半には活用事例も紹介していきますので、ぜひ最後までお読みください。

Vertex AIとは？Googleの機械学習のプラットフォーム

Vertex AIとは、Googleが提供するクラウドサービスであるGoogle Cloud上で利用できる機械学習”プラットフォーム”です。なぜプラットフォームという単語を強調するかというと、Vertex AIは機能群の名称であり、Vertex AIという名前の機能があるわけではないからです。これから、Vertex AIの各機能を整理しながら紹介していきますが、その前にまずMLOpsという概念を知っておく必要があります。なぜなら、Vertex AIはMLOpsを一貫して実行できるプラットフォームとして作られているからです。

MLOpsとは、機械学習を利用して開発を行うための一連のタスクフローのことです。機械学習モデルは一度作って終わりではなく、以下のようなサイクルを繰り返しながら運用していく必要があります。

ここで注目すべきなのは、これらのMLOpsの各ステップでは、必要とされるエンジニアのスキルや担当するロール、そして使用するツールが異なるということです。

例えば、データ準備のフェーズではデータサイエンティストがJupyter Notebookを使用することが多いですが、モデルトレーニングやモデル評価のフェーズではMLエンジニアやデータエンジニアが異なるツールでパイプラインを構築したり、デプロイのフェーズではインフラエンジニアのスキルが必要だったり、といったケースは良くあることです。

このように、データに関わる様々なロールの人々がそれぞれのツールを使って作業をすると、同じデータを各自にコピーして配布しなければならず無駄が生じたり、最新結果の共有がスムーズに行かず連携に支障が出るなどの課題が生じます。

Vertex AIはまさにこの課題を解決するためのプラットフォームで、データに関わる様々なロールの人々が”同じ環境で”、”同じデータを見て”効率的に作業ができるようになっています。

Vertex AIに内包されるツール

Vertex AIはプラットフォームであり、数多くの機能を内包していることは前述しました。

ほとんどの機能にはVertex AI ◯◯といった名称がついていますが、機能によっては名称にVertex AIが付かないものがあったり、機能の数も多いことがVertex AIを理解しづらい理由のひとつとなっています。

ですが、Vertex AIとは前述したとおりMLOpsに関わるタスクを一貫して行うことのできるプラットフォームとして作られていますので、各機能をMLOpsのタスクフローに当てはめて整理することで理解しやすくなります。

ここでは、Vertex AIに内包される各機能をMLOpsのタスクごとに分けて紹介していきます。

データ準備

Vertex AI Datasets

Vertex AI Datasetsとは、Vertex AI上で利用できる、マネージド（管理された）機械学習用データのデータセットです。

機械学習における学習用データの管理は、例えば表形式データの場合はデータ数が膨大であったり、画像データの場合には、画像とセットで画像のメタデータを保持しなければいけなかったりと、手間がかかりがちです。Vertex AI Detasetsは、対応している機械学習タスクやデータ形式であれば、そういったデータ管理の手間を削減することができます。

表形式データの場合、ローカルファイルをアップロードするほかにもBigQueryやCloud Storage上にあるデータをインポートすることができるので、大量のデータを各自がコピーすることなく、Vertex AI上で同じデータを利用することができます。画像データの場合には、画像のメタデータ（例えば、教師あり学習用の画像に対する正解ラベル）をセットで保持することもできます。

以下のデータ種類とタスクの場合は、マネージドデータセットを利用できます。

• 画像
  • 分類（単一ラベル・複数ラベル）
  • オブジェクト検出
  • セグメンテーション
• 表形式
  • 回帰・分類
  • 時系列予測
• テキスト
  • 分類（単一ラベル・複数ラベル）
  • エンティティ抽出
  • 感情分析
• 動画
  • 分類
  • 動画内動作認識
  • オブジェクトトラッキング

Vertex AI WorkBench

Vertex AI WorkBenchではMLの開発環境やデータ分析用に、マネージドなJupyterNotebook環境を提供します。

Google Cloud上の仮想マシンでホストされたノートブックを利用することができますので、最小限のインスタンスを利用することでランニングコストを抑えたり、逆にGPU搭載のインスタンスを利用してマシンパワーを活用するなど、用途に応じて効率よく利用することができます。

1つのインスタンスを複数人で利用することもできますので、共同での開発も可能です。

また、Google Cloud上でホストされていることから、認証キーを作成したりといった手間をかけずに各種Googleサービスへの認証を簡単に通すことができ、BigQueryやCloudStorage上のデータをノートブック上にすぐに読み込むことができるのもメリットです。

Colab Enterprise

Colab Enterpriseとは、Googleが提供するPythonノートブックサービスであるColaboratoryをGoogle Cloud上でホストできるサービスです。ノートブックを提供するサービスとしてはVertex AI WorkBenchと似ていますが、違いとしては、Vertex AI WorkBenchはネイティブなJupyterNotebookサーバーを提供するのに対して、Colab Enterpriseでは、あくまでColaboratoryがベースであるということです。開発者がより慣れている方のツールを選択するのがよいでしょう。

モデルトレーニング

AutoML

AutoMLとは自動機械学習のことであり、Vertex AIに限らず使われている用語です。機械学習では、データの前処理に始まり、タスクに応じたアルゴリズムの選定や最適なパラメータの探索など、トライ＆エラーを繰り返しながらより精度の高いモデル開発を目指しますが、その過程ではプロフェッショナルな機械学習エンジニアレベルで様々な知識や経験を求められます。AutoMLではそういった様々なトライ＆エラーを自動的に行ってくれる機能ですので、機械学習の経験が浅い人であっても高精度なモデルを開発することが可能になります。このAutoMLをVertex AI上でも利用することができます。

カスタムトレーニング

カスタムトレーニングは、前述したAutoMLとは異なり、機械学習モデルをトレーニングするためのコードをエンジニアが直接記述して実行するトレーニングです。コードを実行するだけではローカルの開発環境で作業しているのと変わりませんが、Vertex AIのカスタムトレーニングでは、マネージドなコンピュートリソースを利用できることが特徴です。機械学習モデルのトレーニングには多くのコンピュートリソースを消費しますが、Vertex AI上で実行することでGoogle Cloudの強力なリソースを利用することができますし、大きなデータを扱う場合には分散トレーニングを利用することもできます。任意のMLフレームワークを利用しつつ、インフラ管理に時間を取られないでモデルをトレーニングできることがメリットです。

Vertex AI Experiments

Vertex AI Experimentsは、機械学習モデルのトレーニング時に利用できる便利な追跡機能です。

モデルのトレーニングでは、アルゴリズムやパラメータを少しづつ変えながら何度もループを繰り返し、より良い精度が出るパラメータの組み合わせを見つける必要があります。その際には、どのようなパラメータや入力データを与えた時に、どのような出力が得られたかといった記録を残して追跡できるようにしておく必要がありますが、Vertex AI Experimentsを利用すると、実験（Experiments）という単位を定義して、複数のモデルや複数の実行結果を集約、横断して分析できるようになります。また、後述する機械学習テスト可視化機能であるVertex AI TensorBoardも統合されていますので、実験の結果を可視化するところまで一貫してサポートしていることも特徴です。

Vertex AI TensorBoard

Vertex AI TensorBoardは、オープンソースの機械学習テスト可視化ツールであるTensorBoardを、Google Cloud上でマネージドに利用できる機能です。グラフィカルなユーザーインターフェースを通して、トレーニングに伴う様々なパラメータやデータをグラフ化し、結果をより分析しやすい環境を提供します。前述したVertex AI Experimentsとも連携されていますので、トレーニング結果のデータを素早く分析するのに役立つ機能です。

Vertex AI Vizier

Vertex AI Vizierは、機械学習モデルのトレーニング段階において、最適なパラメータの組み合わせを見つけることを支援するサービスです。

機械学習モデルは精度に関わる多くのパラメータを持っていて、通常は、目的関数と呼ばれる値が最適になるような各パラメータの組み合わせを見つけることがゴールです。理論的には、各パラメータの全ての組み合わせを試せば最適な組み合わせは見つかりますが、時間やリソースの面から現実的ではありません。そのため、より効率よくパラメータの組み合わせを見つけるために様々な方法が考案されており、Vertex AI Vizierもその方法の一種です。

Vertex AI Vizierを利用することで、多くのパラメータを持つモデルや目的関数が無いモデルであっても、自動で最適化を行うことができます。

Vertex AI Model Registry

Vertex AI Model Registryは、Vertex AI上で利用できるモデルのリポジトリです。

コードのリポジトリと同様にバージョン管理やタグ、コメントといった機能がありますので、繰り返しトレーニングを行ったモデルを整理された形で管理することができます。後述する評価やデプロイのフェーズにおいても、Vertex AI Model Registryに保管されたモデルからバージョンを選択してデプロイする、といったこともできますので、プラットフォームとしてのVertex AI上で中心となるモデルの保管庫と言えます。

モデル評価

Vertex AI Pipelines

Vertex AI Pielinesとは、コードベースで機械学習に関わる一連のタスクを定義し、パイプラインとして構築することで、MLOpsの一連のフローをマネージドに実行・管理することができる機能です。モデル評価のための機能として記載していますが、実際にはデータの前処理から繰り返しのトレーニングまで一貫して利用することができますので、本来はMLOpsのもっと広い範囲で利用されます。パイプラインとしてデプロイすることによって、例えば本番レベルのデータで定期的にモデルを再トレーニングしたり、継続的にトレーニング結果を可視化したり、パイプラインをスケジュールして自動実行されるといったタスクをマネージドに実行できます。繰り返し行わなければいけないようなタスクを省力化することができ、MLOpsの実現に大きなメリットをもたらす機能です。

モデルのデプロイ

オンライン予測

本番レベルのモデルが完成したら、デプロイを行って実際にモデルを利用できる環境を構築する必要がありますが、Vertex AIではオンライン予測という機能で、モデルをデプロイするためのマネージドなエンドポイントが提供されます。開発者は、モデルを実行するためのインフラの運用に時間を割くことが無く、開発したモデルを素早くデプロイすることができますので、より効率的に開発を進めることができます。また、後述するModel Nonitoring機能も統合されていますので、デプロイしたモデルの継続的な監視も一貫してマネージドに行うことができます。

バッチ予測

バッチ予測は、エンドポイントへのモデルのデプロイをせずに、まとまったデータに対してモデルの予測結果を得られる機能です。オンライン予測ではリアルタイムにモデルを呼び出すことができますが、その一方でインフラのコストも発生します。ですので、例えば毎日深夜にまとめて予測結果を取得したい、といったユースケースなどでは無駄が発生することがあります。そのような場合はバッチ予測機能を使うことで、モデルのデプロイに掛かるコストを抑えつつ、効率的にモデルを利用することができます。

Vertex Explainable AI

Vertex Explainable AIは、機械学習モデルの出力した予測結果に対して、説明可能な状態となるようにデータを付加する機能です。機械学習は高度なタスクを実行できる反面、その動作に関してブラックボックスな部分があります。しかし、なぜモデルがそのような出力をしたのか、といった情報を得ることができなければ、機械学習モデルの出力を意思決定に役立てるのは難しいと言えます。Vertex Explainable AIでは、なぜモデルがそのように判断したのかといった結果を裏付けるためのデータが生成され、モデルの動作を理解する助けになります。例えば、画像データに対しては特徴アトリビューションのオーバーレイデータが生成され、元画像と重ねることで機械学習モデルが画像のどの部分に注目して判断をしたのかといった情報を知ることができます。

Vertex AI Feature Store

Vertex AI Feature StoreはVertex AIで利用できる特徴量データのリポジトリです。

MLOpsでは、データ準備の工程で、特徴量エンジニアリングと呼ばれる作業が行われることが良くあります。これは、元データの持っている値を機械学習モデルがより良く学習できるように加工を行う工程なのですが、そこには様々な手法やエンジニアの技術が関わってきます。そのため、中央集権型の特徴ストアが無いと、開発者がそれぞれ作り出した特徴量が異なっていたりと、MLOpsの障害となります。Vertex AI Feature Storeでは、データに対する特徴量をBigQueryのテーブルに補完し、共通して利用できるようにします。これによって、開発者は一貫した特徴データを扱うことができるようになり、MLOpsの最適化に繋がります。

モデルの監視

Vertex AI Model Monitoring

Vertex AI Model Monitoringは、モデルのモニタリングに関わる一連の機能を提供するツールです。

機械学習モデルはデプロイして終了ではなく、現実世界で発生するデータは日々変化していきますので、モデルも徐々に古くなっていきます。時間が経つと、モデルが受け取るデータがトレーニングされた時のデータと大きく異なってしまっているという、スキューやドラフトと呼ばれる現象が発生します。それを避けるためにモデルの入力と出力を監視する、というのがMLOpsのベストプラクティスなのですが、独自に監視システムを構築するにはコストもかかります。Vertex AI Model Monitoringはそのようなケースで役立つ機能で、モデルの監視をマネージドに行うことができます。デプロイやパイプラインなどVertex AI上の他の機能とも連携が可能ですので、例えばモニタリングの結果をトリガーに、再トレーニングのパイプラインを実行したり、といったことも可能で、MLOpsを強力にサポートします。

Vertex AIと生成AI

ここまでは、Vertex AIで従来の機械学習モデル開発に利用できる機能を紹介してきました。一方で、最近ではLLM（大規模言語モデル）を利用した生成AIアプリケーションの開発が盛んになっています。Vertex AIにも生成AIを利用したアプリケーション開発のための機能が統合されていますので、ここではそれらの生成AI関連機能について紹介します。

Vertex AI Model Garden

Vertex AI Model Gardenはモデルのライブラリ機能で、Googleが自社開発したモデルに加え、オープンソースで利用できるモデルやGoogleのパートナーが提供しているモデルなど、様々なモデルが提供されています。モデルは基盤モデル、ファインチューニング可能なモデル、タスク固有のソリューションの大きく3カテゴリに分かれており、さらに、扱うデータの種類に応じて言語、音声、ビジョンといったモダリティに分かれています。これらのカテゴリから用途に応じたモデルを検索し、事前トレーニングされたモデルを1クリックで使い始めることもできますし、自分の用途に合わせて調整することも可能です。

例えば、2024年7月現在で性能が高いと言われているAnthropic社のClaude 3 Sonnetや、画像生成モデルとして有名なStable Diffusion、Google開発の最新モデルであるGemini 1.5 Flashといった数多くのモデルを選択してすぐに利用開始できます。

Vertex AI Studio

Vertex AI Studioは、LLM（大規模言語モデル）に対するプロンプトの設計とテストを行うことができるプラットフォームです。生成AIを利用したアプリケーションをより良いものにするためには、モデルに与えるプロンプト（指示）の改善やパラメータ、モデルへの事前指示などを試行錯誤しながら作っていく必要がありますが、そういった生成AIならではの開発タスクが行いやすいユーザーインターフェースが提供されています。

プロンプトの保存やバージョン管理機能、コメント機能も提供されていますし、モデルやパラメータ、プロンプトを変更した結果を横並びにして、どのパターンが一番優れているかを比較できるSxS（Side By Side）機能もありますので、プロンプト開発をよりスムーズに行うことができるようになっています。

Vertex AI Agent Builder

Vertex AI Agent Builderは、生成AIを利用したアプリケーションをマネージドな環境で手間なく開発できる機能です。以前はVertex AI Search and Conversationという名前で機能が提供されていましたが、Agent Builderに名前が変わりました。

Agent Builderでは、データストアとアプリの2つを構成することができます。

データストアとは、生成AIモデルが回答を生成する際に参照できるデータソースです。オブジェクトストレージであるGoogle Cloud StorageやデータウェアハウスのBigQueryをはじめ、Webサイト、Googleドライブなど様々なデータソースに接続することができます。作成したデータストアはAgent BuilderのアプリやVertex AI Studioのモデルから利用することができますので、データストアに自社の製品カタログや文書といった独自のデータを入れておいて、生成AIモデルとデータストアを接続すれば、自社の製品や社内の情報に応じて回答するアプリケーションを作成できます。このように、ハルシネーション（モデルが間違った情報をあたかも事実であるかのように回答してしまうこと）を防ぎながら、正確な情報をもとに生成AIモデルに生成させる仕組みをRAG（検索拡張生成）やグラウンディングと言います。通常は、ソースとなるデータをモデルが検索可能なように変換しなければならず手間がかかるのですが、これを簡単に実現できるのがAgent Builderの特徴となっています。

アプリには4種類あり、用途に応じて様々なアプリを作成することが可能です。いずれのアプリも、裏側にはGoogleの最新の生成AIモデルが利用されており、より自然で精度の高い回答生成が可能です。

Vertex AIを利用するメリット3選

ここまで、Vertex AIが内包する様々な機能について、MLOpsの観点から紹介してきました。

それらを踏まえて、この章では3つのポイントからVertex AIを利用するメリットを紹介したいと思います。

運用難易度が低い

MLOpsまでを考慮して機械学習モデルの運用を行うとすると、モデルの開発以外に様々なタスクがあるというのは前述した通りです。例えば、前処理からトレーニングのためのパイプライン実行や、モデルの監視機能の構築などです。これらを全て独自に行うとなると、本来の目的である機械学習モデルの開発に100%の時間を割くことができません。しかし、Vertex AIではこのようなMLOpsをマネージドにサポートする機能が多く備わっており、余計な作業を減らしながら運用することが可能です。例えば、AutoMLを利用してモデルを開発し、オンライン予測機能を利用する場合、一貫したMLOpsをほとんどノーコードで実現できてしまいます。このような難易度の低さが、Vertex AIのメリットの1つです。

Google Cloudが提供するプロダクトとの連携が可能

メリットの2つめは、他のGoogle Cloudプロダクトとの連携が優れていることです。

機械学習には大量のデータを用いることが多いですが、Vertex AIではGoogle Cloud上のオブジェクトストレージサービスであるCloud Storageや、データウェアハウスサービスであるBigQuery上にあるデータをそのまま利用することができます。モデル開発のためにデータを移動させたりコピーしたりといった必要が無いので、最新の正確なデータを利用したモデル開発が可能です。

また、BigQueryが独自のML機能として持っているBigQuery MLとも統合が進んでいます。BigQuery MLのモデルとして作られたモデルをVertex AIのModel Registryで管理することができるので、より一貫した環境をもたらします。

信頼性の高いモデル開発が可能

3つ目のメリットは、信頼性の高いモデル開発が可能ということです。

ここまで、Vertex AIはMLOpsを一貫して実行可能なプラットフォームだということをお伝えしてきました。そして、Vertex AI PipelinesやVertex AI Feature Storeのように、MLOpsを支える様々な機能を内蔵していることもお伝えしました。そもそも、MLOpsとは機械学習システムの安定性と信頼性を向上するために考えられた手法です。ですので、Vertex AIを利用してなるべく手間をかけずにMLOpsを実現することができれば、より信頼性の高いモデル開発を行っていると言えるのではないでしょうか

Vertex AIの活用事例3選

最後に、実際にVertex AIを業務で活用することを想定して、どのように活用できるのか、事例を挙げながら紹介していきます。

類似商品表示

誰もが利用するECサイトの裏側にも、Vertex AIが活躍しています。

あるEC事業者は、小規模の法人や個人がECサイト上に手軽に自分のネットショップを開設できるサービスを公開しましたが、それら数千に及ぶ小規模ショップの商品を横断して検索するためのユーザーエクスペリエンスに課題を抱えていました。そこで、Vertex AIのベクトル検索基盤である、Vertex AI Matching Engineを導入することで、数千のショップを横断しての類似商品検索を実現しました。もちろん、ユーザーエクスペリエンスの向上以外にもVertex AI Matching Engineを利用するメリットがあります。1つは、顧客の行動データに依存しない事です。一般的な商品リコメンドでは、商品自体ではなくユーザーの過去の購買履歴に依存するため、新商品を上手くリコメンドできないなど課題がありますが、ベクトル検索では商品自体の特徴量を生成するため、常に類似商品をリコメンドできます。2つめはマネージドサービス利用によるインフラ管理のリソース削減です。ECサイトでは商品の入れ替わりや新商品の登場サイクルが早いため、データパイプラインを構築して商品のベクトル化をリアルタイムに行う必要があり、当然、パイプラインの保守には時間もコストもかかります。しかしVertex AI Matching Engine はマネージドサービスですので、これらのインフラ管理の運用負荷を減らすことができます。

自動販売機のデータ分析

大量のIoTデータの分析や予測にVertex AIが役立つ事もあります。

最近、街で見かける自動販売機はインターネットに接続されているものが多くなっています。

そんな約70万台の自動販売機からのデータを分析することで、従来は担当者の勘や経験で決めていた起動販売機の設置場所や陳列製品を、データに基づいて決定するためのプラットフォームとしてVertex AIが活用されています。大量の自動販売機だけでなく、商品や設置場所など様々なパラメータが存在するため、分析用のデータは非常に大規模になりますが、そのためのインフラ管理に課題がありました。そこで、BigQueryやVertex AIといったGoogle Cloudのマネージドサービスを導入することで、インフラなどの面倒な管理業務を無くし、本来の目的である「分析」に最大限時間を使えるようになっています。Vertex AIはBigQueryと連携して、BigQuery上の大規模なテーブルデータを直接利用することができます。この事例では、BigQuery上のテーブルデータに対してVertex AIのAutoML機能を利用することで、データ分析から売上予測モデルまでの開発を、わずか数か月で実現しています。

交通事故を防止する運転支援システム

次は、プラットフォームとしてVertex AIをフルに活用している事例をご紹介します。

近年では自動車の運転支援技術が目覚ましく発達し、交通事故が激減する未来もそう遠くないと感じますが、そんな運転支援技術の開発にも、Vertex AIが活用されています。このようなケースではいかに性能の高い機械学習モデルをスピーディに開発するかがカギとなりますが、ここで役に立つのがVertex AI上の豊富な計算リソースです。例えば、自動車のカメラで撮影された画像処理のために最新のGPUが大量に必要になったとしても、Vertex AI上であれば迅速にリソースを展開でき、ハードウェアの購入や設置を待つ必要はありません。スケールアップ/ダウンが素早く行えるため、急に計算リソースが必要になったときにも柔軟に対応することができ、開発現場の求めるスピード感に対してリソースが足を引っ張ることがありませんし、コストを最適化できます。

また、Vertex AIにはVertex AI Notebookなど、開発のための機能も統合されていますので、新たに参画するエンジニアに開発環境を迅速に提供することができます。

Vertex AIを活用して機械学習モデル構築を効率化しよう

ここまで、Vertex AIとは何か、いったい何ができるのかといった基礎知識から、Vertex AIを利用するメリットまでをお伝えしてきました。Vertex AIはプラットフォームとして様々な機能を内包しており一見複雑に見えますが、MLOpsの考え方に基づいて整理することで、機械学習をより導入・活用しやすくするための便利な機能が揃っていることをご理解頂けたのではないかと思います。

株式会社電算システムでは、Google Cloudを利用したデータ利活用をサポートしております。

データの収集やデータ基盤構築はもちろん、貯まったデータに対して、今回ご紹介したVertex AIをはじめとする機械学習サービスの導入まで、幅広くご支援致します。

データ活用や機械学習をご検討の際は、ぜひお声がけください。