ビッグデータ分析サービスとして知られる「Google BigQuery(グーグル・ビッグクエリ)」。使ってみたいなとは思っていても、「ビッグデータ解析ができるなんて高そう…」「扱いが難しそう…」というイメージを持ち、利用を躊躇していないでしょうか?
とっつきにくいというイメージを持たれがちですが、実は Google BigQuery はシンプルで簡単に扱えるビッグデータ解析サービスなのです。
本稿では、そんな Google BigQuery の特長についてご紹介します。
Google BigQueryとは?
改めて、Google BigQuery とは Google Cloud™(旧 GCP:Google Cloud Platform) で提供されるビッグデータプロダクトの一つです。2012年の Google I/O(年次で開発された開発者向けカンファレンス)にて公式サービスとしてリリースされています。もともとは Google 社内で利用していた「Dremel(ドレメル)」という大規模なクエリを実行するサービスを、外部ユーザー向けに利用できるようにしたサービスが Google BigQuery となります。
Google BigQuery の特徴はなんといっても「超」が何個もつくほど高速な処理です。120憶行の正規表現マッチ付き集計を数十秒で完了します。
なぜ、 Google BigQuery のデータ処理はここまで高速なのでしょうか?
Google BigQueryのデータ処理が高速な2つの理由
Google BigQuery のデータ処理が高速なのは、もちろん何千という数のサーバー群でクエリを並列処理しているからです。そしてその並列処理を実現できる理由が、Google BigQuery の2つの仕組みにあります。
カラム型データストア
一般的なRDBMS(Relational Database Management System)では通常行単位にデータを保存します。これに対して、Google BigQuery は列ごとにまとめてデータの保存を行います。それによりGoogle BigQuery はトラフィックの最小化と高い圧縮率を可能にし、このデータ保存形式がクエリ実行時の高速データ処理を実現しています。
高速な参照用データベースとして利用されカラムナ型とも言われる列指向データベース管理システムを採用しています。
ツリーアーキテクチャ
Google BigQuery はツリーアーキテクチャによって分散処理を行っています。ツリーアーキテクチャとは、クライアントからクエリを受け取るルートサーバーから、実際にクエリ処理を実行する多数のリーフサーバーに対して、クエリがツリー構造で広がっていくものです。これにより、大規模分散処理を実現しています。
以上2つの仕組みが、Google BigQuery のデータ処理を高速にしている理由です。詳細に関しては、Google が公開しているGoogle BigQuery の「公式ドキュメント」に記載されています。
図 Google BigQueryの並列処理実現のための仕組み
Google BigQuery の料金はいくら?
Google BigQuery を利用したいけれど躊躇しているというユーザーの多くが、「料金が高そう…」というイメージを持たれているかと思います。この不安を解消するためにも、まずGoogle BigQuery の料金についてご紹介します。さっそく、料金表をご覧ください。
※東京(asia-northeast1)の料金を掲載しております。
課金対象 |
料金 |
詳細 |
---|---|---|
アクティブストレージ |
$0.023 / GB |
毎月10GBまで無料。 |
長期保存 |
$0.016 / GB |
毎月10 GBまで無料。 |
BigQuery Storage API |
$1.10 / TB |
BigQuery Storage APIは無料枠に含まれません。 |
ストリーミング挿入 |
$0.012 / 200MB |
挿入に成功した行が対象課金となります。 |
クエリ(オンデマンド) |
$6.00 / TB |
毎月1TBまで無料。 |
クエリ(月定額) |
$2,400 / 100 slots |
追加スロットは100スロット単位で購入できます。 |
クエリ(年定額) |
$2,040 / 100 slots |
追加スロットは100スロット単位で購入できます。 |
ここで着目すべきなのは、Google BigQuery は上記の項目だけを課金対象として、それ以外の操作については課金が発生しないことです。たとえば、ストリーミングインサートではないバッチ処理的なデータのインポート・エクスポートは無料になります。
また、データを1TB保存したとしても月額は$23.00(約2,530円)、月間で10TBのクエリを処理したとしても月額は$60.00(約6,600円)です。しかも、Google BigQuery では毎月最初の1TBのクエリ処理は無料になります。このように、Google BigQuery は想像していた以上に低価格なビッグデータ分析サービスなのです。
Google BigQueryと併せて使えるサービス
Google BigQuery の良いところは処理能力や料金以外にもあります。
GCPの各サービスからデータ連携が出来るのはもちろんのこと、Google Workspace のサービスとネイティブに連携する機能が用意されています。例えば、Google スプレッドシートにあるコネクテッドシート機能を使用することで、Google スプレッドシートの操作感をそのままに、Google BigQuery の中にあるデータを使用して分析用のグラフやピボットテーブルを作成することができます。
また、Google Workspace のアクティビティログを Google BigQuery へ連携することができ、特定の部門で行われている活動をDataPortalを用いてグラフとして可視化、共有するといったことも可能です。このようにGCP以外のサービスとの連携のしやすさ、使いやすさから Google BigQueryは多くのユーザに利用されています。
まとめ
いかがでしょうか?すでに登録ずみのGoogleアカウント(お持ちでない方はその場で新規アカウント作成すればOKです)から、Google Cloud Platform にログインすることができます。BigQuery はナビゲーションメニューをスクロールして「ビッグデータ」に分類されています。プロジェクトを作成して、データを取り込めばすぐに利用することができます。ぜひ実際に試してみてください。
また、電算システムでは、Google Cloud 導入支援サービスとして「Google Cloudスターターパック」「Google Cloud アドバイザリーサービス」、「Google Cloud 設定代行サービス」、「セキュリティ診断サービス」をご用意しています。いきなり利用してみることに不安があったり、もっと効果的にGoogle Cloudを活用したいとお考えの方は、ぜひお気軽にご相談ください。
- カテゴリ:
- Google Cloud(GCP)
- キーワード:
- Google Cloud
- Google BigQuery