LookerとBigQueryの組み合わせで実現できる事

現代の企業経営では、膨大なデータの効率的かつ効果的な運用が欠かせません。そこで重要となるのが、ビッグデータ活用の分析基盤となるITソリューションの導入です。本記事では、ビッグデータ分析に特化したITソリューション「Looker」と「Google BigQuery」の特長や企業の導入事例について解説していきます。

ビジネスが抱える大量データ収集・格納の課題

凄まじい速さで変化する社会情勢や、多様化かつ高度化する顧客ニーズに応えていくためには、高度な情報分析に基づく経営戦略の構築が求められます。指数関数的に増大しつつあるビッグデータの活用は、企業にとって非常に重要な経営課題です。

しかし、ビッグデータ分析を経営に取り入れているものの、活用が進んでいないという企業も少なくありません。

ビッグデータを効率的に運用するためには、膨大な計算処理を実行できるシステム環境が不可欠です。

また、膨大なデータを分析するには、前もって情報を分析しやすいように整える「前処理」という作業が必要です。この作業には分析に至るまでの全行程における約80％の時間が必要で、大きな負担になってしまいます。

そして、データ分析に精通しているのはもちろん、経営に関する知見を備えたデータサイエンティストの存在も欠かせません。

システム環境の構築、分析に要する時間、人材不足、これらの課題の存在がビッグデータ分析の障壁になっていないでしょうか。

LookerとGoogle BigQueryの組み合わせで解決できる課題

ビッグデータ分析を企業経営に取り入れるためには、分析基盤となる優れたITソリューションが求められます。

そこでおすすめしたいのが「Looker」と「Google BigQuery」です。それぞれのソリューションがもつ特長について紹介しながら、合わせ技で解決できる課題を探っていきたいと思います。

BigQueryでスケーラブルなストレージと柔軟なアーキテクチャを実現

BigQuery は、ビッグデータ分析に特化したデータ解析サービスで、ビッグデータ分析時のSQLをクラウド上で実行できます。

BigQuery はデータウェアハウスに該当するサービスであり、最大の特長は、膨大なデータを専門知識がなくても超高速でデータ分析できる点です。

数TB、あるいは数PBにも及ぶクエリであっても、数秒から数十秒で分析を完了します。

Lookerで堅牢なデータガバナンスと強力なインサイト提供を実現

Looker は、Google Cloud にて提供されるクラウド型のBIソリューションで、第3世代BI、あるいは次世代型BIと呼ばれています。

Lookerはデータベースに直接アクセスするため、分析の前処理となるデータマートが不要でデータを素早く取り出すことができます。

またLookMLというモデルレイヤーでデータ定義を統一し、ユーザにデータのガバナンスを維持した分析環境を提供します。

その他Lookerが次世代BIと呼ばれる所以は、こちらの記事を参考にしていただければと思います。Lookerとは？

BigQueryとLookerのそれぞれの特長をもとに、２つのソリューションを組み合わせると、どのような課題が解決できるでしょうか？

データの前処理にかかる時間と労力を軽減

先述の通りデータ分析には前処理と呼ばれる作業が必要です。データマートもその一例です。従来のBIやDWHではリソースの制限もあり、分析のテーマごとに最適なデータマートを作成する必要がありました。

しかし、データマートを仲介する事によりデータの鮮度が損なわれたり、データマートを作成するプログラムが乱立し管理の負荷がかかっていました。

Lookerでは、SQLロジックで吸収できるデータ変換やデータ統合が可能ですのでデータマートが不要になります。

またBigQueryは分析に特化したアーキテクチャなのでパフォーマンス対策用にデータマートを用意する必要がありません。

ユーザからの分析依頼に対して、Lookerがデータ変換及びデータ統合後のクエリを作成して、BigQueryへ直接アクセスする。BigQueryではLookerからの問い合わせに対して、大量データから高速に分析結果を返します。

このようにLooker とBigQuery を組み合わせることで、BIとデータウェアハウスが直接続になり、前処理の時間と労力が軽減されます。

高速なデータ処理の実現

分析に特化したアーキテクチャで高速なBigQueryですが、BI Engineを利用すればさらに高速に分析結果を得ることができます。

BigQuery BI Engine は、高速なメモリ内分析サービスです。LookerはBI Engineに連携可能ですので、LookerとBigQuery BIEngine でさらなるパフォーマンス向上が見込めます。

機械学習とのシームレスなワークフローを実現

データ分析をする際に機械学習を活用すれば、過去の事象の傾向から、現在や未来の動きを予測することも可能です。ウェブやソーシャルネットワークの普及に伴い、膨大なデータ量が発生する中、機械学習の情報処理スピードや正確性が向上してきています。

しかし、機械学習の元となるデータと機械学習アプリケーションが分断されていると、学習用のデータを抽出して機械学習アプリに取り込むという段階を踏まなければならずスムーズではありません。

BigQueryでは、BigQuery ML という機能があり、BigQuery 上でSQLを使用して機械学習モデルを作成し、実行できます。

SQLで実行できるということは、Lookerのクエリを発行する仕組みを通してBigQueryMLの操作をすることが可能です。

つまり、Lookerで機械学習用のデータを抽出して、BigQueryMLに学習させ結果をLookerで確認するといったようなシームレスな運用がLooker上で可能です。

開発コストの軽減

LookerではBlocksという、様々なデータソースやクラウドサービス用に事前定義されたテンプレートがあります。

Blocksが公開されているマーケットサイトから利用したいBlocksをボタンひとつでインストールするだけでLookerに組み込むことが可能です。すぐに分析ができます。

BigQueryで利用できるBlocksも数多くあります。例えば、GoogleCloudのコストを分析するためのBlockを組み込めば、GoogleCloudのコストを分析できるダッシュボードがすぐに利用できます。GoogleAnalyticsをご利用であれば、BigQueryにGoogleAnalyticsのデータをエクスポートし、LookerにGoogleAnalyticsブロックを組み込めば、GoogleAnalyticsの分析がすぐにご利用できます。