ビッグデータ活用の必要性が注目を浴びる近年では、企業が扱うデータの量も膨大になっています。その状況下で必要な情報を素早く集めて分析し、企業が意思決定を迅速に行っていくために活用できるのが、データマートの構築です。本記事では、データマートの概要、メリット、デメリットについて解説します。
データマートとは？
データを蓄積・保存しておくリポジトリー（保存場所）を考えたときにデータウェアハウスがありますが、データマートもデータを保存しておく場所である点は同じです。データウェアハウスとの違いは保存データの目的の違いです。データウェアハウスが企業内の情報を網羅的に管理・格納したデータベースであるのに対し、データマートは、企業内に蓄積されたデータから目的に応じて一部のデータだけを抽出し、利用に適した形に加工して格納したデータベースです。
データウェアハウスが巨大な「ウェアハウス（倉庫）」であるのに対し、データマートは「マート（小売店）」であるとイメージするとわかりやすいでしょう。
データマートは、組織の統合データベースであるデータウェアハウス（DHW）からデータを取り出したものであるケースが多いです。
データマートのメリット
データを利用するにあたってデータウェアハウスから抽出するのではなく、データマートを構築して利用するメリットはなんでしょうか。それは速さと扱いやすさにあります。
まず速さですが、上述の通り、データマートは目的に応じて一部のデータのみ抽出して保管しています。データウェアハウスのような膨大なデータの中から必要なデータを探すのは大変ですが、データマートのように、あらかじめ必要なレコード、必要な項目に小分けしていれば、データウェアハウスより軽量で必要な情報を素早く取り出すことができます。
次に扱いやすさですが、データマートは利用に適した形に加工しています。使う側のユーザやシステムの要件に応じて改変しているため使いやすく、また使う側専用のデータベースなので、改変しても他への影響がありません。要件に柔軟に対応することが可能です。
データマートのデメリット
データマートは速く扱いやすいのがメリットですが、デメリットはないのでしょうか。
利用に適した形に抽出や加工をするということは、そこに処理があることになります。要件に応じてデータマートを作成しデータマートの数が増えてくると、処理の数も増えるためデータマートを作成するためのシステムの運用が大変になります。
また、要件に応じて加工することによりデータのガバナンスが崩れることも予想されます。一つの指標に対してデータマートによって様々な定義・解釈が生まれ、データの信頼性が失われてしまいます。
例えば販売分析用のデータマートを各部門の要件に応じて作成した場合、売上金額の定義が部門別に異なっていると、経営層は正確な判断ができません。
データマートは便利な反面、乱立した時に運用管理やデータの信頼性の面で、デメリットがある点に注意が必要です。
データマートとBigQuery
データマートはどこに構築するのが良いでしょうか。弊社ではGoogleCloudのBigQueryに構築することをお勧めします。BigQuery はデータ分析に特化したアーキテクチャで、非常に高速な分析処理が可能なデータウェアハウスです。フルマネージドで運用の負荷がない上に、データウェアハウスからデータマートを作成できるELTの機能が様々あります。
例えば、マテリアライズド・ビューをデータマートとして利用すればパフォーマンスとコストの両方を効率化できます。スケジュールクエリを利用すればSQLのみでデータウェアハウスからデータマート作成の定期実行が可能です。CloudMonitoringを利用すればスケジュールクエリ処理のエラー検知も可能です。データマート作成に別のツールを利用せずGoogleCloudのみで運用が可能です。
[RELATED_POSTS]
データマートとLooker
データマートは扱いやすい反面、乱立すると運用管理やデータガバナンスが効かなくなる可能性があります。このデメリットを解決してくれるツールがLookerです。
LookerはGoogleCloudのプロダクトで、パフォーマンスとガバナンスに非常に強みを持ったBIツールです。
Lookerにはユーザからの分析要求とデータウェアハウスの間にモデルレイヤーが存在し、このモデルレイヤーでデータマートの作成を処理するような定義を集中管理しています。
つまりテーブルとしてのデータマートは不要で、このレイヤーを通してデータマートに相当するクエリが作成され、DWHに対してクエリが発行される仕組みとなっております。そのため、パフォーマンスはデータウェアハウスの性能に依存しますが、BigQueryのような分析特化型のデータウェアハウスであればその性能を存分に発揮できます。
処理の定義に関してもLookerのモデルレイヤーで集中管理されるため、ガバナンスを効かすことができ、Git連携も可能なため処理の変更履歴を管理することができます。
また、このモデルレイヤーに対してAPIでアクセスができるのでLookerを単なるBIツールではなく、データを集中管理するデータプラットフォームとしてご利用できます。言葉では伝わりづらいかと思いますが、ご興味があれば是非弊社にお問合せください。
まとめ
データマートを構築すれば、膨大なデータから効率よくデータの抽出が可能な反面、乱立すると運用の管理やデータガバナンスの崩壊といったデメリットがあることについて解説致しました。
弊社ではデータウェアハウスやデータマートの構築、そしてLookerの導入支援も可能です。ご検討の際は是非お問合せください。
