「データ管理」という言葉には幅広い意味が含まれており、シーンによって使い分けられています。もともとはデータを安全に保管し、検索しやすいように整理し、変更が加えられたらその履歴を残し、常に最新の状態に保つことを言います。ただし、データ活用が重視される現在において、データへのアクセス性を高めること、データの連携・分析によって情報価値を生み出すこと、長期にわたって保持しコンプライアンス遵守を目指すこともデータ管理として欠かせない要項になっています。本記事でご紹介するのは、そんなデータ管理の重要性と注意すべきポイントについて、また、Google Cloudでのデータ管理についてです。データ管理に取り組むことで、企業にはどのような変化が生じるのでしょうか？
データ管理の重要性
最初に、データ管理の重要性について理解していただきたいと思います。データ管理に取り組む理由は多数あり、その理由や重要性を理解することはより良いデータ管理に欠かせない知識です。では、データ管理はなぜ重要なのでしょうか？
必要な時に必要なデータを探す
システム上でデータを管理する目的の一つが「必要な時に必要なデータを探すこと」です。しかし、システムや技術の進歩に伴い保管すべきデータ量が膨大になるほど、必要なデータを素早く探し出せない問題が発生します。その原因が、データ管理が一元的になされていないことです。システムがセクション（部署や業務）ごとに分断化している状況下では、システムが隔絶されており横断的なデータ検索ができないがために、「必要な時に必要なデータを探すこと」が難しくなります。さらに、不要不明なデータや欠損データが紛れ込んでいる可能性が高いため、データの検索性は余計に低くなるでしょう。
データ管理が徹底されている環境下ではそうした問題も皆無です。業務に必要なデータと不要なデータを分け、後者の破棄までのサイクルを管理することで不要なデータを極力削減し、さらにデータ管理を一元的に行うと「必要な時に必要なデータを探すこと」を実現できます。
データ連携による業務効率化
データを総合的に管理するということは、システム同士のデータ連携を促進することに繋がります。システムごとのデータが分散管理されている状況では、セクションごとの業務は効率化できても横断的な業務プロセスの効率化まではできません。そのためにはやはりデータ連携が必要であり、フォーマットが異なるデータでも一元的に管理できるようにすることで、全社的な業務効率化へと繋げて行くことが重要になります。
データ流出リスクを削減する
データを一元的に管理できていない環境で想定されるリスクとしてよく挙げられるのが、「データの流出」です。例えば社員が勝手にUSBメモリに顧客データをコピーし持ち歩いた場合、それを紛失すれば即座に情報流出へと繋がります。対策のためにはデータを一元的に管理し、誰がどのデータを保有し、いつ持ち出したかなどを正確に把握しなければいけません。データ管理の対象をシステムのイベントログ情報まで拡大することで、より高度なセキュリティ対策を実施することも可能でしょう
データドリブン経営を実現する
データドリブン経営とは「データ分析を基準にした経営活動」であり、一元的に管理しているデータを分析に回すことで経営者がリアルタイムに知りたい情報を可視化し、経営活動の現状を知りながら経営判断を下すことが可能になります。また、データ管理からデータ分析へ繋げることで様々な「データドリブン～」を実現できるため、企業の情報資産を最大限利用することが可能でしょう。
場所を問わないデータアクセス
データを一元的に管理する場所をクラウド上に指定すれば、いつでもどこにいても必要なデータにアクセスできる環境が整います。これはすなわち、社員がデータを持ち出す必要性が無くなることと同意です。そのため、業務効率化とセキュリティ強化の両方の点において、大きなメリットが見込めます。
データ管理で注意すべきポイント
データ管理は今とこれからを生きる企業にとって欠かせない取り組みです。データを管理することの意義を理解できないままでいると、昨今のビジネススピードに遅れを取り、競合他社のシェア拡大等を許してしまう可能性があります。そこで、データ管理で注意すべきポイントをご紹介しますので、取り組む際はぜひ意識してみてください。
ポイント1. データ管理ソリューションを慎重に選ぶ
データ管理のためのソリューション（解決策）は多岐にわたり、一元的な管理に必要なデータ統合プログラムをゼロから開発したり、既製品のデータ管理システムを選ぶなどがあります。それぞれに一長一短があるため、十分に見極めた上で適切なソリューションを選ぶことが大切です。近年の傾向としては、データ管理のためのプログラムをゼロから開発するのではなく、ETL（Extract, Transform, Load/抽出、変換、格納）ツールによるデータ管理が注目されています。データ統合プログラムをゼロから開発する場合、プログラムがブラックボックス化しやすいため、トラブルが発生しても迅速に対処できない問題があります。一方、ETLなどのデータ管理ソリューションはトラブル発生時の対処も迅速で、様々なサービスやシステムとのデータ連携が可能になります。
ポイント2. データクレンジングを実施する
データクレンジングとは、データ管理の前に各システムが保有するデータをきれいに整えることを意味します。キーが重複しているデータを統合したり、表記ゆれを修正したりします。例えば同じユーザーIDデータが2件以上あれば1つに統合し、カナ氏名に全角と半角が混じっていればどちらかに統一します。システムがサイロ化（分断的な状態）した環境では重複しているデータも多く、それらをまとめて管理するとストレージコストがかかるだけでなく、データ管理が複雑になります。そのため、データ管理へ取り組む際はデータクレンジングの実施を一つのタスクとして実行することで、より快適なデータ管理環境が見込めます。
ポイント3. データ管理の目的を明確にしておく
最後のポイントは、データ管理の目的を明確にすることです。システムごとに分散されているデータを一元的に管理するにあたり、様々な活用目的が想定されます。これは企業ごとに異なりますし、目的に応じてどのようにデータ管理を実施すべきかが変動するため、最初にデータ管理の目的を明確にしなければいけません。まだデータ管理等に取り組んでいない企業では、これから取り組むにあたって目的をしっかりと明確にしておきましょう。
データ管理を実施するにあたり注意すべきポイントはそう多くありません。ただし、それぞれのポイントをしっかりと押さえた上で、面倒と思われる作業にも労力を惜しまずにデータ管理へ取り組むことで成功のポイントになります。データ管理では目的や方法は様々です。その中から自社にとって適切なものを取捨選択できることが、データ管理には必要です。皆さんもこの機会に、自社でデータ管理を実施するとどうなるのか？どんな経営課題を解決できそうか？を考えてみください。そして目的に応じた方法を選択し、データ管理における恩恵を最大限に受けていきましょう。
Google Cloudで実現するデータ管理
ポイント3. データ管理の目的を明確にしておく
ここまでデータ管理の重要性やそのメリットについてご紹介をして参りましたが、では、具体的にデータ管理をするにあたって、何から始めれば良いでしょうか？
既に世の中には色々な手段やツールが存在していますが、その中から、Google Data Catalogのご紹介をさせて頂きます。
そもそも Google Cloud(GCP) は競合のクラウドサービスと比べて、データウェアハウスサービスである BigQuery を始めとして、データ分析や利活用の範囲において、非常に強力なサービスを多数展開しています。本校をお読みになられている中には、データ利活用を推進するためにGCPをご利用頂いている、という企業様もいらっしゃるのではないでしょうか。
Data Catalog はそんなGCPに内包されているデータ管理サービスです。データの管理だけではなく、データ検出の機能も搭載されています。クラウドサービスであるため、もちろん先述した通り、端末や場所を問わずにご利用が可能です。また、フルマネージドサービスとして提供されているため、利用者が設計や構築、運用上での負荷なくご利用いただけます。
Data Catalogの機能について
Data Catalog について、もう少し掘り下げてみたいと思います。
具体的に何ができるのか、という点ですが、1つ目に、各種ストレージシステムに保存されているメタデータ（データの情報、データについてのデータの事をメタデータと呼びます）を、カタログ化することができます。カタログ化とは、データを管理するために「ファイル名」「作成日」などの情報を記録することです。これにより、種類や使用目的ごとにデータを分類することが可能になります。先に触れた BigQuery を始めとして、多くのGCPサービスについて、この機能をご利用頂くことが可能です。
次に、データをカタログ化したら、タグを使用して独自のメタデータを追加することができます。
一般的に膨大なデータを綺麗に整理することは容易ではなく、場合によってはデータそのものを説明するためのドキュメントがセットで保管されているケースも多くあります。しかし、このような運用は言ってしまえば非効率であり、運用面において余計な手間を産んでしまいます。
そこで、Data Catalog には「タグテンプレート」という機能が備えられており、簡単にメタデータの作成および管理を行うことができます。タグはデータ自体に関連付けされており、ドキュメントやスプレッドシートといった別ファイルとしての保管ではないため、運用管理の効率化にも繋がります。
また、先にも述べた通り、Data Catalog には、強力で構造化された検索機能とフィルタリング機能が搭載されています。そのため、タグ付けされたメタデータは、別のツールを使わずとも、Data Catalog のシステム上で簡単に検出することができます。
企業が意思決定をする上では、データ検索・データ抽出にスピード感が強く求められます。そのため、データを適正に管理しつつ、効率的に検索・抽出ができる Data Catalog はとても有益なサービスであると言えるでしょう。
まとめ
いかがでしょうか。データの活用は今や一般企業においても当然のことであり、いかにうまくデータと付き合っていけるかが、事業の成功の鍵になるとも考えられます。
そこで電算システムでは、データを収集、統合、可視化する様々なデータプラットフォームサービスを提供しています。
皆様の社内に散在するデータはおよそ、すぐに活用できる状態にありません。そこでデータ活用のためのコンサルティングから収集・加工、可視化など、データ分析の強みを活かした提案・支援を行っています。
データについてのお困りごと・お悩みがございましたら、ぜひお気軽にご相談ください。
