データの統合的管理やデータ分析へ取り組むにはまず、社内に散在しているデータをかき集めなければいけません。しかしこれがなかなかに難しい作業です。システムごとに重複したデータを管理していることや、それぞれにデータフォーマットが異なることを考慮するとデータ収集にかかる手間とコストは非常に大きいと容易に想像できます。それらの課題を解決するにはどうすれば良いのか？本記事では、企業データ収集のためのツールや手法、コツなどについてご紹介します。
企業データを収集するためのツール
まずご紹介するのは、企業データを収集するためのツールです。データ収集に使われるツール群はパッケージ化されていることもあり、ゼロからプログラムを開発するよりも低コストかつ安定した状態で利用できます。ツールごとに異なる特徴があるため、それぞれの特徴を理解して適切なツールを選ぶことが大切です。
ETL（Extract, Transform, Load/抽出、変換、格納）
ETLは「Extract/抽出」「Transform/変換」「Load/格納」の頭文字を取っており、企業データとして必要なものの抽出・変換・格納を自動化するためのツールです。ETLを使用することで必要なデータ定義して各システムから抽出し、それを特定のフォーマットに変換します。そして所定の場所に格納することで、データの一元管理をサポートしてくれます。
企業がデータ収集に取り組む目的は様々ですが、つまるところ「データを一箇所に統合管理する」というのが目的の一つとして共通しています。ETLはそうした目的に沿って様々な形でデータを統合的に管理できるため、データ収集を必要としている企業に幅広く人気を集めています。
EAI（Enterprise Application Integration/企業内アプリケーション統合）
ETLと混同されがちなのがEAIというツールです。ETLはシステムごとに散在しているデータを一元的に管理することを目的にしていますが、EAIは文字通り社内のアプリケーション統合を意識しています。アプリケーション統合とはつまり、社内に存在する各システムを繋ぎ、データ的な連携が取れるようにするための手法です。
これまで企業ではセクション（部署や業務など）ごとに切り分けたシステムを運用し、サイロ化（分断的に存在するシステム）が進みました。しかしこの影響は想定以上に大きく、今では急速なビジネススピードへ対応するための足かせになっています。ただし、システム環境を刷新したり新しい基盤へ移行するのは負担が大きすぎるため、既存のシステムを利用してそれぞれを連携させることで。ビジネススピードは劇的に向上します。EAIは既存のシステムやアプリケーションを活かし、必要なデータだけを連携できるのが大きな利点です。
MDM（Master Data Management/マスターデータ管理）
MDMは型や桁数、コード体系や構造がバラバラな各種システムのデータをクレンジングおよび名寄せ等を実施した上で、システム上でマスターデータとして集中管理するためのツールです。これによりBI（Business Intelligence/ビジネス・インテリジェンス）などの各分析ツールにデータを配信したり、各業務システムに還元したりすることでデータ管理がスムーズに行えるようにします。
データ収集の手法
上記にデータ収集に欠かせないツールについてご紹介しましたが、手法としては他にもあります。具体的なデータ収集の手法を確認していきましょう。
手動によるデータ収集
ユーザーが各システムのインターフェースにアクセスして、様々なソースから必要なデータを手動で取集する方法です。さらに必要に応じてクレンジングを行い、DWH（Data WareHouse/データ・ウェアハウス）へと統合します。手動で行うは一見コストがかからないように思えますが、手法としては非常に非効率的です。また、データ収集の方法に一貫性が保てないため、質の悪いデータを管理することになる可能性もあります。表面上のコストはかかりませんが、人件費が多くかかり尚且つ使えデータが少ないことから、手動によるデータ活用は最小規模の組織等でしかた活用できない手法です。ただし、データ活用の第一歩としてまず手動でデータを収集し、DWHに入れてみるということは良い一手です。
アクセス統合
様々なソースからアクセスした際に、一貫してデータが表示されるようにフロントエンドを作成する手法です。この手法ではデータは元のソース（システム）に残されることから、データの統合管理による分析活動等については効果が期待できません。ただしこの手法では、オブジェクト指向のデータベース管理システムを使用して、異なるデータベース間で一貫性があるようにデータを提示できます。
共通ストレージの統合
元のソースとなるシステムからデータのコピーが統合システムに移行し、共通ストレージとして統合する手法です。元ソースとなるシステムにデータを残すアクセス統合とは対照的なアプローチであり、要するにDWHなどに必要なデータを統合することになります。
このように、データ収集には様々な手法があります、ただし、データ活用に本格的に取り組んでいく場合は、手動によるデータ収集はやはりお勧めできません。手間とコストがかかる上にデータをリアルタイムに収集・分析することが不可能なため、データ活用の幅がかなり狭まります。やはり、表面上のコストにこだわるのではなく費用対効果を重視しながら、自社に取って最適なデータ収集の手法を模索することが大切です。
データ収集で注意すべきポイント
データ収集で重要なのは、注意すべきポイントを押さえながらそれに必要な環境を整えたり、収集を実施したりすることです。では、データ収集の際に注意すべきポイントとは果たして何でしょうか？
ポイント1. データ収集ツールを慎重に選ぶ
前述のように、データ収集のためのツールはパッと考えるだけで3つもあります。また、それらのツールは組み合わせが可能であり、それによってデー収集の形態や活用方法などが異なります。最近ではクラウドサービスの登場により、選択肢はさらに広がっているでしょう。だからこそ、データ収集ツールは慎重に選ぶべきです。革新的な機能や低コストさを売りにしているツールであっても、それが自社環境にマッチしたものかどうかを重視すべきです。必要であればトライアルなどを実施して、ツールを慎重に選んでいきましょう。
ポイント2. データ収集の目的を明瞭にする
データ収集の目的を明瞭にする理由は2つあります。1つはツールを選ぶ際の基準として活用することです。データ収集ツールを選ぶにあたり、何のためのデータ収集なのか？が明瞭になっていないと選ぶべきツールに迷ってしまいます。そしてもう1つは、実際にツールを使用してデータ収集をしてから、そのデータをどう活用するか？をはっきりさせることです。データはただ収集するのではなく活用してこそ意味がります。なのでデータ収集の目的を明瞭にして、ツール運用がスタートしてからでもスムーズにデータを活用できるよう環境を整えましょう。
まとめ
いかがでしょうか？一口にデータ収集といっても奥は深く、手法も様々です。本記事の内容を参考に、自社にとって最適なデータ取集の手法やツールなどを選んでいただければと思います。
電算システムでは、データを収集、統合、可視化する様々なプラットフォームサービスを提供しています。また、データインテグレーターとして、単なるプラットフォーム提供に留まらず、専門のコンサルティングによる、データ収集・加工、可視化などのデータ分析の強みを活かした提案や導入のご支援をいたしますので、データ分析がうまく進まないとお悩みの方や、これから着手してみようと検討されている方は、お気軽にご相談ください。
