データ分析に対するニーズは益々高まっています。情報洪水とも言えるほどの情報量が日々押し寄せ、日々社内システムに蓄積されていきます。しかし幸いにも、クラウドコンピューティングの発展やストレージサーバーの低コスト化によって、大量の情報を管理するためのハードルは低くなっています。
Googleが提供するGCP（Google Cloud Platform）では、ハイパフォーマンスなCompute EngineからスキーマレスなNoSQL型のデータベース、BigQueryなどに代表されるビッグデータ活用に適したサービスまで、各種データ活用に必要なコンポーネントが提供されています。
このような背景もあり、データ分析を実施して大量の情報からビジネスに使える知見を導き出すということに興味を持ちデータ・ドリブン型の経営を目指す企業が圧倒的に増えています。
しかし、データ分析の方法について体系的に学べる機会が非常に少なく、データ分析を実施したくてもできない、という問題もあります。
本稿では、そんなデータ分析に必要なプロセスについて解説していきます。「大量に蓄積されている情報を活用したい！」という企業は、ぜひご参考ください。
データ分析で必要なプロセス
最近では、データ分析を自動化するツール等が多く提供されており、「ツールさえあれば情報活用ができる」と考えて導入を急いでしまう企業が少なくありません。データ分析のためのツールも大切ですが、まずはデータ分析に必要なプロセスについて知ることが大切です。それでは、データ分析に必要なプロセスについて確認していきましょう。
データ分析の目的決定
データ分析は必ず「目的ありき」で実行するものです。よくある失敗例では、目的と実行が逆になってしまい、目的無きデータ分析を実行してしまうことでしょう。目的や仮説なしにデータ分析のみを実行すると、収集するデータ自体の価値を見出せず、たとえ統計化したり傾向分析を行ってもそこからビジネスに有用な知見を導き出すことはできません。
また、データ分析そのものが目的になることはなく、データから導き出される因果関係を把握することで新たな「洞察」を見つけビジネスに役立てることが目的となります。
分析者は目的の決定に極力参加しないことで、データ分析の結果に対してより客観性を持たせる配慮をするケースなどもあります。外部企業にデータ分析を依頼することも客観性を高める手段として有効と言えます。
意思決定者から分析者への要求
データ分析を行う目的は企業によってさまざまですが、共通して言えることは現状何らかの「課題」や「ニーズ」があり、その要因を把握・認識するためにデータを活用します。つまりそこには必ず「意思決定者」の存在があります。新規事業を開始するにあたって、マーケット調査を行うことも同一の理由と言えます。
そのため、データ分析では「意思決定者から分析者へ、データ分析を通じて何を知りたいのか？」を明確にすることが大切です。そして、分析者は「そのためには何を知るべきか？」を考えます。
要求はどの程度具体的にするか？分析者への目的開示はどうするか？分析者の関与がどこまで許されるか？などについても意思決定者の間で適切に決めておくことが大切です。
目的や前提事項、例外条件などが意思決定者の間でも意思統一されていないと、データ分析された結果の見方そのものが変わってしまうため、注意が必要です。
データ収集、プランニング、選別、評価
データ分析において情報を収集する作業は分析の土台になります。だからこそ、データの収集、プランニング、選別、評価を徹底しなければいけません。収集では、データ分析に必要な情報をしっかりと定義した上で、必要な情報だけを収集できるように計画します。さらに、データのプランニングと選別、評価も重要です。データ分析というのは目的に応じて適切な情報を分析しなければ、期待するような効果は得られません。
その為、データソースの定義や収集する頻度、再加工する場合のロジック、抽出条件など、目的に合致したデータ処理がなされる必要があり、結果報告にはデータ処理の方法についても適切に記載しておくことで、導き出された結果がどう言ったプロセスを経てきたのか検証できるようにしておく必要があります。
[RELATED_POSTS]
データ分析の前処理と本分析
データ分析を始める前処理として、ある程度前処理が必要になります。
数10万行、数百項目にも渡るようなデータセットをもつ購買記録をいきなり過去10年分抽出し、データ分析を始めたとしても、集計など計算処理を実行しただけでかなり待たされてしまうような事態に陥ります。
そこで、使用する情報にアタリを付けて、サンプル的なロジックで目的とする処理が完結できるかどうかを検証し、効果的な分析手法やロジック、対象データの選別を行っておくことが大切です。その際に、可変的に実施する条件のパターンなども想定し分析シナリオを作成することで、処理時間全体に要する時間を見積もることにも役立ちます。
また、一通りの前処理を行い、実際に本データで分析を行う場合も、数回実行した後で結果を確認し、想定している結果との乖離やロジックや条件面での不具合がないかを確認し、分析方法を見直す必要がないか確認を取ることが重要です。
なぜ？次にどうする？を考える
データ分析を実行すると必ず「結果」が出ます。その結果に対して「なぜそうなったのか？」を考え、さらには「次にどうするか？」まで考えるのがデータ分析の本質です。たとえば、POSデータから分析できるのは「どんな商品が売れているか？何が売れていないか？」という情報だけです。さらに天候データを追加することで、天気や気温などとの相関を見つけることはできるかもしれません。ただ、購買者の家族構成などの情報が含まれていなければ、購買層をセグメントすることはできません。
現実的に全てのデータをとり揃えることはできない為、分析結果に対してデータに含まれていない外的要因や影響する要素を意識して、判断する必要もあります。
「消費者の心情」など、影響すると思われる要因を結果だけでは見えない部分まで考えを巡らせて、「次にどうするか？」と言った意識を持つことで結果の活用も大きく変わってきます。
また、結果はある特定の事実を表していますが、その結果のみに縛られるのでなく、新たな条件を加えて分析を継続することがよくあります。その場合、分析結果にとらわれて、期待する結果が出るまで分析を繰り返すのではなく、結果から導かれた考察から数パターンの施策を計画し、次のデータ分析の際の分析軸に使用することで、継続的な分析と改善と言ったサイクルが生まれます。
なぜ？と次にどうする？を意識したデータ分析を行うことで、PDCAサイクルを適切に回す際の駆動力になります。
分析者から意思決定者への伝達
データ分析の結果は分析者から意思決定者へと伝達します。ここで重要になるのが、意思決定者からの要求をどこまで満たせて、満たせていない箇所がどこなのか正しく明示することです。
また、データ分析を行った担当者は、知らず知らずのうちにデータの細かい情報まで認識していますが、意思決定者はそこから導き出された結果した見ることができません。
その為、作成するレポートのフォーマットや見せ方、想定される要因と実施すべき対策、考察など、端的に整理して伝達する必要があります。
その為、読み手である意思決定者のタイプや力量を理解したレポートの用意や結果の方向を行う必要があります。
データ分析の能力とは異なりますが、相手に理解できるようにレポートをまとめる力が問われます。
データ分析のプロセスを理解し、実行してみる！
いかがでしょうか？一口にデータ分析と言ってもそのプロセスは多岐にわたり、目的や対象とする業務やデータ種別などによっても変化し、１つの分析も継続することで、あらゆる角度から条件を変更してみるなど、分析業務に割く時間は永続的に続きます。
しかしながら、各プロセスを正しく理解し適切に実行することで、目に見えてデータ活用の成果は上がり始めます。
また、データ分析を効率的に実施するために、AIの活用や機械学習によるデータ分析モデルを使用するなど、データ分析のためのプラットフォームを構築することで、多くのサービスと連携させることも可能となります。
電算システムでは、データ分析サービスとして、データエンジニアとのワークショップやコンサルティング、トレーニングなど、これからデータ分析を始めるお客様に対して、エキスパートによるサービスを提供しています。また、データインテグレーターとして、コンサルティングからデータ収集・加工、可視化などのデータ分析の一連のプロセスに加え、分析基盤の構築、システム化まで一貫してご提供致します。
DSKデータ分析サービスの詳細はこちら
https://www.dsk-cloud.com/solution/data-analysis
データ分析をご検討されているお客様は、お気軽にご相談ください。
