昨今、多くの企業が膨大なデータを収集していますが、データ分析の結果を保証するためには、正確で整合性のあるデータを確保する必要があります。そのため「データクレンジング」を各企業が正しく行う重要性が増しています。
データクレンジングとは、不正確、欠損、矛盾したデータを特定し、修正、削除、補完する作業のことです。このプロセスを通じて、データの信頼性と品質を向上させることができます。
本記事では、データクレンジングの重要性や手法、ベストプラクティスについて詳しく解説します。データを正確かつ信頼性の高い状態に整えるためには、データクレンジングの理解と実践が欠かせません。自社におけるデータ分析基盤の整備に興味のある方はぜひ参考にしてみてください。
データクレンジングとはデータ不備を修正する作業のこと
本章ではデータクレンジングの意味と必要性について解説します。
また、データクレンジングと混同されやすい用語である「データクリーニング」・「名寄せ」についても言及します。
データクレンジングとは
データクレンジングとはデータの不備を修正する作業のことを指します。企業は多くのデータを取得・保有していますが、保有しているデータの中には一部が空白になっていたり、正しい値が入力されていないものが含まれます。
データクレンジングは上記のような不備のあるデータを正しいデータに変換することで、より効率的なデータ活用を促します。
データクレンジングの必要性
日々膨大な量のデータが企業に蓄積されていますが、価値のないデータ（ROTデータ）もしくは価値があるか不明なデータ（ダークデータ）も含まれています。
市場の変化がスピードを増す中で、市場動向にあわせて頻繁に戦略の見直しをする必要が生じており、それらを価値のあるデータ（クリーンデータ）に仕分けることでデータ利活用に活かすことの重要性が増しています。
具体例として、地域別売上を集計する際に一部地域の売上が欠損していると、正確に売上を把握できないだけでなく、今後の出店戦略について正しい意思決定がなされない危険性があるシーンなどが挙げられます。
データクリーニング・名寄せとの違い
データクレンジング（data cleansing）とデータクリーニング（data cleaning）はどちらも不備のあるデータを整えるという意味でほぼ同義と捉えて問題ありません。
使用頻度は比較的少ないものの、データスクラビング（data scrubbing）も両者と同義でデータを整理するという意味で用いられることがあります。
名寄せとはデータベースで重複している企業名・名前・住所などの項目を1つのデータとしてまとめる作業のことを指し、名寄せはデータクレンジングの一種です。
具体例として、「株式会社A」と「A株式会社」という表記の揺れにより、同一企業にも関わらず別の企業としてカウントされているデータを「A株式会社」という名称で統一する作業が名寄せにあたります。
データクレンジングによる3つのメリット
データクレンジングを行うことで企業にとって様々なメリットがあります。
本章ではデータクレンジングによる代表的な3つのメリットを紹介します。
データ分析精度の低下を抑える
そもそも、欠損や重複があるなどノイズの多いデータをもとに分析を行うと、結果の精度が低くなったり、誤った結果が導出されたりと、望まない結果となる場合があります。
たとえば、「10」「30」「50」というデータの平均値は「30」ですが、「50」のデータが重複し「10」「30」「50」「50」となってしまっていると平均値は「35」となり、本来の値とは異なる結果が出てしまうことになります。
データクレンジングを経て欠損や重複などの問題が解決されることで、間違った情報が分析に反映されにくくなるため、データ分析の精度が高まる傾向にあります。
意思決定がスムーズになる
分析結果の精度が高くなるということは「誰が見ても同じ結果になる」ということを表しています。
つまり、データ分析の精度が高まることにより、分析結果がチームメンバー全員の共通認識となりやすくなるため、意思決定が従来よりスムーズになる可能性が高くなります。
データクレンジングを行うことで分析のもととなっているデータへの信頼度も向上し、データに基づいた意思決定を行うデータドリブンな体制を実現することに繋がります。
コスト削減につながる
データクレンジングを全社で統一して行うことで無駄な費用発生を防げるというメリットもあります。
利用目的のないデータを放置することは無駄な費用が発生する原因となります。企業において価値のないデータ、もしくは価値があるか不明なデータに対しても、価値のあるデータと等しくデータを保存するためのサーバの費用等が発生します。
また、データ分析の際に、その都度一部のデータに対してクレンジング処理を行っている場合は、過去にクレンジングしたデータを保存してない場合が多く、同一のデータに対してクレンジング処理を何度も行うことになり、結果的に高いコストを費やしている可能性もあります。
全社で統一されたデータクレンジングを実施することで、費用対効果が高く、且つ利用価値のあるデータを残しておくことができるようになります。
データクレンジングのやり方【3ステップ】
正しいステップでデータクレンジングを進めることで不必要な手戻りを減らすことに繋がります。
本章ではデータクレンジングのやり方を3つのステップに分解して解説します。
データを1ヵ所に集約する
まずは社内で複数のデータベースに蓄積しているデータを1つのデータベースにまとめます。
部署や支社ごとに管理してきたExcel・スプレッドシート・Wordなどのさまざまな形式のファイルでデータを管理している場合はそれらを1つのデータベースに集約する必要があります。
1つのデータベースに情報を集約することで、データクレンジング前にデータ同士の関係性などを把握することが重要です。例えば、売上を商品・地域単位で分析する場合であれば、「商品別売上」「地域別売上」のデータをこの時点で集約することで分析が可能になります。
データを特定のルールに従い整理する
1つのデータベースにデータ集約が完了したら、データを特定ルールに従って整理しましょう。
具体的には以下のような観点で整理を行います。
- 表記ゆれ（例）株式会社が抜けている、半角全角が混ざっている
- 欠損（例）一部顧客だけ電話番号が登録されていない
- 重複（例）同一名の顧客が登録されている
- 粒度（例）年間売上、月間売上が混ざっている
このように特定ルールに従い、データ整理を行うことで初めてデータ分析ができる状態になります。
継続的にデータクレンジングを行う体制を作る
データクレンジングは一度完了したら終わりではなく、日々の企業活動によって生まれるデータに対して継続的に行う必要があります。
そのため、データクレンジングを行うルールや役割分担をマニュアル化し、継続的にデータクレンジングが全社的に行われる状態を作ることが重要です。
また、場合によってはデータクレンジングの処理が複雑化しないよう、データが発生する段階で集積しやすいデータとなっているか、適切なデータ抽出ができる環境が整っているか等の検討を行う必要があるかもしれません。
いつでも適切なデータ抽出・分析が可能になっている事はデータドリブンな経営を行えるようになるための近道です。
初めてデータ分析を行う際は、データ分析を行える体制をゼロから整える必要があります。以下の資料ではデータ分析に集中できる体制作りについて解説しておりますので、参考にしてください。
データ活用事例2選
データクレンジングが完了すると、データ分析のフェーズに移ります。
そこで、本章ではデータクレンジングを経て、精緻なデータ分析を実現した事例を紹介します。
花王株式会社様
同社では、Amazonの販売データやYoutubeを始めとする様々な広告データなどを収集し、分析する基盤を数ヶ月で構築する必要がありましたが、当時のメンバーには、システム構築のプロはいませんでした。
そこで、以下3つを要件として、「10年使えるデジタルデータ収集・処理基盤」を目指していました。
- プラットフォームが変わっても継承できる設計：階層化、パイプライン化、コンテナ化
- クラウド・仮想環境での動作とデータの拡張性および変更が容易な柔軟性の保持
- 長期的な管理・運用を前提：ルール整備、コード管理、処理の統一化
実際の作業ではデータの収集、前処理などの工程は電算システムのエンジニアが担当し、やり方を教わりながら、自社員もスキルを身に着けるという分業形式で進行しました。
現在、可視化されたデータは、各部門で利用されており、データの更新頻度が高くなり、データの精度も高くなっていると評価されています。今後、収集するデータは自社製品のレビュー、SNS、Webサイトのアクセスログ、調査会社の市場データや個人の購買データ、気象などのオープンデータにも拡張予定のようです。
事例の詳細はこちら
freee株式会社
同社では旧システムで以下3つの課題を抱えていました。
- パフォーマンス課題ークエリを実行後、結果が表示されるまで長い
- 運用面の課題ーパフォーマンスを最適化するために、インデックス設計や圧縮など細かいチューニングが必要
- 利便性の課題ー社内ではオープンソースのダッシュボードツールを使っていましたが、データアクセスの手段を増やして、利便性を高める必要がありました。
こうした課題の解決策として、データウェアハウス刷新の検討を開始し、 BigQuery への移行を決めました。
導入後の効果としては、パフォーマンス面の改善が大きいそうです。以前はSQLのクエリが大量に実行されると 140 くらいの待機ジョブが発生することがありましたが、現在は多くても 50 くらいまでに減少しました。
しかし現状では、データの利用に積極的な利用者は全体の 3 割くらいにすぎず、今後はデータ基盤のオンボーディング等で、使い方を身に着けてもらうような機会も作っていくそうです。
事例の詳細はこちら
データクレンジングを行って分析体制を整えよう
多くの企業は蓄積されたデータを有効活用しきれていないのが実情です。
今後もデータは蓄積され増加していくため、早めにデータクレンジングに取り組むことで得る恩恵は非常に大きいと言えます。
ただ、データクレンジングという手段が先行するのではなく、しっかりと分析目標を定めてからデータ分析の体制作りに着手することが重要です。
本記事を参考に、データ分析を継続的に行える体制を作り、データドリブンな経営を実現していただけますと幸いです。
以下の資料ではデータ分析を初めて行う方向けにデータ分析における収集から実施までをスムーズに行える体制づくりについて解説しています。データドリブンな組織作りを考えている方はぜひ参考にしてください。
