「社内に蓄積されているビッグデータを用いて、戦略策定や経営課題の解消に活かしたい」と考えている方も多いのではないでしょうか。特にビジネスシーンでは、テキストデータを扱うケースが多いため、今回紹介するテキストマイニングが効果を発揮します。
テキストマイニングとは、文章を対象にしたデータ解析手法です。アンケートや商品レビュー、SNSなどから取得したテキストデータを効率良く分析できるため、社内業務の最適解を図るのに役立ちます。
本記事では、テキストマイニングの仕組みや代表的な手法、導入方法を解説します。具体的な活用例も紹介しているので、ぜひ参考にしてください。
テキストマイニングとは文章データを解析して最適解を得る手法
テキストマイニングとは、数あるデータのなかでも文章に焦点を絞り、解析を行う手法です。文章データとしては、アンケートの回答や商品レビュー、SNSへの投稿などがあげられます。このようなデータのなかから有益な情報のみを抽出するのがテキストマイニングの役割です。
実際にテキストマイニングを実施する際は、主にAIの自然言語処理という技術が用いられます。自然言語処理とは、人間の話し言葉や書き言葉を機械が正確に読み取ったり、自然な言語で情報を出力したりする、テキストマイニングには欠かせない技術です。
テキストマイニングで有益な情報を抽出できれば、それをデータ分析に活用できます。結果として経営やマーケティング、カスタマーサポートなどにおける業績改善のヒントを得られるため、それぞれの業務の最適化へとつながります。
テキストマイニングの種類
テキストマイニングには、「探索的データ解析」と「文書分類」の2つの解析手段があります。
探索的データ解析とは、単語ごとに文章を区切って、単語の使用頻度や傾向、単語同士の関連性を解析する方法です。一方の文書分類は、機械学習を用いてテキストデータの特徴を抽出し、カテゴリ分けする方法です。
一般的にデータ分析によって最適解を見つける際は探索的データ解析を、情報を整理する場合は文書分類を用います。
データマイニングとの違い
データマイニングとは、データの種別にかかわらず、あらゆるデータを解析して有益な情報を抽出する手法です。文章だけでなく画像や動画、音声など、さまざまなデータが対象となります。
文章のみに特化したテキストマイニングは、データマイニングの一種です。テキストデータのみを解析したいにもかかわらず、データマイニングを実施してしまうと、不要なデータが解析対象となり、作業効率を損なう可能性があります。そこで、テキストマイニングによって文章のみを対象にすることで、より効率的にデータの抽出作業を行えます。
テキストマイニングの代表的な手法4選
テキストマイニングの代表的な手法は次の通りです。
- センチメント分析
- 共起分析
- 対応分析
- 主成分分析
このような手法は、それぞれ分析目的や役割が異なります。そのため、各手法の特徴を理解したうえで、適切に使い分けることが大切です。
センチメント分析
センチメント分析は、商品やサービスを利用する際の顧客の感情を明らかにする手法です。「肯定的・中立的・否定的」の3つの指標で評価します。
例えば、商品やサービスに対する「満足」「非常に良い」「素晴らしい」といった意見は、肯定的な評価と捉えられます。一方、例えば「やばい」といった単語は、文脈や使用する人の年代によって意味合いが異なるため、正確に感情を読み取ることが難しく、機械的に解析するのが困難な場合もあります。
センチメント分析で明らかとなったデータは、顧客満足度を調査する際の参考になります。否定的や中立的の割合が多い場合、商品やサービスに対して顧客が何らかの不満を感じている可能性があるため、製品の仕様やサポート内容などを見直す必要があるでしょう。
共起分析
共起分析もセンチメント分析と同様、主に顧客の感情を読み取る際に活用されます。例えば、化粧品に対して「潤い」や「かさつき」などの単語を組み合わせ、文章中に同時に登場する度合いを調査し、商品に対する感情を評価する仕組みです。
センチメント分析の場合は、「肯定的・中立的・否定的」の3つの指標で評価をしますが、共起分析なら、より細かいニュアンスで顧客の感情を読み取れます。そのため、読み取った感情データを用いて、ブランドイメージやキャッチコピーの考案が可能です。
対応分析
対応分析とは、複数の結果を散布図を用いて提示し、関係性を分析する手法です。コレスポンデンス分析とも呼ばれています。
複数の事象同士の差異あるいは類似性を見極めるのが対応分析の役割です。競合他社とのポジショニングの違いや、製品同士の類似性・競合性などが明らかになるため、市場調査や競合調査をする際に役立ちます。
主成分分析
主成分分析とは、膨大な量のデータを少数の項目に置き換えて提示する手法です。さまざまな変数を持つデータを、「第一主成分・第二主成分」といった形で細分化します。これにより、できる限り情報量を減少させずに変数のみを減らせるため、変数同士の関係性を見つけやすくなります。
例えば、飲料水に関するマーケティングリサーチを行う際、「飲みごたえ・甘さ・香り・炭酸刺激」といったさまざまな顧客の意見を、「総合的な味の良さ」という第一主成分、「爽快さ」という第二主成分のみに絞り込めます。変数が減少することで、散布図によってポジショニングマップを作成しやすくなるため、市場調査や競合調査を行う際に効果的です。
テキストマイニングの活用例3選
テキストマイニングは、アンケート分析やSNS分析など、さまざまなビジネスシーンで活用できます。そのためにも、以下で紹介している具体的な活用例を理解することが重要です。
VOC分析
VOCには、「Voice Of Customer＝顧客の声」という意味があります。アンケートや問い合わせ、SNSの投稿などから取得した、商品やサービスに対する顧客からの評価です。このVOCを分析する際にテキストマイニングが活かせます。
例えば、アンケートの回答は基本的にテキストベースで行われるため、テキストマイニングとは好相性です。本来、回答結果は手作業で集計・分析しなければなりませんが、テキストマイニングであれば、作業効率を大幅に向上できます。調査により商品やサービスに対する意見や感想を取得できるため、顧客の感情を読み取るセンチメント分析や共起分析を用いるのが一般的です。
戦略策定・新製品の開発
テキストマイニングの対応分析や主成分分析を利用すると、市場調査や競合調査などで取得したデータを、ポジショニングマップでわかりやすく可視化できます。ポジショニングマップを用いることで、市場全体から見た自社の現状や立ち位置がわかり、課題の特定や改善案の検討につながります。
このような調査データは、経営戦略やマーケティング戦略を策定する際の欠かせない要素です。また、新製品の開発や新機能の実装などにも活用できます。テキストマイニングによって調査から分析までの流れを効率化できるのがポイントです。
ナレッジ分析
ナレッジ分析とは、従業員が持つ知識や経験、スキルなどの情報を分析し、組織全体の生産性を向上させる手法です。本来、ナレッジは人間の脳内に蓄積される情報ですが、マニュアルやFAQ、社内Wikiなどでナレッジの可視化が進んだことで、テキストマイニングでも容易にデータを抽出できるようになりました。
テキストマイニングでナレッジ分析を行うことで、従業員の能力やスキルごとに関連性を見出せます。そのため、業務内容の最適解を模索したり、教育制度を充実させたりする際に効果を発揮します。
テキストマイニングの3つの注意点
テキストマイニングを実施する際は、いくつか注意すべきポイントが存在します。テキストマイニングを導入する前に注意点を理解し、事前に対策を立てておくのが理想です。
文章の意図を正確に理解できないことがある
自然言語処理技術の発展により、AIの文章読み取り精度は飛躍的に向上しました。しかし、あくまで機械なので、人間ほど正確に文章の意図を理解できるわけではありません。そのため、ときにはAIが誤った結果を出力してしまうことも考えられます。
テキストマイニングでは、単語や文節ごとに文章を区切って解析するため、単語判定が何よりも重要です。テキストマイニングの精度を高めるには、さまざまな読み方や意味を持つ単語を人間側で定義し、情報をツールの辞書機能に集約すると良いでしょう。常に更新を行い、最新状態の辞書を保有するだけでも、誤出力の機会が減ります。
大量の学習データが必要になる
AIは機械学習の仕組みを使い、インプットされた情報を学習して徐々に出力精度を高めます。そのためには大量の学習データをインプットする必要があります。特にテキストマイニングの場合、膨大な量の単語を記憶させなければならないため、システムを構築するまでに時間や手間がかかります。
システム構築の工数を減らすには、すでに学習済みのAIシステムを導入したり、AutoMLという機械学習を半自動的に処理するサービスを利用したりするのが効果的です。ただし、いずれの場合でも、自社独自の単語の定義やシステムの微調整が必要です。テキストマイニングを導入する際は、このような工数も踏まえて余裕のあるスケジュールを設定しましょう。
分析結果の根拠がわかりにくい
テキストマイニングをはじめとするAIによる分析は、その分析結果に至った背景や根拠を把握しにくい傾向があります。そのため、仮に誤った結果を出力した際、その原因を究明するのが困難です。これはブラックボックス問題とも呼ばれる、AI領域での大きな課題でもあります。
ただし最近では、ブラックボックス問題の解決を目的とした、説明可能なAI（Explainable AI：XAI）の開発が進められています。説明可能なAIとは、AIが行った判断の根拠を明確にする技術です。今後、技術開発が進めば、ブラックボックス問題のようなAIの根本的な課題が解消される可能性があります。
テキストマイニングを実施するための4ステップ
テキストマイニングを実施する手順は次の通りです。
- データ収集
- データの前処理
- データ変換
- データ分析
適切な手順を理解することで、目的に即したサービスの導入やシステム開発を行いやすくなります。
1. データ収集
テキストマイニングを実施する際は、最初に分析したいデータを収集しなければなりません。一概にデータといっても非常に多様で、ECサイトのレビューやSNSの投稿、リサーチ会社の調査データ、社内の業務システムに蓄積された情報などがあります。あらかじめデータ分析の目的や方向性、分析手段を決めておけば、「収集すべきデータ」が明確になります。
2. データの前処理
収集したばかりの生のデータはローデータと呼ばれ、このままでは分析に使用できません。そこで、品詞別の選り分けや単語の修正、不要な文字の削除といったデータの前処理を行います。この作業を怠ると分析結果の精度が低くなる傾向にあるため注意が必要です。
3. データ変換
テキストマイニングで分析を行うには、非構造化データを構造化データに変換する必要があります。構造化データとは、行と列の構造を持つ表形式のようなデータを指し、それ以外のものは非構造化データと呼ばれています。一般的にそもそもデータ収集の段階で、構造化データとして取得できるケースは少ないため、必然的にデータ変換の作業が発生します。
4. データ分析
前処理と構造化データへの変換作業が済めば、今度はテキストマイニングによる分析を行います。ただし、分析結果は文字が羅列した状態で出力されるため、人間の目で一瞥して結果を理解するのは難しく、表やグラフなどでデータを可視化できるツールがセットとして必要です。分析結果はExcelでも可視化できますが、分析データの可視化に優れたBIツールの導入を検討するのも一案です。
テキストマイニングを無料で実施する方法
テキストマイニングを行うには、一般的に、AIシステムの開発やBIツールの導入などにある程度の費用がかかります。ただし、次のような方法を使うと、無料でテキストマイニングを実施できます。
- Excelで関数を使った単語の集計やワードクラウドの作成を行いテキストマイニングを実施する
- 無料で提供されているテキストマイニング専用のツールを導入する
このように、方法次第で開発コストやツールの導入コストを抑えられるでしょう。とはいえ、スクラッチ開発で独自のAIシステムを構築したり、有料のツールを導入したりするほうが、かえって効率性や精度が向上することもあります。
例えば、Excelではワードクラウドのプロセスを手動で構築する必要があり、システムが完成するまでにかなりの時間を要します。無料のテキストマイニングツールを使う場合でも、機能数やデータ処理数に制限がある、あるいは分析精度が低い可能性も考えられます。テキストマイニングを行う際はコスト面だけでなく、効率性や品質の観点から適切な方法を検討することが大切です。
テキストマイニング環境の構築にはGoogle Cloudがおすすめ
テキストマイニングの導入を検討している場合、Google Cloudを活用してみてはいかがでしょうか。Google Cloudには、100種類以上のプロダクトが搭載されたクラウドプラットフォームです。データ分析基盤構築やクラウドストレージ、クラウドコンピューティングなど、幅広いプロダクトが用意されています。
学習コストを比較的抑えながら、AIシステム開発に関するプロダクトを利用できるのも特徴です。例えば、機械学習の知識や技術がなくても扱えるNatural Language APIや、機械学習のプロセスを半自動化できるAutoMLなど、テキストマイニングに役立つプロダクトも数多くあります。
従量課金制かつプロダクト同士の柔軟な組み合わせが可能なので、費用を最適化したうえで独自の開発環境を構築できます。特に、「テキストマイニングのノウハウが少ない」「分析プラットフォームもあわせて検討したい」といった課題やニーズがある企業におすすめです。
テキストマイニングで根本的な経営課題を解消しよう
テキストマイニングを活用すれば、アンケートや商品レビュー、SNSなどから取得できるデータを効率良く分析できます。課題解消に向けたヒントを経営やマーケティング、カスタマーサポートなどのさまざまな領域で活用できるのが利点です。結果、VOC分析やナレッジ分析、戦略策定など様々な分析手法に発展できるため、根本的な経営課題の解消につながります。
ただし、テキストマイニングを実施するには、データ収集や前処理などの工程が発生します。Excelや無料ツールを使えばコストを抑えられますが、Google Cloudのような専門的なツールを導入することで、より有用な・実用的な結果を得られやすくなります。
Google Cloudには、Natural Language APIやAutoMLなど、テキストマイニングに役立つプロダクトが搭載されているため、ワンストップで運用環境を構築できます。Google Cloudと機械学習については、こちらの資料で詳しく紹介しているので、ぜひ参考にしてください。
監修者
