現代のビジネス環境において、企業が保有するデータの多くはテキストや画像、音声などの非構造化データが占めています。これらのデータはそのままでは分析が難しく、効果的に活用するには規則性を持った構造化データへと変換するプロセスが欠かせません。非構造化データに含まれる顧客情報や業務ノウハウを抽出できれば、新たなビジネスチャンスの創出や業務効率化が期待できます。
本記事では、非構造化データと構造化データの違いから、データを変換するための手法や実践的な手順まで、体系的な知識を解説します。また、BigQueryを活用した最新の自動化手法も紹介するため、データ活用を推進したい方はぜひ参考にしてください。
非構造化データと構造化データの基礎知識
非構造化データを構造化データへと正しく変換するためには、まず基礎知識を押さえておく必要があります。ここでは、非構造化データと構造化データの違い、変換の重要性について詳しく解説します。
非構造化データと構造化データの違い
非構造化データと構造化データの違いは「規則性」にあります。データが規則的な形式で整理されていれば構造化データ、そうでなければ非構造化データという形で分類できます。
それぞれの特徴は次の通りです。
| 種別 | 概要 | データの例 |
| 非構造化データ | 特定の構造を持たない雑多なデータ | ・テキストデータ（文書ファイルやメール本文、SNSの投稿など） ・画像 ・音声 ・動画 |
| 構造化データ | 列と行の概念で明確に定義され、整理されたデータ | ・Excel ・CSV ・リレーショナルデータベース |
コンピュータが扱いやすいように規則性を持たせた構造化データに対し、非構造化データは、形式や構造が統一されていません。そのままの状態では集計や検索、分析を行うのが困難なので、構造化のプロセスが不可欠です。
なぜ非構造化データを構造化する必要があるのか？
企業が保有するデータは、その約90％が非構造化データだといわれています（※）。そのなかには、顧客のリアルな声や現場のノウハウなど、定量データだけでは見えてこない貴重な情報が豊富に含まれています。
しかし、非構造化の状態では、必要な情報を検索・抽出するのにも多大な時間と労力がかかります。そこで、構造化によって規則的なデータへと変換する必要があります。これにより、BIツールやAIツールなどを使って容易にデータを分析できるようになります。
例えば、顧客からの問い合わせ対応に関する録音データをテキスト化し、「不満」や「要望」などのカテゴリ別に構造化すれば、商品開発のヒントを迅速に抽出できます。データに隠された価値を引き出し、ビジネスの意思決定や業務改善に活用できるのが最大のメリットです。
※参考：90% of your data is unstructured — and it’s full of untapped value｜Box
非構造化データを構造化データに変換する手法6選
以下の通り、非構造化データを構造化データに変換する手法には、さまざまな選択肢が存在します。
- OCR（光学文字認識）
- ASR（自動音声認識）
- NLP（自然言語処理）
- データパース
- Webスクレイピング＆API抽出
- 手動でのラベリングやアノテーション
それぞれメリットとデメリットがあり、使用するツールも異なります。そのため、手法ごとの特徴を押さえたうえで、自社にとって最適なものを選択することが大切です。
OCR（光学文字認識）
画像やPDFなどのファイルは、これまで内部データを読み取るのが極めて困難でした。そこで登場したのがOCR（Optical Character Recognition/光学文字認識）で、画像やPDFでも難なく文字を認識し、テキストデータへと変換できます。さらに、テキストデータへの変換後、日付や金額などのデータを書き換えられるのもポイントです。
最近では、この技術にAIを組み合わせた「AI OCR」が主流になりつつあります。従来のOCRでは読み取りが難しかった手書き文字や、レイアウトが異なる非定型の帳票であっても、高精度でテキスト化が可能です。そのほか、読み取ったデータが日付や金額、会社名などの項目ごとに自動で分類されるため、利便性も飛躍的に向上しています。
ASR（自動音声認識）
ASR（Automatic Speech Recognition）とは、人間の音声を解析してテキストデータへと自動変換する技術です。身近なところでは、スマートフォンの音声入力やスマートスピーカーにも採用されています。
また、ビジネスシーンでも、「音声」という非構造化データを構造化するための重要な役割を担っています。例えば、コールセンターでの顧客との通話録音や、会議の録音データ、商談の音声記録など、さまざまな場面でのテキスト化に対応可能です。最近では、話者分離や感情分析に対応した高度なシステム開発も進んでおり、さらなる高精度化が期待されています。
ASRは、続いて紹介するNLP（自然言語処理）とも組み合わせられます。両者の連携により、顧客の要望やクレームの内容をカテゴライズし、構造化されたデータベースとして活用できるようになります。
NLP（自然言語処理）
NLP（Natural Language Processing）とは、人間が使う自然言語を、コンピュータがスムーズに処理できるように変換する技術です。メール本文やSNSの投稿、日報、ASRによってテキスト化された音声データなど、ビジネスシーンで扱うあらゆるテキストデータを構造化するための中核となる役割を果たします。
NLPを活用することで、長文のテキストから特定のキーワード（製品名や人名など）のみを抽出する、あるいはポジティブかネガティブかを自動判別する感情分析などが可能になります。例えば、「製品Aは使いやすいが、価格が高い」というレビュー情報をもとに、「機能：ポジティブ」「価格：ネガティブ」といった具体的な属性データとして抽出が可能です。あいまいな表現を含むテキストデータを規則的な意味のまとまりに分解し、集計可能な構造化データへと変換できるのがNLPの強みです。
データパース
データパースとは、特定のルールにもとづき、プログラムを用いてテキストデータから必要な情報だけを抽出・分割する処理のことです。主にログファイルやHTML、JSON、XMLといった半構造化データ、あるいは規則性が部分的に存在するテキストデータから、データベースに格納しやすい形へデータを変換する際に用いられます。
例えば、WebサーバーのアクセスログにはIPアドレスやアクセス日時、リクエストされたURLなどの情報が1行の文字列として記録されています。このような情報をパーサーと呼ばれるプログラムに読み込ませ、「スペース」や「カンマ」などの区切り文字を基準にしてデータを分割することで、それぞれの要素を独立した列として構造化できます。
正規表現と呼ばれるパターンマッチング技術を駆使すれば、複雑な文字列のなかから特定のフォーマットを持つデータだけを正確に抜き出すことも可能です。
Webスクレイピング＆API抽出
Webスクレイピングは、WebサイトからHTMLデータを収集し、そこから特定の情報だけを抽出する技術です。競合他社のECサイトから価格や商品情報を定期的に取得したり、ニュースサイトから特定のキーワードを含む記事を収集したりと、さまざまな形で活用できます。取得したデータはクレンジング処理を経て、表形式の構造化データとして保存される仕組みです。
API抽出は、外部サービスが提供しているAPI（Application Programming Interface）を利用してデータを取得する方法です。SNSや行政機関のオープンデータサイトなどが提供するAPIを呼び出すことで、JSONやXMLといった機械が読み取りやすい形式で直接データを取得できます。Webスクレイピングに比べてWebサイトの仕様変更による影響を受けにくく、より安定して構造化データを収集できる点がメリットです。
手動でのラベリングやアノテーション
AIや自動化ツールが進化している現代においても、手動でのラベリングやアノテーションは欠かせない手法の一つです。
アノテーションとは、テキストや画像、音声などの非構造化データに対して、意味やタグ（メタデータ）を付与する作業を指します。AIモデルを構築する際の「教師データ」を作成するための非常に重要なプロセスです。例えば、画像データに対して「これは車」「これは歩行者」と枠で囲んでタグ付けしたり、テキストデータに対して「この部分は会社名」「この感情は怒り」といった分類を手作業で行ったりします。
AIによる自動化が難しい複雑なニュアンスの判定や、専門的な知識が求められる分野においては、人間の判断による精度の高い構造化が不可欠です。近年では、最初の処理をAIで行い、最終的な確認と修正のみを人間が行う「ヒューマンインザループ（HITL）」というアプローチも広く採用されています。
非構造化データを構造化データに変換する5つの手順
非構造化データを構造化データに変換する手順は次の通りです。
- データソースの特定と構造化データの定義付け
- データの収集＆抽出
- データクレンジング
- 構造化フォーマットへの変換
- 構造化データの活用
このように、単にツールを導入するだけでは十分ではなく、計画的かつ段階的なアプローチが求められます。手順ごとのポイントや具体的な進め方を解説します。
1. データソースの特定と構造化データの定義付け
データを収集したり構造化を行ったりする前に、まずは「どこで非構造化データが発生しているか」または「どのソースのデータを活用するか」といった点を明確にしましょう。先ほども紹介した通り、企業が保有するデータの大半は非構造化データなので、社内システムやメーラー、ローカル・クラウドストレージ、オウンドメディアなど、さまざまなデータソースに目を向ける必要があります。
あわせて、非構造化データの定義付けの作業も必要です。例えば、契約書のファイルを構造化する場合なら、「契約日・企業名・契約金額・有効期限」といった具体的な列を事前に設計しておかなければなりません。そのほか、JSONやXML、リレーショナルデータベース（RDB）など、あらかじめデータモデルを選定しておくことも重要です。
2. データの収集＆抽出
準備が整えば、目的のデータソースから必要な非構造化データを収集・抽出しましょう。この作業では、先ほど紹介した6つの手法を活用できます。それぞれOCRツールやスクレイピングツールといった便利なツールがあるので、必要に応じて導入を検討しましょう。
このフェーズでは、取得したデータにノイズや不要な情報が含まれていることも少なくありません。その修正は次章のデータクレンジングで行うため、ここではとにかく「定義した項目に関連する要素をもれなく取り出す」ことに集中することが大切です。
3. データクレンジング
収集・抽出したデータには、基本的に誤字・脱字や表記揺れ、ノイズなどが含まれており、そのままの状態では分析精度が低下する恐れがあります。そこで、このような不備やエラーを修正するデータクレンジングが必要です。
具体的には、次のような観点で問題を見つけて適宜修正を行います。
- 表記揺れ：株式会社が抜けている、半角・全角が混ざっている
- 欠損：一部の顧客だけ電話番号が登録されていない
- 重複：同一名称の顧客が登録されている
- ノイズ：不要な空白や改行が入っている
- 粒度：年間売上と月間売上のデータが混ざっている
- 鮮度：情報が古い
地道なデータクレンジング作業が、最終的なデータ分析の精度を大きく左右します。
4. 構造化フォーマットへの変換
データの整形や統一化が完了すれば、次はいよいよ非構造化データを整形し、構造化データへと変換します。構造化プロセスでは、行と列で構成される「テーブル」へと情報をまとめるのが一般的です。
例えば、「製品Aは使いやすいが、価格が高い」という口コミ（テキスト）データを構造化する場合、次のような形でテーブルへと情報をまとめられます。
| 項目 | コメント | 評価 |
| 使いやすさ | 使いやすい | ポジティブ |
| 価格の安さ | 価格が高い | ネガティブ |
また、各データに番号を割り当てて標準化したり、異なるデータソースから関連情報を追加（データエンリッチメント）したりするのも効果的です。
保存形式は、CSVファイルやExcel、RDBがよく用いられます。システム間の連携を前提とする場合は、JSONやXMLといった形式で出力することもあります。
5. 構造化データの活用
最後に、ビジネス課題の解決に向けたデータ活用フェーズへと移行します。BI（ビジネスインテリジェンス）ツールと連携させてダッシュボードを構築し、データを可視化することで、経営層や現場の担当者が直感的に現状を把握できるようになります。
仮に、顧客アンケートの自由記述欄から抽出した感情データをBIツールでグラフ化すれば、顧客満足度の推移や製品に対する具体的な不満の傾向をリアルタイムでモニタリングできます。また、構造化されたデータをAIモデルの学習データとして活用し、将来の需要予測や異常検知、レコメンデーション機能の精度向上に役立てることも可能です。
データを構造化すること自体がゴールではなく、そこから得られたインサイト（洞察）を具体的なアクションや意思決定につなげてこそ、真の価値が生まれます。
非構造化データの活用例
同じ非構造化データという括りでも、テキストや画像、音声など、データの種類によってアプローチや得られるインサイトは大きく異なります。ここでは、データ形式別の具体的な活用例を通して、データ活用がもたらすビジネスへのインパクトを解説します。
テキストデータの活用例
テキストデータの代表的な活用例として、社内ナレッジの有効活用とVOC（顧客の声）分析があげられます。
企業内には、過去の提案書や技術文書、マニュアルといった膨大なファイル・データが散在しています。これらをAIで学習・インデックス化し、高度な検索システムを構築することで、従業員が必要な情報へ瞬時にアクセスできるようになり、大幅な業務効率化が実現します。
VOC分析においては、コールセンターの対応履歴やSNSの口コミ、アンケートの自由記述といったテキストを解析します。ポジティブ・ネガティブといった単純な感情分析にとどまらず、自然言語処理を用いて「どのような機能が不満なのか」「現在の価格は適切か」といった具体的な要因を構造化して抽出するのがポイントです。これにより、顧客の潜在的なニーズを正確に把握し、製品開発やマーケティング施策の改善へとつなげられます。
画像データの活用例
画像データの活用は、製造業の工場や建設現場、物流など、物理的な作業が発生する現場において特に大きな効果を発揮します。
例えば、工場における製品の品質検査では、カメラで撮影した製品の画像データをAIに解析させます。表面の傷やへこみ、部品の欠損といった不良品のパターンを学習させることで、人間の目視検査に代わって微細な欠陥を自動かつ高速で検知し、検査精度と効率を飛躍的に向上させることが可能です。
また、作業現場の安全性向上という観点でも画像データは活用されています。作業エリアに設置されたカメラや作業者のウェアラブルカメラの映像から、ヘルメットの未着用や危険エリアへの侵入といった不安全行動をAIが自動で検知し、即座にアラートを発報します。このように、画像データを構造化して状況をリアルタイムで把握することで、事故を未然に防ぐプロアクティブな安全管理が可能になります。
音声・動画データの活用例
音声・動画データは、主に顧客対応の品質向上や技術の伝承といった領域で活用が進んでいます。
コールセンターでは、顧客とオペレーターの通話音声をリアルタイムでテキスト化し、AIが会話の内容を分析します。「コンプライアンスを遵守できているか」「適切な言葉遣いや共感的な対話ができているか」といった観点で応対を自動スコアリングすることで、スーパーバイザーの負担を軽減しつつ、全体のサービス品質を均質化することが可能です。
動画データの活用例としては、熟練工の作業手順の構造化があげられます。ベテランスタッフの作業風景を動画で記録し、AIを用いて「どのタイミングで・どのような動作を行っているか」を分析・細分化します。これを動画マニュアルとして整理し、若手スタッフの教育に活用することで、言語化が難しいとされる暗黙知のノウハウを効率的に共有し、技術継承の課題解決に貢献します。
構造化プロセスを効率化するなら「BigQuery」がおすすめ
非構造化データの構造化には多くの工数がかかりますが、クラウドサービスを活用することでこのプロセスの大幅な効率化が可能です。なかでも、クラウドプラットフォームGoogle Cloud に搭載されているデータウェアハウス「BigQuery」は、強力なAI機能との連携により注目を集めています。
そもそもBigQueryとは？基礎知識をおさらい
BigQueryとは、Google が提供するフルマネージド型のエンタープライズ向けデータウェアハウス（DWH）です。サーバーレスアーキテクチャを採用しており、ユーザーはインフラの構築や保守管理を意識することなく、データの分析作業そのものに集中できます。
なかでも最大の強みは、PB（ペタバイト）級の超大規模なデータセットであっても、Google の強力なインフラストラクチャを活用して驚異的なスピードでSQLクエリを処理できる点です。また、単にデータを蓄積・集計するだけでなく、データベース内で直接AIモデルを構築し、予測分析を行うことも可能です。
近年では、Google 製の生成AIモデル「Gemini」との統合が加速しており、非構造化データの分析基盤としても欠かせない存在となっています。
AI.GENERATE_TABLE関数で構造化プロセスを自動化
BigQueryの新機能として、2025年5月22日（米国時間）には、AI.GENERATE_TABLE関数のプレビュー版が発表されました。この関数を利用すると、画像や動画、ドキュメントといった非構造化データから、指定したプロンプト（指示文）にもとづいて必要な情報を抽出し、BigQuery内の構造化されたテーブルへと自動的に変換できます。
例えば、ニューヨークやシアトルの街並みが写った画像を用意し、次のプロンプトを入力します。
| Recognize the city from the picture and output its name, belonging state, brief history, and tourist attractions.Please output nothing if the image is not a city.（画像から都市を認識し、その名前と属している州、大まかな歴史、観光名所を出力してください。） |
すると、次のような構造化データへと変換されます。
出典：AI.GENERATE_TABLEの概要：BigQueryで生成AIモデルから構造化データを作成｜Google Cloud
従来であれば、OCRツールや複雑なデータ処理パイプラインを個別に構築する必要があった作業を、BigQuery上のシンプルな関数呼び出しだけで完結できるため、開発の手間と時間を大幅に削減できます。
正式リリース後はoutput_schemaパラメータも利用可能
2026年1月27日（米国時間）には、AI.GENERATE_TABLE関数が（AI.GENERATE関数も同時に）正式な機能として一般公開されました。これにより、output_schemaパラメータを使用できるようになったのがポイントです。AIに生成させる構造化データの出力フィールド名（カラム名）や、データ型（文字列や数値など）をユーザー自身で細かく定義できるようになります。
例として、「bigquery-public-data.bbc_news.fulltext」テーブルのテキストデータを呼び出してみます。output_schemaパラメータで、「主要エンティティの抽出」や「トピックのモデリング」など計5つのタスクを指定しています。
| SELECT title, body, AI.GENERATE( body, output_schema => "key_entities ARRAY<STRING>, main_topics ARRAY<STRING>, sentiment STRING, translate_to_chinese STRING, summary_one_sentence STRING").* EXCEPT (full_response, status) FROM bigquery-public-data.bbc_news.fulltext WHERE category = 'tech' LIMIT 3; |
クエリ実行後は、次のような出力結果が表示されます。
出典：BigQuery AI：Gemini 3.0対応、エンベディング生成の簡素化、新しい類似度関数｜Google Cloud
この機能をうまく活用すれば、非構造化データの抽出結果をスピーディーに解析し、別のアプリケーションで即座に活用できるようになります。
非構造化データを構造化しデータ駆動型のビジネスを加速させよう
テキストや画像、音声といった非構造化データには、顧客のリアルな感情や現場の貴重なノウハウが隠されています。これらをOCRや自然言語処理などの技術で適切に構造化することで、業務効率化や新たなビジネス価値の創出につながります。
特に、Google Cloud のBigQueryと生成AI機能を組み合わせれば、複雑だった構造化プロセスを大幅に自動化・効率化することが可能です。自社のデータ活用に課題を感じている方は、まずは身近な業務データの構造化からスモールスタートで取り組んでみてはいかがでしょうか。データを価値ある資産に変え、データ駆動型のビジネスを強力に推進していきましょう。
電算システムでは、Google Cloud のスターターパックサービスや技術コンサルティングサービスなどを提供しています。Google Cloud を活用したデータ分析基盤の構築方法や、データの活用方法などに関して、プロの観点からアドバイスを行っています。「Google Cloud を活用したいが具体的なイメージが湧かない」といったお悩みを抱える方は、ぜひ電算システムへと気軽にお問い合わせください。
