データ分析基盤を BigQuery™ に移行。
パフォーマンスが改善し、データ分析に基づく改善活動が社内に浸透

freee株式会社では、以前からデータ分析基盤を構築し、年間収益や解約率などのSaaSビジネスのKPIの算出、サポート部門の活動状況の可視化と改善、エンジニアのデプロイやチケット内容の分析など、様々な目的で活用していました。しかし、旧システムでは3つの課題があったと中道氏は振り返ります。

「 1 つはパフォーマンスの課題です。クエリを実行後、結果が表示されるまで長いものでは日をまたぐようなこともありました。待ち時間は分析者の集中力を削いでしまうので、処理速度を上げる必要がありました。2 つ目は運用面の課題で、パフォーマンスを最適化するために、インデックス設計や圧縮など細かいチューニングが必要でした。3 つ目は利便性の課題で、社内ではオープンソースのダッシュボードツールを使っていましたが、データアクセスの手段を増やして、利便性を高める必要がありました」（中道氏）

こうした課題の解決策として、2020 年 10 月頃からデータウェアハウス刷新の検討を開始し、2021 年 4 月に BigQuery への移行を決めました。

「決め手となったのは、3 つの業務課題を解決できるという点でした。パフォーマンス面を検証したところ、5−10 倍のパフォーマンス向上が期待できましたし、チューニングも不要になります。

エンジニアが本来やるべき利活用促進の活動にリソースを割けることに期待しました。利便性の点では、Google エコシステムの中で Looker Studio（旧 Data Portal ）、
Google スプレッドシート、Colaboratory™ などを活用できること、Google Cloud™ コンソールから BigQuery を利用できることを評価しました」（中道氏）

社内承認にあたっては、実現したいことを示してコストを含めて提案し、ステークホルダーに BigQuery の必要性を説き続けました。移行が承認されてから 1 年 4 ヶ月の開発期間を経て、移行を完了しました。

「2021 年 4 月からデータの移行を開始し、2021 年 7 月に一部ユーザーにプレオープンという形で利用を開始してもらいました。特にデータ基盤のヘビーユーザーに使ってもらうことで、理解を深めてもらい浸透を促進したことがスムーズな移行につながりました。10 月には全社的に移行をし、2022 年 1 月に完全移行となりました」（中道氏）

「移行するにあたっては、既存システムのクエリの実行頻度、オーナーを確認し、移行するべきクエリの精査を行いました。BigQuery は Google Cloud Storage™ 上のparquetファイルを外部テーブルとして扱えるので、AWS上のデータを簡単に利用でき、移行のコスト削減、短縮につながりました。ただ、BigQuery に機能がなくて独自開発したものもありました。例えば、専有しているクエリを検知して停止する機能などです。しかし、現在は BigQuery が進化してこの機能が用意されたので、今ならより効率的にできるでしょう」（今岡氏）

導入後の効果としては、パフォーマンス面の改善が大きいそうです。以前はSQLのクエリが大量に実行されると 140 くらいの待機ジョブが発生することがありましたが、現在は多くても 50 くらいまでに減少しました。

「分析者が待ち時間で集中力が削がれることが減っています。利便性、運用面についてはこれからさらに検証しますが、効果が出ていると思います。ユーザーからも、ポジティブな反応が多く、処理が早くなった、今まであきらめていた分析ができるようになったという声があります」（中道氏）

「かつての BigQuery は分析スペシャリスト向けのとがったプロダクトというイメージでしたが、今は社内の多くの部門で利用できるようなフレンドリーなプロダクトになったと感じます。データから仮説をたてて、実装、解析できる状態になっているので、試すことのハードルが下がり試行錯誤のサイクルが短期化しています。ダッシュボードを作って、必要なデータを常に見ている人も増えてきました。

しかし現状では、データの利用に積極的な利用者は全体の 3 割くらいにすぎないです。今後、利用者をさらに増やしていくために、データ構造やツールの解説をドキュメント化して集約するような活動を始めています。今後はデータ基盤のオンボーディング等で、使い方を身に着けてもらうような機会も作っていきたいです。BigQuery スロットを増加させることになるので、電算システムと相談しながら需要に対応していきたいです」（今岡氏）