『10年使えるデジタルデータ処理基盤』の構築を Google Cloud で。マーケティングへの外部データ活用と社内SE育成による内製化を実現！

コンシューマーリレーション開発部は、ブランド横断でのマーケティングデータ収集・蓄積・管理、関連開発・運用等活用支援までを担う部署です。データマネジメント室は、データ分析・可視化をミッションとする同部データサイエンス室から独立するかたちで、2020年に設立。組織改編の効果はすぐに現れ、各種データの収集・分析のための基盤構築にメンバーが特化することで、以前よりも生産性が上がり、携わる人数も増え、データをより早く提供できるようになりました。

「とはいえ、その時はまだ活用できていたサードパーティデータはほんの一部。そんな時、あるブランドのマーケティングデータをまとめたダッシュボードを作るプロジェクトが発足したのです。Amazonの販売データやYoutube™を始めとする様々な広告データなどを収集し、分析する基盤を数ヶ月で構築する必要があったのですが、当時のメンバーには私も含め、システム構築のプロはいませんでした。データ分析はできても、プログラミングは多少の心得がある程度。当初、自分たちでプログラムを書いて、データベースにデータを蓄積する仕組みをつくってみたものの、外部データの仕様変更は頻繁で、それらに柔軟に対応できるロジックを組むことまではできませんでした。」（白石氏）

そこで、外部パートナーよりシステム基盤構築の支援を受けることになりました。

開発方針として掲げたのは「10年使えるデジタルデータ収集・処理基盤」でした。

「担当者が入れ替わっても、技術や環境が変わっても、使い続けられる設計として次の3つを要件としました。

導入を決めてから運用開始までは約3ヶ月でしたが、大きな苦労なく導入できたそうです。

• プラットフォームが変わっても継承できる設計：階層化、パイプライン化、コンテナ化
• クラウド・仮想環境での動作とデータの拡張性および変更が容易な柔軟性の保持
• 長期的な管理・運用を前提：ルール整備、コード管理、処理の統一化

数年で陳腐化するオンプレミス環境は考えていませんでしたが、同時に特定のクラウド環境に依存しすぎないこと、後から別のプラットフォームへの乗り換えも可能なことを重視し、Google Cloud を選定しました」（白石氏）

社員2名、外部パートナー2名でプロジェクトを本格的に開始しました。そのうちの1名が電算システムのエンジニアです。最初は、一つの Google Cloud 上の仮想環境でデータ処理を行い、データベースにインプットするような、簡単な形でスタートしました。

「データの収集、前処理などの工程は電算システムのエンジニアが担当し、やり方を教わりながら、自社員もスキルを身に着けていきました。入社時はクラウド未経験だった西山も、クラウドエンジニアとして成長しました。10年使えるシステムにするためには、社内に知見を蓄積することが必要不可欠です。ただ外注するのではなく、自社内で構築いただきながら、伴走者のように寄り添って教育支援まで行っていただくことで、効率的に技術を身につけられたと思います」（白石氏）

西山氏は最初のシステムが構築され、リファクタリングする工程からプロジェクトに参画しました。エンジニアとして、オンプレミスのシステム開発経験はありましたが、クラウドサービスを利用した構築・運用は未経験でした。

「オンプレミスに比べてクラウド環境は、テスト構築がすぐできますし、負荷が上がったときの並列処理などのスケーラビリティにも優れています。データが増えればスペックを上げられますし、とても便利ですね。きちんと設定すればセキュリティの強度も高いですし、安心して利用できます。運用や保守においても、電算システムのエンジニアがWikiを使ってソースコード管理についてまとめてくれたり、わからないことは都度分かりやすくレクチャーしてくれるので、助かっています」（西山氏）

可視化されたデータは、各部門で利用されており、データの更新頻度が高くなり、データの精度も高くなっていると評価しています。収集するデータは自社製品のレビュー、SNS、Webサイトのアクセスログ、調査会社の市場データや個人の購買データ、気象などのオープンデータにも拡張しています。

「このシステムはグローバルでも展開しており、大変好評です。導入2年で12ブランドが活用するようになりましたし、社内でもダッシュボードを使ってKPIを把握し、次のアクションを考えるというデータドリブンマーケティングが定着しました。ダッシュボードはデータサイエンス室で実装していますが、その要望を受けて収集するデータソースをさらに拡張しています」（白石氏）

データマネジメント室では、研究開発にも役立つようなデータプラットフォームとしてさらに進化させることを、今後の目標に掲げています。

「クラウドベースのエコシステムを構築し、データソース取得・分析・可視化をすべてクラウド上で最適化して、別のクラウドシステムとも共存できるようにしたいですし、拡張を続けてきた結果、一部複雑化してしまっているので、より洗練された形にリデザインする必要がでてきました。そこで、Google Kubernetes Engine （GKE） のコンテナ化されたプラットフォームへの移行を進めているところです。こちらも電算システムのエンジニアの支援を受けて学びながら実装しています」（白石氏）

「Google の機械学習ソリューションが充実していて、学習モデルを使えることにメリットを感じています。今後は、レビューやSNSなどのテキストデータをもっと活用していきたいので、自然言語処理も取り入れていくことになると思います。機械学習で処理済みのデータを分析側に渡すことができれば、分析や可視化の工程も大幅に効率化するでしょう。Google Cloud はビッグデータの加工や処理基盤としても強いので、たくさんあるサービスのなかでも、尖った先端技術をいろいろと利用したいです」（西山氏）