日次数億レコードのデータを集約・可視化、複数のクラウドサービスを組み合わせたデータ基盤を構築

■ 概要

1,000万人規模のユーザー基盤を持つアプリのデータ活用を支援

1,000万人規模のユーザー基盤を持つコンシューマー向けアプリにおいて、アプリの利用データとサーバー側のデータを集約し、ユーザー行動を可視化するためのデータ基盤を構築しました。

AWS、Snowflake、BigQuery など複数のクラウドサービスを組み合わせ、日次数億レコードのデータ収集・加工から行動分析ツールへの連携までを自動化しています。要件整理から設計、実装、運用保守まで、当社 5〜7名（PM、PL、開発メンバー）の体制で約1年半にわたり一貫して対応しました。

■ お客様が抱えていた課題

アプリとサーバーに分散したデータを、分析に活用できる形で集約したい

従来は、行動ログを中心にアプリの利用状況を分析していました。しかし、アプリ内で計測できるデータだけでは、ユーザー属性やサーバー側で管理される情報を組み合わせた、より詳しい行動分析が難しい状況でした。

また、分析対象となるデータは複数のテーブルやシステムに分散し、データ形式や更新タイミングも異なっていました。

そのため、大規模なデータを安定して収集・加工し、行動分析ツールで利用できる形に集約する仕組みが求められていました。

■ 課題の解決方法

複数のサービスを組み合わせ、顧客環境に最適化したデータ基盤を構築

Snowflakeをデータの蓄積・加工基盤、AWSを日次処理の実行・制御基盤、BigQueryを既存データの連携元として活用しました。特定の製品だけで完結させるのではなく、既存環境、処理するデータ量、外部サービスの仕様を踏まえて、それぞれの強みを組み合わせています。

主な実施内容は以下のとおりです。

• 顧客情報と200種類超のイベントデータに対応した連携処理を構築
• 10を超えるデータソースからの収集、加工、行動分析ツール・BI ツールへの連携を日次で自動実行
• データ連携 SaaS ツールを利用した拡張性の高いデータ連携
• 日次数億レコードを処理時間内・想定コスト内に収めるための Snowflake クエリ／ウェアハウスのチューニングと、データ転送コストの継続的な監視・最適化
• 問題発生時に対象処理を切り分け、再実行できる運用を整備

システム要件の整理から設計、実装、運用保守まで、一貫して対応しました。

■ 導入効果・成果

イベント中心の分析から、マスタデータなど複数データを組み合わせた高度な行動分析へ

アプリの利用データとサーバー側のデータを一つの基盤に集約し、行動分析ツールへ日次で連携する環境を実現しました。前日に更新されたアプリ利用データが翌日には分析可能になり、エンジニアへの抽出依頼を待たずに、ユーザー属性、アプリ内の操作、サーバー側の情報を組み合わせた分析を分析担当者自身が行えるようになりました。

また、データの収集から加工、外部サービスへの連携までを自動化し、日次数億レコードのデータを継続的に活用できる運用基盤を整備しました。稼働後にはデータ転送コストの増加要因を特定して是正するなど、運用フェーズでもコストを最適化しています。

• ✔分散していたアプリ・サーバーデータを一元化
• ✔200種類超のイベントデータを行動分析ツールへ連携
• ✔分析目的に応じたデータマートを継続的に追加可能
• ✔データ量や分析項目の増加に対応できる構成を実現

■ 主な使用技術

• Snowflake: データの蓄積、加工、データマートの構築
• AWS: データパイプラインの制御、加工処理のインフラ
• BigQuery: データの参照元、出力
• Python: データ加工処理の実装
• データ連携 SaaS: 行動分析ツールへのリバース ETL

■ データ活用基盤の構築をお考えの方へ

• アプリのログと業務データが分かれていて、横断の分析ができない
• 分析のたびにエンジニアの手が必要で、着手までに時間がかかる
• データ量が増えてきて、処理時間やクラウド費用が読めない

アイソルートでは、日次数億レコード規模のデータ基盤の設計・構築から運用・コスト最適化までを一貫して支援しています。「まず何から始めればよいか」の段階からご相談いただけます。