こちらの記事は「コドモンAdvent Calendar 2024」と「TROCCO® Advent Calendar 2024」の14日目の記事です🎅🎄
こんにちは、Analyticsグループの若鶴です！
Analyticsグループは開発部ではなく社長室に所属していますが、開発部の皆様のご好意により、コドモンのAdvent Calendarに参加させてもらってます🎉
コドモンのAnalyticsグループは、データ分析基盤の整備・データパイプラインの作成・ダッシュボード作成の3つをメインで実施しています。
外部の方から「コドモンのデータ分析基盤、今どんな感じになってます？？」という質問をもらったので、コドモンのデータ分析基盤のアーキテクチャについて解説します。
コドモンのデータ分析基盤アーキテクチャの今
コドモンのデータ分析基盤アーキテクチャ
詳しくは下の画像を見てもらいたいですが、概要としては次の2点になります。
- プロダクトやCRMのデータを、GCPのStorage Transfer ServiceやTROCCO経由でBigQueryに転送
- dbtを利用してBigQuery内のデータを整形し、主にLooker Studioで可視化
エンジニア経験が浅いメンバーも所属しているため、TROCCOを活用し、GUIで転送を設定できるようにしています。
現在取り組んでいること
dbt Coreの環境構築を進めています。
Analytics以外のエンジニアにdbt Coreの環境を提供することで、エンジニアとAnalyticsグループが共同でデータパイプラインを開発できるようにしたいです。
工夫している点
dbt Cloudでデータパイプラインを作成する際に、dbt-osmosisをGitHub Actionsで実施し、メタデータを伝播しています。
この仕組みのおかげで、BQのdescriptionは90%以上記入できています。
コドモンのAnalyticsグループの特徴
アーキテクチャ周りの特徴
データ分析基盤
terraformを積極的に利用し、インフラの構成をソースコードとして管理しています。
データアナリストやエンジニアなど様々なバックボーンを持つメンバーでペアプログラミングを実施し、お互い知識を補いながら進めています。
データ可視化
Analyticsグループ兼務者やビジネス部門へナレッジをシェアする機会が多いです。
SQLのペアプログラミングやLooker Studioの勉強会を通じて、Analyticsグループのナレッジシェアに努めています。
依頼者のレベル関係なく、SQLを書きたいと要望があった場合はサポートし、自身で示唆を出してもらえるよう努めています。
Analyticsグループの文化について
フルリモート
フルリモートで地方在住者が多いです。
2024年11月時点でのメンバーの居住地は、東京・宮崎・栃木・福岡となっています。
gatherを活用し、気軽に他チームのメンバーに話しかけにいけるようにしています。
Analyticsグループに兼務で参加しているメンバーが多い
コドモンではグループを兼務しているメンバーが多いです。
Analyticsグループにも、「Analyticsグループに所属しているが、他の部門と兼務しているメンバー」や「他の部門に所属しており、Analytics部門に兼務しているメンバー」が多く在籍しています。
兼務のメンバーと積極的にコミュニケーションをとることで、Analyticsグループも他部門のナレッジを得ることができています。
We are hiring
最後まで読んでいただきありがとうございます！
Analyticsチームではデータエンジニアの採用を進めています。 コドモンやAnalyticsグループに興味を持ってもらえたら、是非カジュアル面談で私たちと話をしましょう！
