Data Engineering Study #11「6社のデータエンジニアが振り返る2021」
過去の Data Engineering Study のアーカイブはこちらからご視聴いただけます。
開催内容
概要
本イベントは、Infra Study Meetup を運営する Forkwell と、分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。
ゆずたそ氏（@yuzutas0）にモデレーターを依頼し、複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア／研究者に講演いただきます。
開催背景
Forkwell からのコメント
本イベントは、Infra Study Meetup に注目していただいた primeNumber さまからのお声がけで実現したイベントです。Infra Study Meetup とは主催する団体、扱うテーマが異なることから、別シリーズとして立ち上げました。Infra Study 参加者と共に得たイベントノウハウを継承し、データ分析領域でも学びの場を作ります。
本家 Infra Study にご参加いただいた方はもちろん、データ分析に関心のある方ならどなたでも参加可能です。エンジニアリングと密接に関わるデータ分析領域について楽しく学んでいただけましたら幸いです。
Forkwell 事業責任者 赤川
primeNumber からのコメント
弊社はデータ分析基盤向けの総合支援サービス「trocco」を運営しているのですが、その中で「どういう分析基盤を作っていけばいいのか？」というご質問をよく伺います。そのような方向けに何か有益な情報をご提供できる場はないかと考えた時に、本イベントの開催を思いつきました。
そんなタイミングで、「Infra Study Meetup」という反響が大きいイベントがあるのを見つけ、「データ分析基盤」版を作りませんかとお声がけした所から開催に至りました。
これから分析基盤を作ろうとされている方や、現在運用中の基盤の改善アイデアを探している方に、有益な場に出来ればと思っております。
primeNumber 取締役執行役員CPO 小林寛和
こんなエンジニアにおすすめ
- データ分析に関わる事例を知りたい方
- 自社内にデータ分析基盤を作ろうと検討中の方
- 自社のデータ分析基盤をより効率的にしたいと考えている方
- データ分析領域に幅を広げてみたいソフトウェアエンジニア・インフラエンジニア
プログラム第11回「6社のデータエンジニアが振り返る2021」
Data Engineering Study第11回では「忘年LT大会 今年のKPT振り返り」というタイトルで、今年一年の振り返りをしていきたいと思います。
今回は年末というタイミングですので、データエンジニアリング・データ分析基盤に関する「良かったこと・問題だったこと・来年トライしたいこと」（KPT）をLT形式で発表して頂きます。
プロの現場で活躍されているデータエンジニアの皆様の生の声を聞ける場となっております。
LT1「レガシー化したdata pipelineの廃止」
永井 伸弥 氏（@hiza）
株式会社メルカリ JP Analyst
▍発表内容
データ基盤に制限なくデータセットを追加して行けば、運用コストは際限なく膨らんでいきます。
そこで必要になるのが、不要になったデータセットの廃止です。
この発表では、株式会社メルカリにおいて日次の利用者が150名以上居たデータセットをどのように廃止したのか事例を紹介します。
LT2「複数データ基盤の透明化」
山田 雄 氏（@nii_yan）
株式会社リクルート データエンジニア
▍発表内容
株式会社リクルートは2021年に統合され、現状複数のデータ基盤が存在しています。
同じような開発、同じ課題に対するアプローチなどいわゆる車輪の再発明を防ぐために行っている取り組や、今後どのようにしていきたいかなどを紹介します。
LT3「dbtを活用したデータ基盤の論理・物理設計の現在地と振り返り」
田中 聡太郎 氏（@sotaron）
Ubie株式会社 データエンジニア
▍発表内容
Ubieでは、データ基盤の実装にdbtやAirflowをはじめとした様々なツールを利用しています。
今回はその中でも、特にdbtを活用したデータ基盤の論理・物理設計について、導入初期から現在に至るまでを簡単に振り返りながらご紹介します。
LT4「フルスタック一人目データアナリストがデータ基盤を作ったお話」
Sho Maekawa 氏（@willanalysts / HN: ウィル）
株式会社オープンエイト/データストラテジスト
BIツール研究所
▍発表内容
以下についてお話し予定
・ データアナリストがBQデータ基盤へリプレイス
・ データエンジニア+データアナリストMIX体制
・ ビジネスオペレーションの構築も兼務
・ BIやSQLだけでなく、データ連携も民主化するために最初からtroccoを選択
LT5「データ基盤品質向上のための一年」
土川稔生 氏（@tvtg_24）
株式会社タイミー
▍発表内容
タイミーのデータ基盤はEmbulkとDigdagを用いたBigQueryを中心としたDWH、 Redashとデータポータルを用いた分析基盤を使用していました。しかしデータの品質を中心として様々な課題にあたり、ここ1年でLooker, dbt Cloud, troccoの導入を行い、課題解決を試みました。
このLTで導入した経緯、振り返りを行い、近いフェーズの基盤開発の参考になれば嬉しいです。
LT6「データ管理に重要なことは事業と組織の理解だった」
吉本直人 氏
株式会社MonotaRO
▍発表内容
モノタロウでは今年からデータ管理を推し進めるべく、その一歩目としてDWH構築やLookerの導入を行ったものの、想定以上の時間と工数がかかってしまう結果となりました。
このLTではこれらの取り組みを振り返りつつ、事業や組織の観点から学んだことをお話します。
タイムスケジュール（目安）
| 時間 | 内容 |
|---|---|
| 18:00〜 | 司会より挨拶（10分） |
| 18:10〜 | LT1（10分） 永井 伸弥氏「レガシー化したdata pipelineの廃止」 |
| 18:20〜 | 質疑応答（5分） |
| 18:25〜 | LT2（10分） 山田 雄氏「複数データ基盤の透明化」 |
| 18:35〜 | 質疑応答（5分） |
| 18:40〜 | スポンサーLT1（5分） Forkwell 重本 湧気 |
| 18:45〜 | 休憩（5分） |
| 18:50〜 | LT3（10分） 田中 聡太郎氏「dbtを活用したデータ基盤の論理・物理設計の現在地と振り返り」 |
| 19:00〜 | 質疑応答（5分） |
| 19:05〜 | LT4（10分） Sho Maekawa / ウィル氏「フルスタック一人目データアナリストがデータ基盤を作ったお話」 |
| 19:15〜 | 質疑応答（5分） |
| 19:20〜 | スポンサーLT2（5分） primeNumber 小林 寛和 |
| 19:25〜 | 休憩（5分） |
| 19:30〜 | LT5（10分） 土川稔生氏「データ基盤品質向上のための一年」 |
| 19:40〜 | 質疑応答（5分） |
| 19:45〜 | LT6（10分） 吉本直人氏「データ管理に重要なことは事業と組織の理解だった」 |
| 19:55〜 | 質疑応答（5分） |
| 20:00〜 | アフタートーク（15分~） |
| 20:15 | 完全終了 |
※ タイムスケジュールは目安です。完全解散20:15までの間で、より参加者にご満足いただける形で各コンテンツ時間が調整される場合がございます。
※ プログラムは変更となる可能性があります。随時こちらで更新いたします。
これまでの勉強会で扱うテーマとアーカイブ動画
- 2020/07/15（水）｜第1回「モダンなDWH/BIツールの選び方と、実際の運用事例」
- 2020/08/19（水）｜第2回「データ収集基盤とデータ整備のこれまでとこれから」
- 2020/09/16（水）｜第3回「分析基盤をうまく組織に浸透させる方法」
- 2020/11/04（水）｜第4回「データ分析基盤の障害対応事例LT祭り」
- 2020/12/02（水）｜第5回「噂のSnowflake Deep Dive / 国内事例・他DWHとの比較」
- 2021/02/03（水）｜第6回「改めて学ぶ、BigQuery徹底入門」
- 2021/04/06（火）｜第7回「Redshift最新アップデートと活用事例」
- 2021/06/02（水）｜第8回「BIツール特集－OSS・商用の上手い使い分け」
- 2021/08/03（火）｜第9回「企業規模別データエンジニア組織の作り方」
- 2021/10/06（水）｜第10回「王道BIツール特集 Tableau / PowerBI / Googleデータポータル」
参加方法
今回のオンライン勉強会は YouTube Live を使用してライブ配信いたします。
また、コメントや感想、講演内容に関する質問は Twitter へお願いいたします。
ライブ配信終了後、アーカイブ動画の公開を予定しております。
当日の開催時間にライブ参加できない方も、こちらのページより参加申込みの上、アーカイブ動画をご視聴いただけます。
なお、Twitterタイムラインと連動したリアルタイムなイベント参加体験を重視するため、YouTube Liveの追いかけ再生はできない設定となりますこと、ご了承くださいませ。 配信中のプログラムからの視聴、あるいはライブ配信終了数時間後から再生可能になるアーカイブ動画をご視聴ください。
留意事項
- Forkwell、primeNumber の宣伝をさせていただく時間がございます。予めご了承ください。
- IT技術者の方を対象としたイベントのため、非エンジニアの方のご参加、ならびに同業に属する方の当イベント内でのリクルーティング活動につきましてご遠慮いただいております。
- イベントの風景を、Forkwellメディア上の記事（イベントレポート）に掲載することがございます。掲載を希望されない方は、当日Zoomチャットまたはイベントページ問い合わせフォームより、掲載希望されない旨をお伝えください。
- イベント参加時にご入力いただいた情報は、次のプライバシーポリシーに基づき、primeNumber のみで適切に扱います。 https://primenumber.co.jp/privacy/
また、ご参加者の方々が最大限楽しんで頂けるよう、運営サイドで参加にふさわしくないと判断させて頂いた方については、イベント中であろうとご退席をお願いすることがございます。
- 保険、宗教、ネットワークビジネスの勧誘が目的と見られる方
- その他運営サイドで参加が不適切だと判断した方 誠に恐れ入りますが、あらかじめご了承くださいませ。
主催・協力
主催／コミュニティ支援協賛
「成長し続けるエンジニアを支援する」サービスを運営する Forkwell
分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber
後援
天神放送局様にライブ配信代行として協力いただいております。
天神放送局はライブ配信を広めることで「機会格差をなくす」ことをミッションとしたライブ配信ユニットです。
コミュニティイベントが増え続ける中、コンテンツを熱意ある人に届けるために活動しています。
