本イベントは、Infra Study Meetup を運営する Forkwell と、分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。

開催内容

概要

本イベントでは、ゆずたそ氏（@yuzutas0）にモデレーターを依頼し、複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア／研究者に講演いただきます。

また、講演後には視聴者の方も参加できる二次会会場(Zoom)を用意しています。登壇者と共にデータエンジニアリングに関する学びを深めましょう。

開催背景

Forkwell からのコメント

本イベントは、Infra Study Meetup に注目していただいた primeNumber さまからのお声がけで実現したイベントです。Infra Study Meetup とは主催する団体、扱うテーマが異なることから、別シリーズとして立ち上げました。Infra Study 参加者と共に得たイベントノウハウを継承し、データ分析領域でも学びの場を作ります。
本家 Infra Study にご参加いただいた方はもちろん、データ分析に関心のある方ならどなたでも参加可能です。エンジニアリングと密接に関わるデータ分析領域について楽しく学んでいただけましたら幸いです。
Forkwell 事業責任者 赤川

primeNumber からのコメント

弊社はデータ分析基盤向けの総合支援サービス「trocco」を運営しているのですが、その中で「どういう分析基盤を作っていけばいいのか？」というご質問をよく伺います。そのような方向けに何か有益な情報をご提供できる場はないかと考えた時に、本イベントの開催を思いつきました。
そんなタイミングで、「Infra Study Meetup」という反響が大きいイベントがあるのを見つけ、「データ分析基盤」版を作りませんかとお声がけした所から開催に至りました。
これから分析基盤を作ろうとされている方や、現在運用中の基盤の改善アイデアを探している方に、有益な場に出来ればと思っております。
primeNumber 取締役執行役員CPO 小林寛和

こんなエンジニアにおすすめ

• データ分析に関わる事例を知りたい方
• 自社内にデータ分析基盤を作ろうと検討中の方
• 自社のデータ分析基盤をより効率的にしたいと考えている方
• データ分析領域に幅を広げてみたいソフトウェアエンジニア・インフラエンジニア

プログラム第4回「データ分析基盤の障害対応事例LT祭り」

第3回までの勉強会で、データ分析基盤の作り方や組織への浸透させる方法について学んできました。 この「データ分析基盤」は1つのシステムですので、障害対応とは切っても切れない関係です。 今回は障害対応をテーマに事例LTを集めることで、これから分析基盤を作ろうとしている方が同じ失敗をしないように、また既に同じ様な障害を経験されている方の再発防止に役立てるようになれればと思っています。

LT1「正確な意思決定を阻む問題・障害との向き合い方」

　吉田康久 氏（@syou6162 / @syou6162）
株式会社はてな Mackerelチーム
Customer Reliability Engineer

◼️発表内容について

データ分析でありがちな問題・障害とその対策について話します

1: RDBMSのようにデータ投入時に制約が入れられないデータストア(SFDCやスプレッドシートなど)でユニーク制約を満たせなかったために、集計で差異が出てしまった例

2: データマートに最近利用されていないようなテーブルやビューが氾濫した結果、目的に適さないデータを元に意思決定されてしまった例

LT2「データ分析基盤の障害を未然に防ぐためのチェックリスト」

　田中 聡太郎 氏（@sotaron ）
ユビー株式会社
データエンジニア

◼️発表内容について

To be announced...

LT3「IoTデバイスデータ収集の難しい点」 (10分)

　渡部 徹太郎 氏（@fetarodc）
Mobility Technologies データエンジニア
「ビッグデータ分析のシステムと開発がこれ1冊でしっかりわかる教科書」著者

◼️発表内容について

Mobility Technologiesではタクシーに取り付けたデバイスのデータを収集していますが、Webとは違うIoTならではの問題や障害を経験しました。それを紹介します。

LT4「障害、解決、その先に」

　岩崎晃 氏（@sista05）
フリーランスエンジニア
主業務はデータ分析基盤構築

◼️発表内容について

データ基盤でよく使われる構成において私がよく遭遇した障害と、最新の技術で対応した事例集を紹介します。

1. ログ収集サーバでログ転送が滞ってしまいがちな構成とその対応事例

2. ワークフローエンジンで大容量のデータを転送する際に発生した障害とその対応事例

3. センシティブデータを取り扱う際の低コスト高パフォーマンスな対応事例

LT5「障害はチャンスだ！ 障害を前向きに捉える」

　山田 雄 氏（@nii_yan）
株式会社リクルート
データエンジニア

◼️発表内容について

障害は起きないほうがよいですが、起きてしまったらどう対応するのが良いのか？

また、障害対応の仕方によって得られる知見もあります。　どう障害対応を前向きに捉えるかを紹介します。

LT6「バッチとストリーミング、それぞれの障害に立ち向かう」

　大久保諒 氏（@syu_cream ）
株式会社メルカリ
データエンジニア

◼️発表内容について

バッチ処理とストリーミング処理にそれぞれ別のアプローチを採用することは多くないと思います。しかし複数のアプローチ、技術スタックを持つことはより多くの障害パターンの可能性を広げることにもなります。本発表ではメルカリ・メルペイで運 用してきたバッチ・ストリーミングデータパイプラインで生じたいくつかの障害や課題の事例と、どう乗り越えて来たかについて紹介いたします。

タイムスケジュール（目安）

※ タイムスケジュールは目安です。完全解散21:45までの間で、より参加者にご満足いただける形で各コンテンツ時間が調整される場合がございます。
※ プログラムは変更となる可能性があります。随時こちらで更新いたします。

これまでの勉強会で扱うテーマとアーカイブ動画

• 7/15（水）｜第1回「モダンなDWH/BIツールの選び方と、実際の運用事例」
• 8/19（水）｜第2回「データ収集基盤とデータ整備のこれまでとこれから」
• 9/16（水）｜第3回「分析基盤をうまく組織に浸透させる方法」
• 11/04（水）｜第4回「データ分析基盤の障害対応事例LT祭り」

参加方法

今回のオンライン勉強会は YouTube Live を使用してライブ配信いたします。
また、コメントや感想は Twitter、講演内容に関する質問は Slido へお願いいたします。
下記、各種URLよりご参加くださいませ！

▍イベント視聴用 YouTube Live URL
- https://youtu.be/8ap-V7kfv5M

▍質疑応答用 Slido URL
- https://sli.do/DataEngineeringStudy

▍Tweetリンク
- https://twitter.com/intent/tweet?hashtags=DataEngineeringStudy

ライブ配信終了後、アーカイブ動画の公開を予定しております。
当日の開催時間にライブ参加できない方も、こちらのページより参加申込みの上、アーカイブ動画をご視聴いただけます。

なお、Twitterタイムラインと連動したリアルタイムなイベント参加体験を重視するため、YouTube Liveの追いかけ再生はできない設定となりますこと、ご了承くださいませ。 配信中のプログラムからの視聴、あるいはライブ配信終了数時間後から再生可能になるアーカイブ動画をご視聴ください。

留意事項

• Forkwell、primeNumber の宣伝をさせていただく時間がございます。予めご了承ください。
• IT技術者の方を対象としたイベントのため、非エンジニアの方のご参加、ならびに同業に属する方の当イベント内でのリクルーティング活動につきましてご遠慮いただいております。
• イベントの風景を、Forkwellメディア上の記事（イベントレポート）に掲載することがございます。掲載を希望されない方は、当日Zoomチャットまたはイベントページ問い合わせフォームより、掲載希望されない旨をお伝えください。
• イベント参加時にご入力いただいた情報は、次のプライバシーポリシーに基づき、primeNumber のみで適切に扱います。 https://primenumber.co.jp/privacy/

また、ご参加者の方々が最大限楽しんで頂けるよう、運営サイドで参加にふさわしくないと判断させて頂いた方については、イベント中であろうとご退席をお願いすることがございます。

• 保険、宗教、ネットワークビジネスの勧誘が目的と見られる方
• その他運営サイドで参加が不適切だと判断した方 誠に恐れ入りますが、あらかじめご了承くださいませ。

主催・協力

主催／コミュニティ支援協賛

「成長し続けるエンジニアを支援する」サービスを運営する Forkwell

分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber

後援

天神放送局様にライブ配信代行として協力いただいております。

天神放送局はライブ配信を広めることで「機会格差をなくす」ことをミッションとしたライブ配信ユニットです。
コミュニティイベントが増え続ける中、コンテンツを熱意ある人に届けるために活動しています。

ソニー株式会社様にコミュニティ運営費用を協力いただいております。