新機能 イベントメッセージの予約機能を追加しました。イベント主催者様は、参加者へのメッセージ送信を事前に予約できます。詳しくはこちらをご確認ください。

新機能 イベント詳細画面に「参加者への情報」欄を追加しました。イベント管理者、発表者、参加者(抽選中や補欠は除く)だけに表示されるフィールドです。詳しくはこちら

このエントリーをはてなブックマークに追加

Aug

19

Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」

〜データ分析基盤の「これまで」と「これから」を学ぶ勉強会シリーズ第2弾〜

Registration info

聴講枠(オンラインにて制限なし)

Free

Attendees
1128

参加者への情報
(参加者と発表者のみに公開されます)

Description

終了後アンケート URL → https://forms.gle/UCnZcVJSMj4fzg9u8
イベント視聴URL → https://youtu.be/eEhwBImCKKc
質問用Slido URL → https://sli.do/DataEngineeringStudy

開催内容

概要

本イベントは、Infra Study Meetup を運営する Forkwell と、分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。

本イベントでは、ゆずたそ氏(@yuzutas0)にモデレーターを依頼し、複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア/研究者に講演いただきます。

開催背景

Forkwell からのコメント

本イベントは、Infra Study Meetup に注目していただいた primeNumber さまからのお声がけで実現したイベントです。Infra Study Meetup とは主催する団体、扱うテーマが異なることから、別シリーズとして立ち上げました。Infra Study 参加者と共に得たイベントノウハウを継承し、データ分析領域でも学びの場を作ります。
本家 Infra Study にご参加いただいた方はもちろん、データ分析に関心のある方ならどなたでも参加可能です。エンジニアリングと密接に関わるデータ分析領域について楽しく学んでいただけましたら幸いです。
Forkwell 事業責任者 赤川

primeNumber からのコメント

弊社はデータ分析基盤向けの総合支援サービス「trocco」を運営しているのですが、その中で「どういう分析基盤を作っていけばいいのか?」というご質問をよく伺います。そのような方向けに何か有益な情報をご提供できる場はないかと考えた時に、本イベントの開催を思いつきました。
そんなタイミングで、「Infra Study Meetup」という反響が大きいイベントがあるのを見つけ、「データ分析基盤」版を作りませんかとお声がけした所から開催に至りました。
これから分析基盤を作ろうとされている方や、現在運用中の基盤の改善アイデアを探している方に、有益な場に出来ればと思っております。
primeNumber 取締役執行役員CPO 小林寛和

こんなエンジニアにおすすめ

  • データ分析に関わる事例を知りたい方
  • 自社内にデータ分析基盤を作ろうと検討中の方
  • 自社のデータ分析基盤をより効率的にしたいと考えている方
  • データ分析領域に幅を広げてみたいソフトウェアエンジニア・インフラエンジニア

プログラム第2回「データ収集基盤とデータ整備のこれまでとこれから」

第1回勉強会では「DWHとBIツール」の選び方について学びました。

これらはデータを扱うためのツールですので、当然「データ」そのものを集めないといけません。実は大容量データの取り扱いには専門的な知識が要求されます。

今回の勉強会では、データを集めるための基盤の話と、集めたデータをビジネス活用しやすい状態に整備する方法の、2つのテーマについて学びます。

基調講演には「前向きデータ整備人」勉強会主催者のしんゆう氏をお招きし、今回のテーマの概論をお話し頂いた後、実際にデータ収集・整備を行われている2社の事例から学んでいきます。

基調講演「事業に貢献するデータ基盤を作ろう・考え方編」

 しんゆう 氏(@data_analyst_
データ周りのことをフリーランスでやっている人

◼発表内容について

データ活用は近年になりデータを生成して集める仕組みのデータ基盤に注目が集まりつつあります。 そこで事業に貢献するデータ基盤を作るためにはどうするのが良いのか、データ基盤をデータ分析プロセス全体の中で捉えるところから始めて整備することの意義まで技術的な課題と平行して考えておきたいことを幅広くお話します。

事例紹介1「データ収集の基本と 「JapanTaxi」アプリにおける実践例」

 渡部 徹太郎 氏(@fetarodc
Mobility Technologies データエンジニア
「ビッグデータ分析のシステムと開発がこれ1冊でしっかりわかる教科書」著者

◼発表内容について

データ基盤へのデータ収集方法について、基本的な内容を説明します。具体的には、取るデータの種類(ファイル、DB、API)とデータのとり方(バッチ、リアルタイム)の組み合わせに対して典型的なシステム構成を紹介します。 また、後半ではJapanTaxi分析基盤でどのように実現しているか事例を紹介します。

事例紹介2「メルカリにおける分析環境整備の取り組み」

 永井 伸弥 氏(@shinya_131
株式会社メルカリ JP Analyst

◼発表内容について

データ基盤へと収集したデータを事業における成果につなげるためには、データを効率的に使えるようにするための整備が欠かせません。この発表ではメルカリにおける分析環境整備の取り組みについて事例を紹介します。

タイムスケジュール(目安)

時間 内容
19:30〜 司会より挨拶(10分)
19:40〜 基調講演1(20分)
しんゆう氏「事業に貢献するデータ基盤を作ろう・考え方編」
20:00〜 質疑応答(10分)
20:10〜 スポンサーLT1(5分) Forkwell
20:15〜 休憩(5分)
20:20〜 事例紹介1(20分)
渡部 徹太郎氏「データ収集の基本と 「JapanTaxi」アプリにおける実践例」
20:40〜 質疑応答(10分)
20:50〜 スポンサーLT2(5分) primeNumber
20:55〜 休憩(5分)
21:00〜 事例紹介2(20分)
永井 伸弥氏「メルカリにおける分析環境整備の取り組み」
21:20〜 質疑応答(10分)
21:30〜 アフタートーク(15分~)
21:55 完全終了

※ タイムスケジュールは目安です。完全解散21:55までの間で、より参加者にご満足いただける形で各コンテンツ時間が調整される場合がございます。
※ プログラムは変更となる可能性があります。随時こちらで更新いたします。

今後の勉強会で扱うテーマ

  • 7/15(水)|第1回「モダンなDWH/BIツールの選び方と、実際の運用事例」
  • 8/19(水)|第2回「データ収集基盤とデータ整備のこれまでとこれから」
  • 9/16(水)|第3回「分析基盤をうまく組織に浸透させる方法」

参加方法

今回のオンライン勉強会は YouTube Live を使用してライブ配信いたします。
また、コメントや感想は Twitter、講演内容に関する質問は Slido へお願いいたします。
下記、各種URLよりご参加くださいませ!

▍イベント視聴用 YouTube Live URL
- https://youtu.be/eEhwBImCKKc

▍質疑応答用 Slido URL
- https://sli.do/DataEngineeringStudy

▍Tweetリンク
- https://twitter.com/intent/tweet?hashtags=DataEngineeringStudy

ライブ配信終了後、アーカイブ動画の公開を予定しております。
当日の開催時間にライブ参加できない方も、こちらのページより参加申込みの上、アーカイブ動画をご視聴いただけます。

なお、Twitterタイムラインと連動したリアルタイムなイベント参加体験を重視するため、YouTube Liveの追いかけ再生はできない設定となりますこと、ご了承くださいませ。 配信中のプログラムからの視聴、あるいはライブ配信終了数時間後から再生可能になるアーカイブ動画をご視聴ください。

留意事項

  • Forkwell、primeNumber の宣伝をさせていただく時間がございます。予めご了承ください。
  • IT技術者の方を対象としたイベントのため、非エンジニアの方のご参加、ならびに同業に属する方の当イベント内でのリクルーティング活動につきましてご遠慮いただいております。
  • イベントの風景を、Forkwellメディア上の記事(イベントレポート)に掲載することがございます。掲載を希望されない方は、当日Zoomチャットまたはイベントページ問い合わせフォームより、掲載希望されない旨をお伝えください。
  • イベント参加時にご入力いただいた情報は、次のプライバシーポリシーに基づき、primeNumber のみで適切に扱います。 https://primenumber.co.jp/privacy/

また、ご参加者の方々が最大限楽しんで頂けるよう、運営サイドで参加にふさわしくないと判断させて頂いた方については、イベント中であろうとご退席をお願いすることがございます。

  • 保険、宗教、ネットワークビジネスの勧誘が目的と見られる方
  • その他運営サイドで参加が不適切だと判断した方 誠に恐れ入りますが、あらかじめご了承くださいませ。

主催・協力

主催/コミュニティ支援協賛

「成長し続けるエンジニアを支援する」サービスを運営する Forkwell



分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber

後援

天神放送局様にライブ配信代行として協力いただいております。

天神放送局はライブ配信を広めることで「機会格差をなくす」ことをミッションとしたライブ配信ユニットです。
コミュニティイベントが増え続ける中、コンテンツを熱意ある人に届けるために活動しています。


ソニー株式会社様にコミュニティ運営費用を協力いただいております。


発表者

Feed

やっさん

やっさんさんが資料をアップしました。

08/20/2020 10:21

やっさん

やっさんさんが資料をアップしました。

08/20/2020 10:20

やっさん

やっさんさんが資料をアップしました。

08/20/2020 10:20

tada_infra

tada_infraさんが資料をアップしました。

08/20/2020 09:02

fetaro

fetaro wrote a comment.

2020/08/19 19:18

資料公開しましたー データ収集の基本と「JapanTaxi」アプリにおける実践例 https://www.slideshare.net/tetsutarowatanabe/japantaxi-238047234

Forkwell

Forkwell published Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」.

07/15/2020 21:52

Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」 を公開しました!

Ended

2020/08/19(Wed)

19:30
21:55

Registration Period
2020/07/15(Wed) 21:45 〜
2020/08/19(Wed) 21:55

Location

YouTube Live|Data Engineering Study #4

オンライン

YouTube Live|Data Engineering Study #4

Attendees(1128)

yuya_kbys

yuya_kbys

Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」に参加を申し込みました!

hisawotakase

hisawotakase

Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」 に参加を申し込みました!

kota2and3kan

kota2and3kan

Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」に参加を申し込みました!

taku_bear

taku_bear

Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」 に参加を申し込みました!

t

t

Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」に参加を申し込みました!

小川 雄太郎

小川 雄太郎

Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」 に参加を申し込みました!

yoshikaw

yoshikaw

Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」 に参加を申し込みました!

tatsuro yamashita

tatsuro yamashita

Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」 に参加を申し込みました!

Civitaspo

Civitaspo

Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」 に参加を申し込みました!

yasuo1979

yasuo1979

Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」に参加を申し込みました!

Attendees (1128)

Canceled (31)